CN114564310A - 一种数据处理方法、装置、电子设备和可读存储介质 - Google Patents

一种数据处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN114564310A
CN114564310A CN202210197662.7A CN202210197662A CN114564310A CN 114564310 A CN114564310 A CN 114564310A CN 202210197662 A CN202210197662 A CN 202210197662A CN 114564310 A CN114564310 A CN 114564310A
Authority
CN
China
Prior art keywords
point cloud
dimensional image
dimensional
depth information
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210197662.7A
Other languages
English (en)
Inventor
徐冰星
童天辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shitu Technology Hangzhou Co ltd
Original Assignee
Shitu Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shitu Technology Hangzhou Co ltd filed Critical Shitu Technology Hangzhou Co ltd
Priority to CN202210197662.7A priority Critical patent/CN114564310A/zh
Publication of CN114564310A publication Critical patent/CN114564310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种数据处理方法、装置、电子设备和可读存储介质，以降低存储成本。数据处理方法包括获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，二维视频包括多帧二维图像，点云深度信息包括多帧点云数据；融合处在同一时段的二维图像和点云数据，以得到深度融合图像；压缩深度融合图像。实施本公开的技术方案，可以降低存储成本。

Description

一种数据处理方法、装置、电子设备和可读存储介质
技术领域
本发明涉及通信领域，尤其涉及一种数据处理方法、装置、电子设备和可读存储介质。
背景技术
自动驾驶汽车或自动充电设备需要采集二维，周边环境识别网络模型需要根据深度图像以及相应的标签进行大量训练。
现有技术中，汽车或自动充电设备分别采集二维视频和点云深度信息，将二维视频和点云深度信息存储并传输给服务器。服务器在训练时通过标定位置和时间戳信息融合二维视频和点云深度信息，以生成训练样本，再将该训练样本提交给服务器的周边环境神经网络模型进行训练。其不足在于：由于二维视频中的二维图像与点云深度信息中的点云数据并非每个对应，存在大量无法用于训练的数据，导致浪费存储空间，增加了存储成本。
发明内容
为了解决现有技术中的至少一个技术问题，本公开提供了一种数据处理方法、装置、电子设备和可读存储介质，以降低存储成本。
根据本公开的第一方面，提供了一种数据处理方法，包括：
获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，所述二维视频包括多帧二维图像，所述点云深度信息包括多帧点云数据；
融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像；
压缩所述深度融合图像。
可选的，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
基于所述二维视频的初始采集时刻和所述二维视频的帧率，确定每帧所述二维图像的采集时段；
基于所述点云深度信息的初始采集时刻和所述点云深度信息的帧率，确定每帧所述点云数据的采集时段；
基于每帧所述二维图像的采集时段和每帧所述点云数据的采集时段，确定处在同一时段的所述二维图像和所述点云数据。
可选的，处在同一时段的所述二维图像和所述点云数据的时段差值小于预设差值。
可选的，所述行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
判断所述二维图像的所处时段与各帧所述点云数据的所处时段的时间差值；
当最小的所述时间差值小于所述预设差值时，确定所述二维图像与相应帧所述点云数据处于同一时段。
可选的，所述行驶设备具有视频采集设备和深度信息采集设备，所述二维图像采集设备用于采集所述二维视频，所述深度信息采集设备用于采集所述点云深度信息；
所述获取行驶设备的周围环境的视频和点云深度信息后，所述融合处在同一时段的所述二维图像和相应帧所述点云数据前，所述方法还包括：
若所述二维视频的码率小于第一预设码率时，控制所述视频采集设备提升所述二维视频的码率；和/或，
若所述点云深度信息的码率小于第二预设码率时，控制所述深度信息采集设备提升所述点云深度信息的码率。
可选的，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
若所述二维视频的码率小于第一预设码率时，将所述二维图像的相邻帧图像融合到相应所述二维图像。
可选的，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
若所述点云深度信息的码率小于第一预设码率时，根据所述二维图像生成所述二维图像的深度数据；
将所述二维图像的深度数据融合到相应帧所述点云数据。
可选的，所述将所述二维图像的深度数据融合到相应帧所述点云数据包括：
基于加权平均法，将所述二维图像的深度数据融合到相应帧所述点云数据。
可选的，所述融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像包括：
融合第N帧图像和第M帧点云数据，以得到深度融合图像；
其中，N与M满足：N＝INT{F1(T2-T1)+MF1/F2}，T1表示所述二维视频的初始采集时刻，T2表示所述点云深度信息的初始采集时刻，F1表示所述二维视频的帧率，F2表示所述点云深度信息的帧率，int表示取整。
可选的，所述压缩所述深度融合图像包括：
通过无损压缩压缩所述深度融合图像。
根据本公开的第二方面，一种数据处理装置，包括：
获取模块，用于获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，所述二维视频包括多帧二维图像，所述点云深度信息包括多帧点云数据；
融合模块，用于融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像；
压缩模块，用于压缩所述深度融合图像。
根据本公开的第三方面，一种电子设备，包括：
处理器；以及
存储程序的存储器，
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开第一方面任一项所述的方法。
根据本公开的第四方面，一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据本公开第一方面任一项所述的方法。
本申请实施例中提供的一个或多个技术方案，先融合处在同一时段的二维图像和点云数据以得到深度融合图像，再压缩深度融合图像方式得到所需的数据，无需再存储不能处于处于同一时段的二维图像和点云数据；同时压缩深度融合图像相当于压缩处于同一时段的二维图像和点云数据，大大节省了数据存储所需的存储空间，降低了存储成本。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1示出了根据本公开示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
图2示出了根据本公开示例性实施例的数据处理方法的流程图；
图3示出了根据本公开示例性实施例的数据处理方法的子流程图；
图4示出了根据本公开示例性实施例的数据处理方法的另一子流程图；
图5示出了根据本公开示例性实施例的数据处理方法的再一子流程图；
图6示出了根据本公开示例性实施例的数据处理装置的示意性框图；
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
以下参照附图描述本公开的方案：
参见图1，图1是本公开示例性实施例提供的数据处理方法的一种应用场景的示意图，应当知道的，该应用场景不构成对本申请应用场景的限制，本公开示例性实施例提供的文档处理方法也可在其他应用场景中使用。
以数据处理方法的一个具体应用场景为例，参见图1，该应用场景100包括行驶设备101、处理设备102和服务器103；
行驶设备101可以是车辆、自动充电设备等具有行驶功能的设备，该设备上具有视频采集设备104和深度信息采集设备105，视频采集设备104用于采集行驶设备101周边环境的二维视频，深度信息采集设备105用于采集周边环境的点云深度信息，深度信息采集设备105可以是激光雷达、毫米波雷达等设备，视频采集设备104与深度信息采集设备105设置成采集相同周边环境；处理设备102可以是包含存储器和处理器的设备，用于执行本公开示例性实施例提供的数据处理方法，以得到深度融合图像；服务器103可以基于深度融合图像训练环境识别模型、智能驾驶模型等神经网络模型。
视频采集设备104以及深度信息采集设备105通过网络、总线等方式与处理设备102通信连接，视频采集设备104采集的二维视频和深度信息采集设备105采集的点云深度信息均传输到处理设备102。
处理设备102是用于执行本公开示例性实施例提供的数据处理方法的设备，通过执行本公开示例性实施例提供的数据处理方法，基于二维视频和点云深度信息得到深度融合图像。
处理设备102具有联网功能时，处理设备102可以将得到的深度融合图像通过网络传输到服务器103。处理设备102不具有网络功能时，处理设备102可以将得到的深度融合图像拷贝到移动硬件、U盘、光盘等存储介质，由移动硬件、U盘、光盘等存储介质将深度融合图像传递到服务器103，以供服务器103训练。
下面以处理设备102为执行主体，结合附图对本公开示例性的实施例提供的文档处理方法进行描述。
参见图2，一种数据处理方法，包括：
S201，获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，二维视频包括多帧二维图像，点云深度信息包括多帧点云数据；
S201中，行驶设备是自动驾驶汽车、智能充电设备等具有行驶功能的设备，其可以采集周围环境的二维视频和相应的点云深度信息。此处，二维视频与点云深度信息相对应，例如智能充电设备在行驶过程中针对相同周围环境拍摄的二维图像和点云深度信息。
S202，融合处在同一时段的二维图像和点云数据，以得到深度融合图像；
S202中，由于一帧二维图像的采集时长与一帧点云数据的采集时长一般不相同，因此，可以知道的，此处的处在同一时段的二维图像和点云数据，并不必须需要时段完全相同。例如，可以在时段存在相同时间点时认为处于同一时段，也可以认在二维图像的采集时段与点云数据的采集时段的时段差值小于设定值时，认为处于同一时段，等。
S202中，融合二维图像和点云数据时，可将二维图像各位置与点云数据各位置对应，得到相应的二维图像和深度图，将二维图像和深度图结合或将二维图像和深度图存储到同一数据结构内，进而得到相应的深度融合图像。此处的深度融合图像是可以RGB-D深度图像。
S203，压缩深度融合图像。
本公开示例性的实施例提供的文档处理方法，先融合处在同一时段的二维图像和点云数据以得到深度融合图像，再压缩深度融合图像方式得到所需的数据。一方面，无需再存储不能处于同一时段的二维图像和点云数据；同时压缩深度融合图像相当于压缩了处于同一时段的二维图像和点云数据，大大节省了数据存储所需的存储空间，降低了存储成本。另一方面，得到的深度融合图像能更便于被读取到得到同步的二维图像信息和点云数据信息，提高相应的读取效率。
在一个实施方式中，参见图3，获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，融合处在同一时段的二维图像和点云数据前，方法还包括：
S301，基于二维视频的初始采集时刻和二维视频的帧率，确定每帧二维图像的采集时段；
S301中，可以根据公式1计算第N帧二维图像的采集时段TN；
Figure BDA0003527762360000061
其中，T1表示二维视频的初始采集时刻，F1表示二维视频的帧率，t1表示每帧二维图像的采集时段的长度，t1可以根据二维视频的帧率计算得到或根据实际情况设置。t1根据二维视频的帧率计算得到时，可以根据二维视频的帧率的倒数得到，例如二维视频的帧率是60帧/秒，那么每帧二维图像的采集时段的长度可以是1/60秒。
S302，基于点云深度信息的初始采集时刻和点云深度信息的帧率，确定每帧点云数据的采集时段；
S302中，可以根据公式2计算第M帧二维图像的采集时段TM；
Figure BDA0003527762360000062
其中，T2表示点云深度信息的初始采集时刻，F2表示点云深度信息的帧率，t2表示每帧点云数据的采集时段的长度。T2根据点云深度信息的帧率计算得到时，可以根据点云深度信息的帧率的倒数得到，例如点云深度信息的帧率是6帧/秒，那么每帧二维图像的采集时段的长度可以是1/6秒。
S303，基于每帧二维图像的采集时段和每帧点云数据的采集时段，确定处在同一时段的二维图像和点云数据。
本公开示例性的实施例提供的文档处理方法，无需读取每帧二维图像的采集时间和每帧点云数据的采集时间，仅仅根据二维视频的初始采集时刻、二维视频的帧率、点云深度信息的初始采集时刻和点云深度信息的帧率，即可确定处在同一时段的二维图像和点云数据，提高了确定效率。因此，只需提高二维视频的初始采集时刻和点云深度信息的初始采集时刻的精度，即可提高确定处在同一时段的二维图像和点云数据时的整体精度。同时，可以通过同步触发的方式，使得二维视频和点云深度信息同时开始采集，无需再读取准确的点云深度信息的初始采集时刻和二维视频的初始采集时刻，即可利用上述计算公式，基于每帧二维图像的采集时段和每帧点云数据的采集时段，确定处在同一时段的二维图像和点云数据。
在一个实施方式中，处在同一时段的二维图像和点云数据的时段差值小于预设差值，预设差值可以根据实际情况设置，例如设置为0.01s、0.005s等，具体可以根据实际运用场景和设备参数设置。示例性的，可以以二维图像的所处时段的中间值与点云数据的所处时段的中间值的差值作为二维图像和点云数据的时段差值。预设差值的设置，可以进一步提高二维图像和点云数据是否处在同一时段的判断精准度。
在一个实施方式中，参见图4，行驶设备采集的周围环境的二维视频和相应的点云深度信息后，融合处在同一时段的二维图像和点云数据前，方法还包括：
S401，判断二维图像的所处时段与各帧点云数据的所处时段的时间差值；
S401中，可以以二维图像的所处时段的中间值与点云数据的所处时段的中间值的差值作为二维图像和点云数据的时段差值。
S402，当最小的时间差值小于预设差值时，确定二维图像与相应帧点云数据处于同一时段。
S402中，最小的时间差值指的是同一帧二维图像的所处时段与各帧点云数据的所处时段的时间差值中的最小值。
本公开示例性的实施例提供的文档处理方法，根据最小的时间差值确定二维图像与相应帧点云数据是否处于同一时段，提高二维图像和点云数据是否处在同一时段的判断精准度。
在一个实施方式中，参见图1，行驶设备101具有视频采集设备104和深度信息采集设备105，二维图像采集设备用于采集二维视频，深度信息采集设备105用于采集点云深度信息。
示例性的，获取行驶设备的周围环境的视频和点云深度信息后，融合处在同一时段的二维图像和相应帧点云数据前，方法还包括：
若二维视频的码率小于第一预设码率时，控制视频采集设备提升二维视频的码率。
本公开示例性的实施例提供的文档处理方法，在二维视频的码率小于第一预设码率，利用视频采集设备提升二维视频的码率，使得得到的二维图像精度更高，进而使得得到的深度融合图像精度更高。其中，第一预设码率可以根据实际运用场景设置，例如，可以选择600Kb/s到10000Kb/s的一个数值，如选择3000kb/s、5000kb/s等
示例性的，获取行驶设备的周围环境的视频和点云深度信息后，融合处在同一时段的二维图像和相应帧点云数据前，方法还包括：
若点云深度信息的码率小于第二预设码率时，控制深度信息采集设备提升点云深度信息的码率。使得得到的二维图像精度更高，进而使得得到的深度融合图像精度更高。
本公开示例性的实施例提供的文档处理方法，在点云深度信息的码率小于第二预设码率时，利用深度信息采集设备提升点云深度信息的码率，使得得到的点云深度信息精度更高，进而使得得到的深度融合图像精度更高。其中，第二预设码率可以根据实际运用场景设置，例如，可以选择600Kb/s到10000Kb/s的一个数值，如选择3000kb/s、5000kb/s等。
在一个实施方式中，获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，融合处在同一时段的二维图像和点云数据前，方法还包括：
若二维视频的码率小于第一预设码率时，将二维图像的相邻帧图像融合到相应二维图像。其中，第一预设码率可以根据实际运用场景设置，例如，可以选择600Kb/s到10000Kb/s的一个数值，如选择3000kb/s、5000kb/s等。
本公开示例性的实施例提供的文档处理方法，二维视频的码率小于第一预设码率时，利用邻帧图像融合到相应二维图像使得二维图像精度更高，进而使得深度融合图像精度更高。
将二维图像的相邻帧图像融合到相应二维图像可以根据需要选择相应的方法例如可以基于加权平均法，将二维图像的相邻帧图像融合到相应二维图像。可以用基于局部方差的融合规则，将二维图像的相邻帧图像融合到相应二维图像。可以用小波图像融合方法，将二维图像的相邻帧图像融合到相应二维图像。针对小波图像融合方法，示例性的，可以对二维图像和二维图像的相邻帧图像进行小波分解，得到分解系数矢量；对矢量子带建立双变量分布统计模型，并以滑动窗口内的矢量为样本，对相应区域内系数矢量统计模型参数进行估计，再计算获得显著性量度；根据融合准则，计算获得融合系数；根据融合系数，进行多小波逆变换及后滤波，获得最终的融合图。
在一个实施方式中，参见图5，获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，融合处在同一时段的二维图像和点云数据前，方法还包括：
S501，若点云深度信息的码率小于第一预设码率时，根据二维图像生成二维图像的深度数据；
S502，将二维图像的深度数据融合到相应帧点云数据。
本公开示例性的实施例提供的文档处理方法，若点云深度信息的码率小于第一预设码率时，将二维图像的深度数据融合到相应帧点云数据，由于二维图像的深度数据与相应帧点云数据代表的是同一环境的深度，两种理论值应当相同，因此将二维图像的深度数据融合到相应帧点云数据后，可以使得点云数据的数据精度更高，进而使得得到的深度融合图像用于训练模型时，其训练效果更好。其中，二维图像的深度数据可以用已有的深度识别网络模型识别，一般可以选择单目图像深度识别模型。
示例性的，二维图像的深度数据可以采用3D目标检测模型YOLO-6D检测得到。
将二维图像的深度数据融合到相应帧点云数据的方法可以根据需要选择。例如可以用基于加权平均法，将二维图像的深度数据融合到相应帧点云数据。可以用基于局部方差的融合规则，将二维图像的深度数据融合到相应帧点云数据。可以用小波图像融合方法，将二维图像的深度数据融合到相应帧点云数据。
可以知道的，此处二维图像的深度数据和点云数据与图像的形式相同，可以基于图像融合的原理和方法，将二维图像的深度数据融合到相应帧点云数据。因此，上述基于加权平均法将二维图像的深度数据融合到相应帧点云数据，与基于加权平均法融合两张图像的原理一致。基于局部方差的融合规则，二维图像的深度数据融合到相应帧点云数据，与基于局部方差的融合规则融合两张图像的原理一致，此处不再详细描述。
在一个实施方式中，融合处在同一时段的二维图像和点云数据，以得到深度融合图像包括：
融合第N帧图像和第M帧点云数据，以得到深度融合图像；
其中，N与M满足：N＝INT{F1(T2-T1)+MF1/F2}，T1表示二维视频的初始采集时刻，T2表示点云深度信息的初始采集时刻，F1表示二维视频的帧率，F2表示点云深度信息的帧率，int表示取整。
本公开示例性的实施例提供的文档处理方法，利用上述公式，可以快速得到处在同一时段的二维图像和点云数据。
在一个实施方式中，压缩深度融合图像包括：
通过无损压缩压缩深度融合图像。示例性的，可以通过哈夫曼编码方式无损压缩深度融合图像。无损压缩深度融合图像，可以使深度融合图像被用于后续训练时，无需解压即可使用。
参见图6，一种数据处理装置，包括：
获取模块601，用于获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，二维视频包括多帧二维图像，点云深度信息包括多帧点云数据；
融合模块602，用于融合处在同一时段的二维图像和点云数据，以得到深度融合图像；
压缩模块603，用于压缩深度融合图像。
在一个实施方式中，数据处理装置还包括确定模块，用于：
基于二维视频的初始采集时刻和二维视频的帧率，确定每帧二维图像的采集时段；
基于点云深度信息的初始采集时刻和点云深度信息的帧率，确定每帧点云数据的采集时段；
基于每帧二维图像的采集时段和每帧点云数据的采集时段，确定处在同一时段的二维图像和点云数据。
在一个实施方式中，处在同一时段的二维图像和点云数据的时段差值小于预设差值。
在一个实施方式中，数据处理装置还包括确定模块，用于：
判断二维图像的所处时段与各帧点云数据的所处时段的时间差值；
当最小的时间差值小于预设差值时，确定二维图像与相应帧点云数据处于同一时段。
在一个实施方式中，行驶设备具有视频采集设备和深度信息采集设备，二维图像采集设备用于采集二维视频，深度信息采集设备用于采集点云深度信息；
数据处理装置还包括控制模块，用于：
若二维视频的码率小于第一预设码率时，控制视频采集设备提升二维视频的码率；和/或，
若点云深度信息的码率小于第二预设码率时，控制深度信息采集设备提升点云深度信息的码率。
在一个实施方式中，融合模块还用于：
若二维视频的码率小于第一预设码率时，将二维图像的相邻帧图像融合到相应二维图像。
在一个实施方式中，融合模块还用于：
若点云深度信息的码率小于第一预设码率时，根据二维图像生成二维图像的深度数据；
将二维图像的深度数据融合到相应帧点云数据。
在一个实施方式中，融合模块用于将二维图像的深度数据融合到相应帧点云数据时，具体用于：
基于加权平均法，将二维图像的深度数据融合到相应帧点云数据。
在一个实施方式中，融合模块用于融合处在同一时段的二维图像和点云数据，以得到深度融合图像时，具体用于：
融合第N帧图像和第M帧点云数据，以得到深度融合图像；
其中，N与M满足：N＝INT{F1(T2-T1)+MF1/F2}，T1表示二维视频的初始采集时刻，T2表示点云深度信息的初始采集时刻，F1表示二维视频的帧率，F2表示点云深度信息的帧率，int表示取整。
在一个实施方式中，压缩模块压缩深度融合图像时，基于用于：
通过无损压缩压缩深度融合图像。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。存储器存储有能够被至少一个处理器执行的计算机程序，计算机程序在被至少一个处理器执行时用于使电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，计算机程序在被计算机的处理器执行时用于使计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被计算机的处理器执行时用于使计算机执行根据本公开实施例的方法。
参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和深度数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元704可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/深度数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

Claims (13)

1.一种数据处理方法，其特征在于，包括：
获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，所述二维视频包括多帧二维图像，所述点云深度信息包括多帧点云数据；
融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像；
压缩所述深度融合图像。
2.根据权利要求1所述的数据处理方法，其特征在于，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
基于所述二维视频的初始采集时刻和所述二维视频的帧率，确定每帧所述二维图像的采集时段；
基于所述点云深度信息的初始采集时刻和所述点云深度信息的帧率，确定每帧所述点云数据的采集时段；
基于每帧所述二维图像的采集时段和每帧所述点云数据的采集时段，确定处在同一时段的所述二维图像和所述点云数据。
3.根据权利要求1所述的数据处理方法，其特征在于，处在同一时段的所述二维图像和所述点云数据的时段差值小于预设差值。
4.根据权利要求3所述的数据处理方法，其特征在于，所述行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
判断所述二维图像的所处时段与各帧所述点云数据的所处时段的时间差值；
当最小的所述时间差值小于所述预设差值时，确定所述二维图像与相应帧所述点云数据处于同一时段。
5.根据权利要求1～4任一项所述的数据处理方法，其特征在于，所述行驶设备具有视频采集设备和深度信息采集设备，所述二维图像采集设备用于采集所述二维视频，所述深度信息采集设备用于采集所述点云深度信息；
所述获取行驶设备的周围环境的视频和点云深度信息后，所述融合处在同一时段的所述二维图像和相应帧所述点云数据前，所述方法还包括：
若所述二维视频的码率小于第一预设码率时，控制所述视频采集设备提升所述二维视频的码率；和/或，
若所述点云深度信息的码率小于第二预设码率时，控制所述深度信息采集设备提升所述点云深度信息的码率。
6.根据权利要求1～4任一项所述的数据处理方法，其特征在于，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
若所述二维视频的码率小于第一预设码率时，将所述二维图像的相邻帧图像融合到相应所述二维图像。
7.根据权利要求1～4任一项所述的数据处理方法，其特征在于，所述获取行驶设备采集的周围环境的二维视频和相应的点云深度信息后，所述融合处在同一时段的所述二维图像和所述点云数据前，所述方法还包括：
若所述点云深度信息的码率小于第一预设码率时，根据所述二维图像生成所述二维图像的深度数据；
将所述二维图像的深度数据融合到相应帧所述点云数据。
8.根据权利要求7所述的数据处理方法，其特征在于，所述将所述二维图像的深度数据融合到相应帧所述点云数据包括：
基于加权平均法，将所述二维图像的深度数据融合到相应帧所述点云数据。
9.根据权利要求1所述的数据处理方法，其特征在于，所述融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像包括：
融合第N帧图像和第M帧点云数据，以得到深度融合图像；
其中，N与M满足：N＝INT{F1(T2-T1)+MF1/F2}，T1表示所述二维视频的初始采集时刻，T2表示所述点云深度信息的初始采集时刻，F1表示所述二维视频的帧率，F2表示所述点云深度信息的帧率，int表示取整。
10.根据权利要求1～4任一项所述的数据处理方法，其特征在于，所述压缩所述深度融合图像包括：
通过无损压缩压缩所述深度融合图像。
11.一种数据处理装置，其特征在于，包括：
获取模块，用于获取行驶设备采集的周围环境的二维视频和相应的点云深度信息，所述二维视频包括多帧二维图像，所述点云深度信息包括多帧点云数据；
融合模块，用于融合处在同一时段的所述二维图像和所述点云数据，以得到深度融合图像；
压缩模块，用于压缩所述深度融合图像。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储程序的存储器，
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-10中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
CN202210197662.7A 2022-03-02 2022-03-02 一种数据处理方法、装置、电子设备和可读存储介质 Pending CN114564310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210197662.7A CN114564310A (zh) 2022-03-02 2022-03-02 一种数据处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210197662.7A CN114564310A (zh) 2022-03-02 2022-03-02 一种数据处理方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN114564310A true CN114564310A (zh) 2022-05-31

Family

ID=81716356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210197662.7A Pending CN114564310A (zh) 2022-03-02 2022-03-02 一种数据处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN114564310A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备
CN115904294B (zh) * 2023-01-09 2023-06-09 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN108156519B (zh) 图像分类方法、电视设备及计算机可读存储介质
US20120275690A1 (en) Distributed artificial intelligence services on a cell phone
CN110084113B (zh) 活体检测方法、装置、系统、服务器及可读存储介质
KR102233402B1 (ko) 미세먼지 농도 추정 방법 및 이를 수행하기 위한 장치
CN108010059B (zh) 电子防抖算法的性能分析方法及装置
CN110059623B (zh) 用于生成信息的方法和装置
CN111027438A (zh) 一种人体姿态的迁移方法、移动终端以及计算机存储介质
US20210192217A1 (en) Method and apparatus for processing video
CN114564310A (zh) 一种数据处理方法、装置、电子设备和可读存储介质
WO2011135521A1 (en) Methods and apparatuses for facilitating remote data processing
CN110415318B (zh) 图像处理方法和装置
CN110008926B (zh) 用于识别年龄的方法和装置
CN109977745B (zh) 人脸图像处理方法及相关装置
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
CN111126159A (zh) 用于实时跟踪行人的方法、装置、电子设备和介质
WO2024056030A1 (zh) 一种图像深度估计方法、装置、电子设备及存储介质
CN111586295B (zh) 图像生成方法、装置和电子设备
CN114842287B (zh) 深度引导变形器的单目三维目标检测模型训练方法及装置
WO2022205060A1 (zh) 图像处理方式的确定方法及装置
CN112969053B (zh) 车内信息传输方法、装置、车载设备及存储介质
CN114339252A (zh) 一种数据压缩方法及装置
CN111353490B (zh) 发动机编号牌质量分析方法、装置、电子设备及存储介质
CN110335464B (zh) 交通事故数据的处理方法、装置、终端和存储介质
US20230276059A1 (en) On-vehicle device, management system, and upload method
CN112767348B (zh) 一种检测信息的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination