CN114078145A - 盲区数据处理方法、装置、计算机设备和存储介质 - Google Patents
盲区数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114078145A CN114078145A CN202010837542.XA CN202010837542A CN114078145A CN 114078145 A CN114078145 A CN 114078145A CN 202010837542 A CN202010837542 A CN 202010837542A CN 114078145 A CN114078145 A CN 114078145A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- image data
- data
- blind area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 185
- 238000013507 mapping Methods 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000001360 synchronised effect Effects 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims description 138
- 239000011159 matrix material Substances 0.000 claims description 62
- 238000000280 densification Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 25
- 239000013589 supplement Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009469 supplementation Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请涉及一种盲区数据处理方法、装置、计算机设备和存储介质。该方法包括：获取同步时间下的点云数据和图像数据，对点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系，根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中，从而基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。在本方法是基于激光雷达检测区域与相机检测区域的结合映射，得到激光雷达检测盲区的虚拟点云数据，降低了激光盲区补充的成本。
Description
技术领域
本申请涉及雷达技术领域，特别是涉及一种盲区数据处理方法、装置、计算机设备和存储介质。
背景技术
随着技术的发展，激光雷达被广泛应用在各行各业，通过激光雷达来探测目标物体的距离、速度、方位、姿态等参数已经是现有定位追踪技术中常用的手段。由于激光雷达的数据特性与安装原因，激光雷达的在探测过程中存在一部分盲区，会造成数据信息的缺失。
现有技术通过在目标区域设置多个激光雷达，使得一个雷达可以覆盖另一个雷达的盲区，以达到消除盲区的目的。
但是，现有技术这种通过多个激光雷达相互覆盖消除盲区的方法，成本较高。
发明内容
基于此，有必要针对上述技术问题，提供一种盲区数据处理方法、装置、计算机设备和存储介质。
第一方面，提供一种盲区数据处理方法，该方法包括：
获取同步时间下的点云数据和图像数据；
对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区；
根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中；
基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
在其中一个实施例中，上述对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系，包括：
获取内参矩阵和外参矩阵；
根据内参矩阵和外参矩阵，在像素坐标系中建立点云数据的坐标和图像数据的的坐标之间的全域映射关系。
在其中一个实施例中，上述方法还包括：
根据外参矩阵，将点云数据在实际世界坐标系中的坐标转换为点云数据在相机坐标系中的坐标；
根据内参矩阵，将点云数据在相机坐标系中的坐标转换为点云数据在像素坐标系中的坐标。
在其中一个实施例中，上述根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中，包括：
以激光雷达的中心为原点，以预设的半径步长和角度间隔，构建虚拟点云；
对虚拟点云进行稠密化处理，得到稠密化处理后的虚拟点云；
根据全域映射关系，将稠密化处理后的虚拟点云映射至图像数据中，得到图像数据中的激光雷达的检测盲区的虚拟点云数据。
在其中一个实施例中，上述基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息，包括：
基于图像数据，确定激光雷达的检测盲区中检测目标对应的目标像素点，在像素坐标系中拟合得到两个紧夹目标像素点的拟合圆；
确定经过目标像素点的垂线与拟合圆的两个交点；
根据全域映射关系，从激光雷达的检测盲区的虚拟点云数据中确定与两个交点距离最近的两个虚拟点云；
根据两个虚拟点云到目标像素点的距离、以及两个虚拟点云在实际世界坐标系中的深度信息，得到目标像素点在实际世界坐标系中的深度信息，并将深度信息作为检测目标的深度信息。
在其中一个实施例中，上述获取同步时间下的点云数据和图像数据，包括：
获取点云数据的第一采样时刻和图像数据的第二采样时刻；
计算第一采样时刻与第二采样时刻的时间差；
若时间差小于或等于预设的时间偏差阈值，则确定点云数据和图像数据为同步时间下采集的数据；
若时间差大于预设的时间偏差阈值，则执行修正操作。
在其中一个实施例中，所述修正操作为第一修正操作或执行第二修正操作，第一修正操作为按照预设的帧率步长，获取下一帧图像数据的第三采样时刻，重新执行计算第一采样时刻与第三采样时刻的时间差的步骤；第二修正操作为按照预设的帧率步长，获取下一帧点云数据的第三采样时刻，重新执行计算第二采样时刻与第三采样时刻的时间差的步骤。
在其中一个实施例中，上述获取点云数据的第一采样时刻和图像数据的第二采样时刻，包括：
根据预设的时间轴上的候选采样时刻和第一采样时刻偏差，确定点云数据的第一采样时刻；候选采样时刻为相机或雷达采集数据时预设的时间轴上对应的采样时刻；第一采样时刻偏差为雷达时间轴与预设的时间轴之间的时间偏差；
根据预设的时间轴上的候选采样时刻和第二采样时刻偏差，确定图像数据的第二采样时刻；第二采样时刻偏差为相机时间轴与预设的时间轴之间的时间偏差。
在其中一个实施例中，上述点云数据为根据图像数据对应的图像范围对原始点云数据进行过滤后的数据。
第二方面，提供一种盲区数据处理装置，该装置包括：
第一获取模块，用于获取时间同步下的点云数据和图像数据；
建立模块，用于对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区；
填充模块，用于根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中；
确定模块，用于基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
第三方面，提供一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任一所述的盲区数据处理方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任一所述的盲区数据处理方法。
上述盲区数据处理方法、装置、计算机设备和存储介质，服务器通过获取同步时间下的点云数据和图像数据，对点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系，根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中，从而基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。在本方法中，服务器根据重叠区域的点云数据和图像数据构建包括激光雷达的检测盲区在内的图像数据覆盖区域的全域映射关系，基于全域映射关系进行激光雷达检测盲区虚拟点云数据的补充，从而使得当通过图像数据出现检测目标时，可以根据全域映射关系、盲区的虚拟点云数据，实现对激光雷达的检测盲区中的检测目标的深度信息的确定，不会出现由于检测目标处于激光雷达检测盲区而造成的目标丢失的情况，且，本方法是基于激光雷达检测区域与相机检测区域的结合映射，得到激光雷达检测盲区的虚拟点云数据，不需要通过多个激光雷达进行盲区补充，降低了激光盲区补充的成本。
附图说明
图1为一个实施例中盲区数据处理方法的应用环境图；
图2为一个实施例中盲区数据处理方法的流程示意图；
图3为一个实施例中盲区数据处理方法的流程示意图；
图3a为一个实施例中重叠区域的图像平面点云的分布示意图；
图4为一个实施例中盲区数据处理方法的流程示意图；
图4a为一个实施例中稠密化处理之后重叠区域的图像平面点云的分布示意图；
图4b为一个实施例中稠密化处理之后重叠区域的图像平面点云与图像数据的映射示意图；
图5为一个实施例中盲区数据处理方法的流程示意图；
图5a为一个实施例中原始点云数据分布示意图；
图5b为一个实施例中点云数据分布示意图；
图5c为一个实施例中盲区填充虚拟点云之后的图像平面点云的分布示意图；
图6为一个实施例中盲区数据处理方法的流程示意图；
图6a为一个实施例中拟合圆模型的示意图；
图7为一个实施例中盲区数据处理方法的流程示意图；
图8为一个实施例中盲区数据处理方法的流程示意图；
图9为一个实施例中盲区数据处理方法的流程示意图；
图10为一个实施例中盲区数据处理装置的结构框图；
图11为一个实施例中盲区数据处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的盲区数据处理方法，可以应用于如图1所示的应用环境中。其中，服务器101通过网络与雷达102、图像采集设备103进行通信。其中，服务器101可以是独立的服务器或者是多个服务器组成的服务器集群；雷达102为任意一种激光雷达；图像采集设备103为任意一种高清图像采集设备，例如，高清摄像头。需要说明的是，在安装图像采集设备103与雷达102时，图像采集设备安装至雷达的检测盲区，以达到采集雷达盲区中的图像数据的目的。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请图2-图9实施例提供的盲区数据处理方法，其执行主体为服务器101，也可以是盲区数据处理装置，该盲区数据处理装置可以通过软件、硬件或者软硬件结合的方式成为服务器101的部分或全部。下述方法实施例中，均以执行主体是服务器101为例来进行说明。
在一个实施例中，如图2所示，提供了一种盲区数据处理方法，涉及的是服务器获取同步时间下的点云数据和图像数据，基于点云数据和图像数据的全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，从而根据全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息的过程，包括以下步骤：
S201、获取时间同步下的点云数据和图像数据。
其中，点云数据为对原始点云数据处理之后的数据，示例的，对原始点云数据处理包括非地面点的剔除、非图像范围内的点的剔除、杂点剔除等。点云数据为激光雷达采集到的数据；图像数据为图像采集设备采集到的数据。需要说明的是，图像采集设备的检测区域覆盖激光雷达的检测盲区。
可选地，在一个实施例中，点云数据为根据图像数据对应的图像范围对原始点云数据进行过滤后的数据。
其中，原始点云数据指的是在激光雷达采集到的检测范围内的所有点云数据，本实施例中，服务器获取的点云数据指的是根据图像采集设备的检测范围，过滤掉不在图像采集设备检测范围内的点云，而保留下来的点云数据。可选地，服务器在对原始点云数据进行过滤时，还可以将未接收成功的点、非地面点、噪点、以及杂点对应的点云数据进行删除过滤。
在本实施例中，为得到对应的点云数据和图像数据，服务器需要获取同步时间下的两种数据进行雷达盲区点云填充。可选地，服务器可以调整图像采集设备与雷达的采样频率，使得二者处于相同相位下采集数据。在相同相位的前提下，服务器获取对应时刻的点云数据和图像数据进行雷达盲区点云补充。例如，服务器可以在相同相位下，获取同一时刻的点云数据和图像数据；或者，服务器可以在预设的时间偏差范围内，获取该偏差范围内的某一时刻的点云数据和图像数据，本实施例对此不做限定。
S202、对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区。
其中，映射关系指的是点云数据中的点云点与图像数据中的像素点之间的对应关系。在本实施例中，全域指的是图像数据覆盖的区域，其中包括了点云数据覆盖的区域和激光雷达的检测盲区。
在本实施例中，服务器可以根据获取到的图像数据和点云数据，确定相机与激光雷达的配准方法，示例地，服务器可以对重叠区域中点云数据和图像数据进行分析配准，获取相机与激光雷达对应的内参矩阵和外参矩阵，该内参矩阵和外参矩阵即可以表示点云数据在像素坐标系下的坐标与图像数据中像素点的坐标的对应关系，具体地，根据内参矩阵和外参矩阵，可以将点云数据的三维坐标转换为像素坐标系下的二维坐标，从而实现点云数据在像素坐标系下的坐标与图像数据中像素点的坐标的对应关系。本实施例对此不做限定。
S203、根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中。
其中，虚拟点云数据指的是根据激光雷达采集到的点云数据，与全域映射关系，构建得到的点云数据，并非真实的、雷达采集到的点云数据。
在本实施例中，可选地，服务器可以根据全域映射关系和预设的填充算法，在激光雷达的检测盲区填充虚拟点云数据，从而将激光雷达的检测盲区中填充的虚拟数据映射至图像平面点云中，得到填充之后的虚拟点云数据对应的品面点云。示例地，服务器可以根据激光雷达检测的点云数据的分布特征和呈现形状，填充激光雷达的检测盲区的虚拟点云数据，例如，激光雷达的检测盲区呈以激光雷达为中心的扇形区域，根据点云数据的分布特征，确定检测盲区的中心点即为激光雷达中心，以该中心点为原点，以确定的半径步长与角度间隔，根据全域映射关系，构建激光雷达的检测盲区的虚拟点云数据，从而将构建好的虚拟点云数据映射至平面图像中，得到虚拟点云数据对应的平面点云数据，本实施例对此不做限定。
S204、基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
在本实施例中，当检测目标出现在激光雷达的检测盲区时，激光雷达是无法获取到该检测目标的深度信息的，故，本实施例结合图像数据实现对激光雷达检测盲区中检测目标的检测。示例地，服务器构建图像数据与点云数据的全域映射关系之后，当图像数据中，激光雷达检测盲区对应的区域出现检测目标时，服务器可以获取该检测目标在图像数据中的目标像素点，从而根据全域映射关系，确定该目标像素点对应的虚拟点云数据，从而根据预设的确定检测目标深度信息的预测算法，根据该目标像素点对应的虚拟点云数据，确定该检测目标对应的深度信息。可选地，服务器可以根据虚拟点云数据分布进行线性拟合，根据拟合得到的线性模型和虚拟点云数据的坐标，确定目标像素点对应的深度信息，即检测目标的深度信息。可选地，服务器还可以根据虚拟点云数据的特征构建深度学习模型，将目标像素点作为输入，通过模型预测，输出其对应的三维坐标，作为该目标像素点的深度信息，本实施例对此不做限定。
上述盲区数据处理方法中，服务器获取同步时间下的点云数据和图像数据，对点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系，根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中，从而基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。在本方法中，服务器根据重叠区域的点云数据和图像数据构建包括激光雷达的检测盲区在内的图像数据覆盖区域的全域映射关系，基于全域映射关系进行激光雷达检测盲区虚拟点云数据的补充，从而使得当通过图像数据出现检测目标时，可以根据全域映射关系、盲区的虚拟点云数据，实现对激光雷达的检测盲区中的检测目标的深度信息的确定，不会出现由于检测目标处于激光雷达检测盲区而造成的目标丢失的情况，且，本方法是基于激光雷达检测区域与相机检测区域的结合映射，得到激光雷达检测盲区的虚拟点云数据，不需要通过多个激光雷达进行盲区补充，降低了激光盲区补充的成本。
由于点云数据与图像数据处于不同的坐标系中，服务器在建立二者的映射关系时，需要根据预设的标定配准方法，确定点云数据的坐标系的转换矩阵，从而建立重叠区域中点云数据和图像数据的映射关系，在一个实施例中，如图3所示，上述对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系，包括：
S301、获取内参矩阵和外参矩阵。
其中，可以通过标定获取该内参矩阵和外参矩阵。
在本实施例中，服务器可以通过下述标定过程获取内参矩阵和外参矩阵。具体包括：通过选取一个参考坐标系，分别测量计算雷达、相机相对于参考坐标系的旋转平移6自由度。其中雷达对应的坐标系是指雷达的世界坐标系。其中，旋转平移6自由度指的是外参矩阵，包括平移向量、旋转矩阵等参数。服务器根据预设的标定方法，确定相机坐标系与像素坐标系转换所需的内参矩阵，内参矩阵包括内参、横向畸变系数、切向畸变系数等参数。
S302、根据内参矩阵和外参矩阵，在像素坐标系中建立点云数据的坐标和图像数据的的坐标之间的全域映射关系。
其中，外参矩阵用于将点云数据在世界坐标系下的坐标转换至相机坐标系下的坐标；内参矩阵用于将点云数据在相机坐标系下的坐标转换至像素坐标系下的坐标。
在本实施例中，服务器根据外参矩阵，将点云数据在世界坐标系下的坐标转换至相机坐标系下的坐标，根据内参矩阵、畸变系数，将点云数据在相机坐标系下的坐标转换至像素坐标系下的坐标，得到像素坐标系下的点云数据，即将点云数据映射到图像数据所在的平面上，得到图像平面点云，图像平面点云的示意图如图3a所示。在本实施例中，服务器根据图像数据和点云数据确定配准方法，并根据配准方法确定内参矩阵和外参矩阵，内参矩阵和外参矩阵表征了图像数据与点云数据之间的对应关系，可选地，该对应关系可以为相机所有覆盖区域，即包括雷达检测盲区的，点云数据与图像数据的全域映射关系。示例地，其映射关系可以表示为{Mvideo-Mlidar}，本实施例对此不做限定。
在本实施例中，服务器根据激光雷达与相机图像重叠区域的点云数据和图像数据确定相机与激光雷达的配准方法，根据配准方法确定内参矩阵和外参矩阵，从而根据内外参矩阵确定相机图像的全域中点云数据与图像数据的映射关系，使得服务器可以根据该映射关系，完成后续的相机图像的全域中对应的激光雷达检测盲区的虚拟点云数据的补充。
可选地，在服务器重叠区域的点云数据的坐标与图像数据的坐标之间的映射关系时，可以根据确定的转换矩阵进行点云数据的坐标系的转换，在一个实施例中，如图4所示，该方法还包括：
S401、根据外参矩阵，将重叠区域的点云数据在实际世界坐标系中的坐标转换为重叠区域的点云数据在相机坐标系中的坐标。
其中，外参矩阵包括旋转矩阵和平移向量。
在本实施例中，服务器可以根据外参矩阵，将原始点云数据的坐标转换为相机坐标系中对应的坐标，该表达式如下：
其中，(X,Y,Z)表示点云数据在世界坐标系中的坐标；(x,y,z)表示点云数据在相机坐标系中的坐标；R表示旋转矩阵；t表示平移向量。
S402、根据内参矩阵，将重叠区域的点云数据在相机坐标系中的坐标转换为重叠区域的点云数据在像素坐标系中的坐标。
其中，内参包括fx,fy,cx,cy。在本实施例中，在转换得到点云数据在相机坐标系中的坐标之后，服务器可以根据下列公式，将点云数据在相机坐标系中的坐标转换为在像素坐标系中的坐标。将点云数据在相机坐标系中的坐标转换为在像素坐标系中的坐标的过程如下所示：
x′＝x/z
y′＝y/z
r2＝x′2+y′2
u＝fx*x″+cx
v＝fy*y″+cy
其中：(u，v)表示点云数据在像素坐标系中的坐标；(x,y,z)表示点云数据在相机坐标系中的坐标；fx,fy,cx,cy表示相机内参；k1,k2,k3,k4,k5,k6为径向畸变系数；p1,p2为切向畸变系数；r为该点到图像坐标系原点的距离。
在本实施例中，服务器可以根据外参矩阵、内参矩阵，将点云数据在世界坐标系下的坐标转换为像素坐标系下的坐标，即通过映射变换将点云数据对应的点云映射到平面图像中，得到平面点云，建立相机覆盖领域的平面点云与图像数据之间的映射关系，为实现激光雷达检测盲区的虚拟点云数据补充做了基础。
在本实施例中，服务器对重叠区域的点云数据进行稠密化处理，扩充点云数据的样本量，在根据重叠区域的点云数据进行非重叠区域的虚拟点云数据填充时，由于样本量的增多，提高了虚拟点云数据填充的精度和准确度。
服务器根据已知的点云数据在非重叠区域构建虚拟点云数据，在一个实施例中，如图5所示，上述根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中，包括：
S501、以激光雷达的中心为原点，以预设的半径步长和角度间隔，构建虚拟点云。
其中，预设的半径步长和角度间隔根据激光雷达的实际检测区域确定。
在本实施例中，由于激光雷达的理想检测区域为360度，其检测到的点云数据的分布特征呈现同心圆的分布特征，即以激光雷达为原点，以不同半径，呈现一圈一圈的分布特征，原始点云数据分布图如图5a所示。服务器以激光雷达的中心为原点，分别以确定的半径步长与确定的角度间隔，构建虚拟点云。以上述例子说明，服务器可以根据半径的取值范围(0,5m)确定半径步长，例如半径步长可以取0.2m，根据角度的取值范围(45°,135°)确定角度间隔，例如角度间隔可以取5°，以非重叠区域的目标中心为原点，半径步长0.2m，角度间隔5°，可以分别建立以半径为5m、4.8m、4.6m，以角度为45°、50°的虚拟点云数据集，本实施例对此不做限定。
S502、对虚拟点云进行稠密化处理，得到稠密化处理后的虚拟点云。
其中，稠密化处理指的是将稀疏的点云数据进行扩充，可选地，服务器可以通过将点云数据在实际世界坐标系的坐标转换为极坐标系中的坐标，进行稠密化处理。
在本实施例中，示例地，根据世界坐标系与极坐标系的转换关系，服务器将点云数据的坐标，转换为极坐标系下的坐标，可选地，服务器可以先获取虚拟点云三维点(X,Y,Z)的俯视点(X,Y,0)，在Z＝0平面上，将虚拟点云点(X,Y)转换到极坐标系下，并计算求各点对应的点云数据的极角，由于激光雷达具有不同的线束，具体地，服务器可以对相邻线束且极角相等的两个点通过等分极长的方式来添加填充点，稠密化处理前的点云数据的示意图如图3a所示，稠密化处理后的点云数据的示意图如图4a所示。可选地，为了进一步增加虚拟点云的数据量，服务器还可以通过构建点云线的方法，将处于同一个半径上的离散虚拟点云拟合为曲线，本实施例对此不做限定。
S503、根据全域映射关系，将稠密化处理后的虚拟点云映射至图像数据中，得到图像数据中的激光雷达的检测盲区的虚拟点云数据。
在本实施例中，服务器进行激光雷达检测盲区的虚拟点云构建后，对构建之后就的虚拟点云进行稠密化处理，增加了虚拟点云的数据量，而后根据全域映射关系，将激光雷达检测盲区的虚拟点云映射至图像平面点云中，得到图像数据中的激光雷达的检测盲区的虚拟点云数据，在激光雷达检测盲区的填充虚拟点云数据之后的平面图像的点云数据示意图如图5b所示。
在本实施例中，服务器根据全域映射关系，构建激光雷达检测盲区的虚拟点云数据，在进行获取激光雷达检测盲区任意一个坐标的深度信息时，虚拟点云数据提供了计算、参考的作用。
在激光雷达检测盲区进行虚拟点云数据补充时，可以通过构建数学模型进行盲区深度信息补充，在一个实施例中，如图6所示，上述基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息，包括：
S601、基于图像数据，确定激光雷达的检测盲区中检测目标对应的目标像素点，在像素坐标系中拟合得到两个紧夹目标像素点的拟合圆。
其中，拟合圆指的是根据激光雷达的检测盲区中虚拟点云数据对应的目标像素点进行线性拟合，得到的拟合圆模型，拟合圆模型图可参考图6a所示。
在本实施例中，服务器在激光雷达的检测盲区对应的图像数据区域检测到检测目标时，确定该检测目标对应的目标像素点(x0,y0)，根据目标像素点的坐标位置，以及拟合圆的参数信息，服务器可以确定与该目标像素点(x0,y0)距离最近的两个拟合圆模型，可选地，距离最近可以为上下紧夹目标像素点的两个拟合圆模型，分别为C1和C2。
S602、确定经过目标像素点的垂线与拟合圆的两个交点。
在本实施例中，可选地，服务器根据目标像素点(x0,y0)，过该点做一条垂直于X轴的垂线x＝x0，此时，该垂线x＝x0与多个拟合圆模型相交，获取与上述C1和C2两个拟合圆的交点，得到C1对应的交点1(x0,y1)和C2对应的交点2(x0,y2)。
S603、根据全域映射关系，从激光雷达的检测盲区的虚拟点云数据中确定与两个交点距离最近的两个虚拟点云。
在本实施例中，服务器根据全域映射关系，从激光雷达的检测盲区的点云数据中，确定与交点1(x0,y1)和交点2(x0,y2)距离最近的两个虚拟点云，得到虚拟点云1(X1,Y1,Z1)和虚拟点云2(X2,Y2,Z2)，。
S604、根据两个虚拟点云到目标像素点的距离、以及两个虚拟点云在实际世界坐标系中的深度信息，得到目标像素点在实际世界坐标系中的深度信息，并将深度信息作为检测目标的深度信息。
在本实施例中，服务器根据目标像素点(x0,y0)到交点1(x0,y1)和交点2(x0,y2)的距离比例，对虚拟点云1(X1,Y1,Z1)和虚拟点云(X2,Y2,Z2)进行等比例计算，确定(x0,y0)对应的三维坐标，得到该目标像素点在世界坐标系中的深度信息，即确定检测目标的深度信息。
在本实施例中，在服务器基于图像数据，检测到激光雷达检测盲区对应的图像区域出现检测目标时，可以根据图像数据中检测目标的像素点、图像数据与点云数据的全域映射关系、以及激光雷达的检测盲区的虚拟点云，确定该检测目标在实际世界坐标中的深度信息，即实现通过图像数据、图像数据与点云数据的映射关系，实现对激光雷达检测盲区检测目标的数据补充检测，补充过程简单，且不需要多个雷达进行检测盲区覆盖补充，简化了激光雷达检测盲区点云数据补充的过程，降低了激光雷达检测盲区点云补充的成本。
服务器可以直接获取雷达和图像采集设备的采样时刻，但二者采样时刻可能存在并非时间同步下的采样时刻，在一个实施例中，如图7所示，上述获取同步时间下的点云数据和图像数据，包括：
S701、获取点云数据的第一采样时刻和图像数据的第二采样时刻。
其中，第一采样时刻指的是雷达采集当前点云数据对应的采样时刻；第二采样时刻指的是图像采集设备采集当前图像数据对应的采样时刻。
在本实施例中，服务器可以在获取点云数据的同时，获取该点云数据对应的第一采样时刻t1，类似的，服务器可以在获取图像数据的同时，获取当前图像数据对应的第二采样时刻t2；可选地，服务器还可以在接收点云数据和图像数据之后，分别向雷达和图像采集设备获取当前点云数据对应的第一采样时刻t1、和当前图像数据对应的第二采样时刻t2，本实施例对此不做限定。
S702、计算第一采样时刻与第二采样时刻的时间差。
在本实施例中，服务器根据第一采样时刻t1、第二采样时刻t2，计算第一采样时刻与第二采样时刻的时间差，可选的，服务器可以将计算结果的绝对值作为该时间差的值，即tc＝|t1-t2|，本实施例对此不作限定。
S703、若时间差小于或等于预设的时间偏差阈值，则确定点云数据和图像数据为同步时间下采集的数据。
其中，预设的时间偏差阈值指的是根据实际场景、雷达精度、图像采集设备的精度确定的时间偏差阈值。
在本实施例中，服务器根据现场实际情况，以及设备的数据精度，确定时间偏差阈值为δ，当tc≤δ时，服务器确定点云数据和图像数据为同步时间下采集的数据。
S704、若时间差大于预设的时间偏差阈值，则执行修正操作。
其中，预设的帧率步长指的是按照雷达与图像采集设备的采样频率，确定的帧率步长。
在本实施例中，服务器判定tc>δ，服务器则确定点云数据和图像数据不为同步时间下采集的数据，服务器可以执行修正操作，以修正上述时间同步过程。可选地，该修正操作可以为第一修正操作或执行第二修正操作；该第一修正操作为按照预设的帧率步长，获取下一帧图像数据的第三采样时刻，重新执行计算第一采样时刻与第三采样时刻的时间差的步骤，示例地，服务器可以通过获取下一帧的图像数据的第三采样时刻，计算第三采样时刻与第一采样时刻的时间差，从而将该时间差与预设的时间偏差阈值进行比较，确定该第三采样时刻是否与第一采样时刻为同步时刻；若第三时刻仍不是，则继续获取第四采样时刻的图像数据，以此类推，直到获取到与第一采样时刻时间同步的采样时刻对应的图像数据。可选地，第二修正操作为按照预设的帧率步长，获取下一帧点云数据的第三采样时刻，重新执行计算第二采样时刻与第三采样时刻的时间差的步骤，示例地，服务器可以通过获取下一帧的点云数据的第三采样时刻，计算第三采样时刻与第二采样时刻的时间差，从而将该时间差与预设的时间偏差阈值进行比较，确定该第三采样时刻是否与第二采样时刻为同步时刻；若第三时刻仍不是，则继续获取点云数据的第四采样时刻，以此类推，直到获取到与第二采样时刻时间同步的采样时刻对应的点云数据，本实施例对此不做限定。
在本实施例中，服务器根据点云数据的采样时刻，和图像数据的采样时刻，进行是否为同步时刻数据的判定，一定程度上确保了点云数据与图像数据的对应性。
若服务器无法直接采集雷达或图像采集设备的采样时刻，在一个实施例中，如图8所示，上述获取点云数据的第一采样时刻和图像数据的第二采样时刻，包括：
S801、根据预设的时间轴上的候选采样时刻和第一采样时刻偏差，确定点云数据的第一采样时刻；候选采样时刻为相机或雷达采集数据时预设的时间轴上对应的采样时刻；第一采样时刻偏差为雷达时间轴与预设的时间轴之间的时间偏差。
其中，预设的时间轴指的是预先设定的参考时间轴，示例地，该参考时间轴可以为服务器的时间轴，此时，候选采样时刻即为服务器获取的自身的采样时刻，即基于服务器时间轴的采样时刻。第一采样时刻偏差指的是根据实际环境确定的，服务器时间轴与雷达时间轴的时刻偏差。
在本实施例中，可选地，设定服务器时间轴的候选采样时刻为t，第一采样时刻偏差为Δt1，服务器根据候选采样时刻t和第一采样时刻偏差Δt1，确定点云数据的第一采样时刻t1’＝|t-Δt1|。
S802、根据预设的时间轴上的候选采样时刻和第二采样时刻偏差，确定图像数据的第二采样时刻；第二采样时刻偏差为相机时间轴与所述预设的时间轴之间的时间偏差。
其中，第二采样时刻偏差指的是根据实际环境确定的，服务器时间轴与图像采集设备时间轴的时刻偏差。
在本实施例中，可选地，设定服务器时间轴的候选采样时刻为t，第一采样时刻偏差为Δt2，服务器根据候选采样时刻t和第一采样时刻偏差Δt2，确定点云数据的第一采样时刻t2’＝|t-Δt2|。
在本实施例中，服务器若无法直接获取雷达和/或图像采集设备的采样时刻，可以通过基于参考时间轴的候选采样时刻与其各自对应的时刻偏差确定各自对应的采集时刻，从而确定时间同步下的点云数据与图像数据，实现点云数据与图像数据的对应关系。
为了更好的说明上述方法，如图9所示，本实施例提供一种盲区数据处理方法，具体包括：
S101、获取点云数据的第一采样时刻和图像数据的第二采样时刻；
S102、计算第一采样时刻与第二采样时刻的时间差；
S103、若时间差小于或等于预设的时间偏差阈值，则确定点云数据和图像数据为同步时间下采集的数据；
S104、对重叠区域中点云数据和图像数据进行配准，获取内参矩阵和外参矩阵；
S105、根据内参矩阵和外参矩阵，在像素坐标系中建立点云数据的坐标和图像数据的的坐标之间的全域映射关系；
S106、以激光雷达的中心为原点，以预设的半径步长和角度间隔，构建虚拟点云；
S107、对虚拟点云进行稠密化处理，得到稠密化处理后的虚拟点云；
S108、根据全域映射关系，将稠密化处理后的虚拟点云映射至图像数据中，得到图像数据中的激光雷达的检测盲区的虚拟点云数据；
S109、基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
在本实施例中，服务器基于时间同步下的点云数据与图像数据，通过建立的点云数据与图像数据的映射关系，进行雷达盲区点云深度信息补充，实现了非盲区区域和盲区区域间的目标信息完整共享，不会造成目标的丢失，且，本方法不需要通过多个雷达进行盲区补充，降低了盲区补充的成本。
上述实施例提供的盲区数据处理方法，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种盲区数据处理装置，包括：第一获取模块01、建立模块02、填充模块03和第二获取模块04，其中：
第一获取模块01，用于获取时间同步下的点云数据和图像数据；
建立模块02，用于对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区；
填充模块03，用于根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中；
第二获取模块04，用于基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
在其中一个实施例中，建立模块02，具体用于获取内参矩阵和外参矩阵；根据内参矩阵和外参矩阵，在像素坐标系中建立点云数据的坐标和图像数据的的坐标之间的全域映射关系。
在其中一个实施例中，如图11所示，上述盲区数据处理装置还包括转换模块05，用于根据外参矩阵，将点云数据在实际世界坐标系中的坐标转换为点云数据在相机坐标系中的坐标；根据内参矩阵，将点云数据在相机坐标系中的坐标转换为点云数据在像素坐标系中的坐标。
在其中一个实施例中，填充模块03，具体用于以激光雷达的中心为原点，以预设的半径步长和角度间隔，构建虚拟点云；对虚拟点云进行稠密化处理，得到稠密化处理后的虚拟点云；根据全域映射关系，将稠密化处理后的虚拟点云映射至图像数据中，得到图像数据中的激光雷达的检测盲区的虚拟点云数据。
在其中一个实施例中，第二获取模块04，具体用于基于图像数据，确定激光雷达的检测盲区中检测目标对应的目标像素点，在像素坐标系中拟合得到两个紧夹目标像素点的拟合圆；确定经过目标像素点的垂线与拟合圆的两个交点；根据全域映射关系，从激光雷达的检测盲区的虚拟点云数据中确定与两个交点距离最近的两个虚拟点云；根据两个虚拟点云到目标像素点的距离、以及两个虚拟点云在实际世界坐标系中的深度信息，得到目标像素点在实际世界坐标系中的深度信息，并将深度信息作为检测目标的深度信息。
在其中一个实施例中，第一获取模块01，具体用于计算第一采样时刻与第二采样时刻的时间差；若时间差小于或等于预设的时间偏差阈值，则确定点云数据和图像数据为同步时间下采集的数据；若时间差大于预设的时间偏差阈值，则执行修正操作。
在其中一个实施例中，所述修正操作为第一修正操作或执行第二修正操作,第一修正操作为按照预设的帧率步长，获取下一帧图像数据的第三采样时刻，重新执行计算第一采样时刻与第三采样时刻的时间差的步骤；第二修正操作为按照预设的帧率步长，获取下一帧点云数据的第三采样时刻，重新执行计算第二采样时刻与第三采样时刻的时间差的步骤。
在其中一个实施例中，第一获取模块01，具体用于根据预设的时间轴上的候选采样时刻和第一采样时刻偏差，确定点云数据的第一采样时刻；候选采样时刻为相机或雷达采集数据时预设的时间轴上对应的采样时刻；第一采样时刻偏差为雷达时间轴与预设的时间轴之间的时间偏差；根据预设的时间轴上的候选采样时刻和第二采样时刻偏差，确定图像数据的第二采样时刻；第二采样时刻偏差为相机时间轴与所述预设的时间轴之间的时间偏差。
在其中一个实施例中，点云数据为根据图像数据对应的图像范围对原始点云数据进行过滤后的数据。
关于盲区数据处理装置的具体限定可以参见上文中对于盲区数据处理方法的限定，在此不再赘述。上述盲区数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种盲区数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取同步时间下的点云数据和图像数据；
对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区；
根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中；
基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取同步时间下的点云数据和图像数据；
对重叠区域中点云数据和图像数据进行配准，确定点云数据与图像数据的全域映射关系；重叠区域为点云数据覆盖的区域和图像数据覆盖的区域之间的重叠区域；全域用于表征图像数据的所有覆盖区域，图像数据的覆盖区域包括激光雷达的检测盲区；
根据全域映射关系，在激光雷达的检测盲区填充虚拟点云数据，并利用全域映射关系将虚拟点云数据映射到图像数据中；
基于全域映射关系、激光雷达的检测盲区的虚拟点云数据、以及激光雷达的检测盲区中的检测目标在图像数据中的像素点，确定检测目标的深度信息。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种盲区数据处理方法，其特征在于，所述方法包括：
获取同步时间下的点云数据和图像数据；
对重叠区域中点云数据和图像数据进行配准，确定所述点云数据与所述图像数据的全域映射关系；所述重叠区域为所述点云数据覆盖的区域和所述图像数据覆盖的区域之间的重叠区域；所述全域用于表征所述图像数据的所有覆盖区域，所述图像数据的覆盖区域包括激光雷达的检测盲区；
根据所述全域映射关系，在所述激光雷达的检测盲区填充虚拟点云数据，并利用所述全域映射关系将所述虚拟点云数据映射到所述图像数据中；
基于所述全域映射关系、所述激光雷达的检测盲区的虚拟点云数据、以及所述激光雷达的检测盲区中的检测目标在所述图像数据中的像素点，确定所述检测目标的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述对重叠区域中点云数据和图像数据进行配准，确定所述点云数据与所述图像数据的全域映射关系，包括：
获取内参矩阵和外参矩阵；
根据所述内参矩阵和所述外参矩阵，在像素坐标系中建立点云数据的坐标和图像数据的的坐标之间的全域映射关系。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述外参矩阵，将所述点云数据在实际世界坐标系中的坐标转换为所述点云数据在相机坐标系中的坐标；
根据所述内参矩阵，将所述点云数据在相机坐标系中的坐标转换为所述点云数据在像素坐标系中的坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述全域映射关系，在所述激光雷达的检测盲区填充虚拟点云数据，并利用所述全域映射关系将所述虚拟点云数据映射到所述图像数据中，包括：
以所述激光雷达的中心为原点，以预设的半径步长和角度间隔，构建虚拟点云；
对所述虚拟点云进行稠密化处理，得到稠密化处理后的虚拟点云；
根据所述全域映射关系，将所述稠密化处理后的虚拟点云映射至所述图像数据中，得到所述图像数据中的激光雷达的检测盲区的虚拟点云数据。
5.根据权利要求1所述的方法，其特征在于，所述基于所述全域映射关系、所述激光雷达的检测盲区的虚拟点云数据、以及所述激光雷达的检测盲区中的检测目标在所述图像数据中的像素点，确定所述检测目标的深度信息，包括：
基于所述图像数据，确定所述激光雷达的检测盲区中检测目标对应的目标像素点，在像素坐标系中拟合得到两个紧夹所述目标像素点的拟合圆；
确定经过所述目标像素点的垂线与所述拟合圆的两个交点；
根据所述全域映射关系，从所述激光雷达的检测盲区的虚拟点云数据中确定与所述两个交点距离最近的两个虚拟点云；
根据所述两个虚拟点云到所述目标像素点的距离、以及所述两个虚拟点云在实际世界坐标系中的深度信息，得到所述目标像素点在实际世界坐标系中的深度信息，并将所述深度信息作为所述检测目标的深度信息。
6.根据权利要求1所述的方法，其特征在于，所述获取同步时间下的点云数据和图像数据，包括：
获取所述点云数据的第一采样时刻和所述图像数据的第二采样时刻；
计算所述第一采样时刻与所述第二采样时刻的时间差；
若所述时间差小于或等于预设的时间偏差阈值，则确定所述点云数据和所述图像数据为同步时间下采集的数据；
若所述时间差大于预设的时间偏差阈值，则执行修正操作。
7.根据权利要求6所述的方法，其特征在于，所述修正操作为第一修正操作或执行第二修正操作，所述第一修正操作为按照预设的帧率步长，获取下一帧图像数据的第三采样时刻，重新执行计算所述第一采样时刻与所述第三采样时刻的时间差的步骤；所述第二修正操作为按照预设的帧率步长，获取下一帧点云数据的第三采样时刻，重新执行计算所述第二采样时刻与所述第三采样时刻的时间差的步骤。
8.根据权利要求6所述的方法，其特征在于，所述获取所述点云数据的第一采样时刻和所述图像数据的第二采样时刻，包括：
根据预设的时间轴上的候选采样时刻和第一采样时刻偏差，确定所述点云数据的第一采样时刻；所述候选采样时刻为相机或雷达采集数据时所述预设的时间轴上对应的采样时刻；所述第一采样时刻偏差为雷达时间轴与所述预设的时间轴之间的时间偏差；
根据所述预设的时间轴上的候选采样时刻和第二采样时刻偏差，确定所述图像数据的第二采样时刻；所述第二采样时刻偏差为相机时间轴与所述预设的时间轴之间的时间偏差。
9.根据权利要求1所述的方法，其特征在于，所述点云数据为根据所述图像数据对应的图像范围对所述原始点云数据进行过滤后的数据。
10.一种盲区数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取时间同步下的点云数据和图像数据；
建立模块，用于对重叠区域中点云数据和图像数据进行配准，确定所述点云数据与所述图像数据的全域映射关系；所述重叠区域为所述点云数据覆盖的区域和所述图像数据覆盖的区域之间的重叠区域；所述全域用于表征所述图像数据的所有覆盖区域，所述图像数据的覆盖区域包括激光雷达的检测盲区；
填充模块，用于根据所述全域映射关系，在所述激光雷达的检测盲区填充虚拟点云数据，并利用所述全域映射关系将所述虚拟点云数据映射到所述图像数据中；
确定模块，用于基于所述全域映射关系、所述激光雷达的检测盲区的虚拟点云数据、以及所述激光雷达的检测盲区中的检测目标在所述图像数据中的像素点，确定所述检测目标的深度信息。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010837542.XA CN114078145A (zh) | 2020-08-19 | 2020-08-19 | 盲区数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010837542.XA CN114078145A (zh) | 2020-08-19 | 2020-08-19 | 盲区数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114078145A true CN114078145A (zh) | 2022-02-22 |
Family
ID=80282649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010837542.XA Pending CN114078145A (zh) | 2020-08-19 | 2020-08-19 | 盲区数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114078145A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820953A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市镭神智能系统有限公司 | 一种数据处理方法、装置、设备以及存储介质 |
| CN114937081A (zh) * | 2022-07-20 | 2022-08-23 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| CN116243324A (zh) * | 2022-12-02 | 2023-06-09 | 深圳市普渡科技有限公司 | 定位方法、装置、机器人以及存储介质 |
| WO2023240805A1 (zh) * | 2022-06-13 | 2023-12-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及系统 |
-
2020
- 2020-08-19 CN CN202010837542.XA patent/CN114078145A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240805A1 (zh) * | 2022-06-13 | 2023-12-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及系统 |
| CN114820953A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市镭神智能系统有限公司 | 一种数据处理方法、装置、设备以及存储介质 |
| CN114937081A (zh) * | 2022-07-20 | 2022-08-23 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| CN114937081B (zh) * | 2022-07-20 | 2022-11-18 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| WO2024016524A1 (zh) * | 2022-07-20 | 2024-01-25 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| US12020490B2 (en) | 2022-07-20 | 2024-06-25 | Zhejiang Lab | Method and device for estimating position of networked vehicle based on independent non-uniform increment sampling |
| CN116243324A (zh) * | 2022-12-02 | 2023-06-09 | 深圳市普渡科技有限公司 | 定位方法、装置、机器人以及存储介质 |
| WO2024114041A1 (zh) * | 2022-12-02 | 2024-06-06 | 深圳市普渡科技有限公司 | 定位方法、装置、机器人以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114078145A (zh) | 盲区数据处理方法、装置、计算机设备和存储介质 | |
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| CN111383279B (zh) | 外参标定方法、装置及电子设备 | |
| AU2019302552B2 (en) | Synthetic image generation from 3D-point cloud | |
| CN111735439B (zh) | 地图构建方法、装置和计算机可读存储介质 | |
| CN109901123B (zh) | 传感器标定方法、装置、计算机设备和存储介质 | |
| CN111241224B (zh) | 目标距离估计的方法、系统、计算机设备和存储介质 | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN111721283B (zh) | 定位算法的精度检测方法、装置、计算机设备和存储介质 | |
| CN110889818A (zh) | 低空无人机影像拼接方法、系统、计算机设备及存储介质 | |
| CN110411449B (zh) | 一种航空侦察载荷目标定位方法、系统及终端设备 | |
| CN114067555B (zh) | 多基站数据的配准方法、装置、服务器和可读存储介质 | |
| CN114092771A (zh) | 多传感数据融合方法、目标检测方法、装置和计算机设备 | |
| CN109405834B (zh) | 一种基于数字地图的遮蔽角实时解算方法以及系统 | |
| CN109489658B (zh) | 一种运动目标定位方法、装置及终端设备 | |
| Wang et al. | Automated mosaicking of UAV images based on SFM method | |
| CN115932823A (zh) | 基于异源区域特征匹配的飞行器对地面目标定位方法 | |
| CN113654528B (zh) | 通过无人机位置和云台角度估测目标坐标的方法和系统 | |
| CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
| Sulaj et al. | Examples of real-time UAV data processing with cloud computing | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN114022561A (zh) | 一种基于gps约束和动态校正的城区单目测图方法和系统 | |
| EP3449283A1 (en) | Controlling multiple imaging sensors | |
| CN106371096A (zh) | 机载双天线InSAR三维构像模型构建方法 | |
| CN111382716A (zh) | 数值模式的天气预测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |