CN111105449B - 深度估计装置、自动驾驶车辆及其深度估计方法 - Google Patents
深度估计装置、自动驾驶车辆及其深度估计方法 Download PDFInfo
- Publication number
- CN111105449B CN111105449B CN201910115287.5A CN201910115287A CN111105449B CN 111105449 B CN111105449 B CN 111105449B CN 201910115287 A CN201910115287 A CN 201910115287A CN 111105449 B CN111105449 B CN 111105449B
- Authority
- CN
- China
- Prior art keywords
- sensor data
- depth
- algorithm
- sensor
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 158
- 230000001360 synchronised effect Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 241001125929 Trisopterus luscus Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- XQDBHSNYTFRCNJ-UDTLMCMUSA-N chembl525628 Chemical compound O([C@H]1[C@@H]2OC(=O)[C@](C)(O)CCC3=NC=CC=C3C(=O)OC[C@]3(C)O[C@]4([C@@]2(C)O)[C@H](OC(C)=O)[C@H]3[C@@H](OC(C)=O)[C@@H](OC(C)=O)[C@@]4([C@H]1OC(C)=O)COC(=O)C)C(=O)C1=CC=CC=C1 XQDBHSNYTFRCNJ-UDTLMCMUSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- IQUAVJOINYOCMR-UHFFFAOYSA-N wilfordine Natural products CC1c2ncccc2C(=O)OCC2(C)OC34C(OC(C)=O)C2C(OC(C)=O)C(OC(C)=O)C3(COC(C)=O)C(OC(C)=O)C(OC(=O)c2ccccc2)C(OC(=O)C1(C)O)C4(C)O IQUAVJOINYOCMR-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本揭露涉及一种深度估计装置，包括：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦合到第一类型传感器以及第二类型传感器，且至少配置成用以：通过使用两阶段的分割算法处理第一传感器数据以产生第一分割结果和第二分割结果；同步第一分割结果的参数及第二传感器数据的参数，以产生同步后第二传感器数据；通过使用两阶段的深度估计算法来融合第一分割结果、同步后第二传感器数据以及第二分割结果，以产生第一深度结果以及第二深度结果。
Description
技术领域
本揭露涉及一种由自动驾驶车辆使用的深度估计装置、一种使用所述深度估计装置的自动驾驶车辆及其深度估计方法。
背景技术
在自动驾驶车辆的发展过程中，感测装置是未来自动驾驶车辆的重要组成部分。可集成各种感测装置，以在任何类型的环境中提供更可靠的感测数据和更精确的周围信息。当进行同步数据采集的过程时，尽管各种物体检测技术能可靠且准确地检测特定物体，但是在不同环境内的多样化感测模态下传感器性能会不一致，可能会破坏大多数同时使用的现有次优集成(sub-optimally)的检测技术的性能。
由于当前检测性能会受限于硬件的限制，因此检测技术将遇到各种困难。例如，由于数据采样率(sampling rate)低，物体在高速的情况下可能发生不可靠的检测结果。由于是在最低维度坐标系统中操作，若对检测结果使用统一的规范则可能导致将不属于物体的一部分的像素包括为所检测到的物体。并且由于是在最低数据分辨率下的操作，精细路径规划可能会因此而错过所检测到的物体。
请参照图1A，图1A示出了可用于生成深度图的各种传感器。这种传感器可以包括但不限于光检测与测距(light detection and ranging，LiDAR，又称“光达”)，立体摄影机(stereo camera)和飞行时间(time offlight，ToF)摄影机。更详细地，表1示出了可以产生自动驾驶车辆的周围环境的深度信息的各种感测装置之间的特性的比较。表1中所示的数值仅出于示例性目的示出，因为具体的数值可以基于设计考虑而变化。
表1
根据表1以及先前的详细阐述，用于深度感测的现有技术的传感器可以通过光达传感器来实现，相较于其他传感器(如立体摄影机或ToF摄影机)，光达传感器具有360度视野、最远的检测范围以及最高的深度准确度。然而，基于几个因素，光达传感器的数据分辨率和采样率会被限制。
例如，用于获取深度体积的光束的数量会被限制。图1B示出了低分辨率光达数据和高分辨率光达数据之间的比较。低分辨率光达数据例如是由具有较少数量激光束(例如，16个光束)的光达所采用的投射点云量，而高分辨率光达数据则例如是由具有较多数量激光束(例如64个光束)的光达所采用的投射点云量。在当前版本的各种光达传感器(transducer)中，权衡关系很明显，例如，更实惠的光达将具有较少数量的光束(即，图1B中所绘示的16个光束的光达)，并且较少数量的光束的光达会产生较少数量的点/秒，但是较少数量的光束的光达消耗的电力较少。通过这些权衡，存在一些可能的影响，这些影响包括，例如，当物体加速时所能获取的相应的点云较少(如图1B所绘示)，因而难以识别具有稀疏点云的物体。
在各种光达传感器的当前版本中，权衡关系可能是显而易见的，例如，较近的物体可能具有较多的点云，而较小尺寸的物体可能具有较少的点云。通过这些权衡，存在一些可能的影响，这些影响包括，例如，对于有意义的分析而言，较小尺寸物体的点云数量是极低的，因而会困难于识别较小尺寸物体，并且当物体加速时可能会获得的相应的点云较少。
基于上述权衡关系，通过从稀疏点云到稠密点云的转换来提高检测可靠性的深度高采样率方法是必要的。可以通过深度高采样率技术来实现一些目标。举例来说，由于每个像素可以采用深度值作为深度结果，且由于检测结果可以更精细地分割而不是仅使用边界框(bounding box)，因而可以实现更精确的路径规划。此外，通过使用稠密深度图-检测算法可以实现更好的检测准确度，因物体的相对位置，大小或速度(即加速度)而可以更准确地检测物体。整个系统可以是负担得起的系统，因为深度高采样率可以利用从低成本光达所获得的稠密深度图而并非利用从高端光达获得的深度图。
发明内容
因此，本揭露涉及一种由自动驾驶车辆使用的深度估计装置、一种使用所述深度估计装置的自动驾驶车辆及其深度估计方法。
在示范性实施例中的一个中，本揭露涉及一种深度估计装置，所述深度估计装置应包含(不限于)：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦接至所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
在本揭露的一个示范性实施例中，本揭露涉及一种自动驾驶车辆，所述自动驾驶车辆包含(不限于)深度估计装置，其包含：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦接至所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
在本揭露的一个示范性实施例中，本揭露涉及一种由自动驾驶车辆使用的深度估计方法，所述方法应包含(不限于)：通过使用第一类型传感器来产生第一传感器数据；通过使用第二类型传感器来产生第二传感器数据；通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1A示出了可用于产生深度图的各种传感器。
图1B示出了低分辨率光达数据和高分辨率光达数据之间的比较。
图2示出根据本揭露的一个示范性实施例中的深度估计装置的硬件模块图。
图3示出根据本揭露的一个示范性实施例中的使用深度估计装置的自动驾驶车辆。
图4示出是根据本揭露的一个示范性实施例中的使用深度估计装置的深度估计方法的步骤的流程图。
图5示出根据本揭露的一个示范性实施例中的深度估计架构的详细模块图。
图6A～图6F示出根据本揭露的一个示范性实施例中的深度估计方法的一个实施实例。
图7示出根据本揭露的一个示范性实施例中的深度估计架构的详细模块图。
图8A示出根据本揭露的一个示范性实施例中的影像校正算法。
图8B示出根据本揭露的一个示范性实施例中的第一分割算法。
图8C示出根据本揭露的一个示范性实施例中的第二分割算法。
图9A～图9C示出根据本揭露的一个示范性实施例中的数据校准算法。
图10A～图10C示出根据本揭露的一个示范性实施例中的遮挡修正算法。
图11A～图11B示出根据本揭露的一个示范性实施例中的第一深度估计算法。
图12A～图12B示出根据本揭露的一个示范性实施例中的第二深度估计算法。
图13A～图13C示出根据本揭露的一个示范性实施例中的深度估计方法的另一实施实例。
图14A～图14E示出根据本揭露的一个示范性实施例中的深度估计方法的另一实施实例。
【符号说明】
200、1300、1400：深度估计装置
210：第一类型传感器
220：第二类型传感器
230：处理器
300、V1310、V1410：自动驾驶车辆
S410、S412、S420、S421、S422、S430：步骤
501、701：彩色摄影机数组
502、702：光达传感器数组
S510、S710：彩色影像数据步骤
S511、S711：影像校正步骤
S512a、S712a：基于颜色的分割步骤
S512b、S712b：基于物体的分割步骤
S520、S720：深度体积数据步骤
S521：数据校准步骤
S522、S722：颜色导向的深度估计步骤
S530、S730：物体导向的深度估计步骤
703：转换矩阵
S711a：校正后彩色影像数据步骤
S721a：空间校准步骤
S721b：时间校准步骤
S740：遮挡修正步骤
S740a：修正后深度体积数据步骤
SEG：片段
Pt1～Pt6、Pout：点
t、t-1、t+1：时间
OB1、OB2、OBS：物体
V100：车辆
SW1、SW2：扫描窗口
P100：被遮挡点
UNR：未定义深度值区域
1301：前摄影机
1302a：前右光达
1302b：前左光达
1303：处理单元
1401：立体摄影机
1402：威力登激光扫描仪
1403：处理器
1404：全球定位系统
具体实施方式
现在将详细参考本揭露的当前示范性实施例，附图中示出了所述示范性实施例的实例。只要有可能，相同的参考标号在附图和描述中用以指代相同或相似部分。
本揭露提供自动驾驶车辆的架构，以估计自动驾驶车辆的特定视野(field ofview，FOV)的深度图，并且将从深度估计装置，使用所述深度估计装置的自动驾驶车辆以及深度估计方法的角度来说明所述架构。所述装置可设置在自动驾驶车辆内，所述自动驾驶车辆可以在而无需人为干预的情况下自动操作，因此估计车辆的高分辨率深度图(high-resolution depth map)以执行感测和控制功能将至关重要。所述装置应包括(但不限于)具有重叠FOV的多个不同感测装置集合，例如：成像装置集合，具有用于从周围撷取二维(two dimensional；2D)彩色(RGB)数据的一个或多个影像传感器；光达传感器集合，具有用于从周围撷取三维(three dimensional；3D)点云体积(point clouds volume)的一个或多个光达传感器；以及处理单元，至少配置成为执行影像校正算法，遮挡修正算法，数据校准算法，一组分割算法，以及一组深度估计算法，用以使每种类型的传感器产生高分辨率深度图。基于所提供的架构，可以增加深度图的分辨率，以便提升高分辨率深度图的准确度。图2到图5以其它细节阐明所提供的深度估计架构。
图2示出根据本揭露的一个示范性实施例中的深度估计装置的硬件模块图。深度估计装置200应包括(但不限于)第一类型传感器210，第二类型传感器220和处理器230。第一类型传感器210可以是成像传感器，例如将指定FOV内的可见光捕获到2D影像中的彩色影像传感器。第二类型传感器202可以是成像传感器或测距传感器，例如从指定FOV内取样反射讯号并相应地重构建3D体积的光达传感器。处理器230将至少配置为通过使用第一分割算法来处理第一传感器数据以产生第一分割结果，以及通过使用第二分割算法来处理第一传感器数据以产生第二分割结果。
处理器230将随后被配置为通过使用数据校准算法来同步第一分割结果的参数及第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中多个片段中的一部分可包括多个点云。需要注意的是，在其他实施例中，可以是多个片段中的每一个片段均包括多个点云，本领域具通常知识者可以依据实际情况及要求来自动调整。接着，处理器230将被配置为通过使用第一深度估计算法来融合第一分割结果和同步后第二传感器数据以产生第一深度结果。最后，处理器230将被配置为通过使用第二深度估计算法来融合第二分割结果和第一深度结果以产生第二深度结果。以此方式，本发明通过两阶段的分割算法、数据校准算法以及两阶段的深度估计算法来提升深度图的分辨率。
图3示出根据本揭露的一个示范性实施例中的使用深度估计装置的自动驾驶车辆。自动驾驶车辆300应包括(但不限于)如图2所示的深度估计装置200。
图4示出是根据本揭露的一个示范性实施例中的使用深度估计装置的深度估计方法的步骤的流程图。在步骤S410中，深度估计装置将通过使用第一类型传感器产生第一传感器数据。在步骤S420中，深度估计装置将通过使用第二类型传感器产生第二传感器数据。在步骤S412中，深度估计装置将通过使用第一分割算法来处理第一传感器数据以产生第一分割结果，以及通过使用第二分割算法来处理第一传感器数据以产生第二分割结果。
详细来说明，通过使用第一分割算法(即步骤S412)来处理第一传感器数据的步骤包括：基于第一传感器数据的颜色信息，通过使用第一分割算法来处理第一传感器数据。此外，通过使用第二分割算法来处理第一传感器数据的步骤(即步骤S412)包括：基于第一传感器数据的物体信息，通过使用第二分割算法来处理第一传感器数据。
在步骤S421中，深度估计装置将通过使用数据校准算法来同步第一分割结果的参数及第二传感器数据的参数，以生成包括多个片段的同步后第二传感器数据，其中多个片段中一部分的片段可以包括多个点云。需要注意的是，在其他实施例中，可以是多个片段中的每一个片段均包括多个点云，本领域技术人员可以依据实际情况及要求自动地进行调整。在步骤S422中，深度估计装置将通过使用第一深度估计算法来融合第一分割结果和同步后第二传感器数据以产生第一深度结果。最后，深度估计装置将在步骤S430中通过使用第二深度估计算法来融合第二分割结果与第一深度结果，以产生第二深度结果。
图5～图14E用一些示范性实施例和实例阐明所提供的深度估计架构。图5示出根据本揭露的示范性实施例中的一个的深度估计架构的详细模块图。图6A～图6F示出根据本揭露的一个示范性实施例中的深度估计方法的一个实施实例。请同步参照图5及图6A～图6F，待描述的架构将包括深度估计装置，其利用多种类型的感测装置(例如是图6A中所示的彩色摄影机视场和光达传感器视场)以通过针对重叠FOV(如图6B所示)上的每种类型的感测装置使用多个算法来执行深度估计，其中彩色摄影机的FOV的距离是100米，并且光达传感器的FOV角度是360度。多种类型的感测装置可包括第一类型传感器(例如是图5中所示的彩色摄影机数组501)以及第二类型传感器(例如是图5中所示的光达传感器数组502)。
具体而言，在彩色影像数据步骤S510中，彩色摄影机数组501在自动驾驶车辆的视场内拍摄图像并对应地产生第一传感器数据(例如是彩色影像数据)。在深度体积数据步骤S520中，光达传感器数组502还采用自动驾驶车辆周围的点云体积并相应地产生第二传感器数据(例如是深度体积数据)，其中深度体积数据是稀疏深度数据(如图6D所绘示)。详细来说明，稀疏/稠密等术语是指影像的分辨率。处理器耦接至彩色摄影机数组501和光达传感器数组502，并且处理器至少配置成用于处理彩色影像数据以及深度体数据。进一步来说明，在影像校正步骤S511中，处理器将通过使用影像校正算法来处理彩色影像数据，以去除彩色影像数据的空间失真，并且处理器将产生校正后第一传感器数据(例如，图6C所绘示的校正后彩色影像数据)。
在基于颜色的分割步骤S512a中，处理器将通过使用第一分割算法以基于校正后彩色影像数据的颜色信息来处理校正后彩色影像数据(如图6C所绘示)，以产生第一分割结果。在基于物体的分割步骤S512b中，处理器将通过使用第二分割算法以基于校正后彩色影像数据的物体信息来处理校正后彩色影像数据，以产生第二分割结果。换句话说，处理器将基于校正后彩色影像数据的颜色信息来分割校正后彩色影像，以产生第一分割结果，并且第一分割结果中包括多个片段。此外，处理器将基于校正后彩色影像数据的物体信息来对校正后彩色影像进行分割，以产生第二分割结果。
需要注意的是，在其他实施例中，处理器也可以在彩色影像数据步骤S510中，直接以彩色摄影机数组501所产生的第一传感器数据(即彩色影像数据)进行基于颜色的分割步骤S512a以及基于物体的分割步骤S512b，亦即图5的绘示仅用以作为示范性实施例，并不用以限制本发明。
在数据校准步骤S521中，处理器将通过使用数据校准算法来同步第一分割结果的参数及第二传感器数据的参数，以产生同步后第二传感器数据。另外，同步后第二传感器数据包括多个片段，其中多个片段中一部分的片段可以包括多个点云，并且同步后第二传感器数据为稀疏深度数据(如图6E所绘示)。需要注意的是，在其他实施例中，也可以是多个片段的每个片段均包括多个点云，本领域具通常知识者可以依据实际情况及要求自动地调整。接着，处理器将通过使用第一深度估计算法来融合第一分割结果与同步后第二传感器数据，以在颜色导向的深度估计步骤S522中产生第一深度结果。
换句话说，处理器将基于校正后彩色影像数据的颜色信息将同步后第二传感器数据映像到第一分割结果，以产生第一深度结果。在物体导向的深度估计步骤S530中，处理器随后通过使用第二深度估计算法来融合第二分割结果与第一深度结果，以生成第二深度结果(例如是图6F中所绘示的高分辨率深度图)。也就是说，处理器会基于校正后彩色影像数据的颜色信息来融合第二分割结果与第一深度结果，以产生第二深度结果(即高分辨率深度图)，其中高分辨率深度图为稠密深度数据。如此一来，本揭露便可藉由彩色摄影机数组501、光达传感器数组502以及处理器，以透过影像校正算法，两阶段的分割算法，数据校准算法和两阶段的深度估计算法来改善深度图的分辨率。
图7示出根据本揭露的一个示范性实施例中的深度估计架构的详细模块图。在本实施例中，多种类型的感测装置可包括第一类型传感器(例如是彩色摄影机数组701)和第二类型传感器(例如是光达传感器数组702)。在彩色影像数据步骤S710中，彩色摄影机数组701会拍摄自动驾驶车辆附近的影像并相应地产生第一传感器数据(例如是彩色影像数据)。在深度体积数据步骤S720中，光达传感器数组702在自动驾驶车辆附近拍摄影像并对应地产生第二传感器数据(例如是深度体积数据)，其中深度体积数据为稀疏深度数据。处理器耦接至彩色摄影机数组701以及光达传感器数组702，并且处理器至少被配置为处理彩色影像数据及深度体积数据。
在详细描述中，图8A示出根据本揭露的示范性实施例中的一个的影像校正算法。请同步参照图7及图8A，处理器将通过使用影像校正算法(即，图7及图8A中所绘示的影像校正步骤S711)来处理彩色影像数据，以去除彩色影像数据的空间失真，处理器将在校正后彩色影像数据步骤S711a中产生校正后第一传感器数据(例如是校正后彩色影像数据)。具体而言，处理器将去除由透镜效应所引起的彩色影像数据(例如，图8A中所示的2D-30Hz彩色影像(C′))的空间失真。举例来说，在2D-30Hz彩色影像(C′)中的背板是弯曲的(即失真现象)，而处理器将会移除2D-30Hz彩色影像(C′)的空间失真，并利用部分转换矩阵703产生校正后第一传感器数据(例如，图8A中所绘示的2D-30Hz彩色影像(C))，其中2D-30Hz彩色影像(C)中的背板已变成平面的。
接着，图8B示出根据本揭露的一个示范性实施例中的第一分割算法。图8C示出根据本揭露的示范性实施例中的一个的第二分割算法。请同步参照图7、图8B及图8C，处理器将基于校正后彩色影像数据的颜色信息，通过使用第一分割算法(即，图7和图8B所绘示的基于颜色的分割步骤S712a)处理校正后彩色影像数据，以产生第一分割结果。具体来说，处理器将分析校正后彩色影像数据(例如，图8B中所绘示的2D-30Hz彩色影像(C))并基于2D-30Hz彩色影像(C)的颜色信息来辨识2D-30Hz彩色影像(C)中相类似的平面，其中颜色信息包括色调(即颜色)，饱和度(即颜色强度)和色值(即亮度)。
处理器接着将基于颜色信息以将2D-30Hz彩色影像(C)中的所有像素分类为区域方面的片段。处理器将分割2D-30Hz彩色影像(C)以产生包括多个片段的第一分割结果(即，图8B中所绘示的基于颜色的分割图(Sc))。亦即2D-30Hz彩色影像(C)中的所有像素会基于颜色信息而被分割为不同区域。第一分割结果(即，基于颜色的分割图(Sc))被表示为多个片段SEG。而每个片段SEG依赖来自2D-30Hz彩色影像(C)中具有类似分类限定的彩色像素集。附带一提的，第一分割算法可例如是简单的线性叠代分群(simple linear iterativeclustering，SLIC)技术。
与此同时，处理器将基于校正后彩色影像数据的物体信息，通过使用第二分割算法(即图7和图8C所绘示的基于物体的分割步骤S712b)来处理校正后彩色影像数据，以产生第二分割结果(例如，图8C中所绘示的基于物体的分割图(So))。具体来说，处理器将基于物体信息，以将修正后彩色影像中的所有像素(例如，图8C中所示的2D-30Hz彩色影像(C))分类为区域方面的片段。物体导向图可帮助识别在先前分割方案中最初未定义的整个上下区域，并且物体导向图可提高图2中所绘示的颜色导向的深度估计步骤S722的准确度。
接着，处理器将基于2D-30Hz彩色影像(C)的物体信息来分割2D-30Hz彩色影像(C)，以产生第二分割结果(即，图8C中所绘示的基于物体的分割图(So))。详细来说明，2D-30Hz彩色影像(C)中的所有像素会基于物体信息在不同区域上被分割，其中物体信息包括车辆，交通锥，机车，行人，天空，道路和其他常见物体类型。第二分割结果(即，基于物体的分割图(So))被表示为多个物体片段。每个物体片段依赖来自2D-30Hz彩色影像(C)的用以表示类似的物体的彩色像素组。第二分割算法则例如是全卷积网络(fｕllyconvolutional network，FCN)技术。
需要说明的是，在其他实施例中，处理器也可以在彩色影像数据步骤S710中，直接对彩色摄影机数组701产生的第一传感器数据(即彩色影像数据)执行基于颜色的分割步骤S712a以及基于物体的分割步骤S712b，在此并不加以限制，图7的绘示仅用以作为示范性实施例，并不用以限制本发明。
图9A～图9C示出根据本揭露的一个示范性实施例中的数据校准算法。请同步参照图7及图9A～图9C，处理器将通过使用数据校准算法来同步第一分割结果的参数及第二传感器数据的参数，以产生同步后第二传感器数据，其中数据校准算法包括空间校准步骤S721a(如图7和图9A所绘示)和时间校准步骤S721b(如图7和图9B～图9C所绘示)。详细来说明，数据校准算法包括：通过使用转换矩阵703来校准第二传感器数据的空间参数以产生校准后第二传感器数据，并且通过使用时间校准算法来校准第一分割结果的时间参数和校准后第二传感器数据的时间参数。
具体来说明，处理器将通过使用转换矩阵703(如图7及图9A所绘示)来校准第二传感器数据(例如，图9A中所绘示的3D-20Hz稀疏点云(L))的空间参数。换句话说，处理器将第二传感器数据从3D数据转换为具有转换矩阵703的2D数据，并通过针孔成像原理来产生校准后第二传感器数据(即图9A中所绘示的2D-20Hz稀疏点云
详细来说明，基于深度的预处理将需要具有360度的FOV和采样率为频率fL(例如是20Hz)的一个或多个主动式3D深度传感器(即，光达传感器数组702)。为了使基于深度的传感器(即，光达传感器数组702)和基于色彩的传感器(即，彩色摄影机数组701)之间的数据同步，则应该使稀疏3D点云体积数据的空间信息或坐标系统(例如是(LT＝［[Lx，Ly，Lz]))与来自基于色彩的传感器的稠密2D彩色影像(例如是(CT＝［[Ci，Cj]))同步。
第二传感器数据(例如是图9A中所绘示的3D-20Hz稀疏点云(L))的映像仅在位于2D-30Hz彩色影像(C)的FOV中的点云上执行。并且数据校准算法会使用转换矩阵703的旋转矩阵作为：
此外，基于平移矩阵以进一步替换获取的点：
之后，根据可用的摄影机内部参数来转换获取的点，其中内部参数可使用影像校正来获取：
最后，处理获取的点以取得原始点云数据的所需二维呈现：
此外，处理器将通过使用时间校准算法来校准第一分割结果的时间参数(即，图8B中所绘示的基于颜色的分割图(Sc))与校准后第二传感器数据的时间参数(即，图9A中所绘示的2D-20Hz稀疏点云
)，以产生同步后第二传感器数据。时间校准算法包括：使第一分割结果的采样率与校准后第二传感器数据的采样率同步。详细来说明，光达传感器数组702的采样率会小于彩色摄影机数组701的采样率。
通常，光达传感器数组702会具有频率fL(例如是20Hz)的采样率，而彩色摄影机数组701的采样率则可达到频率fC(例如是30Hz)。此条件表示需要透过同步技术来将光达传感器数组702的数据从20Hz上采样到30Hz。因此，处理器将会同步第一分割结果的采样率和校准后第二传感器数据的采样率。
图9B中绘示时间校准算法的插值技术。依据图9B的绘示，光达传感器数组702每50毫秒(ms)可拍摄一个点云体积，因此光达传感器数组702可以分别在时间0ms、50ms、100ms、150ms、200ms、250ms和300ms处(如图9B所绘示)拍摄点云体积。而彩色摄影机数组701则可以每33ms拍摄一张影像，因此彩色摄影机数组701可以在时间0ms、33ms、67ms、100ms、133ms、167ms、200ms、233ms、267ms和300ms处(如图9B所示)拍摄影像。处理器可以直接同步在相同时间(即，0ms、100ms、200ms、300ms)所拍摄的影像。
接着，处理器将对光达传感器数组702的前两个数据执行插值技术。换句话说，处理器将处理光达传感器数组702在不同的时间点所拍摄的的数据。处理器将使用光达传感器数组702在时间0ms和50ms所拍摄的影像，以产生光达传感器数组702在时间67ms的影像。处理器然后将使用光达传感器数组702在时间67ms和100ms所拍摄的影像，以产生光达传感器数组702在时间133ms的影像，并依此类推，以产生在时间167ms的影像，在时间233ms的影像，在时间267ms的影像。在这之后，处理器将根据自动驾驶车辆的时间差和自动驾驶车辆的动量开始对基于颜色的分割图(Sc)和3D-20Hz稀疏点云(L)进行同步。
如图9C所绘示，处理器将考虑自动驾驶车辆和周围物体的运动可能性来执行插值技术。详细来说明，在时间校准算法的插值技术中，处理器将识别在具有新获取的点云体积
的每个画面(例如，画面t-1，画面t)中，校准后第二传感器数据(即，如图9A所绘示的2D-20Hz稀疏点云
)中的每个片段(例如，片段SEG)中点云的设置(例如，点Pt1～Pt2)，其中t表示影像数据的时间索引，并且只有一部分的片段会包括多个点云。换句话说，每个片段SEG是表示为具有多个点云的片段的其中之一。需要注意的是，在其他实施例中，也可以是多个片段中的每一个片段均包括多个点云，本领域技术人员可以根据实际情况和要求自动地调整。处理器将滤除与片段SEG中的点不相同的点(例如点Pout)，因为点Pout和片段SEG是位于不同的物体上。处理器然后通过找到成对点云之间的最小欧基里德距离(Euclidean Distance)，将
中的每个点云(例如，点Pt3，Pt4)与
中的每个点云(例如点Pt1，Pt2)配对为：
其中，
和
表示每个片段SEG中每个点云值的深度和反射比值。
在第一个分割结果(即基于颜色的分割图(Sc))的片段SEG中的每一对点云中，于t-1时间的新点云体积(即点Pt5，Pt6)被预测为：
其中
Tcamera()与TLiDAR()则表示基于色彩的传感器(即，彩色摄影机数组701)和基于深度的传感器(即，光达传感器数组702)的确切时戳。
据此，从同步后第二传感器数据的体积数据重新映像最初获取或人工产生的所有点云，采样率应该已经从频率fL(即20Hz)被同步至频率fC(即30Hz)。
图10A～图10C示出根据本揭露的一个示范性实施例中的遮挡修正算法。请同步参照图7和图10A～图10C，其中在通过使用第一深度估计算法来融合第一分割结果和同步后第二传感器数据，以产生第一深度结果(即，颜色导向的深度估计步骤S722)的步骤之前，处理器更用以：通过使用遮挡修正算法(即遮挡修正步骤S740)来处理同步后第二传感器数据，其中遮挡修正算法包括：扫描所有片段；识别多个片段中的每个片段的多个点云的设置，以在多个片段中的各部分片段中找到被遮挡点以及多个非被遮挡点；以多个片段中的各部分片段中的多个非被遮挡点的平均深度值，替换被遮挡点的深度值。
详细地说，图10A示出本揭露的一个示范性实施例中的彩色摄影机数组701和光达传感器数组702的设置位置。在本实施例中，第一类型传感器具有比第二类型传感器低的设置位置，例如，彩色摄影机数组701的设置位置是被设置在车辆V100的引擎盖上，而光达传感器数组702的设置位置则是被设置在车辆V100的车顶上。据此，光达传感器数组702的FOV可以大于彩色摄影机数组701的FOV，因此，光达传感器数组702可以拍摄到被另一物体(例如物体OB2)所遮挡的物体(例如物体OB1)的点云体积，其中物体OB2比物体OB1更靠近车辆V100。换句话说，由于物体OB2的遮挡，彩色摄影机数组701无法拍摄到物体OB1的影像。遮挡修正将会修正物体OB2的深度之外的点云，如图10A所绘示。
因此，处理器将被配置为通过使用遮挡修正算法来处理同步后第二传感器数据。关于遮挡修正算法的细节，处理器将以第一分割结果(即，图10B中所绘示的基于颜色的分割图(Sc))来处理同步后第二传感器数据(即，如图10B所绘示的2D-30Hz稀疏点云
)，以产生2D-30Hz稀疏点云
(如图10B所绘示)。
详细来说明，处理器将通过扫描窗口SW1(如图10C所绘示)来扫描2D-30Hz稀疏点云
中的所有片段。举例来说，片段SEG是2D-30Hz稀疏点云
中多个片段的其中之一。处理器便会识别多个片段中的每个片段的多个点云的设置，以找到被遮挡点(例如，片段SEG中的被遮挡点P100)以及多个非被遮挡点(例如，片段SEG中的其他点)。接着，处理器将以扫描窗口SW1中的多个片段的各部分片段中的多个非被遮挡点的平均深度值，来替换被遮挡点P100的深度值。如此一来，被遮挡点P100可以被修正为非被遮挡点，并且处理器将在修正后深度体积数据步骤S740a中产生同步后第二传感器数据(即，修正后同步后第二传感器数据)，其中修正后同步后第二传感器数据是稀疏深度数据。
在使第二传感器数据的空间参数及时间参数，与第一分割结果的空间参数及时间参数同步之后，执行深度估计算法。在此以两阶段的算法来执行深度估计算法，第一深度估计算法(即，颜色导向的深度估计)和第二深度估计算法(即，物体导向的深度估计)。图11A～图11B示出根据本揭露的一个示范性实施例中的第一深度估计算法。请同步参照图7和图11A～图11B，在颜色导向的深度估计步骤S722中，处理器将通过使用第一深度估计算法来融合第一分割结果和同步后第二传感器数据，以产生第一深度结果(如图7和图11A～图11B所绘示)。
详细来说明，第一深度估计算法包括：计算所述多个片段的各所述部分片段中的所述多个点云的平均深度值，并以所述多个片段中各所述部分片段对应的所述平均深度值填充所述多个片段中各所述部分片段的深度值。更具体来说，处理器将计算同步后第二传感器数据(例如图10B中所绘示的2D-30Hz稀疏点云
中具有多个点云的各部分片段(例如，片段SEG)中的多个点云(即，图11A中所绘示的片段SEG中的点云)的平均深度值。
处理器然后将以所述多个片段中各所述部分片段对应的所述平均深度值填充所述多个片段中各所述部分片段(即，图11A中所绘示的片段SEG)的深度值，以产生第一深度结果(即，图11B中所绘示的高分辨率深度图(D))。如此一来，处理器可以通过使用第一深度估计算法来融合第一分割结果(即，图11B中所绘示的基于颜色的分割图(Sc))和同步后第二传感器数据(即，图11B所绘示的2D-30Hz稀疏点云
)，以产生第一深度结果(即，图11B中所绘示的高分辨率深度图(D))。
图12A～图12B示出根据本揭露的一个示范性实施例中的第二深度估计算法。请同步参照图7及图12A～图12B，在物体导向的深度估计步骤S730(如图7及图12A～图12B所绘示)中，处理器将通过使用第二深度估计算法来融合第二分割结果与第一深度结果，以产生第二深度结果。详细来说明，第二深度估计算法包括识别多个片段的设置以找到未定义深度值区域；扫描多个片段，以找到与未定义深度值区域相近的多个片段的最小深度值；并且以最小深度值来填充未定义深度值区域的深度值。
具体来说明，处理器将通过扫描窗口SW2来识别多个片段的设置，以找到未定义深度值区域(例如，图12A中所绘示的影像中的物体OBS的片段)，其中物体OBS包括多个片段SEG。然后处理器将扫描多个片段(即，图12A中所绘示的影像中与未定义深度区域UNR相近的片段)以找到未定义深度区域UNR相近的多个片段的最小深度值。处理器将以最小深度值(如图12A所绘示)来填充未定义深度值区域UNR的深度值，以产生第二深度结果(例如，图12B中所绘示的高分辨率深度图(D′))。
如此一来，处理器可以通过使用第二深度估计算法来融合第二分割结果(即，图12B中所绘示的基于物体的分割图(So))与第一深度结果(即，图12B中所绘示的高分辨率深度图(D))，以产生第二深度结果(即，图12B中所绘示的高分辨率深度图(D′))，其中第二深度结果为稠密深度数据。据此，本公开藉由彩色摄影机数组701，光达传感器数组702和处理器，以通过影像校正算法，两阶段的分割算法，数据校准算法和两阶度的深度估计算法来改善深度图的分辨率。
图13A～图13C示出根据本揭露的一个示范性实施例中的深度估计方法的另一实施实例。自动驾驶车辆V1310包括深度估计装置1300。深度估计装置1300包括前右光达1302a，前左光达1302b，前摄影机1301以及处理单元1303。前右光达1302a、前左光达1302b以及前摄影机1301耦接至处理单元1303，其中处理单元1303例如是具有Intel Core i7@2.4GHz 4GB随机存取内存(random access memory，RAM)和NVidia GeForce 940M 2GB视频存储器(video RAM，VRAM)，并且在Ubuntu16.04LTS上运行的个人计算器。
请同步参照图13A～图13C，深度估计装置1300可以准确地估计同步后第二传感器数据(即，图13B中所绘示的具有彩色影像的2D-20Hz稀疏光达)的稠密深度值，并可估计第二深度结果的稠密深度值(即，图13C中所绘示的2D-30Hz高分辨率深度图)。此外，上述实施例所实现的平均复杂度可达到每秒26.232画面(frame per second，FPS)(或每画面38.122ms)。通过对颜色导向和物体导向的估计(例如是边界框区域)来应用有限的计算区域，可以简单地减少深度估计装置1300的复杂度。换句话说，处理单元1303将被配置至少用以执行影像校正算法以产生校正后第一传感器数据，执行两阶段的分割算法以产生第一分割结果和第二分割结果，执行数据校准算法以产生同步后第二传感器数据，并执行两阶段的深度估计算法以产生第一深度结果(即，图13B中所绘示的具有彩色影像的2D-20Hz稀疏光达)和第二深度结果(即，图13C中所绘示的2D-30Hz高分辨率深度图)。
需要注意的是，深度估计装置1300与图2、图5或图7实施例中所绘示的深度估计装置相同或相类似，在此不重复赘述。
图14A～图14E示出根据本揭露的一个示范性实施例中的深度估计方法的另一实施实例。自动驾驶车辆V1410包括深度估计装置1400。深度估计装置1400包括第一类型传感器(例如，立体摄影机1401)、第二类型传感器(例如，威力登激光扫描仪1402)、全球定位系统(Global Positioning System，GPS)1404和处理器1403。威力登激光扫描仪1402、立体摄像机1401以及GPS 1404耦接至处理器1403，其中处理器1403例如是具有Intel Core i7@2.4GHz 4GB随机存取内存和NVidia GeForce 940M 2GB视频存储器，并且在Ubuntu16.04LTS上运行的个人计算器。
由立体摄像机1401所拍摄的影像如图14B所绘示。由威力登激光扫描仪1402所拍摄的影像如图14C所绘示。详细来说名，处理器1403将被配置为至少用以执行影像校正算法以产生校正后第一传感器数据，执行两阶段的分割算法以产生第一分割结果和第二分割结果，执行数据校准算法以产生同步后第二传感器数据，并执行两阶段的深度估计算法以产生第一深度结果(如图14D所绘示)和第二深度结果，其中第二深度结果为稠密高分辨率深度图(如图14E所示)。
需要注意的是，深度估计装置1400与图2、图5或图7实施例中所绘示的深度估计装置相同或相类似，在此不重复赘述。
综上所述，本揭露提供适合用于自动驾驶车辆的深度估计装置。具体地说，本揭露的目的可包含：通过使用所提供的两阶段的分割的来改善来自各传感器的深度图的分辨率，通过考虑影像的特性来设计所提供的两阶段的分割，并且提供基于颜色信息和物体信息的两阶段的深度估计。通过这种方式，可以提高深度估计的准确性。
本申请所揭露的实施例的详细描述中使用的组件、动作或指令不应解释为对本揭露来说绝对关键或必要的，除非明确地如此描述。而且，如本文中所使用，不定冠词“一(a/an)”可以包含一个以上项目。如果意图表示只有一个项目，那么能够使用术语“单个”或类似语言。此外，如本文中所使用，在多个项目和/或多个项目种类的列表之前的术语“中的任一个”意图包含所述项目和/或项目种类个别地或结合其它项目和/或其它项目种类“中的任一个”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。此外，如本文中所使用，术语“集合”意图包含任何数目个项目，包含零个。此外，如本文中所使用，术语“数目”意图包含任何数目，包含零。
本领域的技术人员将显而易见，在不脱离本揭露的范围或精神的情况下，可对所揭露的实施例的结构做出各种修改和变化。鉴于前述内容，意图本揭露涵盖属于随附权利要求书和其等效物的范围内的本揭露的修改及变化。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视申请专利范围所界定的为准。
Claims (19)
1.一种深度估计装置，包括：
第一类型传感器，用于产生第一传感器数据；
第二类型传感器，用于产生第二传感器数据；以及
处理器，耦接至所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：
通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；其中所述第一分割算法基于所述第一传感器数据的颜色信息来处理所述第一传感器数据，所述第二分割算法基于所述第一传感器数据的物体信息来处理所述第一传感器数据；
通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；
通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及
通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
2.如权利要求1所述的深度估计装置，其中在通过使用所述第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生所述第一深度结果的步骤之前，所述处理器进一步配置成用于：
通过使用遮挡修正算法来处理所述同步后第二传感器数据，
其中所述遮挡修正算法包括：
扫描所有片段；
识别各所述多个片段中的所述多个点云的设置，以在所述多个片段中的各所述部分片段中找到被遮挡点以及多个非被遮挡点；以及
以所述多个片段中的各所述部分片段中的所述多个非被遮挡点的平均深度值，替换所述被遮挡点的深度值。
3.如权利要求1所述的深度估计装置，其中所述第一深度估计算法包括：
计算所述多个片段的各所述部分片段中的所述多个点云的平均深度值；以及
以所述多个片段中各所述部分片段对应的所述平均深度值填充所述多个片段中各所述部分片段的深度值。
4.如权利要求1所述的深度估计装置，其中所述第二深度估计算法包括：
识别所述多个片段，以找到未定义深度值区域；
扫描所述多个片段，以找到与所述未定义深度值区域相近的多个片段的最小深度值；以及
以所述最小深度值填充所述未定义深度值区域的深度值。
5.如权利要求1所述的深度估计装置，其中所述数据校准算法包括：
通过使用转换矩阵来校准所述第二传感器数据的空间参数，以产生校准后第二传感器数据；以及
通过使用时间校准算法来校准所述第一分割结果的时间参数以及所述校准后第二传感器数据的时间参数，以产生同步后第二传感器数据。
6.如权利要求5所述的深度估计装置，其中所述时间校准算法包括：
同步所述第一分割结果的采样率以及所述校准后第二传感器数据的采样率。
7.如权利要求1所述的深度估计装置，其中所述第一类型传感器的设置位置低于所述第二类型传感器的设置位置。
8.如权利要求1所述的深度估计装置，其中所述第一类型传感器包括摄影机，并且所述第二类型传感器包括光达传感器。
9.如权利要求1所述的深度估计装置，其中在通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果的步骤之前，所述处理器进一步配置成用于：
通过使用影像校正算法来处理所述第一传感器数据，以去除所述第一传感器数据的空间失真。
10.一种自动驾驶车辆，包括：
深度估计装置，包括：
第一类型传感器，用于产生第一传感器数据；
第二类型传感器，用于产生第二传感器数据；以及
处理器，耦接至所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：
通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；其中所述第一分割算法基于所述第一传感器数据的颜色信息来处理所述第一传感器数据，所述第二分割算法基于所述第一传感器数据的物体信息来处理所述第一传感器数据；
通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；
通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及
通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
11.如权利要求10所述的自动驾驶车辆，其中在通过使用所述第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生所述第一深度结果的步骤之前，所述处理器进一步配置成用于：
通过使用遮挡修正算法来处理所述同步后第二传感器数据，
其中所述遮挡修正算法包括：
扫描所有片段；
识别各所述多个片段中的所述多个点云的设置，以在所述多个片段中的各所述部分片段中找到被遮挡点以及多个非被遮挡点；以及
以所述多个片段中的各所述部分片段中的所述多个非被遮挡点的平均深度值，替换所述被遮挡点的深度值。
12.一种由自动驾驶车辆使用的深度估计方法，所述方法包括：
通过使用第一类型传感器来产生第一传感器数据；
通过使用第二类型传感器来产生第二传感器数据；
通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果；其中所述第一分割算法基于所述第一传感器数据的颜色信息来处理所述第一传感器数据，所述第二分割算法基于所述第一传感器数据的物体信息来处理所述第一传感器数据；
通过使用数据校准算法来同步所述第一分割结果的参数及所述第二传感器数据的参数，以产生包括多个片段的同步后第二传感器数据，其中所述多个片段中的部分片段包括多个点云；
通过使用第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生第一深度结果；以及
通过使用第二深度估计算法来融合所述第二分割结果与所述第一深度结果，以产生第二深度结果。
13.如权利要求12所述的深度估计方法，其中在通过使用所述第一深度估计算法来融合所述第一分割结果以及所述同步后第二传感器数据，以产生所述第一深度结果的步骤之前，所述深度估计方法更包括：
通过使用遮挡修正算法来处理所述同步后第二传感器数据，
其中所述遮挡修正算法包括：
扫描所有片段；
识别各所述多个片段中的所述多个点云的设置，以在所述多个片段中的各所述部分片段中找到被遮挡点以及多个非被遮挡点；以及
以所述多个片段中的各所述部分片段中的所述多个非被遮挡点的平均深度值，替换所述被遮挡点的深度值。
14.如权利要求12所述的深度估计方法，其中所述第一深度估计算法包括：
计算所述多个片段的各所述部分片段中的所述多个点云的平均深度值；以及
以所述多个片段中各所述部分片段对应的所述平均深度值填充所述多个片段中各所述部分片段的深度值。
15.如权利要求12所述的深度估计方法，其中所述第二深度估计算法包括：
识别所述多个片段，以找到未定义深度值区域；
扫描所述多个片段，以找到与所述未定义深度值区域相近的多个片段的最小深度值；以及
以所述最小深度值填充所述未定义深度值区域的深度值。
16.如权利要求12所述的深度估计方法，其中所述数据校准算法包括：
通过使用转换矩阵来校准所述第二传感器数据的空间参数，以产生校准后第二传感器数据；以及
通过使用时间校准算法来校准所述第一分割结果的时间参数以及所述校准后第二传感器数据的时间参数，以产生同步后第二传感器数据。
17.如权利要求16所述的深度估计方法，其中所述时间校准算法包括：
同步所述第一分割结果的采样率以及所述校准后第二传感器数据的采样率。
18.如权利要求12所述的深度估计方法，其中所述第一类型传感器的设置位置低于所述第二类型传感器的设置位置。
19.如权利要求12所述的深度估计方法，其中在通过使用第一分割算法来处理所述第一传感器数据，以产生第一分割结果，以及通过使用第二分割算法来处理所述第一传感器数据，以产生第二分割结果的步骤之前，所述深度估计方法更包括：
通过使用影像校正算法来处理所述第一传感器数据，以去除所述第一传感器数据的空间失真。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/154,738 | 2018-10-09 | ||
| US16/154,738 US10699430B2 (en) | 2018-10-09 | 2018-10-09 | Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof |
| TW107142123A TWI709943B (zh) | 2018-10-09 | 2018-11-26 | 深度估計裝置、自動駕駛車輛及其深度估算方法 |
| TW107142123 | 2018-11-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111105449A CN111105449A (zh) | 2020-05-05 |
| CN111105449B true CN111105449B (zh) | 2023-05-02 |
Family
ID=70420374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910115287.5A Active CN111105449B (zh) | 2018-10-09 | 2019-02-14 | 深度估计装置、自动驾驶车辆及其深度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111105449B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
| CN107480603A (zh) * | 2017-07-27 | 2017-12-15 | 大连和创懒人科技有限公司 | 基于slam和深度摄像头的同步建图与物体分割方法 |
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| EP3343507A1 (en) * | 2016-12-30 | 2018-07-04 | Dassault Systèmes | Producing a segmented image of a scene |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
-
2019
- 2019-02-14 CN CN201910115287.5A patent/CN111105449B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
| EP3343507A1 (en) * | 2016-12-30 | 2018-07-04 | Dassault Systèmes | Producing a segmented image of a scene |
| CN107480603A (zh) * | 2017-07-27 | 2017-12-15 | 大连和创懒人科技有限公司 | 基于slam和深度摄像头的同步建图与物体分割方法 |
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111105449A (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI709943B (zh) | 深度估計裝置、自動駕駛車輛及其深度估算方法 | |
| US20210279444A1 (en) | Systems and methods for depth map sampling | |
| CN112567201B (zh) | 距离测量方法以及设备 | |
| EP3491332B1 (en) | Reflectivity map estimate from dot based structured light systems | |
| Gandhi et al. | High-resolution depth maps based on TOF-stereo fusion | |
| US10540777B2 (en) | Object recognition device and object recognition system | |
| US10176543B2 (en) | Image processing based on imaging condition to obtain color image | |
| CN112346073A (zh) | 一种动态视觉传感器与激光雷达数据融合方法 | |
| KR102151815B1 (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| WO2020179065A1 (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
| WO2022088886A1 (en) | Systems and methods for temperature measurement | |
| US20210264626A1 (en) | Method for depth image acquisition, electronic device, and storage medium | |
| KR20220012375A (ko) | 어라운드뷰 제공 장치 및 방법 | |
| CN113160328A (zh) | 一种外参标定方法、系统、机器人和存储介质 | |
| CN114114312A (zh) | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 | |
| CN114463303A (zh) | 一种基于双目相机和激光雷达融合的道路目标检测方法 | |
| CN111105449B (zh) | 深度估计装置、自动驾驶车辆及其深度估计方法 | |
| CN104980727A (zh) | 基于虚拟现实技术的图像合成方法和头戴式显示设备 | |
| CN116205961A (zh) | 多镜头组合影像和激光雷达点云的自动配准方法及其系统 | |
| WO2019024498A1 (zh) | 一种定位系统以及定位方法 | |
| CN116136408A (zh) | 室内导航方法、服务器、装置和终端 | |
| Tong et al. | Dual-band stereo vision based on heterogeneous sensor networks | |
| CN112771568A (zh) | 红外图像处理方法、装置、可移动平台与计算机可读介质 | |
| CN114581867B (zh) | 目标检测方法、设备、存储介质及程序产品 | |
| KR102525563B1 (ko) | 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |