CN107077741A

CN107077741A - 深度图生成方法和基于该方法的无人机

Info

Publication number: CN107077741A
Application number: CN201680002264.8A
Authority: CN
Inventors: 周游; 朱振宇; 杜劼熹
Original assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Current assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2016-11-11
Filing date: 2016-11-11
Publication date: 2017-08-18
Also published as: WO2018086050A1

Abstract

本发明公开了一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。本发明还提出一种基于该深度图生成方法的遮挡检测系统、避障系统和无人机能够实时检测和处理固定遮挡物，减少其对于障碍检测的影响。

Description

深度图生成方法和基于该方法的无人机

版权申明

技术领域

本发明属于计算机视觉技术领域，具体是指采用双目摄像头系统生成用于避障的深度图时进行遮挡恢复的方法，以及采用该遮挡恢复方法的遮挡检测系统。本发明可应用于带有多摄像头的载具的避障应用，例如无人驾驶的汽车、自动飞行的无人机、VR/AR眼镜、双摄像头的手机等设备。

背景技术

计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段的技术。最常用的成像系统是摄像头，由双摄像头即可组成一个基础的视觉系统，称为Stereo Vision。

双目摄像头系统Stereo Vision System是通过两个摄像头，拍摄同一时刻、不同角度的两张照片，再通过两张照片的差异，以及两个摄像头之间的位置、角度关系，利用三角关系，计算出场景与摄像头的距离关系，这种距离关系一张图显示即为深度图(DepthMap)。也就是说，双目摄像头系统是通过同一时刻不同角度的两张照片的差异，来获取场景的深度信息。

两张照片的差异通常是由于从不同角度拍摄而造成的，这种情况下计算出来的场景深度信息是正确的。但是，这种差异也有可能是由两个摄像头本身的成像差异引起的，或是单个摄像头被遮挡引起的。如果是这种情况，那么计算出来的深度信息就是错误的。

为了消除单个摄像头被遮挡引起的两个摄像头的成像差异，需要对遮挡的影响进行消除，即进行遮挡恢复操作。当双目摄像头系统应用于无人机等无人载具的避障应用上时，如果发生深度图的计算错误，就会引起对障碍的误检测，从而错误地触发制动措施，从而影响无人载具的操作及用户体验。

发明内容

本发明旨在解决无人机避障时在双目图像在出现的固定遮挡物影响深度图计算，从而导致避障失误的问题。

为解决上述技术问题，本发明提出一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。

本发明还提出一种无人机，包括：图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像；以及一个或多个处理器，用于：检测所述两个图像中的异常区域；以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。

本发明还提出一种用于执行上述深度图生成方法的处理器，以及存储有执行上述深度图生成方法的程序的计算机可读介质。

本发明从工程角度出发，提出一种能够实时检测深度图上遮挡并移除其影响的方法。本发明的方法简单有效，鲁棒性强，能够实时检测和处理，减少障碍误检率。

附图说明

图1A是本发明的一个实施例中，从无人机的前置双目摄像头中的一个摄像头中拍摄的一个图像的示意图；

图1B是本发明的一个实施例中进行异常区域检测的示意图；

图2是本发明的深度图生成方法所包括的步骤流程图；

图3是根据本发明的深度图生成方法生成的图1A的深度图的示意图；

图4是根据本发明的深度图生成方法架构的用于无人机的一种遮挡检测系统的一个实施例的结构示意图；

图5是根据本发明的一个实施例的无人机的避障系统的模块架构图；

图6是本发明的另一实施例的无人机的模块架构图。

具体实施方式

由于深度图能够显示场景中物体的远近，因此能够根据深度图检测无人机的前进方向上是否具有障碍物，从而据此进行相应的避障操作。然而，在实际应用中，摄像头中往往会出现无人机自身的部件的遮挡，这些部件例如是无人机的螺旋桨、螺旋桨罩等。在计算深度图时，如果这些部件的部分出现在摄像头，往往会将这些部件视为距离很近的障碍物，从而引发误操作。为此，本发明提出在计算深度图时消除这类遮挡的干扰，即进行遮挡的恢复。

总的来说，本发明提出一种遮挡恢复的深度图生成方法，以及采用该生成方法的无人机。深度图的生成方法包括两个基本的步骤：即S1、检测两个图像中的异常区域；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下生成深度图。当然，此处的两个图像是双目摄像机拍摄的图像，即该两个图像是从不同角度对同一场景同时进行拍摄而获得的。

也就是说，本发明一方面在于检测出那些可能会被认为是障碍物的异常区域，另一方面在于如何使这些异常区域不被视为障碍物。本发明的基本原理是在生成深度图时使异常区域不影响到整个图像深度图的计算。但是，应当理解，本发明并不限于如何计算深度图，而是，只要使被检测出的障碍物区域不参与深度图计算，或以参与度较小的方式参与深度图计算，都是本发明所涵盖的范围。

根据本发明，可以根据实际应用中异常区域出现的特点来制定特定的异常区域检测方式，本发明不局限于具体的检测方式，只要检测之后能够得到一个图像中的异常区域。例如，可以检测可能出现的遮挡物的纹理、遮挡物可能出现的区域等来进行所述检测。

除了无人机自身部件的遮挡之外，天空、强光源、太阳等引起图像过度曝光的景象也会影响深度图的生成，这些过度曝光区域可能会被认为是障碍物出现的区域，因此，本发明还提出在检测两个图像中的异常区域时，将过度曝光的区域也作为异常区域，以消除这些区域的影响。

由此可知，本发明对现有的深度图生成方法进行了改进，使之对遮挡物的影响降至最低。采用这种方法，可以设计出本发明的具有遮挡恢复的无人机。

此外，本发明还提出包括具有遮挡恢复功能的无人机，该无人机还应包括图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像。以及一个或多个处理器，处理器用于检测所述两个图像中的异常区域；以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。由此，该无人机根据图像获取装置获取的图像进行遮挡检测。

下面参照具体实施例来说明。下面的说明尽管是采用无人机为例来进行说明，但本发明的方法、系统、装置并不限于该领域，任何需要计算深度图的应用领域都可合理地利用本发明，例如包括任何不需要人直接在设备本体上进行操作的各种应用设备和应用场景，例如机器人技术、虚拟现实技术等。

图1A是本发明的一个实施例中，从无人机的前置双目摄像头中的一个摄像头中拍摄的一个图像的示意图。如图1A所示，在该图片中的右上方出现了一个长条状的物体A，该物体是无人机的桨叶保护罩。桨叶保护罩通常会出现在摄像对拍摄的范围中的固定区域。除此之外，无人机的螺旋桨、脚架等部件均有可能出现在图像中，并且位置通常较为固定。该实施例中以图1所示的桨中保护罩为例进行说明。

浆叶保护罩上有竖状条纹。因此，在无人机起飞前，对桨叶保护罩可能出现的固定区域做检测。如图1B所示，对固定区域B进行检测，在该实施例中是对于已知的遮挡物进行纹理检测来确定是否出现遮挡。在此，本发明先做二值化处理，变为黑白色，再按照箭头C方向取一行的像素数据进行统计，用0表示白，1表示黑，应该有如下规律[000000001111000000111 000011 001]：①黑白相间②在左图中，从左到右，黑带和白带逐渐缩减，而在右图中相反③黑白相间重复次数有9次，数到8次以上就可以记为有效。满足以上三个条件，则可以认为有检测到浆叶保护罩，可以在手机APP等交互界面上进一步弹窗提示，要求用户确认，是否真的安装有浆叶保护罩。通过这样的步骤能够快速确认浆叶保护罩的遮挡，从而触发对应的遮挡恢复逻辑。

应该了解的是，上述检测纹理的方法仅仅是一种示例，本发明可以根据具体遮挡物的形状、图案等特定，根据现有的方法来制定特定的检测方式，其均应涵盖在本发明的范围内。

再者，本发明还考虑到了，出现在图像中的部件本身的位置相对于图像获取装置(双目相机)也可能不是固定的。例如，在无人机的飞行过程中或者在无人机起飞之前，为了使固定在云台上的拍摄装置(不同于双目相机)持续对某一场景进行拍摄，云台的姿态可能是随时变化的。由此，云台在双目相机所获取的图像中可能出现的区域、大小或形状均可能是变化的。在这种情况下，就需要根据云台的姿态来判断图像中是否存在异常区域，并进行相应的遮挡检测和深度图遮挡恢复操作。具体来说，可以根据云台的实时姿态角(如俯仰角、横滚角、偏航角等)来估计云台在检测图像中的位置，并在估计出云台的位置之后进行遮挡恢复操作。

此外，根据本发明的另一实施方式，在检测两个图像中的异常区域时，将过度曝光的区域作为异常区域。过度曝光区域包括阳光、灯光等直接照射而产生的强光区域，也可以是由于高动态场景切换时的过度曝光区域。由于过度曝光的区域和遮挡物一样会影响深度图的计算，因此，在检测异常区域时，也将这些过度曝光区域作为一种特殊的异常区域进行处理。检测过度曝光的区域可以通过检测图像中各个像素的亮度值来进行，例如，可以将图像中的亮度值大于某个阈值的区域作为过度曝光区域。当然，本发明还可以采用其他的检测过度曝光区域的技术。在一些实施例中，图像获取装置的曝光时间被设为很短(如小于5ms)，且其增益也很小，但是会出现很多像素值大于所述阈值(如有大量像素值大于255的像素点)的像素点，此时的场景则可以被判断为过度曝光。

图2是根据本发明的深度图生成方法生成的图1A的深度图的示意图。如图2所示，该生成的深度图在未受到遮挡物的影响。图3是本发明的深度图生成方法所包括的步骤流程图。如图3所示，深度图的生成方法包括两个基本的步骤：即

S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；

S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下同，根据所述两个图像生成深度图。

在本发明的上述实施例中，通过上述检测方法检测出两个图像中的异常区域，然后在屏蔽异常区域的像素的情况下生成深度图。在进行屏蔽处理的时候，本发明根据具体的深度图生成方法可以采用不同的屏蔽方式，其原理是使异常区域的像素不参与到深度图的计算中，或者使之参与的成分对深度图的计算不产生显著的影响。

作为一个例子，步骤S2中生成深度图D时可采用Semi-global Matching算法，该算法计算匹配代价S取最小值时相应的深度值d，S表示所述两幅图像在进行匹配计算时的匹配程度。所述匹配代价S由下式计算：

其中L_r(p，d)表示像素p沿路径r的路径代价，所述路径代价L_r(p，d)由下式迭代计算获得：

L′_r(p，d)＝C(p，d)+min(L′_r(p-r，d)，L′_r(p-r，d-1)

+P₁，L′_r(p-r，d+1)+P₁，min(L′_r(p-r，i)+P₂)

其中，C(p，d)表示像素p的匹配度，P₁、P₂为惩罚因子，均为常数，i为自然数。

对于步骤1中检测到的所有异常区域的所有像素，令C(p，d)为一个常数C_B，该C_B大于其他区域像素的C(p，d)的最大值。

根据上述公式，由于L’_r(p，d)只取决于式中的后一部分，此此点的深度信息是通过周围的点推算来的，这样就能够去除遮挡引用的本身匹配错误问题。

根据本发明的一种实施方式，当步骤S1检测到异常区域时，步骤S2还包括提示出现遮挡的步骤。例如，对于Semi-global Matching算法来计算深度图时，还可以计算∑_p S(p，d)，当∑_p S(p，d)大于一个阈值时，提示出现遮挡。由于该方法手动地设置了一些像素的本身匹配结果令C(p，d)为一个较大的数字，会引起有较大偏差，因此在计算整个匹配过程的适配参数的时候，手动设置的像素将一律不参与计算，由此，计算出来的∑_pS(p，d)若很大(大于一定的阈值)，则认为当前观测很差，可能出现物体遮挡，或者其他情况(镜头被污染等)，导致双目之间匹配很差。此时无人机可以向用户发出提示信息，如在控制端(如遥控器或智能手机)发出警告信息，警告用户可能有遮挡物挡住了图像获取装置。用户收到警告信息之后，可以去查看是否有遮挡物存在。

图4是根据本发明的深度图生成方法架构的用于无人机的一种遮挡检测系统的一个实施例的结构示意图。如图4所示，该检测系统1包括深度图生成装置10和遮挡检测装置11，深度图生成装置10用于检测从不同角度对同一场景同时进行拍摄的两个图像中的异常区域，并在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图；遮挡检测装置11则用于根据所述深度图生成装置生成的深度图检测遮挡。

所述的深度图生成装置10采用本发明前述的深度图生成方法，在此不再赘述。所述遮挡检测装置11根据生成的深度图来判断是否存在遮挡物。例如，对于Semi-globalMatching算法来计算深度图时，如前所述，可以计算∑_p S(p，d)，当∑_p S(p，d)大于一个阈值时，则判断出现遮挡。

如图4所示，本发明的遮挡检测系统还可以包括警示装置12。当遮挡检测装置11检测到存在遮挡物时，其向警示装置12发送警示指令，警示装置根据该警示指令在所述遮挡检测装置确定出现遮挡时进行警示动作。

作为无人机上应用的一种具体的实施方式，警示装置12可以是安装在无人机上的任何能产生声、光、电信号的器件，例如扬声器、警示灯等。除此之外，本发明优选为将警示装置12设计为具有人机交互功能的器件，或者集成在具有人机交互功能的器件中。对于无人机来说，其可以设置于无人机的遥控器上，或者由无人机的遥控器中的现有器件、例如屏幕、指示灯等。

作为更优选的实施方式，所述警示装置是可以接收用户输入的装置。例如，警示装置可以是触摸式屏幕，或者是屏幕与按键的组合等。当警示装置12接收到警示指令时，其可以通过在屏幕上显示弹窗的方式向用户警示，并提示用户确认是否确实存在遮挡。由此，用户可以直接进行相关的确认动作。

图5是根据本发明的一个实施例的无人机的避障系统的模块架构图。如图5所示，该避障系统包括图像获取装置2、遮挡检测系统1和避障控制装置3。

图像获取装置2用于获取从不同角度对同一场景同时进行拍摄的两个图像。通常图像获取装置为双目相机，双目相机可以是可见光波段的相机或红外相机，或者二者集成。图像获取装置2将获取的图片或视频中的图像帧发送给遮挡检测系统。

遮挡检测系统1能够根据所述两个图像生成深度并进行遮挡检测，具体实施方式已在前文中进行说明，在此不再赘述。

避障控制装置3用于进行无人机等无人驾驶载具有避障控制，能够对无人驾驶载具的行驶或飞行进行自动控制。其通常具有自身的障碍物检测装置并根据检测的障碍物来调整无人驾驶载具的行驶或飞行路线。在本发明中，为了不使遮挡物被当作障碍物，本发明引入了前述的遮挡检测系统2，并使得避障控制装置3根据遮挡检测系统2的检测结果来作为是否进行避障的依据之一。具体来说，当遮挡检测装置检测到存在遮挡时，避障控制装置3不针对该遮挡物产生的图像异常进行避障，而在遮挡检测装置检测不到存在遮挡时，避障控制装置3才以常规的方式进行避障。

在实际的应用中，遮挡检测系统和避障控制装置可能由独立的硬件或软件实现，也可以由集成的硬件或软件实现。对于无人机来说，其也可以共同作为飞行控制系统的一部分由硬件和/或软件来实现。

图6是本发明的另一实施例的无人机的模块架构图。如图6所示，该无人机包括图像获取装置2和处理器5。图像获取装置2用于获取从不同角度对同一场景同时进行拍摄的两个图像；处理器5用于检测所述两个图像中的异常区域，以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。所述处理器5具有前述的深度图生成方法，在此不再赘述。

处理器5还可根据生成的深度图来判断是否存在大面积遮挡。例如，对于Semi-global Matching算法来计算深度图时，如前所述，可以计算∑_p S(p，d)，当∑_p S(p，d)大于一个阈值时，则判断出现大面积遮挡。

如图6所示，该实施例的无人机还可包括显示装置6，所述处理器5在所述遮挡出现时还可以使显示装置6显示所述警告信息。所述显示装置例如可以是能够接收用户输入的触摸式屏幕，以使得用户能够能过输入来确认是否存在大面积遮挡。

应当理解，虽然该实施例中采用一个处理器，但其也可由多个处理器来分别执行上述一个处理器中执行的步骤。

根据本发明各实施例的上述方法、模块可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。该系统可以包括存储设备，以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置，但不限于此。执行这样的指令使得电子设备被配置为执行根据本发明的上述各项操作。上述各方法和/或模块可以在一个电子设备中实现，也可以在不同电子设备中实现。

本发明的实施例使用软件的，软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似ROM等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如RAM、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，CD、DVD、磁盘或磁带等等)。应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本发明的实施例。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种能进行遮挡恢复的深度图生成方法，包括：

S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。

2.如权利要求1所述的深度图生成方法，其特征在于，步骤S1中检测两个图像中的异常区域是通过检测遮挡物的纹理和/或遮挡物可能出现的区域来进行。

3.如权利要求2所述的深度图生成方法，其特征在于，根据遮挡物的姿态角来确定所述遮挡物可能出现的区域。

4.如权利要求1所述的深度图生成方法，其特征在于，步骤S1中检测两个图像中的异常区域时，将过度曝光的区域作为异常区域。

5.如权利要求4所述的深度图生成方法，其特征在于，过度曝光的区域是指像素的亮度值大于某个阈值的区域。

6.如权利要求1所述的深度图生成方法，其特征在于，步骤S2中生成深度图D时采用Semi-global Matching算法，该算法计算匹配代价S取最小值时相应的深度值d，S表示所述两幅图像在进行匹配计算时的匹配程度。

7.如权利要求6所述的深度图生成方法，其特征在于，

所述匹配代价S由下式计算：

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>r</mi> </munder> <msub> <mi>L</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>

L′_r(p，d)＝C(p，d)+min(L′_r(p-r，d)，L′_r(p-r，d-1)

+P₁，L′_r(p-r，d+1)+P₁，min(L′_r(p-r，i)+P₂)

8.如权利要求7所述的深度图生成方法，其特征在于，

在步骤S2中，对于步骤1中检测到的所有异常区域的所有像素，令C(p，d)为一个常数C_B，该C_B大于其他区域像素的C(p，d)的最大值。

9.如权利要求8所述的深度图生成方法，步骤S2还包括提示出现大面积遮挡的步骤。

10.如权利要求9所述的深度图生成方法：其特征在于，步骤S2计算∑_p S(p，d)，当∑_p S(p，d)大于一个阈值时，提示出现大面积遮挡。

11.一种无人机，其特征在于，包括：

图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像；以及

一个或多个处理器，用于：

检测所述两个图像中的异常区域；以及

在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。

12.如权利要求11所述的无人机，其特征在于，所述一个或多个处理器用于通过检测遮挡物的纹理和/或遮挡物可能出现的区域，来检测所述两个图像中的异常区域。

13.如权利要求12所述的无人机，其特征在于，根据遮挡物的姿态角来确定所述遮挡物可能出现的区域。

14.如权利要求11所述的无人机，其特征在于，所述一个或多个处理器检测两个图像中的异常区域时，将过度曝光的区域作为异常区域。

15.如权利要求14所述的无人机，其中过度曝光的区域是指像素的亮度值大于某个阈值的区域。

16.如权利要求11所述的无人机，其特征在于，所述一个或多个处理器生成深度图D时采用Semi-global Matching算法，该算法计算匹配代价S取最小值时相应的深度值d，S表示所述两幅图像在进行匹配计算时的匹配程度。

17.如权利要求16所述的无人机，其特征在于，

所述匹配代价S由下式计算：

L′_r(p，d)＝C(p，d)+min(L′_r(p-r，d)，L′_r(p-r，d-1)

+P₁，L′_r(p-r，d+1)+P₁，min(L′_r(p-r，i)+P₂)

18.如权利要求17所述的无人机，其特征在于，

对于检测到的所有异常区域的所有像素，令C(p，d)为一个常数C_B，该C_B大于其他区域像素的C(p，d)的最大值。

19.如权利要求18所述的无人机，其特征在于，所述一个或多个处理器用于计算∑_pS(p，d)，当∑_pS(p，d)大于一个阈值时，确定出现大面积遮挡。

20.如权利要求19所述的无人机，其特征在于，所述一个或多个处理器还用于在所述遮挡出现时，发出警告信息。

21.如权利要求20所述的无人机，其特征在于，还包括显示装置，所述一个或多个处理器用于在所述遮挡出现时使显示装置显示所述警告信息。

22.如权利要求21所述的无人机，其特征在于，所述显示装置能够接收用户输入，以使得用户能够能过输入来确认是否存在大面积遮挡。

23.一种处理器，用于执行权利要求1至10中任一项所述的深度图生成方法。

24.一种计算机可读介质，存储有执行权利要求1至10中任一项所述的深度图生成方法的程序。