CN117152133B - 基于双目立体视觉的非纹理遮挡检测方法和装置 - Google Patents
基于双目立体视觉的非纹理遮挡检测方法和装置 Download PDFInfo
- Publication number
- CN117152133B CN117152133B CN202311412091.5A CN202311412091A CN117152133B CN 117152133 B CN117152133 B CN 117152133B CN 202311412091 A CN202311412091 A CN 202311412091A CN 117152133 B CN117152133 B CN 117152133B
- Authority
- CN
- China
- Prior art keywords
- parallax
- map
- frame
- obstacle
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目立体视觉的非纹理遮挡检测方法和装置，所述方法包括：获取目标双目相机的左图和右图；基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。该方案实现了对AEB遮挡状态的快速和准确检测，避免了由于AEB设备遮挡导致的驾驶风险。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于双目立体视觉的非纹理遮挡检测方法和装置。
背景技术
在自动驾驶和辅助驾驶过程中，车辆行驶安全性至关重要。AEB是一种汽车主动安全技术，主要由三大模块构成，包括控制模块(ECU)、测距模块和制动模块。其中测距模块的核心包括微波雷达、人脸识别技术和视频系统等，它可以提供前方道路安全、准确、实时的图像和路况信息。随着视觉AEB的广泛应用，该类设备虽能明显的减少事故伤亡，但也在很大程度上掣肘了驾驶员的驾驶习惯，特别是当视觉AEB误触发时，极大的降低了驾驶员的忍耐极限。部分驾驶员会在不损坏设备的前提下，寻求某些方法以使AEB设备“失能”，例如遮挡AEB设备；而当该类设备处于遮挡状态时，其无法正常工作，也就无从谈及保护驾驶员及他人的安全，因此，遮挡状态的检测对于双目立体视觉AEB设备的正常运行至关重要。
发明内容
为此，本发明实施例提供一种基于双目立体视觉的非纹理遮挡检测方法和装置，以期实现对AEB遮挡状态的快速和准确检测，避免由于AEB设备遮挡导致的驾驶风险。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目立体视觉的非纹理遮挡检测方法，所述方法包括：
获取目标双目相机的左图和右图；
基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；
根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；
根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。
在一些实施例中，根据所述视差图生成视差图有效值检验结果，具体包括：
统计所述视差图中无效像素的个数和像素的总个数；
根据所述无效像素的个数和所述像素的总个数计算所述视差图的无效性概率；
在所述无效性概率大于预先设定的第一概率阈值的情况下，则判定所述视差图有效值检验结果的检验结果为视差图无效。
在一些实施例中，利用第一预设公式计算所述视差图的无效性概率，其中，所述第一预设公式为：
其中，M为视差图中无效像素的个数，N为视差图中像素的总个数。
在一些实施例中，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果，具体包括：
根据所述障碍物检出框的位置，在所述视差图中切割出当前视差块；
统计所述当前视差块中无效视差点的个数和视差点的总个数；
根据无效视差点的个数和视差点的总个数，计算当前视差块的无效概率；
在当前视差块的无效概率大于预先设定的第二概率阈值的情况下，则障碍物框有效性检验结果为无效。
在一些实施例中，根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果，具体包括：
利用贝叶斯算法计算遮挡概率；
在所述遮挡概率大于第三概率阈值的情况下，则所述遮挡检测结果为遮挡状态。
在一些实施例中，利用第二预设公式计算所述遮挡概率，其中，所述第二预设公式为：
其中，视差图的无效性概率表示为、视图无效概率表示为/>和障碍物框无效概率表示为/>，遮挡状态表示为D，初始条件表示为/>。
在一些实施例中，所述初始条件满足第三预设公式，所述第三预设公式为：
其中，次幂n为大于1的数，c为实际反馈为遮挡状态的频次，t为当前时刻，t+1为下一时刻。
本发明还提供一种基于双目立体视觉的非纹理遮挡检测装置，所述装置包括：
图像获取单元，用于获取目标双目相机的左图和右图；
图像处理单元，用于基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；
数据处理单元，用于根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；
结果生成单元，用于根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的一种基于双目立体视觉的非纹理遮挡检测方法，通过获取目标双目相机的左图和右图，基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。本发明所提供的方法基于双目立体视觉的遮挡检测算法，不依赖于图像纹理信息，相比于现有的遮挡检测方法，既不用理解场景，也无需借助额外的器材，降低了对计算平台的依赖，借助双目相机的优势，通过贝叶斯建模既能对遮挡状态做出有效的检测。实现了对AEB遮挡状态的快速和准确检测，避免了由于AEB设备遮挡导致的驾驶风险。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目立体视觉的非纹理遮挡检测方法的流程图之一；
图2为一些使用场景中AED设备三种遮挡方式的示意图；
图3为一些使用场景中左目遮挡时的拍摄图像；
图4为本发明所提供的基于双目立体视觉的非纹理遮挡检测方法的流程图之二；
图5为本发明所提供的基于双目立体视觉的非纹理遮挡检测方法的流程图之三；
图6为本发明所提供的基于双目立体视觉的非纹理遮挡检测方法的流程图之四；
图7为本发明所提供的基于双目立体视觉的非纹理遮挡检测装置的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决AEB设备遮挡的问题，本发明基于双目立体视觉相机系统，根据其工作特点，结合贝叶斯公式对其数学建模，提出了一种基于双目立体视觉的非纹理遮挡检测算法，相比于其它遮挡检测方法，本算法既无需理解当前场景，也无需借助额外的器材，就能有效的检测出摄像头是否处于遮挡状态。
请参考图1，图1为本发明所提供的基于双目立体视觉的非纹理遮挡检测方法的流程图之一。
在一种具体实施方式中，本发明所提供的基于双目立体视觉的非纹理遮挡检测方法包括以下步骤：
S110：获取目标双目相机的左图和右图；其中，左图是双目相机的左相机拍摄的原始数据，右图是双目相机的右相机拍摄的原始数据。
S120：基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框。
具体地，在利用左图和右图对相邻帧做差时，相机遮挡通常有只遮挡左目、只遮挡右目和双目全遮挡三种方式，如图2。当相机的摄像头被遮挡时，理论上其视野内往往只有单调黑色，但由于实际的安装方式，摄像头与挡风玻璃等有一定的间距，因此当将遮挡物置于挡风玻璃前时，根据遮挡物的大小形态不同，摄像头通常能接受到来自不同方向的漏光，见图3。
因此，简单的统计左右视图的灰度信息，所抓取得图像信息，无法准确的反映相机的遮挡状态。当灰度信息不可靠时，研究者往往会尝试从图像中抽取更高等纹理信息，如梯度和直线等；异或利用深度学习方法去理解图像的纹理信息，进而判断相机是否处于遮挡状态。这种方法往往伴随着高昂的计算开销，难以在算力受限的嵌入式设备上运行，或与其它算法同时运行。
然而，无论漏光与否，当相机处于遮挡状态时，其视野内的场景往往是单一，且基本无变化的。因此，同一个相机采集的相邻两帧图像，具有相似的灰度或色彩信息，通过相邻帧做差能很好的抓取处于遮挡状态的场景信息。
其中，、/>和/>分别表示上一帧、当前帧和两帧的差值图。通过与步骤a类似的步骤，得到原始视图无效概率/>。
S130：根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；可以理解的是，视差图有效值检验结果包括视差图有效和视差图无效两种结果，障碍物框有效性检验结果包括障碍物框有效和障碍物框无效两种结果。
S140：根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果；其中，遮挡检测结果包括遮挡状态和非遮挡状态。
如图4所示，在一个具体使用场景中，基于双目立体视觉的遮挡检测算法流程为，根据双目相机的特点，其接受的输入数据有左右相机的原始数据，视差图及障碍物检出框，遮挡检测算法的主要模块包含：相邻帧做差模块、有效值检验模块、障碍物框有效性检验模块及贝叶斯模块。
在步骤S130中，如图5所示，根据所述视差图生成视差图有效值检验结果，具体包括以下步骤：
S510：统计所述视差图中无效像素的个数和像素的总个数；
S520：根据所述无效像素的个数和所述像素的总个数计算所述视差图的无效性概率；
S530：在所述无效性概率大于预先设定的第一概率阈值的情况下，则判定所述视差图有效值检验结果的检验结果为视差图无效。
其中，利用第一预设公式计算所述视差图的无效性概率，其中，所述第一预设公式为：
其中，M为视差图中无效像素的个数，N为视差图中像素的总个数。
在对视差图进行有效值判断时，双目立体视觉相机，通过立体匹配等算法能够生成致密或稀疏的视差图。换句话说，视差图包含了左右两幅视图的相关信息，通过校验视差图的有效值，既能有效的检验两幅图的相关性，又能检验两幅视图的视场是否正在观测有意义的场景。具体地，设定阈值上限T1，下限T2，统计视差图中所有大于T1和小于T2值的总和记为M，像素总个数记为N，则视差图无效性概率可表示为：
在步骤S130中，如图6所示，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果，具体包括以下步骤：
S610：根据所述障碍物检出框的位置，在所述视差图中切割出当前视差块；
S620：统计所述当前视差块中无效视差点的个数和视差点的总个数；
S630：根据无效视差点的个数和视差点的总个数，计算当前视差块的无效概率；
S640：在当前视差块的无效概率大于预先设定的第二概率阈值的情况下，则障碍物框有效性检验结果为无效。
在进行障碍物检出框有效性检验时，利用双目立体相机集成的障碍物检测功能，结合视差图可以进一步的判断检出框中有效的个数。具体地，根据障碍物框的位置，切割出当前视差块，与模块a相似的，通过统计其中有效视差点个数，判断当前障碍物框否有效。假设相机的某次采样，得到X个障碍物框，其中经过上述判断无效的障碍物框的个数为Y，则其检出框的无效概率可表示为：
在一些实施例中，根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果，具体包括：
利用贝叶斯算法计算遮挡概率；
在所述遮挡概率大于第三概率阈值的情况下，则所述遮挡检测结果为遮挡状态。
具体地，利用第二预设公式计算所述遮挡概率，其中，所述第二预设公式为：
其中，视差图的无效性概率表示为、视图无效概率表示为/>和障碍物框无效概率表示为/>，遮挡状态表示为D，初始条件表示为/>。
在进行贝叶斯建模时，得到视差无效概率、原始视图无效概率/>和障碍物框无效概率/>后，令遮挡状态表示为D，则当前视场在视差、原始视图和障碍物框下为遮挡的概率为/>，则根据贝叶斯公式有：
一辆装有双目立体视觉相机的车辆，只有遮挡与非遮挡两种状态，此时假设遮挡概率为=1/2。对左右视图状态A，视差图状态B及障碍物状态C可认为其相互独立，则：
上式中，对、/>和/>等条件概率，可以通过统计手段得出，即通过实验方法，先将相机遮挡，分别统计这三个条件概率。在具体使用场景中，初始条件为/>可根据实际装车情况加以调整以适应实际需求。
针对上述遮挡概率的初始条件设定的时序约束，对于初始条件，因该算法在设备开机后，处于持续运行状态。为了有效利用上一时刻结果，应当考虑将之前遮挡状态加入当前计算过程中。
其中，次幂n为大于1的数，c为实际反馈为遮挡状态的频次，t为当前时刻，t+1为下一时刻。
在上述具体实施方式中，本发明所提供的一种基于双目立体视觉的非纹理遮挡检测方法，通过获取目标双目相机的左图和右图，基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。本发明所提供的方法基于双目立体视觉的遮挡检测算法，不依赖于图像纹理信息，相比于现有的遮挡检测方法，既不用理解场景，也无需借助额外的器材，降低了对计算平台的依赖，借助双目相机的优势，通过贝叶斯建模既能对遮挡状态做出有效的检测。实现了对AEB遮挡状态的快速和准确检测，避免了由于AEB设备遮挡导致的驾驶风险。
除了上述方法，本发明还提供一种基于双目立体视觉的非纹理遮挡检测装置，如图7所示，所述装置包括：
图像获取单元710，用于获取目标双目相机的左图和右图；
图像处理单元720，用于基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；
数据处理单元730，用于根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；
结果生成单元740，用于根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。
在一些实施例中，根据所述视差图生成视差图有效值检验结果，具体包括：
统计所述视差图中无效像素的个数和像素的总个数；
根据所述无效像素的个数和所述像素的总个数计算所述视差图的无效性概率；
在所述无效性概率大于预先设定的第一概率阈值的情况下，则判定所述视差图有效值检验结果的检验结果为视差图无效。
在一些实施例中，利用第一预设公式计算所述视差图的无效性概率，其中，所述第一预设公式为：
其中，M为视差图中无效像素的个数，N为视差图中像素的总个数。
在一些实施例中，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果，具体包括：
根据所述障碍物检出框的位置，在所述视差图中切割出当前视差块；
统计所述当前视差块中无效视差点的个数和视差点的总个数；
根据无效视差点的个数和视差点的总个数，计算当前视差块的无效概率；
在当前视差块的无效概率大于预先设定的第二概率阈值的情况下，则障碍物框有效性检验结果为无效。
在一些实施例中，根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果，具体包括：
利用贝叶斯算法计算遮挡概率；
在所述遮挡概率大于第三概率阈值的情况下，则所述遮挡检测结果为遮挡状态。
在一些实施例中，利用第二预设公式计算所述遮挡概率，其中，所述第二预设公式为：
其中，视差图的无效性概率表示为、视图无效概率表示为/>和障碍物框无效概率表示为/>，遮挡状态表示为D，初始条件表示为/>。
在一些实施例中，所述初始条件满足第三预设公式，所述第三预设公式为：
其中，次幂n为大于1的数，c为实际反馈为遮挡状态的频次，t为当前时刻，t+1为下一时刻。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data Rate SDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Sync link DRAM，简称SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (5)
1.一种基于双目立体视觉的非纹理遮挡检测方法，其特征在于，所述方法包括：
获取目标双目相机的左图和右图；
基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；
根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；
根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果；
根据所述视差图生成视差图有效值检验结果，具体包括：
统计所述视差图中无效像素的个数和像素的总个数；
根据所述无效像素的个数和所述像素的总个数计算所述视差图的无效性概率；
在所述无效性概率大于预先设定的第一概率阈值的情况下，则判定所述视差图有效值检验结果的检验结果为视差图无效；
利用第一预设公式计算所述视差图的无效性概率，其中，所述第一预设公式为：其中，M为视差图中无效像素的个数，N为视差图中像素的总个数；
根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果，具体包括：
根据所述障碍物检出框的位置，在所述视差图中切割出当前视差块；
统计所述当前视差块中无效视差点的个数和视差点的总个数；
根据无效视差点的个数和视差点的总个数，计算当前视差块的无效概率；
在当前视差块的无效概率大于预先设定的第二概率阈值的情况下，则障碍物框有效性检验结果为无效；
根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果，具体包括：
利用贝叶斯算法计算遮挡概率；
在所述遮挡概率大于第三概率阈值的情况下，则所述遮挡检测结果为遮挡状态；
利用第二预设公式计算所述遮挡概率，其中，所述第二预设公式为：其中，视差图的无效性概率表示为/>、视图无效概率表示为/>和障碍物框无效概率表示为/>，遮挡状态表示为D，初始条件表示为/>。
2.根据权利要求1所述的基于双目立体视觉的非纹理遮挡检测方法，其特征在于，所述初始条件满足第三预设公式，所述第三预设公式为：其中，P为无效性概率表示，次幂n为大于1的数，c为实际反馈为遮挡状态的频次，t为当前时刻，t+1为下一时刻。
3.一种基于双目立体视觉的非纹理遮挡检测装置，用于实施如权利要求1或2所述的方法，其特征在于，所述装置包括：
图像获取单元，用于获取目标双目相机的左图和右图；
图像处理单元，用于基于所述左图和所述右图生成视差图和相邻帧差值，并在所述视差图上生成障碍物检出框；
数据处理单元，用于根据所述视差图生成视差图有效值检验结果，根据所述视差图和所述障碍物检出框生成障碍物框有效性检验结果；
结果生成单元，用于根据所述相邻帧差值、所述视差图有效值检验结果和所述障碍物框有效性检验结果生成遮挡检测结果。
4.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-2任一项所述的方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-2任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412091.5A CN117152133B (zh) | 2023-10-30 | 2023-10-30 | 基于双目立体视觉的非纹理遮挡检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412091.5A CN117152133B (zh) | 2023-10-30 | 2023-10-30 | 基于双目立体视觉的非纹理遮挡检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152133A CN117152133A (zh) | 2023-12-01 |
| CN117152133B true CN117152133B (zh) | 2024-03-19 |
Family
ID=88884664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311412091.5A Active CN117152133B (zh) | 2023-10-30 | 2023-10-30 | 基于双目立体视觉的非纹理遮挡检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152133B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520536A (zh) * | 2018-03-27 | 2018-09-11 | 海信集团有限公司 | 一种视差图的生成方法、装置及终端 |
| CN108647579A (zh) * | 2018-04-12 | 2018-10-12 | 海信集团有限公司 | 一种障碍物检测方法、装置及终端 |
| CN113343745A (zh) * | 2021-02-26 | 2021-09-03 | 北京中科慧眼科技有限公司 | 基于双目相机的远距离目标检测方法、系统和智能终端 |
| CN113538575A (zh) * | 2020-04-20 | 2021-10-22 | 辉达公司 | 使用一个或更多个神经网络进行距离确定 |
| CN113792583A (zh) * | 2021-08-03 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于可行驶区域的障碍物检测方法、系统和智能终端 |
| CN115998591A (zh) * | 2022-11-30 | 2023-04-25 | 微智医疗器械有限公司 | 双目视差估计方法和视觉假体以及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128347B (zh) * | 2021-03-24 | 2024-01-16 | 北京中科慧眼科技有限公司 | 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 |
-
2023
- 2023-10-30 CN CN202311412091.5A patent/CN117152133B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520536A (zh) * | 2018-03-27 | 2018-09-11 | 海信集团有限公司 | 一种视差图的生成方法、装置及终端 |
| CN108647579A (zh) * | 2018-04-12 | 2018-10-12 | 海信集团有限公司 | 一种障碍物检测方法、装置及终端 |
| CN113538575A (zh) * | 2020-04-20 | 2021-10-22 | 辉达公司 | 使用一个或更多个神经网络进行距离确定 |
| CN113343745A (zh) * | 2021-02-26 | 2021-09-03 | 北京中科慧眼科技有限公司 | 基于双目相机的远距离目标检测方法、系统和智能终端 |
| CN113792583A (zh) * | 2021-08-03 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于可行驶区域的障碍物检测方法、系统和智能终端 |
| CN115998591A (zh) * | 2022-11-30 | 2023-04-25 | 微智医疗器械有限公司 | 双目视差估计方法和视觉假体以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152133A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6784943B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN108076338B (zh) | 图像视觉处理方法、装置及设备 | |
| CN111368639B (zh) | 车辆越线判定方法、装置、计算机设备和存储介质 | |
| US9361696B2 (en) | Method of determining a ground plane on the basis of a depth image | |
| CN113240632B (zh) | 基于语义分割网络的路面检测方法、系统和智能终端 | |
| CN114495043B (zh) | 基于双目视觉系统的上下坡路况检测方法、系统和智能终端 | |
| CN112633152A (zh) | 停车位检测方法、装置、计算机设备和存储介质 | |
| EP4131167A1 (en) | Binocular image matching method, device, and storage medium | |
| CN112580434A (zh) | 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备 | |
| CN111383256B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN117152133B (zh) | 基于双目立体视觉的非纹理遮挡检测方法和装置 | |
| CN111178224A (zh) | 物体规则判断方法、装置、计算机设备和存储介质 | |
| CN113140002B (zh) | 基于双目立体相机的道路状况检测方法、系统和智能终端 | |
| CN113256709A (zh) | 目标检测方法、装置、计算机设备以及存储介质 | |
| CN111383255B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| CN112241660A (zh) | 一种基于视觉的防盗监测方法和装置 | |
| CN116824152A (zh) | 基于点云的目标检测方法及装置、可读存储介质、终端 | |
| CN111967484A (zh) | 点云聚类方法、装置、计算机设备和存储介质 | |
| US20200065979A1 (en) | Imaging system and method with motion detection | |
| CN116309729A (zh) | 目标追踪方法、装置、终端、系统及可读存储介质 | |
| CN111553850B (zh) | 基于双目立体视觉的三维信息获取方法和装置 | |
| CN114463388A (zh) | 基于双目相机的限高装置检测方法、系统和智能终端 | |
| CN115063772B (zh) | 一种车辆编队后车检测方法、终端设备及存储介质 | |
| KR20230060300A (ko) | 3차원 객체 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |