CN114820639A - 基于动态场景的图像处理方法、装置、设备及存储介质 - Google Patents
基于动态场景的图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114820639A CN114820639A CN202110066057.1A CN202110066057A CN114820639A CN 114820639 A CN114820639 A CN 114820639A CN 202110066057 A CN202110066057 A CN 202110066057A CN 114820639 A CN114820639 A CN 114820639A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- dynamic
- points
- characteristic points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000003068 static effect Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 230000004438 eyesight Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种基于动态场景的图像处理方法、装置、设备及存储介质，该方法包括：获取连续帧图像，对连续帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征点，连续帧图像是由双目视觉传感器采集的；根据每帧图像的图像特征点，检测连续帧图像对应的动态特征点；对每帧图像进行超像素分割，确定动态目标区域；根据检测到的动态特征点以及动态目标区域，从每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源。本申请实施例提供的方法能够克服现有技术在动态场景下图像处理的技术实现难度大且处理精度较低的问题。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种基于动态场景的图像处理方法、装置、设备及存储介质。
背景技术
随着科技的不断创新，智能机器人、自动驾驶、虚拟现实已经渐渐的在不同程度上融入到我们的生活中。其中基于视觉信息实现环境感知的方案在以上领域中被广泛应用，而视觉感知中最重要的技术之一就是视觉同步定位与地图构建(SimultaneousLocalization And Mapping，SLAM)。
视觉SLAM是指利用视觉信息进行相机的自身位姿估计与环境3维地图构建的感知系统。基于视觉SLAM技术设计的室外园区机器人或自动驾驶已经实现了自主定位以及避障功能，但其仅使用于静态环境中，当场景中存在动态物体时效果会明显下降。这是由于现有的SLAM算法的基本思路是在当前帧信息和假设静止不变的环境地图之间寻找对应关系，并计算当前帧的位姿，而动态的出现使得该对应关系出错，因而环境中物体的运动被误认为相机存在运动，导致相机定位于环境建图精度严重下降。目前，为了解决动态出现导致的问题，一般采用动态区域分割，比如由多传感器融合方案或单一视觉传感器来实现，进而将其从SLAM过程中剔除；还可以采用稠密光流的方法，依赖于RGB-D相机的动态SLAM算法，得到场景后者那个运动目标的帧间位移，作为判断目标是否运动。
但是，多传感器融合方案增加了数据维度但也给诸多传感器标定、信号同步及数据融合等方面带来了多个难题；而在采用单一视觉传感器的研究方案中有的基于深度学习检测动态目标，但基于深度学习的方案仅能区分有样本数据训练过类别，同时该方法对运算单元要求较高；采用稠密光流的方法计算量大，在CPU上的运行速度慢，较难实现实时计算，且受环境光照变化的影响较大。总之，现有的动态场景下动态区域的分割算法以及视觉SLAM算法均存在复杂度较高、适用范围受限、实时性难以保证等问题，不能满足智能机器人和自动驾驶在室外动态环境下准确的定位和建图的实际需求。因此，现有技术存在动态场景下图像处理的技术实现难度大且处理精度较低的问题。
发明内容
本申请实施例提供一种基于动态场景的图像处理方法、装置、设备及存储介质，以克服现有技术在动态场景下图像处理的技术实现难度大且处理精度较低的问题。
第一方面，本申请实施例提供一种基于动态场景的图像处理方法，包括：
获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，所述连续帧图像是由双目视觉传感器采集的；
根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；
对所述每帧图像进行超像素分割，确定动态目标区域；
根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，所述静态区域特征点用于为执行相机定位及环境建图的操作提供数据源。
第二方面，本申请实施例提供一种基于动态场景的图像处理装置，包括：
图像获取模块，用于获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，所述连续帧图像是由双目视觉传感器采集的；
动态特征点检测模块，用于根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；
动态目标区域确定模块，用于对所述每帧图像进行超像素分割，确定动态目标区域；
动态点剔除模块，用于根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，所述静态区域特征点用于为执行相机定位及环境建图的操作提供数据源。
第三方面，本申请实施例提供一种基于动态场景的图像处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于动态场景的图像处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的基于动态场景的图像处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于动态场景的图像处理方法。
本实施例提供的基于动态场景的图像处理方法、装置、设备及存储介质，首先获取连续帧图像，对连续帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征点；然后根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；对所述每帧图像进行超像素分割，确定动态目标区域；根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，该静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源，通过检测并分割出动态区域目标，然后剔除，实现较为简单，并且能够提高双目视觉SLAM算法在动态环境下定位精度，进而使得利用纯静态环境得到准确的定位及建图结果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于动态场景的图像处理方法的流程示意图；
图2为本申请又一实施例提供的基于动态场景的图像处理方法的流程示意图；
图3为本申请实施例提供的基于动态场景的图像处理方法的场景图；
图4为本申请又一实施例提供的基于动态场景的图像处理方法的场景图；
图5为本申请另一实施例提供的基于动态场景的图像处理方法的场景图；
图6为本申请再一实施例提供的基于动态场景的图像处理方法的场景图；
图7为本申请实施例提供的基于动态场景的图像处理装置的结构示意图；
图8为本申请实施例提供的基于动态场景的图像处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对现有技术存在的问题，本申请的技术构思是利用双目视觉传感器，在ORB_SLAM(基于特征点的实时单目SLAM系统)算法中提取特征点并对动态区域进行检测与分割，并在提取特征点时加入动态掩膜以提取动态快速特征点提取和描述的(Oriented FASTand Rotated BRIEF，ORB)特征点，再利用场景中静态区域及上的特征点进行SLAM，即场景中动态物不再影响相机的定位与3维点云重建，实现较为简单，并且能够提高双目视觉SLAM算法在动态环境下定位精度，进而使得利用纯静态环境得到准确的定位及建图结果。
在实际应用中，参见图1所示，图1为本申请实施例提供的基于动态场景的图像处理方法的流程示意图。本申请提出的算法利用双目视觉传感器采集图像，首先进行稳健的图像识别和描述算法(Speeded Up Robust Features，SURF)特征提取，提取特征点并计算稀疏特征点光流，根据前后帧计算基础矩阵，根据基础矩阵计算下一帧的极线，计算在下一帧中跟踪的特征的点到极线的距离，检测动态特征点；其次根据双目采集图像，利用超像素分割算法(simple linear iterative clustering，SLIC)对图片进行SLIC超像素分割，利用双目立体匹配算法(semi-global block matching，SGBM)计算视差，SPS图像分割，得到动态目标区域，分割动态目标；最后根据动态区域分割结果提出动态目标特征点，再进行ORB_SLAM帧间跟踪，判断该帧图像是否是关键帧，如果是，则进行局部建图线程，即最终仅利用静态区域上的特征点进行相机定位及环境建图，从而达到较小动态物体对视觉SLAM系统的负面影响。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请又一实施例提供的基于动态场景的图像处理方法的流程示意图，该方法可以包括：
S101、获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点。
其中，所述连续帧图像是由双目视觉传感器采集的。
本实施例中，执行主体可以是基于动态场景的图像处理装置，比如服务器。通过双目视觉传感器在动态场景下采集连续帧图像，然后提取每帧图像的图像特征点。
在一种可能的设计中，如何提取图像特征点，可以通过以下步骤实现：
步骤a1、将所述连续帧图像中的每帧图像转换成灰度图。
步骤a2、针对所述每帧图像，对所述灰度图提取SURF特征点，得到所述每帧图像的图像特征点。
其中，所述每帧图像的图像特征点形成了每帧图像对应的图像特征点集。
本实施例中，结合图3所示，图3为本申请实施例提供的基于动态场景的图像处理方法的场景图。首先双目相机采集连续帧图片，假设当前帧为第t帧图像，将图像转换为灰度图(参见图3中(a)所示)，并提取SURF特征点(参见图3中(b)所示)，得到图像特征点集{pt 1、pt 2、pt 3......},pt i表示第t帧上第i个特征点的图像坐标。
S102、根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点。
本实施例中，根据提取的当前帧图像的图像特征点，计算稀疏特征点光流，然后根据前后帧计算基础矩阵，根据基础矩阵计算下一帧的极线，计算在下一帧中跟踪的特征点到极线的距离，检测动态特征点。
S103、对所述每帧图像进行超像素分割，确定动态目标区域。
本实施例中，结合图4所示，图4为本申请又一实施例提供的基于动态场景的图像处理方法的场景图。通过以上步骤极端得到场景中稀疏的动态特征点，但由于其稀疏性，可以对场景进行区域分割，得到视野中的多个前景目标的近似轮廓。其中，采用大津法或最大类间方差法(即Ostu法)，计算出前景与背景分割的视差阈值，分割前景和背景(参见图4中(a)所示)。然后剔除背景区域中被错分的静态点，得到前景区域的动态特征点的检测(参见图4中(b)所示)，其中黑点为场景中动态特征点的检测结果。分割后得到的遮挡边界，也就是前景与背景的轮廓边界线，可看出场景中主要区域的轮廓均被正确分割，进而确定动态目标区域。
S104、根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点。
其中，所述静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源。
本实施例中，剔除动态区域的特征点，只保留静态区域的特征点，以此双目相机采集到的图像都会进行动态区域的特征点的剔除，在ORB_SLAM的跟踪线程中，先进行动态区域分割与特征点剔除，再进行帧间匹配跟踪，最终仅利用静态区域上的特征点进行相机定位及环境建图，从而大幅度的框选结果则为场景中动态区减少动态物对视觉SLAM的消极影响。
本申请提供的基于动态场景的图像处理方法，通过获取连续帧图像，对连续帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征点；然后根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；对所述每帧图像进行超像素分割，确定动态目标区域；根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，该静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源，通过检测并分割出动态区域目标，然后剔除，实现较为简单，并且能够提高双目视觉SLAM算法在动态环境下定位精度，进而使得利用纯静态环境得到准确的定位及建图结果。
在一种可能的设计中，在上述实施例的基础上，对如何检测动态特征点进行了详细说明。根据所述每帧图像对应的图像特征点，检测所述连续帧图像对应的动态特征点，可以通过以下步骤实现：
步骤b1、根据所述每帧图像对应的图像特征点，从所述连续帧图像中获取第t帧图像的图像特征点，其中，t大于或等于1。
步骤b2、根据所述第t帧图像的图像特征点，通过光流算法，得到所述第t帧图像的图像特征点对应的稀疏光流，所述第t帧图像的图像特征点对应的稀疏光流为所述连续帧图像中第t+1帧图像中的对应点。
步骤b3、根据所述第t帧图像的图像特征点和所述连续帧图像中第t+1帧图像中的对应点，通过随机抽样一致算法，计算得到相邻两帧图像间的基础矩阵。
步骤b4、根据所述基础矩阵，通过极限约束公式，确定所述第t帧图像中的目标图像特征点是否为动态特征点，所述第t帧图像中的目标图像特征点为所述第t帧图像中的任一特征点。
本实施例中，第t帧图像的图像特征点为{pt 1、pt 2、pt 3......}，其中，pt i表示第t帧上第i个特征点的图像坐标。通过使用光流算法即Lucas-Kanade方法计算特征点对应的稀疏光流，即得到在第t+1帧图像上的对应点{pt+1 1、pt+1 2、pt+1 3......}，然后利用两组匹配点基于随机抽样一致算法(Random Sample Consensus，RANSAC)计算前后两帧间的基础矩阵，局内点设为场景中静态点。然后利用极线约束公式，通过点到极线的距离，来确定该特征点是否是动态特征点。
在一种可能的设计中，如何通过极线约束公式，确定所述第t帧图像中的目标图像特征点是否为动态特征点，可以通过以下步骤实现：
步骤c1、根据所述相邻两帧图像间的基础矩阵，通过极线约束公式，得到所述目标图像特征点在所述第t+1帧图像中的对应点所在第t+1帧图像上的极线方程。
步骤c2、根据所述极线方程，得到所述第t+1帧图像上的极线与所述第t+1帧图像中的对应点的距离。
步骤c3、若所述距离大于预设阈值，则确定所述目标图像特征点为动态特征点。
本实施例中，利用极线约束公式计算极线方程
其中Ft为第t帧到第t+1帧的基础矩阵，
为该特征点在第t+1帧所对应的极线的直线方程系数向量，即li＝(Ai,Bi,Ci)，则极限方程为Aix+Biy+Ci＝0，故点到直线的距离为
由此可以计算出第t+1帧上极线
与对应点pt+1 i的距离di。若距离大于阈值，则判断该特征点为动态特征点。
在一种可能的设计中，基于检测得到的动态特征点，还需要结合对场景进行区域分割，得到视野中多个前景目标的近似轮廓，本实施例在上述实施例的基础上，对如何实现区域分割，确定动态目标区域进行了详细说明。对所述每帧图像进行超像素分割，确定动态目标区域，可以通过以下步骤实现：
步骤d1、通过超像素分割算法，对所述每帧图像进行超像素分割，得到超像素分割结果。
步骤d2、根据所述超像素分割结果，通过SGBM算法，计算得到视差。
步骤d3、根据所述视差，对相应的所述每帧图像进行图像区域分割，得到区域分割结果。
步骤d4、根据所述动态特征点以及所述区域分割结果，确定所述动态目标区域，用以分割得到动态目标。
本实施例中，结合图5所示，图5为本申请另一实施例提供的基于动态场景的图像处理方法的场景图。首先采用超像素分割算法即SLIC，将RGB图像转换成Lab颜色空间图像，并利用某一个像素i的颜色值以及坐标组合成一个5维向量(Li，ai，bi，xi，yi)，以该向量作为像素间相似度衡量的标准，通过多次迭代得到图像超像素分割结果(参见图5中(a)所示)；然后在图像超像素分割结果的基础上得到区域分割，如图5中(b)所示。
具体地，定义一个总代价函数，利用块坐标下降法作为优化算法将代价最小化，迭代一定次数后得到场景中每一个超像素块的斜面视差模型，以及超像素块的边界类型。根据相邻两块斜面的参数，边界可分为3类，分别是相互遮挡、铰链连接和共面，其中代价函数主要包括6部分：
1)Lab色彩空间代价Ecolor，迭代过程中像素的颜色越接近分割块的平均颜色，则到达最优，公式Ecolor(p,cs)＝||τ(p)-cs||2，s表示当前分割块，排位当前像素p的坐标，τ表示像素点的color，cs为点给前像素所在分割块s的平均颜色值。
2)像素位置代价Epos，迭代过程中，像素的位置越接近分割块的平均位置，则表示优化到最优解，停止迭代，Epos(p,μs)＝||p-μs||2，μs为像素p所在的分割块中心的坐标。
3)斜面视差代价Edept，即当前像素点的真实视差d与对应分割块利用斜面参数计算出的视差d’间的误差，误差越小，视差代价则越小，公式为
式中θs为该像素对应分割块的斜面参数，即θi＝(Ai,Bi,Ci)，fp为该像素的局外点标志位，若符合本分割块斜面参数，fp即为0，不符合则为1，其代价设为常数λd。
4)边界长度代价Ebou，即相邻分割块Sp与Sq间的像素点数量越少，代价越小，公式如下：
5)边界类型代价Etype，设定3种边界类型(遮挡、铰链和共面)的惩罚系数分别为λocc,λhinge和0，
式中Oi,j表示相邻分割块Si与Sj的边界类型.由于λocc,>λhinge>0，即边界为共面，故边界代价最小。
6)边界－斜面一致性代价EB，即分割块与其边界应符合对应关系，公式如下：
若Si和Sj边界为共面关系，则其上像素p∈Si∪Sj的视差值应近似于由视差斜面系数θi和θi计算相邻两分割块的视差值；若两分割块边界为铰链连接，则其边界ξi,j上像素p的视差值同样应近似与两视差斜面系数θi和θi计算出的视差值；定义一个常数λpen为惩罚代价，若两分割块为遮挡关系，则被遮挡块视差值应小于遮挡块视差，此时λpen为0。根据优化结果可得到边界分类结果，如图5中(b)所示，其中黑线为分割后得到的遮挡边界，也就是前景与背景的轮廓边界线，可看出场景中主要区域的轮廓均被正确分割。
在一种可能的设计中，如何基于动态特征点以及区域分割结果，确定所述动态目标区域，可以通过以下步骤实现：
步骤e1、将所述动态特征点沿所述每帧图像坐标系Y轴向上生长，得到与区域分割结果边界的交点，形成区域轮廓。
步骤e2、若每帧图像中任一区域轮廓内动态特征点数大于预设点数，则确定所述区域为动态目标区域。
步骤e3、利用所述动态目标区域对应动态特征点以及生长得到的轮廓点进行最小多边形拟合，得到最小包围矩形框，所述最小包围矩形框为所述动态目标区域的分割结果，所述分割结果为分割的动态目标。
本实施例中，结合图6所示，图6为本申请再一实施例提供的基于动态场景的图像处理方法的场景图。基于种子点生长的思路，将动态特征点与未封闭的轮廓边缘经过一系列的关联操作，最终用矩形框标记出场景中的动态区域。具体思路可概括为：将动态特征点沿图像坐标系Y轴向上生长，得到与区域分割边界的交点，由此动态区域内的动态特征点数目的得到扩充，且上部未出现区域轮廓的特征点即视为噪点，如图6中(a)所示，设定阈值，如3，即若某区域轮廓内动态特征点数大于3，则判断该区域为动态区域，利用对应动态点以及生长得到的轮廓点进行最小多边形拟合，并求得其最小包围矩形框，框选结果则为场景中动态区域的分割结果，如图6中(b)所示。至此，场景中的动态区域被成功标记。
然后剔除动态区域的特征点，只保留静态区域的特征点，以此双目相机采集到的图像都会进行动态区域特征点的剔除，在ORB_SLAM的跟踪线程中，先进行动态区域分割与特征点剔除，在进行帧间匹配跟踪，最终仅利用静态区域上的特征点进行相机定位及环境建图，从而大幅度的框选结果则为场景中动态区减少动态物对视觉SLAM的消极影响。
本申请是通过检测并分割出动态区域目标，然后剔除，未考虑动态目标的作用，可考虑将本申请提取的算法与动态目标跟踪结合，进一步提高机器人在动态化经下的鲁棒性，实现过程简化，能够达到更好的效果。
因此，本申请中使用剔除动态目标区域的双目SLAM方法，解决了双目视觉SLAM在室外存在较多动态目标的场景中，定位和建图精度较差的问题；结合动态区域识别分割的算法，解决了针对现有动态场景下动态区域的分割算法及视觉SLAM算法存在复杂度高、实时性难以保证、使用范围受限的问题。
具体地，利用前后帧特征点到极线的距离作为动态特征点的判断标准，通过阈值分割得到图像中稀疏的动态特征点；通过倾斜平面平滑算法得出场景区域分割结果,计算出图像中动态区域的准确分割框；将分割框作为动态区域掩膜来剔除SLAM算法中的ORB特征点与其对应的描述子，利用纯静态环境得到准确的定位及建图结果。因此，基于动态区域剔除，能够提高双目视觉SLAM算法在动态环境下定位精度的方法，计算出图像中动态区域的准确分割框，然后将其作为动态区域掩膜来剔除SLAM算法中的ORB特征点与其对应的描述子，利用纯静态环境得到准确的定位及建图结果。
为了实现所述基于动态场景的图像处理方法，本实施例提供了一种基于动态场景的图像处理装置。参见图7，图7为本申请实施例提供的基于动态场景的图像处理装置的结构示意图；基于动态场景的图像处理装置70，包括：图像获取模块701、动态特征点检测模块702、动态目标区域确定模块703以及动态点剔除模块704；图像获取模块701，用于获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，所述连续帧图像是由双目视觉传感器采集的；动态特征点检测模块702，用于根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；动态目标区域确定模块703，用于对所述每帧图像进行超像素分割，确定动态目标区域；动态点剔除模块704，用于根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，所述静态区域特征点用于为执行相机定位及环境建图的操作提供数据源。
本实施例中，通过设置图像获取模块701、动态特征点检测模块702、动态目标区域确定模块703以及动态点剔除模块704，用于获取连续帧图像，对连续帧图像中的每帧图像进行特征提取，得到每帧图像的图像特征点；然后根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；对所述每帧图像进行超像素分割，确定动态目标区域；根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，该静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源，通过检测并分割出动态区域目标，然后剔除，实现较为简单，并且能够提高双目视觉SLAM算法在动态环境下定位精度，进而使得利用纯静态环境得到准确的定位及建图结果。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
在一种可能的设计中，动态特征点检测模块，具体用于：将所述连续帧图像中的每帧图像转换成灰度图；针对所述每帧图像，对所述灰度图提取SURF特征点，得到所述每帧图像的图像特征点；其中，所述每帧图像的图像特征点形成了每帧图像对应的图像特征点集。
在一种可能的设计中，动态特征点检测模块，具体用于：根据所述每帧图像对应的图像特征点，从所述连续帧图像中获取第t帧图像的图像特征点，其中，t大于或等于1；根据所述第t帧图像的图像特征点，通过光流算法，得到所述第t帧图像的图像特征点对应的稀疏光流，所述第t帧图像的图像特征点对应的稀疏光流为所述连续帧图像中第t+1帧图像中的对应点；根据所述第t帧图像的图像特征点和所述连续帧图像中第t+1帧图像中的对应点，通过随机抽样一致算法，计算得到相邻两帧图像间的基础矩阵；根据所述基础矩阵，通过极限约束公式，确定所述第t帧图像中的目标图像特征点是否为动态特征点，所述第t帧图像中的目标图像特征点为所述第t帧图像中的任一特征点。
在一种可能的设计中，动态特征点检测模块，具体用于：根据所述相邻两帧图像间的基础矩阵，通过极线约束公式，得到所述目标图像特征点在所述第t+1帧图像中的对应点所在第t+1帧图像上的极线方程；根据所述极线方程，得到所述第t+1帧图像上的极线与所述第t+1帧图像中的对应点的距离；若所述距离大于预设阈值，则确定所述目标图像特征点为动态特征点。
在一种可能的设计中，动态目标区域确定模块，具体用于：通过超像素分割算法，对所述每帧图像进行超像素分割，得到超像素分割结果；根据所述超像素分割结果，通过SGBM算法，计算得到视差；根据所述视差，对相应的所述每帧图像进行图像区域分割，得到区域分割结果；根据所述动态特征点以及所述区域分割结果，确定所述动态目标区域，用以分割得到动态目标。
在一种可能的设计中，动态目标区域确定模块，具体用于：将所述动态特征点沿所述每帧图像坐标系Y轴向上生长，得到与区域分割结果边界的交点，形成区域轮廓；若每帧图像中任一区域轮廓内动态特征点数大于预设点数，则确定所述区域为动态目标区域；利用所述动态目标区域对应动态特征点以及生长得到的轮廓点进行最小多边形拟合，得到最小包围矩形框，所述最小包围矩形框为所述动态目标区域的分割结果，所述分割结果为分割的动态目标。
为了实现所述基于动态场景的图像处理方法，本实施例提供了一种基于动态场景的图像处理设备。图8为本申请实施例提供的基于动态场景的图像处理设备的结构示意图。如图8所示，本实施例的基于动态场景的图像处理设备80包括：处理器801以及存储器802；其中，存储器802，用于存储计算机执行指令；处理器801，用于执行存储器存储的计算机执行指令，以实现上述实施例中所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的基于动态场景的图像处理方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的基于动态场景的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种基于动态场景的图像处理方法，其特征在于，包括：
获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，所述连续帧图像是由双目视觉传感器采集的；
根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；
对所述每帧图像进行超像素分割，确定动态目标区域；
根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，所述静态区域的特征点用于为执行相机定位及环境建图的操作提供数据源。
2.根据权利要求1所述的方法，其特征在于，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，包括：
将所述连续帧图像中的每帧图像转换成灰度图；
针对所述每帧图像，对所述灰度图提取SURF特征点，得到所述每帧图像的图像特征点；
其中，所述每帧图像的图像特征点形成了每帧图像对应的图像特征点集。
3.根据权利要求2所述的方法，其特征在于，根据所述每帧图像对应的图像特征点，检测所述连续帧图像对应的动态特征点，包括：
根据所述每帧图像对应的图像特征点，从所述连续帧图像中获取第t帧图像的图像特征点，其中，t大于或等于1；
根据所述第t帧图像的图像特征点，通过光流算法，得到所述第t帧图像的图像特征点对应的稀疏光流，所述第t帧图像的图像特征点对应的稀疏光流为所述连续帧图像中第t+1帧图像中的对应点；
根据所述第t帧图像的图像特征点和所述连续帧图像中第t+1帧图像中的对应点，通过随机抽样一致算法，计算得到相邻两帧图像间的基础矩阵；
根据所述基础矩阵，通过极限约束公式，确定所述第t帧图像中的目标图像特征点是否为动态特征点，所述第t帧图像中的目标图像特征点为所述第t帧图像中的任一特征点。
4.根据权利要求3所述的方法，其特征在于，根据所述基础矩阵，通过极线约束公式，确定所述第t帧图像中的目标图像特征点是否为动态特征点，包括：
根据所述相邻两帧图像间的基础矩阵，通过极线约束公式，得到所述目标图像特征点在所述第t+1帧图像中的对应点所在第t+1帧图像上的极线方程；
根据所述极线方程，得到所述第t+1帧图像上的极线与所述第t+1帧图像中的对应点的距离；
若所述距离大于预设阈值，则确定所述目标图像特征点为动态特征点。
5.根据权利要求1-4任一项所述的方法，其特征在于，对所述每帧图像进行超像素分割，确定动态目标区域，包括：
通过超像素分割算法，对所述每帧图像进行超像素分割，得到超像素分割结果；
根据所述超像素分割结果，通过SGBM算法，计算得到视差；
根据所述视差，对相应的所述每帧图像进行图像区域分割，得到区域分割结果；
根据所述动态特征点以及所述区域分割结果，确定所述动态目标区域，用以分割得到动态目标。
6.根据权利要求5所述的方法，其特征在于，根据所述动态特征点以及所述区域分割结果，确定所述动态目标区域，用以分割得到动态目标，包括：
将所述动态特征点沿所述每帧图像坐标系Y轴向上生长，得到与区域分割结果边界的交点，形成区域轮廓；
若每帧图像中任一区域轮廓内动态特征点数大于预设点数，则确定所述区域为动态目标区域；
利用所述动态目标区域对应动态特征点以及生长得到的轮廓点进行最小多边形拟合，得到最小包围矩形框，所述最小包围矩形框为所述动态目标区域的分割结果，所述分割结果为分割的动态目标。
7.一种基于动态场景的图像处理装置，其特征在于，包括：
图像获取模块，用于获取连续帧图像，对所述连续帧图像中的每帧图像进行特征提取，得到所述每帧图像的图像特征点，所述连续帧图像是由双目视觉传感器采集的；
动态特征点检测模块，用于根据所述每帧图像的图像特征点，检测所述连续帧图像对应的动态特征点；
动态目标区域确定模块，用于对所述每帧图像进行超像素分割，确定动态目标区域；
动态点剔除模块，用于根据检测到的所述动态特征点以及所述动态目标区域，从所述每帧图像的图像特征点中剔除动态区域的特征点，得到静态区域的特征点，所述静态区域特征点用于为执行相机定位及环境建图的操作提供数据源。
8.一种基于动态场景的图像处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于动态场景的图像处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的基于动态场景的图像处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于动态场景的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066057.1A CN114820639A (zh) | 2021-01-19 | 2021-01-19 | 基于动态场景的图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066057.1A CN114820639A (zh) | 2021-01-19 | 2021-01-19 | 基于动态场景的图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820639A true CN114820639A (zh) | 2022-07-29 |
Family
ID=82524652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110066057.1A Pending CN114820639A (zh) | 2021-01-19 | 2021-01-19 | 基于动态场景的图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820639A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661437A (zh) * | 2022-10-20 | 2023-01-31 | 陕西学前师范学院 | 图像处理系统及方法 |
| CN115984634A (zh) * | 2023-03-20 | 2023-04-18 | 摩尔线程智能科技(北京)有限责任公司 | 图像检测方法、装置、设备、存储介质和程序产品 |
| CN116819489A (zh) * | 2023-08-25 | 2023-09-29 | 摩尔线程智能科技(北京)有限责任公司 | 动态物体检测方法、模型训练方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706269A (zh) * | 2019-08-30 | 2020-01-17 | 武汉斌果科技有限公司 | 一种基于双目视觉slam的动态场景密集建模方法 |
| CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN112132897A (zh) * | 2020-09-17 | 2020-12-25 | 中国人民解放军陆军工程大学 | 一种基于深度学习之语义分割的视觉slam方法 |
-
2021
- 2021-01-19 CN CN202110066057.1A patent/CN114820639A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706269A (zh) * | 2019-08-30 | 2020-01-17 | 武汉斌果科技有限公司 | 一种基于双目视觉slam的动态场景密集建模方法 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN112132897A (zh) * | 2020-09-17 | 2020-12-25 | 中国人民解放军陆军工程大学 | 一种基于深度学习之语义分割的视觉slam方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661437A (zh) * | 2022-10-20 | 2023-01-31 | 陕西学前师范学院 | 图像处理系统及方法 |
| CN115661437B (zh) * | 2022-10-20 | 2024-01-26 | 陕西学前师范学院 | 图像处理系统及方法 |
| CN115984634A (zh) * | 2023-03-20 | 2023-04-18 | 摩尔线程智能科技(北京)有限责任公司 | 图像检测方法、装置、设备、存储介质和程序产品 |
| CN115984634B (zh) * | 2023-03-20 | 2023-09-12 | 摩尔线程智能科技(北京)有限责任公司 | 图像检测方法、装置、设备、存储介质和程序产品 |
| CN116819489A (zh) * | 2023-08-25 | 2023-09-29 | 摩尔线程智能科技(北京)有限责任公司 | 动态物体检测方法、模型训练方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN114820639A (zh) | 基于动态场景的图像处理方法、装置、设备及存储介质 | |
| CN109584302B (zh) | 相机位姿优化方法、装置、电子设备和计算机可读介质 | |
| CN108596923B (zh) | 三维数据的获取方法、装置以及电子设备 | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
| CN107480585B (zh) | 基于dpm算法的目标检测方法 | |
| CN109325444B (zh) | 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法 | |
| CN110569782A (zh) | 一种基于深度学习目标检测方法 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| Wang et al. | Hand posture recognition from disparity cost map | |
| CN114119695A (zh) | 一种图像标注方法、装置及电子设备 | |
| CN111709269B (zh) | 一种深度图像中基于二维关节信息的人手分割方法和装置 | |
| CN110458177B (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
| CN109785367B (zh) | 三维模型追踪中外点滤除方法和装置 | |
| CN111160231A (zh) | 一种基于Mask R-CNN的自动驾驶环境道路提取方法 | |
| CN110647925A (zh) | 基于改进的line-mod模板匹配的刚性物体识别方法及装置 | |
| CN116385527A (zh) | 基于多源传感器的物体定位方法、装置和介质 | |
| CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
| CN108564020A (zh) | 基于全景3d图像的微手势识别方法 | |
| CN113240638A (zh) | 基于深度学习的目标检测方法、设备及介质 | |
| CN116755562B (zh) | 一种避障方法、装置、介质及ar/vr设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |