CN112967283B - 基于双目摄像头的目标识别方法、系统、设备及存储介质 - Google Patents
基于双目摄像头的目标识别方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112967283B CN112967283B CN202110434941.6A CN202110434941A CN112967283B CN 112967283 B CN112967283 B CN 112967283B CN 202110434941 A CN202110434941 A CN 202110434941A CN 112967283 B CN112967283 B CN 112967283B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- left image
- point cloud
- label
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 239000002131 composite material Substances 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 23
- 238000012545 processing Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于双目摄像头的目标识别方法、系统、设备及存储介质，该方法包括以下步骤：根据双目摄像装置拍摄的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；基于左图像进行基于左图像的图像分割获得图像区域对应的障碍物类别标签、障碍物编码以及标签置信度；根据左图像每个像素的标签置信度和距离置信度生成过滤掩膜图过滤左图像的复合图像信息；根据过滤后的复合图像信息中障碍物编码依次提取点云，获得物体类子标签对应的点云信息；在俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。本发明能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性。
Description
技术领域
本发明属于机器视觉领域，尤其涉及一种基于双目摄像头的目标识别方法、系统、设备及存储介质。
背景技术
近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。尤其是，精确实时的防碰撞预警有重要的应用意义，尤其是在辅助驾驶安全警示和自动驾驶的自动控制中起到决定性作用，比如在自动驾驶中，防碰撞预警可以尽可能多地减少事故，避免人身和财产损失；在自动驾驶中，防碰撞预警越精确，安全性越高。
目前，通过双目图片检测出物体的大小，位置，类别和朝向等3D信息在机器人，自动驾驶和车路协同等领域都有着重要的应用。目前大多数基于双目摄像头的3D目标检测算法都是只基于双目视差的方法；只基于双目视差的方法，虽然能够根据每个像素的视差反求出该像素在3D空间的位置，但由于视差计算丢弃了图片承载的丰富的语义信息，使得该类方法对于物体种类几乎没有分辨能力，也不能有效利用基于语义的先验信息，限制了这类方法的大规模应用。
因此，本发明提供了一种基于双目摄像头的目标识别方法、系统、设备及存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于双目摄像头的目标识别方法、系统、设备及存储介质，克服了现有技术的困难，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
本发明的实施例提供一种基于双目摄像头的目标识别方法，包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；
S130、基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得所述左图像的复合图像信息；
S140、根据所述左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件对所述左图像的复合图像信息进行二值化获得过滤掩膜图，过滤所述左图像的复合图像信息；
S150、根据过滤后的所述复合图像信息中障碍物编码依次提取点云，并进行聚类，通过所述物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S160、在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。
优选地，所述步骤S130中，所述左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及距离置信度Q。
优选地，所述步骤S140包括根据基于所述左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件，对所述左图像的复合图像信息进行二值化，基于所述左图像每个像素的标签置信度和距离置信度均大于预设阈值的像素作为有效像素，对应标记为1；其余像素作为无效像素，对应标记为0；并且通过形态学腐蚀后获得的二值化的过滤掩膜图。
优选地，通过所述过滤掩膜图对所述左图像的图像信息中的障碍物类别标签、基于障碍物类别的编码、标签置信度、距离值以及距离置信度进行过滤，仅保留所述左图像的中所述有效像素的复合图像信息。
优选地，所述距离置信度的取值范围是[0，1]，所述距离置信度的第一预设阈值的取值范围是(0.5，1)；
所述标签置信度的取值范围是[0，1]，所述标签置信度的第二预设阈值的取值范围是(0.5，1)。
优选地，所述障碍物类别标签包括物体类子标签和背景类子标签；
所述步骤S150包括以下步骤：
S151、根据过滤后的所述复合图像信息中物体类子标签的障碍物编码依次提取点云，并进行聚类，将点云数最多的一簇点云通过所述物体类子标签对应的第一预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S152、根据过滤后的所述复合图像信息中背景类子标签提取点云，并进行聚类，先过滤点云数少于第三预设阈值的簇，将剩余的簇通过所述背景类子标签对应的第二预设点云模型库过滤点云，获得背景类子标签对应的点云信息。
优选地，所述第一预设点云模型库为具有限定实体尺寸的物体的点云模型库，至少包括车辆、行人、自行车、集卡、集装箱的点云信息。
优选地，所述第二预设点云模型库为不具有限定尺寸的物体的点云模型库，至少包括房子、树木、围栏的点云信息。
优选地，所述步骤S160中，根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角，据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物类别标签。
优选地，所述步骤S160中还包括，基于物体类子标签、背景类子标签对应的点云信息分别在所述俯视图中生成凸包，根据每个所述凸包的最小外接矩形的尺寸为所述障碍物类别的尺寸，到所述凸包的中心的距离为到所述障碍物的距离。
优选地，所述步骤S160之后还包括以下步骤：
S170、基于所述俯视图规划避让所述障碍物的行驶路径。
优选地，所述步骤S160之后还包括以下步骤：
S180、生成吊装集装箱到集卡的工作路径。
本发明的实施例还提供一种基于双目摄像头的目标识别系统，用于实现上述的基于双目摄像头的目标识别方法，基于双目摄像头的目标识别系统包括：
拍摄模块，使用双目摄像装置拍摄彩色图像；
测深模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；
识别模块，基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得所述左图像的复合图像信息；
过滤模块，根据所述左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件对所述左图像的复合图像信息进行二值化获得过滤掩膜图，过滤所述左图像的复合图像信息；
聚类模块，根据过滤后的所述复合图像信息中障碍物编码依次提取点云，并进行聚类，通过所述物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
标示模块，在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。
本发明的实施例还提供一种基于双目摄像头的目标识别设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述基于双目摄像头的目标识别方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于双目摄像头的目标识别方法的步骤。
本发明的基于双目摄像头的目标识别方法、系统、设备及存储介质，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于双目摄像头的目标识别方法的流程图。
图2是本发明的基于双目摄像头的目标识别方法的实施过程示意图。
图3是图2中联合去噪的过程示意图。
图4是图2中按类别后处理的过程示意图。
图5至7是本发明的基于双目摄像头的目标识别方法适用于导航场景的实施过程示意图。
图8是本发明的基于双目摄像头的目标识别系统的结构示意图
图9是本发明的基于双目摄像头的目标识别设备的结构示意图。以及
图10是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 服务器
11 应用模块
12 图形加速卡驱动模块
13 SOC芯片驱动模块
2 视频处理模块组件
21 图形加速卡
211 第一类神经网络模型
212 第二类神经网络模型
213 第二类神经网络模型
214 第二类神经网络模型
22 SOC芯片
301至316 摄像机
40 原始图片
41 第一局部图像区域
42 第二局部图像区域
43 第三局部图像区域
44 压缩图片
45 抠图信息
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的基于双目摄像头的目标识别方法的流程图。如图1 所示，本发明基于双目摄像头的目标识别方法，包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像；
S120、根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；
S130、基于左图像输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得左图像的复合图像信息；
S140、根据左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件对左图像的复合图像信息进行二值化获得过滤掩膜图，过滤左图像的复合图像信息；
S150、根据过滤后的复合图像信息中障碍物编码依次提取点云，并进行聚类，通过物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S160、在俯视图中标示所有障碍物的位置、距离以及障碍物类别标签，但不以此为限。
本发明提出了一种结合深度学习的双目摄像头3D目标检测方法，通过深度学习方法对双目图片的左视图进行全景分割，提取了图片中类别， ID和置信度等语义信息，弥补了只基于视差的方法语义信息不足的缺陷，使能了更多基于语义的先验信息在算法中的应用，提高了算法的检测精度，推进了基于双目摄像头的3D目标检测方法在更多领域的应用。本发明引入基于深度学习的全景分割，为检测方法提供语义信息；视差结果和全景分割方法联合去噪，提高中间结果可靠性；依照类别，用不同先验处理不同障碍物，提高最终结果精度，但不以此为限。
在一个优选实施例中，步骤S130中，左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及距离置信度Q，但不以此为限。
在一个优选实施例中，步骤S140包括根据基于左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件，对左图像的复合图像信息进行二值化，基于左图像每个像素的标签置信度和距离置信度均大于预设阈值的像素作为有效像素，对应标记为1；其余像素作为无效像素，对应标记为0；并且通过形态学腐蚀后获得的二值化的过滤掩膜图，但不以此为限。
在一个优选实施例中，通过过滤掩膜图对左图像的图像信息中的障碍物类别标签、基于障碍物类别的编码、标签置信度、距离值以及距离置信度进行过滤，仅保留左图像的中有效像素的复合图像信息，但不以此为限。
在一个优选实施例中，距离置信度的取值范围是[0，1]，距离置信度的第一预设阈值的取值范围是(0.5，1)；
标签置信度的取值范围是[0，1]，标签置信度的第二预设阈值的取值范围是(0.5，1)，但不以此为限。
在一个优选实施例中，障碍物类别标签包括物体类子标签和背景类子标签；
步骤S150包括以下步骤：
S151、根据过滤后的复合图像信息中物体类子标签的障碍物编码依次提取点云，并进行聚类，将点云数最多的一簇点云通过物体类子标签对应的第一预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S152、根据过滤后的复合图像信息中背景类子标签提取点云，并进行聚类，先过滤点云数少于第三预设阈值的簇，将剩余的簇通过背景类子标签对应的第二预设点云模型库过滤点云，获得背景类子标签对应的点云信息，但不以此为限。
在一个优选实施例中，第一预设点云模型库为具有限定实体尺寸的物体的点云模型库，至少包括车辆、行人、自行车、集卡、集装箱的点云信息，但不以此为限。
在一个优选实施例中，第二预设点云模型库为不具有限定尺寸的物体的点云模型库，至少包括房子、树木、围栏的点云信息，但不以此为限。
在一个优选实施例中，步骤S160中，根据视差矩阵拟合地面信息并获得双目摄像装置与地面之间的夹角，据夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，俯视图中的每个点具有基于三维点云的障碍物类别标签，但不以此为限。
在一个优选实施例中，步骤S160中还包括，基于物体类子标签、背景类子标签对应的点云信息分别在俯视图中生成凸包，根据每个凸包的最小外接矩形的尺寸为障碍物类别的尺寸，到凸包的中心的距离为到障碍物的距离，但不以此为限。
在一个优选实施例中，步骤S160之后还包括以下步骤：S170、基于俯视图规划避让障碍物的行驶路径，本发明可以用于无人车的自动行驶的使用场景，但不以此为限。
在一个优选实施例中，步骤S160之后还包括以下步骤：S180、生成吊装集装箱到集卡的工作路径，本发明可以用于无人码头中，无人吊机根据集装箱和无人集卡的位置规划作业路径的使用场景中，但不以此为限。
图2是本发明的基于双目摄像头的目标识别方法的实施过程示意图。图3是图2中联合去噪的过程示意图。图4是图2中按类别后处理的过程示意图。如图2至4所示，本发明的实施过程如下：
本检测方法主要分为全景分割，视差计算，联合去噪和按类别后处理共4个部分，thing类别(物体类子标签)表示尺寸和形状基本固定的类别，比如车、人、自行车等类别；stuff类别(背景类子标签)表示无固定尺寸和形状类别的物体，比如房子，树木和围栏等。其中：
(1)视差提取：
利用双目立体匹配算法计算左右图的视差，可以是非学习的方法，也可以是基于深度学习的方法；输入时一对已经矫正好的左右图片，输出是视差图(默认为左图上的视差)，以及视差有效性图(1的位置有效，0 的位置无效)。
(2)全景分割：
利用任意基于深度学习的全景分割网络对左图进行处理，输出：
类别图：长宽和输入左图相等，每个像素的值代表一种类别编号；
ID图：长宽和输入左图相等，每个像素的值代表这个像素所属thing 物体的编号，从1开始；比如图片上属于某一辆车的所有像素在ID图上的值相等；用0值统一表示stuff类别；
置信度图：长宽和输入左图相等，每个像素的值代表其置信度。
(3)联合去噪：
如图2所示，联合去噪模块综合视差计算和全景分割的结果，把视差计算和全景分割模块结果中高置信度的部分保留下来，具体过程是：
根据类别图和预先定义好的不同类别的置信度，生成各像素置信度阈值图。阈值较高代表不希望该类别误检，阈值较低代表不希望漏检；为了避免歧义，阈值需要在0.5以上；
置信度图上每个像素的值和各像素置信度阈值图上对应位置的像素值比较，值保留大于阈值的，构成各像素置信度有效性图；
各像素置信度有效性图和各像素视差有效性图做逻辑and,并做形态学腐蚀去除不可靠的空洞和边沿部分，生成各像素有效性图；该图上值为 1的像素在视差计算和全景分割上都有相对较高的置信度；
用各像素有效性图过滤类别图，ID图，置信度图和视差图，生成优化后的类别图，优化后的ID图，优化后的置信度图，优化后的视差图。
(4)按类别后处理：
按类别处理联合去噪的结果，可以充分利用基于类别，ID信息带来的丰富的先验信息，是的检测结果更准确：
优化后视差图根据相机的内参转化为3D双目点云,其中，x,y,z是相机3D空间中的坐标，单位为米；f是相机焦距，单位是像素；b是左右相机的基线，单位是米；d是视差，单位为米；u,v是图片像素位置，单位是像素；u0,v0是图片中心像素位置，单位是像素；：
thing类别和stuff类别按不同流程处理：thing类比已有每个物体的 ID，相同ID的点云点属于同一个物体；因此，提取后用聚类结果中最大的一簇作为该物体最可信的部分；进一步，利用物体先验形状对点云进一步过滤，比如用车的点云俯视图下应该近似符合矩形，把不符合的部分去掉；人的点云俯视图下应该近似符合点状，把不符合点状的部分去掉。stuff 类别的物体无固定尺寸，聚类后需要保留所有点数大于阈值的簇；同时这些簇也需要根据先验形态进行过滤，去除不符合先验形态的部分(比如，围墙一般是直线状的，因此需要去除不属于直线状的部分)。
进过以上步骤得到的多个障碍物点云，可以用来构建障碍物，一般需要先根据双目点云构建凸包，之后输出障碍物信息：1)双目点云的类别就是障碍物类别；2)凸包的外接最小矩形的尺寸即为障碍物尺寸大小；3) 凸包的中心就是障碍物的位置。
本发明通过将障碍物区分为具有尺寸范围的物体类子标签和不限尺寸范围的背景类子标签，分别利用不同的处理点云的神经网络来的都对其进行识别和过滤，结合使用点云聚类以及分别点云模型比对的方法，充分利用了基于语义的先验信息(预设的thing类别的点云模型数据或者stuff 类别的点云模型数据)降低了识别的计算量，大大提高了识别障碍物边缘的精确性和计算速度。
图5至7是本发明的基于双目摄像头的目标识别方法适用于导航场景的实施过程示意图。如图5至7所示，本发明的实施过程如下：
车辆1在路上行驶，车辆1的前部设有双目摄像装置2，使用双目摄像装置2拍摄车辆1前方的彩色图像，其中，双目摄像装置2包括获得的左图像的左相机22和获得的右图像的右相机21。
根据双目摄像装置2基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值P以及距离置信度Q，生成基于左图像的点云信息和俯视图。左图像和右图像的尺寸相同都是M×N的图像。
基于左图像输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得左图像的复合图像信息。左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及距离置信度Q，所以，在左图像的复合图像信息中M行N列矩阵中的每个像素都具有RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及距离置信度Q等8个通道的子信息(R、G、B、D、H、T、P、Q)。障碍物类别标签包括物体类子标签和背景类子标签。
根据基于左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件，对左图像的复合图像信息进行二值化获得过滤掩膜图。本实施例中的过滤掩膜图是一个M行N列的矩阵，其中每个元素的元素值分别是1或者0。基于左图像每个像素的标签置信度和距离置信度均大于预设阈值的像素作为有效像素，对应标记为1；其余像素作为无效像素，对应标记为0；并且通过形态学腐蚀后获得的二值化的过滤掩膜图。然后，通过过滤掩膜图对左图像的图像信息中的障碍物类别标签、基于障碍物类别的编码、标签置信度、距离值以及距离置信度进行过滤，仅保留左图像的中有效像素的复合图像信息。与过滤掩膜图中与元素值“1”对应的像素的8个通道的子信息(R、G、B、D、H、T、P、Q)都得到保留，而与过滤掩膜图中与元素值“0”对应的像素的8个通道的子信息全部清空。本实施例中，距离置信度的取值范围是[0，1]，距离置信度的第一预设阈值的取值为0.8；标签置信度的取值范围是[0，1]，标签置信度的第二预设阈值的取值为0.9。
本实施例中，第一预设点云模型库为具有限定实体尺寸的物体的点云模型库，至少包括车辆、行人、自行车、集卡、集装箱的点云模型信息。第二预设点云模型库为不具有限定尺寸的物体的点云模型库，至少包括房子、树木、围栏的点云模型信息。根据过滤后的复合图像信息中物体类子标签的障碍物编码依次提取点云，并进行聚类，将点云数最多的一簇点云通过物体类子标签对应的第一预设点云模型库进行过滤，获得物体类子标签对应的点云信息。根据过滤后的复合图像信息中背景类子标签提取点云，并进行聚类，先过滤点云数少于第三预设阈值的簇，将剩余的簇通过背景类子标签对应的第二预设点云模型库过滤点云，获得背景类子标签对应的点云信息。
根据视差矩阵拟合地面信息并获得双目摄像装置2与地面之间的夹角，据夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，基于物体类子标签、背景类子标签对应的点云信息分别在俯视图中生成凸包，根据每个凸包的最小外接矩形的尺寸为障碍物类别的尺寸，到凸包的中心的距离为到障碍物的距离。俯视图中的每个点具有基于三维点云的障碍物类别标签。本实施例中，获得行人3以及围墙4分别在俯视图中的精确位置。
最后，基于俯视图规划避让行人3以及围墙4的行驶路径L，提高自动驾驶的安全性。
图8是本发明的基于双目摄像头的目标识别系统的结构示意图。如图 8所示，本发明的实施例还提供一种基于双目摄像头的目标识别系统5，用于实现上述的基于双目摄像头的目标识别方法，包括：
拍摄模块51，使用双目摄像装置拍摄彩色图像。
测深模块52，根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图。
识别模块53，基于左图像输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得左图像的复合图像信息。
过滤模块54，根据左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件对左图像的复合图像信息进行二值化获得过滤掩膜图，过滤左图像的复合图像信息。
聚类模块55，根据过滤后的复合图像信息中障碍物编码依次提取点云，并进行聚类，通过物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息。
标示模块56，在俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。
本发明的基于双目摄像头的目标识别系统，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
本发明实施例还提供一种基于双目摄像头的目标识别设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于双目摄像头的目标识别方法的步骤。
如上，本发明的基于双目摄像头的目标识别设备能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明的基于双目摄像头的目标识别设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于双目摄像头的目标识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的基于双目摄像头的目标识别方法、系统、设备及存储介质，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (12)
1.一种基于双目摄像头的目标识别方法，其特征在于，包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；
S130、基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得所述左图像的复合图像信息，所述左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及距离置信度Q，所述障碍物类别标签包括物体类子标签和背景类子标签；
S140、根据基于所述左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件，对所述左图像的复合图像信息进行二值化，基于所述左图像每个像素的标签置信度和距离置信度均大于预设阈值的像素作为有效像素，对应标记为1；其余像素作为无效像素，对应标记为0；并且通过形态学腐蚀后获得的二值化的过滤掩膜图，通过所述过滤掩膜图对所述左图像的图像信息中的障碍物类别标签、基于障碍物类别的编码、标签置信度、距离值以及距离置信度进行过滤，仅保留所述左图像的中所述有效像素的复合图像信息；
S150、根据过滤后的所述复合图像信息中障碍物编码依次提取点云，并进行聚类，通过所述物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S160、在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。
2.根据权利要求1所述的基于双目摄像头的目标识别方法，其特征在于，所述距离置信度的取值范围是[0，1]，所述距离置信度的第一预设阈值的取值范围是（0.5，1）；
所述标签置信度的取值范围是[0，1]，所述标签置信度的第二预设阈值的取值范围是（0.5，1）。
3.根据权利要求1所述的基于双目摄像头的目标识别方法，其特征在于，
所述步骤S150包括以下步骤：
S151、根据过滤后的所述复合图像信息中物体类子标签的障碍物编码依次提取点云，并进行聚类，将点云数最多的一簇点云通过所述物体类子标签对应的第一预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
S152、根据过滤后的所述复合图像信息中背景类子标签提取点云，并进行聚类，先过滤点云数少于第三预设阈值的簇，将剩余的簇通过所述背景类子标签对应的第二预设点云模型库过滤点云，获得背景类子标签对应的点云信息。
4.根据权利要求3所述的基于双目摄像头的目标识别方法，其特征在于，所述第一预设点云模型库为具有限定实体尺寸的物体的点云模型库，至少包括车辆、行人、自行车、集卡、集装箱的点云信息。
5.根据权利要求3所述的基于双目摄像头的目标识别方法，其特征在于，所述第二预设点云模型库为不具有限定尺寸的物体的点云模型库，至少包括房子、树木、围栏的点云信息。
6.根据权利要求1所述的基于双目摄像头的目标识别方法，其特征在于，所述步骤S160中，根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角，据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物类别标签。
7.根据权利要求6所述的基于双目摄像头的目标识别方法，其特征在于，所述步骤S160中还包括，基于物体类子标签、背景类子标签对应的点云信息分别在所述俯视图中生成凸包，根据每个所述凸包的最小外接矩形的尺寸为所述障碍物类别的尺寸，到所述凸包的中心的距离为到所述障碍物的距离。
8.根据权利要求1所述的基于双目摄像头的目标识别方法，所述步骤S160之后还包括以下步骤：
S170、基于所述俯视图规划避让所述障碍物的行驶路径。
9.根据权利要求1所述的基于双目摄像头的目标识别方法，所述步骤S160之后还包括以下步骤：
S180、生成吊装集装箱到集卡的工作路径。
10.一种基于双目摄像头的目标识别系统，其特征在于，用于实现如权利要求1所述的基于双目摄像头的目标识别方法，包括：
拍摄模块，使用双目摄像装置拍摄彩色图像；
测深模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值以及距离置信度，生成基于左图像的点云信息和俯视图；
识别模块，基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码以及标签置信度，获得所述左图像的复合图像信息；
过滤模块，根据所述左图像每个像素的标签置信度和距离置信度是否均大于预设阈值作为判断条件对所述左图像的复合图像信息进行二值化获得过滤掩膜图，过滤所述左图像的复合图像信息；
聚类模块，根据过滤后的所述复合图像信息中障碍物编码依次提取点云，并进行聚类，通过所述物体类子标签的预设点云模型库进行过滤，获得物体类子标签对应的点云信息；
标示模块，在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签。
11.一种基于双目摄像头的目标识别设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至9中任意一项所述基于双目摄像头的目标识别方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至9中任意一项所述基于双目摄像头的目标识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110434941.6A CN112967283B (zh) | 2021-04-22 | 2021-04-22 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110434941.6A CN112967283B (zh) | 2021-04-22 | 2021-04-22 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967283A CN112967283A (zh) | 2021-06-15 |
| CN112967283B true CN112967283B (zh) | 2023-08-18 |
Family
ID=76281005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110434941.6A Active CN112967283B (zh) | 2021-04-22 | 2021-04-22 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967283B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505704B (zh) * | 2021-07-13 | 2023-11-10 | 上海西井科技股份有限公司 | 图像识别的人员安全侦测方法、系统、设备及存储介质 |
| CN113657691B (zh) * | 2021-10-19 | 2022-03-01 | 北京每日优鲜电子商务有限公司 | 信息显示方法、装置、电子设备和计算机可读介质 |
| CN114089364A (zh) * | 2021-11-18 | 2022-02-25 | 智能移动机器人(中山)研究院 | 一种集成化的感知系统装置及实现方法 |
| CN116148879B (zh) * | 2021-11-22 | 2024-05-03 | 珠海一微半导体股份有限公司 | 一种机器人提升障碍物标注精度的方法 |
| CN114013751B (zh) * | 2022-01-05 | 2022-04-01 | 季华实验室 | 长方体状物品装箱方法、装置、电子设备及存储介质 |
| CN114550490B (zh) * | 2022-02-22 | 2023-12-22 | 北京信路威科技股份有限公司 | 停车场的车位统计方法、系统、计算机设备和存储介质 |
| CN116503821B (zh) * | 2023-06-19 | 2023-08-25 | 成都经开地理信息勘测设计院有限公司 | 基于点云数据和图像识别的道路标识识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656545A (zh) * | 2017-09-12 | 2018-02-02 | 武汉大学 | 一种面向无人机野外搜救的自主避障与导航方法 |
| CN110895819A (zh) * | 2018-09-12 | 2020-03-20 | 长沙智能驾驶研究院有限公司 | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 |
| WO2020258286A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、拍摄装置和可移动平台 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014078095A (ja) * | 2012-10-10 | 2014-05-01 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| CN111797650B (zh) * | 2019-04-09 | 2024-02-27 | 广州文远知行科技有限公司 | 障碍物的识别方法、装置、计算机设备和存储介质 |
| CN112232275B (zh) * | 2020-11-03 | 2021-12-24 | 上海西井信息科技有限公司 | 基于双目识别的障碍物检测方法、系统、设备及存储介质 |
| CN112233136B (zh) * | 2020-11-03 | 2021-10-22 | 上海西井信息科技有限公司 | 基于双目识别的集卡对位方法、系统、设备及存储介质 |
-
2021
- 2021-04-22 CN CN202110434941.6A patent/CN112967283B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656545A (zh) * | 2017-09-12 | 2018-02-02 | 武汉大学 | 一种面向无人机野外搜救的自主避障与导航方法 |
| CN110895819A (zh) * | 2018-09-12 | 2020-03-20 | 长沙智能驾驶研究院有限公司 | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 |
| WO2020258286A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、拍摄装置和可移动平台 |
Non-Patent Citations (1)
| Title |
|---|
| 汽车双目立体视觉的目标测距及识别研究;宋子豪 等;武汉理工大学学报;第41卷(第6期);第76-82页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967283A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112967283B (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| Dhiman et al. | Pothole detection using computer vision and learning | |
| JP6842520B2 (ja) | 物体検出方法、装置、機器、記憶媒体及び車両 | |
| CN112861653A (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
| Yuan et al. | Robust lane detection for complicated road environment based on normal map | |
| CN108734058B (zh) | 障碍物类型识别方法、装置、设备及存储介质 | |
| US11379963B2 (en) | Information processing method and device, cloud-based processing device, and computer program product | |
| WO2021096629A1 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
| TWI726278B (zh) | 行車偵測方法、車輛及行車處理裝置 | |
| CN113838125A (zh) | 目标位置确定方法、装置、电子设备以及存储介质 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN112001272A (zh) | 一种基于深度学习的激光雷达环境感知方法及系统 | |
| CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN113189610A (zh) | 地图增强的自动驾驶多目标追踪方法和相关设备 | |
| CN116189150B (zh) | 基于融合输出的单目3d目标检测方法、装置、设备和介质 | |
| CN110727269B (zh) | 车辆控制方法及相关产品 | |
| CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
| CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
| Dai et al. | A driving assistance system with vision based vehicle detection techniques | |
| CN114998861A (zh) | 车辆与障碍物的距离检测方法及装置 | |
| CN112654998B (zh) | 一种车道线检测方法和装置 | |
| Singh et al. | Computer vision assisted, real time blind spot detection based collision warning system for two wheelers | |
| Al Noman et al. | A computer vision-based lane detection technique using gradient threshold and hue-lightness-saturation value for an autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050 Applicant after: Shanghai Xijing Technology Co.,Ltd. Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050 Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |