CN113052835B - 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 - Google Patents

一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 Download PDF

Info

Publication number
CN113052835B
CN113052835B CN202110424256.5A CN202110424256A CN113052835B CN 113052835 B CN113052835 B CN 113052835B CN 202110424256 A CN202110424256 A CN 202110424256A CN 113052835 B CN113052835 B CN 113052835B
Authority
CN
China
Prior art keywords
medicine box
image
dimensional
point cloud
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110424256.5A
Other languages
English (en)
Other versions
CN113052835A (zh
Inventor
贡仲林
顾寄南
贡晓燕
吴新军
黄博
谢骐阳
贡飞
李冬云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xunjie Cabinet Technology Co Ltd
Original Assignee
Jiangsu Xunjie Cabinet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xunjie Cabinet Technology Co Ltd filed Critical Jiangsu Xunjie Cabinet Technology Co Ltd
Priority to CN202110424256.5A priority Critical patent/CN113052835B/zh
Publication of CN113052835A publication Critical patent/CN113052835A/zh
Application granted granted Critical
Publication of CN113052835B publication Critical patent/CN113052835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于三维点云与图像数据融合的药盒检测方法，包括：相机采集的药盒图像输入到优化后的U型全卷积神经网络中，提取药盒特征图像。在特征提取部分，用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；判断其是否满足检测要求，若不满足则提取的药盒的三维信息，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云。采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点。利用T‑Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字0。本发明解决了现有药盒检测中存在耗时长、误检率较高等问题。

Description

一种基于三维点云与图像数据融合的药盒检测方法及其检测 系统
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于三维点云与图像数据融合的药盒检测方法。
背景技术
随着卷积神经网络的快速发展，已经展示了其在特征学习上的强大能力，在很多计算机视觉的任务中取得了非常重大的突破和进展。大量的计算机视觉研究主要集中在二维图像上，然而我们的真实世界是一个三维世界，摄像机在将三维场景投影到二维图像的过程中不可避免地存在着信息的损失。三维数据对光照变化、纹理变化等因素相对不敏感，药盒图像处理在强光照和弱光照条件以及纹理信息不足时容易出现算法性能下降的问题，而三维数据获取设备（如激光雷达）一般采用主动成像方式获取环境信息，不依赖于自然光条件，对环境中的光照变化、颜色变化等因素较为鲁棒。但是基于点云的三维目标检测仍存在诸多的研究难点，在检测准确率还落后于基于图像的目标检测算法。
发明内容
针对现有技术中存在不足，本发明提供了一种基于三维点云与图像数据融合的药盒检测方法，克服现有药盒检测中存在耗时长、误检率较高等问题。
本发明是通过以下技术手段实现上述技术目的的。
一种基于三维点云与图像数据融合的药盒检测方法，具体步骤如下：
步骤一：将相机采集的药盒图像输入到U型全卷积神经网络中，提取药盒特征图像；
步骤二：用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图像不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；
步骤三：将步骤二得到的药盒图像与步骤一种的药盒特征图像比对，是否满足检测要求，若满足检测要求，即可开始对药盒进行检测；
步骤四：若不满足检测要求，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云；采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点；利用T-Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字，进而达到检测要求。
进一步的改进在于，所述分组残差卷积模块在ResNet结构基础上引入独立路径的数量获取。
进一步的改进在于，采用可分离卷积，使用3个3×3×1卷积核代替3×3×3的单个过滤器，每个核与输入层的一个通道卷积。
进一步的改进在于，所述空洞空间卷积池化金字塔模块包含空洞率分别为 6、12、18、24 的空洞卷积。
进一步的改进在于，所述混合注意力模块包含了空间注意力模块以及通道注意力模块。
通道注意力模块中同时使用最大池化和均值池化算法，然后经过多层感知机获得变换结果，最后分别应用于两个通道，使用激活函数得到通道注意力特征图。将通道注意力模块输出的特征图作为空间注意力模块的输入，采用平均池化和最大池化对输入的特征图进行通道压缩，然后进行拼接操作并采用3×3的空洞卷积提取感受野。最后经过激活函数生成混合注意力特征图。
进一步的改进在于，所述特征融合网络层将图像特征、三维实例分割模块和三维包围箱估计模块中的点云特征进行融合。特征融合网络层的输入为点云坐标、相机成像参数、点云特征矩阵以及图像特征图等，输出为融合后的点云特征矩阵。
进一步的改进在于，所述PointNet点云网络中，提取点云特征的多层感知机中1×1卷积核替换为3×3卷积核。对多层感知机的深度进行了调整，增加了两层感知机。
在点云语义分割网络训练的过程中，在网络的最后一个全连接层之前应用随机失活方法。
一种基于三维点云与图像数据融合的药盒检测方法，包括二维图像分割；三维点云分割，所述二维图像分割采用U型全卷积神经网络，包含分组残差卷积模块、空洞空间卷积池化金字塔模块以及混合注意力模块。
本发明的有益效果为：
（1）本发明在ResNet结构基础上深入优化，引入基数的超参数（即独立路径的数量），得到分组残差卷积神经网络，在不增加参数复杂度的前提下提高网络的准确率，解决匹配点错误较多的问题；并引入可分离卷积，进一步降低网络的参数量。
（2）本发明将图像特征与三维实例分割模块和三维包围箱估计模块中的点云特征进行融合，充分利用图像的彩色信息，融合三维点云与图像数据，处理较稀疏的点云时，解决了漏检和误检的问题，提升了药盒的姿态估计精度。
（3）本发明空洞空间卷积池化金字塔模块提取不同尺度的特征图空间信息，通过混合注意力模块进行融合，得到包含不同尺度信息、拥有大范围感受野的二维融合特征图，使得网络在提取不适定区域信息时，具有更好的鲁棒性。
附图说明
图1为本发明所述药盒检测网络结构图；
图2为空洞空间卷积池化金字塔模块与混合注意力模块结构图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对保护范围构成限定。
一种基于三维点云与图像数据融合的药盒检测的检测系统，如图1所示，包括二维图像分割和三维点云分割。
具体检测步骤为：
步骤（1），因为残差卷积神经网络不会随着网络层数的增多而出现梯度消失的现象，特征提取模块使用残差卷积神经网络来学习深度表示。现有的U型全卷积神经为普通卷积神经网络，本发明在ResNet结构基础上深入优化，引入基数的超参数（即独立路径C的数量），得到分组残差卷积神经网络，从新的维度来提升网络性能，在U型全卷积神经的前面两个下采样层运用分组残差卷积神经网络。空洞空间卷积池化金字塔模块包含4个具有不同空洞率的并行空洞卷积层，当特征图进入空洞空间卷积池化金字塔模块，特征图分别输入到4个并行空洞卷积层，每一个并行空洞卷积层对初步提取特征图进一步提取特征信息，最后将4个并行空洞卷积层输出的特征信息，通过混合注意力模块生成二维特征图，如图1所示，空洞空间卷积池化金字塔模块包含空洞率分别为6、12、18、24的空洞卷积。
步骤（2），先在生成训练模型并根据KITTI数据集进行微调，在FPN模型上进行训练并用YOLO来生成二维检测框，然后结合标定好的传感器内参和相机投影矩阵，二维的检测区域就可以变换到三维视锥，并对视锥内的点云进行提取，这样就只需检索视锥中的点云，大大地减少了计算量。在PointNet网络中先利用多层感知器对视锥中的点云映射到64维空间再映射到更高的1024维空间，将分组残差网络中卷积网络块的输出特征图与点云网络中第二个多层感知器的输出点云特征进行融合，得到输出长度为128维的融合特征矩阵。全局特征融合将网络输出的全局特征向量与点云网络中的全局特征以及点特征矩阵进行连接，得到特征长度为1152维的融合特征矩阵。然后对其进行最大池化对称操作得到全局特征，将点与全局特征连接起来对每一个点在全局特征中进行一次检索，得到这个点在全局特征中的属于哪一个类，最后经过多层感知器的变换，输出目标点云的概率。特征融合网络的前向运算包括点云投影运算、邻域插值运算以及池化运算等。其中，点云投影运算为相机内外参的矩阵运算，不参与网络的反向运算，特征融合网络层的前向传播函数为
其中，为邻域的采样点数，对应上一节中小方块的数目；/>对应第/>采样点相邻的第/>个像素点，其特征向量为/>，与采样点的坐标差为/>)。
特征融合网络层的反向传播函数为
其中，为单位阶跃函数，/>为第/>个采样点与像素点/>的欧式距离，/>为网络损失/>对像素点/>的特征向量/>的第/>个元素的导数，/>为网络损失/>对特征融合网络层输出向量/>的第/>个元素的导数。
步骤（3），将实例分割的结果作为掩模得到该实例下的所有点云，计算其质心坐标作为掩模坐标下的原点，然后模型采用T-Net网络来估计完整目标物体的质心，预测目标物体的质心和掩模坐标系原点之间的残差。最后一步为三维检测框的估计，通过PointNet网络对三维检测框的中心、尺寸、朝向进行估计，将分组残差卷积网络中卷积网络块的输出特征图与PointNet点云网络中第二个多层感知器的输出点云特征进行融合，得到输出长度为256维的融合特征矩阵。同时，将分组残差卷积网络输出的全局特征向量与点云网络中的全局特征进行连接，得到特征长度为1024维的融合特征向量，经过最大池化操作得到全局特征，最终由全连接层输出三维检测框的质心坐标、长宽高、航向角共7个参数。
步骤（4），判断提取的二维图像特征是否满足检测要求，若满足则不进行三维点云处理，若二维图像特征不满足则进入三维点云处理模块，结合三维的质心坐标、长宽高、航向角，判断药盒种类，并识别药盒文字。

Claims (7)

1.一种基于三维点云与图像数据融合的药盒检测方法，具体步骤如下：
步骤一：将相机采集的药盒图像输入到U型全卷积神经网络中，提取药盒特征图像；
步骤二：用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图像不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；
步骤三：将步骤二得到的药盒图像与步骤一中的药盒特征图像比对，是否满足检测要求，若满足检测要求，即可开始对药盒进行检测；
步骤四：若不满足检测要求，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云；采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点；利用T-Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字，进而达到检测要求。
2.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述分组残差卷积模块在ResNet结构基础上引入独立路径的数量获取。
3.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，采用可分离卷积，使用3个3×3×1卷积核代替3×3×3的单个过滤器，每个核与输入层的一个通道卷积。
4. 根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述空洞空间卷积池化金字塔模块包含空洞率分别为 6、12、18、24 的空洞卷积。
5.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述混合注意力模块包含了空间注意力模块以及通道注意力模块。
6.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述特征融合网络层将图像特征、三维实例分割模块和三维包围箱估计模块中的点云特征进行融合。
7.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述PointNet点云网络中，提取点云特征的多层感知机中的1×1卷积核替换为3×3卷积核。
CN202110424256.5A 2021-04-20 2021-04-20 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 Active CN113052835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424256.5A CN113052835B (zh) 2021-04-20 2021-04-20 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424256.5A CN113052835B (zh) 2021-04-20 2021-04-20 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

Publications (2)

Publication Number Publication Date
CN113052835A CN113052835A (zh) 2021-06-29
CN113052835B true CN113052835B (zh) 2024-02-27

Family

ID=76519690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424256.5A Active CN113052835B (zh) 2021-04-20 2021-04-20 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

Country Status (1)

Country Link
CN (1) CN113052835B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486988B (zh) * 2021-08-04 2022-02-15 广东工业大学 一种基于适应性自注意力变换网络的点云补全装置和方法
CN113963044A (zh) * 2021-09-30 2022-01-21 北京工业大学 一种基于rgbd相机的货物箱智能装载方法及系统
CN114398937B (zh) * 2021-12-01 2022-12-27 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114821121B (zh) * 2022-05-09 2023-02-03 盐城工学院 一种基于rgb三分量分组注意力加权融合的图像分类方法
CN116468619B (zh) * 2023-03-01 2024-02-06 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质
CN116310349B (zh) * 2023-05-25 2023-08-15 西南交通大学 基于深度学习的大规模点云分割方法、装置、设备及介质
CN117523636A (zh) * 2023-11-24 2024-02-06 北京远鉴信息技术有限公司 一种人脸检测方法、装置、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110866A (ja) * 1993-10-12 1995-04-25 Riibuson:Kk パターン認識装置
DE4408650A1 (de) * 1994-03-15 1995-09-21 Haehnel Olaf Identifikations- und Kontrollsystem für Transportmittel in einem Verarbeitungsbetrieb
JP2003076994A (ja) * 2001-09-03 2003-03-14 Mitsubishi Heavy Ind Ltd ３次元画像による形状識別方法、形状識別システム、及びそのプログラム
CN106251353A (zh) * 2016-08-01 2016-12-21 上海交通大学 弱纹理工件及其三维位姿的识别检测方法及系统
KR101986592B1 (ko) * 2019-04-22 2019-06-10 주식회사 펜타게이트 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110533589A (zh) * 2019-07-18 2019-12-03 上海大学 一种基于变焦显微图像序列的三维模型拼接方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN111046767A (zh) * 2019-12-04 2020-04-21 武汉大学 一种基于单目图像的3d目标检测方法
CN111209911A (zh) * 2020-01-07 2020-05-29 创新奇智(合肥)科技有限公司 基于语义分割网络的自定义标签识别系统及识别方法
WO2020151109A1 (zh) * 2019-01-22 2020-07-30 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN111598896A (zh) * 2020-04-28 2020-08-28 腾讯科技（深圳）有限公司 图像检测方法、装置、设备及存储介质
CN111860351A (zh) * 2020-07-23 2020-10-30 中国石油大学(华东) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
CN112150521A (zh) * 2020-08-24 2020-12-29 江苏大学 一种基于PSMNet优化的图像立体匹配方法
CN112215861A (zh) * 2020-09-27 2021-01-12 深圳市优必选科技股份有限公司 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112607295A (zh) * 2021-02-01 2021-04-06 江苏迅捷装具科技有限公司 一种立式药房的自动加药装置及加药方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110866A (ja) * 1993-10-12 1995-04-25 Riibuson:Kk パターン認識装置
DE4408650A1 (de) * 1994-03-15 1995-09-21 Haehnel Olaf Identifikations- und Kontrollsystem für Transportmittel in einem Verarbeitungsbetrieb
JP2003076994A (ja) * 2001-09-03 2003-03-14 Mitsubishi Heavy Ind Ltd ３次元画像による形状識別方法、形状識別システム、及びそのプログラム
CN106251353A (zh) * 2016-08-01 2016-12-21 上海交通大学 弱纹理工件及其三维位姿的识别检测方法及系统
WO2020151109A1 (zh) * 2019-01-22 2020-07-30 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
KR101986592B1 (ko) * 2019-04-22 2019-06-10 주식회사 펜타게이트 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법
CN110533589A (zh) * 2019-07-18 2019-12-03 上海大学 一种基于变焦显微图像序列的三维模型拼接方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN111046767A (zh) * 2019-12-04 2020-04-21 武汉大学 一种基于单目图像的3d目标检测方法
CN111209911A (zh) * 2020-01-07 2020-05-29 创新奇智(合肥)科技有限公司 基于语义分割网络的自定义标签识别系统及识别方法
CN111598896A (zh) * 2020-04-28 2020-08-28 腾讯科技（深圳）有限公司 图像检测方法、装置、设备及存储介质
CN111860351A (zh) * 2020-07-23 2020-10-30 中国石油大学(华东) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
CN112150521A (zh) * 2020-08-24 2020-12-29 江苏大学 一种基于PSMNet优化的图像立体匹配方法
CN112215861A (zh) * 2020-09-27 2021-01-12 深圳市优必选科技股份有限公司 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112607295A (zh) * 2021-02-01 2021-04-06 江苏迅捷装具科技有限公司 一种立式药房的自动加药装置及加药方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
3D Hough Transform在激光点云特征提取中的应用;李明磊;李广云;王力;李海波;范哲瑞;;测绘通报(第02期);全文 *
一种面向3D点云识别的新型卷积神经网络;陈盟;陈兴华;邹鹏;;计算机与数字工程(第05期);全文 *
基于分块变化检测的人体肢体运动跟踪;吕青;刘小丹;;大连民族学院学报(第05期);全文 *
基于多视图循环神经网络的三维物体识别;董帅;李文生;张文强;邹昆;;电子科技大学学报(第02期);全文 *
基于自适应像素级注意力模型的场景深度估计;陈裕如;赵海涛;;应用光学(第03期);全文 *
融合个体识别的3D点云语义分割方法研究;赵春叶;许钢;邢广鑫;郭芮;李若楠;江娟娟;;黑龙江工业学院学报(综合版)(第12期);全文 *

Also Published As

Publication number Publication date
CN113052835A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
CA3121440C (en) Assembly body change detection method, device and medium based on attention mechanism
CN110264416B (zh) 稀疏点云分割方法及装置
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
Tian et al. Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN111815665B (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
JP5833507B2 (ja) 画像処理装置
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN114724120A (zh) 基于雷视语义分割自适应融合的车辆目标检测方法及系统
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN113689326B (zh) 一种基于二维图像分割引导的三维定位方法
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN116452757B (zh) 一种复杂场景下的人体表面重建方法和系统
CN112801928A (zh) 一种基于注意力机制的毫米波雷达与视觉传感器融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant