CN111368802A - 一种基于双目图像视觉的物资形状识别方法 - Google Patents
一种基于双目图像视觉的物资形状识别方法 Download PDFInfo
- Publication number
- CN111368802A CN111368802A CN202010232598.2A CN202010232598A CN111368802A CN 111368802 A CN111368802 A CN 111368802A CN 202010232598 A CN202010232598 A CN 202010232598A CN 111368802 A CN111368802 A CN 111368802A
- Authority
- CN
- China
- Prior art keywords
- view
- isosurface
- image
- front side
- shape recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000013077 target material Substances 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 6
- 235000012167 tiramisu Nutrition 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 11
- 238000005303 weighing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目图像视觉的物资形状识别方法,包括如下步骤:S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构;S4、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别。本发明可以实现物资形状的快速精确识别,适用范围广。
Description
技术领域
本发明涉及图像识别领域,具体涉及一种基于双目图像视觉的物资形状识别方法。
背景技术
目前,通常采用以下几种识别技术来进行物资形状的识别:
(1)射频设别:利用扫描条形码的技术来识别物资的种类。
(2)材质识别:利用传感器来识别物资的材质。
(3)超声波测距+称重识别:利用超声波测距技术大致计算物资的长度和直径,并利用称重技术来识别物资的重量。
(4)常规图像识别:利用背景差分法来识别物资。
然而实践表明,上述物资识别技术由于自身原理所限,普遍存在如下问题:一、射频设别技术要求物资必须带有条形码,一旦物资的条形码脱落,其便无法进行物资的识别,由此导致其适用范围受限。二、材质识别技术存在实现成本高、技术难度大、识别效率低的问题。三、超声波测距+称重识别技术存在识别精确度低的问题。四、常规图像识别技术要求图像的背景是均匀且不变的,导致其存在技术难度大、识别效率低的问题。基于此,有必要发明一种全新的物资识别技术,以解决现有物资识别技术存在的上述问题。
发明内容
为解决上述问题,本发明提供了一种基于双目图像视觉的物资形状识别方法,可以实现物资形状的快速精确识别,适用范围广。
为实现上述目的,本发明采取的技术方案为:
一种基于双目图像视觉的物资形状识别方法,包括如下步骤:
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;
S3、将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接,拼接时,使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合,从而得到目标物资的三维图像;
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别。
进一步地,所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面。
进一步地,还包括根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量的步骤。
进一步地,还包括进行三维图像各个面上测量点坐标标定的步骤,测量标尺以上述坐标为节点进行测量。
进一步地,还包括驱动三维图像旋转的步骤,从而实现各个面的测量。
进一步地,所述ssd_Inception_V2_coco模型采用ssd目标检测算法,用coco数据集预训练Inception_V2深度神经网络,然后用先前准备好的物资三维图像数据集训练该模型,微调深度神经网络中的各项参数,最后得到合适的用于检测物资形状的目标检测模型。
进一步地,还包括基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除的步骤。
本发明可以实现物资形状的快速精确识别,适用范围广。
附图说明
图1为本发明实施例1的流程图。
图2为本发明实施例2的流程图。
图3为本发明实施例3的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
如图1所示,一种基于双目图像视觉的物资形状识别方法,包括如下步骤:
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面,便于后续的拼接操作;
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;
S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构,具体的,将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接,拼接时,使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合,从而得到目标物资的三维图像;
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别。
本实施例中,所述ssd_Inception_V2_coco模型采用ssd目标检测算法,用coco数据集预训练Inception_V2深度神经网络,然后用先前准备好的物资三维图像数据集训练该模型,微调深度神经网络中的各项参数,最后得到合适的用于检测物资形状的目标检测模型。
实施例2
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面,便于后续的拼接操作;
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;
S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构,具体的,将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接,拼接时,使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合,从而得到目标物资的三维图像;
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别;
S5、根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量,测量时首先进行三维图像各个面上测量点坐标标定,测量标尺以上述坐标为节点进行测量,然后根据需要测量的面驱动三维图像旋转,从而实现各个面的测量。
本实施例中,所述ssd_Inception_V2_coco模型采用ssd目标检测算法,用coco数据集预训练Inception_V2深度神经网络,然后用先前准备好的物资三维图像数据集训练该模型,微调深度神经网络中的各项参数,最后得到合适的用于检测物资形状的目标检测模型。
实施例3
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面,便于后续的拼接操作;
S2、基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除;
S3、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;
S4、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构,具体的,将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接,拼接时,使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合,从而得到目标物资的三维图像;
S5、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别。
本实施例中,所述ssd_Inception_V2_coco模型采用ssd目标检测算法,用coco数据集预训练Inception_V2深度神经网络,然后用先前准备好的物资三维图像数据集训练该模型,微调深度神经网络中的各项参数,最后得到合适的用于检测物资形状的目标检测模型。所述Tiramisu_coco模型用coco数据集训练,然后用先前准备好的带目标物资和背景的数据集训练该模型,微调模型中的各项参数,最后得到合适的模型。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (7)
1.一种基于双目图像视觉的物资形状识别方法,其特征在于:包括如下步骤:
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集;
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取;
S3、将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接,拼接时,使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合,从而得到目标物资的三维图像;
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测,从而实现目标物资形状的识别。
2.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面。
3.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:还包括根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量的步骤。
4.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:还包括进行三维图像各个面上测量点坐标标定的步骤,测量标尺以上述坐标为节点进行测量。
5.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:还包括驱动三维图像旋转的步骤,从而实现各个面的测量。
6.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:所述ssd_Inception_V2_coco模型采用ssd目标检测算法,用coco数据集预训练Inception_V2深度神经网络,然后用先前准备好的物资三维图像数据集训练该模型,微调深度神经网络中的各项参数,最后得到合适的用于检测物资形状的目标检测模型。
7.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法,其特征在于:还包括基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010232598.2A CN111368802A (zh) | 2020-03-28 | 2020-03-28 | 一种基于双目图像视觉的物资形状识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010232598.2A CN111368802A (zh) | 2020-03-28 | 2020-03-28 | 一种基于双目图像视觉的物资形状识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111368802A true CN111368802A (zh) | 2020-07-03 |
Family
ID=71205027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010232598.2A Pending CN111368802A (zh) | 2020-03-28 | 2020-03-28 | 一种基于双目图像视觉的物资形状识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368802A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763562A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328601A1 (en) * | 2014-04-25 | 2016-11-10 | Tencent Technology (Shenzhen) Company Limited | Three-dimensional facial recognition method and system |
CN106845481A (zh) * | 2017-01-19 | 2017-06-13 | 中北大学 | 一种基于双目图像视觉的物资形状识别方法 |
CN108062546A (zh) * | 2018-02-11 | 2018-05-22 | 厦门华厦学院 | 一种计算机人脸情绪识别系统 |
CN110189330A (zh) * | 2019-04-08 | 2019-08-30 | 杭州电子科技大学 | 一种基于深度学习的背景去除的方法 |
CN110826529A (zh) * | 2019-11-21 | 2020-02-21 | 桂林电子科技大学 | 一种基于深度学习的海面船只检测方法 |
CN110852282A (zh) * | 2019-11-13 | 2020-02-28 | 榆林学院 | 一种基于机器视觉的农田病害监测系统 |
-
2020
- 2020-03-28 CN CN202010232598.2A patent/CN111368802A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328601A1 (en) * | 2014-04-25 | 2016-11-10 | Tencent Technology (Shenzhen) Company Limited | Three-dimensional facial recognition method and system |
CN106845481A (zh) * | 2017-01-19 | 2017-06-13 | 中北大学 | 一种基于双目图像视觉的物资形状识别方法 |
CN108062546A (zh) * | 2018-02-11 | 2018-05-22 | 厦门华厦学院 | 一种计算机人脸情绪识别系统 |
CN110189330A (zh) * | 2019-04-08 | 2019-08-30 | 杭州电子科技大学 | 一种基于深度学习的背景去除的方法 |
CN110852282A (zh) * | 2019-11-13 | 2020-02-28 | 榆林学院 | 一种基于机器视觉的农田病害监测系统 |
CN110826529A (zh) * | 2019-11-21 | 2020-02-21 | 桂林电子科技大学 | 一种基于深度学习的海面船只检测方法 |
Non-Patent Citations (1)
Title |
---|
江都等: "基于双目视觉的手势识别研究", 《长江大学学报(自科版)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763562A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
CN113763562B (zh) * | 2021-08-31 | 2023-08-29 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102210715B1 (ko) | 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 | |
CN108921925B (zh) | 基于激光雷达和视觉融合的语义点云生成方法和装置 | |
CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
CN102463990B (zh) | 用于跟踪物体的系统和方法 | |
JP6180999B2 (ja) | たわみ推定装置、及びプログラム | |
CN108198172B (zh) | 图像显著性检测方法和装置 | |
US20100310176A1 (en) | Apparatus and Method for Measuring Depth and Method for Computing Image Defocus and Blur Status | |
CN110297232A (zh) | 基于计算机视觉的单目测距方法、装置及电子设备 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN104809738A (zh) | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 | |
EP4286892A1 (en) | Window occlusion detection method and apparatus | |
CN109948630B (zh) | 靶纸图像的识别方法、装置、系统和存储介质 | |
CN114502937A (zh) | 触觉传感器 | |
CN112712129A (zh) | 多传感器融合方法、装置、设备及存储介质 | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN110136186A (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
Shi et al. | Circular grid pattern based surface strain measurement system for sheet metal forming | |
CN111429515A (zh) | 基于深度学习的机器人避障行为的学习方法 | |
JP2021033510A (ja) | 運転支援装置 | |
CN111368802A (zh) | 一种基于双目图像视觉的物资形状识别方法 | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
CN110291771B (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
CN113378694B (zh) | 生成目标检测和定位系统及目标检测和定位的方法及装置 | |
CN116242255A (zh) | 基于多视角的手机中框尺寸智能检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |
|
RJ01 | Rejection of invention patent application after publication |