CN111539259A - 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手 - Google Patents

目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手 Download PDF

Info

Publication number
CN111539259A
CN111539259A CN202010246881.0A CN202010246881A CN111539259A CN 111539259 A CN111539259 A CN 111539259A CN 202010246881 A CN202010246881 A CN 202010246881A CN 111539259 A CN111539259 A CN 111539259A
Authority
CN
China
Prior art keywords
target object
neural network
artificial neural
image
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010246881.0A
Other languages
English (en)
Inventor
傅峰峰
江志强
刘嘉荣
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Original Assignee
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fugang Wanjia Intelligent Technology Co Ltd filed Critical Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority to CN202010246881.0A priority Critical patent/CN111539259A/zh
Publication of CN111539259A publication Critical patent/CN111539259A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机械手的目标识别技术领域,尤其是一种机械手目标物体的识别方法、对在平面图像中检测目标物体的人工神经网络的训练方法、计算机可读存储介质及机械手,计算机可读存储介质存储在机械手中,机械手处理器执行计算机可读存储介质中的计算机程序时实现目标物体的识别方法。要识别出图像中的目标物体,只需提取边缘特征而无需整个物体像素识别,识别所需时间短;只有在判断不能识别出目标物体的情况下,才需调用复杂算法耗费较长时间,而对能识别出目标物体的平面图像,短时间即可识别出目标物体,提高了识别效率。获取图像的边缘特征不需要对图像的全部像素做类别分析,处理速度快,目标物体能够被快速识别。

Description

目标物体的识别方法、人工神经网络的训练方法、计算机可读 存储介质及机械手
技术领域
本发明涉及机械手的目标识别技术领域,尤其是一种机械手目标物体的识别方法、对在平面图像中检测目标物体的人工神经网络的训练方法、计算机可读存储介质及机械手,计算机可读存储介质存储在机械手中,机械手处理器执行计算机可读存储介质中的计算机程序时实现目标物体的识别方法。
背景技术
使用机械手抓取目标物体之前,需要先从当前场景中识别出目标物体,从而确认目标物体的位置。目标物体的识别通常是先拍摄目标物体所在场景的图像,然后对目标物体进行定位和分割。目标物体的定位常采用滑动窗口、选择性搜索、R-CNN、边界框回归等基于候选区域的目标检测器选出目标物体的候选区域。目标物体的分割则是利用语义分割、实例分割等图像分割算法来提取出目标物体的具体图像。图像分割算法的物品识别精度高,甚至在目标物品被前景部分遮挡、与背景重叠等复杂情况下也能准确识别出目标物品。但语义分割、实例分割等图像分割算法需要进行像素级别的特征分析,算法的处理过程复杂,运算时间长。
发明内容
本发明要解决的技术问题是:如何缩短平面图像中检测目标物体的识别时间。
本发明给出一种目标物体的识别方法,拍摄目标物体所在场景的图像,在所拍摄的图像中获取目标物体的候选区域,在候选区域内提取图像边缘特征,把所提取的边缘特征输入到已训练好的人工神经网络,由该人工神经网络据此判断是否能识别出目标物体,若判断结果为能识别出目标物体,则根据所提取的边缘特征识别目标物体。
还提供一种计算机可读存储介质,其存储有计算机程序,计算机程序被处理器执行时能够实现上述的目标物体的识别方法。
有益效果:要识别出图像中的目标物体,只需提取边缘特征而无需整个物体像素识别,识别所需时间短;只有在判断不能识别出目标物体的情况下,才需调用复杂算法耗费较长时间,而对能识别出目标物体的平面图像,短时间即可识别出目标物体,提高了识别效率。获取图像的边缘特征不需要对图像的全部像素做类别分析,处理速度快,目标物体能够被快速识别。
为了实施上述目标物体的识别方法,本发明给出对在平面图像中检测目标物体的人工神经网络的训练方法,包括如下步骤:
A.多次执行下述样本获取步骤,获得多组学习样本,每次样本获取步骤包括如下S1、S2、S3,
——S1.确定目标物体的候选区域,在候选区域内提取边缘特征,
——S2.调用物体边缘特征库,判断所提取的边缘特征是否能在物体边缘特征库内对应匹配,若判断结果为是则能识别出目标物体,若判断结果为否则不能识别出目标物体,
——S3.以所提取的边缘特征作为输入信号,以是否能识别出目标物体作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本;
获得的多组学习样本中,输出信号为能识别出目标物体的学习样本有多组,输出信号为不能识别出目标物体的学习样本也有多组;
B.采用上述多组学习样本对人工神经网络进行目标物体识别训练,直至该人工神经网络具备根据所提取的边缘特征判断是否能识别出目标物体的识别能力。
还提供一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时能够实现上述的对在平面图像中检测目标物体的人工神经网络的训练方法。
还提供一种机械手,包括用于拍摄目标物体所在场景的图像的摄像头以及处理器,摄像头跟随机械手移动,处理器控制摄像头进行拍摄,还包括上述计算机可读存储介质,计算机可读存储介质上的计算机程序可被处理器执行。
具体实施方式
智能厨房、智能家居以及智慧生产等环境中都配备有利用机械手和摄像头进行取放目标物品的操作的抓取设备,在机械手的末端安装夹爪来取放物品,机械手的位移控制系统控制机械手夹爪和各关节移动,摄像头固定在机械手上随机械手移动,摄像头连接抓取设备的Eye-in-Hand式视觉系统,视觉系统从当前场景中识别出待抓取的目标物体。
下文详述在使用机械手抓取目标物体之前,视觉系统识别目标物体的过程。
拍摄目标物体所在场景的图像,在所拍摄的图像中获取目标物体的候选区域,先判断待识别的目标物体是否属于透明物品,比如待识别的目标物体是沙漏,则不执行下述步骤P。
若待识别的目标物体不属于透明物品,则执行步骤P:在候选区域内提取图像边缘特征,把所提取的边缘特征输入到已训练好的人工神经网络,由该人工神经网络据此判断是否能识别出目标物体,若判断结果为能识别出目标物体,则根据所提取的边缘特征识别目标物体。获取图像的边缘特征不需要对图像的全部像素做类别分析,处理速度快,目标物体能够被快速识别。
若待识别的目标物体属于透明物品,背景的颜色会从目标物体透明的位置透出,在执行步骤P时,目标物体受到背景的干扰,难以有效地提取图像边缘特征,人工神经网络往往不能识别出透明的目标物体。
因此,若步骤P中判断结果为不能识别出目标物体,或者若待识别的目标物体属于透明物品,则采用其它方式,如进行像素级的特征识别的图像分割算法来识别目标物体,这里的图像分割算法具体可以是实例分割算法或者语义分割算法。
要识别出图像中的目标物体,只需提取边缘特征而无需整个物体像素识别,识别所需时间短;只有在判断不能识别出目标物体的情况下,才需调用复杂算法耗费较长时间,而对能识别出目标物体的平面图像,短时间即可识别出目标物体,提高了识别效率。
为了让人工神经网络具备判断是否能识别出目标物体的能力,需要采用多组学习样本对在平面图像中检测目标物体的人工神经网络进行训练。每组学习样本获取步骤如下:
S1.确定目标物体的候选区域,在候选区域内提取边缘特征,
S2.调用物体边缘特征库,判断所提取的边缘特征是否能在物体边缘特征库内对应匹配,若判断结果为是则能识别出目标物体,若判断结果为否则不能识别出目标物体,
S3.以所提取的边缘特征作为输入信号,以是否能识别出目标物体作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本;
采用上述学习样本获取步骤获得的多组学习样本中,目标物品的位置情况分别有:独立放置、被前景遮挡和与背景重叠。输出信号为能识别出目标物体的学习样本有多组,输出信号为不能识别出目标物体的学习样本也有多组。
以不透明的陶瓷杯作为目标物品为例,下文举例说明样本学习过程。
一、陶瓷杯独立放置:陶瓷杯单独放在背景前面。获取学习样本的过程如下:
1.1确定陶瓷杯的候选区域,在候选区域内提取边缘特征T1,该边缘特征T1完整保留了陶瓷杯的边缘,
1.2调用物体边缘特征库,判断所提取的边缘特征T1是否能在物体边缘特征库内对应匹配,判断结果为是,能识别出陶瓷杯,
1.3以所提取的边缘特征T1作为输入信号,以能识别出陶瓷杯作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本。
更换背景或调整陶瓷杯的摆放,再执行上述学习样本获取步骤,从而得到更多组学习样本。
二、陶瓷杯被前景遮挡:把篓子放在陶瓷杯前面遮挡住陶瓷杯的一部分。获取学习样本的过程如下:
2.1确定陶瓷杯的候选区域,在候选区域内提取边缘特征T2,陶瓷杯被篓子挡住,该边缘特征T2仅保留了陶瓷杯的一部分边缘,且含有前景中篓子的一部分边缘,
2.2调用物体边缘特征库,判断所提取的边缘特征T2是否能在物体边缘特征库内对应匹配,判断结果为否,不能识别出陶瓷杯,
2.3以所提取的边缘特征T2作为输入信号,以不能识别出陶瓷杯作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本。
更换用于遮挡陶瓷杯的物品或调整陶瓷杯被遮挡的范围,再执行上述学习样本获取步骤,从而得到更多组学习样本。
三、陶瓷杯与背景重叠:在陶瓷杯的背后放一个罐子。
(一)陶瓷杯与罐子颜色不同。
3.1确定陶瓷杯的候选区域,在候选区域内提取边缘特征T3,罐子的边缘中有一部分边缘露出在陶瓷杯的边缘之外,但因陶瓷杯在罐子前面,该边缘特征T3相对完整地保留了陶瓷杯的边缘,但也含有背景罐子的一部分边缘,
3.2调用物体边缘特征库,判断所提取的边缘特征T3是否能在物体边缘特征库内对应匹配,判断结果为是,能识别出陶瓷杯,
3.3以所提取的边缘特征T3作为输入信号,以能识别出陶瓷杯作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本。
(二)陶瓷杯与罐子颜色相近。
4.1.确定陶瓷杯的候选区域,在候选区域内提取边缘特征T4,罐子的边缘中有一部分边缘露出在陶瓷杯的边缘之外,虽然陶瓷杯在罐子前面,但两者颜色相近,该边缘特征T3没有保留陶瓷杯在两者重叠位置的边缘,
4.2调用物体边缘特征库,判断所提取的边缘特征T4是否能在物体边缘特征库内对应匹配,判断结果为否,不能识别出陶瓷杯,
4.3以所提取的边缘特征T4作为输入信号,以不能识别出陶瓷杯作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本。
更换用作陶瓷杯背景的物品或调整陶瓷杯与背景重叠的范围,再执行上述学习样本获取步骤,从而得到更多组学习样本。

Claims (11)

1.对在平面图像中检测目标物体的人工神经网络的训练方法,其特征是包括如下步骤:
A.多次执行下述样本获取步骤,获得多组学习样本,每次样本获取步骤包括如下S1、S2、S3,
——S1.确定目标物体的候选区域,在候选区域内提取边缘特征,
——S2.调用物体边缘特征库,判断所提取的边缘特征是否能在物体边缘特征库内对应匹配,若判断结果为是则能识别出目标物体,若判断结果为否则不能识别出目标物体,
——S3.以所提取的边缘特征作为输入信号,以是否能识别出目标物体作为输出信号,构成供人工神经网络进行目标物体识别训练的一组学习样本;
获得的多组学习样本当中,输出信号为能识别出目标物体的学习样本有多组,输出信号为不能识别出目标物体的学习样本也有多组;
B.采用上述多组学习样本对人工神经网络进行单一物体识别训练,直至该人工神经网络具备根据所提取的边缘特征判断是否能识别出目标物体的识别能力。
2.如权利要求1所述的对在平面图像中检测目标物体的人工神经网络的训练方法,其特征是,多次执行的样本获取步骤中,目标物品的位置情况分别有:独立放置、被前景遮挡和与背景重叠。
3.计算机可读存储介质,其存储有计算机程序,其特征是,所述计算机程序被处理器执行时能够实现权利要求1~2中任一项所述的对在平面图像中检测目标物体的人工神经网络的训练方法。
4.目标物体的识别方法,拍摄目标物体所在场景的图像,在所拍摄的图像中获取目标物体的候选区域,其特征是,包括步骤P:
在候选区域内提取图像边缘特征,把所提取的边缘特征输入到已训练好的人工神经网络,由该人工神经网络据此判断是否能识别出目标物体,若判断结果为能识别出目标物体,则根据所提取的边缘特征识别目标物体。
5.如权利要求4所述的目标物体的识别方法,其特征是,所述人工神经网络是通过权利要求1或2所述的对在平面图像中检测目标物体的人工神经网络的训练方法训练得到的。
6.如权利要求4所述的目标物体的识别方法,其特征是,若判断结果为不能识别出目标物体,则采用其它方式来识别目标物体。
7.如权利要求6所述的目标物体的识别方法,其特征是,其它方式是指:进行像素级的特征识别的图像分割算法。
8.如权利要求7所述的目标物体的识别方法,其特征是,所述图像分割算法包括实例分割算法和语义分割算法。
9.如权利要求4所述的识别方法,其特征是,在提取图像边缘特征之前,先判断待识别的目标物体是否属于透明物品,若属于则不执行步骤P。
10.计算机可读存储介质,其存储有计算机程序,其特征是,所述计算机程序被处理器执行时能够实现权利要求4~9中任一项所述的目标物体的识别方法。
11.机械手,包括用于拍摄目标物体所在场景的图像的摄像头以及处理器,摄像头跟随机械手移动,处理器控制摄像头进行拍摄,还包括计算机可读存储介质,该计算机可读存储介质上的计算机程序可被处理器执行,其特征是计算机可读存储介质如权利要求3或10所述。
CN202010246881.0A 2020-03-31 2020-03-31 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手 Pending CN111539259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246881.0A CN111539259A (zh) 2020-03-31 2020-03-31 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246881.0A CN111539259A (zh) 2020-03-31 2020-03-31 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手

Publications (1)

Publication Number Publication Date
CN111539259A true CN111539259A (zh) 2020-08-14

Family

ID=71952210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246881.0A Pending CN111539259A (zh) 2020-03-31 2020-03-31 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手

Country Status (1)

Country Link
CN (1) CN111539259A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464747A (zh) * 2020-11-10 2021-03-09 广州富港万嘉智能科技有限公司 基于图像采集设备的身高检测方法及装置
CN112634313A (zh) * 2021-01-08 2021-04-09 云从科技集团股份有限公司 目标遮挡评估方法、系统、介质及装置
CN113673350A (zh) * 2021-07-21 2021-11-19 苏州爱医斯坦智能科技有限公司 一种手术器械的识别方法、装置、设备及存储介质
CN113837236A (zh) * 2021-08-31 2021-12-24 广东智媒云图科技股份有限公司 图像中目标对象的识别方法、装置、终端设备及存储介质
WO2023063596A1 (ko) * 2021-10-15 2023-04-20 머지리티 주식회사 사물 기반의 이미지 분석 서비스를 제공하기 위한 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN102880877A (zh) * 2012-09-28 2013-01-16 中科院成都信息技术有限公司 一种基于轮廓特征的目标识别方法
CN104680149A (zh) * 2015-03-10 2015-06-03 苏州科达科技股份有限公司 一种物体类型识别方法及系统
CN107958255A (zh) * 2017-11-21 2018-04-24 中国科学院微电子研究所 一种基于图像的目标检测方法及装置
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110348318A (zh) * 2019-06-18 2019-10-18 北京大米科技有限公司 图像识别方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN102880877A (zh) * 2012-09-28 2013-01-16 中科院成都信息技术有限公司 一种基于轮廓特征的目标识别方法
CN104680149A (zh) * 2015-03-10 2015-06-03 苏州科达科技股份有限公司 一种物体类型识别方法及系统
CN107958255A (zh) * 2017-11-21 2018-04-24 中国科学院微电子研究所 一种基于图像的目标检测方法及装置
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN110348318A (zh) * 2019-06-18 2019-10-18 北京大米科技有限公司 图像识别方法、装置、电子设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464747A (zh) * 2020-11-10 2021-03-09 广州富港万嘉智能科技有限公司 基于图像采集设备的身高检测方法及装置
CN112634313A (zh) * 2021-01-08 2021-04-09 云从科技集团股份有限公司 目标遮挡评估方法、系统、介质及装置
CN112634313B (zh) * 2021-01-08 2021-10-29 云从科技集团股份有限公司 目标遮挡评估方法、系统、介质及装置
CN113673350A (zh) * 2021-07-21 2021-11-19 苏州爱医斯坦智能科技有限公司 一种手术器械的识别方法、装置、设备及存储介质
CN113673350B (zh) * 2021-07-21 2024-02-20 苏州爱医斯坦智能科技有限公司 一种手术器械的识别方法、装置、设备及存储介质
CN113837236A (zh) * 2021-08-31 2021-12-24 广东智媒云图科技股份有限公司 图像中目标对象的识别方法、装置、终端设备及存储介质
CN113837236B (zh) * 2021-08-31 2022-11-15 广东智媒云图科技股份有限公司 图像中目标对象的识别方法、装置、终端设备及存储介质
WO2023063596A1 (ko) * 2021-10-15 2023-04-20 머지리티 주식회사 사물 기반의 이미지 분석 서비스를 제공하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
CN111539259A (zh) 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手
Zhao et al. On-tree fruit recognition using texture properties and color data
CN110599507B (zh) 一种番茄识别定位方法及系统
Dong et al. Visual UAV detection method with online feature classification
CN108090434B (zh) 一种矿石快速识别方法
CN104700088B (zh) 一种基于单目视觉移动拍摄下的手势轨迹识别方法
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
CN111932490B (zh) 一种用于工业机器人的视觉系统抓取信息提取方法
Devi et al. Image processing system for automatic segmentation and yield prediction of fruits using open CV
Choudhary et al. Image processing algorithm for fruit identification
CN109583306B (zh) 一种基于机器视觉的纱管残留纱线检测方法
Aris et al. Fast k-means clustering algorithm for malaria detection in thick blood smear
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法
CN113524172B (zh) 机器人及其物品抓取方法、计算机可读存储介质
CN106682617B (zh) 一种基于频谱段信息的图像清晰与模糊判别特征提取方法
ALSAADI et al. An automated classification of mammals and reptiles animal classes using deep learning
CN106636510B (zh) 一种基于机器视觉的自动换钎方法
CN109127462B (zh) 一种基于视觉引导的香肠智能分拣方法
CN109559299B (zh) 一种双果重叠果实的分离方法
Wang et al. Research on Target Detection Algorithm Based on NAO Robot
Wei et al. A target tracking algorithm for vision based sea cucumber grabbing
CN103714352A (zh) 一种基于图像认知区域的光晕抑制方法
Bini et al. Evaluating YOLOv5 Deep Learning Models for the Detection of Tomato Berries for Crop Yield Estimation
CN112528826B (zh) 一种基于3d视觉感知的采摘装置的控制方法
Wang et al. A model for target acquisition and edge detection under complex scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination