CN111242963A - 货箱轮廓检测方法及装置 - Google Patents

货箱轮廓检测方法及装置 Download PDF

Info

Publication number
CN111242963A
CN111242963A CN201811446436.8A CN201811446436A CN111242963A CN 111242963 A CN111242963 A CN 111242963A CN 201811446436 A CN201811446436 A CN 201811446436A CN 111242963 A CN111242963 A CN 111242963A
Authority
CN
China
Prior art keywords
container
image
pixel
pixel point
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811446436.8A
Other languages
English (en)
Other versions
CN111242963B (zh
Inventor
许大红
石江涛
张晓龙
徐伟
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Taihe Intelligent Technology Group Co Ltd
Original Assignee
Hefei Taihe Optoelectronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Taihe Optoelectronic Technology Co Ltd filed Critical Hefei Taihe Optoelectronic Technology Co Ltd
Priority to CN201811446436.8A priority Critical patent/CN111242963B/zh
Publication of CN111242963A publication Critical patent/CN111242963A/zh
Application granted granted Critical
Publication of CN111242963B publication Critical patent/CN111242963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,提供一种货箱轮廓检测方法及装置。所述方法包括:获取包含至少一个货箱的第一货箱图像;基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域;对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;对第二货箱图像进行阈值分割,得到货箱二值图像;对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓;获取每个闭合轮廓的外接矩形及其对应的矩形信息;将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。与现有技术相比,本发明提高了货箱分拣作业的效率。

Description

货箱轮廓检测方法及装置
技术领域
本发明实施例涉及图像处理技术领域,具体而言,涉及一种货箱轮廓检测方法及装置。
背景技术
货箱是生产企业常用的货物包装方式。在仓储物流环节,货箱往往根据品种、规格等分类成垛码放托盘上,以方便存储和搬运。当货箱需要周转或外运时,随着机械化、自动化设备的普及,越来越多的企业采用了工业机器人、多自由度运动平台辅以机械手或吸盘的方式进行货物的分拣和搬运。
当机械手或吸盘对货垛中的货箱进行分拣作业时,需要控制系统先获得货垛中每个货物的具体位置信息,才能控制机械化设备准确地将货物从货垛中取出。而由于货垛托盘位置不固定、货箱的摆放方式多样等原因,货箱相对于机械化设备的位置并不固定,现有技术在进行分拣作业时,不能准确识别货箱的轮廓以确定货箱的位置,导致分拣作业效率低下。
发明内容
本发明实施例的目的在于提供一种货箱轮廓检测方法及装置,以改善现有技术中不能准确识别货箱的轮廓以确定货箱的位置,导致分拣作业效率低下的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种货箱轮廓检测方法,所述方法包括:获取包含至少一个货箱的第一货箱图像;基于选定指令,确定出所述第一货箱图像中的感兴趣区域和除所述感兴趣区域之外的非感兴趣区域;对所述第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;对所述第二货箱图像进行阈值分割,得到货箱二值图像;对所述货箱二值图像进行处理,得到所述货箱二值图像中所有的闭合轮廓;获取每个闭合轮廓的外接矩形及其对应的矩形信息;将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
第二方面,本发明实施例提供了一种货箱轮廓检测装置,所述装置包括:第一图像获取模块,用于获取包含至少一个货箱的第一货箱图像;兴趣区域确定模块,用于基于选定指令,确定出所述第一货箱图像中的感兴趣区域和除所述感兴趣区域之外的非感兴趣区域;第二图像获取模块,用于对所述第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;二值图像获取模块,用于对所述第二货箱图像进行阈值分割,得到货箱二值图像;闭合轮廓获取模块,用于对所述货箱二值图像进行处理,得到所述货箱二值图像中所有的闭合轮廓;外接矩形获取模块,用于获取每个闭合轮廓的外接矩形及其对应的矩形信息;货箱轮廓确定模块,用于将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
相对现有技术,本发明实施例提供的一种货箱轮廓检测方法及装置,基于选定指令,确定出包含至少一个货箱的第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域;对感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;对第二货箱图像进行阈值分割,得到货箱二值图像;对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓;获取每个闭合轮廓的外接矩形及其对应的矩形信息;将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。与现有技术相比,通过对包含至少一个货箱的第一货箱图像进行轮廓检测,得到第一货箱图像中所有货箱的轮廓,能够准确识别出货箱的位置,进而提高了分拣作业的效率。
为使本发明实施例的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的方框示意图。
图2示出了本发明实施例提供的货箱轮廓检测方法的流程图。
图3示出了本发明实施例提供的第一货箱图像的示意图。
图4示出了本发明实施例提供的第二货箱图像的示意图。
图5示出了本发明实施例提供的货箱二值图像的示意图。
图6为图2示出的步骤S4的子步骤流程图。
图7为图2示出的步骤S5的子步骤流程图。
图8示出了本发明实施例提供的边缘轮廓的示意图。
图9示出了本发明实施例提供的闭合轮廓的外接矩形的示意图。
图10示出了本方实施例提供的货箱轮廓的示意图。
图11示出了本发明实施例提供的货箱轮廓检测装置的方框示意图。
图标:100-电子设备;101-处理器;102-存储器;103-总线;104-通信接口;105-显示屏;106-摄像头;200-货箱轮廓检测装置;201-第一图像获取模块;202-兴趣区域确定模块;203-第二图像获取模块;204-二值图像获取模块;205-闭合轮廓获取模块;206-外接矩形获取模块;207-货箱轮廓确定模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本发明实施例提供的货箱轮廓检测方法应用于电子设备100,请参阅图1,图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100包括处理器101、存储器102、总线103、通信接口104及显示屏105及摄像头106。处理器101、存储器102、通信接口104、显示屏105及摄像头106通过总线103连接,处理器101用于执行存储器102中存储的可执行模块,例如计算机程序。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,货箱轮廓检测方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器101,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器102可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。
总线103可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示,但并不表示仅有一根总线103或一种类型的总线103。
电子设备100通过至少一个通信接口104(可以是有线或者无线)实现与外部的其它设备之间的通信连接。存储器102用于存储程序,例如货箱轮廓检测装置200。货箱轮廓检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在电子设备100的操作系统(operating system,OS)中的软件功能模块。所述处理器101在接收到执行指令后,执行所述程序以实现货箱轮廓检测方法。
显示屏105用于对图像进行显示,显示的内容可以是处理器101的一些处理结果。显示屏105可以是触摸显示屏、无交互功能的显示屏等。显示屏105可以将第一货箱图像、第二货箱图像、货箱二值图像进行显示。
摄像头106用于拍摄包含至少一个货箱的第一货箱图像并通过总线103发送至处理器101进行处理,或者发送至存储器102进行存储。
第一实施例
请参照图2,图2示出了本发明实施例提供的货箱轮廓检测方法流程图。货箱轮廓检测方法包括以下步骤:
步骤S1,获取包含至少一个货箱的第一货箱图像。
请参阅图3,第一货箱图像可以是包括至少一个货箱的灰度图像,可以理解为,第一货箱图像中可以包括一个货箱,也可以包括两个货箱,还可以包括三个货箱,或者更多个数的货箱。货箱可以是相同类型的货箱,也可以是不同类型的货箱。第一货箱图像可以通过摄像头106实时拍摄得到。
步骤S2,基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域。
在本发明实施例中,感兴趣区域可以是将第一货箱图像中所有的货箱均包括的区域。非感兴趣区域可以是第一货箱图像中除了感兴趣区域之外的区域,也可以理解为背景区域。感兴趣区域和非感兴趣区域共同构成了第一货箱图像。选定指令可以是用户手动在第一货箱图像中框选出的感兴趣框,也可以是用户输入的能够在第一货箱图像中确定出感兴趣区域的多个坐标(例如,4个),还可以是系统依据预设的程序自动进行感兴趣区域选定。
若选定指令为用户手动框选出的感兴趣框,那么基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域的步骤,可以理解为,将第一货箱图像中感兴趣框内的区域确定为感兴趣区域,将第一货箱图像中感兴趣框外的区域确定为非感兴趣区域;若选定指令为用户输入的能够在第一货箱图像中确定出感兴趣区域的多个坐标,那么基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域的步骤,可以理解为,将多个坐标进行连接,能够得到一个坐标框,将第一货箱图中坐标框内的区域确定为感兴趣区域,将第一货箱图像中坐标框外的区域确定为非感兴趣区域。
步骤S3,对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像。
在本发明实施例中,考虑到工业场景的拆垛过程中,垛面的位置并没有大的偏移,可以设置感兴趣区域来排除第一货箱图像中的背景干扰。请参阅图4,第二货箱图像可以是将第一货箱图像中的感兴趣区域保持不变,将第一货箱图像中的不感兴趣区域置为白色得到的图像。第二货箱图像可以将感兴趣区域内的图像信息凸显出来。第一货箱图像中的感兴趣区域包括多个第一像素点,第一货箱图像中的非感兴趣区域包括多个第二像素点,对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像的步骤,可以理解为,将第一货箱图像中的所有第一像素点的像素值均保持不变,将第一货箱图像中的所有第二像素点的像素值均置为255,得到第二货箱图像。
具体地,可以是对第一货箱图像的所有像素点进行遍历,并判断其是否在感兴趣区域内,若在感兴趣区域内,则不做任何处理,若不在感兴趣区域内,则将该像素点的像素值置为255(白色)。
通过步骤S3对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,使得包含所有货箱的感兴趣区域与非感兴趣区域明显的分离开来。将非感兴趣区域内所有的像素点的像素值均值为255,而保持感兴趣区域内的所有像素点的像素值不变,提高了感兴趣区域与非感兴趣区域的对比度。
步骤S4,对第二货箱图像进行阈值分割,得到货箱二值图像。
请参阅图5,货箱二值图像可以是对第二货箱图像进行阈值分割之后,得到的图像。第二货箱图像中包括多个第三像素点,第二货箱图像由多个第三像素点组成。对第二货箱图像进行阈值分割的步骤,可以理解为,统计第二货箱图像中每个第三像素点的像素值,得到第二货箱图像的直方图,依据直方图确定出分割像素值,将第二货箱图中的每个第三像素点的像素值均与分割像素值进行比较,当第三像素点的像素值大于分割像素值时,将该第三像素点的像素值置为0,当第三像素点的像素值小于或者等于分割像素值时,将第三像素点的像素值置为255。按照上述的方法,对第二货箱图像中的每个第三像素点均进行相同的处理,即可得到货箱二值图像。
请参阅图6,步骤S4还可以包括以下子步骤:
子步骤S41,将第二货箱图像中的每个第三像素点均进行邻域平均处理,得到预处理图像,其中,预处理图像中包括多个第四像素点。
在本发明实施例中,邻域可以是,但不限于4邻域、8邻域、3*3邻域或者5*5邻域。将第二货箱图像中的每个第三像素点均进行邻域平均处理,得到预处理图像的步骤,可以理解为,将第二货箱图像中每个第三像素点的像素值均和其邻域的像素点的像素值进行相加求和,后将求得的和除以邻域个数(如果将第三像素点本身的像素值也加入计算,则除以邻域个数+1),得到平均像素值,并将该平均像素值作为该第三像素点的像素值。对第二货箱图像中的每个第三像素点均进行上述的处理,即可得到预处理图像。
以一个第三像素点的8邻域为例,进行阐述。
将第三像素点和它周围的8个第三像素点的像素值进行相加求和,然后,将求得的和除以9得到的平均像素值,并将该像素值作为该第三像素点的像素值。通过邻域平均法用邻近第三像素点的像素平均值来代替该第三像素点的像素值,这样能明显消弱噪声点,使邻域中灰度接近均匀,起到平滑作用,能够有效降低图像中的噪声。
子步骤S42,依据预处理图像中每个第四像素点的像素值对第二货箱图像中每个第三像素点的像素值进行二值化处理,得到货箱二值图像。
在本发明实施例中,货箱二值图像可以是将第二货箱图像进行二值化处理之后,得到的图像。第二货箱图像中的多个第三像素点与预处理图像中的多个第四像素点一一对应,依据预处理图像中每个第四像素点的像素值对第二货箱图像中每个第三像素点的像素值进行二值化处理的步骤,可以理解为,首先,获取每一第三像素点的像素值、以及与每一第三像素点对应的第四像素点的像素值;其次,将每一第三像素点的像素值和与每一第三像素点对应的第四像素点的像素值进行对比;最后,当第三像素点的像素值大于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为0;当第三像素点的像素值小于或等于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为255。
步骤S5,对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓。
在本发明实施例中,对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓的步骤,可以理解为,以检测到货箱二值图像中一个像素点的像素值为255为第一基准,判断其邻域中是否存在另一个像素值为255的像素点,当存在时,将该像素点作为基准,继续寻找其邻域中像素值为255的像素点,直到检测到的像素点与第一基准像素点重合,即可确定出一个闭合轮廓。按照上述的步骤,找出货箱二值图像中所有的闭合轮廓。
请参阅图7,步骤S5还可以包括以下子步骤:
子步骤S51,对货箱二值图像进行形态学运算,以增强货箱二值图像中的形态特性。
在本发明实施例中,对货箱二值图像进行形态学运算,以增强货箱二值图像中的形态特性的步骤,可以理解为,对货箱二值图像先执行闭运算,再执行开运算,还可以是腐蚀、膨胀、闭运算和开运算等运算的其它组合方式,以增强货箱二值图像中的形态特性,在此不作限定。
子步骤S52,对货箱二值图像进行边缘检测,检测出货箱二值图像中所有的边缘轮廓,其中,所有的边缘轮廓包括多个闭合轮廓和多个非闭合轮廓。
在本发明实施例中,可以采用Canny算子,Laplacian算子或者是罗盘算子对货箱二值图像进行边缘检测,得到包含货箱二值图像中所有的边缘轮廓。对货箱二值图像进行边缘检测,可以得到图8所示的边缘轮廓。
子步骤S53,从所有的边缘轮廓中筛选出所有的闭合轮廓。
在本发明实施例中,所有的边缘轮廓中包括有多个闭合轮廓和多个非闭合轮廓,也就是说,货箱二值图像中的边缘轮廓可能是闭合轮廓,也可能是非闭合轮廓。从边缘轮廓中筛选出所有的闭合轮廓的步骤,可以理解为,对每个边缘轮廓均进行连通区域检测,当检测到任一个边缘轮廓为连通区域时,将该边缘轮廓确定为闭合轮廓,否则,将该边缘轮廓确定为非闭合轮廓。按照上述的方法,可以将所有的边缘轮廓中的所有的闭合轮廓筛选出来。
步骤S6,获取每个闭合轮廓的外接矩形及其对应的矩形信息。
在本发明实施例中,外接矩形可以是能包含一个闭合轮廓的面积最小的矩形,矩形信息可以包括一个外接矩形的长度、宽度、长宽比、面积等信息。每个闭合轮廓均可以确定一个外接矩形,每个外接矩形均有其对应的一个矩形信息。
请参阅图9,下面以一个闭合轮廓为例,进行阐述。
首先,阐述如何获取简单外接矩形及其对应的矩形信息:建立坐标系,遍历每个闭合轮廓中的所有坐标点,确定出每个闭合轮廓中的最右坐标点A(a0,a1)、最下坐标点B(b0,b1)、最左坐标点C(c0,c1)及最上坐标点D(d0,d1),依据这四个坐标点可以确定出一个简单外接矩形,具体地,依据最右坐标点A的横坐标a0,最下坐标点B的纵坐标b1,最左坐标点C的横坐标c0,最上坐标点D的纵坐标d1,将X=a0、X=c0、Y=b1,Y=d1确定出一个简单外接矩形。其中,X为横坐标轴,Y为纵坐标轴。该简单外接矩形的长度L=a0-c0,该简单外接矩形的宽度H=d1-b1,该简单外接矩形的长宽比L/H=(a0-c0)/(d1-b1),该简单外接矩形的面积L*H=(a0-c0)*(d1-b1),上述简单外接矩形的长度L、宽度H、长宽比L/H及面积L*H构成了该简单外接矩形的矩形信息。
然后,阐述如何通过简单外接矩形得到本发明实施例中的外接矩形及其对应的矩形信息:遍历闭合轮廓中所有的坐标点,对所有的坐标点求平均,得到中心坐标点;以中心坐标点为中心,按照预设角度间隔(例如,0.5°)对闭合轮廓进行旋转,并计算每次旋转之后的简单外接矩形的面积;从多个简单外接矩形的面积确定出最小的简单外接矩形面积,并获取最小的简单外接矩形面积对应的简单外接矩形及旋转角度,将该简单外接矩形以中心坐标点为中心,反向旋转了旋转角度,即可得到该闭合轮廓的外接矩形,并获取该外接矩形的矩形信息。
步骤S7,将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
在本发明实施例中,预设货箱形态信息可以是依据货箱实际的长度、宽度、长宽比、面积等信息得到的货箱形态信息。当货箱为同种类型时,设置一个货箱的实际长度、宽度、长宽比、面积等信息即可,当货箱为不同类型时,则需设置多种不同类型货箱的实际长度、宽度、长宽比、面积等信息。在第一货箱图像中确定出所有货箱轮廓的图像可以如图10所示。由于摄像头106进行了拍摄,在图像中的外接矩形的长度和宽度必定会和货箱实际的长度和宽度不一致,但其所包含的形态信息存在一定的共性。例如,摄像头106与货箱的拍摄距离保持一定的情况下,在货箱的长宽比不会变化,第一货箱图片中的货箱的长度、宽度及面积也均会按照一定比例(例如,e0,e1)进行缩小,所以,在货箱二值图像中的货箱的轮廓也应按照上述比例进行缩小。例如,货箱实际的长度为L',货箱的实际宽度H',货箱的实际长宽比为L'/H',货箱的实际面积L'*H'。摄像头106拍摄出来的第一货箱图像会将货箱的长度缩小e0倍,且将货箱的宽度缩小e1倍,那么预设货箱形态信息可以是包括长度L'/e0、宽度H'/e1、长宽比(L'*e1)/(H'*e0)、面积(L'*H')/(e1*e0)。
将外接矩形的矩形信息与预设货箱形态信息进行对比,可以理解为,将矩形信息中的长度L与预设货箱形态信息中的长度L'/e0进行对比,将矩形信息中的宽度H与预设货箱形态信息中的宽度H'/e1进行对比,将矩形信息中的长宽比L/H与预设货箱形态信息中的长宽比(L'*e1)/(H'*e0)进行对比,将矩形信息中的面积L*H与预设货箱形态信息中的面积(L'*H')/(e1*e0)进行对比。将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓的步骤,可以理解为,当一个外接矩形的将矩形信息中的长度L与预设货箱形态信息中的长度L'/e0相等,矩形信息中的宽度H与预设货箱形态信息中的宽度H'/e1相等,矩形信息中的长宽比L/H与预设货箱形态信息中的长宽比(L'*e1)/(H'*e0)相等,矩形信息中的面积L*H与预设货箱形态信息中的面积(L'*H')/(e1*e0)相等时,将该矩形信息对应的外接矩形确定为一个货箱的轮廓。按照上述的方式,将每一个闭合轮廓的外接矩形的矩形信息均与预设货箱形态信息进行对比,以确定出所有的货箱轮廓。
与现有技术相比,本发明实施例具有以下优势:
首先,将第一货箱图像中的非感兴趣区域置为白色,得到第二货箱图像凸显了感兴趣区域,通过点乘、点加操作将非感兴趣区域置为白色,感兴趣区域保持不变能够提高处理效率。
其次,通过邻域平均处理,用邻近像素点的像素平均值来代替该像素点的像素值,这样能明显消弱噪声点,使邻域中灰度接近均匀,起到平滑作用,能够有效降低图像中的噪声。
然后,通过货箱的实际信息得到预设货箱形态信息,并将预设货箱形态信息与外接矩形的外接信息进行对比以确定货箱的轮廓,提高了货箱轮廓判断的准确率。
最后,通过对包含至少一个货箱的第一货箱图像进行轮廓检测,得到第一货箱图像中所有货箱的轮廓,能够准确识别出货箱的位置,进而提高了分拣作业的效率。
第二实施例
请参阅图11,图11示出了本发明实施例提供的货箱轮廓检测装置200的方框示意图。货箱轮廓检测装置200包括第一图像获取模块201、兴趣区域确定模块202、第二图像获取模块203、二值图像获取模块204、闭合轮廓获取模块205、外接矩形获取模块206及货箱轮廓确定模块207。
第一图像获取模块201,用于获取包含至少一个货箱的第一货箱图像。
兴趣区域确定模块202,用于基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域。
第二图像获取模块203,用于对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像。
在本发明实施例中,第一货箱图像中的感兴趣区域包括多个第一像素点,第一货箱图像中的非感兴趣区域包括多个第二像素点,第二图像获取模块203具体用于将第一货箱图像中的所有第一像素点的像素值均保持不变,将第一货箱图像中的所有第二像素点的像素值均置为255,得到第二货箱图像。
二值图像获取模块204,用于对第二货箱图像进行阈值分割,得到货箱二值图像。
在本发明实施例中,第二货箱图像中包括多个第三像素点,二值图像获取模块204具体用于将第二货箱图像中的每个第三像素点均进行邻域平均处理,得到预处理图像,其中,预处理图像中包括多个第四像素点;依据预处理图像中每个第四像素点的像素值对第二货箱图像中每个第三像素点的像素值进行二值化处理,得到货箱二值图像。
二值图像获取模块204执行依据预处理图像中每个第四像素点的像素值对第二货箱图像中每个第三像素点的像素值进行二值化处理步骤的方式,具体包括:获取每一第三像素点的像素值、以及与每一第三像素点对应的第四像素点的像素值;将每一第三像素点的像素值和与每一第三像素点对应的第四像素点的像素值进行对比;当第三像素点的像素值大于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为0;当第三像素点的像素值小于或等于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为255。
闭合轮廓获取模块205,用于对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓。
在本发明实施例中,闭合轮廓获取模块205具体用于:对货箱二值图像进行形态学运算,以增强货箱二值图像中的形态特性;对货箱二值图像进行边缘检测,检测出货箱二值图像中所有的边缘轮廓,其中,所有的边缘轮廓包括多个闭合轮廓和多个非闭合轮廓;从所有的边缘轮廓中筛选出所有的闭合轮廓。
外接矩形获取模块206,用于获取每个闭合轮廓的外接矩形及其对应的矩形信息。
货箱轮廓确定模块207,用于将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
综上所述,本发明提供一种货箱轮廓检测方法及装置,所述方法包括:获取包含至少一个货箱的第一货箱图像;基于选定指令,确定出第一货箱图像中的感兴趣区域和除感兴趣区域之外的非感兴趣区域;对第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;对第二货箱图像进行阈值分割,得到货箱二值图像;对货箱二值图像进行处理,得到货箱二值图像中所有的闭合轮廓;获取每个闭合轮廓的外接矩形及其对应的矩形信息;将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。与现有技术相比,通过对包含至少一个货箱的第一货箱图像进行轮廓检测,得到第一货箱图像中所有货箱的轮廓,能够准确识别出货箱的位置,进而提高了分拣作业的效率。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种货箱轮廓检测方法,其特征在于,所述方法包括:
获取包含至少一个货箱的第一货箱图像;
基于选定指令,确定出所述第一货箱图像中的感兴趣区域和除所述感兴趣区域之外的非感兴趣区域;
对所述第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;
对所述第二货箱图像进行阈值分割,得到货箱二值图像;
对所述货箱二值图像进行处理,得到所述货箱二值图像中所有的闭合轮廓;
获取每个闭合轮廓的外接矩形及其对应的矩形信息;
将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
2.如权利要求1所述的方法,其特征在于,所述第一货箱图像中的感兴趣区域包括多个第一像素点,所述第一货箱图像中的非感兴趣区域包括多个第二像素点,所述对所述第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像的步骤,包括:
将所述第一货箱图像中的所有第一像素点的像素值均保持不变,将所述第一货箱图像中的所有第二像素点的像素值均置为255,得到第二货箱图像。
3.如权利要求1所述的方法,其特征在于,所述第二货箱图像中包括多个第三像素点,所述对所述第二货箱图像进行阈值分割,得到货箱二值图像的步骤,包括:
将所述第二货箱图像中的每个第三像素点均进行邻域平均处理,得到预处理图像,其中,预处理图像中包括多个第四像素点;
依据所述预处理图像中每个第四像素点的像素值对所述第二货箱图像中每个第三像素点的像素值进行二值化处理,得到货箱二值图像。
4.如权利要求3所述的方法,其特征在于,所述第二货箱图像中的多个第三像素点与所述预处理图像中的多个第四像素点一一对应,依据所述预处理图像中每个第四像素点的像素值对所述第二货箱图像中每个第三像素点的像素值进行二值化处理的步骤,包括:
获取每一第三像素点的像素值、以及与每一第三像素点对应的第四像素点的像素值;
将每一第三像素点的像素值和与每一第三像素点对应的第四像素点的像素值进行对比;
当第三像素点的像素值大于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为0;
当第三像素点的像素值小于或等于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为255。
5.如权利要求1所述的方法,其特征在于,所述对所述货箱二值图像进行处理,得到所述货箱二值图像中所有的闭合轮廓的步骤,包括:
对所述货箱二值图像进行形态学运算,以增强所述货箱二值图像中的形态特性;
对所述货箱二值图像进行边缘检测,检测出所述货箱二值图像中所有的边缘轮廓,其中,所有的边缘轮廓包括多个闭合轮廓和多个非闭合轮廓;
从所述所有的边缘轮廓中筛选出所有的闭合轮廓。
6.一种货箱轮廓检测装置,其特征在于,所述装置包括:
第一图像获取模块,用于获取包含至少一个货箱的第一货箱图像;
兴趣区域确定模块,用于基于选定指令,确定出所述第一货箱图像中的感兴趣区域和除所述感兴趣区域之外的非感兴趣区域;
第二图像获取模块,用于对所述第一货箱图像中的感兴趣区域和非感兴趣区域均进行像素值设定,得到第二货箱图像;
二值图像获取模块,用于对所述第二货箱图像进行阈值分割,得到货箱二值图像;
闭合轮廓获取模块,用于对所述货箱二值图像进行处理,得到所述货箱二值图像中所有的闭合轮廓;
外接矩形获取模块,用于获取每个闭合轮廓的外接矩形及其对应的矩形信息;
货箱轮廓确定模块,用于将每个外接矩形的矩形信息均与预设货箱形态信息进行对比,将所有与预设货箱形态信息相等的矩形信息对应的外接矩形均确定为货箱的轮廓。
7.如权利要求6所述的装置,其特征在于,所述第一货箱图像中的感兴趣区域包括多个第一像素点,所述第一货箱图像中的非感兴趣区域包括多个第二像素点,所述第二图像获取模块具体用于:
将所述第一货箱图像中的所有第一像素点的像素值均保持不变,将所述第一货箱图像中的所有第二像素点的像素值均置为255,得到第二货箱图像。
8.如权利要求6所述的装置,其特征在于,所述第二货箱图像中包括多个第三像素点,所述二值图像获取模块具体用于:
将所述第二货箱图像中的每个第三像素点均进行邻域平均处理,得到预处理图像,其中,预处理图像中包括多个第四像素点;
依据所述预处理图像中每个第四像素点的像素值对所述第二货箱图像中每个第三像素点的像素值进行二值化处理,得到货箱二值图像。
9.如权利要求8所述的装置,其特征在于,所述二值图像获取模块还具体用于:
获取每一第三像素点的像素值、以及与每一第三像素点对应的第四像素点的像素值;
将每一第三像素点的像素值和与每一第三像素点对应的第四像素点的像素值进行对比;
当第三像素点的像素值大于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为0;
当第三像素点的像素值小于或等于与该第三像素点对应的第四像素点的像素值时,将该第三像素点的像素值置为255。
10.如权利要求6所述的装置,其特征在于,所述闭合轮廓获取模块具体用于:
对所述货箱二值图像进行形态学运算,以增强所述货箱二值图像中的形态特性;
对所述货箱二值图像进行边缘检测,检测出所述货箱二值图像中所有的边缘轮廓,其中,所有的边缘轮廓包括多个闭合轮廓和多个非闭合轮廓;
从所述所有的边缘轮廓中筛选出所有的闭合轮廓。
CN201811446436.8A 2018-11-29 2018-11-29 货箱轮廓检测方法及装置 Active CN111242963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811446436.8A CN111242963B (zh) 2018-11-29 2018-11-29 货箱轮廓检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811446436.8A CN111242963B (zh) 2018-11-29 2018-11-29 货箱轮廓检测方法及装置

Publications (2)

Publication Number Publication Date
CN111242963A true CN111242963A (zh) 2020-06-05
CN111242963B CN111242963B (zh) 2024-02-13

Family

ID=70871313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811446436.8A Active CN111242963B (zh) 2018-11-29 2018-11-29 货箱轮廓检测方法及装置

Country Status (1)

Country Link
CN (1) CN111242963B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112485A (zh) * 2021-04-20 2021-07-13 中冶赛迪重庆信息技术有限公司 基于图像处理的皮带机跑偏检测方法、系统、设备和介质
CN114758250A (zh) * 2022-06-15 2022-07-15 山东青岛烟草有限公司 基于人工智能的全品规柔性自动分拣控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2584529A2 (en) * 2011-10-21 2013-04-24 LG Innotek Co., Ltd. Method of image processing and device therefore
CN106951895A (zh) * 2016-01-07 2017-07-14 富士通株式会社 确定图像中的感兴趣区域的轮廓的方法和系统
CN108427937A (zh) * 2018-03-29 2018-08-21 武汉真元生物数据有限公司 稳定区域选取方法及装置
CN108460776A (zh) * 2018-04-12 2018-08-28 广东工业大学 一种基于机器视觉的刹车片尺寸检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2584529A2 (en) * 2011-10-21 2013-04-24 LG Innotek Co., Ltd. Method of image processing and device therefore
CN106951895A (zh) * 2016-01-07 2017-07-14 富士通株式会社 确定图像中的感兴趣区域的轮廓的方法和系统
CN108427937A (zh) * 2018-03-29 2018-08-21 武汉真元生物数据有限公司 稳定区域选取方法及装置
CN108460776A (zh) * 2018-04-12 2018-08-28 广东工业大学 一种基于机器视觉的刹车片尺寸检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯宏花;桂志国;: "基于数学形态学人脑MR图像感兴趣区域的提取" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112485A (zh) * 2021-04-20 2021-07-13 中冶赛迪重庆信息技术有限公司 基于图像处理的皮带机跑偏检测方法、系统、设备和介质
CN114758250A (zh) * 2022-06-15 2022-07-15 山东青岛烟草有限公司 基于人工智能的全品规柔性自动分拣控制方法及装置

Also Published As

Publication number Publication date
CN111242963B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN109949331B (zh) 货箱边缘检测方法及装置
CN111951290A (zh) 一种图像中物体的边缘检测方法及装置
CN109948521B (zh) 图像纠偏方法和装置、设备及存储介质
JP2014059875A (ja) 画像内のロゴの存在を検出する装置、及び方法
CN112164050B (zh) 用于流水线上产品表面缺陷的检测方法、设备及存储介质
CN113077437B (zh) 工件质量检测方法及其系统
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN111860060A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN111242963B (zh) 货箱轮廓检测方法及装置
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN115187562A (zh) 涂胶缺陷检测方法及装置
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
US9628659B2 (en) Method and apparatus for inspecting an object employing machine vision
CN113522786A (zh) 船舶零部件抓取与分拣的视觉检测方法、系统及装置
CN113724322B (zh) 一种用于无人叉车的货物托盘定位方法及系统
CN107369149B (zh) 目标物体的检测装置及方法
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN113569859A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111243015A (zh) 货箱位置检测方法及装置
JP2021052238A (ja) 付着物検出装置および付着物検出方法
CN115239595A (zh) 一种包装印刷品二维码合格性检测方法
CN110555848B (zh) 货物轮廓检测方法、装置、机械臂及可读存储介质
KR102272745B1 (ko) 컴팩트 카메라 모듈 덮개 외관 검사 시스템 및 방법
KR20030005342A (ko) 화상에서의 객체 탐색 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 230000 No. 66, Yulan Avenue, Taohua Industrial Park Development Zone, Hefei Economic and Technological Development Zone, Anhui Province

Patentee after: Hefei Taihe Intelligent Technology Group Co.,Ltd.

Country or region after: China

Address before: 230000 intersection of Fangxing Avenue and Yulan Avenue, Taohua Industrial Park, Hefei Economic and Technological Development Zone, Anhui Province

Patentee before: HEFEI TAIHE OPTOELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region before: China