CN110349216A - 货箱位置检测方法及装置 - Google Patents

货箱位置检测方法及装置 Download PDF

Info

Publication number
CN110349216A
CN110349216A CN201910648532.9A CN201910648532A CN110349216A CN 110349216 A CN110349216 A CN 110349216A CN 201910648532 A CN201910648532 A CN 201910648532A CN 110349216 A CN110349216 A CN 110349216A
Authority
CN
China
Prior art keywords
container
pixel
image
coordinate
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910648532.9A
Other languages
English (en)
Inventor
许大红
石江涛
张晓龙
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Taihe Optoelectronic Technology Co Ltd
Original Assignee
Hefei Taihe Optoelectronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Taihe Optoelectronic Technology Co Ltd filed Critical Hefei Taihe Optoelectronic Technology Co Ltd
Priority to CN201910648532.9A priority Critical patent/CN110349216A/zh
Publication of CN110349216A publication Critical patent/CN110349216A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域,提供了一种货箱位置检测方法及装置,所述方法包括:获取二维图像、三维图像以及三维图像对应的深度信息,其中,二维图像和三维图像均包含目标货箱堆;依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域;对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,第一坐标集包括第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将第一坐标集转换为第二坐标集,并依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以根据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置。与现有技术相比,本申请准确区分货箱堆所在的区域和背景区域。

Description

货箱位置检测方法及装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种货箱位置检测方法及装置。
背景技术
现有技术中,随着工业技术的进步,生产、仓储和物流环节中的机械化和自动化普及程度越来越高。当机械设备对存放货物的货箱进行分拣、搬运等作业时,需要控制系统预先获得货箱的具体位置等信息。通常采用的方式是借助相机等图像设备对货箱进行拍照、识别和定位的方式辅助机械设备对货箱进行准确作业。
但一些场景中,多个货箱堆放在一起,货箱堆所处的环境较杂乱,拍照后得到的图片中货箱堆与背景的颜色难以分辨,现有技术中,一般是工作人员在二维图像内框选出感兴趣区域,然后再对图像中的感兴趣区域进行处理,以实现背景和货箱堆的区分。但是,工作人员进行框选,只能大致框选出货箱堆所在的区域,并不能准确地区分货箱堆所在的区域和背景区域,导致难以检测出货箱堆中每个货箱的位置。
发明内容
有鉴于此,本发明的目的在于提供一种货箱位置检测方法及装置,以准确区分货箱堆所在的区域和背景区域,进而检测出货箱堆中每个货箱的位置。
第一方面,本发明实施例提供一种货箱位置检测方法,所述方法包括:获取二维图像、三维图像以及所述三维图像对应的深度信息,其中,所述二维图像和所述三维图像均包含目标货箱堆;依据所述深度信息及预设深度范围,确定出所述三维图像中所述目标货箱堆对应的第一货箱区域;对所述第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,所述第一坐标集包括所述第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将所述第一坐标集转换为第二坐标集,并依据所述第二坐标集确定出所述目标货箱堆在所述二维图像中的闭合曲线,以根据所述二维图像中所述目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
第二方面,本发明实施例提供一种货箱位置检测装置,所述装置包括:获取模块,用于获取二维图像、三维图像以及所述三维图像对应的深度信息,其中,所述二维图像和所述三维图像均包含目标货箱堆;处理模块,用于依据所述深度信息及预设深度范围,确定出所述三维图像中所述目标货箱堆对应的第一货箱区域;对所述第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,所述第一坐标集包括所述第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将所述第一坐标集转换为第二坐标集,并依据所述第二坐标集确定出所述目标货箱堆在所述二维图像中的闭合曲线,以根据所述二维图像中所述目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
本发明实施例提供的货箱位置检测方法及装置,通过三维图像的深度信息,及预设深度范围,确定出三维图像中的目标货箱堆对应的第一货箱区域,并对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,并将第一坐标集按照预设转换关系,转换为第二坐标集,依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以明确区分货箱堆所在的区域和背景区域,以依据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置,进而可以准确识别出货箱的位置,提高分拣作业的效率,同时,自动区分货箱堆所在的区域和背景区域,可以节省劳动力。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的方框示意图;
图2示出了本发明实施例所提供的货箱位置检测方法的流程图;
图3为图2示出了步骤S2的子步骤流程图;
图4示出了本发明实施例提供的灰度图像的示意图;
图5为图2示出了步骤S4的子步骤流程图;
图6示出了本发明实施例所提供的另一种货箱位置检测方法的流程图;
图7示出了本发明实施例提供的掩膜图的示意图;
图8示出了本发明实施例提供的第二货箱图像的示意图;
图9示出了本发明实施例所提供的一种货箱位置检测装置的方框示意图。
图标:100-电子设备;101-处理器;102-存储器;103-总线;104-通信接口;105-显示屏;200-货箱位置检测装置;201-获取模块;202-处理模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
当多个货箱堆放在一起,货箱堆所处的环境较杂乱,导致拍照后得到的图片中货箱堆与背景的颜色难以分辨。在这些场景中,如只利用二维相机,虽然分辨率高,但由于缺少三维数据信息,很难将货箱堆准确识别出来。而三维相机虽然能提供三维数据信息,但分辨率较低,只利用三维相机也难以实现对货箱堆进行准确识别和定位,不能将货箱堆与背景进行准确地区分。
基于对上述缺陷的研究,本实施例提出一种货箱位置检测方法及装置。需要说明的是,以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。下面,对本发明实施例提供的货箱位置检测方法及装置进行详细阐述。
本发明所要解决的技术问题是,针对上述问题,提供一种货箱位置检测方法,其核心改进点在于,将二维相机与三维相机各自的优势进行结合,利用三维相机得到的深度信息来筛选出目标货箱堆在三维图像中的第一货箱区域,并对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,并将第一坐标集按照预设转换关系,转换为第二坐标集,依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以明确区分货箱堆所在的区域和背景区域,以依据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
本发明实施例提供的货箱位置检测方法应用于电子设备100,电子设备100可以是,但不限于智能手机、平板电脑、个人计算机、车载电脑、个人数字助理(personaldigital assistant,PDA)等等。请参阅图1,图1示出了本发明实施例提供的电子设备的方框示意图,电子设备100包括处理器101、存储器102、总线103、通信接口104及显示屏105。处理器101、存储器102、通信接口104及显示屏105通过总线103连接,处理器101用于执行存储器102中存储的可执行模块,例如计算机程序。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,货箱位置检测方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器101,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器102可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器102可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read OnlyMemory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
总线103可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
电子设备100通过至少一个通信接口104(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。存储器102用于存储程序,例如货箱位置检测装置200。货箱位置检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在电子设备100的操作系统(operating system,OS)中的软件功能模块。处理器101在接收到执行指令后,执行所述程序以实现货箱位置检测方法。
显示屏105用于对图像进行显示,显示的内容可以是处理器101的一些处理结果。显示屏105可以是触摸显示屏、无交互功能的显示屏等。
应当理解的是,图1所示的结构仅为电子设备100的结构应用示意图,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
基于上述的电子设备100,下面给出一种货箱位置检测方法可能的实现方式,该方法的执行主体可以为上述电子设备100,请参阅图2,图2示出了本发明实施例提供的货箱位置检测方法的流程图。货箱位置检测方法包括以下步骤:
S1,获取二维图像、三维图像以及三维图像对应的深度信息,其中,二维图像和三维图像均包含目标货箱堆。
在本发明实施例中,目标货箱堆可以是多个货箱密集地堆放在一起,形成的货箱堆。二维图像可以是二维相机拍摄得到的包含至少一个目标货箱堆的图像,三维图像可以是三维相机拍摄得到包含至少一个目标货箱堆的图像,需要说明的是,二维图像和三维图像中包含的目标货箱堆应该是相同的,其数量也是相等的。二维相机和三维相机的相对位置是固定的,二维相机和三维相机在同一时刻点对目标货箱堆进行拍摄,分别得到二维图像和三维图像,以保证二维图像和三维图像中的目标货箱堆的状态是一致的。深度信息可以是三维图像中每一个像素点的深度值。二维相机可以是,但不限于电荷耦合器件图像传感器(Charge Coupled Device,CCD)面阵相机、互补金属氧化物半导体(ComplementaryMetal Oxide Semiconductor,CMOS)面阵相机等。三维相机可以是,但不限于飞行时间(time of flight,TOF)相机、结构光相机、双目相机等。
获取二维图像、三维图像以及三维图像对应的深度信息的步骤,可以理解为,获取二维相机在一时刻点拍摄的二维图像,获取三维相机在同一时刻点拍摄的三维图像,以及该三维图像中每一像素点的深度值。
S2,依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域。
在本发明实施例中,预设深度范围可以是用户依据目标货箱堆与三维相机的距离自定义的深度范围,作为一种实施方式,预设深度范围为(d-Δd,d+Δd),其中,d可以是激光测距仪测量得到的三维相机外表面到货箱堆的距离,Δd为经验值,例如50mm。预设深度范围可以是(5.15,5.25)。三维图像中包括多个第一像素点,多个第一像素点共同构成了三维图像。第一货箱区域可以是三维图像中表征目标货箱堆的所有的第一像素点构成的区域,当深度值处于该预设深度范围时,则认为该深度值对应的第一像素点是表征目标货箱堆的像素点,当深度值不处于该预设范围时,则认为该深度值对应的第一像素点是表征背景的像素点,以此来区分出第一货箱区域。
请参阅图3,步骤S2可以具体包括以下子步骤:
S21,将每个第一像素点的深度值均与预设深度范围进行比对。
在本发明实施例中,每一个第一像素点均对应一个深度值,将每一个第一像素点的深度值均与预设深度范围进行比较,判断第一像素点的深度值是否处于预设深度范围,当第一像素点的深度值处于预设深度范围时,执行子步骤S22,当第一像素点的深度值不处于预设深度范围时,执行子步骤S23。
S22,当第一像素点的深度值处于预设深度范围时,将第一像素点的像素值置为第一预设值。
在本发明实施例中,当第一像素点的深度值处于预设范围内时,则可认为该第一像素点是表征目标货箱堆的像素点,可以将该第一像素点的像素值置为第一预设值,第一预设值可以是255。
S23,当第一像素点的深度值不处于预设深度范围时,将第一像素点的像素值置为第二预设值。
在本发明实施例中,当第一像素点的深度值不处于预设深度范围时,则可认为该第一像素点是表征背景的像素点,可以将该第一像素点的像素值置为第二预设值,以对目标货箱堆和背景进行区分,第二预设值可以是0。
S24,将每一个像素值为第一预设值的第一像素点均作为目标像素点,第一货箱区域包括所有的目标像素点。
在本发明实施例中,目标像素点可以是表征目标货箱堆的第一像素点,将每一个像素值为第一预设值的第一像素点均作为目标像素点,所有的目标像素点即可构成第一货箱区域。
于本发明的其他实施例中,依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域的步骤,还可以理解为,将深度值按比例映射成为表征深度信息的灰度图像,首先,统计出采集的深度值中的最小深度值和最大深度值,然后,遍历三维图像中每个第一像素点的深度值,判断其是否处于预设深度范围内,若处于预设深度范围内,则将该深度值对应的第一像素点的像素值置为第一预设值,第一预设值的计算公式如下:
graydepth=255-(depth-depthmin)/(depthmax-depthmin)*255
其中,depth为深度值,graydepth为第一预设值,depthmin为最小深度值,depthmax为最大深度值。若不处于预设深度范围内,则将该深度值对应的第一像素点的像素值置为0。
按照上述的方式,遍历三维图像中的每一个第一像素点,调整其像素值,得到表征深度信息的灰度图像,该灰度图像可以如图4所示。然后对灰度图像进行阈值分割,阈值设定为0,若灰度图像中的像素值大于0,则将其像素值置为255,若灰度图像中的像素值等于0,则将其像素值置为0,以此来区分背景区域和目标货箱区域。
S3,对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集。
在本发明实施例中,第一边缘像素点可以是第一货箱区域的边缘像素点。第一坐标集包括第一货箱区域的所有的第一边缘像素点的坐标,即所有的第一边缘像素点在三维图像中的坐标的集合。
对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集的步骤,可以理解为,首先,将第一货箱区域对应的第一像素点的像素值均置为第一预设值,将非第一货箱区域(即背景区域)对应的第一像素点的像素值均置为第二预设值,得到二值图像,然后,利用边缘检测算子对该二值图像进行边缘检测,检测出第一货箱区域的边缘,可以采用但不限于Sobel算子、Prewitt算子、Canny算子等。最后,第一货箱区域的边缘是由多个第一边缘像素点组成的,每一个第一边缘像素点都对应一个第一坐标,获取每一个第一边缘像素点对应的第一坐标,即可构成第一坐标集。
S4,按照预设转换关系将第一坐标集转换为第二坐标集,并依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以根据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
在本发明实施例中,预设转换关系可以是用户提前标定的三维相机和二维相机的几何映射关系,标定过程可以是在目标货物上表面放置若干个标定物(需要大于3个),分别用三维相机和二维相机采集当前场景的强度数据和图像,得到这些标定物在三维相机和二维相机中的像素坐标。使用最小二乘法和标定物分别在两个相机中的像素坐标推算出从三维相机到二维相机的几何映射关系。第一坐标集包括多个第一坐标,第二坐标集包括多个第二坐标,第二坐标可以是按照预设转换关系,将第一坐标进行转换,得到的坐标。
按照预设转换关系将第一坐标集转换为第二坐标集的步骤,包括:
按照预设转换关系对每一个第一坐标进行转换,得到多个第二坐标,第二坐标集包括多个第二坐标;其中,(X,Y)为第一坐标,(U,V)为第二坐标,为转换矩阵。
转换矩阵中的转换系数是在T11、T12、T13、T21、T22、T23标定过程中计算出来的,将每一个第一坐标带入预设转换关系,即可得到其对应的第二坐标,多个第二坐标共同构成第二坐标集。
请参阅图5,依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线的步骤,可以包括以下子步骤:
S41,依据第二坐标集,从二维图像中确定出第二坐标集对应的所有的第二边缘像素点。
在本发明实施例中,第二边缘像素点可以是二维图像中第二坐标对应的像素点。每一个第二坐标均可以在二维图像中找到对应的一个像素点,该像素点即为第二边缘像素点,找到第二坐标集中所有的第二坐标对应的像素点,即可得到所有的第二边缘像素点。
S42,将所有的第二边缘像素点依次连接,得到目标货箱堆在二维图像中的闭合曲线。
在本发明实施例中,闭合曲线可以是大致包含目标货物堆的闭合的曲线,该闭合的曲线可以比目标货箱堆的外围轮廓微大,也可以比目标货箱堆的外围轮廓微小。一个第二边缘像素点与其相邻的第二边缘像素点之间还存在着一些像素点,依次连接所有的第二边缘像素点,即可形成一个大致包含目标货物堆的闭合曲线。需要说明的是,如果二维图像中目标货物堆的数量为多个,或者说二维图像中包含多个分散的货箱堆或独立的货箱,则子步骤S42可得到多个对应的闭合曲线。
请参阅图6,在步骤S4之后,货箱位置检测方法还可以包括S5和S6。
S5,依据目标货箱堆的闭合曲线,对二维图像进行二值化,得到目标货箱堆对应的掩膜图。
在本发明实施例中,二维图像包括多个第二像素点,多个第二像素点共同构成二维图像。依据目标货箱堆的闭合曲线,对二维图像进行二值化,得到目标货箱堆对应的掩膜图的步骤,可以理解为,将二维图像中目标货箱堆的闭合曲线内的第二像素点的像素值置为255,将二维图像中目标货箱堆的闭合曲线外的第二像素点的像素值置为0,得到目标货箱堆对应的掩膜图,例如,请参阅图7,图7给出了掩膜图的示例。
判断一个第二像素点在闭合曲线内或闭合曲线外的方法,可以是将该第二像素点与原点的进行连线,并计算该连线与闭合曲线的交点个数,若交点个数为一个,则该第二像素点在闭合曲线内,若交点个数为0或者两个,则该第二像素点在闭合曲线外。
S6,依据掩膜图及二维图像,得到包含目标货箱堆的第二货箱区域,以确定出二维图像中每一个目标货箱的位置。
在本发明实施例中,第二货箱区域可以是二维图像中目标货箱堆所占的区域。依据掩膜图及二维图像,得到包含目标货箱堆的第二货箱区域的步骤,可以理解为,首先将掩膜图中的像素值为255的像素点的像素值均修改为1,得到新的掩膜图,然后将新的掩膜图和二维图像中对应的像素点进行点乘,得到包括第二货箱区域的第二货箱图像,并可进一步根据第二货箱图像确定出二维图像中每一个目标货箱的位置。请参阅图8,图8给出了第二货箱图像的示例。
根据第二货箱图像确定出二维图像中每一个目标货箱的位置的方法可以是利用货箱上的标识信息对第二货箱图像中的第二货箱区域进行模板匹配,由于排除了背景区域的干扰,因此,可以快速进行匹配,确定出每个货箱在二维图像中的位置。
于本发明的其他实施例中,根据第二货箱图像确定出二维图像中每一个目标货箱的位置还可以采用其他方式,本发明实施例在此不作限定。
针对上述图2、图3、图5及图6的方法流程,下面给出一种货箱位置检测装置200的可能的实现方式,该货箱位置检测装置200可以采用上述实施例中的电子设备100的器件结构实现,也可以为该电子设备100中的处理器101实现,请参阅图9,图9示出了本发明实施例提供的货箱位置检测装置的方框示意图。货箱位置检测装置200包括获取模块201和处理模块202。
获取模块201,用于获取二维图像、三维图像以及三维图像对应的深度信息,其中,二维图像和三维图像均包含目标货箱堆;
处理模块202,用于依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域;对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,第一坐标集包括第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将第一坐标集转换为第二坐标集,并依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以根据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
在本发明实施例中,三维图像包括多个第一像素点,深度信息包括每个第一像素点的深度值;处理模块202执行依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域的步骤,具体用于:将每个第一像素点的深度值均与预设深度范围进行比对;当第一像素点的深度值处于预设深度范围时,将第一像素点的像素值置为第一预设值;当第一像素点的深度值不处于预设深度范围时,将第一像素点的像素值置为第二预设值;将每一个像素值为第一预设值的第一像素点均作为目标像素点,第一货箱区域包括所有的目标像素点。
在本发明实施例中,第一坐标集包括多个第一坐标,处理模块202执行按照预设转换关系将第一坐标集转换为第二坐标集的步骤,具体用于:
按照预设转换关系对每一个第一坐标进行转换,得到多个第二坐标,第二坐标集包括多个第二坐标;其中,(X,Y)为第一坐标,(U,V)为第二坐标,为转换矩阵。
在本发明实施例中,处理模块202执行依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线的步骤,具体用于:依据第二坐标集,从二维图像中确定出第二坐标集对应的所有的第二边缘像素点;将所有的第二边缘像素点依次连接,得到目标货箱堆在二维图像中的闭合曲线。
在本发明实施例中,处理模块202还用于:依据目标货箱堆的闭合曲线,对二维图像进行二值化,得到目标货箱堆对应的掩膜图;依据掩膜图及二维图像,得到包含目标货箱堆的第二货箱区域,以确定出二维图像中每一个目标货箱的位置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的货箱位置检测装置200的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
综上所述,本发明实施例提供一种货箱位置检测方法及装置,所述方法包括:获取二维图像、三维图像以及三维图像对应的深度信息,其中,二维图像和三维图像均包含目标货箱堆;依据深度信息及预设深度范围,确定出三维图像中目标货箱堆对应的第一货箱区域;对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,第一坐标集包括第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将第一坐标集转换为第二坐标集,并依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以根据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置。与现有技术相比,本发明实施例具有以下优势:通过三维图像的深度信息,及预设深度范围,确定出三维图像中的目标货箱堆对应的第一货箱区域,并对第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,并将第一坐标集按照预设转换关系,转换为第二坐标集,依据第二坐标集确定出目标货箱堆在二维图像中的闭合曲线,以明确区分了货箱堆所在的区域和背景区域,以依据二维图像中目标货箱堆的闭合曲线确定出每一个目标货箱的位置,进而可以准确识别出货箱的位置,提高分拣作业的效率,同时,自动区分货箱堆所在的区域和背景区域,可以节省劳动力。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种货箱位置检测方法,其特征在于,所述方法包括:
获取二维图像、三维图像以及所述三维图像对应的深度信息,其中,所述二维图像和所述三维图像均包含目标货箱堆;
依据所述深度信息及预设深度范围,确定出所述三维图像中所述目标货箱堆对应的第一货箱区域;
对所述第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,所述第一坐标集包括所述第一货箱区域的所有的第一边缘像素点的坐标;
按照预设转换关系将所述第一坐标集转换为第二坐标集,并依据所述第二坐标集确定出所述目标货箱堆在所述二维图像中的闭合曲线,以根据所述二维图像中所述目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
2.根据权利要求1所述的方法,其特征在于,所述三维图像包括多个第一像素点,所述深度信息包括每个所述第一像素点的深度值;
所述依据所述深度信息及预设深度范围,确定出所述三维图像中所述目标货箱堆对应的第一货箱区域的步骤,包括:
将每个第一像素点的深度值均与预设深度范围进行比对;
当第一像素点的深度值处于所述预设深度范围时,将所述第一像素点的像素值置为第一预设值;
当第一像素点的深度值不处于所述预设深度范围时,将所述第一像素点的像素值置为第二预设值;
将每一个像素值为所述第一预设值的第一像素点均作为目标像素点,第一货箱区域包括所有的目标像素点。
3.根据权利要求1所述的方法,其特征在于,所述第一坐标集包括多个第一坐标,所述按照预设转换关系将所述第一坐标集转换为第二坐标集的步骤,包括:
按照预设转换关系对每一个第一坐标进行转换,得到多个第二坐标,所述第二坐标集包括所述多个第二坐标;
其中,(X,Y)为所述第一坐标,(U,V)为所述第二坐标,为转换矩阵。
4.根据权利要求1所述的方法,其特征在于,所述依据所述第二坐标集确定出所述目标货箱堆在所述二维图像中的闭合曲线的步骤,包括:
依据所述第二坐标集,从所述二维图像中确定出所述第二坐标集对应的所有的第二边缘像素点;
将所有的第二边缘像素点依次连接,得到所述目标货箱堆在所述二维图像中的闭合曲线。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
依据所述目标货箱堆的闭合曲线,对所述二维图像进行二值化,得到所述目标货箱堆对应的掩膜图;
依据所述掩膜图及所述二维图像,得到包含所述目标货箱堆的第二货箱区域,以确定出所述二维图像中每一个目标货箱的位置。
6.一种货箱位置检测装置,其特征在于,所述装置包括:
获取模块,用于获取二维图像、三维图像以及所述三维图像对应的深度信息,其中,所述二维图像和所述三维图像均包含目标货箱堆;
处理模块,用于依据所述深度信息及预设深度范围,确定出所述三维图像中所述目标货箱堆对应的第一货箱区域;对所述第一货箱区域进行边缘检测,得到多个第一边缘像素点的第一坐标集,其中,所述第一坐标集包括所述第一货箱区域的所有的第一边缘像素点的坐标;按照预设转换关系将所述第一坐标集转换为第二坐标集,并依据所述第二坐标集确定出所述目标货箱堆在所述二维图像中的闭合曲线,以根据所述二维图像中所述目标货箱堆的闭合曲线确定出每一个目标货箱的位置。
7.根据权利要求6所述的装置,其特征在于,所述三维图像包括多个第一像素点,所述深度信息包括每个所述第一像素点的深度值;所述处理模块还用于:
将每个第一像素点的深度值均与预设深度范围进行比对;
当第一像素点的深度值处于所述预设深度范围时,将所述第一像素点的像素值置为第一预设值;
当第一像素点的深度值不处于所述预设深度范围时,将所述第一像素点的像素值置为第二预设值;
将每一个像素值为所述第一预设值的第一像素点均作为目标像素点,第一货箱区域包括所有的目标像素点。
8.根据权利要求6所述的装置,其特征在于,所述第一坐标集包括多个第一坐标,所述处理模块还用于:
按照预设转换关系对每一个第一坐标进行转换,得到多个第二坐标,所述第二坐标集包括所述多个第二坐标;
其中,(X,Y)为所述第一坐标,(U,V)为所述第二坐标,为转换矩阵。
9.根据权利要求6所述的装置,其特征在于,所述处理模块还用于:
依据所述第二坐标集,从所述二维图像中确定出所述第二坐标集对应的所有的第二边缘像素点;
将所有的第二边缘像素点依次连接,得到所述目标货箱堆在所述二维图像中的闭合曲线。
10.根据权利要求6所述的装置,其特征在于,所述处理模块还用于:
依据所述目标货箱堆的闭合曲线,对所述二维图像进行二值化,得到所述目标货箱堆对应的掩膜图;
依据所述掩膜图及所述二维图像,得到包含所述目标货箱堆的第二货箱区域,以确定出所述二维图像中每一个目标货箱的位置。
CN201910648532.9A 2019-07-18 2019-07-18 货箱位置检测方法及装置 Pending CN110349216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910648532.9A CN110349216A (zh) 2019-07-18 2019-07-18 货箱位置检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910648532.9A CN110349216A (zh) 2019-07-18 2019-07-18 货箱位置检测方法及装置

Publications (1)

Publication Number Publication Date
CN110349216A true CN110349216A (zh) 2019-10-18

Family

ID=68178730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910648532.9A Pending CN110349216A (zh) 2019-07-18 2019-07-18 货箱位置检测方法及装置

Country Status (1)

Country Link
CN (1) CN110349216A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553951A (zh) * 2020-04-30 2020-08-18 山东新北洋信息技术股份有限公司 包裹处理设备和包裹处理方法
CN111860136A (zh) * 2020-06-08 2020-10-30 北京阿丘机器人科技有限公司 包裹定位方法、装置、设备及计算机可读存储介质
CN112215893A (zh) * 2020-10-28 2021-01-12 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
CN112907661A (zh) * 2021-01-13 2021-06-04 上海擎朗智能科技有限公司 一种移动目标定位方法、装置、电子设备、系统及介质
CN113450291A (zh) * 2020-03-27 2021-09-28 北京京东乾石科技有限公司 图像信息处理方法及装置
CN113688704A (zh) * 2021-08-13 2021-11-23 北京京东乾石科技有限公司 物品拣选方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054332A (zh) * 2012-01-26 2014-09-17 索尼公司 图像处理装置和图像处理方法
CN109146906A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109242035A (zh) * 2018-09-25 2019-01-18 北京华开领航科技有限责任公司 车底故障检测装置及方法
CN109614889A (zh) * 2018-11-23 2019-04-12 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN109675827A (zh) * 2018-12-19 2019-04-26 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备、识别方法及其抓取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054332A (zh) * 2012-01-26 2014-09-17 索尼公司 图像处理装置和图像处理方法
CN109146906A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109242035A (zh) * 2018-09-25 2019-01-18 北京华开领航科技有限责任公司 车底故障检测装置及方法
CN109614889A (zh) * 2018-11-23 2019-04-12 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN109675827A (zh) * 2018-12-19 2019-04-26 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备、识别方法及其抓取方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450291A (zh) * 2020-03-27 2021-09-28 北京京东乾石科技有限公司 图像信息处理方法及装置
CN113450291B (zh) * 2020-03-27 2024-03-01 北京京东乾石科技有限公司 图像信息处理方法及装置
CN111553951A (zh) * 2020-04-30 2020-08-18 山东新北洋信息技术股份有限公司 包裹处理设备和包裹处理方法
CN111553951B (zh) * 2020-04-30 2023-10-24 山东新北洋信息技术股份有限公司 包裹处理设备和包裹处理方法
CN111860136A (zh) * 2020-06-08 2020-10-30 北京阿丘机器人科技有限公司 包裹定位方法、装置、设备及计算机可读存储介质
CN111860136B (zh) * 2020-06-08 2024-03-29 北京阿丘机器人科技有限公司 包裹定位方法、装置、设备及计算机可读存储介质
CN112215893A (zh) * 2020-10-28 2021-01-12 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
CN112215893B (zh) * 2020-10-28 2022-10-28 安徽农业大学 目标二维中心坐标点确定方法、装置、设备及测距系统
CN112907661A (zh) * 2021-01-13 2021-06-04 上海擎朗智能科技有限公司 一种移动目标定位方法、装置、电子设备、系统及介质
CN113688704A (zh) * 2021-08-13 2021-11-23 北京京东乾石科技有限公司 物品拣选方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN110349216A (zh) 货箱位置检测方法及装置
CN108009675B (zh) 货物装箱方法、装置及系统
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
JP5773436B2 (ja) 情報端末装置
CN108627092A (zh) 一种包裹体积的测量方法、系统、储存介质及移动终端
CN105043271A (zh) 长度测量方法及装置
CN105637343B (zh) 检测控制装置、检测系统、存储介质和检测控制方法
CN109816745A (zh) 人体热力图展示方法及相关产品
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN103017654B (zh) 一种光斑图像多路质心定位方法及装置
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
CN108241821A (zh) 图像处理设备和方法
CN104463240B (zh) 一种仪表定位方法及装置
CN105096350B (zh) 图像检测方法及装置
CN110232315A (zh) 目标检测方法和装置
CN110443242A (zh) 读数框检测方法、目标识别模型训练方法及相关装置
JP2017003525A (ja) 三次元計測装置
JP2015194424A (ja) 情報処理装置、情報処理方法、情報処理プログラムおよびその情報処理プログラムが記録された記録媒体
CN110458857A (zh) 中心对称图元检测方法、装置、电子设备及可读存储介质
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN111260607B (zh) 可疑物品自动检测方法、终端设备、计算机设备及介质
KR20220083347A (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
CN117392698A (zh) 手绘电路图的识别方法、装置、设备和存储介质
CN117253022A (zh) 一种对象识别方法、装置及查验设备
JP2020187438A (ja) 画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018