CN107388960B - 一种确定物体体积的方法及装置 - Google Patents

一种确定物体体积的方法及装置 Download PDF

Info

Publication number
CN107388960B
CN107388960B CN201610323084.1A CN201610323084A CN107388960B CN 107388960 B CN107388960 B CN 107388960B CN 201610323084 A CN201610323084 A CN 201610323084A CN 107388960 B CN107388960 B CN 107388960B
Authority
CN
China
Prior art keywords
target
image
depth
depth image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610323084.1A
Other languages
English (en)
Other versions
CN107388960A (zh
Inventor
张文聪
吴旷
贾永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Haikang Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Robot Technology Co Ltd filed Critical Hangzhou Haikang Robot Technology Co Ltd
Priority to CN201610323084.1A priority Critical patent/CN107388960B/zh
Priority to EP17798552.0A priority patent/EP3460385B1/en
Priority to PCT/CN2017/078768 priority patent/WO2017197988A1/zh
Priority to US16/099,343 priority patent/US10922834B2/en
Publication of CN107388960A publication Critical patent/CN107388960A/zh
Application granted granted Critical
Publication of CN107388960B publication Critical patent/CN107388960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种确定物体体积的方法及装置,该方法包括:获得深度图像采集设备所采集的包含目标物体的目标深度图像;基于目标深度图像中的深度数据,分割得到目标物体所对应的目标图像区域;确定目标图像区域所对应的符合预定条件的目标外接矩形;基于目标外接矩形和目标深度图像中的深度数据,确定目标物体的体积。与现有技术中的采用激光的确定方法相比,本方案采用深度图像采集设备而无需激光测量设备,经济成本较低,另外,与现有技术中的采用手工标尺的确定方法相比,本方案采用软件程序自动确定体积而无需人工配合,具有较高精度和效率,可见,通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。

Description

一种确定物体体积的方法及装置
技术领域
本发明涉及机器视觉技术领域,特别是涉及一种确定物体体积的方法及装置。
背景技术
体积数据作为物体的一项最为基本的属性信息,被广泛应用生产和物流等领域中,特别是应用于基于体积的物流计费、物体的自动装载等。其中,这里的物体指较为标准的的长方体物体。
现有技术中,常用的体积确定方法包括采用激光的确定方法和采用手工标尺的确定方法。其中,采用激光的确定方法虽然具有很高的精度,但是所需昂贵的激光测量设备,性价比低,很难被用户广泛接受;而采用手工标尺的确定方法需要人工配合,且受人工操作及情绪影响,导致无论精度还是效率均无法得到保证。
发明内容
本发明实施例的目的在于提供一种确定物体体积的方法及装置,以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。具体技术方案如下:
第一方面,本发明实施例提供了一种确定物体体积的方法,包括:
获得深度图像采集设备所采集的包含目标物体的目标深度图像;
基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域;
确定所述目标图像区域所对应的符合预定条件的目标外接矩形;
基于所述目标外接矩形和所述目标深度图像中的深度数据,确定所述目标物体的体积。
可选的,所述获得深度图像采集设备所采集的包含目标物体的目标深度图像,包括:
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选的,所述基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域,包括:
基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域。
可选的,所述基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域,包括:
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减,其中,所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像;
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像;
对所述帧差图像进行二值化处理;
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选的,所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形,包括:
通过连通区域分析算法或边缘检测拟合算法,确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选的,所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形,包括:
确定所述目标图像区域所对应的面积值最小的目标外接矩形;
或者,
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选的,所述基于所述目标外接矩形和所述目标深度图像中的深度数据,确定所述目标物体的体积,包括:
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;
将所提取的各个顶点的图像坐标投影到所述目标深度图像中,形成位于所述目标深度图像中的参考点;
利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;
利用所述各个参考点的三维坐标和所述目标深度图像的深度数据,得到所述目标物体的体积。
第二方面,本发明实施例提供了一种确定物体体积的装置,包括:
深度图像获得模块,用于获得深度图像采集设备所采集的包含目标物体的目标深度图像;
图像区域分割模块,用于基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域;
外接矩形确定模块,用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形;
体积确定模块,用于基于所述目标外接矩形,确定所述目标物体的体积。
可选的,所述深度图像获得模块包括:
深度图像获得单元,用于获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选的,所述图像区域分割模块包括:
图像区域分割单元,用于基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域。
可选的,所述图像区域分割单元包括:
相减子单元,用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减,其中,所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像;
帧差图像形成子单元,用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像;
二值化处理子单元,用于对所述帧差图像进行二值化处理;
图像区域分割子单元,用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选的,所述外接矩形确定模块包括:
第一外接矩形确定单元,用于通过连通区域分析算法或边缘检测拟合算法,确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选的,所述外接矩形确定模块包括:
第二外接矩形确定单元,用于确定所述目标图像区域所对应的面积值最小的目标外接矩形;
或者,
第三外接矩形确定单元,用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选的,所述体积确定模块包括:
图像坐标提取单元,用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;
参考点形成单元,用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中,形成位于所述目标深度图像中的参考点;
三维坐标计算单元,用于利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;
体积确定单元,用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据,得到所述目标物体的体积。
本发明实施例中,在获得深度图像采集设备所采集的包含目标物体的目标深度图像后,基于该目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域;确定该目标图像区域所对应的符合预定条件的目标外接矩形;基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积。与现有技术中的采用激光的确定方法相比,本方案采用深度图像采集设备而无需激光测量设备,经济成本较低,另外,与现有技术中的采用手工标尺的确定方法相比,本方案采用软件程序自动确定体积而无需人工配合,具有较高精度和效率,可见,通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种确定物体体积的方法的流程图;
图2为本发明实施例所提供的一种确定物体体积的方法的另一流程图;
图3为本发明实施例所提供的一种确定物体体积的方法的另一流程图;
图4为本发明实施例所提供的一种确定物体体积的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例提供了一种确定物体体积的方法及装置,以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
下面首先对本发明实施例所提供的一种确定物体体积的方法进行介绍。
需要说明的是,本发明实施例所提供的一种确定物体体积的方法的执行主体可以为一种确定物体体积的装置,并且,在实际应用中,该确定物体体积的装置可以为设置于深度图像采集设备中的功能软件,或者,可以为设置于与深度图像采集设备相通信的后台服务器中的功能软件,这都是合理的。另外,本发明实施例所涉及的待确定体积的物体可以为:生产和物流中的属于较为标准的长方体的工件、包裹等被物体。
如图1所示,本发明实施例所提供的一种确定物体体积的方法,可以包括:
S101,获得深度图像采集设备所采集的包含目标物体的目标深度图像;
在确定目标物体的体积的过程中,确定物体体积的装置可以首先获得深度图像采集设备所采集的包含目标物体的目标深度图像,进而,利用所获得的包含目标物体的目标深度图像执行后续的处理,其中,一帧目标深度图像中可以包括至少一个目标物体。可以理解的是,对于确定物体体积的装置为位于深度图像采集设备中的功能软件的情况而言,该确定物体体积的装置可以直接获得该深度图像采集设备所采集的目标深度图像;而对于确定物体体积的装置为位于后台服务器中的功能软件的情况而言,该确定物体体积的装置可以获得该后台服务器从该深度图像采集设备中获取的目标深度图像,并且,该后台服务器从该深度图像采集设备中获取目标深度图像的方式可以为主动获取或被动接收,这都是合理的。
需要说明的是,为了保证该深度图像采集设备能够采集到目标物体的深度图像,该深度图像采集设备可以被放置于能够采集到该目标物体的深度数据的位置。并且,采集目标深度图像的方式可以为触发采集方式,所谓的触发采集方式可以为只有当场景中出现被测的目标物体时才开始触发深度图像的采集,举例而言,触发采集的方式可以包括光电信号触发的外部物理触发方式或智能分析自动触发方式,其中,光电信号触发的外部物理触发方式具体指当有需要确定体积的目标物体经过时,光电信号中断,从而发出触发信号给深度图像采集设备,而智能分析自动触发方式指利用运动检测算法进行自动检测来判定目标物体是否出现,进而在判断结果表明出现时深度图像采集设备可以采集关于目标物体的目标深度图像。
具体的,在一种实现方式中,所述深度图像采集设备可以为TOF(Time of flight,飞行时间)相机,此时,所述获得深度图像采集设备所采集的包含目标物体的目标深度图像,可以包括:获得TOF(Time of flight,飞行时间)相机所采集的包含目标物体的目标深度图像。其中,TOF相机的深度图像采集原理为:通过给目标物体连续发送光脉冲,然后利用传感器接收从目标物体返回的光,通过探测光脉冲的飞行时间来得到目标物的距离。当然,所述深度图像采集设备并不局限于TOF相机,其他可以采集深度图像的设备也可以作为本发明实施例所利用的深度图像采集设备。
为了便于对本发明实施例的理解,将图像的深度的相关介绍如下:图片是由一个个像素点构成的,所有不同颜色的像素点构成了一副完整的图像,计算机存储图片是以二进制来进行的,其中,如果采用1bit来存储,即用一位来存储,那么这个像素点的取值范围为0或者1,那么这帧图片要么是黑色要么是白色;如果采用4bit来存储,那么这个像素点的取值范围为0到2的4次方;如果采用8bit来存储,那么这个像素点的取值范围为0到2的8次方,以此类推;现有技术中将计算机存储单个像素点所用到的bit为称之为图像的深度,而所谓的深度图像为能够体现出图片的深度的图片。
需要强调的是,上述所给出的获得深度图像采集设备所采集的包含目标物体的目标深度图像的具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。
S102,基于该目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域;
其中,由于需要确定目标物体的体积,在获得包含目标物体的目标深度图像后,可以基于该目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域。
具体的,在一种实现方式中,所述基于目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域,可以包括:
基于该目标深度图像中的深度数据,利用深度图帧差法,分割得到该目标物体所对应的目标图像区域。
需要说明的是,所述基于目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域的具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。另外,为了布局清楚,后续介绍基于该目标深度图像中的深度数据,利用深度图帧差法,分割得到该目标物体所对应的目标图像区域的具体实现方式。
S103,确定该目标图像区域所对应的符合预定条件的目标外接矩形;
其中,在分割得到该目标物体所对应的目标图像区域后,为了确定目标物体的体积,可以确定该目标图像区域所对应的符合预定条件的目标外接矩形,进而利用该目标外接矩形执行后续的处理。
可以理解的是,在实际应用中,可以通过连通区域分析算法或边缘检测拟合算法,确定该目标图像区域所对应的符合预定条件的目标外接矩形,当然并不局限于连通区域分析算法和边缘检测拟合算法。具体的,所谓连通区域分析算法的基本原理为:首先对二值化图像进行连通区域标记,然后计算各连通区域的凸包,利用凸包最小面积的的外接矩形特性,即凸包上的一条边与外接矩形的一条边重合且矩形的四条边上必然都有凸包的顶点的特性,计算目标物体所对应的最小的外接矩形,其中,凸包是计算机几何中的现有基本概念,是包含该连通区域中所有点集的最小凸多边形;所谓的边缘检测拟合算法的基本原理为:直接采用直线拟合方法拟合各目标图像区域的边缘,根据边缘直线方程计算出目标图像区域的外接矩形,其中,直线拟合方法现有技术的常用方法,主要有Hough变化和最小二乘拟合。
另外,需要说明的是,该目标图像区域所对应的目标外接矩形可以有多个,可以从多个目标外接矩形中获取一个符合预定条件的,进而依据所获取到的一个符合预定条件的目标外接矩形执行后续的体积确定过程。基于上述需求,所述确定该目标图像区域所对应的符合预定条件的目标外接矩形,可以包括:确定该目标图像区域所对应的面积值最小的目标外接矩形;
或者,
确定该目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
其中,所谓的面积值最小的目标外接矩形为最贴合目标图像区域的边缘的外接矩形,因此,可以用于后续的体积确定;另外,所谓的面积值与预定面积阈值差值最小的目标外接矩形为与作为参考标准的外接矩形误差最小的外接矩形,因此,也可以用于后续的体积确定,其中,作为参考标准的外接矩形的面积值为预定面积阈值。
需要说明的是,上述的确定该目标图像区域所对应的符合预定条件的目标外接矩形的具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。
S104,基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积。
在确定出目标外接矩形后,可以基于该目标外接矩形和该目标深度图像中的深度数据,通过特定的处理方式,确定该目标物体的体积。
需要说明的是,基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式存在多种,为了方案清楚以及布局清楚,后续将举例介绍基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式。
本发明实施例中,在获得深度图像采集设备所采集的包含目标物体的目标深度图像后,基于该目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域;确定该目标图像区域所对应的符合预定条件的目标外接矩形;基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积。与现有技术中的采用激光的确定方法相比,本方案采用深度图像采集设备而无需激光测量设备,经济成本较低,另外,与现有技术中的采用手工标尺的确定方法相比,本方案采用软件程序自动确定体积而无需人工配合,具有较高精度和效率,可见,通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
下面详细介绍基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到该目标物体所对应的目标图像区域的具体实现方式。
如图2所示,所述基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到该目标物体所对应的目标图像区域(S102),可以包括:
S1021,将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减;
其中,所述预定背景深度图像为未包含该目标物体的、预先通过深度图像采集设备采集的针对于该目标物体所在背景环境的图像。
S1022,基于各个像素点所对应的相减结果形成该目标深度图像所对应的帧差图像;
S1023,对该帧差图像进行二值化处理;
S1024,从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。
其中,将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减具体指:对于该目标深度图像中每一像素点而言,将其的深度数据减去预定背景深度图像相应像素点的深度数据。举例而言,对目标深度图像中的像素点1和预定背景深度图像中的相应像素点2进行相减,具体可以指将像素点1的值减去对应像素点2的值。
其中,假设二值化处理的二值为0和1,那么,所谓的对该帧差图像进行二值化处理具体指:将帧差图像中的各个像素点的像素值的绝对值与预定阈值比较,如果大于阈值则将该像素点的像素值更改为1,否则,将该像素点的像素值更改为0,当然,理论上,如果大于阈值也可以将像素点的像素值更改为0,否则,将该像素点的像素值更改为1;进而,通过这样的处理方式,使得帧差图像中目标物体所对应的目标图像区域内的各个像素点的像素值不同于目标图像区域内各个像素点的像素值,进而能够从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。当然,二值化处理的二值也可以为0和255,此时,所谓的对该帧差图像进行二值化处理的具体方式与上述关于0和1的二值化处理类似,在此不做详述。
下面举例介绍基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积的具体实现方式,当然,所举例介绍的该具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。
如图3所示,所述基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积(S104),可以包括:
S1041,提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;
S1042,将所提取的各个顶点的图像坐标投影到该目标深度图像中,形成位于该目标深度图像中的参考点;
S1043,利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;
S1044,利用各个参考点的三维坐标和该目标深度图像的深度数据,得到该目标物体的体积。
可以理解的是,帧差图像对应有二维坐标系,因此,可以提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;另外,由于帧差图像为依据目标深度图像所确定出,因此,帧差图像与目标深度图像的图像规格相同,那么,帧差图像与目标深度图像的二维坐标系相同,这样位于该目标深度图像中的参考点的图像坐标与位于二值化处理后的帧差图像中相应的顶点的图像坐标相同。
其中,利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标的具体实现方式可以采用现有技术实现,在此不做赘述。
其中,利用各个参考点的三维坐标和该目标深度图像的深度数据,得到该目标物体的体积的具体的实现过程可以包括:计算4个参考点两两之间的欧式距离,将所计算出的欧式距离作为目标物体的长、宽,将预定背景深度图像所对应的Z值减去目标物体所对应的Z值,进一步,将所确定出的目标物体的长、宽和高的乘积确定为目标物体的体积;其中,该目标物体所对应的Z值即为4个参考点所对应区域所对应的Z值,即深度值;该预定背景深度图像所对应的Z值为深度值。
相应于上述方法实施例,本发明实施例还提供了一种确定物体体积的装置,如图4所示,可以包括:
深度图像获得模块410,用于获得深度图像采集设备所采集的包含目标物体的目标深度图像;
图像区域分割模块420,用于基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域;
外接矩形确定模块430,用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形;
体积确定模块440,用于基于所述目标外接矩形和所述目标深度图像中的深度数据,确定所述目标物体的体积。
本发明实施例中,在获得深度图像采集设备所采集的包含目标物体的目标深度图像后,基于该目标深度图像中的深度数据,分割得到该目标物体所对应的目标图像区域;确定该目标图像区域所对应的符合预定条件的目标外接矩形;基于该目标外接矩形和该目标深度图像中的深度数据,确定该目标物体的体积。与现有技术中的采用激光的确定方法相比,本方案采用深度图像采集设备而无需激光测量设备,经济成本较低,另外,与现有技术中的采用手工标尺的确定方法相比,本方案采用软件程序自动确定体积而无需人工配合,具有较高精度和效率,可见,通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
其中,所述深度图像获得模块410,可以包括:
深度图像获得单元,用于获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
其中,所述图像区域分割模块420,可以包括:
图像区域分割单元,用于基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域。
进一步的,具体的,所述图像区域分割单元,可以包括:
相减子单元,用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减,其中,所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像;
帧差图像形成子单元,用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像;
二值化处理子单元,用于对所述帧差图像进行二值化处理;
图像区域分割子单元,用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
其中,所述外接矩形确定模块430,可以包括:
第一外接矩形确定单元,用于通过连通区域分析算法或边缘检测拟合算法,确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
其中,所述外接矩形确定模块430,可以包括:
第二外接矩形确定单元,用于确定所述目标图像区域所对应的面积值最小的目标外接矩形;
或者,
第三外接矩形确定单元,用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
其中,所述体积确定模块440,可以包括:
图像坐标提取单元,用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;
参考点形成单元,用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中,形成位于所述目标深度图像中的参考点;
三维坐标计算单元,用于利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;
体积确定单元,用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据,得到所述目标物体的体积。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种确定物体体积的方法,其特征在于,包括:
获得深度图像采集设备所采集的包含目标物体的目标深度图像;
基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域;
确定所述目标图像区域所对应的符合预定条件的目标外接矩形;
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;其中,所述帧差图像为在将所述目标深度图像的深度数据与预定背景深度图像的深度数据进行相减后,基于相减结果所得到的图像;
将所提取的各个顶点的图像坐标投影到所述目标深度图像中,形成位于所述目标深度图像中的参考点;
利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;
利用各个参考点的三维坐标,计算每两个参考点之间的欧式距离,将所计算出的欧式距离中除最长距离以外的两个距离作为所述目标物体的长和宽,将所述预定背景深度图像所对应的深度值减去各个参考点所对应区域的深度值,得到所述目标物体的高度,并将所计算出的长、宽和高的乘积确定为所述目标物体的体积。
2.根据权利要求1所述的方法,其特征在于,所述获得深度图像采集设备所采集的包含目标物体的目标深度图像,包括:
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域,包括:
基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域。
4.根据权利要求3所述的方法,其特征在于,所述基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域,包括:
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减,其中,所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像;
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像;
对所述帧差图像进行二值化处理;
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
5.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形,包括:
通过连通区域分析算法或边缘检测拟合算法,确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
6.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形,包括:
确定所述目标图像区域所对应的面积值最小的目标外接矩形;
或者,
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
7.一种确定物体体积的装置,其特征在于,包括:
深度图像获得模块,用于获得深度图像采集设备所采集的包含目标物体的目标深度图像;
图像区域分割模块,用于基于所述目标深度图像中的深度数据,分割得到所述目标物体所对应的目标图像区域;
外接矩形确定模块,用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形;
体积确定模块,用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标;其中,所述帧差图像为在将所述目标深度图像的深度数据与预定背景深度图像的深度数据进行相减后,基于相减结果所得到的图像;将所提取的各个顶点的图像坐标投影到所述目标深度图像中,形成位于所述目标深度图像中的参考点;利用摄像机成像的透视投影原理,计算各个参考点的对应于摄像机世界坐标系中的三维坐标;利用各个参考点的三维坐标,计算每两个参考点之间的欧式距离,将所计算出的欧式距离中除最长距离以外的两个距离作为所述目标物体的长和宽,将所述预定背景深度图像所对应的深度值减去各个参考点所对应区域的深度值,得到所述目标物体的高度,并将所计算出的长、宽和高的乘积确定为所述目标物体的体积。
8.根据权利要求7所述的装置,其特征在于,所述深度图像获得模块包括:
深度图像获得单元,用于获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
9.根据权利要求7所述的装置,其特征在于,所述图像区域分割模块包括:
图像区域分割单元,用于基于所述目标深度图像中的深度数据,利用深度图帧差法,分割得到所述目标物体所对应的目标图像区域。
10.根据权利要求9所述的装置,其特征在于,所述图像区域分割单元包括:
相减子单元,用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减,其中,所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像;
帧差图像形成子单元,用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像;
二值化处理子单元,用于对所述帧差图像进行二值化处理;
图像区域分割子单元,用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
11.根据权利要求7所述的装置,其特征在于,所述外接矩形确定模块包括:
第一外接矩形确定单元,用于通过连通区域分析算法或边缘检测拟合算法,确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
12.根据权利要求7所述的装置,其特征在于,所述外接矩形确定模块包括:
第二外接矩形确定单元,用于确定所述目标图像区域所对应的面积值最小的目标外接矩形;
或者,
第三外接矩形确定单元,用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
CN201610323084.1A 2016-05-16 2016-05-16 一种确定物体体积的方法及装置 Active CN107388960B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610323084.1A CN107388960B (zh) 2016-05-16 2016-05-16 一种确定物体体积的方法及装置
EP17798552.0A EP3460385B1 (en) 2016-05-16 2017-03-30 Method and apparatus for determining volume of object
PCT/CN2017/078768 WO2017197988A1 (zh) 2016-05-16 2017-03-30 一种确定物体体积的方法及装置
US16/099,343 US10922834B2 (en) 2016-05-16 2017-03-30 Method and apparatus for determining volume of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610323084.1A CN107388960B (zh) 2016-05-16 2016-05-16 一种确定物体体积的方法及装置

Publications (2)

Publication Number Publication Date
CN107388960A CN107388960A (zh) 2017-11-24
CN107388960B true CN107388960B (zh) 2019-10-22

Family

ID=60324822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610323084.1A Active CN107388960B (zh) 2016-05-16 2016-05-16 一种确定物体体积的方法及装置

Country Status (4)

Country Link
US (1) US10922834B2 (zh)
EP (1) EP3460385B1 (zh)
CN (1) CN107388960B (zh)
WO (1) WO2017197988A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870126A (zh) * 2017-12-05 2019-06-11 宁波盈芯信息科技有限公司 一种面积计算方法以及一种能够进行面积计算的手机
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
CN109190696A (zh) * 2018-08-28 2019-01-11 江苏科技大学苏州理工学院 一种物流包裹分类方法、装置、设备及可读存储介质
CN109146952B (zh) * 2018-09-06 2020-11-20 北京京东尚科信息技术有限公司 估计车厢空闲体积的方法、装置及计算机可读存储介质
CN109059770B (zh) * 2018-09-10 2020-09-04 青岛大学 一种基于tof深度相机的包裹体积测量方法
CN109443196B (zh) * 2018-09-28 2020-07-24 顺丰科技有限公司 一种体积测量方法及系统
CN109357637B (zh) * 2018-12-11 2021-12-10 长治学院 一种基于深度相机的卷板机卷板曲率半径和厚度测量方法
CN111383231B (zh) * 2018-12-28 2023-10-27 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN109712350B (zh) * 2019-01-31 2024-06-11 浙江云澎科技有限公司 一种智能识别的自助结算机
CN110006340B (zh) * 2019-03-26 2020-09-08 华为技术有限公司 一种物体尺寸测量方法和电子设备
CN110017773B (zh) * 2019-05-09 2021-12-17 福建(泉州)哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法
CN111986251B (zh) * 2019-05-22 2024-07-26 顺丰科技有限公司 物体体积测量方法、装置、测量设备及存储介质
CN110322478B (zh) * 2019-06-10 2021-09-07 广州视源电子科技股份有限公司 特征点观察窗口处理方法、跟踪方法、装置、设备和介质
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端
CN110349205B (zh) * 2019-07-22 2021-05-28 浙江光珀智能科技有限公司 一种物体体积的测量方法及装置
CN110425980A (zh) * 2019-08-12 2019-11-08 深圳市知维智能科技有限公司 仓储设施内容物的体积的测量方法和系统
CN110766744B (zh) * 2019-11-05 2022-06-10 北京华捷艾米科技有限公司 一种基于3d深度摄像头的mr体积测量方法及装置
CN110816522B (zh) * 2019-11-12 2021-02-23 深圳创维数字技术有限公司 车辆姿态的控制方法、设备及计算机可读存储介质
CN111308484B (zh) * 2019-11-26 2022-03-22 歌尔光学科技有限公司 深度模组测距方法、装置、深度相机及移动终端
CN113065810B (zh) * 2019-12-31 2024-01-26 杭州海康机器人股份有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN112254635B (zh) * 2020-09-23 2022-06-28 洛伦兹(北京)科技有限公司 体积测量方法、装置及系统
CN112419398A (zh) * 2020-11-25 2021-02-26 创新奇智(西安)科技有限公司 矩形工件尺寸测量方法、装置、设备及存储介质
CN112802087A (zh) * 2021-02-04 2021-05-14 上海中通吉网络技术有限公司 堆积物整体体积的检测方法、装置及电子设备
CN113160161B (zh) * 2021-04-14 2023-07-11 歌尔股份有限公司 目标边缘处缺陷的检测方法和装置
CN113658226B (zh) * 2021-08-26 2023-09-05 中国人民大学 一种限高装置高度检测方法和系统
CN113706602A (zh) * 2021-08-27 2021-11-26 浙江大学 一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置
EP4181064A1 (en) * 2021-11-12 2023-05-17 SITA Information Networking Computing UK Limited Method and system for measuring an article
CN114396875B (zh) * 2022-01-18 2023-11-10 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN114777702B (zh) * 2022-04-22 2024-03-12 成都市绿色快线环保科技有限公司 一种堆叠板材体积识别方法及其装置、系统
CN116758024B (zh) * 2023-06-13 2024-02-23 山东省农业科学院 一种花生种子方向识别方法
CN117066702B (zh) * 2023-08-25 2024-04-19 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117611657B (zh) * 2024-01-22 2024-04-23 江西农业大学 一种杏鲍菇体积计算方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
CN204881572U (zh) * 2015-03-31 2015-12-16 北京京东尚科信息技术有限公司 测量物体尺寸的设备
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
CN101846503B (zh) * 2010-04-21 2011-09-28 中国科学院自动化研究所 一种基于立体视觉的行李信息在线获取系统及其方法
US20150302594A1 (en) * 2013-07-12 2015-10-22 Richard H. Moore System and Method For Object Detection Using Structured Light
CN104330038B (zh) * 2014-11-26 2017-02-22 厦门优策信息科技有限公司 一种尺寸测量的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN204881572U (zh) * 2015-03-31 2015-12-16 北京京东尚科信息技术有限公司 测量物体尺寸的设备
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统

Also Published As

Publication number Publication date
WO2017197988A1 (zh) 2017-11-23
EP3460385B1 (en) 2020-04-29
CN107388960A (zh) 2017-11-24
EP3460385A1 (en) 2019-03-27
US10922834B2 (en) 2021-02-16
US20190139251A1 (en) 2019-05-09
EP3460385A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
CN107388960B (zh) 一种确定物体体积的方法及装置
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
KR101283262B1 (ko) 영상 처리 방법 및 장치
JP6496987B2 (ja) 目標検出方法及び目標検出装置
US9741130B2 (en) Method and apparatus for detecting object
US20170308736A1 (en) Three dimensional object recognition
US20130129148A1 (en) Object detection device, object detection method, and program
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
EP2779025A2 (en) Method and system for detecting road edge
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
KR101280392B1 (ko) Slam 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
US20110103646A1 (en) Procede pour generer une image de densite d'une zone d'observation
JP7448035B2 (ja) 情報処理装置、3次元位置推定方法、及びプログラム
CN109508572B (zh) 一种物体位姿检测方法、装置、电子设备及存储介质
JP5846140B2 (ja) 情報処理装置、及びプログラム
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
CN111368883A (zh) 基于单目摄像头的避障方法、计算装置及存储装置
CN108111802A (zh) 视频监控方法及装置
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
CN109284707A (zh) 动目标检测方法及装置
KR20150096128A (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP7079466B2 (ja) 人属性認識システムおよびプログラム
JP2012234431A (ja) 境界線検出装置、境界線検出方法、及びプログラム
KR20240131600A (ko) 센서를 이용한 객체 크기 추정 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.