CN115249259A - 一种光学尺寸测量方法、装置及系统 - Google Patents
一种光学尺寸测量方法、装置及系统 Download PDFInfo
- Publication number
- CN115249259A CN115249259A CN202110455794.0A CN202110455794A CN115249259A CN 115249259 A CN115249259 A CN 115249259A CN 202110455794 A CN202110455794 A CN 202110455794A CN 115249259 A CN115249259 A CN 115249259A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- point cloud
- measured
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种光学尺寸测量方法、装置及系统,其中,该方法包括:获取飞行时间相机采集的待测目标的图像信息;对所述图像信息进行处理,获得对应的点云数据;基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型;根据所述待测目标的近似模型,计算所述待测目标的尺寸。本发明提供的光学尺寸测量方法可以保证对物体测量的精度,并且可以适用于对不同形状的物体进行测量。
Description
技术领域
本发明涉及尺寸测量技术领域,尤其涉及一种光学尺寸测量方法、装置及系统。
背景技术
近年来,物流行业随着移动互联网和人工智能信息技术的兴起而快速发展,获取物品的体积属性影响物流作业中的收货、拣选、包装、运输等各个环节,可有效控制物流的成本和提升物流效率。因此,测量仪器成为获取物品的体积不可或缺的工具。
常见的体积测量仪器包括直尺、游标卡尺、卷尺等。
上述测量仪器在测量物体体积时存在一些局限:如测量精度差、对于不同形状的物体测量缺乏普遍适用性等,这些局限导致在测量过程中需要耗费较大的人力、物力和时间。
发明内容
本发明提供一种光学尺寸测量方法、装置及系统,用以解决现有技术中测量仪器精确度差以及测量形状存在局限的缺陷,可以保证对物体测量的精度,并且可以适用于对不同形状的物体进行测量。
第一方面,本发明提供了一种光学尺寸的测量方法,包括:获取飞行时间相机采集的待测目标的图像信息;对所述图像信息进行处理,获得对应的点云数据;基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型;根据所述待测目标的近似模型,计算所述待测目标的尺寸。
根据本发明提供的光学尺寸的测量方法,对所述图像信息进行处理,获得对应的点云数据之前,还包括:在所述图像信息中确定所述待测目标的轮廓线和感兴趣区域;其中,所述待测目标的轮廓线以内为待测目标区域,所述待测目标区域包含在所述感兴趣区域内;基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型之前,还包括:根据所述待测目标的轮廓线对所述感兴趣区域内的点云数据进行分割,确定所述待测目标点云和所述参考地点云。
根据本发明提供的光学尺寸的测量方法,基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型,包括:对所述参考地点云进行平面拟合,确定第一参考平面;对所述待测目标点云进行网络化处理,得到所述待测目标的三维模型;根据所述第一参考平面和所述待测目标的三维模型,确定所述待测目标的第一体边界和所述待测目标的第二体边界;根据所述第一体边界和所述第二体边界,拟合所述待测目标的近似模型。
根据本发明提供的光学尺寸测量方法,确定所述待测目标的第一体边界,包括:将所述待测目标的三维模型投影至所述第一参考平面,得到第一封闭图形;对所述第一封闭图形在所述第一参考平面上进行拟合,得到所述第一体边界。
根据本发明提供的光学尺寸测量方法,确定所述待测目标的第二体边界,包括:选取所述待测目标的三维模型距离所述第一参考平面最远的一点,作为参考点;根据所述参考点和所述第一参考平面,确定第二参考平面;其中,所述第二参考平面通过所述参考点与所述第一参考平面垂直,且通过或平行于所述第一体边界的最大轴线;将所述待测目标的三维模型投影至所述第二参考平面,得到第二封闭图形;对所述第二封闭图形在所述第二参考平面上进行拟合,得到所述第二体边界。
根据本发明提供的光学尺寸测量方法,所述图像信息包括红外图像和深度图像;在所述图像信息中确定所述待测目标的轮廓线和感兴趣区域,包括:在所述红外图像中确定所述待测目标的轮廓线和感兴趣区域;对所述图像信息进行处理,获得对应的点云数据,包括:对所述深度图像中的所述感兴趣区域进行处理,获得对应的点云数据。
根据本发明提供的光学尺寸测量方法,在所述红外图像中确定所述待测目标的轮廓线和感兴趣区域,包括:对所述红外图像进行边缘检测,确定所述待测目标的轮廓线;从所述轮廓线向外扩展预设的偏移阈值,确定所述感兴趣区域。
根据本发明提供的光学尺寸测量方法,对所述红外图像进行边缘检测,确定所述待测目标的轮廓线之后,还包括:根据所述轮廓线,判断所述待测目标是否完全存在于所述红外图像中;若所述待测目标完全存在于所述红外图像中,从所述轮廓线向外扩展预设的偏移阈值,确定所述感兴趣区域。
第二方面,本发明还提供了一种光学尺寸测量装置,包括:获取模块,用于获取飞行时间相机采集的待测目标的图像信息;处理模块,用于对所述图像信息进行处理,获得对应的点云数据;建模模块,用于基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型;计算模块,用于根据所述待测目标的近似模型,计算所述待测目标的尺寸。
第三方面,本发明还提供了一种光学尺寸测量系统,包括:飞行时间相机,用于采集待测目标的图像信息;根据第二方面所述的光学尺寸测量装置。
第四方面,本发明提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述光学尺寸测量方法的步骤。
第五方面,本发明提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述光学尺寸测量方法的步骤。
本发明提供了一种光学尺寸测量方法、装置及系统,通过获取飞行时间相机采集的待测目标的图像信息;对图像信息进行处理,获得对应的点云数据;基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;根据待测目标的近似模型,计算待测目标的尺寸。利用飞行时间相机采集的图像信息构建物体的近似模型,基于物体的近似模型实现对物体尺寸的测量,其测量的稳定性好,可以保证对物体测量的精度,并且测量范围广,可以适用于对不同形状的物体进行测量,同时其测量操作便捷,可以节约人力、物力和时间。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种光学尺寸测量方法的流程示意图;
图2是本发明实施例提供的构建待测目标的近似模型的流程示意图;
图3是本发明实施例提供的确定待测目标的第一体边界的流程示意图;
图4是本发明实施例提供的对近似圆形进行拟合得到体边界的示意图;
图5是本发明实施例提供的对近似多边形进行拟合得到体边界的示意图;
图6是本发明实施例提供的确定待测目标的第二体边界的流程示意图;
图7是本发明实施例提供的待测目标为箱体的点云效果示意图;
图8是本发明实施例提供的红外图像和深度图像的示意图;
图9是本发明实施例提供的各区域位置关系的示意图;
图10是本发明实施例提供的光学尺寸测量装置的示意图;
图11是本发明实施例提供的光学尺寸测量系统的示意图;
图12是本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种光学尺寸测量方法的流程示意图。如图1所示,光学尺寸测量方法包括以下步骤:
S101,获取飞行时间相机采集的待测目标的图像信息;
S102,对图像信息进行处理,获得对应的点云数据;
S103,基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;
S104,根据待测目标的近似模型,计算待测目标的尺寸。
在步骤S101中,飞行时间(Time of Flight,简称TOF)相机是通过连续发射光脉冲到被观测物体上,然后接收从被观测物体反射回的光脉冲,通过探测光脉冲的飞行时间,即往返时间,来计算被观测物体与相机的距离,其中光脉冲一般为不可见光。利用飞行时间相机对待测目标拍摄,可以获得待测目标的图像信息,所得到的待测目标的图像信息为后续处理获得待测目标尺寸的依据。
在步骤S102中,点云数据是某个坐标系下的点的数据集,包含了丰富的信息,例如,三维坐标X、Y、Z、颜色、分类值、强度值、时间等信息。本发明实施例通过对待测目标的图像信息进行处理,得到点云数据的实现方式不作限定;可以利用三维激光扫描仪对待测目标的图像信息进行扫描获得点云数据;也可以将得到的二维图像影像进行三维重建,获得点云数据。
在步骤S103中,可以首先从步骤S102获得的点云数据中确定出待测目标点云和参考地点云,例如,可以通过在待测目标的图像信息中标记待测目标的轮廓线,将待测目标的轮廓线以内的点云确定为待测目标点云,根据待测目标的轮廓线以外的点云确定参考地点云,本发明实施例对确定待测目标点云和参考地点云的实现方式不作限定。然后根据待测目标点云和参考地点云构建待测目标的三维近似模型。本发明实施例对根据待测目标点云和参考地点云构建待测目标的近似模型的实现方式不作限定,例如,可以通过泊松重建、表面重建,输入重建和实时重建等算法对点云数据进行三维重建。
在步骤S104中,可以根据待测目标的三维近似模型,计算待测目标的长度、宽度、高度、面积或体积等尺寸参数中的一种或任意组合。根据待测目标的近似模型计算待测目标的尺寸,可以根据默认情况计算待测目标的尺寸,或者也可以根据用户的需求计算待测目标的尺寸。例如,用户想知道物体的高度,可以通过建立物体的近似模型,选取物体的近似模型所在的地面为参考地平面,选取物体的近似模型距离参考地平面最远的点作为顶点,将通过顶点且平行于参考地平面的平面作为顶面,通过参考地平面与顶面之间的距离来计算物体的高度;又例如,用户想知道篮球的体积,可以通过建立篮球的近似模型,选取篮球的近似模型所在的地面为参考地平面,选取篮球的近似模型距离参考地平面最远的点作为顶点,将通过顶点且平行于参考地平面的平面作为顶面,将参考地平面与顶面之间的距离作为球体的直径来计算出篮球的体积。
本发明提供的光学尺寸测量方法,通过获取飞行时间相机采集的待测目标的图像信息;对图像信息进行处理,获得对应的点云数据;基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;根据待测目标的近似模型,计算待测目标的尺寸。利用飞行时间相机采集的图像信息构建物体的近似模型,基于物体的近似模型实现对物体尺寸的测量,其测量的稳定性好,可以保证对物体测量的精度,并且测量范围广,可以适用于对不同形状的物体进行测量,同时其测量操作便捷,可以节约人力、物力和时间。
在一些可选的例子中,在对图像信息进行处理,获得对应的点云数据之前,还可以在图像信息中确定待测目标的轮廓线和感兴趣区域;其中,待测目标的轮廓线以内为待测目标区域,待测目标区域包含在感兴趣区域内;从而在基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型之前,可以根据待测目标的轮廓线对感兴趣区域内的点云数据进行分割,确定待测目标点云和参考地点云。
本发明实施例对点云的分割方法不作限定,例如,可以利用区域声场、Ransac线面提取和连通分析等方法进行点云分割。本发明实施例对获取待测目标的轮廓线的方法不作限定,例如,可以通过图像二分法、神经网络,红外检测和imageJ软件等获取待测目标的轮廓线。可选地,在待测目标的图像信息中确定出待测目标的轮廓线和感兴趣区域后,在对图像信息进行处理获得点云数据时,可以只对图像信息中的感兴趣区域进行处理,获得图像信息中感兴趣区域的点云数据,而不必对整个图像信息进行处理,可以减少将图像信息转换成点云数据的数据处理量,提高数据处理的速度。
图2为本发明实施例提供的构建待测目标的近似模型的流程示意图。如图2所示,基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型,包括以下步骤:
S201,对参考地点云进行平面拟合,确定第一参考平面;
S202,对待测目标点云进行网络化处理,得到待测目标的三维模型;
S203,根据第一参考平面和待测目标的三维模型,确定待测目标的第一体边界和待测目标的第二体边界;
S204,根据第一体边界和第二体边界,拟合待测目标的近似模型。
在步骤S201中,对参考地点云进行平面拟合,通常会拟合出若干个相交平面,分别位于待测目标的下方、上方、左方、右方、左上方、右上方、左下方、右下方中的任意组合,可以根据实际情况选取其中的一个平面作为第一参考平面,例如,可以选择位于待测目标下方的平面作为第一参考平面,或者可以选取位于待测目标上方的平面作为第一参考平面。
在步骤S202中,对待测目标点云进行网络化处理可以通过对待测目标点云进行算法拟合生成曲面,得到待测目标的三维模型。本发明实施例对待测目标点云进行网络化处理,得到待测目标的三维模型的实现方式不作限定,例如,可以通过泊松重建、表面重建,输入重建和实时重建等算法对点云数据进行三维重建。图7是本发明实施例提供的待测目标为箱体的点云效果示意图。如图7所示,其中显示了待测目标点云和参考地点云。
在步骤S203中,根据待测目标的三维模型和第一参考平面,可以通过投影、拟合等处理得到待测目标的第一体边界和待测目标的第二体边界。其中,待测目标的第一体边界和待测目标的第二体边界分别为待测目标在两个维度上的最大轮廓,例如,第一维度可以为垂直维度,第二维度可以为水平维度,本发明实施例对确定待测目标体边界的在两个维度的方式不作限定。
在步骤S204中,对得到第一体边界和第二体边界进行拟合,可以得到待测目标的近似模型,待测目标的近似模型是一个三维模型,近似模型可以是规则物体,例如真球体、近似球体、长方体、正方体、三角体、平行六面体、半球体等,或者可以是近似规则物体,例如碗体、杯子、瓶等,本发明实施例对待测目标的近似模型的类型不作限定。
图3为本发明实施例提供的确定待测目标的第一体边界的流程示意图。如图3所示,确定待测目标的第一体边界的步骤包括:
S301,将待测目标的三维模型投影至第一参考平面,得到第一封闭图形;
S302,对第一封闭图形在第一参考平面上进行拟合,得到第一体边界。
在步骤S301中,当选取位于待测目标下方的平面作为第一参考面时,将待测目标的三维模型向第一参考平面投影,在第一参考平面得到待测目标在垂直维度上的投影,该投影可以为第一封闭图形。
在步骤S302中,对得到的第一封闭图形在第一参考平面上进行拟合,得到待测目标在垂直维度上的最大轮廓,即第一体边界。第一封闭图形可以是近似圆形,或者也可以是近似多边形,或者还可以是橄榄形,或者还可以是瓢形,等,本发明实施例对第一封闭图的形状不作限定。图4和图5分别展示了第一封闭图形为近似圆形和近似多边形拟合得到第一体边界的过程。如图4和图5所示,其中,图4中左侧的图像为三维模型在第一参考平面上的投影,右侧的图像为该投影在第一参考平面上拟合得到的第一体边界。第一体边界可以是近似圆形,可以包括真圆形、接近圆形、椭圆形中的一种。图5中左侧的图像为三维模型在第一参考平面上的投影,右侧的图像为该投影在第一参考平面上拟合得到的第一体边界。第一体边界可以是近似多边形,可以包括三角形、平行四边形、矩形、正方形、梯形、五边形、六边形、其它合理的多边形中的一种。
图6为本发明实施例提供的确定待测目标的第二体边界的流程示意图。如图6所示,确定待测目标的第二体边界的步骤包括:
S601,选取待测目标的三维模型距离第一参考平面最远的一点,作为参考点;
S602,根据参考点和第一参考平面,确定第二参考平面;其中,第二参考平面通过参考点与第一参考平面垂直,且通过或平行于第一体边界的最大轴线;
S603,将待测目标的三维模型投影至第二参考平面,得到第二封闭图形;
S604,对第二封闭图形在第二参考平面上进行拟合,得到第二体边界。
在步骤S601,选取待测目标的三维模型距离第一参考平面最远的一点,作为参考点,当第一参考面为位于待测目标下方的平面时,参考点为待测目标的三维模型的顶点。
在步骤S602中,可以将通过参考点与第一参考面垂直,且通过或平行第一体边界的最大轴线的平面确定为第二参考面。当第一参考面为位于待测目标下方的平面时,参考点为待测目标的三维模型的顶点,第二参考面为通过三维模型的顶点,且通过或平行第一体边界的最大轴线,与第一参考面垂直相交的平面。选取相互垂直的第一参考面和第二参考面与对待测目标在两个维度上的最大轮廓进行刻画,通过使第二参考面通过或平行第一体边界的最大轴线,可以保证待测目标在第二参考平面上的投影为待测目标在该维度上的最大轮廓,保证对待测目标的三维模型的一个方向完整刻画。
在步骤S603中,在根据参考点和第一参考面确定第二参考面后,将待测目标的三维模型向第二参考平面投影,在第二参考平面得到待测目标在水平维度上的投影,该投影可以为第二封闭图形。
在步骤S604中,对得到的第二封闭图形在第二参考平面上进行拟合,得到待测目标在水平维度上的最大轮廓,即第二体边界。第二封闭图形可以是近似圆形,或者也可以是近似多边形,或者还可以是橄榄形,或者还可以是瓢形,等,本发明实施例对第二封闭图的形状不作限定。图4和图5分别展示了第二封闭图形为近似圆形和近似多边形拟合得到第二体边界的过程,关于图4和图5的说明可以参见图3的实施例。
在一些可选的例子中,飞行相机获取的待测目标的图像信息可以包括红外图像和深度图像,在图像信息中确定待测目标的轮廓线和感兴趣区域时,可以利用红外图像,在红外图像中确定待测目标的轮廓线和感兴趣区域,在对图像信息进行处理,获得对应的点云数据时,可以利用深度图像,对深度图像中的感兴趣区域进行处理,获得对应的点云数据。
在本实施例中,红外图像或深度图,如图8所示,红外图像或深度图像可以是16位字节或32位字节的单通道图像数据,其中,红外图像可以含有从0至255的灰度值,深度图可以含有单位为毫米代表目标至相机XY平面的距离的像素值。可选地,对于计算能力差的处理器,可以将16位字节或32位字节的单通道图像数据变换为8位字节的单通道图像数据。
在本实施例中,可以首先在红外图像中确定待测目标的轮廓线和感兴趣区域,将红外图像中确定的待测目标的轮廓线和感兴趣区域映射到深度图像中,在深度图像中进行进一步处理,获得点云数据。本发明实施例对在深度图像中获得点云数据的方式不作限定,例如,可以通过坐标转换得到,将图像坐标系转化为像素坐标系,即可从深度图像中获得点云数据。可选地,在获得点云数据后,可以利用双边滤波对点云数据进行平滑处理,结合空间邻近度和像素值相似度来折中,同时考虑空域信息和灰度相似性,有效地去噪和边缘保存,得到降噪后的点云数据。
在一些可选的例子中,在红外图像中确定待测目标的轮廓线和感兴趣区域,可以对红外图像进行边缘检测,确定待测目标的轮廓线;从轮廓线向外扩展预设的偏移阈值,确定感兴趣区域。
在本实施例中,对红外图像进行边缘检测,确定待测目标的轮廓线,可以通过获取红外图像中每一个像素点,得到每一个像素点的左相邻像素点与该像素点的右相像素点的差值,将该差值与预设的阈值进行比较,当得到的差值大于预设的阈值时,确定该像素点为边缘像素,在确定红外图像中所有的边缘像素后,将得到的边缘像素连接,得到待测目标的轮廓线。在确定待测目标的轮廓线后,可以通过将待测目标的轮廓线向外扩展预设的偏移阈值,来确定感兴趣区域。
在一些可选的例子中,对红外图像进行边缘检测,确定待测目标的轮廓线之后,还可以根据轮廓线,判断待测目标是否完全存在于红外图像中;若待测目标完全存在于红外图像中,从轮廓线向外扩展预设的偏移阈值,确定感兴趣区域。
在本实施例中,判断待测目标是否完全存在于红外图像中的方法,可以为确定待测目标的轮廓线是否为封闭环,且该封闭环是否完全存在于检测区域内,满足上述条件即可确定待测目标完全存在于红外图像中。判断待测目标是否完全存在于红外图像中,能够保证获得待测目标完整的轮廓,实现精准测量。
在一些可选的例子中,可以将图像四条边以内的区域设置为全幅图像,使检测区域包含在全幅图像内。各区域的位置关系如图9所示。可选地,可以通过将待测目标区域An向外扩展预设阀值Δβ得到感兴趣区域Bn,将全幅图像Fn向内偏移预设阀值Δα得到检测区域Tn,各区域的位置关系可以表示为:
Tn=Fn-Δα;
Bn=An+Δβ。
通常来说,若拍摄的物体为静态物体,在拍摄时一般可以保证物体完全存在于图像中;若拍摄的物体为动态物体,由于物体的移动可能导致在得到的图像中只包含物体的一部分,在这种情况下,需要拍摄多帧图像对待测目标进行追踪。可以通过飞行时间相机连续拍摄若干帧图像,将当前帧图像与下一帧图像进行比较,实现对待测目标的追踪。
可选地,对红外图像进行边缘检测之前,对多帧红外图像进行筛选。一般情况将红外图像的当前帧作为参考值,将其与其后的若干帧红外图像依次对比,筛选出像素最高的一帧红外图像作为待检测图像,通常当前帧后的若干帧红外图像不超过6帧。
如图8所示,通过飞行时间相机实时拍摄可以得到若干帧红外图像和深度图像,将这些红外图像按照预设的规则划分为不同的周期,例如,将连续相连的6帧红外图像作为一个周期
分为当前帧和不同周期内的若干帧。若当前帧图红外图像中只有部分待测目标,需要对下一个周期内的若干帧红外图像与当前帧红外图像进行比较,实现对待测目标的追踪。
图10是本发明实施例提供的光学尺寸测量装置的示意图。如图10所示,光学尺寸测量装置包括:
获取模块110,用于获取飞行时间相机采集的待测目标的图像信息;
处理模块120,用于对图像信息进行处理,获得对应的点云数据;
建模模块130,用于基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;
计算模块140,用于根据待测目标的近似模型,计算待测目标的尺寸。
可选地,光学尺寸测量装置,还包括:
划分模块,用于在图像信息中确定待测目标的轮廓线和感兴趣区域;其中,待测目标的轮廓线以内为待测目标区域,待测目标区域包含在感兴趣区域内;
分割模块,用于根据待测目标的轮廓线对感兴趣区域内的点云数据进行分割,确定待测目标点云和参考地点云。
可选地,建模模块130,包括:
拟合单元,用于对参考地点云进行平面拟合,确定第一参考平面;
第一建模单元,用于对待测目标点云进行网络化处理,得到待测目标的三维模型;
处理单元,用于根据第一参考平面和待测目标的三维模型,确定待测目标的第一体边界和待测目标的第二体边界;
第二建模单元,用于根据第一体边界和第二体边界,拟合待测目标的近似模型。
可选地,处理单元,包括:
第一投影子单元,用于将待测目标的三维模型投影至第一参考平面,得到第一封闭图形;
第一拟合子单元,用于第一封闭图形在第一参考平面上进行拟合,得到第一体边界。
可选地,处理单元,还包括:
第一处理子单元,用于选取待测目标的三维模型距离第一参考平面最远的一点,作为参考点;
第二处理子单元,用于根据参考点和第一参考平面,确定第二参考平面;其中,第二参考平面通过参考点与第一参考平面垂直,且通过或平行于第一体边界的最大轴线;
第二投影子单元,用于将待测目标的三维模型投影至第二参考平面,得到第二封闭图形;
第二拟合子单元,用于对第二封闭图形在第二参考平面上进行拟合,得到第二体边界。
可选地,图像信息包括红外图像和深度图像;
划分模块,用于在红外图像中确定待测目标的轮廓线和感兴趣区域;
处理模块,用于对深度图像中的感兴趣区域进行处理,获得对应的点云数据。
可选地,划分模块,包括:
检测单元,用于对红外图像进行边缘检测,确定待测目标的轮廓线;
扩展单元,用于从轮廓线向外扩展预设的偏移阈值,确定感兴趣区域。
可选地,划分模块,包括:
判断单元,用于根据轮廓线,判断待测目标是否完全存在于红外图像中;
扩展单元,用于根据判断单元的判断结果,响应于待测目标完全存在于红外图像中,从轮廓线向外扩展预设的偏移阈值,确定感兴趣区域。
图11是本发明实施例提供的光学尺寸测量系统的示意图,如图11所示,光学尺寸测量系统包括:
飞行时间相机1110,用于获取待测目标的图像信息;
上述实施例的光学尺寸测量装置1120。
图12示例了一种电子设备的实体结构示意图,如图12所示,该电子设备可以包括:处理器(processor)121、通信接口(Communications Interface)122、存储器(memory)123和通信总线124,其中,处理器121,通信接口122,存储器123通过通信总线124完成相互间的通信。处理器121可以调用存储器123中的逻辑指令,以执行光学尺寸测量方法,该方法包括:
获取飞行时间相机采集的待测目标的图像信息;对图像信息进行处理,获得对应的点云数据;基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;根据待测目标的近似模型,计算待测目标的尺寸。
此外,上述的存储器123中的逻辑指令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的光学尺寸测量方法,该方法包括:
获取飞行时间相机采集的待测目标的图像信息;对图像信息进行处理,获得对应的点云数据;基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;根据待测目标的近似模型,计算待测目标的尺寸。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的光学尺寸测量方法,该方法包括:
获取飞行时间相机采集的待测目标的图像信息;对图像信息进行处理,获得对应的点云数据;基于点云数据中的待测目标点云和参考地点云,构建待测目标的近似模型;根据待测目标的近似模型,计算待测目标的尺寸。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种光学尺寸测量方法,其特征在于,包括:
获取飞行时间相机采集的待测目标的图像信息;
对所述图像信息进行处理,获得对应的点云数据;
基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型;
根据所述待测目标的近似模型,计算所述待测目标的尺寸。
2.根据权利要求1所述的光学尺寸测量方法,其特征在于,对所述图像信息进行处理,获得对应的点云数据之前,还包括:
在所述图像信息中确定所述待测目标的轮廓线和感兴趣区域;其中,所述待测目标的轮廓线以内为待测目标区域,所述待测目标区域包含在所述感兴趣区域内;
基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型之前,还包括:
根据所述待测目标的轮廓线对所述感兴趣区域内的点云数据进行分割,确定所述待测目标点云和所述参考地点云。
3.根据权利要求1或2所述的光学尺寸测量方法,其特征在于,基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型,包括:
对所述参考地点云进行平面拟合,确定第一参考平面;
对所述待测目标点云进行网络化处理,得到所述待测目标的三维模型;
根据所述第一参考平面和所述待测目标的三维模型,确定所述待测目标的第一体边界和所述待测目标的第二体边界;
根据所述第一体边界和所述第二体边界,拟合所述待测目标的近似模型。
4.根据权利要求3所述的光学尺寸测量方法,其特征在于,确定所述待测目标的第一体边界,包括:
将所述待测目标的三维模型投影至所述第一参考平面,得到第一封闭图形;
对所述第一封闭图形在所述第一参考平面上进行拟合,得到所述第一体边界;或者,
确定所述待测目标的第二体边界,包括:
选取所述待测目标的三维模型距离所述第一参考平面最远的一点,作为参考点;
根据所述参考点和所述第一参考平面,确定第二参考平面;其中,所述第二参考平面通过所述参考点与所述第一参考平面垂直,且通过或平行于所述第一体边界的最大轴线;
将所述待测目标的三维模型投影至所述第二参考平面,得到第二封闭图形;
对所述第二封闭图形在所述第二参考平面上进行拟合,得到所述第二体边界。
5.根据权利要求2所述的光学尺寸测量方法,其特征在于,所述图像信息包括红外图像和深度图像;
在所述图像信息中确定所述待测目标的轮廓线和感兴趣区域,包括:
在所述红外图像中确定所述待测目标的轮廓线和感兴趣区域;
对所述图像信息进行处理,获得对应的点云数据,包括:
对所述深度图像中的所述感兴趣区域进行处理,获得对应的点云数据。
6.根据权利要求5所述的光学尺寸测量方法,其特征在于,在所述红外图像中确定所述待测目标的轮廓线和感兴趣区域,包括:
对所述红外图像进行边缘检测,确定所述待测目标的轮廓线;
从所述轮廓线向外扩展预设的偏移阈值,确定所述感兴趣区域;或者,
对所述红外图像进行边缘检测,确定所述待测目标的轮廓线之后,还包括:
根据所述轮廓线,判断所述待测目标是否完全存在于所述红外图像中;
若所述待测目标完全存在于所述红外图像中,从所述轮廓线向外扩展预设的偏移阈值,确定所述感兴趣区域。
7.一种光学尺寸测量装置,其特征在于,包括:
获取模块,用于获取飞行时间相机采集的待测目标的图像信息;
处理模块,用于对所述图像信息进行处理,获得对应的点云数据;
建模模块,用于基于所述点云数据中的待测目标点云和参考地点云,构建所述待测目标的近似模型;
计算模块,用于根据所述待测目标的近似模型,计算所述待测目标的尺寸。
8.一种光学尺寸测量系统,其特征在于,包括:
飞行时间相机,用于采集待测目标的图像信息;
根据权利要求7所述的光学尺寸测量装置。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述光学尺寸测量方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述光学尺寸测量方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110455794.0A CN115249259A (zh) | 2021-04-26 | 2021-04-26 | 一种光学尺寸测量方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110455794.0A CN115249259A (zh) | 2021-04-26 | 2021-04-26 | 一种光学尺寸测量方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115249259A true CN115249259A (zh) | 2022-10-28 |
Family
ID=83696290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110455794.0A Pending CN115249259A (zh) | 2021-04-26 | 2021-04-26 | 一种光学尺寸测量方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115249259A (zh) |
-
2021
- 2021-04-26 CN CN202110455794.0A patent/CN115249259A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
US10452949B2 (en) | System and method for scoring clutter for use in 3D point cloud matching in a vision system | |
CN109029253B (zh) | 一种包裹体积测量方法、系统、储存介质及移动终端 | |
WO2021016751A1 (zh) | 一种点云特征点提取方法、点云传感系统及可移动平台 | |
US9117281B2 (en) | Surface segmentation from RGB and depth images | |
US10424078B2 (en) | Height measuring system and method | |
JP6632208B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2016068869A1 (en) | Three dimensional object recognition | |
WO2018017184A1 (en) | Systems and methods for improved surface normal estimation | |
KR20140027468A (ko) | 깊이 측정치 품질 향상 | |
US20240127535A1 (en) | Indoor structured reconstruction method, apparatus, and computer-readable storage medium | |
CN109712131A (zh) | 肺结节特征的量化方法、装置、电子设备及存储介质 | |
CN112904369B (zh) | 机器人重定位方法、装置、机器人和计算机可读存储介质 | |
Son et al. | Rapid 3D object detection and modeling using range data from 3D range imaging camera for heavy equipment operation | |
US20210209776A1 (en) | Method and device for depth image fusion and computer-readable storage medium | |
KR101549155B1 (ko) | 라이다 자료를 활용한 구조물의 직선경계 추출방법 | |
CN114565722A (zh) | 一种三维模型单体化实现方法 | |
JP2015125685A (ja) | 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム | |
CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
CN109000560B (zh) | 基于三维相机检测包裹尺寸的方法、装置以及设备 | |
Masuda et al. | Extraction of surface primitives from noisy large-scale point-clouds | |
CN115249259A (zh) | 一种光学尺寸测量方法、装置及系统 | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
CN116363192A (zh) | 仓储货物的体积测量方法、装置、计算机设备及存储介质 | |
CN111915724A (zh) | 一种点云模型切片形状计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |