CN111915666A - 基于移动终端的体积测量方法及装置 - Google Patents

基于移动终端的体积测量方法及装置 Download PDF

Info

Publication number
CN111915666A
CN111915666A CN201910376380.1A CN201910376380A CN111915666A CN 111915666 A CN111915666 A CN 111915666A CN 201910376380 A CN201910376380 A CN 201910376380A CN 111915666 A CN111915666 A CN 111915666A
Authority
CN
China
Prior art keywords
coordinate system
coordinate
image
camera
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910376380.1A
Other languages
English (en)
Inventor
李勇奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910376380.1A priority Critical patent/CN111915666A/zh
Publication of CN111915666A publication Critical patent/CN111915666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本申请公开了一种基于移动终端的体积测量方法及装置。该方法包括：获取由移动终端的相机采集的待测对象的图像；基于图像的标记物区域的多个特征点，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，根据第二顶点坐标确定顶面的面积；根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；根据面积及长度确定待测对象的体积。上述方案，通过将待测对象的二维图像坐标转换到物理世界坐标系，然后对体积进行测量，从而取代了人工测量及人工计算的方案，在节省了人力成本和时间成本的同时，测量精度高，使用简单方便。

Description

基于移动终端的体积测量方法及装置
技术领域
本发明一般涉及体积测量技术领域，具体涉及一种基于移动终端的体积测量方法及装置。
背景技术
随着物流业的快速发展，包裹数量日益增长，包裹体积测量的需求也不断增加。传统的测量方法是利用尺度工具或测量设备进行测量。尺度工具测量方法，其测量速度慢、效率低，无法满足实时需求；设备测量方法一般是采用光幕传感器系统进行测量，其外形体积大，还需要配合对应的控制器，整个安装过程比较复杂。
因此，如何提供一种省时省力的快递寄件体积测量方法，成为目前亟待解决的技术问题。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种基于移动终端的体积测量方法及装置，用于便捷的获取待测对象的体积。
第一方面，本申请实施例提供了一种基于移动终端的体积测量方法，包括：
获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域；
基于所述标记物区域的多个特征点，在所述图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各所述第二特征点坐标之间的距离与所述标记物区域对应的特征点间的实际距离相同；
根据所述顶面各顶点在所述图像物理坐标系的第一顶点坐标及所述投影变换矩阵，确定所述顶面各顶点透视变换至所述相机坐标系内的第二顶点坐标，根据所述第二顶点坐标确定所述顶面的面积；
根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；
根据所述面积及所述长度确定所述待测对象的体积。
进一步地，所述根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度，具体为；
根据以下关系式确定所述侧棱的长度：
h·I4＝M·(R·P4+t)；
其中，h表示所述侧棱的长度；I4表示所述底部端点在所述图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量。
进一步地，所述基于所述标记物区域的特征点，在所述图像的图像物理坐标系的第一特征点坐标，以及相机坐标系的第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，具体为：根据以下关系式确定所述投影变换矩阵，
Figure BDA0002051819590000021
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Jix为第i个所述第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，所述投影变换矩阵为[h00 h01 h02 h10 h11 h12 h20 h21]T。
进一步地，根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure BDA0002051819590000031
Figure BDA0002051819590000032
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3；所述旋转矩阵
Figure BDA0002051819590000033
所述平移向量t＝[t0 t1 t2]T；α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
进一步地，根据所述旋转矩阵及所述平移向量，将所述侧棱的底部端点刚体变换至世界坐标系中获得所述P4，通过所述相机的内参矩阵将所述P4投影到图像物理坐标系中获得所述I4。
第二方面，本申请实施例提供一种基于移动终端的体积测量装置，包括：
获取单元，用于获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域；
投影变换矩阵计算单元，用于基于所述标记物区域的多个特征点，在所述图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各所述第二特征点坐标之间的距离与所述标记物区域对应的特征点间的实际距离相同；
面积计算单元，用于根据所述顶面各顶点在所述图像物理坐标系的第一顶点坐标及所述投影变换矩阵，确定所述顶面各顶点透视变换至所述相机坐标系内的第二顶点坐标，根据所述第二顶点坐标确定所述顶面的面积；
侧棱长度计算单元，用于根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；
体积计算单元，用于根据所述面积及所述长度确定所述待测对象的体积。
进一步地，所述侧棱长度计算单元，具体用于根据以下关系式确定所述侧棱的长度：
h·I4＝M·(R·P4+t)；
其中，h表示所述侧棱的长度；I4表示所述底部端点在所述图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量。
进一步地，所述投影变换矩阵计算单元，用于根据以下关系式确定所述投影变换矩阵，
Figure BDA0002051819590000041
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Jix为第i个所述第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，所述投影变换矩阵为[h00 h01 h02 h10 h11 h12 h20 h21]T。
进一步地，还包括：
相机外参计算单元，用于根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure BDA0002051819590000042
Figure BDA0002051819590000043
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3；所述旋转矩阵
Figure BDA0002051819590000051
所述平移向量t＝[t0 t1 t2]T；α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
进一步地，还包括：
顶点坐标获取单元，用于根据所述旋转矩阵及所述平移向量，将所述侧棱的底部端点刚体变换至世界坐标系中获得所述P4，通过所述相机的内参矩阵将所述P4投影到图像物理坐标系中获得所述I4。
本申请实施例提供的上述方案，由移动终端的相机采集获取待测对象的图像，图像包括待测对象的顶面、侧棱及标记物区域，标记物区域是作为后续进行图像变换进而获得各特征点坐标进行体积计算的参考，标记物区域可以是粘贴在待测对象上的快递面单、预定形状大小的参考图形等。通过上述方案只需对待测对象进行拍照，并对照片进行坐标变换即可计算出待测对象的体积，可以取代人工测量及人工计算的方案，在节省了人力成本和时间成本的同时，具有测量精度高，使用简单方便的优点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的基于移动终端的体积测量方法的流程示意图；
图2示出了本申请实施例提供的将待测对象转化到相机坐标系中的示意图；
图3示出了根据本申请一个实施例提供的基于移动终端的体积测量装置示例性结构框图；
图4示出了根据本申请又一个实施例提供的基于移动终端的体积测量装置示例性结构框图；
图5示出了根据本申请再一个实施例提供的基于移动终端的体积测量装置示例性结构框图；
图6示出了适于用来实现本申请实施例的基于移动终端的体积测量的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1所示，图1给出了本申请实施例提供的基于移动终端的体积测量方法的流程示意图，该方法可以但不限于由移动终端及其内安装的APP(Application；应用软件)来实现，即有移动终端的相机对待测对象进行拍照，APP对所拍照得到的图片进行相应的数据读取及处理得到待测对象的体积，具体的处理流程参见下文详细介绍。其中，移动终端可以是智能手机、平板电脑等。
具体地，如图1所示，该方法包括：
S1：图像获取；获取由移动终端的相机采集的待测对象的图像，图像包括待测对象的顶面、侧棱及标记物区域；
通过移动终端的相机对待测对象体进行拍照，在拍照时，需要获得待测对象体三维角度的图像，即图像中需要包括待测对象的顶面及侧棱，该图像作为后续处理的原始数据，通过顶面的面积及侧棱的长度即可得到待测对象的体积。如何确定待测对象顶面的面积及侧棱的长度，是本实施例的关键点。在该实施例中，通过在待测对象的其中一面设置标记物，以使获得的图像中具有表示该标记物的标记物区域，标记物可以是粘贴在待测对象上的快递面单、预定形状大小的参考图形等。
S2：确定投影变换矩阵；基于标记物区域的多个特征点，在图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各第二特征点坐标之间的距离与标记物区域对应的特征点间的实际距离相同；
本实施例中涉及以下几个坐标系：世界坐标系，图像坐标系及相机坐标系。其中，图像坐标系包括图像物理坐标系和图像像素坐标系，图像物理坐标系一般以图像的平面中点为原点，横轴为x轴，纵轴为y轴，单位为毫米、厘米等；图像像素坐标系一般以图像的平面左上角顶点为原点，横轴为u轴，纵轴为v轴，单位为像素。相机坐标系是以相机的光轴为z轴，x轴和y轴与图像坐标系平行的三维直角坐标系；世界坐标系是客观三维世界的绝对坐标系，其亦为三维直角坐标系，用来描述相机及待测对象在此三维环境中的位置，单位为毫米、厘米等。
标记物上均具有多个特征点，特征点作为参考点使用，特征点可以是顶点、边界点、节点等。例如但不限于，如图2所示，若待测对象为长方体快递箱，标记物为快递面单，则特征点可以为快递面单的四个顶点，该四个顶点在标记物区域所对应的像点即为标记物区域的特征点。长方体的顶点及标记物的特征点在世界坐标系，图像坐标系及相机坐标系中存在以下映射关系。在世界坐标系中长方体快递箱的六个顶点依次标记为P0～P5(三维点)，快递面单的四个顶点依次标记为C0～C3；在图像坐标系中长方体快递箱的六个顶点依次标记为I0～I5(二维点)，且与P0～P5一一对应，快递面单的四个顶点依次标记为J0～J3(二维点)，且与C0～C3一一对应；在相机坐标系下假想一个与世界坐标系一样的快递箱，则在世界坐标系中快递箱的六个顶点依次标记为Q0～Q5(三维点)，且与P0～P5一一对应，快递面单的四个顶点依次标记为D0～D3(三维)表示标记物的四个顶点，与C0～C3对应。
在相机坐标系中，假想的快递箱大小(或称为投射至相机坐标系的快递箱的像的大小)与世界坐标系中的实际快递箱的大小是一致的，则实际的快递面单与相机坐标系中作为标记物区域的快递面单的图像大小也是一致的，由于快递面单的大小(也即特征点间的距离)是已知的，则根据快递面单的实际大小，确定其在相机坐标系内的坐标。例如，快递面单长为80mm，宽为60mm，若将快递面单左上角投射至相机坐标系原点，则快递面单的四个顶点坐标D0～D3依次为(0，0)(80，0)、(80，-60)、(0，-60)，若将快递面单左上角投射至相机坐标系(10，10)，则快递面单的四个顶点坐标D0～D3依次为(10，10)(90，10)、(90，-50)、(0，-50)，同理，只要依据特征点之间的实际距离，可以将特征点投射至相机坐标系的任一位置。
图像在图像坐标系中，其各点都有唯一的图像物理坐标和图像像素坐标，对于每一点都可以直接读取出其图像物理坐标和图像像素坐标。该步骤中，需要读取特征点的图像物理坐标。
图像坐标系中的各特征点与相机坐标系中的各特征点存在一定的透视变换关系。通过图像坐标系中特征点的图像物理坐标与相机坐标系中特征点的坐标确定用于表征图像中的各点由图像物理坐标系透视变换至相机坐标系的映射关系的投影变换矩阵。其中，投影变换矩阵随特征点在像极坐标系中的坐标改变而改变。这里的透视变换是指将图片投影到一个新的视平面，如至少将具有标记物的面投影到相机坐标系的其中一个坐标平面内，该实施例是投影到xy坐标平面内。
S3：确定顶面的面积，根据顶面各顶点在图像物理坐标系的第一顶点坐标及投影变换矩阵，确定顶面各顶点透视变换至相机坐标系内的第二顶点坐标，根据第二顶点坐标确定顶面的面积；
读取顶面各顶点在图像物理坐标系的第一顶点坐标，第一顶点坐标为各顶点的物理坐标，其依次表示为I0～I5，由于投影变换矩阵是将图像中的各点由图像物理坐标系透视变换至相机坐标系的映射关系，则在读取I0～I3后，根据该映射关系即可确定I0～I3对应于相机坐标系内的坐标Q0～Q3，在得到坐标Q0～Q3后，根据其几何关系即可求得顶面的面积。基于上文该实施例以长方体快递箱为例，则其顶面的面积为长L·宽W，其中，长L＝|Q3的横坐标-Q2的横坐标|，宽W＝|Q3的纵坐标-Q0的纵坐标|。
S4：确定高度；根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度。
S5：确定体积；根据面积及长度确定待测对象的体积。
由所得的面积及长度的乘积得到待测对象的体积。
上述方案，由移动终端的相机采集获取待测对象的图像，图像包括待测对象的顶面、侧棱及标记物区域，标记物区域是作为后续进行图像变换进而获得各特征点坐标进行体积计算的参考，标记物区域可以是粘贴在待测对象上的快递面单、预定形状大小的参考图形等。通过上述方案只需对待测对象进行拍照，并对照片进行坐标变换即可计算出待测对象的体积，可以取代人工测量及人工计算的方案，在节省了人力成本和时间成本的同时，具有测量精度高，使用简单方便的优点。
此外，该方案通过标记物区域作为投影变换的参考基准，采用单目相机拍摄二维图像即可进行作为快递包装的待测对象体积的测定，且边长误差一般小于3mm，相对于待测对象的大小，其可以忽略不计。相对于采用双目或深度相机，通过待测物体的深度信息来确定待测对象的体积，具有成本低，实现方便，计算量小的优点。
进一步地，根据以下关系式确定侧棱的长度：
h·I4＝M·(R·P4+t)； (式1)
其中，h表示侧棱的长度；I4表示图像物理坐标系对应的顶点的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量；
在确定顶面的面积后，再获知高度即可得到待测对象的体积。设待测对象的侧棱的长度即为所需的高度，侧棱底部端点Q4的轴坐标即为侧棱的长度，通过平移向量及旋转矩阵将Q4刚性变换到世界坐标系的P4，在通过内参矩阵将P4投影到图像坐标系的I4，经过上述变化，获得了具有高度参数的P4、I4的坐标，并根据式1求解高度参数，即长度h。
进一步地，根据以下关系式确定投影变换矩阵H，
Figure BDA0002051819590000101
其中，Dix为第i个第二特征点坐标的x坐标，Diy为第i个第二特征点坐标的y坐标，Jix为第i个第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，投影变换矩阵为[h00h01 h02 h10 h11 h12 h20 h21]T。
投影变换矩阵以3×3矩阵的形式表示为
Figure BDA0002051819590000102
第一特征点坐标J0的坐标以矩阵形式表示为
Figure BDA0002051819590000103
第二特征点坐标D0的齐次坐标表示为
Figure BDA0002051819590000104
D0＝H·J0；
则，D0的x、y坐标分别表示为：
Figure BDA0002051819590000105
Figure BDA0002051819590000106
式3、式4可以变换为：
D0x＝h00J0x+h01J0y+h02-h20J0xD0x-h21J0yD0x (式5)
D0y＝h10J0x+h11J0y+h12-h20J0xD0y-h21J0yD0y (式6)
同理可得D1～D3的x、y坐标，将得到的8个方程写作上式2的线性方程组，由于J0～J3和D0～D3的x、y坐标已知，求解上述方程组则可得到h00～h21，即投影变换矩阵H。
在得到投影变换矩阵H后，将待测对象的顶面在图像坐标系的四个顶点坐标I0，I1，I2，I3转换成相机坐标系下的顶点坐标Q0，Q1，Q2，Q3；
I0的坐标以矩阵形式表示为
Figure BDA0002051819590000111
Q0的坐标以矩阵形式表示为
Figure BDA0002051819590000112
则
Figure BDA0002051819590000113
同理可得Q1～Q3的坐标。
因此，包裹的长L＝|Q3x-Q2x|，宽W＝|Q3y-Q0y|，此长乘以宽即为顶面的面积。
进一步地，通过相机内参M以及J0～J3和D0～D3的坐标，依据solvePnP算法求解出旋转矩阵R和平移向量t。也即，根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure BDA0002051819590000114
Figure BDA0002051819590000115
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3，α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
具体的，相机内参M表示为：
Figure BDA0002051819590000116
旋转矩阵R表示为：
Figure BDA0002051819590000117
平移向量t表示为：
Figure BDA0002051819590000121
J0的坐标以矩阵形式表示为：
Figure BDA0002051819590000122
D0的齐次坐标表示为：
Figure BDA0002051819590000123
根据相机模型J0的x、y坐标分别表示为：
Figure BDA0002051819590000124
同理，可以得到J1～J3的x、y坐标，即可以得到共8个方程，未知变量r00～r22、t0～t2，共12个，但由于旋转矩阵R为正交矩阵，只有三个自由度，因此共6个未知量，6个方程就可以求得R和t。
进一步地，根据旋转矩阵及所述平移向量，将侧棱的底部端点刚体变换至世界坐标系中获得P4，通过相机的内参矩阵将P4投影到图像物理坐标系中获得I4。
具体地，设包装箱高度为h，则Q4在相机坐标系内的坐标表示为：Q4＝[Q3x Q3y h]T，通过R、t将Q4刚体变换到世界坐标系的P4，然后通过内参矩阵M将P4投影到图像坐标系的I4，可以建立如下方程：
h·I4＝M·(R·P4+t)；
所谓刚体变换，就是一个可被看做刚体的物体，从一个状态(位置和朝向)，转换为另一个状态的过程。
求解上述方程即可得到包装箱的高度h。其中，h表示待测对象的高度值；I4表示底部端点在图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示底部端点在世界坐标系的坐标值，t表示平移向量。
在计算出h后，再根据体积V＝l×w×h，计算出待测对象的体积。本申请通过将待测对象的二维图像坐标转换到相机坐标系及世界坐标系，最终获得了待测对象的体积，此方案取代了人工测量及人工计算的方案，在节省了人力成本和时间成本的同时，测量精度高，使用简单方便。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
进一步地，请参考图3，图3给出了本申请实施例提供的基于移动终端的体积测量装置的示例性结构框图。
如图3所示，该装置包括：获取单元1，用于获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域；投影变换矩阵计算单元2，用于基于所述标记物区域的多个特征点，在所述图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各所述第二特征点坐标之间的距离与所述标记物区域对应的特征点间的实际距离相同；面积计算单元3，用于根据所述顶面各顶点在所述图像物理坐标系的第一顶点坐标及所述投影变换矩阵，确定所述顶面各顶点透视变换至所述相机坐标系内的第二顶点坐标，根据所述第二顶点坐标确定所述顶面的面积；侧棱长度计算单元4，用于根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；体积计算单元5，用于根据所述面积及所述长度确定所述待测对象的体积。
该装置实施例用于实现上述实施例的方法，其工作原理及效果参见上述方式实施例，这里不再赘述。
进一步地，所述侧棱长度计算单元，具体用于根据以下关系式确定所述侧棱的长度：
h·I4＝M·(R·P4+t)；
其中，h表示所述侧棱的长度；I4表示所述底部端点在所述图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量。
进一步地，投影变换矩阵计算单元，用于根据以下关系式确定投影变换矩阵，
Figure BDA0002051819590000141
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Jix为第i个所述第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，所述投影变换矩阵为[h00 h01 h02 h10 h11 h12 h20 h21]T。
进一步地，如图4所示，还包括：相机外参计算单元6，用于根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure BDA0002051819590000142
Figure BDA0002051819590000143
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3；所述旋转矩阵
Figure BDA0002051819590000144
所述平移向量t＝[t0 t1 t2]T；α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
进一步地，如图5所示，还包括：顶点坐标获取单元7，用于根据所述旋转矩阵及所述平移向量，将所述侧棱的底部端点刚体变换至世界坐标系中获得所述P4，通过所述相机的内参矩阵将所述P4投影到图像物理坐标系中获得所述I4。
下面参考图6，其示出了适于用来实现本申请实施例的方法的计算机系统的结构示意图。
如图6所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、更新单元、获取单元以及指令单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，获取单元还可以被描述为“用于获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的应用于确定分拣场地的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于移动终端的体积测量方法，其特征在于，包括：
获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域；
基于所述标记物区域的多个特征点，在所述图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各所述第二特征点坐标之间的距离与所述标记物区域对应的特征点间的实际距离相同；
根据所述顶面各顶点在所述图像物理坐标系的第一顶点坐标及所述投影变换矩阵，确定所述顶面各顶点透视变换至所述相机坐标系内的第二顶点坐标，根据所述第二顶点坐标确定所述顶面的面积；
根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；
根据所述面积及所述长度确定所述待测对象的体积。
2.如权利要求1所述的基于移动终端的体积测量方法，其特征在于，所述根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度，具体为；
根据以下关系式确定所述侧棱的长度：
h·I4＝M·(R·P4+t)；
其中，h表示所述侧棱的长度；I4表示所述底部端点在所述图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量。
3.如权利要求2所述的基于移动终端的体积测量方法，其特征在于，所述基于所述标记物区域的特征点，在所述图像的图像物理坐标系的第一特征点坐标，以及相机坐标系的第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，具体为：根据以下关系式确定所述投影变换矩阵，
Figure FDA0002051819580000021
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Jix为第i个所述第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，所述投影变换矩阵为[h00 h01 h02 h10 h11 h12 h20 h21]T。
4.如权利要求3所述的基于移动终端的体积测量方法，其特征在于，根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure FDA0002051819580000022
Figure FDA0002051819580000023
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3；所述旋转矩阵
Figure FDA0002051819580000024
所述平移向量t＝[t0 t1 t2]T；α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
5.如权利要求2-4任一项所述的基于移动终端的体积测量方法，其特征在于，根据所述旋转矩阵及所述平移向量，将所述侧棱的底部端点刚体变换至世界坐标系中获得所述P4，通过所述相机的内参矩阵将所述P4投影到图像物理坐标系中获得所述I4。
6.一种基于移动终端的体积测量装置，其特征在于，包括：
获取单元，用于获取由所述移动终端的相机采集的待测对象的图像，所述图像包括待测对象的顶面、侧棱及标记物区域；
投影变换矩阵计算单元，用于基于所述标记物区域的多个特征点，在所述图像的图像物理坐标系对应的多个第一特征点坐标，以及相机坐标系对应的多个第二特征点坐标，确定图像物理坐标系透视变换至相机坐标系的投影变换矩阵，各所述第二特征点坐标之间的距离与所述标记物区域对应的特征点间的实际距离相同；
面积计算单元，用于根据所述顶面各顶点在所述图像物理坐标系的第一顶点坐标及所述投影变换矩阵，确定所述顶面各顶点透视变换至所述相机坐标系内的第二顶点坐标，根据所述第二顶点坐标确定所述顶面的面积；
侧棱长度计算单元，用于根据所述侧棱的底部端点在所述相机坐标系、所述图像物理坐标系及世界坐标系之间的变换关系，确定所述侧棱的长度；
体积计算单元，用于根据所述面积及所述长度确定所述待测对象的体积。
7.如权利要求6所述的基于移动终端的体积测量装置，其特征在于，
所述侧棱长度计算单元，具体用于根据以下关系式确定所述侧棱的长度：
h·I4＝M·(R·P4+t)；
其中，h表示所述侧棱的长度；I4表示所述底部端点在所述图像物理坐标系的坐标值；M表示内参矩阵，R表示旋转矩阵，P4表示所述底部端点在所述世界坐标系的坐标值，t表示平移向量。
8.如权利要求7所述的基于移动终端的体积测量装置，其特征在于，所述投影变换矩阵计算单元，用于根据以下关系式确定所述投影变换矩阵，
Figure FDA0002051819580000041
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Jix为第i个所述第一特征点坐标的x坐标，Jiy为第i个所述第一特征点坐标的y坐标，i为0、1、2、3，所述投影变换矩阵为[h00 h01 h02 h10 h11 h12 h20 h21]T。
9.如权利要求8所述的基于移动终端的体积测量装置，其特征在于，还包括：
相机外参计算单元，用于根据以下关系式确定所述旋转矩阵及所述平移向量：
Figure FDA0002051819580000042
Figure FDA0002051819580000043
其中，Dix为第i个所述第二特征点坐标的x坐标，Diy为第i个所述第二特征点坐标的y坐标，Diz为第i个所述第二特征点坐标的z坐标，uix为第i个所述特征点在图像像素坐标系内的横坐标，viy为第i个所述特征点在图像像素坐标系内的纵坐标，i为0、1、2、3；所述旋转矩阵
Figure FDA0002051819580000044
所述平移向量t＝[t0 t1 t2]T；α和β为所述相机的焦距，u0为所述相机光轴在图像像素坐标系内的横轴偏移量，v0为所述相机光轴在图像像素坐标系内的纵轴偏移量。
10.如权利要求7-9任一项所述的基于移动终端的体积测量装置，其特征在于，还包括：
顶点坐标获取单元，用于根据所述旋转矩阵及所述平移向量，将所述侧棱的底部端点刚体变换至世界坐标系中获得所述P4，通过所述相机的内参矩阵将所述P4投影到图像物理坐标系中获得所述I4。
CN201910376380.1A 2019-05-07 2019-05-07 基于移动终端的体积测量方法及装置 Pending CN111915666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376380.1A CN111915666A (zh) 2019-05-07 2019-05-07 基于移动终端的体积测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376380.1A CN111915666A (zh) 2019-05-07 2019-05-07 基于移动终端的体积测量方法及装置

Publications (1)

Publication Number Publication Date
CN111915666A true CN111915666A (zh) 2020-11-10

Family

ID=73242447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376380.1A Pending CN111915666A (zh) 2019-05-07 2019-05-07 基于移动终端的体积测量方法及装置

Country Status (1)

Country Link
CN (1) CN111915666A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113358175A (zh) * 2021-05-27 2021-09-07 苏州西热节能环保技术有限公司 针对大型不规则煤堆的常压变容煤堆体积测量装置和方法
CN113643350A (zh) * 2021-07-21 2021-11-12 宜宾中星技术智能系统有限公司 在视频画面上进行立体测量的方法、装置、终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228052A1 (en) * 2008-09-18 2011-09-22 Omron Corporation Three-dimensional measurement apparatus and method
CN106813568A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 物体测量方法及装置
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228052A1 (en) * 2008-09-18 2011-09-22 Omron Corporation Three-dimensional measurement apparatus and method
CN106813568A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 物体测量方法及装置
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113358175A (zh) * 2021-05-27 2021-09-07 苏州西热节能环保技术有限公司 针对大型不规则煤堆的常压变容煤堆体积测量装置和方法
CN113643350A (zh) * 2021-07-21 2021-11-12 宜宾中星技术智能系统有限公司 在视频画面上进行立体测量的方法、装置、终端设备
CN113643350B (zh) * 2021-07-21 2023-09-12 宜宾中星技术智能系统有限公司 在视频画面上进行立体测量的方法、装置、终端设备

Similar Documents

Publication Publication Date Title
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
Wöhler 3D computer vision: efficient methods and applications
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
Matsushita et al. Efficient and handy texture mapping on 3d surfaces
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
Rosten et al. Camera distortion self-calibration using the plumb-line constraint and minimal Hough entropy
KR20130138247A (ko) 신속 3ｄ 모델링
JPH10221072A (ja) 写真測量システムおよび写真測量方法
JP2011129082A (ja) ３次元物体認識装置及び３次元物体認識方法
CN109029618B (zh) 单目视觉包装箱体积测量方法
CN111179351B (zh) 一种参数标定方法及其装置、处理设备
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN111915666A (zh) 基于移动终端的体积测量方法及装置
CN114037987A (zh) 一种废钢智能识别方法、装置、介质及设备
Mery Explicit geometric model of a radioscopic imaging system
JP2014071035A (ja) 画像処理装置及び方法
US7379599B1 (en) Model based object recognition method using a texture engine
CN114332241B (zh) 一种外参标定方法、三维重建方法、存储介质
CN111307037B (zh) 一种基于3d摄像头的手持体积测量装置
JP2006300656A (ja) 画像計測方法、装置、プログラム及び記録媒体
Lu et al. Calibration of a 3D vision system using pattern projection
Wu et al. An accurate novel circular hole inspection method for sheet metal parts using edge-guided robust multi-view stereo
CN112150527B (zh) 测量方法及装置、电子设备及存储介质
CN214039921U (zh) 基于差分投影的立体视觉三维检测装置
Zhang et al. An efficient method for dynamic calibration and 3D reconstruction using homographic transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination