CN111027405B - 物品空间占比估计方法、装置、终端及存储装置 - Google Patents

物品空间占比估计方法、装置、终端及存储装置 Download PDF

Info

Publication number
CN111027405B
CN111027405B CN201911121128.2A CN201911121128A CN111027405B CN 111027405 B CN111027405 B CN 111027405B CN 201911121128 A CN201911121128 A CN 201911121128A CN 111027405 B CN111027405 B CN 111027405B
Authority
CN
China
Prior art keywords
image
images
space
object space
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911121128.2A
Other languages
English (en)
Other versions
CN111027405A (zh
Inventor
王枫
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911121128.2A priority Critical patent/CN111027405B/zh
Publication of CN111027405A publication Critical patent/CN111027405A/zh
Application granted granted Critical
Publication of CN111027405B publication Critical patent/CN111027405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种物品空间占比估计方法、装置、终端及存储装置，其中方法包括：获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像；提取每张图像的多个特征点；将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对；利用匹配的特征点对计算物品在物品空间的占比。本发明通过从多个摄像头从不同角度拍摄物品的图像，保证物品的各个角度均被覆盖到，避免视觉盲区影响最终测量结果，提高了测量的稳定性和准确性。

Description

物品空间占比估计方法、装置、终端及存储装置
技术领域
本申请涉及物流仓储技术领域，特别是涉及一种物品空间占比估计方法、装置、终端及存储装置。
背景技术
随着国内快递业务的爆发式增长，快递公司的物流中转站每天需要处理的包裹量也同时在爆发式增长，每个物流中转站可能会有成百上千个格口，每个格口都用于装卸包裹，而对于每个格口的包裹的堆放量的监控显得尤为重要。大部分的物流公司仍然采用的是人工监测调度的方式，即当某个格口内出现空缺时，安排调度包裹至该格口，或当某个格口内包裹快递太多，甚至出现爆仓的问题，调用送货车辆来将包裹送走。该种人工监控的方式自动化程度低，需要消耗较多人力，且存在监控不及时导致出现爆仓的问题。
目前，现有的技术方案是采用单目或双目视觉系统进行格口区域包裹的堆放量进行检测，但是采用的单目或双目视觉系统进行测量时，无法精确定位物品的空间位置信息，导致出现测量误差，并且存在视觉盲区，也会导致测量结果不准确，最终的测量效果较差。
发明内容
本申请提供一种物品空间占比估计方法、装置、终端及存储装置，以解决现有物流中转站的格口包裹堆放量的测量精度较差的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种物品空间占比估计方法，包括：获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像；提取每张图像的多个特征点；将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对；利用匹配的特征点对计算物品在物品空间的占比。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种物品空间占比估计装置，包括：获取模块，用于获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像；提取模块，与获取模块耦合，用于提取每张图像的多个特征点；匹配模块，与提取模块耦合，用于将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对；计算模块，与匹配模块耦合，用于利用匹配的特征点对计算物品在物品空间的占比。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种终端，该终端包括处理器、与处理器耦接的存储器和多个摄像头，其中，存储器存储有用于实现上述任一项的物品空间占比估计方法的程序指令；处理器用于执行存储器存储的程序指令以估算物品的空间占比；多个摄像头用于从不同角度拍摄物品空间的图像。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储装置，存储有能够实现上述任一项的物品空间占比估计方法的程序文件。
本申请的有益效果是：本发明通过设置多个摄像头，并通过摄像头分别从不同的角度去拍摄物品空间中物品的图像，从而获得物品各个不同角度的图像，再根据各个不同角度的图像两两进行特征点匹配，以提高测量结果的精度，能够准确定位物品的空间位置信息，再根据匹配的特征点来对物品在物品空间的占比进行预估，得到一个精确度高的测量结果，并且不同角度拍摄物品的图像避免了出现视觉盲区，使得最终的测量结果更准确。
附图说明
图1是本发明第一实施例的物品空间占比估计方法的流程示意图；
图2是本发明第二实施例的物品空间占比估计方法的流程示意图；
图3是本发明第三实施例的物品空间占比估计方法的流程示意图；
图4是本发明构建的摄像头的几何模型的示意图；
图5是本发明第四实施例的物品空间占比估计方法的流程示意图；
图6是本发明物品空间内积分区域划分示意图；
图7是本发明实施例的物品空间占比估计装置的结构示意图；
图8是本发明实施例的终端的结构示意图；
图9是本发明实施例的存储装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的物品空间占比估计方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S100，获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像。
需要说明的是，物品空间用于存放物品，多个摄像头用于拍摄整个物品空间的图像，图像中包括了物品空间内的物品，通常地，物品空间为一规则的矩形空间，例如，物流中转站中的格口区域，为了能够从不同角度拍摄物品的图像，多个摄像头的数目优选为四个，分别设置于物品空间的四个顶角上，并且，两两摄像头的连线与地面平行，每两个摄像头构成一组双目系统，从而构成六组双目系统。需要理解的是，在一些实施例中，摄像头的数目还可以是三个、五个或五个以上，均属于本发明的保护范围之内。例如，当摄像头的数目为三个时，则可将三个摄像头分别设置于物品空间的顶部的三条边上，使得三个摄像头之间可以构成一个三角形(优选为正三角形或与正三角形较为接近的三角形)。
在步骤S100中，通过多个摄像头拍摄分别从不同的角度拍摄物品空间中物品的图像，并将多个摄像头拍摄的图像两两进行配对，例如，以下述例子进行说明，假设有A、B、C、D四个摄像头，分别拍摄了a、b、c、d四张照片，两两配对则可得到：ab、ac、ad、bc、bd、cd共六对图像。
步骤S101，提取每张图像的多个特征点。
在步骤S101中，采用SURF算法对每对图像进行特征提取，得到每张图像的多个特征点，SURF算法是一种高鲁棒性的局部特征点检测器，具有尺度、旋转、平移等不变性，对视角变化、仿射变换、噪声、光照等影响也保持一定程度的稳定性。
具体为，获取每个像素点的坐标(x,y)，再通过SURF算法计算图像中像素点的Hessian矩阵，每个像素点都可以求解出一个Hessian矩阵：
Hessian矩阵的判别式为：
当Hessian矩阵的判别式取得局部极值时，判定当前点是比周围邻域内其他点更亮或者更暗的点，由此来判定关键点的位置。当H(f(x,y))为正定矩阵时，(x,y)处是一个局部极小值；当H(f(x,y))为负定矩阵时，(x,y)处是一个局部极大值；当H(f(x,y))为不定矩阵时，(x,y)处不是极值。
进一步的，为了保证特征点的尺度无关性，在构造Hessian矩阵之前，需要进行高斯滤波，具体：
L表示图像的高斯尺度空间。
在一些实施例中，还可以盒式滤波器来近似代替高斯滤波器，以提高运算速度，盒式滤波器对图像的滤波转化为计算图像上不同区域间像素和的加减运算的问题，只需要查找积分图就可以完成，每个像素的Hessian矩阵行列式的近似值：
Det(H)＝Lxx*Lyy-(0.9*Lxy)2；
在Lxy上乘上一个加权系数0.9，目的是为了平衡因使用盒式滤波器近似带来的误差。
进一步的，摄像头拍摄物品空间的图像时，可能会将物品空间以外的区域也拍摄至图像中，因此，在进行特征点提取时，需要先圈定物品空间的区域范围，删除物品空间以外区域的特征点。
步骤S102，将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对。
在步骤S102中，在得到每张图像的特征点之后，将同一对图像中一张图像的每个特征点分别与另一张图像中的所有特征点进行匹配，从而得到一对图像中两张图像之间互相匹配的特征点对，从而得到每对图像的匹配的特征点对。
需要说明的是，未匹配成功的特征点则舍弃，不参与后续计算物品在物品空间中的占比。
步骤S103，利用匹配的特征点对计算物品在物品空间的占比。
在步骤S103中，利用匹配的特征点对对整个物品空间进行三维重建，从而得到物品空间的空间立体图，而物品空间通常为一规则的矩形空间，物品堆放在物品空间的底平面上，根据空间立体图计算物品的体积，再结合物品空间的体积进行计算，从而得到物品在物品空间中的体积占比。
本发明通过设置多个摄像头，并通过摄像头分别从不同的角度去拍摄物品空间中物品的图像，从而获得物品各个不同角度的图像，再根据各个不同角度的图像两两进行特征点匹配，以提高测量结果的精度，能够准确定位物品的空间位置信息，再根据匹配的特征点来对物品在物品空间的占比进行预估，得到一个精确度高的测量结果，并且不同角度拍摄物品的图像避免了出现视觉盲区，使得最终的测量结果更准确。
图2是本发明第二实施例的物品空间占比估计方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该方法包括步骤：
步骤S200，获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像。
在本实施例中，图2中的步骤S200和图1中的步骤S100类似，为简约起见，在此不再赘述。
步骤S201，提取每张图像的多个特征点。
在本实施例中，图2中的步骤S201和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S202，为每个特征点构建特征向量。
在步骤S202中，对于提取后的特征点构建特征向量来对其进行描述，具体为：在特征点圆形区域内通过Haar小波响应确定一个主方向，使得特征向量具有旋转不变性，再以特征点为中心，沿着特征点的主方向，提取特征点周围4×4个矩形区域块，每个子区域统计25个像素点水平方向和垂直方向的Haar小波特征，本实施例中所述的水平和垂直方向都是相对主方向而言的，该Harr小波特征为水平方向值之和、垂直方向值之和、水平方向值绝对值之和以及垂直方向绝对之和四个方向，将这四个值作为每个子块区域的特征向量，所以一共有4×4×4＝64维向量作为特征点的特征向量。
步骤S203，计算同一对图像中一张图像的每个特征点的特征向量到另一张图像的所有特征点的特征向量的欧式距离，得到每个特征点的多个欧式距离。
在步骤S203中，利用最近邻域匹配方法，计算一对图像中，一张图像的特征点的特征向量，与另一张图像中所有特征点的特征向量之间的欧式距离，以下述例子为例进行说明，例如a、b两张图像，计算a图像中每个特征点的特征向量，与b图像中所有特征点的特征向量之间的距离，从而得到a、b图像中，每个特征点对应的多个欧式距离。
步骤S204，从多个欧式距离中确认最小欧式距离和次最小欧式距离。
在步骤S204中，在得到一对图像中每个特征点对应的多个欧式距离之后，获取每个特征点的对应的多个欧式距离中的最小值和次最小值，即最小欧式距离和次最小欧式距离。
步骤S205，当最小欧式距离与次最小欧式距离的比值小于预设阈值时，确认最小欧式距离对应的两个特征点匹配。
在步骤S205中，计算最小欧式距离和次最小欧式距离之间的比值，当最小欧式距离和次最小欧式距离的比值小于预设阈值时，则认为最小欧式距离对应的两个特征向量所对应的两个特征点是匹配的，否则，不匹配，其中预设阈值一般取0.6。
步骤S206，利用匹配的特征点对计算物品在物品空间的占比。
在本实施例中，图2中的步骤S206和图1中的步骤S106类似，为简约起见，在此不再赘述。
本实施例中，在提取特征点之后，构建特征点的特征向量以对其进行描述，再计算特征向量之间的欧式距离，从而确认特征点之间是否匹配，其通过多对图像之间互相匹配的特征点互相之间进行修正，提高各自的准确性，再根据匹配的特征点计算物品在物品空间中的体积占比，测量结果精确度高。
图3是本发明第三实施例的物品空间占比估计方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该方法包括步骤：
步骤S300，标定多个摄像头拍摄图像的纵横比。
在步骤S300中，请参阅图4，首先建立如图4所示的摄像头的几何模型，在进行世界坐标系与摄像头坐标系的变换时，采用旋转矩阵R和平移向量t来描述：
其中：[xc,yc,zc]T为摄像头坐标系点坐标，[XW,YW,ZW]T为世界坐标系点坐标，
将点坐标从摄像头坐标系到归一化平面图像坐标系的表换：
xu＝fxc/zc，yu＝fyc/zc；
其中：f为摄像头的成像焦距，(xu,yu)为归一化虚平面图像坐标系理想点坐标。
对归一化虚平面图像坐标系中点坐标进行畸变：
xd＝(1+k1r2)xu，yd＝(1+k1r2)yu；
其中：k1为一阶径向畸变系数。
将归一化虚平面图像坐标系畸变点坐标转换为计算机图像坐标系的坐标：
u＝xd/dx+cx，v＝yd/dy+cy，sx＝dy/dx；
其中：(u,v)为计算机图像坐标系像素点坐标，(cx,cy)为主点o的像素坐标即主点坐标，(dx,dy)分别为图像平面上x和y方向上单位像素间的距离，sx为图像的纵横比。
步骤S301，调整多个摄像头的焦距并拍摄同一物体，再根据拍摄的图像计算所有图像的缩放中心点的主点坐标。
在步骤S301中，当摄像头的有效焦距变化时，所拍的图像会发生放缩，而光轴不变，故光轴与图像平面的焦点(主点)不变。因此，可以利用摄像头不同焦距拍摄同一物体，然后计算其放缩中心点的主点坐标。例如：假定摄像头的焦距由f1变为f2，则有：
(x2-cx)/(x1-cx)＝(y2-cx)/(y1-cx)；
即:[y1-y2 x2-x1]*[cx cy]T＝x2y1-x1y2。
其中：(x1,y1)为在有效焦距f1下某个特征点的像素坐标，(x2,y2)为同一特征点在有效焦距f2下的像素坐标，可以选择多个特征点，利用最小二乘法即可得到线性解出(cx,cy)。
步骤S302，计算摄像头坐标系与世界坐标系之间的旋转矩阵R和平移向量t，以完成对多个摄像头的标定。
在步骤S302中，由于使用的是共面点，所以ZW＝0，由径向平行约束有：
xd/yd＝xc/yc＝(r1XW+r2YW+tx)/(r4XW+r5YW+ty)；
其中，xd＝dy(u-cx)/sx，yd＝dy(v-cy)。
考虑到透镜变形对摄像头有效焦距和到标定平面距离的影响，故对上式右边分子分母同除以ty，并整理可得到以下矩阵形式方程：
其中：上式中列向量中的5个元素为未知的，对于每个标定点，如果已知世界坐标系和相应的图像坐标，就可以列出上述一个方程，取多个标定点(需要大于5)，用最小二乘法求该超定方程，即得到过渡参数：
根据上述过渡参数以及R矩阵的正交型求得ty的大小，当参数l1～l5不两两同时为0时，有：
B＝(l1l5-l2l4)2；
否则，为其余两个参数tx和tz的平方和的倒数，判断ty的符号，在运用径向平行约束时，包括两个平行向量同向和反向的两种情况，故ty的符号有两种可能。可以采用下列方法进行判断：假设ty为正，由过渡参数求出r1、r2、r4、r5、tx，由此将标定点再投影到图像平面上，计算出对应点的图像坐标xc、yc，如果xd与xc同号，那么ty为正，否则为负。
根据R的正交性，计算R的其余参数：
r7＝r2r6-r3r5；
r8＝r3r4-r1r6；
r9＝r1r6-r2r4；
其中r1r4+r2r5的符号为正，则在r6前加负号；如果下面计算的f为负号，则r3、r6、r7、r8的符号与上面相反。
有效焦距f，径向畸变系数k1和平移量tz的求解：
整理可得如下包含未知数f、tz、k的线性方程组：
其中：E＝r1XW+r2YW+tx、F＝r4XW+r5YW+ty、G＝r7XW+r8YW、k＝fk1，用最小二乘法联合解这个线性方程组，即可求得f、tz、k的解。进一步判断f的符号，如果为负，则将f反号，进一步解得k1＝k/f。
步骤S303，获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像。
在本实施例中，图3中的步骤S303和图1中的步骤S100类似，为简约起见，在此不再赘述。
步骤S304，将每张图像进行图像灰度化、图像滤波和图像增强处理。
在步骤S304中，图像灰度化是将彩色图像转换为灰度图像，灰度图像可以更加方便后续处理。本算法使用的灰度化方法是加权平均值法：根据重要性或其他指标给R、G、B分量赋予不同的值并使得三者的值进行加权平均，即：
R＝G＝B＝(WRR+WGG+WBB)/3；
其中WR，WG，WB分别为R，G，B分量的权值。根据亮度方程，得知当WR＝0.30，WG＝0.59，WB＝0.11时，即Y＝(0.30R+0.59G+0.11B)，U＝0，V＝0时，能得到最合理的灰度图像。
图像滤波是指消除图像上各种干扰噪声，使得图像的画质质量得以提升，以便后续的图像特征提取和匹配。本实施例中采用的是中值滤波算法且窗口大小为3*3，其通过用一个奇数点的滑动窗口，将窗口的中心点的值用窗口各点的中值代替。具体如下：
1、将模板在图像中滑动，将模板的中心与图像某个像素点位置重合；
2、读取模板下各对应像素的灰度值；
3、将读取到的灰度值按从小到大的顺序排列；
4、找出灰度值序列中间值；
5、将这个中间值赋给对应模板窗口中心位置的像素。
图像增强是指采用图像直方图均衡化的方法将原灰度图的灰度分布均匀化，由于在物品空间会存在因为白天和黑夜的情况造成摄像头所拍摄的图像存在或亮或暗的情况，这对后续的图像特征提取和匹配会造成干扰，因此，采用图像直方图均衡化从动态范围增强图像整体对比度的效果。具体如下：
1、列出原始图像灰度级sk；
2、统计原始图像中各灰度级像素nk；
3、按照p(sk)＝nk/n(k＝0,1,…,L-1)计算原始直方图；
4、按计算累计直方图；
5、按tk＝int[(L-1)tk+0.5]对tk取整，确定映射关系sk-〉tk；
6、统计新直方图各灰度级像素个数nk；
7、用p(nk)＝nk/n计算均衡化后的直方图。
其中，p(sk)为图像f(x,y)的第k级灰度出现的概率，sk是第k级灰度的灰度值，nk是图像中灰度值为sk的像素的个数，n是图像像素总数。
步骤S305，提取每张图像的多个特征点。
在本实施例中，图3中的步骤S305和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S306，将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对。
在本实施例中，图3中的步骤S306和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S307，利用匹配的特征点对计算物品在物品空间的占比。
在本实施例中，图3中的步骤S307和图1中的步骤S103类似，为简约起见，在此不再赘述。
本实施例中，在采用摄像头拍摄物品空间的图像之前，先对摄像头的参数进行标定，方便后续在摄像头坐标系和世界坐标系之间进行坐标转换，并且，通过对图像进行图像灰度化、图像滤波和图像增强处理，方便后续从图像中提取特征点。
图5是本发明第四实施例的物品空间占比估计方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：
步骤S400，获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像。
在本实施例中，图5中的步骤S400和图1中的步骤S100类似，为简约起见，在此不再赘述。
步骤S401，提取每张图像的多个特征点。
在本实施例中，图5中的步骤S401和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S402，将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对。
在本实施例中，图5中的步骤S402和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S403，将特征点对按各自对应的物品空间的点进行划分，每个物品空间的点对应至少一对特征点对。
在步骤S403中，将多个摄像头拍摄的图像两两配对之后，物品空间中的一个点可能会被每个摄像头拍摄到，因此，在进行特征点匹配之后，匹配的特征点对即对应物品空间中的一个点，而因为存在多对配对的图像，针对于物品空间中的某一个点，每对图像中均可能存在一对特征点对与之对应，因此，每个物品空间的点对应至少一对特征点对。
步骤S404，获取每对特征点对中两个特征点的二维坐标。
在步骤S404中，获取每对特征点对中两个特征点的二维坐标(ul,vl)、(ur,vr)，再代入坐标转换公式中计算得到该对特征点对对应的物品空间中的点的世界坐标(XW,YW,ZW)，其中，坐标转换公式为：
公式的推导过程可参阅第三个实施例，此处不再赘述。
需要说明的是，物品空间中的点可能会对应多对特征点对，因此，最终计算出的物品空间中一个点可能对应多个世界坐标。
步骤S405，根据两个特征点的二维坐标计算出世界坐标系下的世界坐标，得到每个物品空间的点的至少一个世界坐标，并取至少一个世界坐标的均值作为每个物品空间的点的目标世界坐标。
在步骤S405中，将计算得到的物品空间一个点的至少一个世界坐标取平均值作为该点的目标世界坐标。
步骤S406，根据每个物品空间的点的目标世界坐标构建物品空间的空间立体图。
在步骤S406中，根据计算得到物品空间中点的目标世界坐标构建出空间立体图，从而得到物品空间的空间立体图。
步骤S407，将空间立体图的底平面划分为多个积分区域，并获取每个积分区域的面积及对应的高度。
步骤S408，根据每个积分区域的面积及对应的高度进行积分计算，得到空间立体图中的物品体积。
步骤S409，获取物品空间的体积，并计算物品体积与物品空间的体积的比值，得到物品在物品空间的占比。
在步骤S407～步骤S409中，在建立空间立体图之后，将空间立体图的底平面划分为多个积分区域，请参阅图6，图6以一个积分区域为例进行说明，积分区域由(Xi1，Yi1)、(Xi2，Yi2)、(Xi3，Yi3)三个点组成，构成的积分区域的面积为Δi，其中i为积分区域的个数，该三个点对应的空间立体点为(Xi1，Yi1，Zi1)、(Xi2，Yi2，Zi2)、(Xi3，Yi3，Zi3)，当积分区域的面积Δi足够小时，(Xi1，Yi1)、(Xi2，Yi2)、(Xi3，Yi3)三个点无限靠近，三个空间立体点的高度无限接近，因此，当Δi足够小时，通过对每个积分区域进行的体积进行积分计算，即可得到物品空间中物品的体积V：
得到物品的体积之后，再获取物品空间的体积，计算物品的体积与物品空间的体积的比值，即得到物品在物品空间中的占比，其中，物品空间的体积可通过用户预先设置，也可通过空间立体图进行计算得到。
本实施例中，根据匹配的特征点对的二维坐标计算出物品空间中的点的世界坐标，再构建出空间立体图，通过空间立体图进行积分计算从而得到物品的体积，根据物品的体积和物品空间的体积进行计算得到物品在物品空间中的占比。
图7是本发明实施例的物品空间占比估计装置的结构示意图。如图7所示，该装置50包括获取模块51、提取模块52、匹配模块53和计算模块54。
获取模块51，用于获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像。
可选地，多个摄像头的数目为四个，分别设置于物品空间的四个顶角上。
提取模块52与获取模块51耦合，用于提取每张图像的多个特征点。
匹配模块53与提取模块52耦合，用于将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对。
计算模块54与匹配模块53耦合，用于利用匹配的特征点对计算物品在物品空间的占比。
可选地，匹配模块53将同一对图像中一张图像的每个特征点分别与另一张图像的所有特征点进行匹配，得到匹配的特征点对的操作可以为：为每个特征点构建特征向量；计算同一对图像中一张图像的每个特征点的特征向量到另一张图像的所有特征点的特征向量的欧式距离，得到每个特征点的多个欧式距离；从多个欧式距离中确认最小欧式距离和次最小欧式距离；当最小欧式距离与次最小欧式距离的比值小于预设阈值时，确认最小欧式距离对应的两个特征点匹配。
可选地，获取模块51获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像的操作之前，还包括：标定多个摄像头拍摄图像的纵横比；调整多个摄像头的焦距并拍摄同一物体，再根据拍摄的图像计算所有图像的缩放中心点的主点坐标；计算摄像机坐标系与世界坐标系之间的旋转矩阵R和平移向量t，以完成对多个摄像头的标定。获取模块51获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像的操作之后，还包括：将每张图像进行图像灰度化、图像滤波和图像增强处理。
可选地，计算模块54利用匹配的特征点对计算物品在物品空间的占比的操作可以为：将特征点对按各自对应的物品空间的点进行划分，每个物品空间的点对应至少一对特征点对；获取每对特征点对中两个特征点的二维坐标；根据两个特征点的二维坐标计算出世界坐标系下的世界坐标，得到每个物品空间的点的至少一个世界坐标，并取至少一个世界坐标的均值作为每个物品空间的点的目标世界坐标；根据每个物品空间的点的目标世界坐标构建物品空间的空间立体图；将空间立体图的在水平面划分为多个点，并获取每个点的高度；根据高度进行积分计算，得到空间立体图中的物品体积；根据物品体积和空间立体图的体积计算物品的空间占比。
请参阅图8，图8为本发明实施例的终端的结构示意图。如图8所示，该终端60包括处理器61及和处理器61耦接的存储器62、多个摄像头63。
存储器62存储有用于实现上述实施例中任一项的物品空间占比估计方法的程序指令；
处理器61用于执行存储器62存储的程序指令以估算物品的空间占比；
多个摄像头63用于从不同角度拍摄物品空间的图像。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图9，图9为本发明实施例的存储装置的结构示意图。本发明实施例的存储装置存储有能够实现上述所有方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种物品空间占比估计方法，其特征在于，其包括：
获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像；
提取每张所述图像的多个特征点；
将同一对图像中一张图像的每个所述特征点分别与另一张图像的所有所述特征点进行匹配，得到匹配的特征点对；
利用所述匹配的特征点对计算物品在所述物品空间的占比；
所述将同一对图像中一张图像的每个所述特征点分别与另一张图像的所有所述特征点进行匹配，得到匹配的特征点对的步骤，包括：
为每个所述特征点构建特征向量；
计算同一对图像中一张图像的每个所述特征点的特征向量到另一张图像的所有所述特征点的特征向量的欧式距离，得到每个所述特征点的多个欧式距离；
从所述多个欧式距离中确认最小欧式距离和次最小欧式距离；
当所述最小欧式距离与所述次最小欧式距离的比值小于预设阈值时，确认所述最小欧式距离对应的两个所述特征点匹配；
当所述最小欧式距离与所述次最小欧式距离的比值大于或等于所述预设阈值时，确认所述最小欧式距离对应的两个所述特征点不匹配。
2.根据权利要求1所属的物品空间占比估计方法，其特征在于，
所述多个摄像头的数目为四个，分别设置于所述物品空间的四个顶角上。
3.根据权利要求1所述的物品空间占比估计方法，其特征在于，
所述获取多个摄像头从不同角度拍摄的物品空间的图像的步骤之前，还包括：
标定所述多个摄像头拍摄图像的纵横比；
调整所述多个摄像头的焦距并拍摄同一物体，再根据拍摄的图像计算所有图像的缩放中心点的主点坐标；
计算摄像头坐标系与世界坐标系之间的旋转矩阵R和平移向量t，以完成对所述多个摄像头的标定。
4.根据权利要求1所述的物品空间占比估计方法，其特征在于，
所述获取多个摄像头从不同角度拍摄的物品空间的图像的步骤之后，还包括：
将每张所述图像进行图像灰度化、图像滤波和图像增强处理。
5.根据权利要求1所述的物品空间占比估计方法，其特征在于，
所述利用所述匹配的特征点对计算物品在所述物品空间的占比的步骤，包括：
将所述特征点对按各自对应的所述物品空间的点进行划分，每个所述物品空间的点对应至少一对所述特征点对；
获取每对所述特征点对中两个特征点的二维坐标；
根据所述两个特征点的二维坐标计算出世界坐标系下的世界坐标，得到每个所述物品空间的点的至少一个世界坐标，并取所述至少一个世界坐标的均值作为每个所述物品空间的点的目标世界坐标；
根据每个所述物品空间的点的目标世界坐标构建所述物品空间的空间立体图；
通过积分的方式计算物品在所述物品空间的占比。
6.根据权利要求5所述的物品空间占比估计方法，其特征在于，
所述通过积分的方式计算物品在所述物品空间的占比的步骤，包括：
将所述空间立体图的底平面划分为多个积分区域，并获取每个积分区域的面积及对应的高度；
根据所述每个积分区域的面积及对应的高度进行积分计算，得到所述空间立体图中的物品体积；
获取所述物品空间的体积；
计算所述物品体积与所述物品空间的体积的比值，得到所述物品在所述物品空间的占比。
7.一种物品空间占比估计装置，其特征在于，包括：
获取模块，用于获取多个摄像头从不同角度拍摄的物品空间的图像，并两两配对，得到多对图像；
提取模块，与所述获取模块耦合，用于提取每张所述图像的多个特征点；
匹配模块，与所述提取模块耦合，用于将同一对图像中一张图像的每个所述特征点分别与另一张图像的所有所述特征点进行匹配，得到匹配的特征点对；
计算模块，与所述匹配模块耦合，用于利用所述匹配的特征点对计算物品在所述物品空间的占比；
其中，所述将同一对图像中一张图像的每个所述特征点分别与另一张图像的所有所述特征点进行匹配，得到匹配的特征点对的步骤，包括：
为每个所述特征点构建特征向量；
计算同一对图像中一张图像的每个所述特征点的特征向量到另一张图像的所有所述特征点的特征向量的欧式距离，得到每个所述特征点的多个欧式距离；
从所述多个欧式距离中确认最小欧式距离和次最小欧式距离；
当所述最小欧式距离与所述次最小欧式距离的比值小于预设阈值时，确认所述最小欧式距离对应的两个所述特征点匹配；
当所述最小欧式距离与所述次最小欧式距离的比值大于或等于所述预设阈值时，确认所述最小欧式距离对应的两个所述特征点不匹配。
8.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器和多个摄像头，其中，
所述存储器存储有用于实现如权利要求1-6中任一项所述的物品空间占比估计方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以估算物品的空间占比；
所述多个摄像头用于从不同角度拍摄所述物品空间的图像。
9.一种存储装置，其特征在于，存储有能够实现如权利要求1-6中任一项所述的物品空间占比估计方法的程序文件。
CN201911121128.2A 2019-11-15 2019-11-15 物品空间占比估计方法、装置、终端及存储装置 Active CN111027405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911121128.2A CN111027405B (zh) 2019-11-15 2019-11-15 物品空间占比估计方法、装置、终端及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911121128.2A CN111027405B (zh) 2019-11-15 2019-11-15 物品空间占比估计方法、装置、终端及存储装置

Publications (2)

Publication Number Publication Date
CN111027405A CN111027405A (zh) 2020-04-17
CN111027405B true CN111027405B (zh) 2023-09-01

Family

ID=70200329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911121128.2A Active CN111027405B (zh) 2019-11-15 2019-11-15 物品空间占比估计方法、装置、终端及存储装置

Country Status (1)

Country Link
CN (1) CN111027405B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4205760B1 (ja) * 2007-12-27 2009-01-07 株式会社ファースト 画像マッチング方法、プログラムおよび応用装置
WO2014044126A1 (zh) * 2012-09-21 2014-03-27 Wei Yiqun 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN104680585A (zh) * 2013-11-29 2015-06-03 深圳先进技术研究院 物料堆三维重建系统及方法
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
CN106504211A (zh) * 2016-11-07 2017-03-15 湖南源信光电科技有限公司 基于改进surf特征匹配的低照度成像方法
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
CN108109169A (zh) * 2017-12-12 2018-06-01 深圳市神州云海智能科技有限公司 一种基于矩形标识的位姿估计方法、装置及机器人
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
JP2019032660A (ja) * 2017-08-07 2019-02-28 国立大学法人 筑波大学 撮像システム、撮像方法
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法
CN110046845A (zh) * 2019-03-06 2019-07-23 青岛日日顺物流有限公司 一种场区车辆装载方法和装载系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4205760B1 (ja) * 2007-12-27 2009-01-07 株式会社ファースト 画像マッチング方法、プログラムおよび応用装置
WO2014044126A1 (zh) * 2012-09-21 2014-03-27 Wei Yiqun 坐标获取装置、实时三维重建系统和方法、立体交互设备
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
CN104680585A (zh) * 2013-11-29 2015-06-03 深圳先进技术研究院 物料堆三维重建系统及方法
CN106504211A (zh) * 2016-11-07 2017-03-15 湖南源信光电科技有限公司 基于改进surf特征匹配的低照度成像方法
JP2019032660A (ja) * 2017-08-07 2019-02-28 国立大学法人 筑波大学 撮像システム、撮像方法
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
CN108109169A (zh) * 2017-12-12 2018-06-01 深圳市神州云海智能科技有限公司 一种基于矩形标识的位姿估计方法、装置及机器人
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法
CN110046845A (zh) * 2019-03-06 2019-07-23 青岛日日顺物流有限公司 一种场区车辆装载方法和装载系统

Also Published As

Publication number Publication date
CN111027405A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN109035320B (zh) 基于单目视觉的深度提取方法
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN108009675B (zh) 货物装箱方法、装置及系统
US8199202B2 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN108694741B (zh) 一种三维重建方法及装置
CN111340873B (zh) 一种多视角图像的物体最小外包络尺寸测算方法
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN112270719B (zh) 相机标定方法、装置及系统
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN110533774B (zh) 一种基于智能手机的三维模型重建方法
CN107610097A (zh) 仪表定位方法、装置和终端设备
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
CN110782464A (zh) 物品堆积3d空间占用率的计算方法、编解码器及存储装置
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
CN117520581A (zh) 一种土地测绘信息管理方法、系统、设备及介质
CN111027405B (zh) 物品空间占比估计方法、装置、终端及存储装置
CN113589263A (zh) 一种多个同源传感器联合标定方法及系统
CN112197708A (zh) 测量方法及装置、电子设备及存储介质
CN112184810A (zh) 相对位姿的估计方法、装置、电子设备及介质
CN111127494A (zh) 基于图像处理的高速公路货车限重识别方法
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant