CN110120010B - 一种基于相机图像拼接的立体货架视觉盘点方法和系统 - Google Patents

一种基于相机图像拼接的立体货架视觉盘点方法和系统 Download PDF

Info

Publication number
CN110120010B
CN110120010B CN201910294776.1A CN201910294776A CN110120010B CN 110120010 B CN110120010 B CN 110120010B CN 201910294776 A CN201910294776 A CN 201910294776A CN 110120010 B CN110120010 B CN 110120010B
Authority
CN
China
Prior art keywords
image
inventory
dimensional
point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910294776.1A
Other languages
English (en)
Other versions
CN110120010A (zh
Inventor
冯悦鸣
吕勤
朱凯元
陆栋
丁一峰
李岩
周强
朱伟
张成威
卢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Original Assignee
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch filed Critical Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Priority to CN201910294776.1A priority Critical patent/CN110120010B/zh
Publication of CN110120010A publication Critical patent/CN110120010A/zh
Application granted granted Critical
Publication of CN110120010B publication Critical patent/CN110120010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请公开了一种基于相机图像拼接的立体货架视觉盘点方法和系统，所述的基于相机图像拼接的立体货架视觉盘点方法，包括：控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像；提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；根据所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；根据盘点图像和盘点三维信息，得到指定位置的货物是否发生改变的盘点结果。本申请结合图像对比和三维信息对比，有效提高视觉盘点的全面性和准确性。

Description

一种基于相机图像拼接的立体货架视觉盘点方法和系统
技术领域
本申请属于仓储物流领域，具体涉及一种基于相机图像拼接的立体货架视觉盘点方法和系统。
背景技术
仓储货物盘点是仓储物流作业中的重要环节：通过对库存商品的实际数量进行清查、清点的作业，对仓库现有物品的实际数量与保管账上记录的数量相核对，以便准确地掌握库存数量。自动化高密度立体货架的应用使得货物存储的空间密度越来越高。人工盘点的方式需要将每样货物从货架中取出至出口处进行专人盘点，不仅需要耗费时间、人力，频繁使用堆垛机存取货物也会造成设备的损耗。
视觉盘点的方式就是采用相机对货物图像进行采集，通过机器视觉算法对图像内容进行认知与识别，并与已存储的数据进行比对，获得货物数量变化值。
目前，基于计算机视觉的盘点技术主要采用普通彩色相机在货位侧面拍摄，当货位采用货框放置货物时，由于货框的遮挡，难以拍摄到货物；且仅采用彩色图像信息进行盘点，缺少货物的三维信息，在货物数量判断上容易存在误差。
发明内容
本申请的目的在于提供一种基于相机图像拼接的立体货架视觉盘点方法和系统，结合图像对比和三维信息对比，有效提高视觉盘点的全面性和准确性。
为实现上述目的，本申请所采取的技术方案为：
一种基于相机图像拼接的立体货架视觉盘点方法，所述的基于相机图像拼接的立体货架视觉盘点方法，包括：
控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像；
提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；
根据所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；
对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果；同时对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果；综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果。
作为优选，所述利用深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像，包括：
获取本次立体货架视觉盘点的盘点范围，该盘点范围内具有多个货框；
控制深度相机拍摄货框1/3深度处，且拍摄角度为45°、90°和135°的彩色图像和深度图像；并继续拍摄当前货框2/3深度处，且拍摄角度为135°、90°和45°的彩色图像和深度图像；
依次拍摄各货框，得到盘点范围内的所有彩色图像和深度图像。
作为优选，所述提取同一位置不同角度的彩色图像中的特征点，包括：
采用SURF算子分别提取同一位置不同角度的彩色图像中的特征点，在特征点提取时，首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；
其次对像素进行滤波，并得到Hessian矩阵为：
Figure BDA0002026120820000021
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积；
根据Hessian矩阵得到同一位置不同角度的彩色图像各自的特征点。
作为优选，所述根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像，包括：
对同一位置不同角度的相邻两彩色图像进行组合，将每一组合中的两彩色图像的特征点进行匹配，得到针对当前两彩色图像的单应性矩阵，在计算两彩色图像的单应性矩阵时，预设最大迭代次数M，并初始化内点点集Π为空集
Figure BDA0002026120820000022
其次将两彩色图像的特征点写入两个初始匹配点集中，得到两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中随机取出3个匹配点对，并利用3个匹配点对估计单应性矩阵H；
计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；
令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
Figure BDA0002026120820000031
其中，ε为度量集合距离，Xk T为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；
循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M；
对最终得到的内点点集Π中的各匹配点对进行最小二乘计算，得到最终针对每一组合中的两彩色图像的单应性矩阵，记为H3×3。
作为优选，所述根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像，还包括：
依次根据所述单应性矩阵H3×3将对应的两彩色图像进行透视变换，得到同一位置不同角度的彩色图像融合后的盘点图像，在进行图像融合时，对于待融合图像I(x,y)通过以下公式进行处理：
I′(x,y,1)＝H3×3I(x,y,1)；
其中，H3×3为单应性矩阵，由此得到待融合图像经透视变换后位于同一全局坐标系之下对齐后的图像I′(x,y)；
对多组彩色图像进行叠加融合，并对融合带进行处理，得到同一位置的盘点图像，并对每一位置进行图像融合处理，得到每一位置的盘点图像，所述融合带处的像素T(x,y)为：
Figure BDA0002026120820000041
其中，μ是归一化系数，d1，d2分别是像素距离融合带中心的距离，I1(x,y)和I2(x,y)分别是与当前融合带相关的两待融合图像。
作为优选，所述根据所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息，包括：
对深度图像I(u,v)，生成对应的三维点云(x,y,z)：
Figure BDA0002026120820000042
其中，zc是像素深度值，u0，v0是图像中心的像素，f是相机焦距；
在对各三维点云进行滤波时，通过三维点云建立KD-Tree，利用一个全局的距离阈值去限定点与邻近点的距离，当搜索到当前点与邻近5个点距离均大于阈值时，则判断当前点为噪声点，并从三维点云中滤除；
得到滤波后的同一位置的不同角度的深度图像对应的三维点云后，通过坐标系转换方法进行三维点云拼接，得到同一位置的盘点三维信息，并对每一位置进行三维点云拼接处理，得到每一位置的盘点三维信息。
本申请还公开了一种基于相机图像拼接的立体货架视觉盘点系统，所述的基于相机图像拼接的立体货架视觉盘点系统包括：移动部件，连接在移动部件上的电动推杆，设置在电动推杆一端的旋转云台，固定在旋转云台上的深度相机，与电动推杆和旋转云台电连接的控制器，与深度相机和控制器电连接的设备终端，与设备终端连接的服务器；
所述服务器，用于控制所述移动部件移动至立体货架的盘点范围内，并对所述设备终端发送盘点指令，接收所述设备终端反馈的盘点结果；
所述设备终端，用于接收所述服务器的盘点指令，向所述控制器发送图像采集指令，并在所述控制器执行图像采集指令的同时，控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像，并接收所述控制器反馈的图像采集完成指令；
还用于在接收到图像采集完成指令之后，提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；根据每一所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；
还用于对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果；同时对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果；综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果，并将所述盘点结果反馈至所述服务器；
所述控制器，用于接收所述设备终端的图像采集指令，控制所述电动推杆和旋转云台动作至指定位置，并完成盘点范围内所有指定位置的移动之后，向所述设备终端反馈图像采集完成指令。
作为优选，所述移动部件包括：
与地面接触并在地面上移动的部件；或
在预设的轨道上移动的部件；或
在空中飞行移动的部件。
本申请提供的基于相机图像拼接的立体货架视觉盘点方法和系统，通过在移动部件上部安装可伸缩的电动推杆，电动推杆前端安装可转动的云台，在云台上安装深度相机，通过控制电动推杆的伸缩，将相机深入到货位正上方拍摄。由于货位狭小，单幅图像无法拍摄到货位全貌，控制云台转动，拍摄多幅不同位姿的图像进行拼接，同时采集货位的彩色图像信息和深度信息，获得货位货物的外观图像和体积信息，将其与已存储的数据进行比对，完成盘点。该视觉盘点方式采用在货位上方盘点，可去除货框遮挡的因素，获得货位全貌，并且采集货物的三维信息可以在货物数量判断上更为精确。
附图说明
图1为本申请基于相机图像拼接的立体货架视觉盘点方法的流程框图；
图2为本申请基于相机图像拼接的立体货架视觉盘点系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
如图1所示，本实施例提供一种基于相机图像拼接的立体货架视觉盘点方法，该方法包括以下步骤：
S1、图像采集
在图像采集时，控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像。
综合考虑图像采集的完整性和图像采集的工作量，在一实施例中，设置图像采集的具体步骤如下：
首先获取本次立体货架视觉盘点的盘点范围，该盘点范围内具有多个货框。
然后控制深度相机拍摄货框1/3深度处，且拍摄角度为45°、90°和135°的彩色图像和深度图像；并继续拍摄当前货框2/3深度处，且拍摄角度为135°、90°和45°的彩色图像和深度图像。需要说明的是，拍摄时所处的深度和角度均可根据实际需求进行调整。
本实施例对同一货框进行两个深度的拍摄，并在每一深度处拍摄三种不同角度的图像，完成一个货框的图像采集，然后依次拍摄各货框，得到盘点范围内的所有彩色图像和深度图像。
S2、图像拼接
图像拼接针对同一位置的不同角度的彩色图像进行，由于拍摄视角的限制，对体积较大的货框中的货物情况几乎不能一次拍摄到，故本实施例进行三个角度的拍摄，在拍摄完成后进行图像拼接，以得到较为完整的视角图像。
在图像拼接时，需要提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像。
在一实施例中，提供了一种图像拼接的具体步骤：
S2.1、特征点提取
采用SURF算子分别提取同一位置不同角度的彩色图像中的特征点，在特征点提取时，首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；
其次对像素进行滤波，并得到Hessian矩阵为：
Figure BDA0002026120820000071
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积。
根据Hessian矩阵得到同一位置不同角度的彩色图像各自的特征点，在提取时需根据不同的σ，建立不同的金字塔尺度空间。在每一组中选取相邻的三层Hessian行列式图像，对于中间层的每一个Hessian行列式值都可以做为待比较的点，在空间中选取该点周围的26个点进行比较大小，若该点大于其他26个点，则该点为特征点。
由上述特征点提取过程可知，当尺度空间每组由四层构成时，非极大值抑制只会在中间两层进行，相邻的组之间不进行比较。在关键点周围选取一个正方形框，方向为关键点的主方向，边长为20像素，将正方形框划分为16个区域(每个区域的边长为5像素)，每个区域统计25个像素的水平方向和垂直方向的Haar小波特性(均相对于正方形框的主方向确定的)。该小波特征包括水平方向值之和，水平方向绝对值之和，垂直方向值之和和垂直方向绝对值之和(为了把强度变化的极性信息也包括描述符中，所以对绝对值进行累加)。这样每个区域有4个值，则每个正方形框有维，即每个关键点描述是64维。
S2.2、单应性矩阵求取
在提取特征点之后，需根据特征点进行单应性矩阵求取。在一实施例中，图像融合需要先对同一位置不同角度的相邻两彩色图像进行组合。
需要说明的是，在进行彩色图像组合时，可以是将待融合图像依次进行两两划分，例如待融合图像为A、B、C，则可划分为A、B一组，B、C一组，且分别将图像A和图像C融合至图像B所在的坐标系下。
或者从待融合图像中依次取出两张组成一组，待该组图像融合后，再与从待融合图像中取出的下一张图像组成一组，依次进行图像融合，例如待融合图像为A、B、C，则可先划分得到A、B为一组，将图像A、B融合至同一坐标系下后得到图像D，然后再取出C与D组成一组进行融合。在实现图像正确融合的前提下，对图像融合顺序不作严格限制。
组合划分完成后，将每一组合中的两彩色图像的特征点进行匹配，得到针对当前两彩色图像的单应性矩阵，在计算两彩色图像的单应性矩阵时，预设最大迭代次数M，并初始化内点点集Π为空集
Figure BDA0002026120820000082
其次将两彩色图像的特征点写入两个初始匹配点集中，得到两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中随机取出3个匹配点对，并利用3个匹配点对估计单应性矩阵H；
计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；
令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
Figure BDA0002026120820000081
其中，ε为度量集合距离，Xk T为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；
循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M；
对最终得到的内点点集Π中的各匹配点对进行最小二乘计算，得到最终针对每一组合中的两彩色图像的单应性矩阵，记为H3×3。
S2.3、图像融合
由于各组中的两彩色图像之间均建立的单应性矩阵，故可通过单应性矩阵将原本处于不同坐标系之下的彩色图像进行全局坐标系变换，使两彩色图像在同一全局坐标系之下对齐。
具体地，在一实施例中的执行步骤如下：
依次根据所述单应性矩阵H3×3将对应的两彩色图像进行透视变换，得到同一位置不同角度的彩色图像融合后的盘点图像，在进行图像融合时，对于待融合图像I(x,y)通过以下公式进行处理：
I′(x,y,1)＝H3×3I(x,y,1)；
其中，H3×3为单应性矩阵，由此得到待融合图像经透视变换后位于同一全局坐标系之下对齐后的图像I′(x,y)。例如：采集到的三张图像为A、B、C，且得到AB之间矩阵HAB，BC之间矩阵HCB，故将三张图像转换至同一坐标系下的最为便捷的方法为，将图像A和C都转化到图像B所在的坐标系下，并相应对齐，此时图像A和图像C均为待融合图像，且分别通过矩阵HAB和矩阵HCB代入上述公式进行转换。
对多组彩色图像进行叠加融合，并对融合带进行处理，得到同一位置的盘点图像，并对每一位置进行图像融合处理，得到每一位置的盘点图像，所述融合带处的像素T(x,y)为：
Figure BDA0002026120820000091
其中，μ是归一化系数，d1，d2分别是像素距离融合带中心的距离，I1(x,y)和I2(x,y)分别是与当前融合带相关的两待融合图像。
S3、三维重建
S3.1、根据所述深度图像生成三维点云
对深度图像I(u,v)，生成对应的三维点云(x,y,z)：
Figure BDA0002026120820000092
其中，zc是像素深度值，u0，v0是图像中心的像素，f是相机焦距。需要说明的是，此处所指的深度图像可以是相机采集的单一图像，利用单一图像中的特征点生成三维点云；也可以是两两组合后的图像，利用两图像汇总的特征点生成总的三维点云。
S3.2、对三维点云进行滤波
在对各三维点云进行滤波时，通过三维点云建立KD-Tree，以提高搜索的速度。在过滤时，利用一个全局的距离阈值去限定点与邻近点的距离，当搜索到当前点与邻近5个点距离均大于阈值时，则判断当前点为噪声点，并从三维点云中滤除。
S3.3、将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息。
由于不同角度拍摄到的深度图像生成具有不同系统参数且存在冗余的点云数据，不能被大部分三维重构系统接受，故需要进行坐标归一化和消除冗余数据的处理，即进行三维点云拼接。
本实施例在得到滤波后的同一位置的不同角度的深度图像对应的三维点云后，通过坐标系转换方法进行三维点云拼接，得到同一位置的盘点三维信息，并对每一位置进行三维点云拼接处理，得到每一位置的盘点三维信息。
本实施例以图像A、B、C为例对三维点云拼接进一步详述：
在进行三维点云拼接时将图像划分为A、B组和B、C组，根据求取单应性矩阵时得到的内点点集Π1(A、B图内点)和Π2(B、C图内点)，将内点点集Π1和Π2中的点采用步骤S3.1中的方法恢中复成点云集合P1{(xi,k,yi,k,zi,k,xj,k,yj,k,zj,k)}、P2{(xm,k,ym,k,zm,k,xl,k,yl,k,zl,k)}；
并分别得到图像A、B匹配像素中图像A像素的三维恢复点mi(xi,k,yi,k,zi,k)，以及图像A、B匹配像素中图像B像素的三维恢复点ni(xj,k,yj,k,zj,k)，结合点云集合P1，并利用SVD分解的算法得到旋转矩阵RAB、平移矩阵TAB；
通过公式RABmi+TAB将图像A的三维点转化到图像B坐标，完成图像A和B的三维点云拼接。同理可将图像C三维点转化到图像B坐标系。
在其他实施例中，还可以通过四元数法或旋动理论求取旋转矩阵和平移矩阵。当然，也可以采用其他方法实现三维点云的拼接。
S4、盘点比对
S4.1、图像比对
对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果。
具体地，采用SURF算法分别提取入库的货物的彩色图像和所述盘点图像中的特征点，并采用采用暴力匹配法进行匹配(即特征描述最小欧式距离)，如果匹配后特征点连线不平行的数量大于阈值，则表示图像匹配失败；否则表示图像匹配成功。
S4.2、三维信息比对
对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果。
具体地点，通过ICP算法对入库的货物的三维信息与盘点三维信息进行匹配，如果匹配后的点之间平均距离大于阈值，则表示三维信息匹配失败；否则表示三维信息匹配成功。
S4.3、得到盘点结果
综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果。本实施例中设置当图像匹配和三维信息匹配均成功后，得到指定位置的货物正常的盘点结果；否则得到指定位置的货物发生改变的盘点结果。
需要说明的是，本实施例的基于相机图像拼接的立体货架视觉盘点方法，还可以包括在得到盘点结果为指定位置的货物发生改变时，发出异常警报，通知人工进行盘点确认。
如图2所示，其中一实施例中，提供一种基于相机图像拼接的立体货架视觉盘点系统，所述的基于相机图像拼接的立体货架视觉盘点系统包括：
移动部件，在一实施例中，移动部件可以是与地面接触并在地面上移动的部件，例如智能小车、智能机器人等；也可以是在预设的轨道上移动的部件，例如堆垛机7等；也可以是在空中飞行移动的部件，例如四旋翼飞行器等；
连接在移动部件上的电动推杆3，该电动推杆3带编码器；
设置在电动推杆3一端的旋转云台2，该旋转云台2带编码器且可360°旋转；
固定在旋转云台2上的深度相机1，该深度相机1为RGBD相机或TOF相机或双目立体视觉相机；
与电动推杆3和旋转云台2电连接的控制器4；
与深度相机1和控制器4电连接的设备终端，设备终端可以是PC机5；
与设备终端连接的服务器，以仓库盘点为例，该服务器可以是仓储管理系统中设置的WMS仓储管理服务器6。
部件在基于相机图像拼接的立体货架视觉盘点系统中执行的步骤如下：
所述服务器，用于控制所述移动部件移动至立体货架8的盘点范围内，并对所述设备终端发送盘点指令，接收所述设备终端反馈的盘点结果；
所述设备终端，用于接收所述服务器的盘点指令，向所述控制器发送图像采集指令，并在所述控制器执行图像采集指令的同时，控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像，并接收所述控制器反馈的图像采集完成指令；
还用于在接收到图像采集完成指令之后，提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；根据每一所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；
还用于对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果；同时对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果；综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果，并将所述盘点结果反馈至所述服务器；
所述控制器，用于接收所述设备终端的图像采集指令，控制所述电动推杆和旋转云台动作至指定位置，并完成盘点范围内所有指定位置的移动之后，向所述设备终端反馈图像采集完成指令。
在图片采集过程中，移动部件先移动至立体货架8的盘点范围内的某一位置，该位置对应立体货架8上的货框9，当完成该位置的所有货框9的图像采集后，移动部件继续移动至立体货架8的盘点范围内的下一位置，并继续采集当前位置对应的所有货框9的图像，直至完成盘点范围内所有货框9的图像采集。
上述各部件可采用有线或无线的方式进行连接，为了提高连接的稳定性，本实施例中以移动部件为堆垛机、设备终端为PC机、服务器为WMS仓储管理服务器为例提供了一种有线连接方式：电动推杆、旋转云台与控制器通过串口线相连，深度相机与PC机通过USB线相连，控制器与PC机通过串口线相连，PC机与WMS仓储管理服务器通过网络线相连。
由于电动推杆能够伸缩，旋转云台可以不同角度的旋转，故为了避免有线连接对部件工作的干涉，在各部件的相应位置还可以设置收线器。且设置旋转云台在进行角度转动时，采用正反转交替的方式进行，例如，在1/3深度处依次拍摄45°、90°和135°的图像，并设定旋转方向为顺时针，则行进到2/3深度处依次拍摄135°、90°和45°的图像，此时的旋转方向为逆时针，从而避免过度旋转而缠绕线。
关于基于相机图像拼接的立体货架视觉盘点系统的具体限定可以参见上文中对于基于相机图像拼接的立体货架视觉盘点方法的限定，在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述的基于相机图像拼接的立体货架视觉盘点方法，包括：
控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像；
提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；
根据所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；
对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果；同时对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果；综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果。
2.如权利要求1所述的基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述利用深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像，包括：
获取本次立体货架视觉盘点的盘点范围，该盘点范围内具有多个货框；
控制深度相机拍摄货框1/3深度处，且拍摄角度为45°、90°和135°的彩色图像和深度图像；并继续拍摄当前货框2/3深度处，且拍摄角度为135°、90°和45°的彩色图像和深度图像；
依次拍摄各货框，得到盘点范围内的所有彩色图像和深度图像。
3.如权利要求1所述的基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述提取同一位置不同角度的彩色图像中的特征点，包括：
采用SURF算子分别提取同一位置不同角度的彩色图像中的特征点，在特征点提取时，首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；
其次对像素进行滤波，并得到Hessian矩阵为：
Figure FDA0002026120810000011
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积；
根据Hessian矩阵得到同一位置不同角度的彩色图像各自的特征点。
4.如权利要求3所述的基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像，包括：
对同一位置不同角度的相邻两彩色图像进行组合，将每一组合中的两彩色图像的特征点进行匹配，得到针对当前两彩色图像的单应性矩阵，在计算两彩色图像的单应性矩阵时，预设最大迭代次数M，并初始化内点点集Π为空集
Figure FDA0002026120810000022
其次将两彩色图像的特征点写入两个初始匹配点集中，得到两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中随机取出3个匹配点对，并利用3个匹配点对估计单应性矩阵H；
计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；
令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
Figure FDA0002026120810000021
其中，ε为度量集合距离，Xk T为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；
循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M；
对最终得到的内点点集Π中的各匹配点对进行最小二乘计算，得到最终针对每一组合中的两彩色图像的单应性矩阵，记为H3×3。
5.如权利要求4所述的基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像，还包括：
依次根据所述单应性矩阵H3×3将对应的两彩色图像进行透视变换，得到同一位置不同角度的彩色图像融合后的盘点图像，在进行图像融合时，对于待融合图像I(x,y)通过以下公式进行处理：
I′(x,y,1)＝H3×3I(x,y,1)；
其中，H3×3为单应性矩阵，由此得到待融合图像经透视变换后位于同一全局坐标系之下对齐后的图像I′(x,y)；
对多组彩色图像进行叠加融合，并对融合带进行处理，得到同一位置的盘点图像，并对每一位置进行图像融合处理，得到每一位置的盘点图像，所述融合带处的像素T(x,y)为：
Figure FDA0002026120810000031
其中，μ是归一化系数，d1，d2分别是像素距离融合带中心的距离，I1(x,y)和I2(x,y)分别是与当前融合带相关的两待融合图像。
6.如权利要求1所述的基于相机图像拼接的立体货架视觉盘点方法，其特征在于，所述根据所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息，包括：
对深度图像I(u,v)，生成对应的三维点云(x,y,z)：
Figure FDA0002026120810000032
其中，zc是像素深度值，u0，v0是图像中心的像素，f是相机焦距；
在对各三维点云进行滤波时，通过三维点云建立KD-Tree，利用一个全局的距离阈值去限定点与邻近点的距离，当搜索到当前点与邻近5个点距离均大于阈值时，则判断当前点为噪声点，并从三维点云中滤除；
得到滤波后的同一位置的不同角度的深度图像对应的三维点云后，通过坐标系转换方法进行三维点云拼接，得到同一位置的盘点三维信息，并对每一位置进行三维点云拼接处理，得到每一位置的盘点三维信息。
7.一种基于相机图像拼接的立体货架视觉盘点系统，其特征在于，所述的基于相机图像拼接的立体货架视觉盘点系统包括：移动部件，连接在移动部件上的电动推杆，设置在电动推杆一端的旋转云台，固定在旋转云台上的深度相机，与电动推杆和旋转云台电连接的控制器，与深度相机和控制器电连接的设备终端，与设备终端连接的服务器；
所述服务器，用于控制所述移动部件移动至立体货架的盘点范围内，并对所述设备终端发送盘点指令，接收所述设备终端反馈的盘点结果；
所述设备终端，用于接收所述服务器的盘点指令，向所述控制器发送图像采集指令，并在所述控制器执行图像采集指令的同时，控制深度相机拍摄立体货架，得到多个指定位置不同角度的彩色图像和深度图像，并接收所述控制器反馈的图像采集完成指令；
还用于在接收到图像采集完成指令之后，提取同一位置不同角度的彩色图像中的特征点，根据提取的特征点将同一位置不同角度的彩色图像进行融合，得到每一位置的盘点图像；根据每一所述深度图像生成三维点云，在对三维点云进行滤波后，将同一位置的不同角度的深度图像对应的三维点云进行拼接，得到每一位置的盘点三维信息；
还用于对预设的货物的彩色图像和所述盘点图像进行特征点提取，并将两者提取的特征点进行匹配，得到图像比对结果；同时对预设的货物的三维信息和所述盘点三维信息进行匹配，得到三维信息比对结果；综合图像比对结果和三维信息比对结果，得到指定位置的货物是否发生改变的盘点结果，并将所述盘点结果反馈至所述服务器；
所述控制器，用于接收所述设备终端的图像采集指令，控制所述电动推杆和旋转云台动作至指定位置，并完成盘点范围内所有指定位置的移动之后，向所述设备终端反馈图像采集完成指令。
8.如权利要求7所述的基于相机图像拼接的立体货架视觉盘点系统，其特征在于，所述移动部件包括：
与地面接触并在地面上移动的部件；或
在预设的轨道上移动的部件；或
在空中飞行移动的部件。
CN201910294776.1A 2019-04-12 2019-04-12 一种基于相机图像拼接的立体货架视觉盘点方法和系统 Active CN110120010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294776.1A CN110120010B (zh) 2019-04-12 2019-04-12 一种基于相机图像拼接的立体货架视觉盘点方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294776.1A CN110120010B (zh) 2019-04-12 2019-04-12 一种基于相机图像拼接的立体货架视觉盘点方法和系统

Publications (2)

Publication Number Publication Date
CN110120010A CN110120010A (zh) 2019-08-13
CN110120010B true CN110120010B (zh) 2023-02-07

Family

ID=67521023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294776.1A Active CN110120010B (zh) 2019-04-12 2019-04-12 一种基于相机图像拼接的立体货架视觉盘点方法和系统

Country Status (1)

Country Link
CN (1) CN110120010B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738599B (zh) * 2019-10-14 2023-04-25 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及存储介质
CN110717936B (zh) * 2019-10-15 2023-04-28 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN113362441A (zh) * 2020-03-06 2021-09-07 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN113643083A (zh) * 2020-04-27 2021-11-12 京东方科技集团股份有限公司 一种商品标记及展示方法、服务器、终端及商品展示系统
CN113573035A (zh) * 2020-04-29 2021-10-29 深圳光峰科技股份有限公司 一种基于视觉的ar-hud亮度自适应调节方法
CN113689374B (zh) * 2020-05-18 2023-10-27 浙江大学 一种植物叶片表面粗糙度确定方法及系统
CN111709679A (zh) * 2020-05-22 2020-09-25 宁波暇客物联科技有限公司 一种物料出入库管理系统
CN112017115A (zh) * 2020-07-09 2020-12-01 卢凯旋 遥感影像拼接方法、装置、设备及存储介质
CN112084940A (zh) * 2020-09-08 2020-12-15 南京和瑞供应链管理有限公司 物资盘点管理系统及方法
CN114253253A (zh) * 2020-09-24 2022-03-29 科沃斯商用机器人有限公司 一种基于人工智能的目标识别方法、装置及机器人
CN112132523B (zh) * 2020-11-26 2021-07-13 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、系统和装置
CN113160414A (zh) * 2021-01-25 2021-07-23 北京豆牛网络科技有限公司 货物余量自动识别方法、装置、电子设备以及计算机可读介质
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统
CN114063617A (zh) * 2021-11-12 2022-02-18 北京京东乾石科技有限公司 巡检控制方法和装置、巡检机器人和巡检系统
CN115511427B (zh) * 2022-11-23 2023-04-07 广州卓铸网络科技有限公司 一种基于二维码的仓储管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 ３次元視覚センサによる認識結果の表示方法および３次元視覚センサ
CN107833181B (zh) * 2017-11-17 2023-04-11 沈阳理工大学 一种基于变焦立体视觉的三维全景图像生成方法
CN109264275B (zh) * 2018-09-20 2020-08-28 深圳蓝胖子机器人有限公司 基于机器人的智能仓库管理方法、装置和存储介质

Also Published As

Publication number Publication date
CN110120010A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110120010B (zh) 一种基于相机图像拼接的立体货架视觉盘点方法和系统
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
Martinec et al. Robust rotation and translation estimation in multiview reconstruction
Pollefeys et al. A simple and efficient rectification method for general motion
CN102834845B (zh) 用于多摄像装置校准的方法与装置
CN101763632B (zh) 摄像机标定的方法和装置
CN102353340B (zh) 缸盖毛坯加工尺寸识别方法及装置
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN107660336A (zh) 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
CN106023183B (zh) 一种实时的直线段匹配方法
CN106954012A (zh) 一种高清多相机全景立体成像系统及方法
CN107134008A (zh) 一种基于三维重建下的动态物体识别的方法及系统
CN112085790A (zh) 点线结合的多相机视觉slam方法、设备及存储介质
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN107490342A (zh) 一种基于单双目视觉的手机外观检测方法
CN111914913B (zh) 一种新型立体匹配优化方法
CN112785705A (zh) 一种位姿获取方法、装置及移动设备
CN104504691B (zh) 基于低秩纹理的摄像机位置和姿态测量方法
Peng et al. 3D reconstruction based on SIFT and Harris feature points
CN206596100U (zh) 一种高清多相机全景立体成像系统
Lu et al. Geometrical consistency voting strategy for outlier detection in image matching
Ihrke et al. External camera calibration for synchronized multi-video systems
Kurz et al. Bundle adjustment for stereoscopic 3d

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant