CN113888617A - 一种关联区域多相机物体匹配方法与系统 - Google Patents
一种关联区域多相机物体匹配方法与系统 Download PDFInfo
- Publication number
- CN113888617A CN113888617A CN202111163838.9A CN202111163838A CN113888617A CN 113888617 A CN113888617 A CN 113888617A CN 202111163838 A CN202111163838 A CN 202111163838A CN 113888617 A CN113888617 A CN 113888617A
- Authority
- CN
- China
- Prior art keywords
- camera
- cameras
- erected
- low
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 31
- 208000004350 Strabismus Diseases 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 241000282887 Suidae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种关联区域多相机物体匹配方法，包括：根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，相机包括高位架设2D相机及低位架设2D相机，低位架设2D相机的高度低于高位架设2D相机；高位架设2D相机采用俯视或斜视方式获取视野内的第一物体图像；低位架设2D相机采用俯视或斜视方式获取视野内的第二物体图像；设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设和低位架设2D相机的同一物体的识别。还公开了相应的物体匹配系统，建立多个相机之间的坐标关联，从而准确地确定物体的位置和尺寸。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种关联区域多相机物体匹配方法与系统。
背景技术
近年来，视觉检测技术在物流领域获取了广泛的应用，包括物体自动搬运、分拣，物流仓储自动化识别、抓取等。物体分拣是电子商务的核心环节，随着我国电商平台的快速发展和交通运输日益快捷，导致物流行业业务量激增。为了增加物流的处理效率，在各中转站和快递点的物流分拣中通常需要借助动力源驱动传送带等输送装置将大量的货物堆输送至不同位置进行单件分离，以便于后续对物流货物进行扫描、识别、分拣等工作。
目前电商和快递行业的分拣作业现场通常采用人工分离的方式，将大量输送进来的货物进行人工分离，任务量繁重、劳动强度大且效率不高。
现有技术中存在如下方案：
相关技术1：并排货物的分离装置及其方法，采用4个3D相机拍摄视野图像拼接获取货物图像，并在图像中建立坐标系。利用边缘检测算法提取图像中货物轮廓的坐标信息。根据每个货物的相对位置、尺寸等信息，筛选出最靠前的第一货物，第一货物所在位置皮带为第一皮带集合，其余货物为第二货物，第二货物所在位置皮带为第二皮带集合。通过皮带差分控制模块将第一皮带集合调快，将第二皮带集合调慢或停止，达到货物并行分离的效果。但3D相机成本较为昂贵；3D相机之间拼接精度差，造成部分视野浪费；对矮货物定位精度差。
相关技术2：货物处理设备和货物处理方法，采用多个3D相机拼接和至少一个2D相机采集货物图像，并对3D和2D图像中的货物关联匹配。对于匹配成功的货物输出2D图像和3D图像中货物置信度高的货物位置作为结果；对于匹配失败的货物判断货物在图像中的置信度是否高于设定阈值，若高于则该货物位置信息作为结果输出，若低于则舍弃该货物的位置信息。但3D相机成本较为昂贵；用传统方法关联匹配，匹配成功率低；3D相机之间拼接精度差，造成部分视野浪费；阈值设定困难。
因此，现有技术中普遍存在如下技术问题：(1)因拍摄时对物体成像“远小近大”特点，会造成物体位置信息输出误差，故现有技术大多采用3D相机采集物体高度修正误差，而3D相机成本较高；(2)多相机图像进行拼接，效果差并且浪费部分视野；(3)相机间关联效果不佳，影响物体位置输出。
目前还没有一套高效且检测精度较高的关联区域多相机物体匹配方法与系统应用于物体的识别过程中。
发明内容
为了解决现有技术中存在的问题，本发明提供了如下一种多相机物体关联区域匹配方法与系统，通过简单的坐标匹配的方式就能够建立多个相机之间的坐标关联，从而准确地确定物体的位置，并进而计算物体的尺寸。
本发明一方面提供了一种关联区域多相机物体匹配方法，包括：
S10，根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，所述相机包括高位架设2D相机和低位架设2D相机，所述低位架设2D相机的高度低于所述高位架设2D相机；
S20，所述高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像，并建立像素图像坐标系；
S30，所述低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像，并建立像素图像坐标系；
S40，设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别。
优选的，所述S10的所述相机架设策略包括：至少需要两个具有一定高度差的2D相机俯视或斜视架设在物体传送装置上方；所述2D相机之间视野互补，覆盖整个需输出物体位置信息的区域。
优选的，所述S10的所述相机标定策略包括：所述相机标定包括将有高度差的所述2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定。
优选的，所述方法完成两次相机标定，包括0高度平面和最大高度平面两高度差2D相机之间像素点的映射关系，0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系。
优选的，步骤S40包括：
S401，获取高位架设2D相机的第一物体图像的检测框结果；
S402，根据所述相机架设策略与所述相机标定策略中所述高位架设2D相机和所述低位架设2D相机在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得所述低位架设2D相机在0高度标定的所述第一映射关系下的第二物体图像中同一物体第一关联框和最大高度平面标定的所述第二映射关系下的第二物体图像第二关联框；
S403，将所述第一关联框和所述第二关联框之间的所有区域框出，设置为关联匹配区域；
S404，重复步骤S401-S403获得每个物体的所述高位架设2D相机检测框结果，并计算对应物体在所述低位架设2D相机中的关联匹配区域；
S405，将物体图像数据经过训练后获得重识别算法模型，利用物体的表面特征信息对高位架设2D相机获得的每个物体的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，获得跨相机间的同一物体识别。
优选的，所述S401通过旋转目标检测模型或者轻量化深度学习检测模型实现旋转目标检测，其中所述旋转目标检测模型包括旋转yolov5、R2CNN、RRPN、Gliding vertex、P-RSDet或SCRDet。
优选的，所述步骤S40还包括：输出物体跨相机间相同的ID号后进行物体重识别，所述物体重识别采用深度学习物体重识别算法实现。
本发明的第二方面提供一种关联区域多相机物体匹配系统，包括：
相机架设与标定模块，用于根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，所述相机包括高位架设2D相机和低位架设2D相机，所述低位架设2D相机的高度低于所述高位架设2D相机；
第一物体图像获取模块，用于通过所述高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像，并建立像素图像坐标系；
第二物体图像获取模块，用于通过所述低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像，并建立像素图像坐标系；
关联匹配模块，用于设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明提供的关联区域多相机物体匹配方法与系统，具有如下有益效果：
根据具有高度差的2D相机对同一物体尺寸成像大小不同的特点，以关联匹配区域的坐标匹配的简易方式获得物体的匹配和多个图像信息，利用匹配成功的物体和两个物体检测结果的成像大小，调用不同的相机获得跨视野尺寸物体，分别调用不同组别的高低相机计算求均值的方式计算出物体实际尺寸，解决工程应用中设备成本高昂和3D相机对矮物体检测效果不佳的问题。本方法相机架设相对简单，多角度镜头可以有效减少物体间遮挡盲区，提升检测效果。
附图说明
图1为本发明所述关联区域多相机物体匹配方法的优选实施例的方法流程示意图。
图2为本发明所述关联区域多相机物体匹配方法的优选实施例中相机标定的方法原理图。
图3为本发明所述关联区域多相机物体匹配方法的优选实施例中相机标定在中点俯视镜头和角点斜视镜头中实现的方法原理图。
图4为本发明所述关联区域多相机物体匹配方法的优选实施例中基于相机标定设置关联匹配区域方法原理图。
图5为本发明所述关联区域多相机物体匹配方法的优选实施例中基于相机标定设置关联匹配区域方法流程图。
图6为本发明所述关联区域多相机物体匹配方法物体重识别算法原理示意图。
图7为本发明所述关联区域多相机物体匹配系统结构示意图。
图8为本发明提供的电子设备实施例的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
需要说明的是，本实施例最终的技术目的在于输出每个物体的世界坐标系坐标，但2D相机初始采集的第一和第二物体图像信息首先建立的为像素图像坐标系，因此存在坐标系的转化过程，具体的转化过程为：像素图像坐标系→成像平面坐标系→(摄像机)相机坐标系→世界坐标系。
其中：
像素图像坐标系(u-v)：以图像左上角为原点建立以像素为单位建立的直角坐标系。u和v代表像素的行数和列数。
成像平面坐标系(o-xy)：以影像几何中心O为原点，x、y轴方向分别为平行于影像画幅边缘线的二维坐标系。单位为所成像实际空间范围单位像素点所对应的物理尺寸，如1毫米/像素，x和y代表水平和垂直方向距离原点的物理距离。
(摄像机)相机坐标系(oe-xeyeze)：以摄像机或相机光心为原点，z轴与光轴重合，也就是z轴指向相机的前方(即与成像平面垂直)，x轴和y轴的正方向与成像平面坐标系平行。
世界坐标系(ow-xwywzw)：由于相机可以安放在环境中的任意位置，因此在环境中选择一个基准坐标系来描述摄像机的位置，并用其描述环境中任何物体的位置，该坐标系被称为世界坐标系。
如图1所示，本优选实施例以物流应用为场景，因此对应地提供了一种关联区域多相机物体匹配方法，包括：
S10，根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，本实施例中相机包括一台高位架设2D相机和一台或两台低位架设2D相机，当然本领域技术人员可以设定任一数量的高位架设2D相机或者低位架设2D相机，低位架设2D相机的高度低于高位架设2D相机；
S20，高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像，并建立像素图像坐标系；
S30，低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像，并建立像素图像坐标系；
S40，设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别。
S10的相机架设策略包括：至少需要两个具有一定高度差的2D相机俯视或斜视架设在物体传送装置上方；2D相机之间视野互补，覆盖整个需输出物体位置信息的区域。
本实施例中，架设策略共使用三个相机，确保每个相机视野都覆盖整个单件分离模块。在视野区域对角线的顶点架设两低位相机称为角点相机；在视野区域中心点架设一个高位相机称为中点相机。两角点相机位于同一高度，均与中点相机保持一定高度差。其中中点相机居中，能够消除拍摄范围不均匀带来的误差。对于小范围的拍摄和物体匹配的情况，也可以考虑仅采用一个中点相机和一个角点相机。
如图2所示，S10的相机标定策略包括：相机标定包括将有高度差的2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定。
如图3所示，按照图2所示方法完成两次相机标定，即完成0高度平面和最大高度平面两高度差2D相机之间像素点的映射关系的确定，其中0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系。图3中，A、B、C、D为在中点俯视镜头所检测物体表面的检测框的四个角点像素图像坐标，A1、B1、C1、D1为由第一映射关系H1在角点斜视镜头中得出的四个角点像素图像坐标，A2、B2、C2、D2为由第二映射关系H2在角点斜视镜头中得出的四个角点像素图像坐标。当然，图3所示两次相机标定以四个角点为例进行说明，本领域技术人员可以在相应的技术教导下，根据第一映射关系H1和第二映射关系H2获得不限于四个角点的多个角点像素图像坐标，同样也属于本发明的保护范围。
步骤S40包括：
S401，获取高位架设2D相机的第一物体图像的检测框结果；
S402，根据所述相机架设策略与所述相机标定策略中所述高位架设2D相机和所述低位架设2D相机在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得所述低位架设2D相机在0高度标定的所述第一映射关系下的第二物体图像第一关联框和最大高度平面标定的所述第二映射关系下的第二物体图像第二关联框；
S403，将所述第一关联框和所述第二关联框之间的所有区域框出，设置为关联匹配区域；
S404，重复步骤S401-S403获得每个物体的所述高位架设2D相机检测框结果，并计算对应物体在所述低位架设2D相机中的关联匹配区域；
S405，将物体图像数据经过训练后获得重识别算法模型，利用物体的表面特征信息对高位架设2D相机获得的每个物体的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，获得跨相机间的同一物体识别。
如图4所示，左侧为中点俯视镜头中物体表面的检测框以及A、B、C、D四个角点，右侧为角点俯视镜头中该物体的关联匹配区域，以及由第一映射关系H1得到的A1(ua1,va1)、B1(ub1,vb1)、C1(uc1,vc1)、D1(ud1,vd1)和由第二映射关系得到的A2(ua2,va2)、B2(ub2,vb2)、C2(uc2,vc2)、D2(ud2,vd2)像素图像坐标。该区域的设置步骤为：
(1)求出ua1、ub1、uc1、ud1、ua2、ub2、uc2、ud2的最大值umax记为right，最小值umin记为left；
(2)同步骤(1)求出vmax记为top，vmin记为bottom；
(3)该关联匹配区域在角点斜视镜头的左上角点坐标为(left，top)，右下角点坐标为(right，bottom)，并绘制该矩形区域即为关联匹配区域。
本实施例涉及物体高度均在0-70cm之间，所以该方式所设置的关联匹配区域即可确定中间俯视镜头检测到的物体在角点斜视镜头中的大致区域。
如图5所示，为设置关联匹配区域流程图，通过相机标定部分，可以得到两个相机中二维坐标的映射关系，并且可以看到相同长宽不同高度的物体在同一个图像中的位置框也不同，因此框出包含高度在0-70cm范围的一个大框，并将该框的信息映射到另一个相机的图像中，得到一个跨相机的关联匹配区域。
优选的，所述S401通过旋转目标检测模型或者轻量化深度学习检测模型实现旋转目标检测，其中所述旋转目标检测模型包括旋转yolov5、R2CNN、RRPN、Gliding vertex、P-RSDet或SCRDet。
优选的，所述步骤S40还包括：输出物体跨相机间相同的ID号后进行物体重识别。
如图6所示，物体重识别采用深度学习物体重识别算法实现。物体重识别步骤的原理为：采用局部匹配的方式进行同物体识别，例如在中点相机2中检测到一个物体，通过相机标定输出的映射关系得到在入口相机1图像的某一部分区域，并在该区域中查找识别相同物体，从而实现同物体识别的目的。
如图7所示，本发明的第二方面，提供一种关联区域多相机物体匹配系统，包括：
相机架设与标定模块10，用于根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，所述相机包括一台高位架设2D相机以及一台或两台低位架设2D相机，所述低位架设2D相机的高度低于所述高位架设2D相机；
第一物体图像获取模块20，用于通过所述高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像；
第二物体图像获取模块30，用于通过所述低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像；
关联匹配模块40，用于设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别，并输出物体跨相机间相同的ID号。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
如图8所示，本发明还提供了一种电子设备，包括处理器301和与处理器301连接的存储器302，存储器302存储有多条指令，指令可被处理器加载并执行，以使处理器能够执行如实施例的方法。
本实施例通过具有高度差的2D相机对同一物体尺寸成像大小不同的特点，以关联匹配区域的坐标匹配的简易方式获得物体的匹配和多个图像信息，利用匹配成功的物体和两个物体检测结果的成像大小，调用不同的相机获得跨视野尺寸物体，分别调用不同组别的高低相机利用小孔成像原理计算出物体实际尺寸，解决工程应用中设备成本高昂和3D相机对矮物体检测效果不佳的问题。
本方法相机架设相对简单，多角度镜头可以有效减少物体间遮挡盲区，提升检测效果。该设备水平方向位置检测误差在5cm以内，竖直高度方向的位置检测分辨率达到0.1cm。对于薄片状较矮的物体，在图像形成过程中如果发生较矮的物体被遮挡的情况，默认物体高度为5cm。对于不规则形状物体，利用检测算法增加物体表面检测角点数量，对于多个角点分别采用小孔成像原理，计算三维尺寸和物体位置，增加准确性，或者对于坐标和关联区域的确定会多次求取均值，尽可能地精确。
本发明的方案可以将物体的应用场景扩展到任何可相对移动物体的体积、位置和/或质量等典型数的检测，包括养殖业中生猪等通过传送带和2D相机的配合测量其体积，获知生长状况以及出栏决策。当然，还可以延伸到任何与2D相机具有相对位移的检测场景中，均在本发明的保护范围内。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种关联区域多相机物体匹配方法，其特征在于，包括：
S10，根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，所述相机包括高位架设2D相机和低位架设2D相机，所述低位架设2D相机的高度低于所述高位架设2D相机；
S20，所述高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像，并建立像素图像坐标系；
S30，所述低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像，并建立像素图像坐标系；
S40，设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别。
2.根据权利要求1所述的一种关联区域多相机物体匹配方法，其特征在于，所述S10的所述相机架设策略包括：至少需要两个具有一定高度差的2D相机俯视或斜视架设在物体传送装置上方；所述2D相机之间视野互补，覆盖整个需输出物体位置信息的区域。
3.根据权利要求1所述的一种关联区域多相机物体匹配方法，其特征在于，所述S10的所述相机标定策略包括：所述相机标定包括将有高度差的所述2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定。
4.根据权利要求3所述的一种关联区域多相机物体匹配方法，其特征在于，所述S10完成两次相机标定，即确定0高度平面和最大高度平面两高度差2D相机之间像素点的映射关系，其中0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系。
5.根据权利要求1所述的一种关联区域多相机物体匹配方法，其特征在于，步骤S40包括：
S401，获取高位架设2D相机的第一物体图像的检测框结果；
S402，根据所述相机架设策略与所述相机标定策略中所述高位架设2D相机和所述低位架设2D相机在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得所述低位架设2D相机在0高度标定的所述第一映射关系下的第二物体图像中同一物体第一关联框和最大高度平面标定的所述第二映射关系下的第二物体图像第二关联框；
S403，将所述第一关联框和所述第二关联框之间的所有区域框出，设置为关联匹配区域；
S404，重复步骤S401-S403获得每个物体的所述高位架设2D相机检测框结果，并计算对应物体在所述低位架设2D相机中的关联匹配区域；
S405，将物体图像数据经过训练后获得重识别算法模型，利用物体的表面特征信息对高位架设2D相机获得的每个物体的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，获得跨相机间的同一物体识别。
6.根据权利要求5所述的一种关联区域多相机物体匹配方法，其特征在于，所述S401通过旋转目标检测模型或者轻量化深度学习检测模型实现旋转目标检测，其中所述旋转目标检测模型包括旋转yolov5、R2CNN、RRPN、Gliding vertex、P-RSDet或SCRDet。
7.根据权利要求1所述的一种关联区域多相机物体匹配方法，其特征在于，步骤S40还包括：输出物体跨相机间相同的ID号后进行物体重识别，所述物体重识别采用深度学习物体重识别算法实现。
8.一种关联区域多相机物体匹配系统，其特征在于包括：
相机架设与标定模块(10)，用于根据预先设置的相机架设策略和相机标定策略进行相机架设和相机标定，所述相机包括高位架设2D相机和低位架设2D相机，所述低位架设2D相机的高度低于所述高位架设2D相机；
第一物体图像获取模块(20)，用于通过所述高位架设2D相机采用俯视或斜视的方式获取视野内的第一物体图像，并建立像素图像坐标系；
第二物体图像获取模块(30)，用于通过所述低位架设2D相机采用俯视或斜视的方式获取视野内的第二物体图像，并建立像素图像坐标系；
关联匹配模块(40)，用于设置关联匹配区域，并根据重识别算法模型对每个物体在高位架设2D相机的第一物体图像在低位架设2D相机中的关联匹配区域进行关联匹配，实现跨高位架设2D相机和低位架设2D相机的同一物体的识别。
9.一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-7所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163838.9A CN113888617A (zh) | 2021-09-30 | 2021-09-30 | 一种关联区域多相机物体匹配方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163838.9A CN113888617A (zh) | 2021-09-30 | 2021-09-30 | 一种关联区域多相机物体匹配方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888617A true CN113888617A (zh) | 2022-01-04 |
Family
ID=79005158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111163838.9A Pending CN113888617A (zh) | 2021-09-30 | 2021-09-30 | 一种关联区域多相机物体匹配方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888617A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113546869A (zh) * | 2020-04-24 | 2021-10-26 | 合肥美亚光电技术股份有限公司 | 物料分选设备、方法以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316332A (zh) * | 2017-05-16 | 2017-11-03 | 深圳市保千里电子有限公司 | 一种应用智能驾驶的相机和场景关联标定方法及系统 |
| US20180322648A1 (en) * | 2015-11-11 | 2018-11-08 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
| CN111260720A (zh) * | 2020-01-13 | 2020-06-09 | 浙江大学 | 一种基于深度学习方法的目标高度测定系统 |
| CN111612833A (zh) * | 2020-05-15 | 2020-09-01 | 内蒙古能建数字信息科技有限公司 | 一种行驶车辆高度实时检测方法 |
-
2021
- 2021-09-30 CN CN202111163838.9A patent/CN113888617A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322648A1 (en) * | 2015-11-11 | 2018-11-08 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
| CN107316332A (zh) * | 2017-05-16 | 2017-11-03 | 深圳市保千里电子有限公司 | 一种应用智能驾驶的相机和场景关联标定方法及系统 |
| CN111260720A (zh) * | 2020-01-13 | 2020-06-09 | 浙江大学 | 一种基于深度学习方法的目标高度测定系统 |
| CN111612833A (zh) * | 2020-05-15 | 2020-09-01 | 内蒙古能建数字信息科技有限公司 | 一种行驶车辆高度实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王翰;王西峰;康运江;陈炜;张天宇;: "基于双目视觉的工件空间定位方法研究", 机电产品开发与创新, no. 06, 28 November 2019 (2019-11-28), pages 11 - 14 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113546869A (zh) * | 2020-04-24 | 2021-10-26 | 合肥美亚光电技术股份有限公司 | 物料分选设备、方法以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651752B (zh) | 三维点云数据配准方法及拼接方法 | |
| US11720766B2 (en) | Systems and methods for text and barcode reading under perspective distortion | |
| CN108510530B (zh) | 一种三维点云匹配方法及其系统 | |
| CN111179358A (zh) | 标定方法、装置、设备及存储介质 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN112308916B (zh) | 一种基于图像靶标的目标位姿识别方法 | |
| CN111640157A (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
| US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN111507976A (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| CN111915485B (zh) | 一种特征点稀疏工件图像的快速拼接方法及系统 | |
| CN111046843A (zh) | 一种智能驾驶环境下的单目测距方法 | |
| Förstner | Optimal vanishing point detection and rotation estimation of single images from a legoland scene | |
| CN113936010A (zh) | 货架定位方法、装置、货架搬运设备及存储介质 | |
| CN110443245A (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
| CN111767780A (zh) | 一种ai与视觉结合的智能集卡定位方法和系统 | |
| CN115685160A (zh) | 基于标靶的激光雷达与相机标定方法、系统、电子设备 | |
| CN113688846A (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN112345534A (zh) | 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统 | |
| CN113888617A (zh) | 一种关联区域多相机物体匹配方法与系统 | |
| CN111626241A (zh) | 一种人脸检测方法及装置 | |
| CN115063472A (zh) | 基于深度学习的行李识别测量方法及装置 | |
| CN112614176A (zh) | 一种带式传送机物料体积测量方法、装置及存储介质 | |
| CN112749664A (zh) | 一种手势识别方法、装置、设备、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |