CN107862745B - 一种反射式的曲面三维重建标签方法和装置 - Google Patents

一种反射式的曲面三维重建标签方法和装置 Download PDF

Info

Publication number
CN107862745B
CN107862745B CN201711016048.1A CN201711016048A CN107862745B CN 107862745 B CN107862745 B CN 107862745B CN 201711016048 A CN201711016048 A CN 201711016048A CN 107862745 B CN107862745 B CN 107862745B
Authority
CN
China
Prior art keywords
image
feature points
grid
label
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711016048.1A
Other languages
English (en)
Other versions
CN107862745A (zh
Inventor
钱成
章美荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Churui Vision Technology Co ltd
Original Assignee
Wuhan Churui Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Churui Vision Technology Co ltd filed Critical Wuhan Churui Vision Technology Co ltd
Priority to CN201711016048.1A priority Critical patent/CN107862745B/zh
Publication of CN107862745A publication Critical patent/CN107862745A/zh
Application granted granted Critical
Publication of CN107862745B publication Critical patent/CN107862745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及标签识别技术领域，提供了一种反射式的曲面三维重建标签方法和装置。其中方法包括将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及网格中经过筛选后的剩余映射匹配特征点；根据所述剩余映射匹配特征点，计算待检测图像上点的三维点云。本发明通过网格划分的方式，引入无效特征点剔除方法，提高了三维点云的特征点的整理效率，提高了离散图片到完整曲面图片的转换速率。

Description

一种反射式的曲面三维重建标签方法和装置
【技术领域】
本发明涉及标签识别技术领域，特别是涉及一种反射式的曲面三维重建标签方法和装置。
【背景技术】
如图1所示，为现有技术中通过两个摄像头就能完成目标对象360环绕视角拍摄的光学方案解决方案。其中，单侧的相机通过反射结构可以观察超过180度的标签范围，需要一个相机和4组反射镜。其中反射镜1和反射镜架4之间设置的角度在90度左右，在架设时候需要确保反射镜1和反射镜4具备有公共视场。为了保证反射镜2和反射镜3不会阻挡来自瓶身的光线进入反射镜1和反射镜4，反射镜2和反射镜3采用单面透视通过的玻璃制作。
这种方式由于摄像头所采集的图片包括多个角度和多个区域，由于图片之间是离散的，因此，不同图片区域之间的标签状态判断存在较大的不确定性。另外一方面，由于这种不确定性因素的存在，现有技术中利用图1所示的装置系统完成瓶体标签检测过程中，通常都会严格限定瓶体放置的角度，使得两个摄像头拍出来的图片结果，能够尽可能小的避免上述边界区域带来的判断不确定性。其想法是通过避开图形复杂区域落入摄像头拍摄的图片的边界区域，从而减少素数判断不确定性的解析难度。
但是，现有技术这种处理方式不仅造成了流水线上放置待检测瓶体的难度提高，降低了操作效率；而且，也没有真正克服所述判断不确定性的存在。
【发明内容】
本发明要解决的技术问题是现有技术中通过限制放置待检测瓶体的角度来降低判断不确定性的处理方式，不仅造成了流水线上放置待检测瓶体的难度提高，降低了操作效率，而且，也没有真正克服所述判断不确定性的存在。
本发明采用如下技术方案：
第一方面，本发明提供了一种反射式的曲面三维重建标签方法，获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配，方法包括：
将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；
依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；
根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
优选的，根据所述特征点映射分布计算得到各网格可被正确匹配的概率，具体包括：
对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure GDA0002828934870000021
其中k为邻接落入的加权系数。
优选的，所述根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云，具体包括：
Figure GDA0002828934870000031
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。
优选的，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
优选的，所述预设阈值通过实时计算得到，具体的：
按照计算得到的各网格的概率值分布；
根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
第二方面，本发明还提供了一种反射式的曲面三维重建标签装置，包括特征点获取模块、特征点筛选模块和三维点云分析模块，且依次相连，具体的：
所述特征点获取模块，用于获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配；
所述特征点筛选模块，用于将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
所述三维点云分析模块，用于根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
优选的，所述特征点筛选模块还包括匹配概率计算单元，具体的：
所述匹配概率计算单元，用于对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure GDA0002828934870000041
其中k为邻接落入的加权系数。
优选的，所述三维点云分析模块还包括三维点计算单元，具体的：
所述三维点计算单元，用于根据公式
Figure GDA0002828934870000042
计算得到三维点云；
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。
优选的，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
优选的，所述特征点筛选模块还包括预设阈值计算单元，具体的：
所述预设阈值计算单元，用于按照计算得到的各网格的概率值分布，根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
第三方面，本发明还提供了一种电子设备，用于实现第一方面所述的反射式的曲面三维重建标签方法，所述设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令被程序设置为执行第一方面所述的反射式的曲面三维重建标签方法。
第四方面，本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的反射式的曲面三维重建标签方法。
本发明不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种反射式的曲面三维拍摄的装置结构示意图；
图2是本发明实施例提供的一种反射式的曲面三维重建标签方法流程示意图；
图3是本发明实施例提供的一种网格划分效果示意图；
图4是本发明实施例提供的一种网格划分后基于网格中特征点的匹配效果示意图；
图5是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图6是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图7是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图8是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图9是本发明实施例提供的一种智能设备结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种反射式的曲面三维重建标签方法，在进行本发明实施例核心方法之前，需要获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配，如图2所示，所述检测方法包括：
在步骤201中，将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点。
如图3所示，为将一帧图片进行9×9数量网格分割后的效果示意图，而图4的左侧图则是图3中标注黑色粗线条框子块放大后的效果示意图(图4中右侧的图则是另一幅进行网格操作后的与图3进行特征匹配后的效果图，其中的连线表明相应特征点是已经完成了映射匹配的)。从图4所示示意图中可以看到，不同的网格中离散的分布着一些特征点。其中，网格的数量是根据图片中有效特征点的信息量所确定的，两者关系通常是步骤201之前得到的特征点之间的映射匹配数量越多，则相应的网格的数量可以设置的相对多些；而如果特征点之间的映射匹配数量越少，则相应的网格的数量可以设置的相对少些，从而能够保证单一网格中所包含的可用于计算的映射匹配数量达到可操作单位量(例如数量要求大于等于5个)。
在步骤202中，依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布。
其中，所述的各网格的特征点映射分布，是指完成网格划分后，各网格中所包含的特征点数量，并且，各网格在生成的同时会进行编号，从而保证能够根据特征点和网格编号唯一的寻址到相应的特征点。
在步骤203中，根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点。
其中，所述预设阈值通过实时计算得到，包括：按照计算得到的各网格的概率值分布；根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
在步骤204中，根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云。
在步骤205中，根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
其中，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
本发明实施例不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
结合本发明实施例，对于实施例1中步骤203中所涉及的：根据所述特征点映射分布计算得到各网格可被正确匹配的概率，提供了一种优选的实现方案，具体包括：
对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure GDA0002828934870000081
其中k为邻接落入的加权系数。需要强调的是，九宫格只是多种计算单元中的一种，例如，还可以是16宫格、25宫格等等，而相应的计算方法可以借鉴九宫格所述内容，在此不再赘述。
以图4为例，其中左图中心网格心特征点总数为Num_Tl＝5，落入右边网格中的数目为Num_Hl＝3,
落入到右边邻接网格中的数目为Num_Al＝1，未落入的数目为Num_Ll＝1；
右图中心网格心特征点总数为Num_Tr＝5,落入到左边网格中的数目为Num_Hr＝3,
落入到右边邻接网格中的数目为Num_Ar＝2，未落入的数目为Num_Lr＝0；
按照统计学规律，得到左右网格能够匹配得上的概率被计算为：
Figure GDA0002828934870000082
其中，k为邻接落入的加权系数，当不要求时耗的时候可以扩展为进一步计算点之间的计算关系。一般情况下如果按照网格计算，则可取0.5。
结合本发明实施例1，对于步骤204中所涉及的：所述根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云，还提供了一种优选的实现方案，具体包括：
Figure GDA0002828934870000091
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。运算得到的f/dx一般写成fx，为相机在x方向的像素焦距；f/dy一般写成fy，为相机在y方向的像素焦距；u0为图片中，相机的光轴中心相对图片中心的x方向的偏移；v0为图片中，相机的光轴中心相对图片中心的y方向的偏移。
实施例2：
本发明实施例除了提供如实施例1所述的一种反射式的曲面三维重建标签方法以外，还提供了一种反射式的曲面三维重建标签装置，如图5所示，包括特征点获取模块、特征点筛选模块和三维点云分析模块，且依次相连，具体的：
所述特征点获取模块，用于获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配；
所述特征点筛选模块，用于将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
所述三维点云分析模块，用于根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
本发明实施例不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
结合本发明实施例，还存在一种优选的实现方案，如图6所示，所述特征点筛选模块还包括匹配概率计算单元，具体的：
所述匹配概率计算单元，用于对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure GDA0002828934870000101
其中k为邻接落入的加权系数。
结合本发明实施例，还存在一种优选的实现方案，如图7所示，所述三维点云分析模块还包括三维点计算单元，具体的：
所述三维点计算单元，用于根据公式
Figure GDA0002828934870000102
计算得到三维点云；
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。
在本发明实施例中，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
结合本发明实施例，还存在一种优选的实现方案，如图8所示，所述特征点筛选模块还包括预设阈值计算单元，具体的：
所述预设阈值计算单元，用于按照计算得到的各网格的概率值分布，根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
实施例3：
本实施例的还提供了一种智能终端，能够用于完成实施例1所述的方法步骤，如图9所示，所述智能终端2包括一个或多个处理器21以及存储器22。其中，图9中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器22作为一种喷码识别方法和装置非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的喷码识别方法以及对应的程序指令/模块(例如，图5-图8所示的各个模块)。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块，从而执行喷码识别装置的各种功能应用以及数据处理，即实现实施例1的反射式的曲面三维重建标签方法以及实施例2的各个模块、单元的功能。
存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的反射式的曲面三维重建标签方法，例如，执行以上描述的图1所示的各个步骤；也可实现图5-图8所述的各个模块、单元。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例1基于同一构思，具体内容可参见本发明方法实施例1中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种反射式的曲面三维重建标签方法，获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配，其特征在于，方法包括：
将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；
依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；
根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
2.根据权利要求1所述的反射式的曲面三维重建标签方法，其特征在于，根据所述特征点映射分布计算得到各网格可被正确匹配的概率，具体包括：
对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure FDA0002797130230000011
其中k为邻接落入的加权系数。
3.根据权利要求1所述的反射式的曲面三维重建标签方法，其特征在于，所述根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云，具体包括：
Figure FDA0002797130230000021
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。
4.根据权利要求1所述的反射式的曲面三维重建标签方法，其特征在于，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
5.根据权利要求1所述的反射式的曲面三维重建标签方法，其特征在于，所述预设阈值通过实时计算得到，具体的：
按照计算得到的各网格的概率值分布；
根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
6.一种反射式的曲面三维重建标签装置，其特征在于，包括特征点获取模块、特征点筛选模块和三维点云分析模块，且依次相连，具体的：
所述特征点获取模块，用于获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配；
所述特征点筛选模块，用于将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
所述三维点云分析模块，用于根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
7.根据权利要求6所述的反射式的曲面三维重建标签装置，其特征在于，所述特征点筛选模块还包括匹配概率计算单元，具体的：
所述匹配概率计算单元，用于对应于待检测图像中的第一九宫格的格心特征点总数为Num_Tl，落入标准平面标签图像中第二九宫格的格心的数目为Num_Hl；落入到第二九宫格的格心的邻接网格中的数目为Num_Al；未落入第二九宫格的数目为Num_Ll；第二九宫格的格心特征点总数为Num_Tr；落入第一九宫格的格心的数目为Num_Hr；落入到第一九宫格的格心的邻接网格中的数目为Num_Ar；未落入第一九宫格的数目为Num_Lr；得到左右网格能够匹配得上的概率被计算为：
Figure FDA0002797130230000031
其中k为邻接落入的加权系数。
8.根据权利要求6所述的反射式的曲面三维重建标签装置，其特征在于，所述三维点云分析模块还包括三维点计算单元，具体的：
所述三维点计算单元，用于根据公式
Figure FDA0002797130230000041
计算得到三维点云；
其中，dx、dy、u0、v0和f为相机的内部参数；R和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；Xw,Yw,Zw为待求解的三维空间坐标。
9.根据权利要求6所述的反射式的曲面三维重建标签装置，其特征在于，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
10.根据权利要求6所述的反射式的曲面三维重建标签装置，其特征在于，所述特征点筛选模块还包括预设阈值计算单元，具体的：
所述预设阈值计算单元，用于按照计算得到的各网格的概率值分布，根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
CN201711016048.1A 2017-10-25 2017-10-25 一种反射式的曲面三维重建标签方法和装置 Active CN107862745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711016048.1A CN107862745B (zh) 2017-10-25 2017-10-25 一种反射式的曲面三维重建标签方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711016048.1A CN107862745B (zh) 2017-10-25 2017-10-25 一种反射式的曲面三维重建标签方法和装置

Publications (2)

Publication Number Publication Date
CN107862745A CN107862745A (zh) 2018-03-30
CN107862745B true CN107862745B (zh) 2021-04-09

Family

ID=61696878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711016048.1A Active CN107862745B (zh) 2017-10-25 2017-10-25 一种反射式的曲面三维重建标签方法和装置

Country Status (1)

Country Link
CN (1) CN107862745B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236092B (zh) * 2022-09-21 2022-12-13 扬州金韵乐器御工坊有限公司 基于光学手段的古琴表面材料破损检测识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279979A (zh) * 2013-05-03 2013-09-04 山东明佳包装检测科技有限公司 基于3d建模的近柱面瓶体标签的检测方法
CN106022228A (zh) * 2016-05-11 2016-10-12 东南大学 一种基于网格纵横局部二值模式的三维人脸识别方法
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN106971390A (zh) * 2017-02-23 2017-07-21 国网上海市电力公司 一种贴标质量的检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175854A (ja) * 1999-12-21 2001-06-29 Tokyo Denshi Kogyo Kk 画像による良否検査装置
US8243986B2 (en) * 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
CN105444692B (zh) * 2015-11-18 2018-03-09 广东工业大学 一种水火弯板曲面提取方法
CN106683173B (zh) * 2016-12-22 2019-09-13 西安电子科技大学 一种基于邻域块匹配提高三维重建点云稠密程度的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279979A (zh) * 2013-05-03 2013-09-04 山东明佳包装检测科技有限公司 基于3d建模的近柱面瓶体标签的检测方法
CN106022228A (zh) * 2016-05-11 2016-10-12 东南大学 一种基于网格纵横局部二值模式的三维人脸识别方法
CN106971390A (zh) * 2017-02-23 2017-07-21 国网上海市电力公司 一种贴标质量的检测方法
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的饮料瓶标签检测设备;张树君 等;《食品研究与开发》;20140228;第35卷(第3期);134-136 *

Also Published As

Publication number Publication date
CN107862745A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
US20170140578A1 (en) Depth camera-based human-body model acquisition method and network virtual fitting system
CN107392851A (zh) 用于生成全景图像的方法和设备
RU2623806C1 (ru) Способ и устройство обработки стереоизображений
CN109118544B (zh) 基于透视变换的合成孔径成像方法
US20200027219A1 (en) Dense optical flow processing in a computer vision system
CN112822402B (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN114332134B (zh) 一种基于密集点云的建筑物立面提取方法和装置
CN112053441B (zh) 一种室内鱼眼图像的全自动布局恢复方法
CN112613107B (zh) 杆塔工程确定施工进度的方法、装置、存储介质及设备
CN108428224A (zh) 基于卷积神经网的动物体表温度检测方法及装置
CN107967665B (zh) 图像处理方法和图像处理装置
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN105954292B (zh) 基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法
CN111340889B (zh) 基于车载激光扫描自动获取匹配图像块与点云球的方法
CN107862745B (zh) 一种反射式的曲面三维重建标签方法和装置
US20220129660A1 (en) System and method of acquiring coordinates of pupil center point
CN116681732B (zh) 一种基于复眼形态视觉的目标运动识别方法及系统
CN109389367A (zh) 人员考勤方法、装置及存储介质
CN115393196B (zh) 一种无人机面阵摆扫的红外多序列影像无缝拼接方法
Jancosek et al. Segmentation based multi-view stereo
CN115294277A (zh) 一种物体的三维重建方法、装置、电子设备及存储介质
CN115063485A (zh) 三维重建方法、装置及计算机可读存储介质
CN112562057B (zh) 三维重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant