CN116206189A - 一种曲面图形标识码及其识别方法 - Google Patents

一种曲面图形标识码及其识别方法 Download PDF

Info

Publication number
CN116206189A
CN116206189A CN202211113908.4A CN202211113908A CN116206189A CN 116206189 A CN116206189 A CN 116206189A CN 202211113908 A CN202211113908 A CN 202211113908A CN 116206189 A CN116206189 A CN 116206189A
Authority
CN
China
Prior art keywords
identification code
graphic identification
image
rigid object
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211113908.4A
Other languages
English (en)
Inventor
杨振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Liaoning USTL
Original Assignee
University of Science and Technology Liaoning USTL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Liaoning USTL filed Critical University of Science and Technology Liaoning USTL
Priority to CN202211113908.4A priority Critical patent/CN116206189A/zh
Publication of CN116206189A publication Critical patent/CN116206189A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种曲面图形标识码和一种曲面图形标识码的识别方法，它涉及一种图形标识码和一种机器视觉识别方法。一种图形标识码包括：通过将平面图形标识码固定贴合在非刚性物体表面而产生，由于存在变形现象，采用常规的平面图形标识码的识别方法无法识别；一种机器视觉识别方法包括：设计、实现、训练和使用一种图像处理卷积神经网络模型。通过目标检测网络剪裁出最小包络曲面图形标识码的矩形图像区域，参考原平面图形标识码图像，利用空间变换网络和变形场识别网络进行图像矫正，矫正后的曲面图形标识码图像可使用平面图形标识码视觉识别库正确识别。本发明实现对非刚性物体6D姿态估计，有效解决由于物体表面存在变形而引起的识别困难问题。

Description

一种曲面图形标识码及其识别方法
技术领域
本发明涉及一种曲面图形标识码和一种曲面图形标识码的识别方法，更具体地说，它涉及一种图形标识码和一种机器视觉识别方法。一种曲面图形标识码，包括：通过将平面图形标识码固定贴合在非刚性物体表面而产生，由于表面变形，采用常规的平面图形标识码的识别方法无法识别。一种机器视觉识别方法包括：训练、实现和使用一种图像处理卷积神经网络模型对所述曲面图形标识码进行识别。
背景技术
非刚性物体，由于物体表面的变形现象，从而导致非刚性物体6D姿态识别困难，非刚性物体表面上足够小的一块区域可以被视为刚体。另外，平面图形标识码，例如ArUco、ARTag、AprilTag和STag等，用于不同的目标识别和伺服机器人等任务。将平面图形标识码固定贴合在非刚性物体的表面，并随非刚性物体表面的变形而变形，形成一种曲面图形标识码，如果它能被准确识别，则可以高效地辅助所述非刚性物体的6D位姿识别。所以，急需一种通用的有效识别曲面图形标识码识别方法，不但可以完成机器人的视觉伺服任务，还可以拓展机器视觉的应用领域，开辟更多的创新应用方式，例如，工业4.0所要求的智能产品，产品在生产过程中，通过识别曲面图形标识码上自带产品加工信息，完成个性化生产。
由于变形的图形标识码不能被有效识别，为解决该问题，现有技术的常用方法为：
国内专利“一种二维码图像矫正方法”(专利号：CN103745221A)，涉及一种二维码图像矫正方法，通过对灰度化后的二维码图像进行预处理，采用了两次几何矫正，对那些形变比较大的图像，可以得到更加满意的几何矫正效果。该技术只适用于平面内有几何变换变形的QR二维码图像的矫正。
近年来，基于深度学习的迅猛发展，针对图像标识码的研究，主要集中在极端条件下的识别问题上，例如，严重的遮挡、运动模糊、大视角观察，弱光、阴影等，解决方案主要是构建一种卷积神经网络，通过数据增强，增加网路的泛化能力的方式，提升了极端使用条件下图像标识码的正确识别问题。发表的文献主要包括：在《Journal of ElectronicImaging》2021年发表的的《Corner location and recognition of single ArUco markerunder occlusion based on YOLO algorithm》，在《International Conference onComputer Vision Workshops(ICCVW)》2021年发表的的《Underwater marker-based pose-estimation with associated uncertainty》，该技术只适用于平面内图像标识码，没有涉及曲面变形。
在《ACM Transactions on GraphicsI》2021年发表的的《Deepformabletag：end-to-end generation and recognition of deformable fiducial markers》，涉及了一种可变形的图像标识码的识别问题，主要采用端到端的方式，需要大量的训练数据做支撑，需要获取标注数据中的图像标识码角点的准确位置和相关姿态信息，对现有的视觉识别库没有支持，该技术使用难度较大。
针对以上现有技术存在的问题，急需一种弱监督的基于深度学习的方法，可以利用现有的视觉识别库，并且可以正确识别存在曲面变形的图形标识码。
发明内容
本发明涉及一种曲面图形标识码和一种曲面图形标识码的识别方法，更具体地说，它涉及一种图形标识码和一种机器视觉识别方法。一种曲面图形标识码包括：通过将平面图形标识码固定贴合在非刚性物体表面而产生，由于存在变形现象，采用常规的平面图形标识码的识别方法无法识别；一种机器视觉识别方法包括：训练、实现和使用一种图像处理卷积神经网络模型对所述曲面图形标识码进行识别。
为解决上述技术问题，本发明的技术方案是：
1、一种曲面图形标识码，其特征在于：
1)将平面图形标识码固定贴合在非刚性物体的表面；使所述平面图形标识码能随着所述非刚性物体表面的变形而产生变形；
2)通过识别所述曲面图形标识码的6D位姿得到所述非刚性物体的表面6D位姿；
3)通过非刚性物体的表面6D位姿指导机器人生成相应机器人指令。
4)通过所述曲面图形标识码编码和解码信息。
2、根据权利要求1所述的方法，其特征在于：所述平面图形标识码由多个黑白方格组成的方形图案，可用于编码数字、字符或消息，组成可利于区分的各种模式，用于不同的识别、检测和定位任务，例如，ArUco、ARTag、AprilTag、STag和QR二维码等或类似的图形标识码。
3、根据权利要求1所述的方法，其特征在于：所述固定贴合在非刚性物体的表面，固定贴合的方法可以采用用粘合、投影、喷码等方法或类似的方法使平面图形标识码和非刚性物体的表面重合。
4、根据权利要求1所述的方法，其特征在于：所述非刚性物体，不仅限于非刚性物体还包含刚性物体等适合固定贴合曲面图形标识码的表面。
5、一种曲面图形标识码识别方法，其特征在于：
1)在相机采集的场景图像中，保持目标图像原位置、原姿态的状态下，使用一种卷积神经网络。训练时，通过最小化损失函数，将参考图像逼近到目标图像，过程中得到相应的几何变换参数和密度场变形参数；推理时，将待识别的目标图像，进行密度变形场逆变换和空间几何逆变换，对矫正后的目标图像采用常规方法的识别。所述目标图像是权利要求1所述的曲面图形标识码，所述参考图像是权利要求1所述的平面图形标识码。
2)在相机采集的场景帧图像中，进行目标图像检测，并在保持目标图像原位置、原姿态不变的情况下，剪裁、标注出所述曲面图形标识码的最小化包络矩形框，作为所述目标图像，所述矩形框的四个边平行于像素坐标系坐标轴；
6、根据权利要求5所述的方法，其特征在于：利用所述非刚性物体表面和所述的平面图形标识码生成训练数据，所述训练数据方法包括：使用不同平面图形标识码固定贴合或投影在不同的非刚性物体、非刚性物体表面的不同位置，采用不同视角和距离的相机进行场景图像采集，还包括：在所述相机采集的场景图像中，需要手动标注出包含曲面图形标识码的最小化包络矩形框；
7、根据权利要求5所述的方法，其特征在于：训练、实现和使用一种图像处理卷积神经网络模型，所述卷积神经网络模型由目标检测网络、空间变换网络和变形场识别网络组成，有顺序先后要求。
8、根据权利要求5所述的方法，其特征在于：所述目标图像检测方法，利用目标检测网络实现。
9、根据权利要求5所述的方法，其特征在于：利用空间变换网络得到几何变换参数，利用变形场识别网络得到变形场参数。
与现有技术相比，本发明的有益效果是：1)提出了一种对非刚性物体的6D姿态的估计的有效方法，由于非刚性物体无法应用刚体变换，造成姿态识别困难，利用所述方法解决了变形物体的姿态识别问题；2)提出了一种存在严重变形的平面图像识别处理方法，利用所述方法解决变形基准标识码无法利用标准库识别的问题。方法基于图像配准思想，提出一种改进的图像配准网络模型，利用一种卷积神经网络。训练时，最小化损失函数，将参考图像逼近到目标图像，过程中得到相应的几何变换参数和密度场变形参数；推理时，将待识别的目标图像，进行密度变形场逆变换和空间几何逆变换，对矫正后的目标图像，利用标准库识别。区别一般图像配准方法的两个关键问题：一是误差反向传播对象是所述的目标图像，不是所述参考图像，从而，确立了正确的图像矫正对象；二是空间变换网络位于变形场检测网络前面，有利于矫正对象的语义特征提取。因此，提高了网络的训练速度和使用速度。3)变形网络采用无监督的训练方法，不需要对训练数据的变形场进行标注，也不需要对所述矩形框的位置和姿态进行标注；4)曲面图形标识码及其识别方法也提供了一种通用的曲面图形标识码的通用识别方法，克服了只能识别平面问题的局限，这极大的拓展了图形标识码的使用领域和工作范围；5)曲面图形标识码及其识别方法开辟更多的创新应用方式，例如，工业4.0所要求的智能产品，产品在生产过程中，可以利用曲面图形标识码自带产品加工信息，完成个性化生产。
附图说明
图1是一种图像处理卷积神经网络模型实施例应用流程图；
图2a是一种曲面图形标识码实施例示意图；
图2b是一种平面图形标识码实施例示意图；
图2c是一种识别矫正后的曲面图形标识码实施例示意图；
图3a是一种图像处理卷积神经网络模型训练数据生成流程示意图；
图3b是一种图像处理卷积神经网络模型训练数据生成结果示意图；
图4是一种图像处理卷积神经网络模型训练和推理过程实施例示流程示意图；
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
图1输入场景图像103和输出场景图像113，实施例涉及一种非刚性物体105的6D姿态识别，或识别固定在非刚性物体表面上的图形化信息，以便使用机器视觉伺服机器人。所述非刚性物体105包括，但不仅限于如下所列举物品，包括：工业品零件的成品办成品，工具、生活用品、食品及其包装物、农产品的成品、半成品等等，例如，硅胶烘焙摸具、白条鸡的鸡腿半成品、休闲食品的外包装带或人的手掌心。所述非刚性物体在被使用或处理的过程中发生不同程度的局部或全部变形。所述非刚性物体6D姿态是指非刚性物体表面上足够小一块区域，可以被视为刚体处理，其具有3自由度位移和3自由度转动，被确定的6D姿态参数可以被用于伺服机器人产生相应运动指令。
图1输入场景图像103和输出场景图像113，实施例涉及一种由相机101和机器人102组成的应用系统，涉及一种视觉反馈方式，使机器人能够及时响应环境的变化，机器人移动过程中能够不断修正运动指令，使抓取系统可以感知噪声、使物体运动具有鲁棒性。所述相应运动指令是指经过抓取路径规划后的运动指令。抓取要满足的条件是：机器人运动到其末端执行器的法向与非刚性物体某处表面的法向，同向并重合，所述抓取路径规划是在有障碍物的环境下，根据某一性能指标搜索出一条从起始点到目标点的无碰撞最优或次优路径。所述末端执行器包括常规的机器人机械式手爪、吸盘手爪、电磁手爪、气动手爪等。
图1输入场景图像103和输出场景图像113，实施例涉及一种视觉抓取系统和、或视觉分拣系统，所述的视觉抓取系统包括：实现对摆放在工作台上的无序堆叠的多类物体进行抓取、分类并按照一定的角度摆放在传送带上，一种工作台和相机之间的尺寸关系：50cmx 50cm x 60cm。所述的视觉分拣系统包括：实现从传送带上抓取物体，并按照一定角度分类摆放在托盘上。系统还包括机器人：例如，ABB机器人、KUKA机器人、优傲机器人或其它类似的机器人，相机、光源、工控机(上位机)、光电开关传感器、PCI数据采集卡、传送带和控制柜，工作台、传送带、托盘等。工控机作为系统共同的主控，负责协调各个子系统中机器人的动作，工控机与相机、机器人之间通过TCP/IP获取图像和发送控制命令。
图1实施例涉及一种视觉手眼系统，所述的手眼系统有两种方式，相机101可以安装在六轴机器人102末端，眼在手上方式：相机随着机器人移动而移动；眼在手外方式：相机101也可以固定安装在工作台的正上方，不随机器人移动而移动。相机分别连着机器人和工控机，机械手根据其所在位置，通过I/O接口发送命令给相机，控制相机采集获取图像；在视觉处理过程中，相机需要进行内参、外参标定，内参标定用于畸变矫正，外参标定用于相机坐标和机器人坐标的变换，可以调用通用的视觉处理平台软件系统完成标定任务，例如，Halcon、OpenCV等。实施例至少还应该包括其它一些软件模块，例如，计算机操作系统、机器人编成与操作系统、通讯系统、用户界面系统等。所述相机101的一种实施例：单目相机型号：海康威视工业相机600万网口MV-CA060-11GM/10GC 1/1.8、海康600万镜头MVL-HF0628M-6MPE 0828、还可以是深度相机，型号：Real Sense455。
图1实施例涉及一种视觉抓取系统或视觉分拣系统，任务分为三个步骤：目标检测、物体6D姿态估计、抓取路径规划。其中，所述目标检测、物体6D姿态估计前两个步骤涉及本发明一种网络模型。
图1实施例涉及一种视觉抓取系统或视觉分拣系统，使用如下，但不限于如下，平面图形标识码106，例如ArUco、ARTag、AprilTag和STag等，用于不同的目标识别任务。一种实施例将平面图形标识码固定贴合、喷涂或投影在非刚性物体的表面105，并随非刚性物体表面的形变而形变，形成一种曲面图形标识码104。实施例涉及一种曲面图形标识码的识别装置或系统，至少包括：单目相机或双目或深度相机101，工业机器人或协作机器人102。经过训练的一种卷积神经网络模型111。
图1实施例涉及一种曲面图形标识码的识别方法，在相机101采集的场景图像103中，进行目标图像检测。
图1实施例涉及一种卷积神经网络111，由目标检测网络108、空间变换网络109、变形场识别网络110组成，训练分为两个部分进行，一是单独训练108，二是一起训练109和110。
图1实施例涉及一种数据产生流程，106经过几何变换得到107，107固定贴合到曲面105得到的104，手工标注单个104作为108的训练数据。
图1实施例涉及一种训练、推理流程，108经过训练后，场景图像103经过108推理得到待检测目标图像104。在训练109、110时，训练过程中通过最小化损失函数，将参考图像106逼近到目标图像104，并得到相应的几何变换参数和密度场变形参数；在推理109、110时，将待识别的目标图像104，进行密度变形场逆变换和空间几何逆变换得到112，即107的状态。最后，利用视觉处理平台软件系统，例如，Halcon、OpenCV等对图像112进行相关识别。将6D姿态估计参数指导机器人生成相应机器人指令。
图2a是一种平面图形标识码实施例示意图；
图2a一些实施例涉及一种平面图形标识码，所述平面图形标识码201由多个黑白方格组成的方形图案，可用于编码数字、字符或消息，组成可利于区分的各种模式，用于不同的识别、检测和定位任务，例如，ArUco、ARTag、AprilTag、STag和QR二维码等或类似的图形标识码。
图2a一些实施例涉及一种工业4.0所要求的智能产品，使用曲面图形标识码，曲面QR二维码是将QR二维码信息固定贴合在待处理产品或零件上，在生产线上流动的过程中，识别待处理产品或零件表面上的QR二维码信息，按照识别的二维码内的加工信息完成个性化生产。
图2b是一种曲面图形标识码实施例示意图；
所述曲面图形标识码203是将平面图形标识码201固定贴合在非刚性物体的表面202；使所述平面图形标识码能随着所述非刚性物体表面的形变而产生形变；所述固定贴合在非刚性物体的表面，固定贴合的方法可以采用用粘合、投影、喷码等方法或类似的方法使平面图形标识码和非刚性物体的表面重合。所述非刚性物体不仅限于非刚性物体还包含刚性物体的适合用于固定贴合曲面图形标识码的表面。
图2c是一种识别矫正后的曲面图形标识码实施例示意图；
所述矫正后的曲面图形标识码204，保留在非刚性物体的表面202在场景图像中原位置、原姿态不变，输出生成相应经形变矫正后的参考图像，进行识别，利用视觉处理平台软件系统，例如，Halcon、OpenCV等对图像204进行相关识别，输出6D姿态估计参数一种表达形式，参见204上坐标轴205。
图3a是一种图像处理卷积神经网络模型训练数据生成流程示意图；
图3a301涉及一种实施例包括：选取不同的ArUco标识，作为平面标识码的训练数据。所述ArUco是一个开源的相机姿态估计库，是一种方形的基准标记。标记外围都有一组黑色边框，可以加速标记在图像中的检测速度，边框的四个角是标记的角点，角点有顺序。同时，边框的内部有确定该标记ID的二维矩阵编码组合，能唯一识别该标记，内部ID为标记的二进制编码，其中白色为1、黑色为0。标记字典是一组被用来进行特殊应用的标记。字典的主要属性就是字典的大小和标志的大小。所述字典大小是可以合成字典的标记的数量，例如，50、10、250、1000，所述标志大小是标记编码位数，例如，16，25，49...。一种训练数据实施例采用12个DICT_5x5_50，字典大小是50，标记的位数大小是5×5，标识ID是0-11，标记的尺寸大小5mm。所述选取不同的平面标识码301，为了成功检测，可根据对象大小和场景选择合适的尺寸，根据具体的应用场景，例如，工作台的大小，非刚性物体大小，如果标记的尺寸太小，可能无法检测到它，这时可以选择更换较大尺寸的标记，或者将相机离标记更近一些。
图3a302实施例涉及一种选取不同的曲面，根据具体的非刚性物体，选取类似的曲面CAD模型，或曲面实物，所述曲面CAD模型是通过三维建模软件，例如，solidworks，进行实体或曲面建模，所述曲面实物，是选取具体非刚性物体，包括如下，不限于如下，所列举物品：工业品零件的成品办成品，工具、生活用品、食品及其包装物、农产品的成品、半成品等等，例如，硅胶烘焙摸具、白条鸡的鸡腿半成品、休闲食品的外包装带或人体的手掌心。
图3a303实施例涉及一种选取曲面上的不同的位置处，是为了满足深度泛化学习的需求，尽量做到训练数据可以覆盖所有的现实情况。将平面图形标识码固化贴合或投影或喷涂到曲面产生塑性变形304，选择不同的相机位置拍照，产生几何变形305，选择不同的光照、运动模糊、对比度，对训练数据进行数据增强，产生环境变化306。最后，输出含有曲面图像标识码的场景图像307。可以通过三维建模软件，将所述训练数据渲染输出到视频。
图3b是图像处理卷积神经网络模型训练数据生成结果示意图；
图3b实施例涉及一种手动标注数据309，在所述训练数据中，进行标注，标注出包络曲面标识码的最小矩形框。
图4实施例是一种图像处理卷积神经网络训练示流程示意图；
本发明实施例涉及一种网络训练过程，用训练数据403和测试数据401训练目标检测网络402。所述一种目标检测网络实施例采用如下，不限于如下网络结构：EfficentNet、YOLOV4 network等目标检测、定位或分类网络。在训练数据中样本符合均匀分布，图片采集图片分辨率：1900×1200，缩小至512×512后输入网络，训练样本数量一共约5000张，标注出所述的最小化的包络矩形框。矩形框角点坐标形式：ci＝x1，y1，x2，y2，x3，y3，x4，y4，损失函数
Figure BSA0000283662950000081
E是Huber loss。从训练数据中随机产生80％训练集，10％于测试集，10％验证集。网络超参数：epoch200、1k iterations、mini-batch size16、drop-out rate 30％、learning rate0.01，随机初始化网络权重。在Focal loss中权重参数α＝0.25，γ＝2.0，在损失函数Huber regression loss中/>
Figure BSA0000283662950000082
本发明一种实施例涉及一种网络训练过程，用目标检测网络指定剪裁区域，剪裁图片414，分辨率为32×32，所述参考图像406分辨率为32×32，输入样本数据406和414训练空间变换网络405。所述一种空间变换网络实施例采用如下但不限于网络结构：STN网络。应用空间变换网络主要有两个目的，一是输出得到几何变换参数θ412，二是几何变换的同时，将样本数据406和414中的ArUco的角点位置顺序相对应。STN网络主要分为三个部分，第一个部分是CNN定位、第二个部分生成变换矩阵，第三个部分输出经几何变换参数θ412采样平滑后的图像404，分辨率为32×32。输入样本数据404和414训练变形场检测网络407。输出得到几何变换参数φ413，输出经密度变形场参数φ413，分辨率为32x32x2，采样平滑后的图像409，分辨率为32×32。
所述一种变形场检测网络的实施例采用如下，不限于如下网络结构：Unet。网络超参数：epoch150、1k iterations、batch size16、base learning rate0.01、no weightdecay、no dropout，随机初始化网络权重。
本发明涉及的空间变换网络405和变形场检测网络407共同组成一个网络，使用共同的训练数据，两者一起参与训练，建立共同的目标损失函数，进行误差反向传播。本发明涉及设计网络的两个关键问题，一是误差反向传播的目标对象是所述目标图像414，不是所述参考图像406，确立了正确的图像矫正对象，二是空间变换网络位405于变形场检测网络407前面，有利于矫正对象的语义特征提取。
采样完成后，以变形后的目标图像414F与参考图像406M间的相似性测度以及变形场的平滑性约束作为损失函数完成训练，损失函数：L(F，M，φ)＝L(F，M(φ))+λLsmooth(φ)，其中，Lsmooth(φ)为平滑约束的权重。变形场的平滑性约束用于惩罚预测变形场的连续性以及平滑性，使用空间梯度上的扩散正则化来平滑变形场φ，
Figure BSA0000283662950000091
相似性测度函数Lsim(F，M(φ)用来惩罚两幅图像之间的差异。
本发明涉及的空间变换网络405和变形场检测网络407的组成网络一种实施例，训练时，首先，将所述目标图像414和参考图像406，输入所述空间变换网络405，得到几何变换参数θ412，经过采样平滑生成图像404。再将所述目标图像414和所述参考图像404，输入变形场检测网络407，得到变形场参数φ413，经过采样平滑生成图像409，利用所述损失函数411，经反向传播过程410，使409和414目标损失最小。
本发明涉及的空间变换网络405和变形场检测网络407的组成网络一种实施例，推理时，将目标图像414进行密度变形场逆变换和空间逆变换，得到变矫正后的参考图像408中204。利用视觉处理平台软件系统，例如，Halcon、OpenCV等对408中204进行后续识别；
本发明涉及一种训练系统实施例，包括：Ubuntu18.04操作系统上进行，GPU使用NVIDIA/GeForceRTX3070，Cuda9.0，内存为16GB。开发环境为python，模型基于Pytorch框架编写，使用Adam化器进行模型训练。
以上结合附图对本发明的具体实施方式作了说明，但这些说明不作模板能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。

Claims (9)

1.一种曲面图形标识码，其特征在于：
1)将平面图形标识码固定贴合在非刚性物体的表面；使所述平面图形标识码能随着所述非刚性物体表面的变形而产生变形；
2)通过识别所述曲面图形标识码的6D位姿得到所述非刚性物体的表面6D位姿；
3)通过非刚性物体的表面6D位姿指导机器人生成相应机器人运动指令。
4)通过所述曲面图形标识码编码和解码信息。
2.根据权利要求1所述的方法，其特征在于：所述平面图形标识码由多个黑白方格组成的方形图案，可用于编码数字、字符或消息，组成可利于区分的各种模式，用于不同的识别、检测和定位任务，例如，ArUco、ARTag、AprilTag、STag和QR二维码等或类似的图形标识码。
3.根据权利要求1所述的方法，其特征在于：所述固定贴合在非刚性物体的表面，固定贴合的方法可以采用用粘合、投影、喷码等方法或类似的方法使平面图形标识码和非刚性物体的表面重合。
4.根据权利要求1所述的方法，其特征在于：所述非刚性物体，不仅限于非刚性物体还包含刚性物体等适合固定贴合曲面图形标识码的表面。
5.一种曲面图形标识码识别方法，其特征在于：
1)在相机采集的场景图像中，保持目标图像原位置、原姿态的状态下，使用一种卷积神经网络。训练时，最小化损失函数，将参考图像逼近到目标图像，过程中得到相应的几何变换参数和密度场变形参数；推理时，将待识别的目标图像，进行密度变形场逆变换和空间几何逆变换，对矫正后的目标图像采用常规方法的识别。所述目标图像是权利要求1所述的曲面图形标识码，所述参考图像是权利要求1所述的平面图形标识码。
2)在相机采集的场景图像中，进行目标图像检测，并在保持目标图像原位置、原姿态不变的情况下，剪裁、标注出所述曲面图形标识码的最小化包络矩形框，作为所述目标图像，所述矩形框的四个边平行于像素坐标系坐标轴。
6.根据权利要求5所述的方法，其特征在于：利用所述非刚性物体表面和所述的平面图形标识码生成训练数据，所述训练数据方法包括：使用不同平面图形标识码固定贴合、投影或喷涂在不同的非刚性物体表面、非刚性物体表面的不同位置，采用不同视角和距离的相机进行场景图像采集，还包括：在所述相机采集的场景图像中，需要手动标注出包含曲面图形标识码的最小化包络矩形框。
7.根据权利要求5所述的方法，其特征在于：设计、实现、训练和使用一种图像处理卷积神经网络模型，所述卷积神经网络模型由目标检测网络、空间变换网络和变形场识别网络组成，有顺序先后要求。
8.根据权利要求5所述的方法，其特征在于：所述目标图像检测方法，利用目标检测网络实现。
9.根据权利要求5所述的方法，其特征在于：利用空间变换网络得到几何变换参数，利用变形场识别网络得到变形场参数。
CN202211113908.4A 2022-09-03 2022-09-03 一种曲面图形标识码及其识别方法 Pending CN116206189A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211113908.4A CN116206189A (zh) 2022-09-03 2022-09-03 一种曲面图形标识码及其识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211113908.4A CN116206189A (zh) 2022-09-03 2022-09-03 一种曲面图形标识码及其识别方法

Publications (1)

Publication Number Publication Date
CN116206189A true CN116206189A (zh) 2023-06-02

Family

ID=86518029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211113908.4A Pending CN116206189A (zh) 2022-09-03 2022-09-03 一种曲面图形标识码及其识别方法

Country Status (1)

Country Link
CN (1) CN116206189A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882433A (zh) * 2023-09-07 2023-10-13 无锡维凯科技有限公司 一种基于机器视觉的扫码识别方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882433A (zh) * 2023-09-07 2023-10-13 无锡维凯科技有限公司 一种基于机器视觉的扫码识别方法和系统
CN116882433B (zh) * 2023-09-07 2023-12-08 无锡维凯科技有限公司 一种基于机器视觉的扫码识别方法和系统

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
JP5839971B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11541534B2 (en) Method and system for object grasping
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
Taylor et al. Visual perception and robotic manipulation: 3D object recognition, tracking and hand-eye coordination
CN112561886A (zh) 一种基于机器视觉的工件自动分拣方法及系统
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
Bohg et al. Task-based grasp adaptation on a humanoid robot
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
Gratal et al. Virtual visual servoing for real-time robot pose estimation
CN116206189A (zh) 一种曲面图形标识码及其识别方法
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
Van Tran et al. BiLuNetICP: A deep neural network for object semantic segmentation and 6D pose recognition
Luo et al. Skp: Semantic 3d keypoint detection for category-level robotic manipulation
Ibrayev et al. Recognition of curved surfaces from “one-dimensional” tactile data
Ma et al. WeldNet: A deep learning based method for weld seam type identification and initial point guidance
Tian et al. Real-time pose tracking of 3D targets by photo-model-based stereo-vision
CN116175582A (zh) 一种基于机器视觉的智能机械臂操控系统及控制方法
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
Wang et al. Hand gesture recognition and motion estimation using the kinect sensor
Zhang et al. High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
Li et al. Teaching the nao robot to play a human-robot interactive game
Infantino et al. Visual control of a robotic hand
Araki et al. Iterative Coarse-to-Fine 6D-Pose Estimation Using Back-propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination