CN113223048B - 手眼标定精度确定方法、装置、终端设备以及存储介质 - Google Patents
手眼标定精度确定方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN113223048B CN113223048B CN202110429008.XA CN202110429008A CN113223048B CN 113223048 B CN113223048 B CN 113223048B CN 202110429008 A CN202110429008 A CN 202110429008A CN 113223048 B CN113223048 B CN 113223048B
- Authority
- CN
- China
- Prior art keywords
- preset
- target
- image
- determining
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本发明公开一种手眼标定精度确定方法，所述方法包括以下步骤：接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。本发明还公开一种手眼标定精度确定装置、终端设备以及计算机可读存储介质。采用本发明的技术方案，实现了手眼标定精度的确定。
Description
技术领域
本发明涉及机械臂控制领域，特别涉及一种手眼标定精度确定方法、装置、终端设备以及计算机可读存储介质。
背景技术
在机器人超声扫查中，机械臂代替人进行超声扫查，解放了人的双手，提高了生产力。
目前，需要利用手眼标定方法标定出相机相对于机械臂坐标系的关系，以便进行准确率较高超声扫查路径路径规划。手眼标定包括眼在手上(即相机固定在机械臂上)和眼在手外(即相机固定在机械臂之外的位置)两种情况。
但是，相关技术中缺乏对手眼标定方法精度进行检测的方案。
发明内容
本发明的主要目的是提供一种手眼标定精度确定方法、装置、终端设备以及计算机可读存储介质，旨在解决现有技术中相关技术中缺乏对手眼标定方法精度进行检测的方案的技术问题。
为实现上述目的，本发明提出一种手眼标定精度确定方法，所述方法包括以下步骤：
接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；
确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；
基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；
控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。
可选的，所述确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标的步骤之前，所述方法还包括：
基于所述目标图像，获得第一掩膜图像；
基于所述目标图像，获得第二掩膜图像；
利用第一掩膜图像，确定初始轨迹图像；
所述确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标的步骤，包括：
利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像；
基于所述选定轨迹图像在所述第一掩膜图像中的像素坐标，获得所述目标像素坐标。
可选的，所述基于所述目标图像，获得第一掩膜图像的步骤，包括：
利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像。
可选的，所述预设图案还包括参照图案；所述利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像的步骤之前，所述方法还包括：
利用所述参照图案对应的第一参照点，在所述目标图像中确定出第一有效区域；
基于所述参照图案与所述第一有效区域，获得单映射矩阵；
利用所述单映射矩阵将所述第一有效区域放大，以获得与所述目标图像尺寸相同的投影图像；
基于所述投影图像，获得所述最佳二值化阈值。
可选的，所述基于所述目标图像，获得第二掩膜图像的步骤，包括：
利用所述参照图案对应的第二参照点，在所述目标图像中确定出第二有效区域；
将所述第二有效区域的像素值进行调整至第一像素值，并将所述目标图像中所述第二有效区域以外区域的像素值调整至第二像素值，以获得所述第二掩膜图像。
可选的，所述利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像的步骤，包括：
利用所述第二掩膜图像，在所述初始轨迹图像中确定出像素值为所述第一像素值的初始选定轨迹图像；
在所述初始选定轨迹图像中，确定出面积最大的所述选定轨迹图像。
可选的，所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤之前，所述方法还包括：
接收所述预设相机拍摄的所述目标区域的目标深度图；
所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤，包括：
基于所述目标深度图、所述目标像素坐标、预设映射关系和所述预设相机的相机内参，获得所述预设轨迹图案在相机坐标系下的目标三维坐标，所述预设映射关系为所述目标图像与所述目标深度图的映射关系；
基于所述目标三维坐标，利用预设旋转平移矩阵，获得所述预设轨迹图案在机械臂坐标系下的所述目标运动轨迹。
此外，为实现上述目的，本发明还提出了一种手眼标定精度确定装置，所述装置包括：
接收模块，用于接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；
第一确定模块，用于确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；
第二确定模块，用于基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；
控制模块，用于控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
第三确定模块，用于基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。
此外，为实现上述目的，本发明还提出了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行手眼标定精度确定程序，所述手眼标定精度确定程序被所述处理器执行时实现如上述任一项所述的手眼标定精度确定方法的步骤。
此外，为实现上述目的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有手眼标定精度确定程序，所述手眼标定精度确定程序被处理器执行时实现如上述任一项所述的手眼标定精度确定方法的步骤。
本发明技术方案提出了一种手眼标定精度确定方法，通过接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。采用本发明的技术方案，可以检测出手眼标定的精度，以使用户基于手眼标定的精度，确定机械臂和相机的关系是否满足较高准确率的基本要求，有助于提高超声扫查路径路的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；
图2为本发明手眼标定精度确定方法第一实施例的流程示意图；
图3为本发明范例预设图案示意图；
图4为本发明预设图案放置位置示意图；
图5为本发明目标图像示意图；
图6为本发明手眼标定精度确定装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
终端设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。终端设备可能被称为用户终端、便携式终端、台式终端等。
通常，终端设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的手眼标定精度确定程序，所述手眼标定精度确定程序配置为实现如前所述的手眼标定精度确定方法的步骤。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关手眼标定精度确定方法操作，使得手眼标定精度确定方法模型可以自主训练学习，提高效率和准确度。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的手眼标定精度确定方法。
在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有手眼标定精度确定程序，所述手眼标定精度确定程序被处理器执行时实现如上文所述的手眼标定精度确定方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个终端设备上执行，或者在位于一个地点的多个终端设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个终端设备备上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
基于上述硬件结构，提出本发明手眼标定精度确定方法的实施例。
参照图2，图2为本发明手眼标定精度确定方法第一实施例的流程示意图，所述方法用于终端设备，所述方法包括以下步骤：
步骤S11：接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接。
需要说明的是，本发明的执行主体是终端设备，终端设备安装有手眼标定精度确定程序，终端设备执行手眼标定精度确定程序时，实现本发明的手眼标定精度确定方法。手眼标定包括眼在手上(即相机固定在机械臂上)和眼在手外(即相机固定在机械臂之外的位置)两种情况，其中，该处的预设相机用于获取所述目标图像，目标图像即为目标区域的的彩色图像；另外，该预设相机还可以获取目标区域的深度图(目标深度图)，该深度图用于本发明后面的步骤；预设相机即为手眼标定对应的相机，预设机械臂即为手眼标定对应的机械臂。
可以理解的是，在进行一次手眼标定精度确定方法的步骤时，手眼标定对应的预设机械臂与预设相机的连接关系是固定连接的，即在该次运行过程中，他们的所在坐标系(下文所述的相机坐标系和机械臂坐标系)的相对位置是不变的。
参照图3，图3为本发明范例预设图案示意图；在本申请中，预设图案包括图3中涉及的4种(从左至右，每一副图片的完整内容即为一个预设图案，预设图案通常打印于白纸，并放置于目标区域，白纸的尺寸可以是A3或A4)，预设图案均包括预设轨迹图案和参照图案；一个预设图案中间的黑色实体部分即为预设轨迹图案，一个预设图案周围的四个深色框对应的即为参照图案。
具体应用中，参照图案可以是不同ID的ArUco码组成的，预设轨迹图案可以是封闭轨迹图案，预设轨迹图案内部填充为黑色。可以理解的是，图3只是示出一部分预设图案的示例，本发明不做过多的限制，用户可以基于需求设置其他的预设图案。
参照图4，图4为本发明预设图案放置位置示意图；在本申请中，可以将预设图案对应的纸贴于平面的目标区域中，即图4中左侧的示意图，也可以将预设图案对应的纸贴于曲面的目标区域中，即图4中右侧的示意图，对于预设图案的具体放置情况，本发明不做限制。
步骤S12：确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标。
需要说明的是，目标图像是包括预设轨迹图案对应的区域，这个区域在目标图像中的坐标即为所述目标像素坐标。
进一步的，步骤S12之前，所述方法还包括：基于所述目标图像，获得第一掩膜图像；基于所述目标图像，获得第二掩膜图像；利用第一掩膜图像，确定初始轨迹图像；所述确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标的步骤，包括：利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像；基于所述选定轨迹图像在所述第一掩膜图像中的像素坐标，获得所述目标像素坐标。其中，所述利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像的步骤，包括：利用所述第二掩膜图像，在所述初始轨迹图像中确定出像素值为所述第一像素值的初始选定轨迹图像；在所述初始选定轨迹图像中，确定出面积最大的所述选定轨迹图像。
需要说明的是，需要利用目标图像获得两种掩膜图像，即第一掩膜图像和第二掩膜图像，并利用第一掩膜图像求所有的轨迹图像(轨迹图像即为轨迹对应的图像)，所有的轨迹图像即为所述初始轨迹图像。之后，利用第二掩膜图像对所述初始轨迹图像进行过滤：若一个轨迹图像内所有的像素点在第一掩膜图像中对应的像素点的像素值均为第三像素值(通常与第一像素值一样，第一像素值下文描述，为0)时，则将其确定为初始选定轨迹图像；若否，则该轨迹图像不取用。确定出初始选定轨迹图像后，在其中确定出轨迹的面积最大的即为所述选定轨迹图像。
具体的，所述基于所述目标图像，获得第一掩膜图像的步骤，包括：利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像。其中，最佳二值化阈值通过一下步骤获得：利用所述参照图案对应的第一参照点，在所述目标图像中确定出第一有效区域；基于所述参照图案与所述第一有效区域，获得单映射矩阵；利用所述单映射矩阵将所述第一有效区域放大，以获得与所述目标图像尺寸相同的投影图像；基于所述投影图像，获得所述最佳二值化阈值。
在本申请中，预设图案为本申请示出的四种图案之一，并以参照图案为4个ID不同的ArUco码图案为例进行解释。参照图5，图5为本发明目标图像示意图。在图5涉及到的图像即为目标图像，目标图像包括打印纸对应的区域和打印纸以外部分对应的区域，打印纸对应的区域即为预设图案对应的区域。
参照图案的第一参照点即为图5中，4个ID不同的ArUco码图案被曲线框框出来的四个顶点，该四个顶点构成的四边形内的区域即为第一有效区域，并将目标图像(矩形图像)的四个顶点确定为第三参照点，如图5所示，每个第一参照点与相邻的第三参照点为一组点对(一个箭头连接的第一参照点和第三参照点即为一个点对)，基于四个点对，确定出单映射矩阵。其中，基于所述投影图像，利用最大类间方差法(OTSU)方法，获得所述最佳二值化阈值(通常求得的最佳二值化阈值为127左右，其中，像素值的范围为0到255)。可以理解的是，基于所述参照图案与所述第一有效区域，获得单映射矩阵的步骤实际是基于第一有效区域的顶点和目标图像的顶点，获得单映射矩阵。
具体应用中，所述利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像的具体步骤为：利用最佳二值化阈值，对所述彩色的目标图像进行二值化处理，生成只包括像素值为0和255的第一掩膜图像，即，将目标图片转化为灰度图，灰度图里像素值范围为0到255，将灰度图中像素值大于或等于最佳二值化阈值的像素点的像素值设为255，将灰度图中像素值小于最佳二值化阈值的像素点的像素值设为0。
进一步的，所述基于所述目标图像，获得第二掩膜图像的步骤，包括：利用所述参照图案对应的第二参照点，在所述目标图像中确定出第二有效区域；将所述第二有效区域的像素值进行调整至第一像素值，并将所述目标图像中所述第二有效区域以外区域的像素值调整至第二像素值，以获得所述第二掩膜图像。
具体应用中，预设图案为本申请示出的四种图案之一，并以参照图案为4个ID不同的ArUco码图案为例进行解释。依旧参照图5，第二参照点与上文所述第一参照点相同，连接第二参照点，获得四边形，将四边形内部的区域确定为第二有效区域，其中，第一像素值可以是0，第二像素值可以是255。可以理解的是，第二掩膜图像的尺寸与目标图像相同。
步骤S13：基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹。
其中，所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤之前，所述方法还包括：接收所述预设相机拍摄的所述目标区域的目标深度图；相应的，所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤，包括：基于所述目标深度图、所述目标像素坐标、预设映射关系和所述预设相机的相机内参，获得所述预设轨迹图案在相机坐标系下的目标三维坐标，所述预设映射关系为所述目标图像与所述目标深度图的映射关系；基于所述目标三维坐标，利用预设旋转平移矩阵，获得所述预设轨迹图案在机械臂坐标系下的所述目标运动轨迹。
需要说明的是，目标图像和目标深度图是用上文所述的预设相机拍摄的，预设相机拍摄的目标图像和目标深度图的映射关系是在相机的内参中的，直接被获取到，并应用。基于所述目标像素坐标，利用目标图像和目标深度图的映射关系，可以得到预设轨迹图案的在目标深度图上的像素坐标，根据预设轨迹图案在目标深度图上对应的像素坐标、目标深度图、预设映射关系和所述预设相机的相机内参，即可计算出预设轨迹图案在相机坐标系下的三维坐标，即所述目标三维坐标。
需要说明的是，在进行手眼标定时，会获得预设旋转平移矩阵(相机坐标系与机械臂坐标系的相对位置关系)，利用该预设旋转平移矩阵，基于预设轨迹图案的目标三维坐标，将预设轨迹图案对应的所述目标三维坐标(相机坐标系下的坐标，目标三维坐标是以相机坐标系为参照的坐标)转化为所述目标运动轨迹对应的目标坐标(目标坐标为预设轨迹图案在机械臂坐标系下的坐标，目标坐标是以机械臂坐标系为参照的坐标)。
步骤S14：控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
步骤S15：基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。
需要说明的是，实际运动轨迹是指预设机械臂按照目标运动轨迹运动时的实时运动轨迹，同时，实际运动轨迹是指机械臂末端中心的实时运动轨迹。
基于机械臂末端中心的实时运动轨迹与预设轨迹图案的贴合程度，确定手眼标定精度，即：贴合程度越好，手眼标定的精度越高。
本发明技术方案提出了一种手眼标定精度确定方法，通过本发明技术方案提出了一种手眼标定精度确定方法，通过接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。采用本发明的技术方案，可以检测出手眼标定的精度，以使用户基于手眼标定的精度，确定机械臂和相机的关系是否满足较高准确率的基本要求，有助于提高超声扫查路径路的精度。
采用本发明的技术方案，可以检测出手眼标定的精度，以使用户基于手眼标定的精度，确定机械臂和相机的关系是否满足较高准确率的基本要求，有助于提高超声扫查路径路的精度。
另外，本申请中，预设图案包括简单的封闭路径和ID的ArUco码对应的参照图案，利用包括预设图案的目标图像，可以较为直接和简单的确定出目标像素坐标，运算难度较低，且获得的目标像素坐标准确率较高。
参照图4，图4为本发明手眼标定精度确定装置第一实施例的结构框图，所述装置用于终端设备，所述装置包括：
接收模块10，用于接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；
第一确定模块20，用于确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；
第二确定模块30，用于基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；
控制模块40，用于控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
第三确定模块50，用于基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度。
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (9)
1.一种手眼标定精度确定方法，其特征在于，所述方法包括以下步骤：
接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；
确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；
基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；
控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度；
所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤之前，所述方法还包括：
接收所述预设相机拍摄的所述目标区域的目标深度图；
所述基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹的步骤，包括：
基于所述目标深度图、所述目标像素坐标、预设映射关系和所述预设相机的相机内参，获得所述预设轨迹图案在相机坐标系下的目标三维坐标，所述预设映射关系为所述目标图像与所述目标深度图的映射关系；
基于所述目标三维坐标，利用预设旋转平移矩阵，获得所述预设轨迹图案在机械臂坐标系下的所述目标运动轨迹。
2.如权利要求1所述的方法，其特征在于，所述确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标的步骤之前，所述方法还包括：
基于所述目标图像，获得第一掩膜图像；
基于所述目标图像，获得第二掩膜图像；
利用第一掩膜图像，确定初始轨迹图像；
所述确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标的步骤，包括：
利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像；
基于所述选定轨迹图像在所述第一掩膜图像中的像素坐标，获得所述目标像素坐标。
3.如权利要求2所述的方法，其特征在于，所述基于所述目标图像，获得第一掩膜图像的步骤，包括：
利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像。
4.如权利要求3所述的方法，其特征在于，所述预设图案还包括参照图案；所述利用最佳二值化阈值，对所述目标图像进行二值化处理，以获得所述第一掩膜图像的步骤之前，所述方法还包括：
利用所述参照图案对应的第一参照点，在所述目标图像中确定出第一有效区域；
基于所述参照图案与所述第一有效区域，获得单映射矩阵；
利用所述单映射矩阵将所述第一有效区域放大，以获得与所述目标图像尺寸相同的投影图像；
基于所述投影图像，获得所述最佳二值化阈值。
5.如权利要求4所述的方法，其特征在于，所述基于所述目标图像，获得第二掩膜图像的步骤，包括：
利用所述参照图案对应的第二参照点，在所述目标图像中确定出第二有效区域；
将所述第二有效区域的像素值进行调整至第一像素值，并将所述目标图像中所述第二有效区域以外区域的像素值调整至第二像素值，以获得所述第二掩膜图像。
6.如权利要求5所述的方法，其特征在于，所述利用所述第二掩膜图像，在所述初始轨迹图像中确定出选定轨迹图像的步骤，包括：
利用所述第二掩膜图像，在所述初始轨迹图像中确定出像素值为所述第一像素值的初始选定轨迹图像；
在所述初始选定轨迹图像中，确定出面积最大的所述选定轨迹图像。
7.一种手眼标定精度确定装置，其特征在于，所述装置包括：
接收模块，用于接收预设相机拍摄的目标区域的目标图像，所述目标区域预置预设图案，所述预设相机与预设机械臂连接；
第一确定模块，用于确定出所述预设图案中预设轨迹图案在所述目标图像中的目标像素坐标；
第二确定模块，用于基于所述目标像素坐标，确定所述预设机械臂的目标运动轨迹；
控制模块，用于控制所述预设机械臂按照所述目标运动轨迹运动，并获取所述预设机械臂的实际运动轨迹；
第三确定模块，用于基于所述实际运动轨迹和所述预设轨迹图案，获得所述预设机械臂与所述预设相机的手眼标定精度；
所述接收模块，还用于接收所述预设相机拍摄的所述目标区域的目标深度图；
所述第三确定模块，还用于基于所述目标深度图、所述目标像素坐标、预设映射关系和所述预设相机的相机内参，获得所述预设轨迹图案在相机坐标系下的目标三维坐标，所述预设映射关系为所述目标图像与所述目标深度图的映射关系；基于所述目标三维坐标，利用预设旋转平移矩阵，获得所述预设轨迹图案在机械臂坐标系下的所述目标运动轨迹。
8.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行手眼标定精度确定程序，所述手眼标定精度确定程序被所述处理器执行时实现如权利要求1至6中任一项所述的手眼标定精度确定方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有手眼标定精度确定程序，所述手眼标定精度确定程序被处理器执行时实现如权利要求1至6中任一项所述的手眼标定精度确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110429008.XA CN113223048B (zh) | 2021-04-20 | 2021-04-20 | 手眼标定精度确定方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110429008.XA CN113223048B (zh) | 2021-04-20 | 2021-04-20 | 手眼标定精度确定方法、装置、终端设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223048A CN113223048A (zh) | 2021-08-06 |
| CN113223048B true CN113223048B (zh) | 2024-02-27 |
Family
ID=77088673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110429008.XA Active CN113223048B (zh) | 2021-04-20 | 2021-04-20 | 手眼标定精度确定方法、装置、终端设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223048B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| CN107808401A (zh) * | 2017-10-30 | 2018-03-16 | 大族激光科技产业集团股份有限公司 | 机械臂末端的单相机的手眼标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和系统 |
| CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服系统的联合自动标定方法及装置 |
| CN110196640A (zh) * | 2019-05-31 | 2019-09-03 | 维沃移动通信有限公司 | 一种操作控制方法及终端 |
| CN110328669A (zh) * | 2019-08-07 | 2019-10-15 | 江苏汇博机器人技术股份有限公司 | 用于实训的机器人的末端轨迹采集及跟踪方法和装置 |
| CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教系统 |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| CN111890356A (zh) * | 2020-06-30 | 2020-11-06 | 深圳瀚维智能医疗科技有限公司 | 机械臂坐标系和相机坐标系标定方法、装置、设备及介质 |
| CN112022355A (zh) * | 2020-09-27 | 2020-12-04 | 平安科技（深圳）有限公司 | 基于计算机视觉的手眼标定方法及装置、存储介质 |
| CN112258589A (zh) * | 2020-11-16 | 2021-01-22 | 北京如影智能科技有限公司 | 一种手眼标定的方法及装置 |
| CN112621711A (zh) * | 2020-11-19 | 2021-04-09 | 深圳众为兴技术股份有限公司 | 机器人及其相机固定于机架的手眼标定方法以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102577448B1 (ko) * | 2019-01-22 | 2023-09-12 | 삼성전자 주식회사 | 핸드 아이 캘리브레이션 방법 및 시스템 |
-
2021
- 2021-04-20 CN CN202110429008.XA patent/CN113223048B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| CN107808401A (zh) * | 2017-10-30 | 2018-03-16 | 大族激光科技产业集团股份有限公司 | 机械臂末端的单相机的手眼标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和系统 |
| CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服系统的联合自动标定方法及装置 |
| CN110196640A (zh) * | 2019-05-31 | 2019-09-03 | 维沃移动通信有限公司 | 一种操作控制方法及终端 |
| CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教系统 |
| CN110328669A (zh) * | 2019-08-07 | 2019-10-15 | 江苏汇博机器人技术股份有限公司 | 用于实训的机器人的末端轨迹采集及跟踪方法和装置 |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| CN111890356A (zh) * | 2020-06-30 | 2020-11-06 | 深圳瀚维智能医疗科技有限公司 | 机械臂坐标系和相机坐标系标定方法、装置、设备及介质 |
| CN112022355A (zh) * | 2020-09-27 | 2020-12-04 | 平安科技（深圳）有限公司 | 基于计算机视觉的手眼标定方法及装置、存储介质 |
| CN112258589A (zh) * | 2020-11-16 | 2021-01-22 | 北京如影智能科技有限公司 | 一种手眼标定的方法及装置 |
| CN112621711A (zh) * | 2020-11-19 | 2021-04-09 | 深圳众为兴技术股份有限公司 | 机器人及其相机固定于机架的手眼标定方法以及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| Hyungwon Sung ; Sukhan Lee ; Daesik kim."A robot-camera hand/eye self-calibration system using a planar target".《IEEE ISR 2013》.2013,全文. * |
| Wang Haixia ; Wang Chunyan ; Lu Xiao." Self-Calibration Technique Based on Hand-Eye Vision Systems".《2007 Chinese Control Conference》.2007,全文. * |
| 一种高精度机器人手眼标定方法;任杰轩;张旭;刘少丽;王治;吴天一;;现代制造工程(第04期);全文 * |
| 利用3D打印标定球的机械臂与RGB-D相机手眼标定方法;杜惠斌;宋国立;赵忆文;韩建达;;机器人(第06期);全文 * |
| 基于Halcon的工业机器人手眼标定方法研究;田春林;陈李博;马国庆;侯茂盛;刘涛;;制造业自动化(第03期);全文 * |
| 基于二阶锥规划的运动控制相机轨迹跟踪研究;陈明伟;朱登明;毛天露;王兆其;;高技术通讯(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223048A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724293B (zh) | 图像渲染方法及装置、电子设备 | |
| US10755063B2 (en) | Method and apparatus for detecting two-dimensional barcode | |
| CN108229332B (zh) | 骨骼姿态确定方法、装置及计算机可读存储介质 | |
| CN112987764B (zh) | 降落方法、装置、无人机以及计算机可读存储介质 | |
| CN108701372B (zh) | 一种图像处理方法及装置 | |
| CN112229507A (zh) | 环境光检测方法、装置、存储介质及移动终端 | |
| CN112215227B (zh) | 图像目标检测模型攻击方法、装置、终端设备及存储介质 | |
| CN113676716B (zh) | 白平衡控制方法、装置、终端设备以及存储介质 | |
| CN113723136A (zh) | 条码矫正方法、装置、设备及存储介质 | |
| CN110152293B (zh) | 操控对象的定位方法及装置、游戏对象的定位方法及装置 | |
| CN113223048B (zh) | 手眼标定精度确定方法、装置、终端设备以及存储介质 | |
| CN108335259B (zh) | 一种图像处理方法、图像处理设备及移动终端 | |
| CN113761255A (zh) | 机器人室内定位方法、装置、设备及存储介质 | |
| CN106127171A (zh) | 一种增强现实内容的显示方法、装置及终端 | |
| CN110717964B (zh) | 场景建模方法、终端及可读存储介质 | |
| CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
| CN111538009A (zh) | 雷达点的标记方法和装置 | |
| CN112907673B (zh) | 定位方法、装置、终端设备以及存储介质 | |
| CN114187349A (zh) | 产品加工方法、装置、终端设备以及存储介质 | |
| CN114332118A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111738034B (zh) | 车道线的检测方法和装置 | |
| CN112532971A (zh) | 影像处理方法、装置、显示终端以及计算机可读存储介质 | |
| CN114298895A (zh) | 图像真实感风格迁移方法、装置、设备及存储介质 | |
| CN109194943B (zh) | 一种图像处理方法及终端设备 | |
| CN114356133B (zh) | 触控物体的尺寸分析方法、装置、终端设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |