CN113436178A - 机器人状态检测方法、装置、设备、程序产品及存储介质 - Google Patents

机器人状态检测方法、装置、设备、程序产品及存储介质 Download PDF

Info

Publication number
CN113436178A
CN113436178A CN202110754359.8A CN202110754359A CN113436178A CN 113436178 A CN113436178 A CN 113436178A CN 202110754359 A CN202110754359 A CN 202110754359A CN 113436178 A CN113436178 A CN 113436178A
Authority
CN
China
Prior art keywords
robot
image
determining
state
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110754359.8A
Other languages
English (en)
Inventor
朱明�
罗钟铉
樊鑫
王雷
喻之凯
曹存曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Peng Cheng Laboratory
Original Assignee
Dalian University of Technology
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Peng Cheng Laboratory filed Critical Dalian University of Technology
Priority to CN202110754359.8A priority Critical patent/CN113436178A/zh
Publication of CN113436178A publication Critical patent/CN113436178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人状态检测方法、装置、设备、程序产品及存储介质，该方法通过在目标机器人所在空间内预先建立三维坐标系，使目标机器人位于三维坐标系中，根据三维坐标系的三个坐标平面设置摄像设备阵列，使摄像设备的拍摄角度垂直于坐标平面，通过摄像设备采集图像，再确定图像中包含该目标机器人的机器人图像，根据机器人图像确定目标机器人的状态参数。本发明通过在目标机器人所在空间内设置摄像设备，通过固定位置的摄像设备采集图像，确定图像中包含目标机器人的机器人图像，可以直接根据机器人图像确定目标机器人的状态参数，不用识别整个目标机器人就能实现对目标机器人的状态检测，提高了检测机器人状态的效率及准确性。

Description

机器人状态检测方法、装置、设备、程序产品及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种机器人状态检测方法、装置、设备、程序产品及存储介质。
背景技术
随着水下机器人技术的不断发展与进步，对水下机器人状态的检测也逐渐受到重视，如检测水下机器人的位置或者倾斜状态，快速且准确地实现对水下机器人的状态检测是至关重要的。
需要说明的是，现有检测水下机器人状态的方法一般都是直接识别整个机器人，实现难度高，需要复杂的算法支撑，计算力要求高，识别时间一般过长，准确率也低，没有效率高且准确率高的理论或者手段。
发明内容
本发明的主要目的在于提供一种机器人状态检测方法、装置、设备、程序产品及存储介质，旨在解决现有机器人状态检测技术不能快速且准确地识别机器人的状态的技术问题。
为实现上述目的，本发明提供一种机器人状态检测方法，目标机器人位于预设三维坐标系内，所述预设三维坐标系包括三个坐标平面，所述机器人状态检测方法包括以下步骤：
根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
确定所述图像中包含所述目标机器人的机器人图像；
根据所述机器人图像确定所述目标机器人的状态参数。
可选地，所述目标机器人上附带识别标识，所述根据所述机器人图像确定所述目标机器人的状态参数的步骤包括：
确定所述机器人图像中包含识别标识的标识图像；
根据所述标识图像确定所述目标机器人的状态参数。
可选地，所述根据所述标识图像确定所述目标机器人的状态参数的步骤包括：
根据所述标识图像确定最优捕获图像；
根据所述最优捕获图像确定所述目标机器人的状态参数。
可选地，所述识别标识中包含中心点，所述根据所述标识图像确定最优捕获图像的步骤包括：
确定所述标识图像中所述识别标识的中心点与所述标识图像的中心点之间的距离；
根据所述距离确定所述最优捕获图像。
可选地，所述状态参数包括位置，所述根据所述最优捕获图像确定所述目标机器人的状态参数的步骤包括：
确定所述最优捕获图像对应的位置信息，根据所述位置信息确定所述目标机器人的位置。
可选地，所述状态参数包括倾斜状态，所述识别标识中包含指向线，所述根据所述最优捕获图像确定所述目标机器人的状态参数的步骤包括：
根据所述最优捕获图像中所述识别标识的指向线确定水平夹角；
根据所述水平夹角确定所述目标机器人的倾斜状态。
进一步地，为实现上述目的，本发明还提供一种机器人状态检测装置，目标机器人位于预设三维坐标系内，所述预设三维坐标系包括三个坐标平面，所述机器人状态检测装置包括：
设置模块，用于根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
识别模块，用于确定所述图像中包含所述目标机器人的机器人图像；
确定模块，用于根据所述机器人图像确定所述目标机器人的状态参数。
进一步地，为实现上述目的，本发明还提供一种机器人状态检测设备，所述机器人状态检测设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的机器人状态检测程序，所述机器人状态检测程序被所述处理器执行时实现如上述所述的机器人状态检测方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机程序产品，所述计算机程序产品包括机器人状态检测程序，所述机器人状态检测程序被处理器执行时实现如上所述的机器人状态检测方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有机器人状态检测程序，所述机器人状态检测程序被处理器执行时实现如上所述的机器人状态检测方法的步骤。
本发明通过在目标机器人所在空间内预先建立三维坐标系，使目标机器人位于三维坐标系中，根据三维坐标系的三个坐标平面设置摄像设备阵列，使摄像设备的拍摄角度垂直于坐标平面，通过摄像设备采集图像，再确定图像中包含该目标机器人的机器人图像，根据机器人图像确定目标机器人的状态参数。本发明通过在目标机器人所在空间内设置摄像设备，通过固定位置的摄像设备采集图像，确定图像中包含目标机器人的机器人图像，可以直接根据机器人图像确定目标机器人的状态参数，不用识别整个目标机器人就能实现对目标机器人的状态检测，提高了检测机器人状态的效率及准确性。
附图说明
图1为本发明机器人状态检测设备实施例方案涉及的设备硬件运行环境的结构示意图；
图2为本发明机器人状态检测方法第一实施例的流程示意图；
图3为本发明机器人状态检测装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，现有检测水下机器人状态的方法一般都是直接识别整个机器人，实现难度高，需要复杂的算法支撑，计算力要求高，识别时间一般过长，准确率也低，没有效率高且准确率高的理论或者手段。
基于上述缺陷，本发明提供一种机器人状态检测设备，参照图1，图1为本发明机器人状态检测设备实施例方案涉及的设备硬件运行环境的结构示意图。
如图1所示，该机器人状态检测设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图1中示出的机器人状态检测设备的硬件结构并不构成对机器人状态检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及机器人状态检测程序。其中，操作系统是管理和控制机器人状态检测设备与软件资源的程序，支持网络通信模块、用户接口模块、机器人状态检测程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1004；用户接口模块用于管理和控制用户接口1003。
在图1所示的机器人状态检测设备硬件结构中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；处理器1001可以调用存储器1005中存储的机器人状态检测程序，并执行以下操作：
根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
确定所述图像中包含所述目标机器人的机器人图像；
根据所述机器人图像确定所述目标机器人的状态参数。
进一步地，所述目标机器人上附带识别标识，所述根据所述机器人图像确定所述目标机器人的状态参数的步骤包括：
确定所述机器人图像中包含所述识别标识的标识图像；
根据所述标识图像确定所述目标机器人的状态参数。
进一步地，所述根据所述标识图像确定所述目标机器人的状态参数的步骤包括：
根据所述标识图像确定最优捕获图像；
根据所述最优捕获图像确定所述目标机器人的状态参数。
进一步地，所述识别标识中包含中心点，所述根据所述标识图像确定最优捕获图像的步骤包括：
确定所述标识图像中所述识别标识的中心点与所述标识图像的中心点之间的距离；
根据所述距离确定所述最优捕获图像。
进一步地，所述状态参数包括位置，所述根据所述最优捕获图像确定所述目标机器人的状态参数的步骤包括：
确定所述最优捕获图像对应的位置信息，根据所述位置信息确定所述目标机器人的位置。
进一步地，所述状态参数包括倾斜状态，所述识别标识中包含指向线，所述根据所述最优捕获图像确定所述目标机器人的状态参数的包括：
根据所述最优捕获图像中所述识别标识的指向线确定水平夹角；
根据所述水平夹角确定所述目标机器人的倾斜状态。
本发明机器人状态检测设备的具体实施方式与下述机器人状态检测方法各实施例基本相同，在此不再赘述。
本发明还提供一种基于上述机器人状态检测设备的机器人状态检测方法。
参照图2，图2为本发明机器人状态检测方法第一实施例的流程示意图。
本发明实施例提供了机器人状态检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在机器人状态检测方法的各个实施例中，执行主体是机器人状态检测设备。
所述机器人状态检测方法应用于机器人状态检测设备，所述机器人状态检测方法包括：
步骤S10，根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
现有检测水下机器人状态的方法一般都是直接识别整个机器人，实现难度高，需要复杂的算法支撑，计算力要求高，识别时间一般过长，准确率也低，没有效率高且准确率高的理论或者手段。
为解决现有机器人状态检测技术不能快速且准确地识别机器人的状态的技术问题，在本发明实施例中提出一种机器人状态检测方法，旨在通过在目标机器人所在空间内预先建立三维坐标系，使目标机器人位于三维坐标系中，根据三维坐标系的三个坐标平面设置摄像设备阵列，使摄像设备的拍摄角度垂直于坐标平面，通过摄像设备采集图像，再确定图像中包含该目标机器人的机器人图像，根据机器人图像确定目标机器人的状态参数。本发明通过在目标机器人所在空间内设置摄像设备，通过固定位置的摄像设备采集图像，确定图像中包含目标机器人的机器人图像，可以直接根据机器人图像确定目标机器人的状态参数，不用识别整个目标机器人就能实现对目标机器人的状态检测，提高了检测机器人状态的效率及准确性。
本实施例中的机器人状态检测方法适用于具有机器人状态检测功能的设备。
在本实施例中，首先在目标机器人所在空间内设置摄像设备阵列，具体步骤为，在目标机器人所在的空间内预先设置一个三维坐标系x-y-z，三维坐标系x-y-z包括x-y、x-z与y-z坐标平面，使目标机器人位于三维坐标系中，根据x-y、x-z与y-z坐标平面设置摄像设备阵列，摄像设备包括摄像机或者照相机等。根据x-y、x-z与y-z坐标平面设置摄像设备阵列的方式可以是，在x-y、x-z与y-z坐标平面内设置摄像设备，每个摄像设备的拍摄角度都与其所在平面垂直，即每个摄像设备拍摄出来的图像平行于其所在平面，使目标机器人位于不同位置时，每个坐标平面上都存在摄像设备能够拍摄到目标机器人。
根据x-y、x-z与y-z坐标平面设置摄像设备的方式还可以是，摄像设备除了被设置于三维坐标系的每个坐标平面内以外，也可以被设置于坐标平面以外的位置上，摄像设备的拍摄角度同样与坐标平面垂直，确定与摄像设备的拍摄角度垂直的坐标平面作为该摄像设备的坐标平面，将摄像设备映射在该坐标平面上的坐标视为该摄像设备在该坐标平面上的坐标位置，使目标机器人位于不同位置时，每个坐标平面上都存在摄像设备能够拍摄到目标机器人。例如，若以x-y面平行于水平面、z轴垂直水平面向上建立三维坐标系，摄像设备C1可以被设置在x-y平面下方的位置，如摄像设备C1的三维坐标(x,y,z)为(2,3,-4)，拍摄角度为沿z轴向上，则将x-y平面作为摄像设备C1的坐标平面，将(2,3)作为摄像设备C1在x-y平面上的坐标位置(x,y)。机器人状态检测设备运行时使所有的摄像设备同时按照各自的拍摄角度采集一次图像。
为了便于表述，将每个坐标平面中的摄像设备拍摄的图像作为对应坐标平面的图像，例如，x-y平面上的摄像设备拍摄的图像作为x-y平面的图像，x-z平面上的摄像设备拍摄的图像作为x-z平面的图像，y-z平面上的摄像设备拍摄的图像作为y-z平面的图像。
由于摄像设备被设置于三维坐标系的三个平面上，则每个摄像设备都有其在对应坐标平面上的坐标位置，例如，x-y平面上的某一个摄像设备Cxy1的坐标位置(x,y)为(2,2)，x-z平面上的某一摄像设备Cxz1的坐标位置(x,z)为(3,1)，y-z平面上的某一摄像设备Cyz1的坐标位置(y,z)为(2,4)。
步骤S20，确定所述图像中包含所述目标机器人的机器人图像。
在本实施例中，当所有的摄像设备同时采集图像后，每个坐标平面中摄像设备拍摄的图像为每个坐标平面的图像，确定每个坐标平面的图像中包含目标机器人的图像，这些包含目标机器人的图像就是机器人图像。例如，当三个坐标平面的摄像设备按各自的拍摄角度采集图像后，得到三个平面的图像pxy1～pxy10、pxz1～pxz10、pyz1～pyz10，则确定这些图像中包含目标机器人的图像，若pxy1与pxy5中包含目标机器人，pxz2与pxz5中包含目标机器人，pyz3与pyz7中包含目标机器人，则pxy1与pxy5、pxz2与pxz5、pyz3与pyz7就是机器人图像。
步骤S30，根据所述机器人图像确定所述目标机器人的状态参数。
在本实施例中，确定每个坐标平面中的机器人图像之后，会根据机器人图像确定目标机器人的状态参数，状态参数包括位置与倾斜状态，在确定状态参数时，可以只确定位置，也可以只确定倾斜状态，还可以同时确定位置与倾斜状态。具体步骤为，确定机器人图像中目标机器人最接近图像中心的图像作为最佳映射图像，确定最佳映射图像的方式可以是，确定某个坐标平面的机器人图像中目标机器人中心点与图像中心点距离最近的图像，该图像就是该坐标平面的最佳映射图像，则总共会确定3个最佳映射图像，对应于3个坐标平面，再根据每个平面的最佳映射图像确定目标机器人的状态参数。确定目标机器人的位置的方式可以为，由于摄像设备被设置在三维坐标系的三个平面中，所以每个摄像设备都有其在对应坐标平面上的坐标位置，每个图像中心的坐标位置等于拍摄其的摄像设备的坐标位置。得到3个最佳映射图像后，这3个最佳映射图像的中心的坐标位置为(x1,y1)、(x2,z2)与(y3,z3)，相当于目标机器人映射在3个坐标平面上的坐标位置，则目标机器人在三维空间中的坐标位置(x,y,z)可以表示为((x1+x2)/2,(y1+y3)/2,(z2+z3)/2)，由此确定目标机器人的位置。确定目标机器人的倾斜状态的方式可以为，通过将每个坐标平面的最佳映射图像中的目标机器人与对应的初始图像中的目标机器人进行比对，即可以确定目标机器人在每个坐标平面中的倾斜角度，从而确定目标机器人在整个空间中的倾斜状态，初始图像指目标机器人处于初始状态时的最佳映射图像；或者，将前后两次拍摄确定的最佳映射图像进行对比，从而确定目标机器人在前后两次拍摄中在整个空间的倾斜状态。例如，若每个平面的机器人图像中，目标机器人中心点与图像中心点距最近的最佳映射图像分别为pxy1，pxz1，pyz1，拍摄它们的摄像设备的坐标位置(x,y)、(x,z)与(y,z)分别为(2,4)、(4,6)与(4,4)，则可以确定目标机器人的坐标位置(x,y,z)为(3,4,5)；将每个最佳映射图像中的目标机器人与对应的初始图像中的目标机器人进行比对，可以确定目标机器人相对于三个坐标平面的倾斜角度为，相对于x-y面顺时针倾斜30°，相对于x-z面顺时针倾斜190°，相对于y-z面顺时针倾斜20°，从而可以确定机器人在整个空间中的倾斜状态。多次确定目标机器人的位置与倾斜状态，通过对比就可以确定目标机器人的运动轨迹与运动方向。
需要说明的是，本方法可以用于水下机器人的定位及姿态检测，通过在水下机器人所在空间内设置摄像设备，可以以相同的方式确定水下机器人的位置与倾斜状态，根据倾斜状态可以确定水下机器人的姿态，多次确定水下机器人的位置与倾斜状态，然后进行比较，就可以确定水下机器人的运动方向与运动轨迹。
本发明通过在目标机器人所在空间内预先建立三维坐标系，使目标机器人位于三维坐标系中，根据三维坐标系的三个坐标平面设置摄像设备阵列，使摄像设备的拍摄角度垂直于坐标平面，通过摄像设备采集图像，再确定图像中包含该目标机器人的机器人图像，根据机器人图像确定目标机器人的状态参数。本发明通过在目标机器人所在空间内设置摄像设备，通过固定位置的摄像设备采集图像，确定图像中包含目标机器人的机器人图像，可以直接根据机器人图像确定目标机器人的状态参数，不用识别整个目标机器人就能实现对目标机器人的状态检测，提高了检测机器人状态的效率及准确性。
进一步地，提出本发明机器人状态检测方法第二实施例，所述目标机器人上附带识别标识，上述步骤S30包括：
步骤a1，确定所述机器人图像中包含所述识别标识的标识图像；
步骤a2，根据所述标识图像确定所述目标机器人的状态参数。
在本实施例中，为了更加快速的对目标机器人的状态进行检测，在目标机器人上附加识别标识，例如，可以将识别标识附加在机器人便于识别的部位，如顶部，侧面，立柱等。
每个识别标识可以通过包含不同的颜色或者形状进行区分，在这里并不限定目标机器人上附带识别标识的数量与位置，也不限定识别标识的形状，例如，识别标识的形状可以是圆形或者正方形等。
在目标机器人上附加识别标识只需使每个坐标平面的机器人图像中都存在包含识别标识的图像，这些图像就是标识图像，即每个坐标平面中都存在摄像设备能够拍摄到识别标识。例如，在目标机器人上附加4个识别标识，每个识别标识中分别包含红色、绿色、蓝色、紫色，以此进行区分。
需要说明的是，每个识别标识并不是只能包含一种颜色或者形状，颜色与颜色、颜色与形状、形状与形状之间可以相互组合，只要使不同的识别标识能够进行区分即可。
通过识别标识可以对机器人图像进一步进行筛选得到标识图像，再根据标识图像确定确定目标机器人的状态参数，同样可以只确定目标机器人的位置或者倾斜状态，也可以同时确定目标机器人的位置和倾斜状态。根据标识图像确定目标机器人的状态参数的方式为，同样确定每个坐标平面的标识图像中目标机器人最接近图像中心的最佳映射图像，确定目标机器人位置的方式可以是确定标识图像中目标机器人中心点与图像中心点距离最近的图像为最佳映射图像，再根据每个平面的最佳映射图像的中心对应的坐标位置确定目标机器人的位置；确定目标机器人倾斜状态的方式可以是将每个坐标平面的最佳映射图像中的目标机器人与对应的初始图像中的目标机器人进行比对，从而确定目标机器人在整个空间中的倾斜状态。
本实施例通过识别标识对机器人图像进一步进行筛选得到标识图像，从而在确定图像中目标机器人最接近图像中心的最佳映射图像时，可以减少用来对比的图像，从而提高确定最佳映射图像的效率，进而提高了检测机器人状态的效率。
进一步地，提出本发明机器人状态检测方法第三实施例，上述步骤a2包括：
步骤b1，根据所述标识图像确定最优捕获图像；
步骤b2，根据所述最优捕获图像确定所述目标机器人的状态参数。
在本实施例中，当在目标机器人上附加识别标识，确定机器人图像中包含识别标识的标识图像之后，由于目标机器人的识别目标相对较大，在确定目标机器人与图像中心的距离时精确性低，所以除了确定每个坐标平面的标识图像中目标机器人最接近图像中心的图像为最佳映射图像外，还可以是确定标识图像中识别标识最接近图像中心的图像为最佳映射图像，即最优捕获图像，将识别标识与图像中心的距离视为目标机器人与图像中心的距离。再根据每个坐标平面的最优捕获图像确定目标机器人的状态参数。
需要说明的是，当标识图像中包含多个识别标识时，可以在多个识别标识与图像中心的距离中选择最小的距离作为该标识图像与其他标识图像进行比较的距离。例如，若x-y坐标平面上具有标识图像Cxy1、Cxy2、Cxy3，若Cxy1与Cxy2中只包含一个识别标识，且识别标识与图像中心的距离分别为0.3cm与0.4cm，若Cxy3中包含2个识别标识，这两个识别标识与图像中心的距离分别是0.5cm与0.2cm，则将0.2cm作为Cxy3与Cxy1、Cxy2进行比较的距离，可以确定Cxy3是x-y坐标平面上的最优捕获图像。
当标识图像中包含多个识别标识时，也可以确定该标识图像中像素面积最大的识别标识，将该识别标识与图像中心的距离作为该标识图像与其他标识图像进行比较的距离。
本实施例通过将识别标识与图像中心的距离视为目标机器人与图像中心的距离，避免了由于识别目标过大而导致的识别准确性低的问题，提高了检测机器人状态的准确性。
进一步地，提出本发明机器人状态检测方法第四实施例，所述识别标识中包含中心点，上述步骤b1包括：
步骤c1，确定所述标识图像中所述识别标识的中心点与所述标识图像的中心点之间的距离；
步骤c2，根据所述距离确定所述最优捕获图像。
在本实施例中，确定每个坐标平面的标识图像中识别标识与图像中心距离最近的最优捕获图像的步骤为，识别标识中具有预先设置的中心点，该中心点与图像中心点之间的距离就是识别标识与图像中心的距离，则确定在每个坐标平面的标识图像中，识别标识的中心点与图像中心点距离最近的图像作为对应坐标平面的最优捕获图像。例如，x-y坐标平面上具有标识图像Cxy1、Cxy2与Cxy3，x-z坐标平面上具有标识图像Cxz1、Cxz2与Cxz3，y-z坐标平面上具有标识图像Cyz1、Cyz2与Cyz3，若Cxy1、Cxy2与Cxy3中识别标识的中心点与图像中心点的距离分别为0.3cm、0.2cm与0.5cm，Cxz1、Cxz2与Cxz3中识别标识的中心点与图像中心点的距离分别为0.2cm、0.4cm与0.3cm，Cyz1、Cyz2与Cyz3中识别标识的中心点与图像中心点的距离分别为0.5cm、0.1cm与0.2cm，则x-y坐标平面上的最优捕获图像为Cxy2，x-z坐标平面上的最优捕获图像为Cxz1，y-z坐标平面上的最优捕获图像为Cyz2。
本实施例通过根据识别标识的中心点确定标识图像中识别标识与图像中心的距离，从而确定每个坐标平面中的最优捕获图像，提高了确定每个坐标平面中最优捕获图像的准确性。
进一步地，提出本发明机器人状态检测方法第五实施例，所述状态参数包括位置，上述步骤b2包括：
步骤d1，确定所述最优捕获图像对应的位置信息，根据所述位置信息确定所述目标机器人的位置。
在本实施例中，状态参数包括位置，根据标识图像中识别标识的中心点与图像中心点之间的距离确定每个坐标平面的最优捕获图像后，再根据最优捕获图像确定目标机器人的位置。具体步骤为，先确定每个最优捕获图像对应的位置信息，最优捕获图像对应的位置信息即拍摄该最优捕获图像的摄像设备的位置信息，即x-y坐标平面上的最优捕获图像的位置信息是拍摄该最优捕获图像的摄像设备在x-y坐标平面上的坐标位置(x,y)，例如，若x-y坐标平面上的最优捕获图像pxy1是摄像设备Cxy1拍摄的，如Cxy1在x-y坐标平面上的坐标位置(x1,y1)为(3,2)，则该最优捕获图像pxy1对应的位置信息(x2,y2)也为(3,2)。
当确定x-y坐标平面的最优捕获图像的位置信息(xa,ya)，x-z坐标平面的最优捕获图像的位置信息(xb,zb)，y-z坐标平面的最优捕获图像的位置信息(yc,zc)，可以根据(xa,ya)、(xb,zb)与(yc,zc)确定目标机器人的位置(x物,y物,z物)，x物＝(xa+xb)/2，y物＝(ya+yc)/2，z物＝(zb+zc)/2。例如，若确定每个坐标平面的最优捕获图像对应的位置信息(xa,ya)、(xb,zb)与(yc,zc)分别为(3,2)、(3,4)与(4,6)，则x物＝(3+3)/2＝3，y物＝(2+4)/2＝3，z物＝(4+6)/2＝5，则目标机器人的位置(x物,y物,z物)为(3,3,5)。
本实施例通过将最优捕获图像对应的位置信息作为机器人映射在坐标平面上的位置信息，从而确定机器人在三维空间中的位置，提高了确定机器人位置的效率。
进一步地，提出本发明机器人状态检测方法第六实施例，所述状态参数包括倾斜状态，所述识别标识中包含指向线，上述步骤b2包括：
步骤e1，根据所述最优捕获图像中所述识别标识的指向线确定水平夹角；
步骤e2，根据所述水平夹角确定所述目标机器人的倾斜状态。
在本实施例中，状态参数包括倾斜状态，为了更加精确的确定目标机器人在空间中的倾斜状态，识别标识中包含指向线，指向线具有前端与后端。机器人状态检测设备根据标识图像中识别标识的中心点与图像中心点之间的距离确定每个坐标平面的最优捕获图像后，再根据最优捕获图像确定机器人的倾斜状态。具体步骤为，确定每个最优捕获图像中识别标识的指向线与水平检测线之间的水平夹角，水平检测线是每个图像中与水平面平行的直线，其也包括前端与后端，使图像中的水平检测线与指向线相交，水平检测线与指向线可以根据交点确定各自的前端与后端，即水平检测线和指向线可以以交点为界分成前端与后端。图像中水平检测线与指向线之间的夹角就是水平夹角。指向线与水平检测线之间的水平夹角可以是，从指向线的前端或者后端开始顺时针方向旋转至水平检测线的前端或者后端为止的角度；也可以是从指向线的前端或者后端开始逆时针方向旋转至水平检测线的前端或者后端为止的角度。例如，如从指向线前端开始顺时针旋转至水平检测线的前端为止的角度为水平夹角，可以确定目标机器人在x-y坐标平面上指向线与水平检测线之间的水平夹角为顺时针30°，在x-z坐标平面上指向线与水平检测线之间的水平夹角为顺时针10°，在y-z坐标平面上指向线与水平检测线之间的水平夹角为220°。
将每个最优捕获图像中识别标识的指向线与水平检测线之间的水平夹角与对应的初始水平夹角进行对比，就可以确定目标机器人在每个坐标平面上的倾斜角度，初始水平夹角指目标机器人在初始状态下，每个识别标识的指向线与水平检测线之间的水平夹角。具体为，若每个最优捕获图像中识别标识的指向线与水平检测线之间的水平夹角分别为顺时针αxy、顺时针βxz与顺时针γyz，初始水平夹角为顺时针α初、顺时针β初与顺时针γ初，当αxy等于α初时，则机器人在该平面上没有倾斜；当αxy小于α初时，则机器人在x-y坐标平面上顺时针倾斜的角度为(α初-αxy)；当αxy大于α初时，则机器人在x-y坐标平面上顺时针倾斜的角度为(360°-αxy+α初)，机器人在x-z坐标平面与y-z坐标平面上倾斜角度的计算方式与上述在x-y坐标平面上倾斜角度的计算方式相同。例如，若以从指向线的前端开始顺时针旋转至预设水平检测线的前端为止的角度为水平夹角，确定机器人当前在x-y平面上的水平夹角αxy为顺时针20°，在x-z平面上的水平夹角βxz为顺时针140°，在y-z平面上的水平夹角γyz为顺时针220°，若预设设置机器人在初始状态下的初始水平夹角分别为，在x-y平面上的初始水平夹角α初为顺时针40°，在x-z平面上的初始水平夹角β初为顺时针100°，在y-z平面上的初始水平夹角γ初为顺时针180°；因为αxy小于α初，所以机器人在x-y平面上的倾斜角度顺时针(α初-αxy)为顺时针20°；因为βzx大于β初，所以机器人在x-z平面上的倾斜角度顺时针(360°-βzx+β初)为顺时针320°；因为γyz大于γ初，所以机器人在y-z平面上的倾斜角度顺时针(360°-γyz+γ初)为顺时针320°。
当确定目标机器人在每个坐标平面上的倾斜角度后，就可以确定目标机器人在整个空间中的倾斜状态。需要说明的是，除了将水平夹角与初始水平夹角比较来确定目标机器人在每个坐标平面上的倾斜角度外，还可以是通过前后两次拍摄，分别确定前后两次的水平夹角，比较前后两次确定的水平夹角来确定目标机器人在两次拍摄中在每个坐标平面上的倾斜角度，从而确定机器人在整个空间内的倾斜状态。
需要说明的是，当最优捕获图像中存在多个识别标识时，任意选择其中一个识别标识，或者选择最优捕获图像中像素面积最大的识别标识，利用它的指向线确定水平夹角即可。
本实施例通过识别标识中的指向线确定水平夹角，再根据水平夹角确定机器人在每个坐标平面上的倾斜角度，提高了确定倾斜角度的准确性，从而提高了确定机器人在空间中的倾斜状态的准确性。
本发明还提供一种机器人状态检测装置。
参照图3，图3为本发明机器人状态检测装置第一实施例的功能模块示意图。目标机器人位于预设三维坐标系内，所述预设三维坐标系包括三个坐标平面，所述机器人状态检测装置包括：
设置模块10，用于根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
识别模块20，用于确定所述图像中包含所述目标机器人的机器人图像；
确定模块30，用于根据所述机器人图像确定所述目标机器人的状态参数。
此外，本发明还提出一种计算机可读存储介质。
计算机可读存储介质上存储有机器人状态检测程序，机器人状态检测程序被处理器执行时实现如上所述的机器人状态检测方法的步骤。
本发明计算机可读存储介质具体实施方式与上述机器人状态检测方法各实施例基本相同，在此不再赘述。
此外，本发明还提出一种计算机程序产品，包括机器人状态检测程序，所述机器人状态检测程序被处理器执行时实现如上所述的机器人状态检测方法的步骤。
本发明计算机程序产品具体实施方式与上述机器人状态检测方法各实施例基本相同，在此不再赘述。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种机器人状态检测方法，其特征在于，目标机器人位于预设三维坐标系内，所述预设三维坐标系包括三个坐标平面，所述机器人状态检测方法包括以下步骤：
根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
确定所述图像中包含所述目标机器人的机器人图像；
根据所述机器人图像确定所述目标机器人的状态参数。
2.如权利要求1所述的机器人状态检测方法，其特征在于，所述目标机器人上附带识别标识，所述根据所述机器人图像确定所述目标机器人的状态参数的步骤包括：
确定所述机器人图像中包含所述识别标识的标识图像；
根据所述标识图像确定所述目标机器人的状态参数。
3.如权利要求2所述的机器人状态检测方法，其特征在于，所述根据所述标识图像确定所述目标机器人的状态参数的步骤包括：
根据所述标识图像确定最优捕获图像；
根据所述最优捕获图像确定所述目标机器人的状态参数。
4.如权利要求3所述的机器人状态检测方法，其特征在于，所述识别标识中包含中心点，所述根据所述标识图像确定最优捕获图像的步骤包括：
确定所述标识图像中所述识别标识的中心点与所述标识图像的中心点之间的距离；
根据所述距离确定所述最优捕获图像。
5.如权利要求3所述的机器人状态检测方法，其特征在于，所述状态参数包括位置，所述根据所述最优捕获图像确定所述目标机器人的状态参数的步骤包括：
确定所述最优捕获图像对应的位置信息，根据所述位置信息确定所述目标机器人的位置。
6.如权利要求3所述的机器人状态检测方法，其特征在于，所述状态参数包括倾斜状态，所述识别标识中包含指向线，所述根据所述最优捕获图像确定所述目标机器人的状态参数的步骤包括：
根据所述最优捕获图像中所述识别标识的指向线确定水平夹角；
根据所述水平夹角确定所述目标机器人的倾斜状态。
7.一种机器人状态检测装置，其特征在于，目标机器人位于预设三维坐标系内，所述预设三维坐标系包括三个坐标平面，所述机器人状态检测装置包括：
设置模块，用于根据所述三个坐标平面设置摄像设备阵列，所述摄像设备的拍摄角度垂直于所述坐标平面，通过所述摄像设备采集图像；
识别模块，用于确定所述图像中包含所述目标机器人的机器人图像；
确定模块，用于根据所述机器人图像确定所述目标机器人的状态参数。
8.一种机器人状态检测设备，其特征在于，所述机器人状态检测设备包括存储器、处理器以及存储在所述存储器上并可以在所述处理器上运行的机器人状态检测程序，所述机器人状态检测程序被所述处理器执行时实现如权利要求1-6中任一项所述的机器人状态检测方法的步骤。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括机器人状态检测程序，所述机器人状态检测程序被处理器执行时实现如权利要求1-6中任一项所述的机器人状态检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有机器人状态检测程序，所述机器人状态检测程序被处理器执行时实现如权利要求1-6中任一项所述的机器人状态检测方法的步骤。
CN202110754359.8A 2021-07-02 2021-07-02 机器人状态检测方法、装置、设备、程序产品及存储介质 Pending CN113436178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110754359.8A CN113436178A (zh) 2021-07-02 2021-07-02 机器人状态检测方法、装置、设备、程序产品及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110754359.8A CN113436178A (zh) 2021-07-02 2021-07-02 机器人状态检测方法、装置、设备、程序产品及存储介质

Publications (1)

Publication Number Publication Date
CN113436178A true CN113436178A (zh) 2021-09-24

Family

ID=77758901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110754359.8A Pending CN113436178A (zh) 2021-07-02 2021-07-02 机器人状态检测方法、装置、设备、程序产品及存储介质

Country Status (1)

Country Link
CN (1) CN113436178A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN107977977A (zh) * 2017-10-20 2018-05-01 深圳华侨城卡乐技术有限公司 一种vr游戏的室内定位方法、装置以及存储介质
CN110657146A (zh) * 2019-09-12 2020-01-07 东莞市耀野自动化有限公司 一种光学透镜耦合机
CN112989099A (zh) * 2021-05-14 2021-06-18 赣通通信股份有限公司 基于图像通信的智慧施工管理系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN107977977A (zh) * 2017-10-20 2018-05-01 深圳华侨城卡乐技术有限公司 一种vr游戏的室内定位方法、装置以及存储介质
CN110657146A (zh) * 2019-09-12 2020-01-07 东莞市耀野自动化有限公司 一种光学透镜耦合机
CN112989099A (zh) * 2021-05-14 2021-06-18 赣通通信股份有限公司 基于图像通信的智慧施工管理系统和方法

Similar Documents

Publication Publication Date Title
CN109584295B (zh) 对图像内目标物体进行自动标注的方法、装置及系统
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
US20170154430A1 (en) Information processing apparatus, information processing method, and recording medium
US9437045B2 (en) Real-time mobile capture and application of photographic images as textures in three-dimensional models
US9516214B2 (en) Information processing device and information processing method
US8970586B2 (en) Building controllable clairvoyance device in virtual world
US20120314096A1 (en) Two-dimensional image capture for an augmented reality representation
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP2017004268A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111737518A (zh) 基于三维场景模型的图像展示方法、装置及电子设备
WO2020108285A1 (zh) 地图构建方法、装置及系统、存储介质
WO2020024684A1 (zh) 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
US20230334789A1 (en) Image Processing Method, Mobile Terminal, and Storage Medium
WO2023216982A1 (zh) 数据处理方法、装置、计算机设备、存储介质及程序产品
JP2001148025A (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP2017151026A (ja) 三次元情報取得装置、三次元情報取得方法、及びプログラム
JP5461782B2 (ja) カメラ映像シミュレータプログラム
CN111464795B (zh) 监控设备配置的实现方法、装置及电子设备
US20230394701A1 (en) Information processing apparatus, information processing method, and storage medium
CN113436178A (zh) 机器人状态检测方法、装置、设备、程序产品及存储介质
KR20200116224A (ko) 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
CN113849949A (zh) 显示方法、控制方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924