CN110544278A - 刚体运动捕捉方法及装置、agv位姿捕捉系统 - Google Patents

刚体运动捕捉方法及装置、agv位姿捕捉系统 Download PDF

Info

Publication number
CN110544278A
CN110544278A CN201810533059.5A CN201810533059A CN110544278A CN 110544278 A CN110544278 A CN 110544278A CN 201810533059 A CN201810533059 A CN 201810533059A CN 110544278 A CN110544278 A CN 110544278A
Authority
CN
China
Prior art keywords
position information
dimensional position
rigid body
image
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810533059.5A
Other languages
English (en)
Other versions
CN110544278B (zh
Inventor
易雨亭
张小峰
孙元栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Haikang Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Robot Technology Co Ltd filed Critical Hangzhou Haikang Robot Technology Co Ltd
Priority to CN201810533059.5A priority Critical patent/CN110544278B/zh
Publication of CN110544278A publication Critical patent/CN110544278A/zh
Application granted granted Critical
Publication of CN110544278B publication Critical patent/CN110544278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种刚体运动捕捉方法及装置、AGV位姿捕捉系统。获取光学标志在各个图像中成像的二维位置信息；根据已知刚体在上一时刻的位姿信息预测得到已知刚体上的光学标志在当前时刻的预测三维位置信息；将已知刚体上的光学标志的预测三维位置信息转换为预测二维位置信息；将已知刚体上的光学标志的预测二维位置信息与成像的二维位置信息进行匹配，确定已知刚体上的光学标志在各个图像中成像的二维位置信息；将已知刚体上的光学标志在各个图像中成像的二维位置信息转换为三维位置信息；根据预先存储的已知刚体上的光学标志之间的位置关系及三维位置信息，确定已知刚体在当前时刻的位姿信息。本发明解决了运动捕捉系统的工作效率较低的问题。

Description

刚体运动捕捉方法及装置、AGV位姿捕捉系统
技术领域
本发明涉及计算机视觉领域，特别涉及一种刚体运动捕捉方法及装置、AGV位姿捕捉系统。
背景技术
运动捕捉是一种测量、跟踪和记录物体在三维空间中的运动轨迹的技术，运动捕捉系统即对物体的运动状态，诸如速度、加速度和位置等进行测量的系统。根据工作原理的不同，运动捕捉系统可以分为机械式运动捕捉系统、声学式运动捕捉系统、电磁式运动捕捉系统和光学式运动捕捉系统。其中，光学式运动捕捉系统因其受环境影响小、定位精度高和测量范围大等优点而被广泛应用。
相关技术中提供了一种应用于光学式运动捕捉系统的光学式运动捕捉方法，通过在刚体上设置多个相对位置固定的标志点，在多个相机采集到图像后，利用与每个相机一一对应绑定的微处理器对图像上的标志点进行检测，并采用极线距离方法或模型匹配方法对检测到的多个标志点进行匹配，获取匹配后的标志点在世界坐标系中的三维空间位置，根据多个标志点在不同时刻的三维空间位置，得到刚体的相关运动参数(包括运动速度和加速度等)。其中，刚体是指在运动中和受力作用后，形状和大小不变，且内部各点的相对位置不变的物体。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
相关技术中，由于极线距离方法或模型匹配方法的时间复杂度较高，当图像中的标志点个数较多或运动的刚体不唯一时，对检测到的标志点进行匹配的过程中耗费的时间度较长且匹配难度较大，导致运动捕捉系统的工作效率较低。
发明内容
本发明实施例提供了一种刚体运动捕捉方法及装置、AGV位姿捕捉系统，可以解决相关技术中运动捕捉系统的工作效率较低的问题。所述技术方案如下：
第一方面，提供了一种刚体运动捕捉方法，所述方法包括：
基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，每个所述刚体上设置有多个光学标志，所述多个光学标志唯一标识所述刚体，且所述多个光学标志能够指示所述刚体的不同运动方向；
根据所述刚体中已知刚体在上一时刻的位姿信息进行预测，得到所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，所述已知刚体为记录了上一时刻的位姿信息的刚体；
基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；
将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息；
根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息。
可选的，所述基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，包括：
基于所述多个图像采集设备的参数信息和所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，将所述已知刚体上的光学标志反投影到所述多个图像采集设备的成像平面上，得到所述已知刚体上的光学标志的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；
将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。
可选的，所述将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，包括：
获取所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息，所述目标图像为任一图像采集设备在所述当前时刻采集的图像；
采用匈牙利算法对所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个所述匹配组合中包括至少一个匹配对，每个所述匹配对包括一个预测二维位置信息和一个成像的二维位置信息；
计算每个所述匹配组合对应的代价函数的值，所述代价函数用于指示所述匹配组合中所有匹配对的距离之和；
确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示所述已知刚体上的同一光学标志，所述目标匹配组合为所述至少一个匹配组合中所述代价函数的值最小的匹配组合；
从所述各个图像对应的目标匹配组合中获取所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息。
可选的，所述将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，包括：
从所述各个图像中成像的二维位置信息中，选择与所述已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，所述目标光学标志为所述已知刚体上的任一光学标志；
当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为所述目标光学标志在所述各个图像中成像的二维位置信息。
可选的，所述将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息，包括：
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知刚体上的光学标志在所述当前时刻的三维位置信息。
可选的，所述根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息，包括：
获取所述已知刚体在所述当前时刻的速度信息；
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体上的光学标志在所述当前时刻的三维位置信息以及所述已知刚体在所述当前时刻的速度信息，确定所述已知刚体在所述当前时刻的位姿信息。
可选的，所述获取所述已知刚体在所述当前时刻的速度信息，包括：
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体在上一时刻的位姿信息、所述已知刚体上的光学标志在当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，确定所述已知刚体在所述当前时刻的速度信息。
可选的，在所述确定所述已知刚体在所述当前时刻的位姿信息之后，所述方法还包括：
从所述各个图像中成像的二维位置信息中，获取除所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；
从所述剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在所述各个图像中成像的二维位置信息；
将所述未知光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知光学标志在所述当前时刻的三维位置信息；
根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，所述新的刚体为设置有多个所述未知光学标志的刚体。
可选的，所述根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，包括：
记录所述新的刚体在所述当前时刻的速度信息为默认值；
根据预先存储的刚体上的光学标志之间的位置关系、所述新的刚体上的光学标志在所述当前时刻的三维位置信息以及所述新的刚体在所述当前时刻的速度信息，确定所述新的刚体在所述当前时刻的位姿信息。
可选的，所述方法还包括：
获取每个所述图像采集设备对应的背景图像，所述背景图像是基于所述图像采集设备在不同时刻采集的多个图像确定的；
在获取所述多个图像采集设备在所述当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像；
所述获取所述光学标志在采集到的各个图像中成像的二维位置信息，包括：
获取所述光学标志在各个前景差分图像中成像的二维位置信息。
可选的，所述光学标志为反光球或发光球，所述基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，包括：
确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志；
获取每个所述亮斑区域的中心的二维位置信息；
将所述各个图像上亮斑区域的中心的二维位置信息作为所述光学标志在所述各个图像中成像的二维位置信息。
第二方面，提供了一种刚体运动捕捉装置，所述装置包括：
第一获取模块，用于基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，每个所述刚体上设置有多个光学标志，所述多个光学标志唯一标识所述刚体，且所述多个光学标志能够指示所述刚体的不同运动方向；
预测模块，用于根据所述刚体中已知刚体在上一时刻的位姿信息进行预测，得到所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，所述已知刚体为记录了上一时刻的位姿信息的刚体；
第一转换模块，用于基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；
匹配模块，用于将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；
第二转换模块，用于将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息；
第一确定模块，用于根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息。
可选的，所述第一转换模块，用于：
基于所述多个图像采集设备的参数信息和所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，将所述已知刚体上的光学标志反投影到所述多个图像采集设备的成像平面上，得到所述已知刚体上的光学标志的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；
将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。
可选的，所述匹配模块，用于：
获取所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息，所述目标图像为任一图像采集设备在所述当前时刻采集的图像；
采用匈牙利算法对所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个所述匹配组合中包括至少一个匹配对，每个所述匹配对包括一个预测二维位置信息和一个成像的二维位置信息；
计算每个所述匹配组合对应的代价函数的值，所述代价函数用于指示所述匹配组合中所有匹配对的距离之和；
确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示所述已知刚体上的同一光学标志，所述目标匹配组合为所述至少一个匹配组合中所述代价函数的值最小的匹配组合；
从所述各个图像对应的目标匹配组合中获取所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息。
可选的，所述匹配模块，用于：
从所述各个图像中成像的二维位置信息中，选择与所述已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，所述目标光学标志为所述已知刚体上的任一光学标志；
当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为所述目标光学标志在所述各个图像中成像的二维位置信息。
可选的，所述第二转换模块，用于：
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知刚体上的光学标志在所述当前时刻的三维位置信息。
可选的，所述第一确定模块，用于：
获取所述已知刚体在所述当前时刻的速度信息；
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体上的光学标志在所述当前时刻的三维位置信息以及所述已知刚体在所述当前时刻的速度信息，确定所述已知刚体在所述当前时刻的位姿信息。
可选的，所述第一确定模块，还用于：
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体在上一时刻的位姿信息、所述已知刚体上的光学标志在当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，确定所述已知刚体在所述当前时刻的速度信息。
可选的，所述装置还包括：
第二获取模块，用于从所述各个图像中成像的二维位置信息中，获取除所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；
筛选模块，用于从所述剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在所述各个图像中成像的二维位置信息；
重构模块，用于将所述未知光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知光学标志在所述当前时刻的三维位置信息；
第二确定模块，用于根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，所述新的刚体为设置有多个所述未知光学标志的刚体。
可选的，所述第二确定模块，用于：
记录所述新的刚体在所述当前时刻的速度信息为默认值；
根据预先存储的刚体上的光学标志之间的位置关系、所述新的刚体上的光学标志在所述当前时刻的三维位置信息以及所述新的刚体在所述当前时刻的速度信息，确定所述新的刚体在所述当前时刻的位姿信息。
第三获取模块，用于获取每个所述图像采集设备对应的背景图像，所述背景图像是基于所述图像采集设备在不同时刻采集的多个图像确定的；
去除模块，用于在获取所述多个图像采集设备在所述当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像；
所述第一获取模块，用于：
获取所述光学标志在各个前景差分图像中成像的二维位置信息。
可选的，所述光学标志为反光球或发光球，所述第一获取模块，用于：
确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志；
获取每个所述亮斑区域的中心的二维位置信息；
将所述各个图像上亮斑区域的中心的二维位置信息作为所述光学标志在所述各个图像中成像的二维位置信息。
第三方面，提供了一种AGV位姿捕捉系统，所述系统包括：在目标场地内运动的自动导引车AGV，对所述目标场地内的AGV进行图像采集的多个图像采集设备，以及计算机设备，所述AGV上设置有多个光学标志，所述多个光学标志唯一标识所述AGV，且所述多个光学标志能够指示所述AGV的不同运动方向；
其中，所述计算机设备包括如第二方面任一所述的刚体运动捕捉装置。
第四方面，提供了一种计算机设备，包括处理器和存储器，
所述存储器，用于存放计算机程序；
所述处理器，当用于终端执行所述存储器上所存放的程序，实现第一方面任一所述的刚体运动捕捉方法。
第五方面，提供了一种存储介质，所述存储介质上存储有计算机程序，当所述存储介质中的程序由终端的处理器执行时，实现第一方面任一所述的刚体运动捕捉方法。
本发明实施例提供的技术方案带来的有益效果包括：
本发明实施例提供的刚体运动捕捉方法及装置、AGV位姿捕捉系统，通过利用刚体在上一时刻的位姿信息，获取刚体上的光学标志在当前时刻的预测三维位置信息。由于预测三维位置信息与刚体上的光学标志在当前时刻的三维位置信息比较接近，因此刚体上的光学标志在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以快速准确地获取刚体上的每个光学标志在各个图像中成像的二维位置信息，也即是可以快速确定各个图像中二维位置信息之间的匹配关系，进而将各个图像中成像的二维位置信息转换为光学标志在当前时刻的三维位置信息，再根据预先存储的已知刚体上的光学标志之间的位置关系及光学标志在当前时刻的三维位置信息，可以确定已知刚体在当前时刻的位姿信息，与相关技术相比，匹配过程耗费的时间较短且匹配难度较小，便于刚体位姿信息的确定，从而提高了刚体运动捕捉的效率。
附图说明
图1是本发明实施例提供的一种刚体运动捕捉系统的结构示意图；
图2是本发明实施例提供的一种AGV位姿捕捉系统的结构示意图；
图3是本发明实施例提供的一种刚体运动捕捉方法的流程图；
图4是本发明实施例提供的另一种刚体运动捕捉方法的流程图；
图5是本发明实施例提供的对采集的图像进行背景差分处理后的前景差分图像示意图；
图6是本发明实施例提供的一种成像平面的示意图；
图7是本发明实施例提供的一种确定已知刚体上的光学标志在各个图像中成像的二维位置信息的方法流程图；
图8是本发明实施例提供的已知刚体上的光学标志在目标图像上的预测二维位置信息与目标图像中的实际二维位置信息的位置关系示意图；
图9是本发明实施例提供的一种在刚体上设置光学标志的示意图；
图10是本发明实施例提供的另一种在刚体上设置光学标志的示意图；
图11是本发明实施例提供的又一种在刚体上设置光学标志的示意图；
图12是本发明实施例提供的一种刚体运动捕捉装置的结构示意图；
图13是本发明实施例提供的另一种刚体运动捕捉装置的结构示意图；
图14是本发明实施例提供的又一种刚体运动捕捉装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种刚体运动捕捉系统的结构示意图，如图1所示，该系统包括多个图像采集设备01和至少一个计算机设备02。
其中，计算机设备02可以是智能手机、电脑等终端设备，也可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务器中心等，本发明实施例对此不做限定。多个图像采集设备01与计算机设备02之间可以通过无线网络或有线网络进行连接。
多个图像采集设备01用于实时采集图像，并将采集到的图像传输至计算机设备02，计算机设备02用于对接收到的图像进行图像处理和运算，以确定刚体运动过程中的位姿信息；或者，多个图像采集设备01可以是智能图像采集设备，具备微处理器的功能，多个图像采集设备01用于采集图像，每个图像采集设备分别对各自采集到的图像进行初步图像处理后，将初步图像处理得到的数据(例如二维位置信息)传输至计算机设备02，计算机设备02对接收到的数据进行进一步处理和运算，以确定刚体运动过程中的位姿信息，该位姿信息包括刚体的位置信息和速度信息。其中，图像处理和运算的过程在以下实施例中进行详细说明，在此不做赘述。
可选的，如图1所示，该系统还可以包括同步触发装置03，该同步触发装置03与多个图像采集设备01连接，同步触发装置03用于触发多个图像采集设备01同步拍摄图像。同步触发装置03与多个图像采集设备01之间可以通过无线网络或有线网络进行连接。其中，同步触发装置03可以是手机、电脑和智能穿戴设备等具备触发功能的硬件设备。
可选的，本发明实施例提供的刚体运动捕捉系统可以用于捕捉自动导引车(英文：Automated Guided Vehicle；简称：AGV)的位姿，示例的，图2是本发明实施例提供的一种AGV位姿捕捉系统的结构示意图，如图2所示，该系统包括：在目标场地内运动的AGV04，对目标场地内的AGV04进行图像采集的多个图像采集设备01，以及计算机设备02，AGV04上设置有多个光学标志R，多个光学标志R唯一标识AGV04，且多个光学标志R能够指示AGV04的不同运动方向。
实际应用中，目标场地内可能存在运动的多个AGV，每个AGV上设置有多个光学标志，每个AGV上设置的多个光学标志能够唯一标识该AGV，以使得通过一个刚体运动捕捉系统能够同时对目标场地内的多个AGV进行位姿捕捉，降低了AGV位姿捕捉的成本，提高了AGV位姿捕捉的灵活性。
可选的，本发明实施例提供的刚体运动捕捉系统还可以应用于电影电视的特效制作和大型三维游戏的制作等领域。例如，在体感游戏中设置刚体运动捕捉系统，可以基于系统捕捉的玩家的位置及动作等信息确定游戏控制命令，并通过执行游戏控制命令实现体感游戏。本发明实施例对刚体运动捕捉系统的应用场景不做限定。
图3是本发明实施例提供的一种刚体运动捕捉方法的流程图，如图3所示，该方法可以包括：
步骤301、基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取光学标志在各个图像中成像的二维位置信息，每个刚体上设置有多个光学标志，该多个光学标志唯一标识刚体，且该多个光学标志能够指示刚体的不同运动方向。
其中，二维位置信息可以是二维坐标。该多个光学标志可以是安装在刚体上的反光球或发光球，如红外反光球或红外发射球；进一步的，通过在图像采集设备的成像镜头上添加红外滤光片，可以使得反光球或发光球在采集到的图像中表现为亮斑，相应地，该二维位置信息可以是亮斑中心的二维位置信息。
步骤302、根据刚体中已知刚体在上一时刻的位姿信息进行预测，得到已知刚体上的光学标志在当前时刻的预测三维位置信息，已知刚体为记录了上一时刻的位姿信息的刚体。
其中，刚体的位姿信息包括刚体上的光学标志的三维位置信息和速度信息，光学标志的三维位置信息用于指示光学标志在空间中的位置，该三维位置信息可以是三维坐标。
步骤303、基于多个图像采集设备的参数信息，将已知刚体上的光学标志在当前时刻的预测三维位置信息转换为预测二维位置信息，参数信息包括内参和外参。
其中，内参(即内部参数)包括非线性畸变系数、焦距和图像中心等，外参(即外部参数)包括俯仰角、倾斜角和高度等。外参包括旋转向量和平移向量，可用于指示图像采集设备的成像平面和焦点；内参包括内参矩阵，可用于确定图像采集设备的焦点和空间中任一物体的连线以及该连线与成像平面的交点(物体在图像采集设备所采集的图像中成像的二维位置信息)或夹角等信息。
步骤304、将已知刚体上的光学标志的预测二维位置信息与各个图像中成像的二维位置信息进行匹配，确定已知刚体上的光学标志在各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件。
由于预测三维位置与已知刚体上的光学标志的真实三维位置比较接近，因此，已知刚体上的光学标志在图像中成像的二维位置与预测二维位置也比较接近，因而可以利用预测二维位置信息来找到已知刚体上的光学标志在各个图像中成像的真实二维位置。
步骤305、将已知刚体上的光学标志在各个图像中成像的二维位置信息，转换为已知刚体上的光学标志在当前时刻的三维位置信息。
基于多个图像采集设备的参数信息，将多个二维位置信息转换为三维位置信息。
步骤306、根据预先存储的已知刚体上的光学标志之间的位置关系及已知刚体上的光学标志在当前时刻的三维位置信息，确定已知刚体在当前时刻的位姿信息。
除了获取已知刚体上的光学标志在当前时刻的三维位置信息以外，还需获取已知刚体在当前时刻的速度信息，以确定已知刚体在当前时刻的位姿信息。对已知刚体在当前时刻的位姿信息进行记录，便于预测该已知刚体在下一时刻的三维位置信息。
综上所述，本发明实施例提供的刚体运动捕捉方法，通过利用刚体在上一时刻的位姿信息，获取刚体上的光学标志在当前时刻的预测三维位置信息。由于预测三维位置信息与刚体上的光学标志在当前时刻的三维位置信息比较接近，因此刚体上的光学标志在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以快速准确地获取刚体上的每个光学标志在各个图像中成像的二维位置信息，也即是可以快速确定各个图像中二维位置信息之间的匹配关系，进而将各个图像中成像的二维位置信息转换为光学标志在当前时刻的三维位置信息，再根据预先存储的已知刚体上的光学标志之间的位置关系及光学标志在当前时刻的三维位置信息，可以确定已知刚体在当前时刻的位姿信息，与相关技术相比，匹配过程耗费的时间较短且匹配难度较小，便于刚体位姿信息的确定，从而提高了刚体运动捕捉的效率。
需要说明的是，本发明实施例仅以图像采集设备采集图像，并将采集到的图像发送给计算机设备，由计算机设备对接收到的图像进行图像处理和运算，以确定刚体运动过程中的位姿信息为例进行说明。在一种可能实现方式中，计算机设备执行的步骤也可以由图像采集设备完成，图像采集设备执行的步骤也可以由计算机设备完成，本发明实施例对此不做限定。
可选的，图4是本发明实施例提供的另一种刚体运动捕捉方法的流程图，应用于如图1或图2所示的计算机设备，如图4所示，该方法可以包括：
步骤401、获取多个图像采集设备的参数信息，该参数信息包括内参和外参。
其中，内参(即内部参数)包括非线性畸变系数、焦距和图像中心等，外参(即外部参数)包括俯仰角、倾斜角和高度等。
在计算机视觉应用中，为了确定空间内物体的三维位置信息与其在图像中成像的二维位置信息之间的对应关系，以实现将三维位置信息转换为二维位置信息，和/或，将二维位置信息转换为三维位置信息，需要预先获取图像采集设备的参数信息。
可选的，计算机设备可以利用参数标定算法，获取该多个图像采集设备的内参和外参等参数信息。其中，外参包括旋转向量和平移向量，可用于指示图像采集设备的成像平面和焦点；内参包括内参矩阵，可用于确定图像采集设备的焦点和空间中任一物体的连线以及该连线与成像平面的交点(物体在图像采集设备所采集的图像中成像的二维位置信息)或夹角等信息。其中，该参数标定算法可以是多相机标定算法。当然，该参数信息也可以由系统管理员输入计算机设备，本发明实施例对此不做限定。
需要说明的是，参数信息可以用于计算机设备将物体在各个图像中成像的二维位置信息转换为空间中的三维位置信息，例如，计算机设备可以将多个图像采集设备的成像平面上的二维位置信息投影到空间中，得到对应的三维位置信息；该参数信息还可以用于计算机设备将物体在空间中的三维位置信息转换为图像中对应的二维位置信息，例如，计算机设备可以将物体在空间中的三维位置信息反投影到多个图像采集设备的成像平面上，得到该物体成像的二维位置信息。
步骤402、获取每个图像采集设备对应的背景图像。
其中，背景图像是指不包括待捕捉的刚体的图像。在本发明实施例中，对于每个图像采集设备，可以在指定时长(例如一分钟)内采集多帧图像，并对采集到的多帧图像进行中值计算，以确定该图像采集设备对应的背景图像。
需要说明的是，预先确定每个图像采集设备对应的背景图像，在后期图像采集设备采集到图像后可以对应去除图像中的背景图像，以减小各类复杂静态环境对刚体运动捕捉的影响，增加刚体运动捕捉系统的稳定性。
步骤403、在获取多个图像采集设备在当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像。
可选的，可以采用背景差分法去除各个图像中的背景图像，以得到多个前景差分图像。
需要说明的是，在本发明实施例中，多个图像采集设备采集图像的时刻和帧率均相同，并可以采用同步触发装置触发该多个图像采集设备同步采集图像。例如可以采用型号相同的多个图像采集设备进行图像采集，以保证图像采集帧率的一致性，从而提高刚体运动捕捉的可靠性。
示例的，图5是本发明实施例提供的对采集的图像进行背景差分处理后的前景差分图像示意图，如图5所示，对图像进行背景差分处理可以提高图像中光学标志的成像的对比度，从而提高刚体运动捕捉的可靠性。
步骤404、获取刚体上的光学标志在采集到的各个图像中成像的二维位置信息。
其中，每个刚体上设置有多个光学标志，该多个光学标志唯一标识刚体，且该多个光学标志能够指示刚体的不同运动方向，也即是，从不同方向上看刚体上设置的光学标志时，光学标志之间的位置角度不同。该光学标志可以为反光球或发光球。可选的，计算机设备可以获取光学标志在各个前景差分图像中成像的二维位置信息。
在本发明实施例中，计算机设备获取刚体上的光学标志在采集到的各个图像中成像的二维位置信息的方式可以有两种，分别包括：
第一种方式，计算机设备接收多个图像采集设备发送的图像，对各个图像进行处理以确定刚体上的光学标志在各个图像中成像的二维位置信息。
第二种方式，计算机设备接收多个图像采集设备发送的二维位置信息，并将其作为刚体上的光学标志在各个图像中成像的二维位置信息。当多个图像采集设备均为智能图像采集设备时，每个图像采集设备在采集图像后可以对图像进行处理以确定刚体上的光学标志在各个图像中成像的二维位置信息，并将所有光学标志成像的二维位置信息发送至计算机设备。
可选的，当计算机设备通过第二种方式获取刚体上的光学标志在采集到的各个图像中成像的二维位置信息时，计算机设备可以将步骤402中获取的多个图像采集设备的背景图像发送至对应的图像采集设备，每个图像采集设备分别存储该图像采集设备对应的背景图像，当图像采集设备采集到图像后，可以去除图像中的背景图像，得到前景差分图像，并基于前景差分图像确定刚体上的光学标志在各个图像中成像的二维位置信息。
需要说明的是，计算机设备采用第二种方式获取刚体上的光学标志在各个图像中成像的二维位置信息，一方面，计算机设备无需对每张图像分别进行图像处理以得到刚体上的光学标志在各个图像中成像的二维位置信息，减少了计算机设备的工作量，使得计算机设备可以支持更多数量的图像采集设备；另一方面，图像采集设备无需向计算机设备发送图像，由于二维位置信息的数据量远小于图像的数据量，因此在节约网络资源的同时，可以提高传输效率，从而增加了计算机设备对数据处理的实时性。
可选的，光学标志可以为可见光反光球、可见光发射球，红外反光球和红外发射球中的任意一种。当光学标志为红外反光球时，可以在图像采集设备上设置红外发射装置，以提高光学标志在图像中成像的对比度。
在本发明实施例中，二维位置信息可以为图像坐标系中的二维坐标。其中，图像坐标系是以图像采集设备采集的二维图像为基准建立的坐标系，不同图像采集设备的图像坐标系不同。示例的，当光学标志为红外反光球或红外发射球时，每个图像采集设备上还可以设置有红外滤光片，通过红外滤光片过滤环境光中的可见光分量，可以进一步提高光学标志在图像中成像的对比度。
可选的，计算机设备或图像采集设备确定刚体上的光学标志在各个图像中成像的二维位置信息的方法可以包括：
S41、通过多个图像采集设备分别在当前时刻对刚体上的光学标志进行图像采集，得到包含刚体上的光学标志的成像的各个图像。
S42、确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志。
可选的，可以采用区域生长算法获取前景差分图像上亮斑的数量以及各个亮斑区域。其中，区域生长算法是利用区域生长的思想，一次生长过程可以标记一整个连通区域，这样只需对图像进行一次扫描就能标记出所有连通区域。相应地，图像采集设备或计算机设备可以选取图像中的至少一个像素点作为种子点，基于选取的种子点利用区域生长算法，获取图像上的连通区域，将连通区域作为亮斑区域。
S43、获取每个亮斑区域的中心的二维位置信息。
可选的，对于计算机设备或任一图像采集设备，获取亮斑区域的中心的二维位置信息的过程可以包括：根据亮斑区域中各个像素的灰度值和二维位置信息，获取该亮斑区域的中心的二维位置信息。可选的，图像采集设备可以将亮斑区域中各个像素的灰度值作为权重，对该各个像素的二维位置信息进行加权平均计算，将加权平均的计算结果作为该亮斑区域的中心的二维位置信息。该亮斑区域的中心的二维位置信息实际上是亚像素位置信息。
S44、将各个图像上亮斑区域的中心的二维位置信息作为光学标志在各个图像中成像的二维位置信息。
在本发明实施例中，每个亮斑区域表示刚体上的一个光学标志在图像中的成像，因此可以将各个图像上亮斑区域的中心的二维位置信息作为光学标志在各个图像中成像的二维位置信息。
需要说明的是，在获取刚体上的光学标志在采集到的各个图像中成像的二维位置信息的过程中，结合采用背景差分和区域生长等算法，可以保证整个系统对噪声的容忍度。
可选的，计算机设备获取刚体上的光学标志在采集到的各个图像中成像的二维位置信息后，可以得到一个二维位置信息集合，该二维位置信息集合中包括各个图像采集设备对应的二维位置信息。示例的，假设刚体运动捕捉系统中包括三个图像采集设备，该三个图像采集设备分别为图像采集设备a、图像采集设备b和图像采集设备c，假设图像采集设备a采集的图像中包括3个光学标志的成像，图像采集设备b采集的图像中包括4个光学标志的成像，图像采集设备c采集的图像中包括4个光学标志的成像，则二维位置信息集合中的内容可以如表1所示。
表1
其中，如表1所示，二维坐标(xaN，yaN)表征刚体上的光学标志在图像采集设备a采集的图像中成像的二维位置信息；二维坐标(xbN，ybN)表征刚体上的光学标志在图像采集设备b采集的图像中成像的二维位置信息；二维坐标(xcN，ycN)表征刚体上的光学标志在图像采集设备c采集的图像中成像的二维位置信息。
步骤405、根据刚体中已知刚体在上一时刻的位姿信息进行预测，得到已知刚体上的光学标志在当前时刻的预测三维位置信息。
其中，已知刚体为记录了上一时刻的位姿信息的刚体，刚体的位姿信息包括刚体上的光学标志的三维位置信息和速度信息，该上一时刻指当前时刻之前的图像采集时刻。
需要说明的是，计算机设备中至少存储有上一时刻获取的刚体的位姿信息，以用于预测当前时刻刚体上的光学标志的预测三维位置信息。可选的，计算机设备中也可以存储有各个时刻获取的刚体的位姿信息，本发明实施例对此不做限定。
可选的，对于每个已知刚体，计算机设备可以根据该已知刚体上的光学标志在上一时刻的三维位置信息、速度信息以及该上一时刻和当前时刻的时间间隔，确定该已知刚体上的光学标志在当前时刻的预测三维位置信息。例如，已知刚体上的某一光学标志在上一时刻的三维位置信息为(x，y，z)、速度为v、时间间隔为t，则该光学标志在当前时刻的预测三维位置信息为(x+vt，y+vt，z+vt)；或者，已知刚体上的某一光学标志在上一时刻的三维位置信息为(x，y，z)、速度为v、加速度为a、时间间隔为t，则该光学标志在当前时刻的预测三维位置信息为(x+vt+0.5at2，y+vt+0.5at2，z+vt+0.5at2)。当然上述仅是简单的示例，预测三维位置信息还可以有其他确定方式。由于整个系统的帧率较高，图像采集设备连续采集两帧图像的时间间隔较短，因此这些预测位置是相对准确的，也即是，这些预测位置比较接近于光学标志的真实位置。
在本发明实施例中，三维位置信息可以为世界坐标系中的三维坐标。其中，世界坐标系即真实物理坐标系。
步骤406、基于多个图像采集设备的参数信息，将已知刚体上的光学标志在当前时刻的预测三维位置信息转换为预测二维位置信息。
可选的，计算机设备可以基于多个图像采集设备的参数信息和已知刚体上的光学标志在当前时刻的预测三维位置信息，将已知刚体上的光学标志反投影到多个图像采集设备的成像平面上，得到已知刚体上的光学标志的反投影点在多个图像采集设备的成像平面上的多个二维位置信息；将反投影点在多个图像采集设备的成像平面上的多个二维位置信息作为预测二维位置信息。
在本发明实施例中，图像采集设备的参数信息可以指示图像采集设备采集图像时的焦点和成像平面，计算机设备可以获取已知刚体上的光学标志的预测三维位置信息对应的点(预测点)与每个图像采集设备的焦点之间的连线，并将连线与每个图像采集设备的成像平面的交点的位置信息作为预测二维位置信息。由于光学标志的真实位置实际上可以通过多个图像采集设备采集到的图像中成像的二维位置信息重构得到，因此需要找到已知刚体上的各个光学标志在各个图像中成像的二维位置信息，由于预测三维位置信息的位置与光学标志的真实三维位置信息比较接近，因此光学标志在图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而可以利用预测二维位置信息确定光学标志在图像中成像的二维位置信息。
图6是本发明实施例提供的一种成像平面的示意图，图6中示出了两个图像采集设备的成像平面e和e’、两个图像采集设备的焦点c和c’，预测点P’的位置信息即为某个光学标志的预测三维位置信息，计算机设备可以获取预测点P’与c的连线，并将该连线与成像平面e的交点作为反投影点，同理，计算机设备可以获取预测点P’与c’的连线，并将该连线与成像平面e’的交点作为反投影点，反投影点的位置信息即为预测二维位置信息。
需要说明的是，通过图像采集设备的参数信息，实现了预测三维位置信息到预测二维位置信息的转换，进而可以快速地找到已知刚体上的光学标志在当前时刻采集到的图像中成像的真实二维位置信息。
步骤407、将已知刚体上的光学标志的预测二维位置信息与各个图像中成像的二维位置信息进行匹配，确定已知刚体上的光学标志在各个图像中成像的二维位置信息。
其中，同一个已知刚体上的光学标志在各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件。
本发明实施例提供了以下两种确定已知刚体上的光学标志在各个图像中成像的二维位置信息的方式，分别包括：
第一种方式，实现过程如图7所示：
步骤4071、获取已知刚体上的光学标志在目标图像上的预测二维位置信息以及目标图像中成像的二维位置信息，目标图像为任一图像采集设备在当前时刻采集的图像。
示例的，图8是本发明实施例提供的已知刚体上的光学标志在目标图像上的预测二维位置信息与目标图像中的实际二维位置信息的位置关系示意图，如图8所示，该目标图像包括7个预测二维位置信息和8个实际二维位置信息(即成像的二维位置信息)。
实际应用中，图像上的预测二维位置信息的个数可能多于成像的二维位置信息的个数，例如图像采集设备在上一时刻捕捉的刚体在当前时刻已离开图像采集设备的拍摄区域；图像上的预测二维位置信息的个数可能等于成像的二维位置信息的个数，例如当前时刻拍摄区域内的刚体与上一时刻拍摄区域内的刚体相同，且拍摄区域内没有与光学标志属性相同的干扰源；图像上的预测二维位置信息的个数可能少于成像的二维位置信息的个数，例如当前时刻拍摄区域内出现新的刚体，和/或，当前时刻拍摄区域内出现与光学标志属性相同的干扰源。
步骤4072、采用匈牙利算法对已知刚体上的光学标志在目标图像上的预测二维位置信息以及目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个匹配组合中包括至少一个匹配对，每个匹配对包括一个预测二维位置信息和一个成像的二维位置信息。
示例的，参考步骤4071中的例子，假设目标图像上包括7个预测二维位置信息和8个成像的二维位置信息，则最多可以得到56个不同的匹配对，再采用匈牙利算法确定至少一个匹配组合。
步骤4073、计算每个匹配组合对应的代价函数的值，代价函数用于指示匹配组合中所有匹配对的距离之和。
示例的，假设采用匈牙利算法对目标图像上的预测二维位置信息和成像的二维位置信息进行匹配后，得到的一个匹配组合中包括4个匹配对，该4个匹配对中的预测二维位置信息和成像二维位置信息之间的距离分别为4，7，5，8，则该匹配组合对应的代价函数的值为24。
步骤4074、确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示已知刚体上的同一光学标志，目标匹配组合为至少一个匹配组合中代价函数的值最小的匹配组合。
示例的，参见图8，假设目标匹配组合中包括6个匹配对，该6个匹配对分别为a1、a2、a3、a4、a5和a6，则可以确定该6个匹配对中，每个匹配对包括的预测二维位置信息和成像的二维位置信息指示同一个光学标志。
步骤4075、从各个图像对应的目标匹配组合中获取已知刚体上的光学标志在各个图像中成像的二维位置信息。
需要说明的是，由于预测二维位置信息是由已知刚体上的光学标志反投影得到的，因此预测二维位置信息所对应的光学标志是已知的，因而根据各个图像对应的目标匹配组合中的匹配对，可以确定同一光学标志在各个图像中成像的二维位置信息。
第二种方式：
从各个图像中成像的二维位置信息中，选择与已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，目标光学标志为已知刚体上的任一光学标志；当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为目标光学标志在各个图像中成像的二维位置信息。
示例的，参见图6，点P’是已知刚体上的某个光学标志的预测三维位置信息对应的预测点，计算机设备将该预测点P’反投影至两个图像采集设备的成像平面(e和e’)后，在二维位置信息集合中寻找与之距离小于预设阈值的观测点的位置信息(二维位置信息)，如成像平面e和e’上的两个观测点，判断这两个观测点能否在预设误差范围内重构出投影点P的位置信息(三维位置信息)。如果能，则计算机设备可以将图6中的两个观测点的位置信息作为同一个光学标志在该两个图像中成像的二维位置信息。
步骤408、将已知刚体上的光学标志在各个图像中成像的二维位置信息重构出的三维位置信息作为已知刚体上的光学标志在当前时刻的三维位置信息。
需要说明的是，根据已知刚体上的光学标志在各个图像中成像的二维位置信息进行重构得到的三维位置信息，即为当前时刻该已知刚体上的光学标志在当前时刻的真实三维位置信息。
步骤409、根据预先存储的已知刚体上的光学标志之间的位置关系及已知刚体上的光学标志在当前时刻的三维位置信息，确定已知刚体在当前时刻的位姿信息。
需要说明的是，本发明实施例提供的刚体运动捕捉系统，可以用于对单个刚体进行运动捕捉，也可以同时对多个刚体进行运动捕捉。其中，每个刚体上设置有多个光学标志，不同的刚体上设置的光学标志的位置和/或数量不同，以唯一标识该刚体。可选的，每个刚体上可以设置有3～4个光学标志。
示例的，假设刚体运动捕捉系统用于对3个刚体进行运动捕捉，该3个刚体包括刚体A、刚体B和刚体C，其中，如图9所示，刚体A上可以设置有3个光学标志，分别为光学标志A1，光学标志A2和光学标志A3；如图10所示，刚体B上可以设置有4个光学标志，分别为光学标志B1、光学标志B2、光学标志B3和光学标志B4；如图11所示，刚体C上可以设置有3个光学标志，分别为光学标志C1、光学标志C2和光学标志C3。如图9至图11所示，通过在刚体上设置数量不同或位置关系不同的光学标志，可以对刚体进行有效区分，从而能够实现同时对多个刚体进行运动捕捉。
实际应用中，刚体通常为运动物体(例如AGV等)，图9至图11仅是对刚体的示意性绘制，不用于限定刚体的实际形态。
在本发明实施例中，在对刚体进行运动捕捉的初始化阶段，可以通过多个图像采集设备对各个刚体进行图像采集，以在计算机设备中存储每个刚体上的多个光学标志之间的位置关系，供后续的运动捕捉过程使用。
可选的，可以获取已知刚体在当前时刻的速度信息；并根据预先存储的已知刚体上的光学标志之间的位置关系、已知刚体上的光学标志在当前时刻的三维位置信息以及已知刚体在当前时刻的速度信息，确定已知刚体在当前时刻的位姿信息。
其中，可以根据预先存储的已知刚体上的光学标志之间的位置关系、已知刚体在上一时刻的位姿信息、已知刚体上的光学标志在当前时刻的三维位置信息以及上一时刻和当前时刻的时间间隔，确定已知刚体在当前时刻的速度信息。
可选的，当二维位置信息集合中所有的二维位置信息均已用于重构已知刚体上的光学标志的三维位置信息时，则在此步骤即完成当前时刻对刚体的运动捕捉。
实际应用中，二维位置信息集合中可能存在若干二维位置信息未用于重构已知刚体上的光学标志的三维位置信息，例如当前时刻较上一时刻拍摄区域内出现新的刚体，则进一步的，刚体运动捕捉方法还可以包括：
步骤410、从各个图像中成像的二维位置信息中，获取除已知刚体上的光学标志在各个图像中成像的二维位置信息以外的剩余二维位置信息。
示例的，假设初始的二维位置信息集合中的内容如表1所示，在上述步骤405至409中，确定(xa1，ya1)、(xb1，yb1)和(xc1，yc1)为已知刚体上的某一光学标志在各个图像上的成像的二维位置信息，(xa2，ya2)和(xc2，yc2)为已知刚体上的另一光学标志在各个图像上的成像的二维位置信息，(xb3，yb3)和(xc4，yc4)为已知刚体上的又一光学标志在各个图像上的成像的二维位置信息，则剩余二维位置信息集合的内容可以如表2所示。
表2
步骤411、从剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在各个图像中成像的二维位置信息。
可选的，可以根据多个图像采集设备的参数信息，采用动态规划算法从剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息。
其中，由于孤立的二维位置信息(仅由一个图像采集设备采集到)无法确定三维位置信息，故可以将其作为噪点剔除。
需要说明的是，由于步骤405至409中已确定初始的二维位置信息集合中的大部分二维位置信息的匹配关系，因此剩余二维位置信息的数量远小于初始二维位置信息的数量，虽然本步骤所采用的动态规划算法的时间复杂度较高，但是由于处理的二维位置信息的数量较少，因此耗费的时间较短，从而极大程度地提高了二维位置信息匹配的效率，可以满足图像采集设备高帧率采集图像的需求。
步骤412、将未知光学标志在各个图像中成像的二维位置信息重构出的三维位置信息作为未知光学标志在当前时刻的三维位置信息。
步骤413、根据预先存储的刚体上的光学标志之间的位置关系以及未知光学标志在当前时刻的三维位置信息，确定新的刚体在当前时刻的位姿信息，新的刚体为设置有多个未知光学标志的刚体。
可选的，可以记录新的刚体在当前时刻的速度信息为默认值；并根据预先存储的刚体上的光学标志之间的位置关系、新的刚体上的光学标志在当前时刻的三维位置信息以及新的刚体在当前时刻的速度信息，确定新的刚体在当前时刻的位姿信息。
其中，默认值可以是将速度矩阵设置为单位矩阵，本发明实施例对此不做限定。
进一步的，在执行完步骤409和413之后，可以更新当前时刻所有刚体的位姿信息，并重复执行上述步骤403至413，以实现对刚体的实时运动捕捉。
需要说明的是，本发明实施例提供的刚体运动捕捉方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的刚体运动捕捉方法，通过利用刚体在上一时刻的位姿信息，获取刚体上的光学标志在当前时刻的预测三维位置信息。由于预测三维位置信息与刚体上的光学标志在当前时刻的三维位置信息比较接近，因此刚体上的光学标志在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以快速准确地获取刚体上的每个光学标志在各个图像中成像的二维位置信息，也即是可以快速确定各个图像中二维位置信息之间的匹配关系，进而将各个图像中成像的二维位置信息转换为光学标志在当前时刻的三维位置信息，再根据预先存储的已知刚体上的光学标志之间的位置关系及光学标志在当前时刻的三维位置信息，可以确定已知刚体在当前时刻的位姿信息，与相关技术相比，匹配过程耗费的时间较短且匹配难度较小，便于刚体位姿信息的确定，从而提高了刚体运动捕捉的效率。
进一步的，本发明实施例提供的刚体运动捕捉方法，可以实现同时对多个刚体的运动捕捉，且可以通过动态规划算法确定当前时刻出现的新的刚体，使得可以在刚体自由进入或离开拍摄区域的情况下，实现对各个刚体的实时运动捕捉，提高了刚体运动捕捉的灵活性。
图12是本发明实施例提供的一种刚体运动捕捉装置的结构示意图，如图12所示，该装置50包括：
第一获取模块501，用于基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取光学标志在各个图像中成像的二维位置信息，每个刚体上设置有多个光学标志，多个光学标志唯一标识刚体，且多个光学标志能够指示刚体的不同运动方向。
预测模块502，用于根据刚体中已知刚体在上一时刻的位姿信息进行预测，得到已知刚体上的光学标志在当前时刻的预测三维位置信息，已知刚体为记录了上一时刻的位姿信息的刚体。
第一转换模块503，用于基于多个图像采集设备的参数信息，将已知刚体上的光学标志在当前时刻的预测三维位置信息转换为预测二维位置信息，参数信息包括内参和外参。
匹配模块504，用于将已知刚体上的光学标志的预测二维位置信息与各个图像中成像的二维位置信息进行匹配，确定已知刚体上的光学标志在各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件。
第二转换模块505，用于将已知刚体上的光学标志在各个图像中成像的二维位置信息，转换为已知刚体上的光学标志在当前时刻的三维位置信息。
第一确定模块506，用于根据预先存储的已知刚体上的光学标志之间的位置关系及已知刚体上的光学标志在当前时刻的三维位置信息，确定已知刚体在当前时刻的位姿信息。
综上所述，本发明实施例提供的刚体运动捕捉装置，通过预测模块利用刚体在上一时刻的位姿信息，获取刚体上的光学标志在当前时刻的预测三维位置信息。由于预测三维位置信息与刚体上的光学标志在当前时刻的三维位置信息比较接近，因此刚体上的光学标志在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以快速准确地获取刚体上的每个光学标志在各个图像中成像的二维位置信息，也即是可以快速确定各个图像中二维位置信息之间的匹配关系，进而将各个图像中成像的二维位置信息转换为光学标志在当前时刻的三维位置信息，再通过第一确定模块根据预先存储的已知刚体上的光学标志之间的位置关系及光学标志在当前时刻的三维位置信息，可以确定已知刚体在当前时刻的位姿信息，与相关技术相比，匹配过程耗费的时间较短且匹配难度较小，便于刚体位姿信息的确定，从而提高了刚体运动捕捉的效率。
可选的，第一转换模块，可以用于：
基于多个图像采集设备的参数信息和已知刚体上的光学标志在当前时刻的预测三维位置信息，将已知刚体上的光学标志反投影到多个图像采集设备的成像平面上，得到已知刚体上的光学标志的反投影点在多个图像采集设备的成像平面上的多个二维位置信息；
将反投影点在多个图像采集设备的成像平面上的多个二维位置信息作为预测二维位置信息。
可选的，匹配模块，可以用于：
获取已知刚体上的光学标志在目标图像上的预测二维位置信息以及目标图像中成像的二维位置信息，目标图像为任一图像采集设备在当前时刻采集的图像；
采用匈牙利算法对已知刚体上的光学标志在目标图像上的预测二维位置信息以及目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个匹配组合中包括至少一个匹配对，每个匹配对包括一个预测二维位置信息和一个成像的二维位置信息；
计算每个匹配组合对应的代价函数的值，代价函数用于指示匹配组合中所有匹配对的距离之和；
确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示已知刚体上的同一光学标志，目标匹配组合为至少一个匹配组合中代价函数的值最小的匹配组合；
从各个图像对应的目标匹配组合中获取已知刚体上的光学标志在各个图像中成像的二维位置信息。
或者，匹配模块，可以用于：
从各个图像中成像的二维位置信息中，选择与已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，目标光学标志为已知刚体上的任一光学标志；
当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为目标光学标志在各个图像中成像的二维位置信息。
可选的，第二转换模块，可以用于：
将已知刚体上的光学标志在各个图像中成像的二维位置信息重构出的三维位置信息作为已知刚体上的光学标志在当前时刻的三维位置信息。
可选的，第一确定模块，可以用于：
获取已知刚体在当前时刻的速度信息；
根据预先存储的已知刚体上的光学标志之间的位置关系、已知刚体上的光学标志在当前时刻的三维位置信息以及已知刚体在当前时刻的速度信息，确定已知刚体在当前时刻的位姿信息。
进一步的，第一确定模块，还可以用于：
根据预先存储的已知刚体上的光学标志之间的位置关系、已知刚体在上一时刻的位姿信息、已知刚体上的光学标志在当前时刻的三维位置信息以及上一时刻和当前时刻的时间间隔，确定已知刚体在当前时刻的速度信息。
可选的，如图13所示，装置50还可以包括：
第二获取模块507，用于从各个图像中成像的二维位置信息中，获取除已知刚体上的光学标志在各个图像中成像的二维位置信息以外的剩余二维位置信息；
筛选模块508，用于从剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在各个图像中成像的二维位置信息；
重构模块509，用于将未知光学标志在各个图像中成像的二维位置信息重构出的三维位置信息作为未知光学标志在当前时刻的三维位置信息；
第二确定模块510，用于根据预先存储的刚体上的光学标志之间的位置关系以及未知光学标志在当前时刻的三维位置信息，确定新的刚体在当前时刻的位姿信息，新的刚体为设置有多个未知光学标志的刚体。
其中，第二确定模块，可以用于：
记录新的刚体在当前时刻的速度信息为默认值；
根据预先存储的刚体上的光学标志之间的位置关系、新的刚体上的光学标志在当前时刻的三维位置信息以及新的刚体在当前时刻的速度信息，确定新的刚体在当前时刻的位姿信息。
可选的，如图14所示，装置50还可以包括：
第三获取模块511，用于获取每个图像采集设备对应的背景图像，背景图像是基于图像采集设备在不同时刻采集的多个图像确定的；
去除模块512，用于在获取多个图像采集设备在当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像。
相应的，第一获取模块，可以用于：
获取光学标志在各个前景差分图像中成像的二维位置信息。
可选的，光学标志为反光球或发光球，第一获取模块，可以用于：
确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志；
获取每个亮斑区域的中心的二维位置信息；
将各个图像上亮斑区域的中心的二维位置信息作为光学标志在各个图像中成像的二维位置信息。
综上所述，本发明实施例提供的刚体运动捕捉装置，通过预测模块利用刚体在上一时刻的位姿信息，获取刚体上的光学标志在当前时刻的预测三维位置信息。由于预测三维位置信息与刚体上的光学标志在当前时刻的三维位置信息比较接近，因此刚体上的光学标志在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以快速准确地获取刚体上的每个光学标志在各个图像中成像的二维位置信息，也即是可以快速确定各个图像中二维位置信息之间的匹配关系，进而将各个图像中成像的二维位置信息转换为光学标志在当前时刻的三维位置信息，再通过第一确定模块根据预先存储的已知刚体上的光学标志之间的位置关系及光学标志在当前时刻的三维位置信息，可以确定已知刚体在当前时刻的位姿信息，与相关技术相比，匹配过程耗费的时间较短且匹配难度较小，便于刚体位姿信息的确定，从而提高了刚体运动捕捉的效率。
本发明实施例提供了一种计算机设备，包括处理器和存储器，
所述存储器，用于存放计算机程序；
所述处理器，当用于终端执行所述存储器上所存放的程序，实现本发明方法实施例提供的刚体运动捕捉方法。
可选的，上述处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
上述存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行以实现本申请中方法实施例提供的刚体运动捕捉方法。
本发明实施例提供了一种存储介质，所述存储介质上存储有计算机程序，当所述存储介质中的程序由终端的处理器执行时，实现本发明方法实施例提供的刚体运动捕捉方法。
以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (23)

1.一种刚体运动捕捉方法，其特征在于，所述方法包括：
基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，每个所述刚体上设置有多个光学标志，所述多个光学标志唯一标识所述刚体，且所述多个光学标志能够指示所述刚体的不同运动方向；
根据所述刚体中已知刚体在上一时刻的位姿信息进行预测，得到所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，所述已知刚体为记录了上一时刻的位姿信息的刚体；
基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；
将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息；
根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，包括：
基于所述多个图像采集设备的参数信息和所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，将所述已知刚体上的光学标志反投影到所述多个图像采集设备的成像平面上，得到所述已知刚体上的光学标志的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；
将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。
3.根据权利要求1所述的方法，其特征在于，所述将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，包括：
获取所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息，所述目标图像为任一图像采集设备在所述当前时刻采集的图像；
采用匈牙利算法对所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个所述匹配组合中包括至少一个匹配对，每个所述匹配对包括一个预测二维位置信息和一个成像的二维位置信息；
计算每个所述匹配组合对应的代价函数的值，所述代价函数用于指示所述匹配组合中所有匹配对的距离之和；
确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示所述已知刚体上的同一光学标志，所述目标匹配组合为所述至少一个匹配组合中所述代价函数的值最小的匹配组合；
从所述各个图像对应的目标匹配组合中获取所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息。
4.根据权利要求1所述的方法，其特征在于，所述将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，包括：
从所述各个图像中成像的二维位置信息中，选择与所述已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，所述目标光学标志为所述已知刚体上的任一光学标志；
当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为所述目标光学标志在所述各个图像中成像的二维位置信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息，包括：
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知刚体上的光学标志在所述当前时刻的三维位置信息。
6.根据权利要求1至5任一所述的方法，其特征在于，所述根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息，包括：
获取所述已知刚体在所述当前时刻的速度信息；
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体上的光学标志在所述当前时刻的三维位置信息以及所述已知刚体在所述当前时刻的速度信息，确定所述已知刚体在所述当前时刻的位姿信息。
7.根据权利要求6所述的方法，其特征在于，所述获取所述已知刚体在所述当前时刻的速度信息，包括：
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体在上一时刻的位姿信息、所述已知刚体上的光学标志在当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，确定所述已知刚体在所述当前时刻的速度信息。
8.根据权利要求1至5任一所述的方法，其特征在于，在所述确定所述已知刚体在所述当前时刻的位姿信息之后，所述方法还包括：
从所述各个图像中成像的二维位置信息中，获取除所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；
从所述剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在所述各个图像中成像的二维位置信息；
将所述未知光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知光学标志在所述当前时刻的三维位置信息；
根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，所述新的刚体为设置有多个所述未知光学标志的刚体。
9.根据权利要求8所述的方法，其特征在于，所述根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，包括：
记录所述新的刚体在所述当前时刻的速度信息为默认值；
根据预先存储的刚体上的光学标志之间的位置关系、所述新的刚体上的光学标志在所述当前时刻的三维位置信息以及所述新的刚体在所述当前时刻的速度信息，确定所述新的刚体在所述当前时刻的位姿信息。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取每个所述图像采集设备对应的背景图像，所述背景图像是基于所述图像采集设备在不同时刻采集的多个图像确定的；
在获取所述多个图像采集设备在所述当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像；
所述获取所述光学标志在采集到的各个图像中成像的二维位置信息，包括：
获取所述光学标志在各个前景差分图像中成像的二维位置信息。
11.根据权利要求1所述的方法，其特征在于，所述光学标志为反光球或发光球，所述基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，包括：
确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志；
获取每个所述亮斑区域的中心的二维位置信息；
将所述各个图像上亮斑区域的中心的二维位置信息作为所述光学标志在所述各个图像中成像的二维位置信息。
12.一种刚体运动捕捉装置，其特征在于，所述装置包括：
第一获取模块，用于基于多个图像采集设备在当前时刻对刚体上的光学标志进行图像采集得到的各个图像，获取所述光学标志在所述各个图像中成像的二维位置信息，每个所述刚体上设置有多个光学标志，所述多个光学标志唯一标识所述刚体，且所述多个光学标志能够指示所述刚体的不同运动方向；
预测模块，用于根据所述刚体中已知刚体在上一时刻的位姿信息进行预测，得到所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，所述已知刚体为记录了上一时刻的位姿信息的刚体；
第一转换模块，用于基于所述多个图像采集设备的参数信息，将所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；
匹配模块，用于将所述已知刚体上的光学标志的预测二维位置信息与所述各个图像中成像的二维位置信息进行匹配，确定所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，同一个已知刚体上的光学标志在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；
第二转换模块，用于将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息，转换为所述已知刚体上的光学标志在所述当前时刻的三维位置信息；
第一确定模块，用于根据预先存储的已知刚体上的光学标志之间的位置关系及所述已知刚体上的光学标志在所述当前时刻的三维位置信息，确定所述已知刚体在所述当前时刻的位姿信息。
13.根据权利要求12所述的装置，其特征在于，所述第一转换模块，用于：
基于所述多个图像采集设备的参数信息和所述已知刚体上的光学标志在所述当前时刻的预测三维位置信息，将所述已知刚体上的光学标志反投影到所述多个图像采集设备的成像平面上，得到所述已知刚体上的光学标志的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；
将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。
14.根据权利要求12所述的装置，其特征在于，所述匹配模块，用于：
获取所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息，所述目标图像为任一图像采集设备在所述当前时刻采集的图像；
采用匈牙利算法对所述已知刚体上的光学标志在目标图像上的预测二维位置信息以及所述目标图像中成像的二维位置信息进行匹配，以得到至少一个匹配组合，每个所述匹配组合中包括至少一个匹配对，每个所述匹配对包括一个预测二维位置信息和一个成像的二维位置信息；
计算每个所述匹配组合对应的代价函数的值，所述代价函数用于指示所述匹配组合中所有匹配对的距离之和；
确定目标匹配组合中每个匹配对包括的预测二维位置信息和一个成像的二维位置信息指示所述已知刚体上的同一光学标志，所述目标匹配组合为所述至少一个匹配组合中所述代价函数的值最小的匹配组合；
从所述各个图像对应的目标匹配组合中获取所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息。
15.根据权利要求12所述的装置，其特征在于，所述匹配模块，用于：
从所述各个图像中成像的二维位置信息中，选择与所述已知刚体上的目标光学标志的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息，所述目标光学标志为所述已知刚体上的任一光学标志；
当选择的多个二维位置信息能够重构出三维位置信息时，确定选择的多个二维位置信息为所述目标光学标志在所述各个图像中成像的二维位置信息。
16.根据权利要求12所述的装置，其特征在于，所述第二转换模块，用于：
将所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知刚体上的光学标志在所述当前时刻的三维位置信息。
17.根据权利要求12至16任一所述的装置，其特征在于，所述第一确定模块，用于：
获取所述已知刚体在所述当前时刻的速度信息；
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体上的光学标志在所述当前时刻的三维位置信息以及所述已知刚体在所述当前时刻的速度信息，确定所述已知刚体在所述当前时刻的位姿信息。
18.根据权利要求17所述的装置，其特征在于，所述第一确定模块，还用于：
根据预先存储的已知刚体上的光学标志之间的位置关系、所述已知刚体在上一时刻的位姿信息、所述已知刚体上的光学标志在当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，确定所述已知刚体在所述当前时刻的速度信息。
19.根据权利要求11至16任一所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于从所述各个图像中成像的二维位置信息中，获取除所述已知刚体上的光学标志在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；
筛选模块，用于从所述剩余二维位置信息中筛选出能够重构出三维位置信息的多个二维位置信息，作为未知光学标志在所述各个图像中成像的二维位置信息；
重构模块，用于将所述未知光学标志在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知光学标志在所述当前时刻的三维位置信息；
第二确定模块，用于根据预先存储的刚体上的光学标志之间的位置关系以及所述未知光学标志在所述当前时刻的三维位置信息，确定新的刚体在所述当前时刻的位姿信息，所述新的刚体为设置有多个所述未知光学标志的刚体。
20.根据权利要求19所述的装置，其特征在于，所述第二确定模块，用于：
记录所述新的刚体在所述当前时刻的速度信息为默认值；
根据预先存储的刚体上的光学标志之间的位置关系、所述新的刚体上的光学标志在所述当前时刻的三维位置信息以及所述新的刚体在所述当前时刻的速度信息，确定所述新的刚体在所述当前时刻的位姿信息。
21.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取每个所述图像采集设备对应的背景图像，所述背景图像是基于所述图像采集设备在不同时刻采集的多个图像确定的；
去除模块，用于在获取所述多个图像采集设备在所述当前时刻采集的图像后，对应去除各个图像中的背景图像，以得到多个前景差分图像；
所述第一获取模块，用于：
获取所述光学标志在各个前景差分图像中成像的二维位置信息。
22.根据权利要求12所述的装置，其特征在于，所述光学标志为反光球或发光球，所述第一获取模块，用于：
确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个光学标志；
获取每个所述亮斑区域的中心的二维位置信息；
将所述各个图像上亮斑区域的中心的二维位置信息作为所述光学标志在所述各个图像中成像的二维位置信息。
23.一种AGV位姿捕捉系统，其特征在于，所述系统包括：在目标场地内运动的自动导引车AGV，对所述目标场地内的AGV进行图像采集的多个图像采集设备，以及计算机设备，所述AGV上设置有多个光学标志，所述多个光学标志唯一标识所述AGV，且所述多个光学标志能够指示所述AGV的不同运动方向；
其中，所述计算机设备包括如权利要求12至22任一所述的刚体运动捕捉装置。
CN201810533059.5A 2018-05-29 2018-05-29 刚体运动捕捉方法及装置、agv位姿捕捉系统 Active CN110544278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810533059.5A CN110544278B (zh) 2018-05-29 2018-05-29 刚体运动捕捉方法及装置、agv位姿捕捉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810533059.5A CN110544278B (zh) 2018-05-29 2018-05-29 刚体运动捕捉方法及装置、agv位姿捕捉系统

Publications (2)

Publication Number Publication Date
CN110544278A true CN110544278A (zh) 2019-12-06
CN110544278B CN110544278B (zh) 2022-09-16

Family

ID=68701060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810533059.5A Active CN110544278B (zh) 2018-05-29 2018-05-29 刚体运动捕捉方法及装置、agv位姿捕捉系统

Country Status (1)

Country Link
CN (1) CN110544278B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739094A (zh) * 2020-06-24 2020-10-02 北京卫星环境工程研究所 微小目标的位姿获取方法、系统、装置和介质
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN112642141A (zh) * 2020-12-02 2021-04-13 北京利亚德装备技术有限公司 模拟射击系统及其坐标转换方法
CN113129339A (zh) * 2021-04-28 2021-07-16 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533526A (zh) * 2009-04-18 2009-09-16 大连大学 基于动态模板的光学运动捕捉数据处理方法
CN102819863A (zh) * 2012-07-31 2012-12-12 中国科学院计算技术研究所 一种三维人体运动的实时在线获取方法及其系统
CN103955680A (zh) * 2014-05-20 2014-07-30 深圳市赛为智能股份有限公司 基于形状上下文的动作识别方法及装置
US20150170421A1 (en) * 2004-01-30 2015-06-18 Electronic Scripting Products, Inc. Computer Interface Employing a Wearable Article with an Absolute Pose Detection Component
JP2015227813A (ja) * 2014-05-30 2015-12-17 アニマ株式会社 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
US20160342861A1 (en) * 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
CN106444844A (zh) * 2016-08-31 2017-02-22 南京航空航天大学 一种用于多旋翼飞行器的图像程控采集方法
US20170086941A1 (en) * 2015-09-25 2017-03-30 Atracsys Marker for Optical Tracking System
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统
CN107168378A (zh) * 2016-03-08 2017-09-15 张立秀 一种自动寻找目标物的系统及方法
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN107806837A (zh) * 2017-10-29 2018-03-16 北京工业大学 一种非侵入式腕关节轴线运动模型测量方法
CN108030496A (zh) * 2017-12-02 2018-05-15 北京工业大学 一种人体上肢肩部盂肱关节旋转中心与上臂抬升角耦合关系测量方法
CN207380555U (zh) * 2017-09-13 2018-05-18 一飞智控(天津)科技有限公司 面向自主搬运任务的无人机系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170421A1 (en) * 2004-01-30 2015-06-18 Electronic Scripting Products, Inc. Computer Interface Employing a Wearable Article with an Absolute Pose Detection Component
CN101533526A (zh) * 2009-04-18 2009-09-16 大连大学 基于动态模板的光学运动捕捉数据处理方法
CN102819863A (zh) * 2012-07-31 2012-12-12 中国科学院计算技术研究所 一种三维人体运动的实时在线获取方法及其系统
CN103955680A (zh) * 2014-05-20 2014-07-30 深圳市赛为智能股份有限公司 基于形状上下文的动作识别方法及装置
JP2015227813A (ja) * 2014-05-30 2015-12-17 アニマ株式会社 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
US20160342861A1 (en) * 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
US20170086941A1 (en) * 2015-09-25 2017-03-30 Atracsys Marker for Optical Tracking System
CN107168378A (zh) * 2016-03-08 2017-09-15 张立秀 一种自动寻找目标物的系统及方法
CN106444844A (zh) * 2016-08-31 2017-02-22 南京航空航天大学 一种用于多旋翼飞行器的图像程控采集方法
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统
CN107316319A (zh) * 2017-05-27 2017-11-03 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN207380555U (zh) * 2017-09-13 2018-05-18 一飞智控(天津)科技有限公司 面向自主搬运任务的无人机系统
CN107806837A (zh) * 2017-10-29 2018-03-16 北京工业大学 一种非侵入式腕关节轴线运动模型测量方法
CN108030496A (zh) * 2017-12-02 2018-05-15 北京工业大学 一种人体上肢肩部盂肱关节旋转中心与上臂抬升角耦合关系测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HA-HYOUNG JUNG等: ""Realization of a hybrid human motion capture system "", 《2017 17TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS)》 *
陈为昊: ""基于光学的人体运动捕捉系统"", 《福建电脑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739094A (zh) * 2020-06-24 2020-10-02 北京卫星环境工程研究所 微小目标的位姿获取方法、系统、装置和介质
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN111862242B (zh) * 2020-07-29 2023-11-03 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN112642141A (zh) * 2020-12-02 2021-04-13 北京利亚德装备技术有限公司 模拟射击系统及其坐标转换方法
CN113129339A (zh) * 2021-04-28 2021-07-16 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110544278B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN107705333B (zh) 基于双目相机的空间定位方法及装置
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
US10789765B2 (en) Three-dimensional reconstruction method
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
CN110544273B (zh) 运动捕捉方法、装置以及系统
KR102397343B1 (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
WO2007041690A2 (en) Device for generating three dimensional surface models of moving objects
CN112750168B (zh) 事件相机内参的标定方法、装置、计算机设备和存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN114022560A (zh) 标定方法及相关装置、设备
KR102072796B1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN111080776A (zh) 人体动作三维数据采集和复现的处理方法及系统
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN114882106A (zh) 位姿确定方法和装置、设备、介质
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
WO2014171438A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN111192350A (zh) 一种基于5g通信vr头盔的动作捕捉系统及方法
CN113330487A (zh) 参数标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 5th floor, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address