CN117058766B - 一种基于主动光频闪的动作捕捉系统和方法 - Google Patents

一种基于主动光频闪的动作捕捉系统和方法 Download PDF

Info

Publication number
CN117058766B
CN117058766B CN202311165199.9A CN202311165199A CN117058766B CN 117058766 B CN117058766 B CN 117058766B CN 202311165199 A CN202311165199 A CN 202311165199A CN 117058766 B CN117058766 B CN 117058766B
Authority
CN
China
Prior art keywords
infrared
capturing
capture
motion
infrared leds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311165199.9A
Other languages
English (en)
Other versions
CN117058766A (zh
Inventor
郭
郭
方珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingwei Technology Shaoxing Co ltd
Original Assignee
Qingwei Technology Shaoxing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingwei Technology Shaoxing Co ltd filed Critical Qingwei Technology Shaoxing Co ltd
Priority to CN202311165199.9A priority Critical patent/CN117058766B/zh
Publication of CN117058766A publication Critical patent/CN117058766A/zh
Application granted granted Critical
Publication of CN117058766B publication Critical patent/CN117058766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出了一种基于主动光频闪的动作捕捉系统和方法。所述动作捕捉系统包括一个或多个高速红外动作捕捉相机、基站和多个捕捉标签系统；所述高速红外动作捕捉相机与所述基站通过以太网进行连接；所述基站与所述多个捕捉标签系统通过无线射频方式进行单向通讯；所述捕捉标签系统设置于待捕捉物体上。所述动作捕捉方法包括：所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置；在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉。

Description

一种基于主动光频闪的动作捕捉系统和方法
技术领域
本发明提出了一种基于主动光频闪的动作捕捉系统和方法，属于动作捕捉技术领域。
背景技术
传统光学动作捕捉系统由高速红外动作捕捉相机和被动反光标记点组成，在执行动作捕捉任务时，将被动反光标记点粘贴到待捕捉的人或物体上，由高速红外动作捕捉相机发出红外光，反光标记点反射红外光进而在高速红外动作捕捉相机上成像，通过软件分析成像结果完成动作捕捉。
上述工作流程存在以下缺陷：
1、每个反光标记点均不包含特征，在高速红外动作捕捉相机上的成像均为标准圆形标记，软件需要根据预设的多个标记点间的形状和位置推算反光标记点ID，标记点数量变多时非常容易混淆；
2、当部分标记点发生遮挡后，需要借助其它未遮挡的标记点推算ID，ID恢复时间长且当大范围遮挡发生时无法正确恢复，造成动作捕捉数据不连贯甚至中断；
3、在使用反光标记点标记标记多个物体时，需要在每个物体上通过3个以上标记点形成几何形状唯一且不变的特征（几何刚体），以区分不同物体。当物体很多且物体较小时，很难形成唯一且稳定的几何形状；
4、由于每个物体都需要唯一的几何标记特征，待捕捉物体，特别是无人机、机器人、无人车类量产物体很难做到批量生产且几何标记特征不重复；
5、高速红外动作捕捉相机使用反射红外光机制捕捉反光标记点，由于光线反射会造成光线强度几何级数下降，导致捕捉距离严重缩短（通常有效距离为10米）；
6、高速红外动作捕捉相机发出的红外光会在非反光标记点表面（如金属、玻璃表面）形成反射，干扰捕捉结果。
发明内容
本发明提供了一种基于主动光频闪的动作捕捉系统和方法，用以解决上述现有技术中存在的问题，利用高精度无线时钟同步技术、标记点同步频闪发光技术、标记点自编码技术，实现基于主动光频闪的动作捕捉，大幅提高光学动作捕捉系统的准确性、鲁棒性，降低待捕捉物体的工程复杂性，所采取的技术方案如下：
一种基于主动光频闪的动作捕捉系统，所述动作捕捉系统包括一个或多个高速红外动作捕捉相机、基站和多个捕捉标签系统；所述高速红外动作捕捉相机与所述基站通过以太网进行连接；所述基站与所述多个捕捉标签系统通过无线射频方式进行单向通讯；所述捕捉标签系统设置于待捕捉物体上。
进一步地，所述捕捉标签系统包括捕捉标签和红外LED组；所述捕捉标签和红外LED组一一对应连接。
进一步地，每个所述捕捉标签内设置一个射频芯片，并且，所述射频芯片采用ISM2.4GHz射频芯片。
进一步地，所述基站与所述多个捕捉标签通过ISM 2.4GHz的无线射频信号进行单向通讯。
进一步地，每个所述红外LED组包括3-8个850nm的红外LED。
一种基于主动光频闪的动作捕捉方法，所述动作捕捉方法包括：
所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置；
在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉。
进一步地，所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置，包括：
将所述捕捉标签系统集成在待捕捉物体上，其中，每个所述捕捉标签系统包括一个捕捉标签和多个红外LED，所述捕捉标签与所述多个红外LED相连；
所述基站提取所述预设的配置信息；
所述基站按照预设的配置信息设置一个或多个高速红外动作捕捉相机的工作频率和曝光周期，并同步所有高速红外动作捕捉相机的工作频率和曝光周期；
所述基站按照预设的配置信息设置每个捕捉标签和其对应的红外LED的工作频率和编码；其中，所述红外LED与所述捕捉标签具备相同工作频率，每个红外LED具备一个的编码，且，所述编码各不相同。
进一步地，所述编码使用32位长度，每个编码代表一个标记点ID，可设置16,777,216个不同ID；并且，每个编码使用自校验格式编码，编码间的汉明距离大于3。
进一步地，在捕捉周期中，在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉，包括：
在捕捉周期中，控制所述每个捕捉标签对应红外LED按照已设置的工作频率进行主动频闪；
所述高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED，获取每个主动频闪的红外LED对应的编码；
根据编码表读取所述红外LED的编码对应的ID信息；
整合所述ID信息形成待捕捉物体的成像信息，完成动作捕捉。
进一步地，所述动作捕捉方法还包括：
当所有红外LED以相同的主动频闪的时间间隔运行时，当用于对待捕捉物体进行捕捉的任一所述高速红外动作捕捉相机捕捉红外LED的捕捉率低于预设的捕捉率阈值时，则根据捕捉标签系统的红外LED组所包含的红外LED的具体个数，调整置红外LED的主动频闪的时间间隔，包括：
当所述红外LED的个数N为N=3时，设置每个所述红外LED的主动频闪之间按照时间间隔为BP 0进行依次闪烁；
当所述红外LED的个数N为3≤N≤5时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，剩余的红外LED作为次红外LED，在所述主红外LED之后，按照其中一个次红外LED与所述主红外LED之间，以及，每个次红外LED彼此之间按照第一频闪时间间隔进行主动频闪，其中，所述第一频闪时间间隔通过如下公式获取：
其中，P 01表示第一频闪时间间隔；P 0表示预设的时间补偿量，P 0的取值范围为0.35P e -0.48P e ；P e 表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均曝光周期时长；B表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均捕捉频率；P i 表示第i个用于捕捉待捕捉物体的所述高速红外动作捕捉相机的曝光周期时长；k表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的数量；
当所述红外LED的个数N为5<N≤8时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，区别于所述主红外LED的2个红外LED作为第一次红外LED，区别与所述主红外LED和第一次红外LED的红外LED作为第二次红外LED；并且，在所述主红外LED之后，按照其中一个第一次红外LED与所述主红外LED之间，以及，每个第一次红外LED彼此之间按照第二频闪时间间隔进行主动频闪；按照其中一个第二次红外LED与最后一个主动频闪的第一次红外LED之间，以及，每个第二次红外LED彼此之间按照第三频闪时间间隔进行主动频闪；其中，所述第二频闪时间间隔和第三频闪时间间隔通过如下公式获取：
其中，P 02表示第二频闪时间间隔；B min 和B max 分别表示所述高速红外动作捕捉相机的最低捕捉频率和最高捕捉频率；B 0表示预设的捕捉率阈值。
以上三种情况中，每个红外LED等的主动频闪的周期和频率不变且相同，只是需要按照频闪间隔时间依次启动红外LED进行频闪，使其存在交错频闪状态。
本发明有益效果：
本发明提出的一种基于主动光频闪的动作捕捉系统和方法通过编码并主动发光的LED替代光学动捕系统中的被动反光标记点，提升动作捕捉系统的准确性、鲁棒性，降低待捕捉物体的工程复杂性。利用高精度无线时钟同步网络，在无线方式下完成数百个相机和捕捉标签的高精度时钟同步。同时，通过自校验编码方式，提升标记点ID识别时的稳定性。
附图说明
图1为本发明所述动作捕捉系统的系统框图；
图2为本发明所述动作捕捉方法的流程图一；
图3为本发明所述动作捕捉方法的流程图二。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出的一种基于主动光频闪的动作捕捉系统，如图1所示，所述动作捕捉系统包括一个或多个高速红外动作捕捉相机、基站和多个捕捉标签系统；所述高速红外动作捕捉相机与所述基站通过以太网进行连接；所述基站与所述多个捕捉标签系统通过无线射频方式进行单向通讯；所述捕捉标签系统设置于待捕捉物体上。
其中，所述捕捉标签系统包括捕捉标签和红外LED组；所述捕捉标签和红外LED组一一对应连接。每个所述捕捉标签内设置一个射频芯片，并且，所述射频芯片采用ISM2.4GHz射频芯片。所述基站与所述多个捕捉标签通过ISM 2.4GHz的无线射频信号进行单向通讯。每个所述红外LED组包括3-8个850nm的红外LED。
上述技术方案的工作原理为：使用ISM 2.4GHz射频芯片构建高精度无线时钟同步网络，该时钟同步网络由一台基站及若干捕捉标签组成，基站与标签间使用ISM 2.4GHz无线射频信号进行单向通讯；所有高速红外动作捕捉相机使用以太网连接到基站，由基站对相机进行授时，同步所有相机的工作频率和精确曝光时间；捕捉标签集成到待捕捉物体中，每个捕捉标签可连接3-8个850nm红外LED，捕捉标签可以按照指定编码和频率驱动其连接的所有LED，使LED按照编码表和指定频率发出红外信号；系统工作时由基站初始化高速红外动作捕捉相机和捕捉标签，按照配置赋予相机工作频率和曝光周期，赋予每个捕捉标签和其对应的红外LED相同工作频率和不同编码，编码使用32位长度，每个编码代表一个标记点ID，可设置16,777,216个不同ID；为提高鲁棒性，每个编码使用自校验格式编码，编码间的汉明距离大于3；同时，在捕捉周期中，高速红外动作捕捉相机捕捉区域中每个激活标签上的850nm红外LED，直接根据编码表读取该LED的ID，完成动作捕捉。
上述技术方案的效果为：本实施例提出的种基于主动光频闪的动作捕捉系统通过编码并主动发光的LED替代光学动捕系统中的被动反光标记点，提升动作捕捉系统的准确性、鲁棒性，降低待捕捉物体的工程复杂性。利用高精度无线时钟同步网络，在无线方式下完成数百个相机和捕捉标签的高精度时钟同步。同时，通过自校验编码方式，提升标记点ID识别时的稳定性。
同时，本实施例提出的种基于主动光频闪的动作捕捉系统将对无ID的被动标记点捕捉转为对编码红外LED的捕捉，可不依赖几何形状直接读取目标ID；由于捕捉不依赖几何形状，待捕捉物体可以设置几何形状完全相同的标记点空间结构，对无人机、机器人、无人车等工业产品可实现标准化生产；目标被遮挡后可迅速恢复捕捉，最多32帧即可实现所有标记点无错误恢复，不依赖几何形状推算，数据恢复高速稳定可靠；同时，不同于被动反光标记点的大体积大重量，（通常直径20mm以上），主动频闪LED标记点体积极小（可低至1mm以下），可部署在体积小、负重敏感的小型待捕捉物体上（如超小型室内无人机）；由于捕捉标签驱动红外LED主动发光，无须反射高速红外动作捕捉相机的红外光，捕捉距离可提升至25米以上，同时降低相机功耗，可避免高速红外动作捕捉相机发出高能红外光时非标记点反射造成的捕捉干扰。
本发明的实施例提出了一种基于主动光频闪的动作捕捉方法，如图2所示，所述动作捕捉方法包括：
S1、所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置；
S2、在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉。
其中，所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置，包括：
S101、将所述捕捉标签系统集成在待捕捉物体上，其中，每个所述捕捉标签系统包括一个捕捉标签和多个红外LED，所述捕捉标签与所述多个红外LED相连；
S102、所述基站提取所述预设的配置信息；
S103、所述基站按照预设的配置信息设置一个或多个高速红外动作捕捉相机的工作频率和曝光周期，并同步所有高速红外动作捕捉相机的工作频率和曝光周期；
S104、所述基站按照预设的配置信息设置每个捕捉标签和其对应的红外LED的工作频率和编码；其中，所述红外LED与所述捕捉标签具备相同工作频率，每个红外LED具备一个的编码，且，所述编码各不相同。
其中，所述编码使用32位长度，每个编码代表一个标记点ID，可设置16,777,216个不同ID；并且，每个编码使用自校验格式编码，编码间的汉明距离大于3。
具体的，在捕捉周期中，在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉，包括：
S201、在捕捉周期中，控制所述每个捕捉标签对应红外LED按照已设置的工作频率进行主动频闪；
S202、所述高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED，获取每个主动频闪的红外LED对应的编码；
S203、根据编码表读取所述红外LED的编码对应的ID信息；
S204、整合所述ID信息形成待捕捉物体的成像信息，完成动作捕捉。
上述技术方案的效果为：本实施例提出的种基于主动光频闪的动作捕捉系统通过编码并主动发光的LED替代光学动捕系统中的被动反光标记点，提升动作捕捉系统的准确性、鲁棒性，降低待捕捉物体的工程复杂性。利用高精度无线时钟同步网络，在无线方式下完成数百个相机和捕捉标签的高精度时钟同步。同时，通过自校验编码方式，提升标记点ID识别时的稳定性。
同时，本实施例提出的种基于主动光频闪的动作捕捉系统将对无ID的被动标记点捕捉转为对编码红外LED的捕捉，可不依赖几何形状直接读取目标ID；由于捕捉不依赖几何形状，待捕捉物体可以设置几何形状完全相同的标记点空间结构，对无人机、机器人、无人车等工业产品可实现标准化生产；目标被遮挡后可迅速恢复捕捉，最多32帧即可实现所有标记点无错误恢复，不依赖几何形状推算，数据恢复高速稳定可靠；同时，不同于被动反光标记点的大体积大重量，（通常直径20mm以上），主动频闪LED标记点体积极小（可低至1mm以下），可部署在体积小、负重敏感的小型待捕捉物体上（如超小型室内无人机）；由于捕捉标签驱动红外LED主动发光，无须反射高速红外动作捕捉相机的红外光，捕捉距离可提升至25米以上，同时降低相机功耗，可避免高速红外动作捕捉相机发出高能红外光时非标记点反射造成的捕捉干扰。
本发明的一个实施例，所述动作捕捉方法还包括：
当所有红外LED以相同的主动频闪的时间间隔运行时，当用于对待捕捉物体进行捕捉的任一所述高速红外动作捕捉相机捕捉红外LED的捕捉率低于预设的捕捉率阈值时，则根据捕捉标签系统的红外LED组所包含的红外LED的具体个数，调整置红外LED的主动频闪的时间间隔，如图3所示，具体包括：
步骤1、当所述红外LED的个数N为N=3时，设置每个所述红外LED的主动频闪之间按照时间间隔为BP 0进行依次闪烁；
步骤2、当所述红外LED的个数N为3≤N≤5时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，剩余的红外LED作为次红外LED，在所述主红外LED之后，按照其中一个次红外LED与所述主红外LED之间，以及，每个次红外LED彼此之间按照第一频闪时间间隔进行主动频闪，其中，所述第一频闪时间间隔通过如下公式获取：
其中，P 01表示第一频闪时间间隔；P 0表示预设的时间补偿量，P 0的取值范围为0.35P e -0.48P e ；P e 表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均曝光周期时长；B表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均捕捉频率；P i 表示第i个用于捕捉待捕捉物体的所述高速红外动作捕捉相机的曝光周期时长；k表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的数量；
步骤3、当所述红外LED的个数N为5<N≤8时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，区别于所述主红外LED的2个红外LED作为第一次红外LED，区别与所述主红外LED和第一次红外LED的红外LED作为第二次红外LED；并且，在所述主红外LED之后，按照其中一个第一次红外LED与所述主红外LED之间，以及，每个第一次红外LED彼此之间按照第二频闪时间间隔进行主动频闪；按照其中一个第二次红外LED与最后一个主动频闪的第一次红外LED之间，以及，每个第二次红外LED彼此之间按照第三频闪时间间隔进行主动频闪；其中，所述第二频闪时间间隔和第三频闪时间间隔通过如下公式获取：
其中，P 02表示第二频闪时间间隔；B min 和B max 分别表示所述高速红外动作捕捉相机的最低捕捉频率和最高捕捉频率；B 0表示预设的捕捉率阈值。
以上三种情况中，每个红外LED等的主动频闪的周期和频率不变且相同，只是需要按照频闪间隔时间依次启动红外LED进行频闪，使其存在交错频闪状态。
上述技术方案的工作原理为：由于本实施例提出的动作捕捉方法其包含的红外LED为主动频闪，在所述高速红外动作捕捉相机捕捉红外LED时，由于高速红外动作捕捉相机的捕捉和红外LED主动频闪会存在不同步情况，或者，存在多个高速红外动作捕捉相机，多个高速红外动作捕捉相机具备不同的捕捉频率（即曝光率），这种情况会导致在高速红外动作捕捉相机进行捕捉的情况下，不能确保每张捕捉图像中均包含亮的红外LED，导致无效图像数据增多，并且，需要通过进行数据清洗和筛选的方式滤除无效图像数据，进而提高系统运行负荷和降低识别响应速度。因此，当所有红外LED以相同的主动频闪的时间间隔运行时，当用于对待捕捉物体进行捕捉的任一所述高速红外动作捕捉相机捕捉红外LED的捕捉率低于预设的捕捉率阈值时，则根据捕捉标签系统的红外LED组所包含的红外LED的具体个数，调整置红外LED的主动频闪的时间间隔，通过使不同的LED具备不同的主动频闪对应的频率，使高速红外动作捕捉相机获取的每张捕捉图片中均存在亮着的LED，提高有效图像数据的数量，进而提高红外LED主动频闪的捕捉率和成像准确性。
同时，由于红外LED的数量不同，因此，当所述红外LED的个数N为N=3时，设置每个所述红外LED的主动频闪之间按照时间间隔为BP 0进行依次闪烁；当所述红外LED的个数N为3≤N≤5时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，剩余的红外LED作为次红外LED，在所述主红外LED之后，按照其中一个次红外LED与所述主红外LED之间，以及，每个次红外LED彼此之间按照第一频闪时间间隔进行主动频闪；当所述红外LED的个数N为5<N≤8时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，区别于所述主红外LED的2个红外LED作为第一次红外LED，区别与所述主红外LED和第一次红外LED的红外LED作为第二次红外LED；并且，在所述主红外LED之后，按照其中一个第一次红外LED与所述主红外LED之间，以及，每个第一次红外LED彼此之间按照第二频闪时间间隔进行主动频闪；按照其中一个第二次红外LED与最后一个主动频闪的第一次红外LED之间，以及，每个第二次红外LED彼此之间按照第三频闪时间间隔进行主动频闪。通过这三种方式进一步提高红外LED的捕捉率。
上述技术方案的效果为：本实施例提出的种基于主动光频闪的动作捕捉方法通过编码并主动发光的LED替代光学动捕系统中的被动反光标记点，提升动作捕捉系统的准确性、鲁棒性，降低待捕捉物体的工程复杂性。利用高精度无线时钟同步网络，在无线方式下完成数百个相机和捕捉标签的高精度时钟同步。同时，通过自校验编码方式，提升标记点ID识别时的稳定性。
同时，本实施例提出的种基于主动光频闪的动作捕捉方法将对无ID的被动标记点捕捉转为对编码红外LED的捕捉，可不依赖几何形状直接读取目标ID；由于捕捉不依赖几何形状，待捕捉物体可以设置几何形状完全相同的标记点空间结构，对无人机、机器人、无人车等工业产品可实现标准化生产；目标被遮挡后可迅速恢复捕捉，最多32帧即可实现所有标记点无错误恢复，不依赖几何形状推算，数据恢复高速稳定可靠；同时，不同于被动反光标记点的大体积大重量，（通常直径20mm以上），主动频闪LED标记点体积极小（可低至1mm以下），可部署在体积小、负重敏感的小型待捕捉物体上（如超小型室内无人机）；由于捕捉标签驱动红外LED主动发光，无须反射高速红外动作捕捉相机的红外光，捕捉距离可提升至25米以上，同时降低相机功耗；可避免高速红外动作捕捉相机发出高能红外光时非标记点反射造成的捕捉干扰。
另一方面，通过本实施例中根据捕捉标签系统的红外LED组所包含的红外LED的具体个数，调整置红外LED的主动频闪的时间间隔，通过使不同的LED具备不同的主动频闪对应的频率，使高速红外动作捕捉相机获取的每张捕捉图片中均存在亮着的LED，提高有效图像数据的数量，进而提高红外LED主动频闪的捕捉率和成像准确性。
同时，通过上述公式获取的第一频闪时间间隔和第二频闪时间间隔，能够使红外LED不同分组均结合高速红外动作捕捉相机的实际捕捉频率数据进行设置，使三种不同分组情况下的红外LED的频闪设置能够适应已安装的所有高速红外动作捕捉相机的捕捉参数设置情况，进而在不增加额外的红外LED的数量的情况下，完全避免无效图像数据的生产，提高红外LED的捕捉率，在增加有效图像数据的情况下，能够降低图像采集次数，进而提高成像效率和成像准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于主动光频闪的动作捕捉系统，其特征在于，所述动作捕捉系统包括一个或多个高速红外动作捕捉相机、基站和多个捕捉标签系统；所述高速红外动作捕捉相机与所述基站通过以太网进行连接；所述基站与所述多个捕捉标签系统通过无线射频方式进行单向通讯；所述捕捉标签系统设置于待捕捉物体上；
基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置；
在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉；
其中，所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置，包括：
将所述捕捉标签系统集成在待捕捉物体上，其中，每个所述捕捉标签系统包括一个捕捉标签和多个红外LED，所述捕捉标签与所述多个红外LED相连；
所述基站提取所述预设的配置信息；
所述基站按照预设的配置信息设置一个或多个高速红外动作捕捉相机的工作频率和曝光周期，并同步所有高速红外动作捕捉相机的工作频率和曝光周期；
所述基站按照预设的配置信息设置每个捕捉标签和其对应的红外LED的工作频率和编码；其中，所述红外LED与所述捕捉标签具备相同工作频率，每个红外LED具备一个的编码，且，所述编码各不相同；
同时，在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉，包括：
在捕捉周期中，控制所述每个捕捉标签对应红外LED按照已设置的工作频率进行主动频闪；
所述高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED，获取每个主动频闪的红外LED对应的编码；
根据编码表读取所述红外LED的编码对应的ID信息；
整合所述ID信息形成待捕捉物体的成像信息，完成动作捕捉。
2.根据权利要求1所述动作捕捉系统，其特征在于，所述捕捉标签系统包括捕捉标签和红外LED组；所述捕捉标签和红外LED组一一对应连接。
3.根据权利要求2所述动作捕捉系统，其特征在于，每个所述捕捉标签内设置一个射频芯片，并且，所述射频芯片采用ISM 2.4GHz射频芯片。
4.根据权利要求1所述动作捕捉系统，其特征在于，所述基站与所述多个捕捉标签通过ISM 2.4GHz的无线射频信号进行单向通讯。
5.根据权利要求2所述动作捕捉系统，其特征在于，每个所述红外LED组包括3-8个850nm的红外LED。
6.一种基于主动光频闪的动作捕捉方法，其特征在于，所述动作捕捉方法包括：
基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置；
在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉；
其中，所述基站对高速红外动作捕捉相机和捕捉标签进行初始化，并按照预设的配置信息对所述高速红外动作捕捉相机和捕捉标签系统进行配置，包括：
将所述捕捉标签系统集成在待捕捉物体上，其中，每个所述捕捉标签系统包括一个捕捉标签和多个红外LED，所述捕捉标签与所述多个红外LED相连；
所述基站提取所述预设的配置信息；
所述基站按照预设的配置信息设置一个或多个高速红外动作捕捉相机的工作频率和曝光周期，并同步所有高速红外动作捕捉相机的工作频率和曝光周期；
所述基站按照预设的配置信息设置每个捕捉标签和其对应的红外LED的工作频率和编码；其中，所述红外LED与所述捕捉标签具备相同工作频率，每个红外LED具备一个的编码，且，所述编码各不相同；
同时，在捕捉周期中，高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED利用所述红外LED的编码对应的ID信息，完成动作捕捉，包括：
在捕捉周期中，控制所述每个捕捉标签对应红外LED按照已设置的工作频率进行主动频闪；
所述高速红外动作捕捉相机捕捉目标区域中每个捕捉标签对应红外LED，获取每个主动频闪的红外LED对应的编码；
根据编码表读取所述红外LED的编码对应的ID信息；
整合所述ID信息形成待捕捉物体的成像信息，完成动作捕捉。
7.根据权利要求6所述动作捕捉方法，其特征在于，所述编码使用32位长度，每个编码代表一个标记点ID；并且，每个编码使用自校验格式编码，编码间的汉明距离大于3。
8.根据权利要求6所述动作捕捉方法，其特征在于，所述动作捕捉方法还包括：
当所有红外LED以相同的主动频闪的时间间隔运行时，当用于对待捕捉物体进行捕捉的任一所述高速红外动作捕捉相机捕捉红外LED的捕捉率低于预设的捕捉率阈值时，则根据捕捉标签系统的红外LED组所包含的红外LED的具体个数，调整置红外LED的主动频闪的时间间隔，包括：
当所述红外LED的个数N为N=3时，设置每个所述红外LED的主动频闪之间按照时间间隔为BP 0进行依次闪烁；
当所述红外LED的个数N为3≤N≤5时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，剩余的红外LED作为次红外LED，在所述主红外LED之后，按照其中一个次红外LED与所述主红外LED之间，以及，每个次红外LED彼此之间按照第一频闪时间间隔进行主动频闪，其中，所述第一频闪时间间隔通过如下公式获取：
其中，P 01表示第一频闪时间间隔；P 0表示预设的时间补偿量，P 0的取值范围为0.35P e -0.48P e ；P e 表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均曝光周期时长；B表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的平均捕捉频率；P i 表示第i个用于捕捉待捕捉物体的所述高速红外动作捕捉相机的曝光周期时长；k表示用于捕捉待捕捉物体的所述高速红外动作捕捉相机的数量；
当所述红外LED的个数N为5<N≤8时，设置所述红外LED组中的任意3个红外LED作为主红外LED进行一致同步频闪，区别于所述主红外LED的2个红外LED作为第一次红外LED，区别与所述主红外LED和第一次红外LED的红外LED作为第二次红外LED；并且，在所述主红外LED之后，按照其中一个第一次红外LED与所述主红外LED之间，以及，每个第一次红外LED彼此之间按照第二频闪时间间隔进行主动频闪；按照其中一个第二次红外LED与最后一个主动频闪的第一次红外LED之间，以及，每个第二次红外LED彼此之间按照第三频闪时间间隔进行主动频闪；其中，所述第二频闪时间间隔和第三频闪时间间隔通过如下公式获取：
其中，P 02表示第二频闪时间间隔；B min 和B max 分别表示所述高速红外动作捕捉相机的最低捕捉频率和最高捕捉频率；B 0表示预设的捕捉率阈值。
CN202311165199.9A 2023-09-11 2023-09-11 一种基于主动光频闪的动作捕捉系统和方法 Active CN117058766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311165199.9A CN117058766B (zh) 2023-09-11 2023-09-11 一种基于主动光频闪的动作捕捉系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311165199.9A CN117058766B (zh) 2023-09-11 2023-09-11 一种基于主动光频闪的动作捕捉系统和方法

Publications (2)

Publication Number Publication Date
CN117058766A CN117058766A (zh) 2023-11-14
CN117058766B true CN117058766B (zh) 2023-12-19

Family

ID=88659078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311165199.9A Active CN117058766B (zh) 2023-09-11 2023-09-11 一种基于主动光频闪的动作捕捉系统和方法

Country Status (1)

Country Link
CN (1) CN117058766B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118285A1 (zh) * 2016-01-05 2017-07-13 北京度量科技有限公司 一种高速提取圆形图像中心点的方法
WO2017118284A1 (zh) * 2016-01-05 2017-07-13 北京度量科技有限公司 一种被动式光学动作捕捉设备及其应用
WO2020062760A1 (zh) * 2018-09-26 2020-04-02 深圳市中视典数字科技有限公司 一种动作捕捉系统和方法
CN111862170A (zh) * 2020-08-21 2020-10-30 北京未来天远科技开发有限公司 光学式运动捕捉系统及方法
CN212256370U (zh) * 2020-08-21 2020-12-29 北京未来天远科技开发有限公司 光学式运动捕捉系统
CN113273176A (zh) * 2019-01-02 2021-08-17 杭州他若定位科技有限公司 使用基于图像的对象跟踪的自动化电影制作
CN114419162A (zh) * 2022-01-12 2022-04-29 上海青瞳视觉科技有限公司 一种光学手指捕捉的标记定位方法
CN116309796A (zh) * 2022-12-29 2023-06-23 北京元客视界科技有限公司 光学运动捕捉方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118285A1 (zh) * 2016-01-05 2017-07-13 北京度量科技有限公司 一种高速提取圆形图像中心点的方法
WO2017118284A1 (zh) * 2016-01-05 2017-07-13 北京度量科技有限公司 一种被动式光学动作捕捉设备及其应用
WO2020062760A1 (zh) * 2018-09-26 2020-04-02 深圳市中视典数字科技有限公司 一种动作捕捉系统和方法
CN113273176A (zh) * 2019-01-02 2021-08-17 杭州他若定位科技有限公司 使用基于图像的对象跟踪的自动化电影制作
CN111862170A (zh) * 2020-08-21 2020-10-30 北京未来天远科技开发有限公司 光学式运动捕捉系统及方法
CN212256370U (zh) * 2020-08-21 2020-12-29 北京未来天远科技开发有限公司 光学式运动捕捉系统
CN114419162A (zh) * 2022-01-12 2022-04-29 上海青瞳视觉科技有限公司 一种光学手指捕捉的标记定位方法
CN116309796A (zh) * 2022-12-29 2023-06-23 北京元客视界科技有限公司 光学运动捕捉方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人体动作捕捉技术综述以及一种新的动作捕捉方案陈述;李晓丹;肖明;曾莉;;中国西部科技(第15期);全文 *
人体运动捕捉及运动控制的研究;黄波士, 陈福民;计算机工程与应用(第07期);全文 *

Also Published As

Publication number Publication date
CN117058766A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN110261823B (zh) 基于单个led灯的可见光室内通信定位方法及系统
WO2018049710A1 (zh) 一种用于确定机器人位置的路标、设备及区分标签的方法
CN106092090B (zh) 一种用于室内移动机器人定位的红外路标及其使用方法
CN107421506B (zh) 一种基于室内可见光通信的视觉追踪定位系统和方法
Nakazawa et al. Indoor positioning using a high-speed, fish-eye lens-equipped camera in visible light communication
KR100785784B1 (ko) 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법
CN205909828U (zh) 一种用于室内移动机器人定位的红外路标
CN107835050B (zh) 一种基于可见光通信的定位方法及系统
CN1637771A (zh) 射频识别装置及识别方法
CN106157588B (zh) 快速高精度光电直读式智能水表系统
CN107977813A (zh) 一种拣货系统及拣货方法
CN111343752A (zh) 获取led灯串各发光模组空间位置的寻址电路和方法
CN110296707A (zh) 基于vlc技术的室内服务机器人
CN108495251A (zh) 一种基于蓝牙和led光定位的组合定位方法
CN103218596A (zh) 具有动态多角度照明系统的条码扫描器及其条码扫描方法
CN117058766B (zh) 一种基于主动光频闪的动作捕捉系统和方法
CN111213368B (zh) 刚体识别方法、装置、系统及终端设备
CN205068424U (zh) 一种基于隐形编码路标的运动追踪系统
CN114721001A (zh) 一种基于多传感器融合的移动机器人定位方法
CN110163916B (zh) 基于滚转目标的环绕式圆形标记点的匹配方法
CN207586414U (zh) 一种室内led可见光定位系统及装置
KR102250869B1 (ko) 다중 광학식 카메라를 이용한 가상현실 플랫폼에서의 다중 객체 위치 추적 시스템 및 방법
CN110531318B (zh) 一种用于可见光成像室内定位扩展发光单元id的方法
CN111190143A (zh) 一种基于机器学习的室内可见光定位方法
WO2018002679A1 (en) Method for identifying and locating a movable object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant