CN118288336A - 一种高精度柔性机械臂光学检测装置及其方法 - Google Patents

Abstract

本发明提供一种高精度柔性机械臂光学检测装置及其方法，该装置包括采集模块和处理模块，采集模块包括多个动捕相机模组；处理模块包括相机信号处理单元和主控计算机单元；动捕相机模组包括光学单元和图像传感器；图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路光学单元；光学单元汇聚光线并成像至图像传感器的像素阵列表面；图像传感器获取高精度柔性机械臂及光学标记的像素信息；相机信号处理单元根据像素信息进行光学标记识别，得到光学标记二维坐标；主控计算机单元根据光学标记二维坐标和动捕相机模组的位置进行计算和高精度柔性机械臂的建模，得到动作捕捉结果。本发明实现了高性能低代价高光环境鲁棒的机械臂光学检测装置。

Description

一种高精度柔性机械臂光学检测装置及其方法

技术领域

本发明涉及光学检测技术领域，尤其涉及一种高精度柔性机械臂光学检测装置及其方法。

背景技术

目前常用的光学标记动捕分为被动标记与主动标记两种。主动标记与被动标记的区别主要是采用了有源标记，这些标记主动发出红外光且带有光学编码可供相机识别。由于主动红外标记的发光特性可以按需调节，使得这一技术与被动标记相比具有更高的精度与更好的光环境鲁棒性，但仍然需要在相对固定光环境下工作。然而，无论是被动标记还是主动标记的光学机械臂光学检测装置目前均存在装置复杂且成本高昂，对光环境要求高的问题。此外，由于标记间相互遮挡，高速运动下可能出现失真，采样速率有待提高。同时，为了获取精确的空间位置，需要对图像中的标记进行轮廓提取，椭圆参数拟合等等，导致空间位置计算相对复杂。

发明内容

本发明提供一种高精度柔性机械臂光学检测装置及其方法，解决现有技术中效率低、成本高、光环境鲁棒性低的缺陷，实现高效率、低成本、高光环境鲁棒的动作捕捉。

一种高精度柔性机械臂光学检测装置，包括集模块和处理模块，所述采集模块包括多个动捕相机模组；所述处理模块包括相机信号处理单元和主控计算机单元；所述动捕相机模组包括光学单元和图像传感器；所述图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路；

所述光学单元，用于汇聚光线并成像至所述图像传感器的像素阵列表面；

所述图像传感器，用于获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；

所述相机信号处理单元，用于根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

所述主控计算机单元，用于根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

本发明还提供了一种高精度柔性机械臂光学检测方法，其特征在于，包括：

基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；所述动捕相机模组包括光学单元和图像传感器；所述光学单元用于汇聚光线并成像至所述图像传感器的像素阵列表面；

根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

根据本发明提供的高精度柔性机械臂光学检测方法，所述根据所述像素信息进行光学标记识别，得到光学标记二维坐标，具体包括：

将所述不同通路获取的像素信息分别进行编码并输出，得到待处理图像；

对所述待处理图像进行光学标记识别，得到光学标记二维坐标；

其中，所述光学标记识别包括光学标记识别单独处理、光学标记识别交叉处理和光学标记识别融合处理；所述光学标记识别单独处理包括对获取得到的不同通路的所述像素信息分别进行光学标记识别；所述光学标记识别交叉处理包括在处理一个通路的过程中引入另一通路的信息，以辅助当前的通路进行光学标记识别；所述光学标记识别融合处理包括将所有通路进行融合，以进行光学标记识别。

根据本发明提供的高精度柔性机械臂光学检测方法，在所述光学标记识别处理为光学标记识别单独处理的情况下，若所述图像传感器的通路类型为空间差分通路或时间差分通路，则所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

对所述待处理图像进行降噪处理，得到第一目标图像；

对所述第一目标图像进行阈值处理，得到第二目标图像；

根据所述第二目标图像中的光学标记进行目标检测，得到所述光学标记二维坐标。

根据本发明提供的高精度柔性机械臂光学检测方法，在所述光学标记识别处理为光学标记识别交叉处理的情况下，所述图像传感器的通路类型包括强度通路、空间差分通路和/或时间差分通路，所述待处理图像包括强度图像、空间差分图像和/或时间差分图像；所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据所述强度图像、空间差分图像和/或时间差分图像进行灰度重建，得到灰度重建结果；

根据所述强度图像中包括的语义信息确定所述灰度重建结果中光学标记的标记编号，统计被遮挡的所述光学标记的遮挡数目，根据标记编号和所述遮挡数目对干扰点生成掩膜；

根据所述强度图像得到所述光学标记的预识别位置信息；

根据所述空间差分图像和/或时间差分图像得到所述光学标记的圆形轮廓信息，并根据所述预识别位置信息、所述掩膜和所述圆形轮廓信息确定所述光学标记二维坐标。

根据本发明提供的高精度柔性机械臂光学检测方法，在所述光学标记识别处理为光学标记识别融合处理的情况下，所述图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路，所述待处理图像包括强度图像、空间差分图像和时间差分图像；所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据初始时刻获取的所述强度图像得到背景信息，根据所述初始时刻获取的所述空间差分图像得到所述光学标记的圆形轮廓信息；

根据所述背景信息和所述圆形轮廓信息得到预识别结果；

根据当前时刻获取的所述空间差分图像和时间差分图像序列分别进行光学标记识别单独处理，得到当前识别结果；其中，所述时间差分图像序列是所述初始时刻到当前时刻之间获取的所述时间差分图像组成的序列；

根据所述预识别结果和所述当前识别结果得到所述光学标记二维坐标。

根据本发明提供的高精度柔性机械臂光学检测方法，所述图像传感器均为三通路视觉传感器；所述图像传感器的通路类型为强度通路、空间差分通路和时间差分通路。

根据本发明提供的高精度柔性机械臂光学检测方法，所述根据所述像素信息进行光学标记识别，得到光学标记二维坐标之后，还包括：

利用预设追踪算法对所述光学标记进行追踪，得到所述光学标记的轨迹。

本发明还提供一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述计算机软件程序，进而实现如上述任一种所述高精度柔性机械臂光学检测方法。

本发明还提供一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如上述任一种所述高精度柔性机械臂光学检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述高精度柔性机械臂光学检测方法。

本发明的有益效果是：利用三通路视觉传感器技术代替原有的图像传感器技术，利用不同通路间性能互补的特点，提升了高精度柔性机械臂光学检测装置的标记区分能力与标记遮挡判断能力，提高了相机对环境光影响的抗干扰能力，提高了动作捕捉采样帧率，降低了空间定位算法的计算量并提高了计算效率，整体了实现了高性能低代价高光环境鲁棒的机械臂光学检测装置。

附图说明

图1是本发明提供的高精度柔性机械臂光学检测装置的结构示意图；

图2是本发明提供的高精度柔性机械臂光学检测方法的流程示意图；

图3为本发明实施例提供的电子设备的实施例示意图；

图4为本发明实施例提供的计算机可读存储介质的实施例示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本发明中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本发明所公开的原理和特征的最广范围相一致。

参照图1，图1是本发明提供的高精度柔性机械臂光学检测装置的结构示意图，高精度柔性机械臂光学检测装置，包括采集模块和处理模块。

可以了解的是，动作捕捉(mocap)，简称动捕，指的是测量真实三维空间中高精度柔性机械臂的运动轨迹或姿态，并在虚拟空间中重新建模的过程。在具体实施过程中，动捕技术基于刚体假设(即假设某两个关键点之间的距离固定不变，比如机械臂手肘和机械臂手腕)确定高精度柔性机械臂上的关键点(key point)的时空坐标。通过这些关键点对高精度柔性机械臂进行建模。

在光学动捕中，高精度柔性机械臂上的关键点即光学标记是在高精度柔性机械臂上设置的主动或被动发光的标记(marker)，确定高精度柔性机械臂上的关键点的时空坐标则是通过一个或多个图像传感器拍摄高精度柔性机械臂并根据视觉特征提取关键点来实现。

本发明实施例设置采集模块进行高精度柔性机械臂的拍摄，可以理解的是，得到的拍摄结果不仅包括高精度柔性机械臂本身，还包括设置在高精度柔性机械臂上的光学标记。采集模块包括多个动捕相机模组。本发明不对动捕模组的数量进行限制，在实际操作过程中可以根据需求进行数量的选择。

动捕相机模组包括光学单元和图像传感器；其中，光学单元用于汇聚光线并成像至图像传感器的像素阵列表面；图像传感器用于获取高精度柔性机械臂及设置在高精度柔性机械臂上的光学标记的像素信息；图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路中的至少一种。

可以了解的是，通路类型为强度通路的图像传感器包括采用类似于CIS的采样方式的图像传感器，其特点是基于帧采样，记录每一帧图像中所有像素点的绝对输出。需要进行强调的是，通路类型为强度通路的图像传感器输出的像素信息既可以是灰度值的，也可以是彩色值的。通路类型为时间差分(Temporal difference，TD)的图像传感器包括类似于DVS的采样方式，但精度更高的图像传感器。其特点是基于光强的时间变化采样，记录变化量超过一定阈值时的一个正向或负向的脉冲(表示光强减弱或光强增加)。通路类型为空间差分(Spatial difference，SD)通路的图像传感器其特点是基于像素的空间变化采样，记录变化量超过一定阈值时的一个正向或负向的脉冲。

需要了解的是，对于由于硬件限制而无法直接获取时空差分通路(即时间差分通路和/或空间差分通路)的条件下，可以仅采用高速的强度通路进行仿真，具体过程为：使用高速相机获取高速的强度通路信息，并在相机信号处理单元或主控计算机处理程序的一开始，就对图像进行时间差分与空间差分的计算，得到另外两个通路，此外还需要对原始强度通路进行抽帧降采样，假如原先为600fps，则每个10帧图像选取1帧，降采样到60fps，从而降低数据量。通过这种仿真方法，获取三通路信息并依照此前的实施例进行下一步处理，这样依然可以保证多通路协同与高效的动作捕捉。

进一步地，本发明实施例的动捕相机模组可以采用不同的图像传感器。图像传感器为以下中的一种：单强度通路传感器，单TD通路传感器，单SD通路传感器，强度+TD双通路传感器，强度+SD双通路传感器，SD+TD双通路传感器，三通路传感器。

可以理解的是，若所有图像传感器均为单强度通路传感器，即为现有技术中的传统的动捕方案。

此外，若两台图像传感器采用同样的通路类型，比如两台都是三通路传感器，其性能指标与设计形式可以不同，从而实现优势互补。

进一步地，图像传感器优选三通路视觉传感器。可以理解的是，对于仅具有强度通路与时间差分通路二通路的视觉传感器，从视觉原语的角度来看，对于信息的采集是不完整的。例如，当画面中存在大范围闪光或者是光强剧烈变化的时候，所有TD像素均输出事件导致饱和，DVS通路无法输出有效信息，CIS通路又由于帧率限制，也无法即时响应。然而这样的角落案例在自动驾驶中非常常见且对于驾驶安全至关重要。故而在现有的强度通路+时间差分通路的基础上，引入空间差分通路，形成三通路视觉传感器。三通路传感器其中的时空差分通路可以以极高的帧率工作。一般的动捕相机采样帧率为不会超过500fps，时空差分的采样帧率可以超过1000fps甚至达到10000fps，利用三通路传感器来完成主动标记定位，面对高速场景可以有效改善标记模糊，面对低速场景可以大大提高最大一次性可捕捉标记数目。三通路传感器能够大幅度提升视觉传感器芯片对时空动态信息的感知能力，实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

在一些实施例中，图像传感器均为三通路视觉传感器；图像传感器的通路类型为强度通路、空间差分通路和时间差分通路。

具体地，本实施例中涉及的三通路视觉传感器有许多种实现方式，优选三通路集成在同一相机或者说同一图像传感器芯片，其优势是集成度高，彻底解决了多传感器信号需要时空对齐的问题。此外也可以采用三通路分离的多传感器方案。需要进行说明的是，本发明中提到的三通路传感器，三通路芯片，三通路图像传感器，三通路视觉传感器等都指的是区别于传统单强度通路的图像传感器的新型图像传感器。

三通路传感器分辨率上具有可扩展性，可以实现高数据精度，空间差分通路可以高速捕捉静态物体的运动，有望克服现有事件相机在动捕应用中的缺陷。其高效且鲁棒的视觉表示以及多通路高度集成的设计有望简化标记机械臂光学检测装置，提高相机对光环境的鲁棒性。三通路视觉传感器对时空动态信息的感知能力大幅提升，实现高精度，高帧率，高动态范围，可以大大提升标记机械臂光学检测装置的定位精度与采样速率，且由于在图像传感器芯片中就实现了时空差分操作，缓解了后端设备的处理压力。

进一步地，光学单元主要包括光学镜头，用于汇聚光线并成像至图像传感器的像素阵列表面。

在一些实施例中，光学单元还包括红外滤光模块。

由于光学动捕中大多使用红外光作为光源，例如光学标记设置为被动标记时，高精度柔性机械臂上设置红外反光小球作为光学标记点，红外光源照明，动捕相机捕捉标记点反射的红外光。光学标记设置为主动标记时，高精度柔性机械臂上设置可以自发光的红外反光小球作为光学标记点，动捕相机捕捉标记点发出的红外光。为了方便描述，本发明实施例以红外光作为光源的光学标记动捕为例进行说明，但这不代表对发明的限制。

对于红外光学动捕，入射光包含近红外光与其他波段光线，而对于红外光学动捕，主要关心的是红外光学信息，因此需要采用红外滤光模块将入射光其他波段的光线筛出，以免给带来不必要的误差。

红外滤光模块的设置包括两种方式，一种为在光学镜头的前端，后端或中间加入一红外滤光片，这样做则强度通路获取的也仅有红外光信息。另一种滤光方式为仅在时空差分像素上覆盖微红外滤光片，而强度通路像素不覆盖，获取的仍然为全波段信息。也就是说，在混合像素阵列的实现方式中，不同类型的像素可以一部分覆盖红外滤光片而另外一部分不覆盖，也可以覆盖一种双带通滤波片，例如支持两个波段通过，比如可见光与近红外光，蓝光与绿光等等。可以理解的是，在本方式中，部分强度通路像素也可以选择覆盖彩色滤光片，此时则获取的仅有红外光信息。

进一步地，对于三通路图像传感器，红外滤光模块不是必须的，这是由于只要红外光源照射足够强，时空差分通路就可以通过自身的阈值消除其他波段光线的干扰，同时强度通路可以接收红外波段以外的光线信息，从而获取带高精度柔性机械臂及背景的信息用以实现标记预识别及遮挡情况分析。

需要进一步强调的是，对于补光光源可以选择所有波段的光源。在一个实施例中，补光光源峰值波长可以选择850nm近红外光、940nm近红外光、460，480nm/550nm混合蓝绿光，也可以选择其他各个波段的近红外光与可见光，同时也可以不补光。可以了解的是，选择对应的光源之后，红外滤光模块中滤光片的滤光波段也要对应做出调整。

在一个实施例中，红外补光板的设置位置设置在图像传感器的前端，发射红外光照射场景。补光板通常需要平行于相机焦平面且集成在相机模组中，而不是另外单独加补光灯，这样才能确保补光灯发射的光线经过反射后可以被相机接收。补光板的波段与相机的工作波段相互匹配。补光板可以常亮，也可以接收图像传感器或者是相机信号处理单元发射的信号，仅仅在图像传感器的曝光阶段工作，这样可以降低装置能耗；也可以接收信号，以一定的频率高频闪烁，从而使得信号处理过程可以通过时间滤波降低场景中其他光信号的干扰。

需要进行说明的是，本发明不对动捕相机模组在实时场景中的具体放置位置进行限制，可以在测试空间的多个方向上等间隔放置。

一个标记只要至少被两个动捕相机模组同时拍摄到，就可以基于三角测量的方法确定其三维空间位置。进一步地，实际场景为了提高精度，可以要求3个或者更多的动捕相机模组同时拍到再进行定位。

进一步地，本发明实施例设置处理模块以确定高精度柔性机械臂上的关键点的时空坐标，处理模块包括相机信号处理单元和主控计算机单元。

相机信号处理单元，用于根据像素信息进行光学标记识别，得到光学标记二维坐标；

主控计算机单元，用于根据光学标记二维坐标和动捕相机模组的位置进行计算，得到光学标记三维坐标，根据光学标记三维坐标进行高精度柔性机械臂的建模，得到动作捕捉结果。

具体来说，相机信号处理单元的功能为整合图像传感器输出的像素信息，并进行“必要的处理”。这里的必要处理指两方面，一方面是将像素阵列输出的信息按照接口协议进行编码并输出，另一方面是对信号进行后处理与计算。

后处理与计算包括但不限于降噪处理，标记点识别，标记中心点二维坐标提取。后处理与计算任务可以在相机信号处理单元中进行，其优势是减少向主控计算机传输的数据量以降低带宽需求，缺点是相机内部计算资源有限，会增加功耗并带来数据传输的延迟。

后处理与计算也可以在主控计算机单元中完成，此时，相机信号处理单元合并于主控计算机单元内。其优势是主控计算机可以采用高性能计算芯片来完成这一任务，代价是需要传输的数据增加。进一步地，需要进行说明的是，三通路传感器中的时空差分通路具有数据稀疏与低带宽的特点，可以有限改善传输的数据增加这一问题。

后处理与计算也可以一部分在相机信号处理单元内执行，一部分在主控计算机单元中执行。本发明将在后续的实施例中对后处理与计算的具体算法进行进一步描述。

相机信号处理单元的硬件实现有多种方法，比如FPGA现场可编程门阵列芯片，CPU中央处理器芯片，MCU微控制单元芯片，ASIC专用集成电路芯片，或者以SoC的形式直接嵌入在图像传感器中作为其中的子模块。

进一步地，在一些实施例中，相机信号处理单元可以与动捕相机模组合并作为动捕相机设备。所有动捕相机设备获取的信息通过交换机汇总到主控计算机，并通过后处理与计算算法确定标记点每一时刻的三维空间坐标。交换机连接所有动捕相机设备，用于控制及同步触发所有相机，同时汇总相机设备的输出信息，上传至计算机。

进一步地，动捕相机设备还包括输出接口，用于输出光学标记三维坐标。输出接口有多种类型，优选项为以太网接口，其优势是网线传输距离长，网络协议控制多设备方便，且支持一根线同时供电与传输数据(POE,Power Over Ethernet)。此外交换机也可以采用USB接口或者是其他接口(如PCIE，FMC…)来实现相似的功能。

进一步地，需要进行说明的是，若直接采用现有的三通路视觉传感器芯片进行动捕相机设备的构建，需要对已有的三通路视觉传感器芯片进行改造，包括添加全阵列滤光片或者是红外用像素覆盖微滤光片。图像后续处理过程在FPGA的部分需要根据动捕需求进行优化。最终使得三通路视觉传感器芯片代替传统的纯强度通路图像传感器来捕捉场景中的光信号。

得到光学标记二维坐标后，主控计算机单元对相机信息进行分析，最终得到标记点的三维空间坐标。具体来说，主控计算机单元根据各个传感器传回的标记的二维坐标进行空间匹配，包括根据连续性原理确定标记的轨迹，根据三角测量原理确定标记的准确三维坐标。

在一些实施例中，根据像素信息进行光学标记识别，得到光学标记二维坐标，之后还包括：

利用预设追踪算法对光学标记进行追踪，得到光学标记的轨迹。对光学标记进行追踪包括：假设画面中有两个标记点1和2，下一时刻依然检测到两个标记，那么这两个标记如何与上一时刻的标记点对应。

在一些实施例中，采用近邻虽然的方法对光学标记进行追踪，即假设下一时刻检测到的所有标记点中距离上一时刻标记点1最近的标记点为这一时刻的标记点1。在另一些实施例中，采用卡尔曼滤波的方法对光学标记进行追踪，具体的例如DeepSort，ByteTrack等都是目前的SOTA追踪算法。将时空差分通路的数据输入追踪算法需要对算法的输入结构以及参数进行相应的调整，本发明对此不进行详细描述。

进一步地，基于上述实施例本发明提及的高精度柔性机械臂光学检测装置还包括场景标定设备，用于对场景中的动捕相机设备和光学标记进行标定。

本发明可以实现高效且鲁棒，超高定位精度与采样速率，资源与代价极小的光学标记高精度柔性机械臂光学检测装置。

进一步地，后处理与计算包括单一处理算法、交叉处理算法(或称主从处理算法)和融合处理算法。

基于此，在一些实施例中，根据像素信息进行光学标记识别，得到光学标记二维坐标，具体包括：

将不同通路获取的像素信息分别进行编码并输出，得到待处理图像；

对待处理图像进行光学标记识别，得到光学标记二维坐标；

其中，光学标记识别包括光学标记识别单独处理、光学标记识别交叉处理和光学标记识别融合处理；光学标记识别单独处理包括对获取得到的不同通路的像素信息分别进行光学标记识别；光学标记识别交叉处理包括在处理一个通路的过程中引入另一通路的信息，以辅助当前的通路进行光学标记识别；光学标记识别融合处理包括将所有通路进行融合，以进行光学标记识别。

具体地，首先对不同通路获取的像素信息分别进行编码并输出，得到待处理图像。

对于主动的光学标记，由于主动标记会自行发光，此时不需要补光光源。主动标记可以选择常亮模式，也可以选择明暗变化的模式，后者可以加入光学编码。

在一个实施例中，将一个完整的图像采集过程中分为N个曝光子过程，每次曝光主动标记存在明暗两种模式，则可以通过明暗实现二进制编码功能，比如明表示1，暗表示0。例如，假设每次采集有3个曝光子过程，某个主动标记的明暗情况分别为第一次亮，第二次暗，第三次亮，则对应编码101，即十进制中的5。按照一定规则对每个标记进行编码，根据读出结果再进行解码，可以区分出不同的标记点。

特别地，可以采用一位热码进行编码，换言之，在每个曝光子过程仅有一个标记发光，若场景中共有M个标记，则一次完整的采集过程需要M个曝光子过程，每次获取一个标记的空间位置。

之后，基于得到的待处理图像，进行包括光学标记识别的后处理与计算。

也即，对于不同通路得到的待处理图像，使用单一处理算法进行光学标记识别单独处理；或使用交叉处理算法(或称主从处理算法)进行光学标记识别交叉处理；或使用融合处理算法进行光学标记识别融合处理。

为了方便进行描述，将强度通路获取的对应待处理图像称为强度图像，将空间差分通路获取的对应待处理图像称为空间差分图像，将时间差分通路获取的对应待处理图像称为时间差分图像。

其中，单一处理算法包括：针对三通路中的单一通路对标记进行目标检测，中心定位与追踪。

对于强度通路进行光学标记识别的步骤，即强度通路对应的单一处理算法包括：对强度图像进行阈值处理，将小于某一像素值的输出全部记为0，得到阈值图像，理论上处理后的阈值图像仅包含发光的标记，但是本图像经过处理后包含了多余的发光元素，这些元素就是动捕过程中的干扰项，为了去掉干扰项，可以通过圆度检测(非圆形亮斑全部删除)，掩膜处理(图像中的某个位置加上mask，被掩膜区域的信号不再考虑作为标记点信号处理)、边缘检测等方法进行筛选。筛选后的标记点亮斑进行圆形中心点二维坐标估计，得到光学标记二维坐标。

得到光学标记二维坐标之后即可基于三角测量整合多传感器返回的标记信息，得到三维坐标估计。

进一步地，本发明实施例不对圆形中心点二维坐标估计方法进行限制，可以采用霍夫圆检测算法，也可以采用其他的高速圆心检测方法。在一些实施例中，其他的高速圆心检测方法包括：①阈值处理后直接提取亮斑在图像中的最高点，最低点，最左点，最右点，取平均作为中心点；②阈值处理后逐行记录发光像素数目，选择数目最多的一行作为直径，水平直径与竖直直径相交处为中心点；③阈值处理后边缘检测，对所有点的坐标加权平均(以数值作为精度)计算质心作为圆心中心点。

对于时间差分通路和空间差分通路需要根据其特殊的数据模态设计对应的适配算法。在一些实施例中，在光学标记识别处理为光学标记识别单独处理的情况下，若图像传感器的通路类型为空间差分通路或时间差分通路，则对待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

对待处理图像进行降噪处理，得到第一目标图像；

对第一目标图像进行阈值处理，得到第二目标图像；

根据第二目标图像中的光学标记进行目标检测，得到光学标记二维坐标。

具体来说，由于空间差分得到的已经是类似于边缘检测后的结果，首先可以进行两步可选项，一步是降噪，去掉图像中的噪声点，得到第一目标图像；另外一步是阈值处理，去掉图像中数值低于阈值的输出结果，得到第二目标图像。之后，对得到的第二目标图像直接进行圆心检测，圆心检测的方法可以参考强度通路的方案，本实施例对此不做赘述。

进一步地，时间差分通路与空间差分通路相似，但是区别是时间差分通路表现的是时间上的变化信息，通常只能记录运动中的标记，对于无法检测到某个标记，则判定为标记处于静止状态，此时标记的位置默认继承上一个时刻的标记位置。

时空差分的优势在于数据已经在图像传感器中就完成了空间差分，数据稀疏，传输数据量少，且从而可以提高帧率，降低后级处理模块的计算压力。

进一步地，为了突出多通路互补的优势，采用两个或两个以上的通路构成的图像传感器进行待处理图像的获取。

若同时具备强度通路+空间差分通路，则强度通路完成标记点识别，空间差分通路完成圆形中心坐标提取任务。

若同时具备强度通路+时间差分通路，则强度通路完成标记点识别，时间差分通路完成圆形中心坐标提取任务。

若同时具备空间差分通路+时间差分通路，则二者共同完成标记点识别与圆形中心坐标提取任务。

若同时具备三种类型的通路，即同时具备强度通路+空间差分通路+时间差分通路，则三者共同完成标记点识别与圆形中心坐标提取任务。

此时可以使用交叉处理算法(或称主从处理算法)进行光学标记识别交叉处理。交叉处理算法(或称主从处理算法)包括：使用某些通路协助另外一些通路实现标记动捕，例如从强度通路中预识别标记，基于时空差分通路确定标记点的中心。

在一些实施例中，在光学标记识别处理为光学标记识别交叉处理的情况下，图像传感器的通路类型包括强度通路、空间差分通路和/或时间差分通路，待处理图像包括强度图像、空间差分图像和/或时间差分图像；对待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据强度图像、空间差分图像和/或时间差分图像进行灰度重建，得到灰度重建结果；

根据强度图像中包括的语义信息确定灰度重建结果中光学标记的标记编号，统计被遮挡的光学标记的遮挡数目，根据标记编号和遮挡数目对干扰点生成掩膜；

根据强度图像得到光学标记的预识别位置信息；

根据空间差分图像和/或时间差分图像得到光学标记的圆形轮廓信息，并根据预识别位置信息、掩膜和圆形轮廓信息确定光学标记二维坐标。

具体地，本实施例给出一种可能的交叉处理的解决方案，可以理解的是，这并不代表对交叉处理算法(或称主从处理算法)或光学标记识别交叉处理的限制，交叉处理算法(或称主从处理算法)或光学标记识别交叉处理可以采用任意一些通路协助另外一些通路实现标记动捕。

本实施例通过强度通路提供的信息辅助时间和/或空间通路消除掉无效的干扰点。具体地，首先采用强度图像、空间差分图像和/或时间差分图像进行灰度重建，得到灰度重建结果。需要进行说明的是，高效灰度重建算法可以直接基于强度图像叠加时空差分图像，也可以采用UNet或CNN等神经网络方法实现重建，标记点目标检测算法可以采用YOLO等SOTA目标检测算法，本发明对此不做限制。

本实施例中，对于强度通路获取的原始图像(即强度图像)不做阈值处理，保留目标物体与背景信息，基于这些额外的语义信息对标记进行快速目标识别，此处的快速目标识别应用无标记动作捕捉的识别方法。根据标记点与目标物体的相对位置确定灰度重建结果中标记编号，以及判断被遮挡的标记数目，对干扰点生成掩膜，本方法生成的掩膜不断变化，可以有效对抗光环境变化。

根据空间差分图像和/或时间差分图像获取图像的时空差分特征，时空差分特征包括光学标记的圆形轮廓信息，由于空间差分图像和时间差分图像本身得到的已经是类似于边缘检测后的结果，可以十分容易的得到圆形轮廓信息，例如进行圆度检测等得到。

之后，根据强度通路提供的预识别位置信息、掩膜以及空间差分通路提供的圆形轮廓信息，确定标记的圆形中心点坐标，即光学标记二维坐标。

此外，交叉处理算法还包括与现有的传统动捕标记装置的融合，例如利用三通路中的高速时空差分通路给传统装置提供关键点信息，通过插值等处理方式提高整体性能；也可以让传统装置给三通路传感器提供高定位精度的初始帧以便于开始后续的动捕，且过程中还可以不断更新高精度帧。

进一步地，可以理解的是，同时具备三种类型的通路与仅有空间差分通路相比，同时具备三种类型的通路能够区分标记点及判断标记点遮挡情况，具备TD通路使得其定位动态标记时精度上升。

同时具备三种类型的通路与仅有时间差分通路相比，同时具备三种类型的通路能够区分标记点及判断标记点遮挡情况，具备SD通路使得其能够识别静止不同的标记点。

同时具备三种类型的通路与强度通路+空间差分通路相比，同时具备三种类型的通路具备TD通路，使得其定位动态标记时精度上升。

同时具备三种类型的通路与强度通路+时间差分通路相比，同时具备三种类型的通路具备SD通路，使得其能够识别静止不同的标记点。

同时具备三种类型的通路与空间差分通路+时间差分通路相比，时具备三种类型的通路具备强度通路，使得其能够区分标记点及判断标记点遮挡情况。

进一步地，为了突出多通路互补的优势，采用两个或两个以上的通路构成的图像传感器进行待处理图像的获取。此时还可以使用融合处理算法进行光学标记识别融合处理。融合处理算法包括：一方面，需要融合多个通路进行标记的定位，包括融合各个通路的原始数据与融合各个通路的标记识别结果，另外一方面，不同通路之间通常是原语互补的，简单来说，有的通路提供的标记信息定位精度高，采样速率低，有的通路提供的标记信息则相反，需要融合这些通路最终实现高定位精度与高采样速率的标记动捕。

在一些实施例中，在光学标记识别处理为光学标记识别融合处理的情况下，图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路，待处理图像包括强度图像、空间差分图像和时间差分图像；对待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据初始时刻获取的强度图像得到背景信息，根据初始时刻获取的空间差分图像得到光学标记的圆形轮廓信息；

根据背景信息和圆形轮廓信息得到预识别结果；

根据当前时刻获取的空间差分图像和时间差分图像序列分别进行光学标记识别单独处理，得到当前识别结果；其中，时间差分图像序列是初始时刻到当前时刻之间获取的时间差分图像组成的序列；

根据预识别结果和当前识别结果得到光学标记二维坐标。

具体地，本实施例给出一种可能的交叉处理的解决方案，可以理解的是，这并不代表对融合处理算法或光学标记识别融合处理的限制，融合处理算法或光学标记识别融合处理可以采用多种融合方式。例如以下两种方法：

第一种是各个通路单独处理得到标记点中心定位结果，对各个标记的定位结果取平均或根据先验置信度取加权平均得到最终的标记定位结果，与单通路相比提高了定位精度。第二种是将三个通路的原始图像数据利用神经网络等算法进行高性能重建，得到高速高精度的强度通路图像，在对这一图像进行传统的动捕标记检测(即阈值处理，标记点检测与定位等等)，这一方法可以保证识别结果的准确性。

在本实施例中，基于初始时刻t₀的强度图像与空间差分图像对标记实现预定位与识别，其中强度通路得到的强度图像提供背景信息，空间差分通路得到的空间差分图像提供稀疏低冗余的数据表示，得到圆形轮廓信息。同样地，由于空间差分图像本身得到的已经是类似于边缘检测后的结果，可以十分容易的得到圆形轮廓信息，例如进行圆度检测等得到。

在后续的任意时刻t_i(假设此时下一帧强度通路图像尚未得到)，基于积累后的时间差分帧(即时间差分图像序列)与当前时刻的空间差分通路对标记再次进行识别与定位，此时可以参照单一处理算法进行光学标记识别单独处理，得到当前识别结果。

之后利用预识别结果对当前识别结果进行辅助判别，即可得到光学标记二维坐标。

进一步地，通过当前时刻的时间差分帧(即时间差分图像序列)还可以得到标记的运动特性，用于追踪下一时刻的标记位置。

为了进一步提高分辨率，可以通过降低图像传感器分辨率的方法，在有限带宽内提高帧率。现有的动捕图像传感器通常采用缩小视野(windowing)的方法降低分辨率，其他降低分辨率的方法包括像素融合(binning)或间隔性降采样(pixel skipping)，可以将其运用至本发明实施例中高精度柔性机械臂光学检测装置内的图像传感器中。具体使用哪种方式可以根据实际需求进行选择。

可以了解的是，缩小视野(windowing)方法是直接缩小视野，比如直接放弃阵列左半边的像素，这种行为保持了空间精度，提高了帧率，但是会对视野造成影响。像素融合(binning)方法是指将相邻的像素组合起来形成一个更大的像素。这个过程中，多个像素的电荷被加总，从而提高每个合并像素的信噪比，但会影响图像中的细节信息。间隔性降采样(pixel skipping)方法是指在传感器上仅采集图像的一部分区域，而不是整个图像。传感器跳过一些像素，只采集图像的特定区域，这样可以减少需要传输和处理的数据量，并提高帧率。由于图像被采样的区域变小，图像的分辨率也会降低。传感器会根据预定的模式，跳过特定的像素行和列。这种模式可以是规则的，也可以是不规则的。以一种简单的规则模式为例，可以让传感器跳过一行采集一行，或者跳过一列采集一列；也可以设定更复杂的跳过规则。

本发明实施例提供的高精度柔性机械臂光学检测装置，包括采集模块和处理模块，采集模块包括多个动捕相机模组；处理模块包括相机信号处理单元和主控计算机单元；动捕相机模组包括光学单元和图像传感器；其中，光学单元用于汇聚光线并成像至图像传感器的像素阵列表面；图像传感器用于获取高精度柔性机械臂及设置在高精度柔性机械臂上的光学标记的像素信息；图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路中的至少一种；相机信号处理单元用于根据像素信息进行光学标记识别，得到光学标记二维坐标；主控计算机单元用于根据光学标记二维坐标和动捕相机模组的位置进行计算，得到光学标记三维坐标，根据光学标记三维坐标进行高精度柔性机械臂的建模，得到动作捕捉结果。本发明利用三通路视觉传感器技术代替原有的图像传感器技术，利用不同通路间性能互补的特点，提升了装置的标记区分能力与标记遮挡判断能力，提高了相机对环境光影响的抗干扰能力，提高了动作捕捉采样帧率，降低了空间定位算法的计算量并提高了计算效率，整体了实现了高性能低代价高光环境鲁棒的高精度柔性机械臂光学检测装置。

在一可选实施例中，参照图2，图2是本发明提供的高精度柔性机械臂光学检测方法的流程示意图，该方法包括：

步骤10，基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在高精度柔性机械臂上的光学标记的像素信息；动捕相机模组包括光学单元和图像传感器；光学单元用于汇聚光线并成像至图像传感器的像素阵列表面；

步骤20，根据像素信息进行光学标记识别，得到光学标记二维坐标；

步骤30，根据光学标记二维坐标和动捕相机模组的位置进行计算，得到光学标记三维坐标，根据光学标记三维坐标进行高精度柔性机械臂的建模，得到动作捕捉结果。

具体的，基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在高精度柔性机械臂上的光学标记的像素信息；动捕相机模组包括光学单元和图像传感器；光学单元用于汇聚光线并成像至图像传感器的像素阵列表面；根据像素信息进行光学标记识别，得到光学标记二维坐标；根据光学标记二维坐标和动捕相机模组的位置进行计算，得到光学标记三维坐标，根据光学标记三维坐标进行高精度柔性机械臂的建模，得到动作捕捉结果，具体参照高精度柔性机械臂光学检测装置提供的具体实施例，在此不再赘述。

请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现以下步骤：

基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；所述动捕相机模组包括光学单元和图像传感器；所述光学单元用于汇聚光线并成像至所述图像传感器的像素阵列表面；

根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

请参阅图4，图4为本发明实施例提供的计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现如下步骤：

基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；所述动捕相机模组包括光学单元和图像传感器；所述光学单元用于汇聚光线并成像至所述图像传感器的像素阵列表面；

根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高精度柔性机械臂光学检测装置，其特征在于，包括采集模块和处理模块，所述采集模块包括多个动捕相机模组；所述处理模块包括相机信号处理单元和主控计算机单元；所述动捕相机模组包括光学单元和图像传感器；所述图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路；

所述光学单元，用于汇聚光线并成像至所述图像传感器的像素阵列表面；

所述图像传感器，用于获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；

所述相机信号处理单元，用于根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

所述主控计算机单元，用于根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

2.一种高精度柔性机械臂光学检测方法，其特征在于，包括：

基于预先构建的动捕相机模组获取高精度柔性机械臂及设置在所述高精度柔性机械臂上的光学标记的像素信息；所述动捕相机模组包括光学单元和图像传感器；所述光学单元用于汇聚光线并成像至所述图像传感器的像素阵列表面；

根据所述像素信息进行光学标记识别，得到光学标记二维坐标；

根据所述光学标记二维坐标和所述动捕相机模组的位置进行计算，得到光学标记三维坐标，根据所述光学标记三维坐标进行所述高精度柔性机械臂的建模，得到动作捕捉结果。

3.根据权利要求2所述的高精度柔性机械臂光学检测方法，其特征在于，所述根据所述像素信息进行光学标记识别，得到光学标记二维坐标，具体包括：

将所述不同通路获取的像素信息分别进行编码并输出，得到待处理图像；

对所述待处理图像进行光学标记识别，得到光学标记二维坐标；

其中，所述光学标记识别包括光学标记识别单独处理、光学标记识别交叉处理和光学标记识别融合处理；所述光学标记识别单独处理包括对获取得到的不同通路的所述像素信息分别进行光学标记识别；所述光学标记识别交叉处理包括在处理一个通路的过程中引入另一通路的信息，以辅助当前的通路进行光学标记识别；所述光学标记识别融合处理包括将所有通路进行融合，以进行光学标记识别。

4.根据权利要求3所述的高精度柔性机械臂光学检测方法，其特征在于，在所述光学标记识别处理为光学标记识别单独处理的情况下，若所述图像传感器的通路类型为空间差分通路或时间差分通路，则所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

对所述待处理图像进行降噪处理，得到第一目标图像；

对所述第一目标图像进行阈值处理，得到第二目标图像；

根据所述第二目标图像中的光学标记进行目标检测，得到所述光学标记二维坐标。

5.根据权利要求3所述的高精度柔性机械臂光学检测方法，其特征在于，在所述光学标记识别处理为光学标记识别交叉处理的情况下，所述图像传感器的通路类型包括强度通路、空间差分通路和/或时间差分通路，所述待处理图像包括强度图像、空间差分图像和/或时间差分图像；所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据所述强度图像、空间差分图像和/或时间差分图像进行灰度重建，得到灰度重建结果；

根据所述强度图像中包括的语义信息确定所述灰度重建结果中光学标记的标记编号，统计被遮挡的所述光学标记的遮挡数目，根据标记编号和所述遮挡数目对干扰点生成掩膜；

根据所述强度图像得到所述光学标记的预识别位置信息；

根据所述空间差分图像和/或时间差分图像得到所述光学标记的圆形轮廓信息，并根据所述预识别位置信息、所述掩膜和所述圆形轮廓信息确定所述光学标记二维坐标。

6.根据权利要求3所述的高精度柔性机械臂光学检测方法，其特征在于，在所述光学标记识别处理为光学标记识别融合处理的情况下，所述图像传感器的通路类型包括强度通路、空间差分通路和时间差分通路，所述待处理图像包括强度图像、空间差分图像和时间差分图像；所述对所述待处理图像进行光学标记识别，得到光学标记二维坐标，具体包括：

根据初始时刻获取的所述强度图像得到背景信息，根据所述初始时刻获取的所述空间差分图像得到所述光学标记的圆形轮廓信息；

根据所述背景信息和所述圆形轮廓信息得到预识别结果；

根据当前时刻获取的所述空间差分图像和时间差分图像序列分别进行光学标记识别单独处理，得到当前识别结果；其中，所述时间差分图像序列是所述初始时刻到当前时刻之间获取的所述时间差分图像组成的序列；

根据所述预识别结果和所述当前识别结果得到所述光学标记二维坐标。

7.根据权利要求2所述的高精度柔性机械臂光学检测方法，其特征在于，所述图像传感器均为三通路视觉传感器；所述图像传感器的通路类型为强度通路、空间差分通路和时间差分通路。

8.根据权利要求2至7任一项所述的高精度柔性机械臂光学检测方法，其特征在于，所述根据所述像素信息进行光学标记识别，得到光学标记二维坐标之后，还包括：

利用预设追踪算法对所述光学标记进行追踪，得到所述光学标记的轨迹。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求2至8任一项所述高精度柔性机械臂光学检测方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至8任一项所述高精度柔性机械臂光学检测方法。