CN113643788A - 基于多个图像获取设备确定特征点的方法及系统 - Google Patents

基于多个图像获取设备确定特征点的方法及系统 Download PDF

Info

Publication number
CN113643788A
CN113643788A CN202110798485.3A CN202110798485A CN113643788A CN 113643788 A CN113643788 A CN 113643788A CN 202110798485 A CN202110798485 A CN 202110798485A CN 113643788 A CN113643788 A CN 113643788A
Authority
CN
China
Prior art keywords
subject
characteristic
image
image acquisition
subject object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110798485.3A
Other languages
English (en)
Other versions
CN113643788B (zh
Inventor
张硕
张惠斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Plural Health Technology Co ltd
Original Assignee
Beijing Plural Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Plural Health Technology Co ltd filed Critical Beijing Plural Health Technology Co ltd
Priority to CN202110798485.3A priority Critical patent/CN113643788B/zh
Publication of CN113643788A publication Critical patent/CN113643788A/zh
Application granted granted Critical
Publication of CN113643788B publication Critical patent/CN113643788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供一种基于多个图像获取设备确定特征点的方法及系统，其中方法包括：根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，进而获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。

Description

基于多个图像获取设备确定特征点的方法及系统
技术领域
本发明涉及图像识别技术领域，并且更具体地涉及一种基于多个图像获取设备确定特征点的方法及系统、计算机可读存储介质以及电子设备。
背景技术
目前，计算机视觉领域中的姿态评估技术已经在，诸如在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，取得了广泛的应用。然而，由于人体自身结构的对称性，以及开放场景的复杂性，导致现有的姿态评估方法在局部视野、人体特殊体位、人与人交互以及人与物交互等情况下会产生关键点或特征点识别失败的问题。
以康复训练为例，康复训练会进行局部关节的主动或被动锻炼，诸如肘关节屈伸、前臂旋前旋后等。视频采集往往采用近景局部视角。此时由于视野中采集的人体信息不完整而无法识别关键点或特征点。康复训练会进行不同体位的锻炼，诸如仰卧位、侧位站或坐等。比如在侧位站或坐时，由于人体自身的对称性结构，会产生自遮挡问题，使得靠近镜头的一侧会对远离侧产生遮挡，导致远离侧关键点或特征点识别失败。
此外，康复训练往往需要治疗师配合进行被动训练，此时因治疗师与患者紧密接触会产生互遮挡，从而导致关键点或特征点识别失败问题。比如治疗师协助康复患者进行前臂旋前旋后被动训练时，患者采取仰面平躺位，治疗师采用患者盘坐位。此时由于两者身体紧密接触，会导致上臂腕部关键点或特征点，以及部分下肢关键点或特征点识别失败。
康复训练往往会需要配合相关辅助器具来完成，诸如拉力绳、弹力球等。在使用过程中由于辅助器具对身体某些部位的遮挡也会导致关键点或特征点识别失败。
目前，现有技术中缺少对关键点或特征点识别失败问题的有效解决方案。本发明通过设计一种精准的分类框架，将康复医学、运动控制理论与计算机视觉、人工智能融合，解决姿态估计中人体自遮挡以及人与人、人与物互遮挡而导致的关键点估计失败的问题。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于多个图像获取设备确定特征点的方法，所述方法包括：
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：
获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。
所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：
接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者
利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：
基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；
从多个候选位置中为每个图像获取设备确定基准位置；
其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：
每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：
根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；
利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：
根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；
根据神经网络的参数信息对所要使用的神经网络进行参数配置；
将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；
其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：
利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
将多个热图集中的每个热图集依次选择作为当前热图集以进行：
将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：
基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；
根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：
利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。
所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；
当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体时，确定特征点修复类型为辅助物体修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；
当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；
主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景
Figure BDA0003163683630000041
和客体对象范围的s1子场景
Figure BDA0003163683630000042
间存在动态交集
Figure BDA0003163683630000043
其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA0003163683630000044
主体对象时间特征
Figure BDA0003163683630000045
客体对象空间特征
Figure BDA0003163683630000046
和客体对象时间特征
Figure BDA0003163683630000047
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对
Figure BDA0003163683630000048
交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点s′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景
Figure BDA0003163683630000049
和客体对象范围的s2子场景
Figure BDA00031636836300000410
间存在动态交集
Figure BDA00031636836300000411
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA00031636836300000412
主体对象时间特征
Figure BDA00031636836300000413
和客体对象空间特征
Figure BDA00031636836300000414
其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征
Figure BDA00031636836300000415
特征；
在动态交集
Figure BDA00031636836300000416
的时间段[T1，T2]内，由
Figure BDA00031636836300000417
进入
Figure BDA00031636836300000418
的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其jN≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点
Figure BDA0003163683630000051
其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中
Figure BDA0003163683630000052
包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和
Figure BDA0003163683630000053
构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，(其中sando表示主体和物体)基于主客体识别算子Asando分别计算
Figure BDA0003163683630000054
的时空特征
Figure BDA0003163683630000055
时空特征
Figure BDA0003163683630000056
对应于主体对象和客体对象中每个的对象范围Bi；
通过
Figure BDA0003163683630000057
计算主体对象和客体对象中每个的支撑点随时间的轨迹
Figure BDA0003163683630000058
其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatia为空间，t-temporal为时间以及主体对象和客体对象中全部支撑点随时间的轨迹
Figure BDA0003163683630000059
通过对比
Figure BDA00031636836300000510
与Cot确定客体对象
Figure BDA00031636836300000511
以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集
Figure BDA0003163683630000061
其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征
Figure BDA0003163683630000062
主体对象时间特征
Figure BDA0003163683630000063
客体对象空间特征
Figure BDA0003163683630000064
和客体对象时间特征
Figure BDA0003163683630000065
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息
Figure BDA0003163683630000066
M≥j≥1；利用杠杆原理，分别计算动态交集
Figure BDA0003163683630000067
内
Figure BDA0003163683630000068
与
Figure BDA0003163683630000069
的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点
Figure BDA00031636836300000610
和客体对象的多个初始的特征点
Figure BDA00031636836300000611
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点
Figure BDA00031636836300000612
分别得到
Figure BDA00031636836300000613
以及
Figure BDA00031636836300000614
Figure BDA00031636836300000615
根据本发明的另一方面，提供一种基于多个图像获取设备确定特征点的系统，所述系统包括：
多个图像获取设备，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
数据处理设备，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
数据融合设备，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
图像识别设备，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
根据本发明的另一方面，一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
根据本发明的另一方面，一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法。
本发明通过将康复医学、运动控制等理论知识融入到计算机视觉的姿态估计中，很好的解决了康复训练过程中各种关键点估计失败的问题。通过融合康复方案先验知识，将动作局部特征增强于传统部位识别网络之上，实现非完整人体动作识别，从而解决因局部视野而导致的关键点估计失败问题。通过多机位数据采集，融合相交视野数据，实现物理空间数据增强，提高网络对因人体对称性而导致自遮挡的识别精度。通过主动标记主客体(即主体为康复患者，客体为辅助物、康复医生或康复治疗师)，融合康复医学与运动控制理论知识，提取多维特征构建交互识别算子，对关键点识别网络结果进行再加工，对人与人交互过程中关联错误的部位进行重新匹配，以及对人与物交互过程中丢失的部位进行补全，从而解决人与人、人与物互遮挡的问题。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于多个图像获取设备确定特征点的方法的流程图；
图2为根据本发明实施方式的功能模块的结构示意图；
图3为根据本发明实施方式的确定空间物体点的精确位置的示意图；
图4为根据本发明实施方式的生成三维信息的示意图；
图5为根据本发明实施方式的提取特征点的示意图；
图6为根据本发明另一实施方式的提取特征点的示意图；
图7为根据本发明又一实施方式的提取特征点的示意图；
图8为根据本发明再一实施方式的提取特征点的示意图；
图9为根据本发明实施方式的基于多个图像获取设备确定特征点的系统的结构示意图。
具体实施方式
图1为根据本发明实施方式的基于多个图像获取设备确定特征点的方法100的流程图。方法100从步骤101处开始。
在步骤101，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件。在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
在步骤102，根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
在步骤103，对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
在步骤104，对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体(辅助物体例如是手持设备等，或者是固定设备，例如大型器械)时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象(主体对象例如是要识别的目标对象或人)和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体(例如是，手持设备或移动设备)和固定型辅助物体(例如，固定设备或墙体)的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景
Figure BDA0003163683630000091
和客体对象范围的s1子场景
Figure BDA0003163683630000092
间存在动态交集
Figure BDA0003163683630000093
其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA0003163683630000094
主体对象时间特征
Figure BDA0003163683630000095
客体对象空间特征
Figure BDA0003163683630000096
和客体对象时间特征
Figure BDA0003163683630000097
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对
Figure BDA0003163683630000098
交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点S′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景
Figure BDA0003163683630000101
和客体对象范围的s2子场景
Figure BDA0003163683630000102
间存在动态交集
Figure BDA0003163683630000103
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA0003163683630000104
主体对象时间特征
Figure BDA0003163683630000105
和客体对象空间特征
Figure BDA0003163683630000106
其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征
Figure BDA0003163683630000107
特征；
在动态交集
Figure BDA0003163683630000108
的时间段[T1，T2]内，由
Figure BDA0003163683630000109
进入
Figure BDA00031636836300001010
的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点s″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象(例如，进行康复时的辅助人员等)时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其中N≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点
Figure BDA00031636836300001011
其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中
Figure BDA00031636836300001012
包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和
Figure BDA0003163683630000111
构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，基于主客体识别算子Asando分别计算
Figure BDA0003163683630000112
的时空特征
Figure BDA0003163683630000113
时空特征
Figure BDA0003163683630000114
对应于主体对象和客体对象中每个的对象范围Bi；
通过
Figure BDA0003163683630000115
计算主体对象和客体对象中每个的支撑点随时间的轨迹
Figure BDA0003163683630000116
其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间；以及主体对象和客体对象中全部支撑点随时间的轨迹
Figure BDA0003163683630000117
通过对比
Figure BDA0003163683630000118
与Cot确定客体对象
Figure BDA0003163683630000119
以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集
Figure BDA00031636836300001110
T2≥t≥T1；其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征
Figure BDA00031636836300001111
主体对象时间特征
Figure BDA00031636836300001112
客体对象空间特征
Figure BDA00031636836300001113
和客体对象时间特征
Figure BDA00031636836300001114
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息
Figure BDA00031636836300001115
利用杠杆原理，分别计算动态交集
Figure BDA00031636836300001116
内
Figure BDA00031636836300001117
与
Figure BDA00031636836300001118
的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点
Figure BDA00031636836300001119
和客体对象的多个初始的特征点
Figure BDA00031636836300001120
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点
Figure BDA00031636836300001121
分别得到
Figure BDA00031636836300001122
以及
Figure BDA00031636836300001123
Figure BDA00031636836300001124
图2为根据本发明实施方式的功能模块的结构示意图。从功能结构上来说，本发明涉及数据融合模块、场景分类模块、遮挡修复模块、量化分析模块和量表映射模块。如其中数据融合模块用于：
姿态估计过程中，单机位模式对于遮挡等情况识别效果差，无法精确定位人体空间姿态位置信息。而多机位信息是解决该问题的一种可行且高效的方案，如图3所示，不同机位Cu和cv同时拍摄空间物体任一点，分别得到平面像
Figure BDA00031636836300001125
和
Figure BDA00031636836300001126
从投影几何学计算可反推出空间物体点P的精确位置。
主流二维姿态识别利用heatmap来用于回归姿态各个关键点，本发明利用两路神经网络，分别获得不同机位的heatmap，然后通过融合两路heatmap图像，重新获取新的两路heatmap，从而获取空间三维姿态信息，具体流程图如图4所示。
场景分类模块与遮挡修复模块用于：在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，都属于遵循行业相关标准规范、且有特定约束条件下的半开放场景，即对人体的位置、人与物的交互、人与人的交互都有一定的规则要求。
所以本发明整体处理流程的首个环节是场景分类，通过人与物自动识别的分类网络等方式将场景分为单人、人与物、人与人三种场景。
1)单人：单人场景指的是识别区域内只有一个主体作为跟踪目标，其余都作为干扰因素进行排除。
2)人与物：通过场景分类自动识别出场景中的主体与客体，以康复训练为例，主体是康复患者，客体是康复辅具。通过识别网络对主体进行整体标记，然后提取关键点信息。对客体进行识别并进行跟踪，即每一帧标记物理的形状、位置信息等。通过提取客体的空间特征、时间特征再次将“人与物”交互场景分为“人用物”与“人靠物”两种子场景。
2.1人用物
该场景下，主体的人与客体的物，在每一帧图像中的空间特征以及连续帧中的时间特征都在变化。即主体的人与客体的物都是移动的。
2.2人靠物
该场景下，只有主体的人在每一帧图像中的空间特征以及连续帧的时间特征在变化，客体的物在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致，仅在主客体交互部分的空间特征会有波动。即客体的物是不动的或者相对稳定的，主体的人是移动的。
具体的识别方案包括：融合数据结果直接进入主客体识别网络(即融合了自上而下的人体姿态识别网路与基于深度卷积的物体识别网络)，首先从整体上对主体的人与客体的物进行标记，获得主客体的范围边框回归Boundingbox，分别为Bs，Bo。在Bs范围内，通过自下而上网络对人体各部分进行初始的精准识别，标记Sparts。在Bo范围内，对客体的物标记为O。与此同时提取每一帧的空间特征Fspace(比如形状、体积、角度、位置、纹理、颜色、梯度和位置)以及连续帧的时间特征Ftime(位移、速度、上下文信息、旋转等)。融合空间特征Fspace与时间特征Ftime确定客体物的状态，分别进行“人用物”与“人靠物”两类子场景标记si，i＝1，2。
对于s1场景下，随着时间推进，在
Figure BDA0003163683630000121
与
Figure BDA0003163683630000122
范围间存在着动态交集
Figure BDA0003163683630000123
此时同时提取主客体两者的时间与空间特征，分别记为
Figure BDA0003163683630000124
构建人用物局部交互特征提取算子Aswitho，即subjectwithobject对
Figure BDA0003163683630000125
交集时间段[T1，T2]，重新精准识别各遮挡部位，获得完整关键点信息，标记为S′parts。
对于s2场景下，随着时间推进，在
Figure BDA0003163683630000126
与
Figure BDA0003163683630000127
范围间存在着动态交集
Figure BDA0003163683630000128
此时同时提取主客体两者的时间与空间特征，分别记为
Figure BDA0003163683630000129
(s2场景下客体的物不动，因此不存在
Figure BDA00031636836300001210
特征，或者说
Figure BDA0003163683630000131
)。在
Figure BDA0003163683630000132
交集时间段[T1，T2]，
Figure BDA0003163683630000133
因为进入
Figure BDA0003163683630000134
范围，而发生遮挡，对于每一个遮挡时刻ti，利用人靠物局部交互特征提取算子Asbyo，即subjectbyobject，结合康复训练的运动学先验知识Kprior，，对遮挡下的每一帧f(t＝ti)进行修补，从而得到新的关键部位识别结果S′parts。
3)人与人：
融合数据结果直接进入自上而下的人体姿态识别网路，获取数据中每个人的Boundingbox范围，标记为Bi，N≥i≥1，N为总人数。针对每个Bi，进入自下而上姿态识别网络，识别对应的人体各部分，分别标记为
Figure BDA0003163683630000135
其中N同样为总人数，M为人体所有关键点总数(根据姿态模型不同，关键点个数略有不同，例如BODY_25、BODY_19、BODY_23、BODY_25B、BODY_135、COCO_BODY、MPI_BODY等等)。
3.1)通过Bi和
Figure BDA0003163683630000136
构造交互识别算子Ainteractive，对交互区域的人体各部分进行识别修补，具体流程如下，
①初始自上而下与自下而上网络结合后生成的数据B1和B2，以及
Figure BDA0003163683630000137
和
Figure BDA0003163683630000138
如图5所示。
②通过PAF算子，对两个Boundingbox中淘汰关键点进行互补Boundingbox的二次匹配，如图6所示：
③重新更新最新的关节点
Figure BDA0003163683630000139
分别得到
Figure BDA00031636836300001310
以及
Figure BDA00031636836300001311
Figure BDA00031636836300001312
修复效果如图7所示。
3.2)通过构造主客体识别算子Asando，分别计算每个
Figure BDA00031636836300001313
的时空特征
Figure BDA00031636836300001314
对应每个人体区域Bi。通过
Figure BDA00031636836300001315
计算每个人体的支撑点随时间的轨迹
Figure BDA00031636836300001316
以及整体全局支撑点随时间的轨迹
Figure BDA00031636836300001317
Figure BDA00031636836300001318
通过对比
Figure BDA00031636836300001319
与Cot确定客体
Figure BDA00031636836300001320
以及主体S。
①按照主客体重新对Bi进行初步分类，分别标记为Bs和Bo，对于时间维度，主客体的Boundingbox会发生动态交集
Figure BDA00031636836300001321
此时同时提取主客体两者的时间与空间特征，分别记为
Figure BDA00031636836300001322
Figure BDA00031636836300001323
在[T1，T2]交互时间段内，如图8所示。
②算子Asando在利用了关键点位置信息、点对方向信息基础上，进一步添加力学信息
Figure BDA00031636836300001324
Figure BDA00031636836300001325
M≥j≥1。因为人体骨骼属于刚性不变结构，利用杠杆原理，分别计算接触区域
Figure BDA00031636836300001326
内
Figure BDA00031636836300001327
与
Figure BDA00031636836300001328
的力矩与力臂。并融合康复训练方案先验知识Rprior，对主客体重新标定B′s和B′o。
至此完成单人、人与物、人与人各个场景下的遮挡补全工作以及主客体识别工作。
量化分析模块用于基于述场景分类与遮挡修复模块结果，能够获得主客体(单人情况下只有主体)精准的Boundingbox数据Bi，N≥i≥1，以及对应的完整的各个关键点数据S′parts与
Figure BDA00031636836300001329
在此基础上统计并计算各类定量特征，主要有静态特征、动态特征、统计特征，以及运动学特征等。
量表映射模块用于对目标对象的多个特征点进行归一化处理，以获取多个通用特征点，并基于至少一个通用特征点的变化角度和/或移动数据确定目标对象的运动属性。根据预先定义的数据映射规则将目标对象的运行属性映射为预定格式的数据文件。
图9为根据本发明实施方式的基于多个图像获取设备确定特征点的系统900的结构示意图。系统900包括：图像获取设备901、数据处理设备902、数据融合设备903以及图像识别设备904。
多个图像获取设备901，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件。在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
数据处理设备902，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
数据融合设备903，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
图像识别设备904，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体(辅助物体例如是手持设备等，或者是固定设备，例如大型器械)时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象(主体对象例如是要识别的目标对象或人)和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体(例如是，手持设备或移动设备)和固定型辅助物体(例如，固定设备或墙体)的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景
Figure BDA0003163683630000161
和客体对象范围的s；子场景
Figure BDA0003163683630000162
间存在动态交集
Figure BDA0003163683630000163
其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA0003163683630000164
主体对象时间特征
Figure BDA0003163683630000165
客体对象空间特征
Figure BDA0003163683630000166
和客体对象时间特征
Figure BDA0003163683630000167
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对
Figure BDA0003163683630000168
交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点s′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景
Figure BDA0003163683630000169
和客体对象范围的s2子场景
Figure BDA00031636836300001610
间存在动态交集
Figure BDA00031636836300001611
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure BDA00031636836300001612
主体对象时间特征
Figure BDA00031636836300001613
和客体对象空间特征
Figure BDA00031636836300001614
其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征
Figure BDA00031636836300001615
特征；
在动态交集
Figure BDA00031636836300001616
的时间段[T1，T2]内，由
Figure BDA00031636836300001617
进入
Figure BDA00031636836300001618
的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象(例如，进行康复时的辅助人员等)时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其中N≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点
Figure BDA0003163683630000171
其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中
Figure BDA0003163683630000172
包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和
Figure BDA0003163683630000173
构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，基于主客体识别算子Asando分别计算
Figure BDA0003163683630000174
的时空特征
Figure BDA0003163683630000175
时空特征
Figure BDA0003163683630000176
对应于主体对象和客体对象中每个的对象范围Bi；
通过
Figure BDA0003163683630000177
计算主体对象和客体对象中每个的支撑点随时间的轨迹
Figure BDA0003163683630000178
其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间；以及主体对象和客体对象中全部支撑点随时间的轨迹
Figure BDA0003163683630000179
通过对比
Figure BDA00031636836300001720
与Cot确定客体对象
Figure BDA00031636836300001710
以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集
Figure BDA00031636836300001711
其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征
Figure BDA00031636836300001712
主体对象时间特征
Figure BDA00031636836300001713
客体对象空间特征
Figure BDA00031636836300001714
和客体对象时间特征
Figure BDA00031636836300001715
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息
Figure BDA00031636836300001716
利用杠杆原理，分别计算动态交集
Figure BDA00031636836300001717
内
Figure BDA00031636836300001718
与
Figure BDA00031636836300001719
的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点
Figure BDA0003163683630000181
和客体对象的多个初始的特征点
Figure BDA0003163683630000182
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点
Figure BDA0003163683630000183
分别得到
Figure BDA0003163683630000184
以及
Figure BDA0003163683630000185
Figure BDA0003163683630000186

Claims (26)

1.一种基于多个图像获取设备确定特征点的方法，所述方法包括：
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
2.根据权利要求1所述所述的方法，在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：
获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
3.根据权利要求2所述的方法，所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。
4.根据权利要求2所述的方法，所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
5.根据权利要求2所述的方法，所述获取主体对象的位置属性和方向属性包括：
接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者
利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
6.根据权利要求2所述的方法，所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：
基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；
从多个候选位置中为每个图像获取设备确定基准位置；
其中每个图像获取设备的基准位置均不相同。
7.根据权利要求1所述的方法，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：
每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
8.根据权利要求1所述的方法，根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：
根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；
利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
9.根据权利要求1所述的方法，所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
10.根据权利要求9所述的方法，所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：
根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；
根据神经网络的参数信息对所要使用的神经网络进行参数配置；
将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；
其中每个动态图像文件的神经网络是相同的神经网络。
11.根据权利要求1所述的方法，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：
利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
12.根据权利要求1所述的方法，所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
将多个热图集中的每个热图集依次选择作为当前热图集以进行：
将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
13.根据权利要求1所述的方法，所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：
基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；
根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
14.根据权利要求1所述的方法，所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：
利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。
15.根据权利要求1或14所述的方法，所述对象信息包括：客体对象的数量和客体对象的类型。
16.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；
当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
17.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体时，确定特征点修复类型为辅助物体修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
18.根据权利要求17所述的方法，当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；
当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；
主题对象和客体对象的交互部分的空间特征存在波动。
19.根据权利要求18所述的方法，根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别,以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记si，其中i＝1,2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景
Figure FDA0003163683620000041
和客体对象范围的s1子场景
Figure FDA0003163683620000042
间存在动态交集
Figure FDA0003163683620000043
其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure FDA0003163683620000044
主体对象时间特征
Figure FDA0003163683620000045
客体对象空间特征
Figure FDA0003163683620000046
和客体对象时间特征
Figure FDA0003163683620000047
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho,针对
Figure FDA0003163683620000048
交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点S′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景
Figure FDA0003163683620000049
和客体对象范围的s2子场景
Figure FDA00031636836200000410
间存在动态交集
Figure FDA00031636836200000411
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征
Figure FDA00031636836200000412
主体对象时间特征
Figure FDA00031636836200000413
和客体对象空间特征
Figure FDA00031636836200000414
其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征
Figure FDA0003163683620000051
特征；
在动态交集
Figure FDA0003163683620000052
的时间段[T1,T2]内，由
Figure FDA0003163683620000053
进入
Figure FDA0003163683620000054
的范围而发生遮挡,对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，,对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
20.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
21.根据权利要求20所述的方法，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。
22.根据权利要求1所述的方法，根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi,其中N≥i≥1,N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点
Figure FDA0003163683620000055
其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中
Figure FDA0003163683620000056
包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和
Figure FDA0003163683620000057
构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，基于主客体识别算子Asando分别计算
Figure FDA0003163683620000058
的时空特征
Figure FDA0003163683620000059
时空特征
Figure FDA00031636836200000510
对应于主体对象和客体对象中每个的对象范围Bi；
通过
Figure FDA0003163683620000061
计算主体对象和客体对象中每个的支撑点随时间的轨迹
Figure FDA0003163683620000062
其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间以及主体对象和客体对象中全部支撑点随时间的轨迹
Figure FDA0003163683620000063
通过对比
Figure FDA0003163683620000064
与Cot确定客体对象
Figure FDA0003163683620000065
以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集
Figure FDA0003163683620000066
T2≥t≥T1；其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1,T2]的交互时间段内，分别记为主体对象空间特征
Figure FDA0003163683620000067
主体对象时间特征
Figure FDA0003163683620000068
客体对象空间特征
Figure FDA0003163683620000069
和客体对象时间特征
Figure FDA00031636836200000610
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息
Figure FDA00031636836200000611
利用杠杆原理，分别计算动态交集
Figure FDA00031636836200000612
内
Figure FDA00031636836200000613
与
Figure FDA00031636836200000614
的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B'o。
23.根据权利要求23所述的方法，当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点
Figure FDA00031636836200000615
和客体对象的多个初始的特征点
Figure FDA00031636836200000616
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点
Figure FDA00031636836200000617
分别得到
Figure FDA00031636836200000618
以及
Figure FDA00031636836200000619
Figure FDA00031636836200000620
24.一种基于多个图像获取设备确定特征点的系统，所述系统包括：
多个图像获取设备，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
数据处理设备，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
数据融合设备，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
图像识别设备，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
25.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-23任一所述的方法。
26.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-23任一所述的方法。
CN202110798485.3A 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及系统 Active CN113643788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110798485.3A CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110798485.3A CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及系统

Publications (2)

Publication Number Publication Date
CN113643788A true CN113643788A (zh) 2021-11-12
CN113643788B CN113643788B (zh) 2024-04-05

Family

ID=78417417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110798485.3A Active CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及系统

Country Status (1)

Country Link
CN (1) CN113643788B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术（北京）有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及系统
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN108735279A (zh) * 2018-06-21 2018-11-02 广西虚拟现实科技有限公司 一种虚拟现实脑中风上肢康复训练系统及控制方法
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
US20200302634A1 (en) * 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Predicting three-dimensional articulated and target object pose
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN112185508A (zh) * 2020-09-30 2021-01-05 张延雄 一种基于人工智能的眼保健操质量评估系统
CN112434679A (zh) * 2021-01-27 2021-03-02 萱闱(北京)生物科技有限公司 康复运动的评估方法及装置、设备、存储介质
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术（北京）有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及系统
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN108735279A (zh) * 2018-06-21 2018-11-02 广西虚拟现实科技有限公司 一种虚拟现实脑中风上肢康复训练系统及控制方法
US20200302634A1 (en) * 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Predicting three-dimensional articulated and target object pose
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
CN112185508A (zh) * 2020-09-30 2021-01-05 张延雄 一种基于人工智能的眼保健操质量评估系统
CN112434679A (zh) * 2021-01-27 2021-03-02 萱闱(北京)生物科技有限公司 康复运动的评估方法及装置、设备、存储介质
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁榆德;杨斌;: "三维数字化扫描及测量技术在下颌前突畸形诊治中的应用", 中国组织工程研究, no. 20 *
胡永利;朴星霖;孙艳丰;尹宝才;: "多源异构感知数据融合方法及其在目标定位跟踪中的应用", 中国科学:信息科学, no. 10 *

Also Published As

Publication number Publication date
CN113643788B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US10507002B2 (en) X-ray system and method for standing subject
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
CN104167016B (zh) 一种基于rgb彩色与深度图像的三维运动重建方法
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN109299659A (zh) 一种基于rgb相机和深度学习的人体姿态识别方法与系统
KR20160115959A (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN104718563A (zh) 追踪三维物体的方法
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
CN110477921B (zh) 基于骨架折线Ridge回归的身高测量方法
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
CN111401340A (zh) 目标对象的运动检测方法和装置
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
Zhang et al. Motion-guided dual-camera tracker for low-cost skill evaluation of gastric endoscopy
CN113643788B (zh) 基于多个图像获取设备确定特征点的方法及系统
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
Shere et al. Temporally consistent 3D human pose estimation using dual 360deg cameras
Hachaj et al. Heuristic Method for Calculating the Translation of Human Body Recordings Using Data from an Inertial Motion Capture Costume
CN117671738B (zh) 基于人工智能的人体姿态识别系统
Sheng et al. Marker-less Motion Capture Technology Based on Binocular Stereo Vision and Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant