CN110348370A - 一种人体动作识别的增强现实系统及方法 - Google Patents

一种人体动作识别的增强现实系统及方法 Download PDF

Info

Publication number
CN110348370A
CN110348370A CN201910612554.XA CN201910612554A CN110348370A CN 110348370 A CN110348370 A CN 110348370A CN 201910612554 A CN201910612554 A CN 201910612554A CN 110348370 A CN110348370 A CN 110348370A
Authority
CN
China
Prior art keywords
image
data
characteristic point
intelligent treatment
treatment terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910612554.XA
Other languages
English (en)
Other versions
CN110348370B (zh
Inventor
华晨
张云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cat Eye Vision Technology Co Ltd
Original Assignee
Beijing Cat Eye Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cat Eye Vision Technology Co Ltd filed Critical Beijing Cat Eye Vision Technology Co Ltd
Priority to CN201910612554.XA priority Critical patent/CN110348370B/zh
Publication of CN110348370A publication Critical patent/CN110348370A/zh
Application granted granted Critical
Publication of CN110348370B publication Critical patent/CN110348370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种人体动作识别的增强现实交互方法，包括以下步骤：S1，采用图像采集装置对人体的肢体图像进行采集；S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；S4，通过智能处理终端，将所述特征点进行真伪优化；S5，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；S6，将所述虚拟模型传输给图像显示装置。本发明通过采用单目摄像机与智能处理终端连接，降低了硬件系统的成本，还通过系统内预设模型与图像采集装置采集的现实真实图像进行绑定，使得用户获得良好的沉浸式体验。

Description

一种人体动作识别的增强现实系统及方法
技术领域
本发明涉及一种人机交互系统，尤其涉及一种人体动作识别的增强现实系统。
背景技术
人体动作识别是近年来计算机视觉领域的一个研究热点，尤其是在人机交互、虚拟增强现实等领域应用广泛。但是目前现有的人体动作识别应用多为体感游戏，显示屏幕中展示的是纯虚拟场景，与现实中的真实影像没有交互结合，缺少沉浸感。
同时，目前捕捉人体动作的主流设备大多是Kinect设备，Kinect设备采用TOF(Time of flight)原理，该设备通过向待识别目标发送连续的激光脉冲，然后通过传感器接受返回的光，计算相应的相位差，从而判断待识别目标的方位。Kinect设备具有较高的精度、灵敏度和分辨率，但是其检测距离有限，对使用环境的要求较高，同时通过Kinect设备采集的影像也没有与现实中的真实影像结合。此外，Kinect设备成本较高，需要特殊的连接接口，降低了设备的通用性能。
鉴于现有的行为肢体识别技术中的缺陷，亟需一种可以有效识别人体行为肢体、提高用户体验、成本较低、通用性更好的解决方案。
发明内容
本发明的目的在于提出一种新的人体动作识别的增强现实系统，以有效识别人体行为肢体，提高用户体验，降低成本，形成更好的通用性。
一方面，本发明提出了一种人体动作识别的增强现实系统。该系统包括：图像采集装置、智能处理终端以及图像显示装置。其中，图像采集装置包括单目摄像机；智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。
进一步地，单目摄像机可以采用单目UVC摄像机，所述摄像机采集的数据通过USB传递至智能处理终端，通过UVC协议实现在Linux、Windows、Mac os操作系统的电脑上的即插即拔。此外，所述摄像机采集的数据还可以通过wifi模块或者蓝牙模块传输至智能处理终端。
进一步地，智能处理终端可以采用安卓系统的主板，由USB接口输入，通过系统控制和调度单元对系统资源进行分配和调度，以提高整个系统的运行速度。所述采集到的数据经 USB接口输入至智能处理终端后，由图像处理和计算单元进行处理，最终经图像输出单元传输至图像显示装置。
进一步地，图像输出单元可以选择为HDMI输出电路。
另一方面，本发明还提供了一种人体动作识别的增强现实交互方法。该方法包括以下步骤：
S1，采用图像采集装置对人体的肢体图像进行采集；
S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；
S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；
S4，通过智能处理终端，将所述特征点进行真伪优化；
S5，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；
S6，将所述虚拟模型传输给图像显示装置。
其中，S1步骤中，按帧数采集图像，形成一组序列。
S3步骤中，采用肢体图像识别SDK开发包，对人体轮廓及关节特征点进行识别提取。特征点数量优选为10-30个，如肩部、颈部、肘部、腕部、胯部等。由于图像采集设备传输的图像为密集型数据，不利于计算，设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列。设定条件，选取可信度高的特征点数据。所述设定的条件为：相邻关节点的距离变化在正确阈内，相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内，则数据可信；反之，则将不可信。将不可信的帧去除，取后续的N帧继续判断。
S4步骤中，智能处理终端包括图像数据源存储模块和修正计算模块。图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算，然后设置为数据模板，将该数据模板存储在图像数据源存储模块。利用这些数据模板，与后来的图像数据进行匹配，近似度达到一定阈值，则直接采用存储的数据模板，一加快数据的访问速度。修正计算模块的修正计算方式为线性或二次曲线插值方法。
进一步地，所述修正计算方式为：相邻间隔的帧之间所述特征点修正插值函数，如第一帧特征点坐标P(x0，y0)。第三帧特征点为P(x1，y1)，第二帧特征点坐标位置的修正公式如下：
L1(x)＝l0(x)y0+l1(x)y1
l0(x)和l1(x)为线性插值基函数，分别为：
相邻特征点之间的轨迹修正插值为二次插值，如肩关节坐标点P(x0，y0)，肘关节P(x1，y1)，腕关节P(x2，y2)，则绑定手部的模型或特效坐标P(x，y)公式如下：
L2(x)＝l0(x)y0+l1(x)y1+l2(x)y2
其中满足：L2(x0)＝y0，L2(x1)＝y1，L2(x2)＝y2。
l0(x)，l1(x)，l2(x)为二次插值基函数，分别为：
S5步骤中，将S3步骤中识别提取的特征点以及S4步骤中的数据模板中的特征点进行交互判断，使得特征点的运动立体化，从而模拟人体的真实运动状态。同时，将智能处理终端中预设的模型加入到特征点的坐标上，形成了模型与人体的肢体图像的绑定，并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。进一步地，可以采用图像引擎或者其它相关插件对所述特征点进行特效渲染，从而形成更好的视觉效果。
另一方面，本发明还提供了一种多人协同动作识别的增强现实交互方法。该方法包括以下步骤：
S1，采用图像采集装置对人体的肢体图像进行采集；
S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；
S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；
S4，通过智能处理终端，将所述特征点进行真伪优化；
S5，通过智能处理终端，对所述特征点进行分组处理；
S6，通过智能处理终端，对所述特征点进行交互碰撞判断；
S7，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；
S8，将所述虚拟模型传输给图像显示装置。
其中，S1步骤中，按帧数采集图像，形成一组序列。
S3步骤中，采用肢体图像识别SDK开发包，对人体轮廓及关节特征点进行识别提取。特征点数量优选为10-30个，如肩部、颈部、肘部、腕部、胯部等。由于图像采集设备传输的图像为密集型数据，不利于计算，设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列。设定条件，选取可信度高的特征点数据。所述设定的条件为：相邻关节点的距离变化在正确阈内，相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内，则数据可信；反之，则将不可信。将不可信的帧去除，取后续的N帧继续判断。
S4步骤中，智能处理终端包括图像数据源存储模块和修正计算模块。图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算，然后设置为数据模板，将该数据模板存储在图像数据源存储模块。利用这些数据模板，与后来的图像数据进行匹配，近似度达到一定阈值，则直接采用存储的数据模板，一加快数据的访问速度。修正计算模块的修正计算方式为线性或二次曲线插值方法。
进一步地，所述修正计算方式为：相邻间隔的帧之间所述特征点修正插值函数，如第一帧特征点坐标P(x0，y0)。第三帧特征点为P(x1，y1)，第二帧特征点坐标位置的修正公式如下：
L1(x)＝l0(x)y0+l1(x)y1
l0(x)和l1(x)为线性插值基函数，分别为：
相邻特征点之间的轨迹修正插值为二次插值，如肩关节坐标点P(x0，y0)，肘关节P(x1，y1)，腕关节P(x2，y2)，则绑定手部的模型或特效坐标P(x，y)公式如下：
L2(x)＝l0(x)y0+l1(x)y1+l2(x)y2
其中满足：L2(x0)＝y0，L2(x1)＝y1，L2(x2)＝y2。
l0(x)，l1(x)，l2(x)为二次插值基函数，分别为：
S5步骤中，对多人的肢体图像数据进行分组。将图像采集装置的采集区域进行划分，针对不同采集区域采集的图像数据，进行初始识别，标记为不同的组，从而形成多组序列数据。
S6步骤中，对S5中不同的序列数据进行监视，如果不同的序列数据运动至较为接近的范围内，则判定为多人之间进行了接触。
S7步骤中，将S3-S6步骤中的特征点进行交互判断，使得特征点的运动立体化，从而模拟人体的真实运动状态。同时，将智能处理终端中预设的模型加入到特征点的坐标上，形成了模型与人体的肢体图像的绑定，并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。
进一步地，可以采用图像引擎或者其它相关插件对所述特征点进行特效渲染，从而形成更好的视觉效果。
进一步地，如果S6步骤中判定多人之间进行了接触，但图像显示装置并未显示多人进行了接触，则通过图像引擎或者其它相关插件进行特效修正，比如增加爆破动画或者爆破音效等。
本发明通过采用单目摄像机以及采用UVC协议与智能处理终端连接，利用现有大量智能设备的操作系统(安卓等)的计算能力，使得所有的计算都在本地完成，无需将数据传输至中心服务器，降低了硬件系统的成本，同时，如今的主流操作系统都已提供UVC设备驱动，因此采用UVC协议的单目摄像头在不需要安装任何的驱动程序下即可在智能处理终端中正常使用，从而使得整个系统的通用性更好，便于使用。
本发明通过少量的人体轮廓及关节特征点，通过对数据进行修正计算以及存储数据模板，降低了整个系统的计算量，从而使得整个识别过程时间变短，在0.5秒即可完成。
此外，传统视频图像的采样大多采用直接取样，即间隔相同的帧数进行数据抽取，然后线性差值补漏；或者采用重要性采样，在密度大的地方多采样，然后进行曲线模拟。这些采样方式会在肢体识别视频流中造成较大误差，比如特征点位置发生异常偏差，则差值结果或模拟曲线也会随之产生偏差。对这些特征点进行可信度筛选，从而使得特征点数据可信度较高，从而最终减少由于特征点的不规则运动引起最终显示图像的跳跃。
本发明还通过系统内预设模型与图像采集装置采集的现实真实图像进行绑定，使得用户获得良好的沉浸式体验，同时通过单目摄像机还可以实现多人的互动，实现了人机交互、人人交互的综合体验。
附图说明
图1是本发明中的多人协同动作识别的增强现实交互方法示意图；
图2是本发明中的真伪特征点变化示意图：(a)相邻帧间向量夹角和关节距离变化在可接受阈内；(b)相邻帧间向量夹角和关节距离变化在不可接受阈内；
图3是本发明中的接触判断示意图，圆形区域即判定为发生接触。
具体实施方式
结合图1，一种多人协同动作识别的增强现实交互方法。该方法包括以下步骤：
S1，采用单目UVC摄像头按帧数对人体的肢体图像进行采集。
S2，通过智能处理终端对采集的人体肢体图像进行处理，并将单目UVC摄像头获得的现实真实图像传输给显示器。
S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取。采用肢体图像识别SDK开发包，对人体轮廓及关节特征点进行识别提取。特征点数量可以选择 18个，如肩部、颈部、肘关节、腕关节、胯关节、膝关节等。由于图像采集设备传输的图像为密集型数据，不利于计算，设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列。设定条件，选取可信度高的特征点数据。参见图2，所述设定的条件为：相邻关节点的距离变化在正确阈内，相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内，则数据可信(参见图2(a))；反之，则将不可信(参见图2(b))。将不可信的帧去除，取后续的N帧继续判断。
S4，通过智能处理终端，将所述特征点进行真伪优化。智能处理终端包括图像数据源存储模块和修正计算模块。图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算，然后设置为数据模板，将该数据模板存储在图像数据源存储模块。利用这些数据模板，与后来的图像数据进行匹配，近似度达到一定阈值，则直接采用存储的数据模板，一加快数据的访问速度。修人体的动作具有较大的连贯性和近似性，因此通过对特征点进行真伪优化，可以减少数据的计算量，缩短系统延迟时间。
正计算模块的修正计算方式为：相邻间隔的帧之间所述特征点修正插值函数，如第一帧特征点坐标P(x0，y0)。第三帧特征点为P(x1，y1)，第二帧特征点坐标位置的修正公式如下：
L1(x)＝l0(x)y0+l1(x)y1
l0(x)和l1(x)为线性插值基函数，分别为：
相邻特征点之间的轨迹修正插值为二次插值，如肩关节坐标点P(x0，y0)，肘关节P(x1，y1)，腕关节P(x2，y2)，则绑定手部的模型或特效坐标P(x，y)公式如下：
L2(x)＝l0(x)y0+l1(x)y1+l0(x)y2
其中满足：L2(x0)＝y0，L2(x1)＝y1，L2(x2)＝y2。
l0(x)，l1(x)，l2(x)为二次插值基函数，分别为：
S5，通过智能处理终端，对所述特征点进行分组处理。对多人的肢体图像数据进行分组。将单目UVC摄像机的采集区域进行划分，针对不同采集区域采集的图像数据，进行初始识别，标记为不同的组，从而形成多组序列数据。
S6，通过智能处理终端，对所述特征点进行交互碰撞判断。参见图3，对S5中不同的序列数据进行监视，如果不同的序列数据运动至较为接近的范围内，则判定为多人之间进行了接触。
S7，通过智能终端，虚拟特效，对虚拟模型的方位进行处理。将S3-S6步骤中的特征点进行交互判断，使得特征点的运动立体化，从而模拟人体的真实运动状态。同时，实时计算特征点的坐标位置，将智能处理终端中预设的模型加入到特征点的坐标上，形成了模型与人体的肢体图像的绑定，并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动，并且在绑定后，所绑定的虚拟物品会随着特征点的移动而跟随移动，可以全方位的展示虚拟物品。在虚拟物品与特征点实现绑定后，需要对绑定状态进行进一步的确定，确定虚拟物品与特征点的坐标实现了重合，比如虚拟衣服是否穿在了试穿者的身上，有没有出现虚拟衣服自然形态的错误，有没有身体的某一部分未被虚拟衣物覆盖。
进一步地，可以采用图像引擎或者其它相关插件对所述特征点进行特效渲染，从而形成更好的视觉效果。
进一步地，如果S6步骤中判定多人之间进行了接触，但图像显示装置并未显示多人进行了接触，则通过图像引擎或者其它相关插件进行特效修正，比如增加爆破动画或者爆破音效等。
S8，将所述虚拟模型传输给图像显示装置。
本发明中的人体动作识别的增强现实系统以及方法，可以用于家庭娱乐、竞技游戏等，还可以用于商品销售，如真人模拟试衣，可以实现衣服随人体动作而做出相应变化，人在转身的同时，虚拟衣物也随着人一起转动；还可以借助人体识别的立体坐标数据，与AR应用中预置的形体坐标相比较，用于瑜伽动作训练的反馈，直观地观察动作是否标准；还可以用于真人动作类的互动游戏，比如现在的切水果游戏，只有人手部运动轨迹的显示，游戏者本身的图像并没有显示在屏幕上，或者仅显示虚拟的卡通人物，采用本发明的技术，可以将真实人像实时显示在电视屏幕上，可以同步显示人手部及其他肢体部分的运动，并且游戏者的实时表情也会显示在屏幕上，同时AR应用后台还会处理特征点与游戏中画面或者物体的位置，从而达到手到哪里，切水果的刀峰就会在哪里的效果。本发明还可以应用在滑雪、赛车、足球等诸多动作类游戏上，大大增强了游戏的娱乐性和带入感，实现人机交互、人人交互，给用户带来良好的沉浸式体验。
上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种人体动作识别的增强现实系统，其特征在于，该系统包括：图像采集装置、智能处理终端以及图像显示装置；
其中，图像采集装置包括单目摄像机；智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。
2.根据权利要求1所述的人体动作识别的增强现实系统，其特征在于，所述单目摄像机采用单目UVC摄像机，所述摄像机采集的数据通过USB传递至智能处理终端。
3.根据权利要求2所述的人体动作识别的增强现实系统，其特征在于，所述摄像机采集的数据还可以通过wifi模块或者蓝牙模块传输至智能处理终端。
4.根据权利要求1所述的人体动作识别的增强现实系统，其特征在于，智能处理终端采用安卓系统的主板，由USB接口输入，通过系统控制和调度单元对系统资源进行分配和调度；所述采集到的数据经USB接口输入至智能处理终端后，由图像处理和计算单元进行处理，最终经图像输出单元传输至图像显示装置；图像输出单元为HDMI输出电路。
5.一种人体动作识别的增强现实交互方法，其特征在于，该方法包括以下步骤：
S1，采用图像采集装置对人体的肢体图像进行采集；
S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；
S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；
S4，通过智能处理终端，将所述特征点进行真伪优化；
S5，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；
S6，将所述虚拟模型传输给图像显示装置。
6.根据权利要求5所述的人体动作识别的增强现实交互方法，其特征在于，
S1步骤中，按帧数采集图像，形成一组序列；
S3步骤中，采用肢体图像识别SDK开发包，对人体轮廓及关节特征点进行识别提取；设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列；设定条件，选取可信度高的特征点数据；
S4步骤中，智能处理终端包括图像数据源存储模块和修正计算模块；图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算，然后设置为数据模板，将该数据模板存储在图像数据源存储模块；利用这些数据模板，与后来的图像数据进行匹配，近似度达到一定阈值，则直接采用存储的数据模板，一加快数据的访问速度；修正计算模块的修正计算方式为线性或二次曲线插值方法；
S5步骤中，将S3步骤中识别提取的特征点以及S4步骤中的数据模板中的特征点进行交互判断，使得特征点的运动立体化，从而模拟人体的真实运动状态；同时，将智能处理终端中预设的模型加入到特征点的坐标上，形成了模型与人体的肢体图像的绑定，并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。
7.根据权利要求6所述的人体动作识别的增强现实交互方法，其特征在于，
所述设定的条件为：相邻关节点的距离变化在正确阈内，相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内，则数据可信；反之，则将不可信；将不可信的帧去除，取后续的N帧继续判断。
8.一种多人协同动作识别的增强现实交互方法，其特征在于，该方法包括以下步骤：
S1，采用图像采集装置对人体的肢体图像进行采集；
S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；
S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；
S4，通过智能处理终端，将所述特征点进行真伪优化；
S5，通过智能处理终端，对所述特征点进行分组处理；
S6，通过智能处理终端，对所述特征点进行交互碰撞判断；
S7，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；
S8，将所述虚拟模型传输给图像显示装置。
9.根据权利要求8所述的多人协同动作识别的增强现实交互方法，其特征在于，
S1步骤中，按帧数采集图像，形成一组序列；
S3步骤中，采用肢体图像识别SDK开发包，对人体轮廓及关节特征点进行识别提取；设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列；设定条件，选取可信度高的特征点数据；
S4步骤中，智能处理终端包括图像数据源存储模块和修正计算模块；图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算，然后设置为数据模板，将该数据模板存储在图像数据源存储模块；利用这些数据模板，与后来的图像数据进行匹配，近似度达到一定阈值，则直接采用存储的数据模板，一加快数据的访问速度；修正计算模块的修正计算方式为线性或二次曲线插值方法；
S5步骤中，对多人的肢体图像数据进行分组；将图像采集装置的采集区域进行划分，针对不同采集区域采集的图像数据，进行初始识别，标记为不同的组，从而形成多组序列数据；
S6步骤中，对S5中不同的序列数据进行监视，如果不同的序列数据运动至较为接近的范围内，则判定为多人之间进行了接触；
S7步骤中，将S3-S6步骤中的特征点进行交互判断，使得特征点的运动立体化，从而模拟人体的真实运动状态；同时，将智能处理终端中预设的模型加入到特征点的坐标上，形成了模型与人体的肢体图像的绑定，并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。
10.根据权利要求6所述的人体动作识别的增强现实交互方法，其特征在于，
所述设定的条件为：相邻关节点的距离变化在正确阈内，相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内，则数据可信；反之，则将不可信；将不可信的帧去除，取后续的N帧继续判断；
如果S6步骤中判定多人之间进行了接触，但图像显示装置并未显示多人进行了接触，则通过图像引擎或者其它相关插件进行特效修正，比如增加爆破动画或者爆破音效等。
CN201910612554.XA 2019-07-09 2019-07-09 一种人体动作识别的增强现实系统及方法 Active CN110348370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910612554.XA CN110348370B (zh) 2019-07-09 2019-07-09 一种人体动作识别的增强现实系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910612554.XA CN110348370B (zh) 2019-07-09 2019-07-09 一种人体动作识别的增强现实系统及方法

Publications (2)

Publication Number Publication Date
CN110348370A true CN110348370A (zh) 2019-10-18
CN110348370B CN110348370B (zh) 2021-05-11

Family

ID=68178466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910612554.XA Active CN110348370B (zh) 2019-07-09 2019-07-09 一种人体动作识别的增强现实系统及方法

Country Status (1)

Country Link
CN (1) CN110348370B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028339A (zh) * 2019-12-06 2020-04-17 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN111046782A (zh) * 2019-12-09 2020-04-21 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
WO2022033264A1 (zh) * 2020-08-12 2022-02-17 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
US20130283214A1 (en) * 2012-04-18 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for providing user interface for recognizing gesture
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN105107200A (zh) * 2015-08-14 2015-12-02 济南中景电子科技有限公司 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN105528056A (zh) * 2014-09-28 2016-04-27 广州新节奏智能科技有限公司 一种智能体验购物装置及体验方法
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN107515674A (zh) * 2017-08-08 2017-12-26 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN107908288A (zh) * 2017-11-30 2018-04-13 沈阳工业大学 一种面向人机交互的快速人体动作识别方法
US20180268238A1 (en) * 2017-03-14 2018-09-20 Mohammad Ayub Khan System and methods for enhancing license plate and vehicle recognition
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108876881A (zh) * 2018-06-04 2018-11-23 浙江大学 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统
CN108983975A (zh) * 2018-07-04 2018-12-11 深圳汇创联合自动化控制有限公司 一种基于手势识别的车载终端控制系统
CN109242950A (zh) * 2018-07-11 2019-01-18 天津大学 多人紧密交互场景下的多视角人体动态三维重建方法
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
US20130283214A1 (en) * 2012-04-18 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for providing user interface for recognizing gesture
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN105528056A (zh) * 2014-09-28 2016-04-27 广州新节奏智能科技有限公司 一种智能体验购物装置及体验方法
CN105107200A (zh) * 2015-08-14 2015-12-02 济南中景电子科技有限公司 基于实时深度体感交互与增强现实技术的变脸系统及方法
US20180268238A1 (en) * 2017-03-14 2018-09-20 Mohammad Ayub Khan System and methods for enhancing license plate and vehicle recognition
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN107515674A (zh) * 2017-08-08 2017-12-26 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN107908288A (zh) * 2017-11-30 2018-04-13 沈阳工业大学 一种面向人机交互的快速人体动作识别方法
CN108876881A (zh) * 2018-06-04 2018-11-23 浙江大学 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统
CN108983975A (zh) * 2018-07-04 2018-12-11 深圳汇创联合自动化控制有限公司 一种基于手势识别的车载终端控制系统
CN109242950A (zh) * 2018-07-11 2019-01-18 天津大学 多人紧密交互场景下的多视角人体动态三维重建方法
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A.I.MAQUEDA 等: "Human-action recognition module for the new generation of augmented reality applications", 《ONACADEMIC》 *
张格: "基于本体的运动图库及其应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李蕾: "增强现实应用中的头部动作识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄菲菲 等: "多特征的双人交互动作识别算法研究", 《计算机科学与探索》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028339A (zh) * 2019-12-06 2020-04-17 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN111028339B (zh) * 2019-12-06 2024-03-29 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN111046782A (zh) * 2019-12-09 2020-04-21 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
CN111046782B (zh) * 2019-12-09 2023-06-23 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
WO2022033264A1 (zh) * 2020-08-12 2022-02-17 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN110348370B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
US10412467B2 (en) Personalized live media content
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
CN103793060B (zh) 一种用户交互系统和方法
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN110348370A (zh) 一种人体动作识别的增强现实系统及方法
CN104021590A (zh) 虚拟试穿试戴系统和虚拟试穿试戴方法
CN114097248B (zh) 一种视频流处理方法、装置、设备及介质
US20120053015A1 (en) Coordinated Motion and Audio Experience Using Looped Motions
WO2010138470A2 (en) Gesture coach
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN103400119A (zh) 基于人脸识别技术的混合显示眼镜交互展示方法
CN102508363A (zh) 一种基于增强现实技术的无线显示眼镜及其实现方法
CN111104960B (zh) 一种基于毫米波雷达和机器视觉的手语识别方法
US20190286229A1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
US20210041957A1 (en) Control of virtual objects based on gesture changes of users
CN107422844B (zh) 一种信息处理方法及电子设备
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN109407828A (zh) 一种凝视点估计方法及系统、存储介质及终端
WO2023160356A1 (zh) 一种增强虚拟现实系统用户体验的方法及系统
WO2020147791A1 (zh) 图像处理方法及装置、图像设备及存储介质
CN108933954A (zh) 视频图像处理方法、机顶盒以及计算机可读存储介质
EP4176409A1 (en) Full skeletal 3d pose recovery from monocular camera
US20200406098A1 (en) Techniques for golf swing measurement and optimization
CN103218826B (zh) 基于Kinect的抛体检测、三维定位与轨迹预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant