CN110427100A - 一种基于深度摄像头的动作姿态捕捉系统 - Google Patents

一种基于深度摄像头的动作姿态捕捉系统 Download PDF

Info

Publication number
CN110427100A
CN110427100A CN201910596094.6A CN201910596094A CN110427100A CN 110427100 A CN110427100 A CN 110427100A CN 201910596094 A CN201910596094 A CN 201910596094A CN 110427100 A CN110427100 A CN 110427100A
Authority
CN
China
Prior art keywords
module
depth camera
movement posture
human
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910596094.6A
Other languages
English (en)
Inventor
李攀
易姿含
李子序
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zixu Science And Technology Co Ltd
Original Assignee
Wuhan Zixu Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zixu Science And Technology Co Ltd filed Critical Wuhan Zixu Science And Technology Co Ltd
Priority to CN201910596094.6A priority Critical patent/CN110427100A/zh
Publication of CN110427100A publication Critical patent/CN110427100A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了一种基于深度摄像头的动作姿态捕捉系统，包括深度摄像头模块，用于获取深度图像；区域分割模块，用于对人体像素区域进行模式识别，并将人体区域从深度图像的背景区域中分割出来，解析出人体的骨骼数据。本发明追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表，利用调用模块手势识别输入指令等，提高了增强现实系统的捕捉精度，提高了手势捕捉效率。

Description

一种基于深度摄像头的动作姿态捕捉系统
技术领域
本发明涉及增强现实技术领域，更为具体地，涉及一种基于深度摄像头的动作姿态捕捉系统。
背景技术
AR(Augmented Reality)即增强现实，它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。在医疗方面，医生可以利用AR，轻易地进行手术部位的精确定位。在军事方面，部队可以利用AR，进行方位的识别，获得目前所在地点的地理数据等重要军事数据。在航空、航海方面，驾驶人员，通过AR系统，能够轻易、快捷、准确地获得所处方位的地理、天气、气候等相关资料，保证顺利地完成航空、航海工作。现有的增强技术在处理手势识别信号时，识别较为单一，通常是捕捉手势动作信号，而没有考虑到更为全面的人体骨骼运动信号，存在捕捉精度较差等问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度摄像头的动作姿态捕捉系统，显著提高了增强现实系统的捕捉精度，提高了手势捕捉效率。
本发明的目的是通过以下技术方案来实现的：
一种基于深度摄像头的动作姿态捕捉系统，包括：
深度摄像头模块，用于获取深度图像；
区域分割模块，用于对人体像素区域进行模式识别，并将人体区域从深度图像的背景区域中分割出来，解析出人体的骨骼数据；
轮廓提取模块，用于识别出人体轮廓，基于识别出的人体轮廓，对骨骼模型进行三维重建得到重建人体骨骼系统；
追踪模块，用于追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表；
调用模块，用于调用输入指令，所述输入指令包括手势识别输入指令；
手势识别控制模块，用于手势识别，实现用户通过手势与虚拟文物进行交互。
进一步的，所述深度图像包括RGB摄像数据和红外摄像数据。
进一步的，所述深度摄像头模块包括红外摄像头模块。
进一步的，包括交互模块，所述交互模块用于进行力反馈提示。
进一步的，所述交互模块包括操纵杆模块。
进一步的，包括更新模块，所述更新模块用于实时更新骨骼数据缓存，并将另一个交互控制指令，用于与虚拟文物进行交互。
本发明的有益效果是：
(1)本发明通过深度摄像头模块、区域分割模块等，利用RGB摄像头获取彩色视频流并进行处理等，利用深度摄像头模块获取图像，并进行区域分割、轮廓提取等，追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表，在此基础上，利用调用模块手势识别输入指令等，显著提高了增强现实系统的捕捉精度，提高了手势捕捉效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的结构示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：
若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。
在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。
当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。
如图1所示，一种基于深度摄像头的动作姿态捕捉系统，包括：
深度摄像头模块，用于获取深度图像；
区域分割模块，用于对人体像素区域进行模式识别，并将人体区域从深度图像的背景区域中分割出来，解析出人体的骨骼数据；
轮廓提取模块，用于识别出人体轮廓，基于识别出的人体轮廓，对骨骼模型进行三维重建得到重建人体骨骼系统；
追踪模块，用于追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表；
调用模块，用于调用输入指令，所述输入指令包括手势识别输入指令；
手势识别控制模块，用于手势识别，实现用户通过手势与虚拟文物进行交互。
进一步的，所述深度图像包括RGB摄像数据和红外摄像数据。
进一步的，所述深度摄像头模块包括红外摄像头模块。
进一步的，包括交互模块，所述交互模块用于进行力反馈提示。
进一步的，所述交互模块包括操纵杆模块。
进一步的，包括更新模块，所述更新模块用于实时更新骨骼数据缓存，并将另一个交互控制指令，用于与虚拟文物进行交互。
实施例1
如图1所示，一种基于深度摄像头的动作姿态捕捉系统，包括：
深度摄像头模块，用于获取深度图像；
区域分割模块，用于对人体像素区域进行模式识别，并将人体区域从深度图像的背景区域中分割出来，解析出人体的骨骼数据；
轮廓提取模块，用于识别出人体轮廓，基于识别出的人体轮廓，对骨骼模型进行三维重建得到重建人体骨骼系统；
追踪模块，用于追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表；
调用模块，用于调用输入指令，所述输入指令包括手势识别输入指令；
手势识别控制模块，用于手势识别，实现用户通过手势与虚拟文物进行交互。
在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。
所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述分立部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于深度摄像头的动作姿态捕捉系统，其特征在于，包括：
深度摄像头模块，用于获取深度图像；
区域分割模块，用于对人体像素区域进行模式识别，并将人体区域从深度图像的背景区域中分割出来，解析出人体的骨骼数据；
轮廓提取模块，用于识别出人体轮廓，基于识别出的人体轮廓，对骨骼模型进行三维重建得到重建人体骨骼系统；
追踪模块，用于追踪重建骨骼系统中各个关节点数据，并根据追踪到的骨骼数据定义体感语义，基于体感语义制定动作指令映射表；
调用模块，用于调用输入指令，所述输入指令包括手势识别输入指令；
手势识别控制模块，用于手势识别，实现用户通过手势与虚拟文物进行交互。
2.根据权利要求1所述的一种基于深度摄像头的动作姿态捕捉系统，其特征在于，所述深度图像包括RGB摄像数据和红外摄像数据。
3.根据权利要求1所述的一种基于深度摄像头的动作姿态捕捉系统，其特征在于，所述深度摄像头模块包括红外摄像头模块。
4.根据权利要求1所述的一种基于深度摄像头的动作姿态捕捉系统，其特征在于，包括交互模块，所述交互模块用于进行力反馈提示。
5.根据权利要求4所述一种基于深度摄像头的动作姿态捕捉系统，其特征在于，所述交互模块包括操纵杆模块。
6.根据权利要求1～5任一项所述一种基于深度摄像头的动作姿态捕捉系统，其特征在于，包括更新模块，所述更新模块用于实时更新骨骼数据缓存，并将另一个交互控制指令，用于与虚拟文物进行交互。
CN201910596094.6A 2019-07-03 2019-07-03 一种基于深度摄像头的动作姿态捕捉系统 Pending CN110427100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596094.6A CN110427100A (zh) 2019-07-03 2019-07-03 一种基于深度摄像头的动作姿态捕捉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596094.6A CN110427100A (zh) 2019-07-03 2019-07-03 一种基于深度摄像头的动作姿态捕捉系统

Publications (1)

Publication Number Publication Date
CN110427100A true CN110427100A (zh) 2019-11-08

Family

ID=68410234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596094.6A Pending CN110427100A (zh) 2019-07-03 2019-07-03 一种基于深度摄像头的动作姿态捕捉系统

Country Status (1)

Country Link
CN (1) CN110427100A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240486A (zh) * 2020-02-17 2020-06-05 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
CN111290577A (zh) * 2020-01-22 2020-06-16 北京明略软件系统有限公司 一种非接触式输入方法及装置
CN113552944A (zh) * 2021-07-20 2021-10-26 深圳市博乐信息技术有限公司 一种智慧宣传系统
CN113552943A (zh) * 2021-07-20 2021-10-26 深圳市博乐信息技术有限公司 一种用于卫生健康科普的ar交互系统及装置
CN114035683A (zh) * 2021-11-08 2022-02-11 百度在线网络技术（北京）有限公司 用户捕捉方法、装置、设备、存储介质及计算机程序产品
CN117340914A (zh) * 2023-10-24 2024-01-05 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045390A (zh) * 2015-07-08 2015-11-11 安徽瑞宏信息科技有限公司 一种人体上肢骨骼手势识别方法
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN109407709A (zh) * 2018-09-25 2019-03-01 国网天津市电力公司 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045390A (zh) * 2015-07-08 2015-11-11 安徽瑞宏信息科技有限公司 一种人体上肢骨骼手势识别方法
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN109407709A (zh) * 2018-09-25 2019-03-01 国网天津市电力公司 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290577A (zh) * 2020-01-22 2020-06-16 北京明略软件系统有限公司 一种非接触式输入方法及装置
CN111290577B (zh) * 2020-01-22 2024-03-22 北京明略软件系统有限公司 一种非接触式输入方法及装置
CN111240486A (zh) * 2020-02-17 2020-06-05 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
CN111240486B (zh) * 2020-02-17 2021-07-02 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
CN113552944A (zh) * 2021-07-20 2021-10-26 深圳市博乐信息技术有限公司 一种智慧宣传系统
CN113552943A (zh) * 2021-07-20 2021-10-26 深圳市博乐信息技术有限公司 一种用于卫生健康科普的ar交互系统及装置
CN113552944B (zh) * 2021-07-20 2024-03-08 深圳市博乐信息技术有限公司 一种智慧宣传系统
CN114035683A (zh) * 2021-11-08 2022-02-11 百度在线网络技术（北京）有限公司 用户捕捉方法、装置、设备、存储介质及计算机程序产品
CN114035683B (zh) * 2021-11-08 2024-03-29 百度在线网络技术（北京）有限公司 用户捕捉方法、装置、设备、存储介质及计算机程序产品
CN117340914A (zh) * 2023-10-24 2024-01-05 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Similar Documents

Publication Publication Date Title
CN110427100A (zh) 一种基于深度摄像头的动作姿态捕捉系统
CN111694429B (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
Hackenberg et al. Lightweight palm and finger tracking for real-time 3D gesture control
CN111860167B (zh) 人脸融合模型获取及人脸融合方法、装置及存储介质
US20210200190A1 (en) Action imitation method and robot and computer readable storage medium using the same
CN110517319A (zh) 一种相机姿态信息确定的方法及相关装置
WO2019041900A1 (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN111709874A (zh) 图像调整的方法、装置、电子设备及存储介质
CN108960178A (zh) 一种人手姿态估计方法及系统
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN202159302U (zh) 具有用户交互和输入功能的增强现实系统
US11461921B2 (en) Program, system, electronic device, and method for recognizing three-dimensional object
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN111897422B (zh) 一种虚实物体实时融合的实物交互方法与系统
CN109144256A (zh) 一种虚拟现实行为互动方法及装置
CN113269781A (zh) 数据生成方法、装置及电子设备
CN110399039A (zh) 一种基于眼动跟踪的虚实场景融合方法
CN110298912A (zh) 三维场景的复现方法、系统、电子装置及存储介质
CN113407031B (zh) Vr交互方法、系统、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108

RJ01 Rejection of invention patent application after publication