CN103646425A - 一种体感交互的方法及系统 - Google Patents

一种体感交互的方法及系统 Download PDF

Info

Publication number
CN103646425A
CN103646425A CN201310593532.6A CN201310593532A CN103646425A CN 103646425 A CN103646425 A CN 103646425A CN 201310593532 A CN201310593532 A CN 201310593532A CN 103646425 A CN103646425 A CN 103646425A
Authority
CN
China
Prior art keywords
human body
action
attitudes
body attitude
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310593532.6A
Other languages
English (en)
Inventor
程俊
姜军
陈裕华
吴新宇
肖谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310593532.6A priority Critical patent/CN103646425A/zh
Publication of CN103646425A publication Critical patent/CN103646425A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明适用于通信领域,提供了一种体感交互的方法,包括:根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;利用预设摄像头获取人体姿态图像数据;从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;根据匹配结果识别动作并获取相应的人体姿态及动作属性;根据所述人体姿态及动作属性做出相应的交互动作回应。本发明还提供了一种体感交互的系统。本发明所提供的体感交互的方法及系统能快速有效的实现体感交互。

Description

一种体感交互的方法及系统
技术领域
本发明涉及通信领域,尤其涉及一种体感交互的方法及系统。
背景技术
随着计算机技术的深入发展,在现代化的工作及生活模式中,人们越来越需要跟各类机器打交道;生产机器人、家庭服务机器人、运动游戏机器人等现代化的机器人进入人们的工作生活,通过获取人体姿态及动作数据的新一代体感交互技术进一步加强了人机交互的性能及体验,随着机器人处理任务的强度、难度、复杂度的进一步加强,人机交互成为解决问题的一大关键技术,而且大部分情况下同一类机器只能做一类交互需求,生活工作上更希望同一机器人在处理过程中能完成不同的交互需求,例如运动交互需求,家庭服务需求等。
因此,亟需设计一种全新的体感交互的方法及系统,从而可以更简单、快速、准确的获取人体姿态及动作三维数据,并精确分析其相应的人体姿态和动作模式,同时能在同一处理过程中可以根据需求处理不同的交互需求。
发明内容
有鉴于此,本发明实施例的目的在于提供一种体感交互的方法及系统,旨在解决现有技术中同一类机器只能做单一类别的交互需求而不能处理不同的交互需求的问题。
本发明实施例是这样实现的,一种体感交互的方法,包括:
根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
利用预设摄像头获取人体姿态图像数据;
从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
根据匹配结果识别动作并获取相应的人体姿态及动作属性;
根据所述人体姿态及动作属性做出相应的交互动作回应。
优选的,所述根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库的步骤包括:
利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据;
从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据;
在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据;
对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据;
根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
优选的,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据。
另一方面,本发明还提供一种体感交互的系统,所述系统包括:
模型数据库建立模块,用于根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
图像数据获取模块,用于利用预设摄像头获取人体姿态图像数据;
三维数据计算模块,用于从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
运动轨迹匹配模块,用于在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
动作属性识别模块,用于根据匹配结果识别动作并获取相应的人体姿态及动作属性;
交互动作回应模块,用于根据所述人体姿态及动作属性做出相应的交互动作回应。
优选的,所述模型数据库建立模块包括:
图像获取子模块,用于利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据;
匹配计算子模块,用于从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据;
轨迹获取子模块,用于在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据;
数据分类子模块,用于对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据;
建立存储子模块,用于根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
优选的,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据。
在本发明实施例中,本发明提供的技术方案,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
附图说明
图1为本发明一实施方式中体感交互的方法流程图;
图2为本发明一实施方式中图1所示步骤S11的详细流程示意图;
图3为本发明一实施方式中体感交互的系统结构示意图;
图4为本发明一实施方式中图3所示模型数据库建立模块101的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明具体实施方式提供了一种体感交互的方法,主要包括如下步骤:
S11、根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
S12、利用预设摄像头获取人体姿态图像数据;
S13、从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
S14、在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
S15、根据匹配结果识别动作并获取相应的人体姿态及动作属性;
S16、根据所述人体姿态及动作属性做出相应的交互动作回应。
本发明所提供的一种体感交互的方法,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
以下将对本发明所提供的一种体感交互的方法进行详细说明。
请参阅图1,为本发明一实施方式中体感交互的方法流程图。
在步骤S11中,根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库。
在本实施方式中,可事先根据不同的体感交互需求建立相应的人体姿态及动作轨迹模型,针对不同的体感交互需求,处理系统首先要建立不同体感交互需求的人体姿态及动作轨迹模型,然后存储至体感交互处理系统,如步骤S11所示。在本实施方式中,步骤S11的详细流程主要包括步骤S111-S115,如图2所示。
请参阅图2,为本发明一实施方式中图1所示步骤S11的详细流程示意图。
在步骤S111中,利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据。在本实施方式中,利用双目摄像头主要是为了获取人体各类姿态和动作的左右两幅图像数据,这样为进一步计算得到人体各类姿态和动作的三维立体数据提供原始依据,即基于双目视觉。
在步骤S112中,从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据。
在本实施方式中,特征点为可以代表在像数据中最能体现人体各类姿态及动作的点,通过特征点的提取来获取人体各类姿态和动作的三维数据,其中特征点的匹配计算算法与不同的特征点相对应。
在步骤S113中,在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据。
在本实施方式中,将多帧图像叠加在一起可以获取运动轨迹,基于这一原理,本发明正是通过获取到的所述人体各类姿态和动作的连续多帧图像数据来提取人体各类姿态及动作的轨迹数据。
在步骤S114中,对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据。
在本实施方式中,不同的姿态及动作对应的运动轨迹不同,例如,清洁动作与游戏动作的运动轨迹不同,本发明需要对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据。
在步骤S115中,根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
请继续参阅图1,在步骤S12中,利用预设摄像头获取人体姿态图像数据。在本实施方式中,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据,这样为进一步计算得到人体各类姿态和动作的三维立体数据提供原始依据,即基于双目视觉。
在步骤S13中,从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据。
在本实施方式中,特征点为可以代表在像数据中最能体现人体各类姿态及动作的点,通过特征点的提取来获取人体各类姿态和动作的三维数据,其中特征点的匹配计算算法与不同的特征点相对应。
在步骤S14中,在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配。在本实施方式中,将多帧图像叠加在一起可以获取运动轨迹,基于这一原理,本发明正是通过获取到的所述人体各类姿态和动作的连续多帧图像数据来提取人体各类姿态及动作的轨迹数据。
在步骤S15中,根据匹配结果识别动作并获取相应的人体姿态及动作属性。
在本实施方式中,提取到的运动轨迹可能与已经建立并存储的对应的人体姿态及动作模型数据库中的模型不匹配,这时将不予处理,或者,在其他实施方式中,将新的运动轨迹添加到该人体姿态及动作模型数据库中以便于下次应用时进行相关处理;但是,当提取到的运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库中的模型匹配时,就识别动作并从该人体姿态及动作模型数据库中获取相应的人体姿态及动作属性。
在步骤S16中,根据所述人体姿态及动作属性做出相应的交互动作回应。在本实施方式中,针对不同的体感交互需求,例如家庭清洁、游戏运动、生产服务都有其特有的动作轨迹模型,通过事先获取其人体姿态及其动作的相关数据建立对应的人体姿态及动作模型数据库,用于机器人体感交互过程中识别并在交互过程中作出相应的回应。在本实施方式中,通过双目视觉系统获取图像数据、计算获得人体姿态及动作的三维数据、通过匹配已建立的体感交互需求中的人体姿态及动作模型数据库、快速计算得到人体姿态及相应的动作幅度、速度等属性,最后体感交互系统据此回应相应的交互动作。
本发明所提供的一种体感交互的方法,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
本发明具体实施方式还提供一种体感交互的系统10,主要包括:
模型数据库建立模块101,用于根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
图像数据获取模块102,用于利用预设摄像头获取人体姿态图像数据;
三维数据计算模块103,用于从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
运动轨迹匹配模块104,用于在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
动作属性识别模块105,用于根据匹配结果识别动作并获取相应的人体姿态及动作属性;
交互动作回应模块106,用于根据所述人体姿态及动作属性做出相应的交互动作回应。
本发明所提供的一种体感交互的系统10,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
以下将对本发明所提供的一种体感交互的系统10进行详细说明。
请参阅图3,所示为本发明一实施方式中体感交互的系统10的结构示意图。在本实施方式中,体感交互的系统10包括模型数据库建立模块101、图像数据获取模块102、三维数据计算模块103、运动轨迹匹配模块104、动作属性识别模块105以及交互动作回应模块106。
模型数据库建立模块101,用于根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库。
在本实施方式中,可事先根据不同的体感交互需求建立相应的人体姿态及动作轨迹模型,针对不同的体感交互需求,处理系统首先要建立不同体感交互需求的人体姿态及动作轨迹模型,然后存储至体感交互处理系统。在本实施方式中,模型数据库建立模块101的内部结构详细包括:图像获取子模块1011、匹配计算子模块1012、轨迹获取子模块1013、数据分类子模块1014以及建立存储子模块1015,如图4所示。
请参阅图4,所示为本发明一实施方式中图3所示模型数据库建立模块101的内部结构示意图。
图像获取子模块1011,用于利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据。在本实施方式中,利用双目摄像头主要是为了获取人体各类姿态和动作的左右两幅图像数据,这样为进一步计算得到人体各类姿态和动作的三维立体数据提供原始依据,即基于双目视觉。
匹配计算子模块1012,用于从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据。
在本实施方式中,特征点为可以代表在像数据中最能体现人体各类姿态及动作的点,通过特征点的提取来获取人体各类姿态和动作的三维数据,其中特征点的匹配计算算法与不同的特征点相对应。
轨迹获取子模块1013,用于在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据。
在本实施方式中,将多帧图像叠加在一起可以获取运动轨迹,基于这一原理,本发明正是通过获取到的所述人体各类姿态和动作的连续多帧图像数据来提取人体各类姿态及动作的轨迹数据。
数据分类子模块1014,用于对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据。
在本实施方式中,不同的姿态及动作对应的运动轨迹不同,例如,清洁动作与游戏动作的运动轨迹不同,本发明需要对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据。
建立存储子模块1015,用于根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
请继续参阅图3,图像数据获取模块102,用于利用预设摄像头获取人体姿态图像数据。在本实施方式中,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据,这样为进一步计算得到人体各类姿态和动作的三维立体数据提供原始依据,即基于双目视觉。
三维数据计算模块103,用于从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据。
在本实施方式中,特征点为可以代表在像数据中最能体现人体各类姿态及动作的点,通过特征点的提取来获取人体各类姿态和动作的三维数据,其中特征点的匹配计算算法与不同的特征点相对应。
运动轨迹匹配模块104,用于在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配。在本实施方式中,将多帧图像叠加在一起可以获取运动轨迹,基于这一原理,本发明正是通过获取到的所述人体各类姿态和动作的连续多帧图像数据来提取人体各类姿态及动作的轨迹数据。
动作属性识别模块105,用于根据匹配结果识别动作并获取相应的人体姿态及动作属性。
在本实施方式中,提取到的运动轨迹可能与已经建立并存储的对应的人体姿态及动作模型数据库中的模型不匹配,这时将不予处理,或者,在其他实施方式中,将新的运动轨迹添加到该人体姿态及动作模型数据库中以便于下次应用时进行相关处理;但是,当提取到的运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库中的模型匹配时,就识别动作并从该人体姿态及动作模型数据库中获取相应的人体姿态及动作属性。
交互动作回应模块106,用于根据所述人体姿态及动作属性做出相应的交互动作回应。在本实施方式中,针对不同的体感交互需求,例如家庭清洁、游戏运动、生产服务都有其特有的动作轨迹模型,通过事先获取其人体姿态及其动作的相关数据建立对应的人体姿态及动作模型数据库,用于机器人体感交互过程中识别并在交互过程中作出相应的回应。在本实施方式中,通过双目视觉系统获取图像数据、计算获得人体姿态及动作的三维数据、通过匹配已建立的体感交互需求中的人体姿态及动作模型数据库、快速计算得到人体姿态及相应的动作幅度、速度等属性,最后体感交互系统据此回应相应的交互动作。
本发明所提供的一种体感交互的系统10,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
在本发明实施例中,本发明提供的技术方案,利用双目视觉获取人体姿态图像数据并计算出在三维空间中人体姿态及动作的三维数据,以获取人体连续运动的各类姿态及动作的轨迹,并利用已经建立好的人体姿态及动作模型数据库进行匹配跟踪,能更快速、准确的获取并识别动作轨迹,从而估计出人体姿态及动作模式,同时根据已经建立好的不同体感交互需求数据模型做出相应的不同交互回应,进而实现在同一类机器上能处理不同的交互需求,能适合快速、高效的机器人体感交互产品的实现。
值得注意的是,上述实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种体感交互的方法,其特征在于,所述方法包括:
根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
利用预设摄像头获取人体姿态图像数据;
从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
根据匹配结果识别动作并获取相应的人体姿态及动作属性;
根据所述人体姿态及动作属性做出相应的交互动作回应。
2.如权利要求1所述的体感交互的方法,其特征在于,所述根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库的步骤包括:
利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据;
从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据;
在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据;
对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据;
根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
3.如权利要求1所述的体感交互的方法,其特征在于,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据。
4.一种体感交互的系统,其特征在于,所述系统包括:
模型数据库建立模块,用于根据不同体感交互需求建立并存储对应的人体姿态及动作模型数据库;
图像数据获取模块,用于利用预设摄像头获取人体姿态图像数据;
三维数据计算模块,用于从获取到的所述人体姿态图像数据中提取特征点,并根据所述特征点匹配计算人体姿态及动作的三维数据;
运动轨迹匹配模块,用于在连续获取到的多帧所述人体姿态图像数据中提取运动轨迹,并将所述运动轨迹与已经建立并存储的对应的人体姿态及动作模型数据库进行匹配;
动作属性识别模块,用于根据匹配结果识别动作并获取相应的人体姿态及动作属性;
交互动作回应模块,用于根据所述人体姿态及动作属性做出相应的交互动作回应。
5.如权利要求4所述的体感交互的系统,其特征在于,所述模型数据库建立模块包括:
图像获取子模块,用于利用双目摄像头获取不同体感交互需求的人体各类姿态和动作的连续多帧图像数据;
匹配计算子模块,用于从所述连续多帧图像数据中提取特征点,并根据所述特征点匹配计算得到所述人体各类姿态及动作的三维数据;
轨迹获取子模块,用于在获取到的所述人体各类姿态和动作的连续多帧图像数据中,提取人体各类姿态及动作的轨迹数据;
数据分类子模块,用于对不同的姿态及动作的轨迹数据进行分类,并根据不同的动作及其属性建立相应的体感交互回应动作数据;
建立存储子模块,用于根据人体各类姿态及动作的轨迹数据建立并存储不同的人体姿态、动作以及其相应的体感交互回应动作模型数据库。
6.如权利要求4所述的体感交互的系统,其特征在于,所述预设摄像头包括双目摄像头,用于获取左右两幅人体姿态图像数据。
CN201310593532.6A 2013-11-20 2013-11-20 一种体感交互的方法及系统 Pending CN103646425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310593532.6A CN103646425A (zh) 2013-11-20 2013-11-20 一种体感交互的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310593532.6A CN103646425A (zh) 2013-11-20 2013-11-20 一种体感交互的方法及系统

Publications (1)

Publication Number Publication Date
CN103646425A true CN103646425A (zh) 2014-03-19

Family

ID=50251635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310593532.6A Pending CN103646425A (zh) 2013-11-20 2013-11-20 一种体感交互的方法及系统

Country Status (1)

Country Link
CN (1) CN103646425A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252231A (zh) * 2014-09-23 2014-12-31 河南省辉耀网络技术有限公司 一种基于摄像头的体感识别系统和方法
CN104281265A (zh) * 2014-10-14 2015-01-14 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
CN104317389A (zh) * 2014-09-23 2015-01-28 广东小天才科技有限公司 一种通过动作识别人物角色的方法和装置
CN104966319A (zh) * 2015-06-29 2015-10-07 天脉聚源(北京)科技有限公司 一种在虚拟端生成虚拟球员运动轨迹的方法及装置
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN105678211A (zh) * 2015-12-03 2016-06-15 广西理工职业技术学院 一种人体动态特征的智能识别系统
CN106293012A (zh) * 2015-05-28 2017-01-04 深圳柔石科技有限公司 一种三维体感双向交互系统和方法
CN106548675A (zh) * 2016-11-08 2017-03-29 湖南拓视觉信息技术有限公司 虚拟军事训练方法及装置
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置
CN106888369A (zh) * 2015-01-13 2017-06-23 苏州创捷传媒展览股份有限公司 虚拟望远镜互动装置
CN107024988A (zh) * 2017-03-20 2017-08-08 宇龙计算机通信科技(深圳)有限公司 一种基于用户动作执行操作的方法及装置
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN107643820A (zh) * 2016-07-20 2018-01-30 郎焘 Vr被动型机器人及其实现方法
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN108986191A (zh) * 2018-07-03 2018-12-11 百度在线网络技术(北京)有限公司 人物动作的生成方法、装置及终端设备
CN110633004A (zh) * 2018-06-21 2019-12-31 杭州海康威视数字技术股份有限公司 基于人体姿态估计的交互方法、装置和系统
CN110858277A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 一种获得姿态分类模型的方法以及装置
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
US20100197390A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Pose tracking pipeline
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN102622081A (zh) * 2011-01-30 2012-08-01 北京新岸线网络技术有限公司 一种实现体感交互的方法和系统
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
US20100197390A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Pose tracking pipeline
CN102622081A (zh) * 2011-01-30 2012-08-01 北京新岸线网络技术有限公司 一种实现体感交互的方法和系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317389A (zh) * 2014-09-23 2015-01-28 广东小天才科技有限公司 一种通过动作识别人物角色的方法和装置
CN104317389B (zh) * 2014-09-23 2017-12-26 广东小天才科技有限公司 一种通过动作识别人物角色的方法和装置
CN104252231B (zh) * 2014-09-23 2017-10-10 河南省辉耀网络技术有限公司 一种基于摄像头的体感识别系统和方法
CN104252231A (zh) * 2014-09-23 2014-12-31 河南省辉耀网络技术有限公司 一种基于摄像头的体感识别系统和方法
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
CN104281265A (zh) * 2014-10-14 2015-01-14 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
WO2016058303A1 (zh) * 2014-10-14 2016-04-21 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
KR20160060003A (ko) * 2014-10-14 2016-05-27 보에 테크놀로지 그룹 컴퍼니 리미티드 응용프로그램의 제어방법, 장치 및 전자장비
KR101718837B1 (ko) 2014-10-14 2017-03-22 보에 테크놀로지 그룹 컴퍼니 리미티드 응용프로그램의 제어방법, 장치 및 전자장비
CN106888369A (zh) * 2015-01-13 2017-06-23 苏州创捷传媒展览股份有限公司 虚拟望远镜互动装置
CN106293012A (zh) * 2015-05-28 2017-01-04 深圳柔石科技有限公司 一种三维体感双向交互系统和方法
CN104966319A (zh) * 2015-06-29 2015-10-07 天脉聚源(北京)科技有限公司 一种在虚拟端生成虚拟球员运动轨迹的方法及装置
CN105678211A (zh) * 2015-12-03 2016-06-15 广西理工职业技术学院 一种人体动态特征的智能识别系统
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN107643820A (zh) * 2016-07-20 2018-01-30 郎焘 Vr被动型机器人及其实现方法
CN107643820B (zh) * 2016-07-20 2020-11-06 郎焘 Vr被动型机器人及其实现方法
CN106548675A (zh) * 2016-11-08 2017-03-29 湖南拓视觉信息技术有限公司 虚拟军事训练方法及装置
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置
CN107024988A (zh) * 2017-03-20 2017-08-08 宇龙计算机通信科技(深圳)有限公司 一种基于用户动作执行操作的方法及装置
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN108549484B (zh) * 2018-03-29 2019-09-20 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN110633004A (zh) * 2018-06-21 2019-12-31 杭州海康威视数字技术股份有限公司 基于人体姿态估计的交互方法、装置和系统
CN110633004B (zh) * 2018-06-21 2023-05-26 杭州海康威视数字技术股份有限公司 基于人体姿态估计的交互方法、装置和系统
CN108986191A (zh) * 2018-07-03 2018-12-11 百度在线网络技术(北京)有限公司 人物动作的生成方法、装置及终端设备
CN110858277A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 一种获得姿态分类模型的方法以及装置
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111754620B (zh) * 2020-06-29 2024-04-26 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN103646425A (zh) 一种体感交互的方法及系统
JP6929953B2 (ja) 部屋レイアウト推定方法および技法
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
US11694432B2 (en) System and method for augmenting a visual output from a robotic device
CN104732587B (zh) 一种基于深度传感器的室内3d语义地图构建方法
US20170045950A1 (en) Gesture Recognition Systems
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111402290A (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN105867630A (zh) 机器人的手势识别方法及装置及机器人系统
Murthy et al. Shape priors for real-time monocular object localization in dynamic environments
Günther et al. Context-aware 3D object anchoring for mobile robots
CN103065158A (zh) 基于相对梯度的isa模型的行为识别方法
CN111104930A (zh) 视频处理方法、装置、电子设备及存储介质
Zhou et al. Monoatt: Online monocular 3d object detection with adaptive token transformer
CN104834894A (zh) 一种结合二进制编码和类-Hausdorff距离的手势识别方法
Guan et al. A novel feature points tracking algorithm in terms of IMU-aided information fusion
CN105512610A (zh) 一种基于感兴趣点位置信息的视频中人体动作识别方法
Linton et al. New approaches to 3D vision
Arzani et al. Skeleton-based structured early activity prediction
Pham et al. Unsupervised workflow extraction from first-person video of mechanical assembly
Najmaei et al. A new sensory system for modeling and tracking humans within industrial work cells
Xu et al. APES: Articulated part extraction from sprite sheets
Ardizzone et al. Pose classification using support vector machines
CN104835189A (zh) 基于后缀树运动图模型的运动合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140319