CN107080940A - 基于深度相机Kinect的体感交互转换方法及装置 - Google Patents
基于深度相机Kinect的体感交互转换方法及装置 Download PDFInfo
- Publication number
- CN107080940A CN107080940A CN201710132256.1A CN201710132256A CN107080940A CN 107080940 A CN107080940 A CN 107080940A CN 201710132256 A CN201710132256 A CN 201710132256A CN 107080940 A CN107080940 A CN 107080940A
- Authority
- CN
- China
- Prior art keywords
- mtd
- posture
- user
- artis
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于深度相机Kinect的体感交互转换方法及装置，能够实现非体感应用的体感化操作。该方法包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
Description
技术领域
本发明涉及人机交互技术领域，具体涉及一种基于深度相机Kinect的体感交互转换方法及装置。
背景技术
体感交互的出现是人与机器对话方式回归自然的重要转折，体现了人们对“以人为中心”设计理念的不懈追求。体感游戏是体感交互的一个重要的应用领域，突破了以往单纯以手柄按键输入的操作方式，使人们可以通过肢体动作控制计算机。作为一种新兴的游戏体验模式，体感游戏将用户从控制设备中解放出来，从人机交互角度上来说，可以使玩家自然直观的沉浸在游戏中，带动全身同时运动，让玩家在游戏中得到锻炼，同时也给玩家带来更高的游戏乐趣。
Kinect作为新一代的新型人机交互设备，可以实现将实时捕捉到的人的动作、面部表情以及语音作为机器输入指令，这一强大的特性也使得Kinect成为人机交互领域的一个热点。但目前开发团队开发出优秀的基于Kinect体感游戏存在一定的困难，如游戏开发成本高，设计水平及质量参差不齐，制作周期长，开发效率低等，而制作精良的非体感交互的游戏，游戏数量庞大，资源较为丰富，却不能支持体感化操作。
发明内容
有鉴于此，本发明要解决的问题：提出一种有效的体感交互转换工具，实现非体感应用的体感化操作。
一方面，本发明实施例提出一种基于深度相机Kinect的体感交互转换方法，包括：
S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；
S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
S3、基于转换后的空间信息构建人体骨架三维模型；
S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
另一方面，本发明实施例提出一种基于深度相机Kinect的体感交互转换装置，包括：
获取单元，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；
转换单元，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
构建单元，用于基于转换后的空间信息构建人体骨架三维模型；
建立单元，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
匹配单元，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
本发明实施例提供的基于深度相机Kinect的体感交互转换方法及装置，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。经实验证明，本发明所提出的方法能够使用户通过姿态控制的方式来控制原本基于电脑键盘交互的应用，达到了丰富体感游戏资源的目的。
附图说明
图1为本发明基于深度相机Kinect的体感交互转换方法一实施例的流程示意图；
图2为图1中步骤S3得到的人体骨架三维模型的示意图；
图3为本发明基于深度相机Kinect的体感交互转换装置一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参看图1，本实施例公开一种基于深度相机Kinect的体感交互转换方法，包括：
S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；
S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
S3、基于转换后的空间信息构建人体骨架三维模型；
S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
当用户在Kinect设备前做出特定的动作时，若该动作刚好可以被动作模板库中的动作所匹配，则相对应的动作类型则会检索出来，至此则完成了动作识别过程。之后识别出的动作类型会触发特定的按键消息，从而使用户通过直接做出特定动作控制键盘，实现了键盘交互到体感交互的转换。
本发明实施例提供的基于深度相机Kinect的体感交互转换方法，通过上述技术方案，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。
在前述方法实施例的基础上，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体20个关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息，通过微软提供的Kinect for Windows SDK中的BodyFrameSource，BodyFrameReader，BodyFrameReference，BodyFrame和Body类来获取基本骨架数据信息。这些信息基于Kinect设备空间坐标系。20个关节点分别包括脊椎关节集合(头部、颈部、肩部中央、盆骨中央)，右臂集合(右肩、右肘、右腕，右手)，左臂集合(左肩、左肘、左腕，左手)，右腿集合(右臀、右膝、右踝、右脚)，左腿集合(左臀、左膝、左踝、左脚)。
在前述方法实施例的基础上，所述S2，可以包括：
S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；
S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：
式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。
在前述方法实施例的基础上，所述人体骨架三维模型的构成特征可以包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。构建骨架模型的基本几何要素包括：点，线段。点对应于骨架模型中的关节点，线段对应于骨架模型中的骨骼段。如图2所示为人体骨架三维模型的示意图，20个圆点表示20个关节，圆点连线表示骨骼段。
在前述方法实施例的基础上，所述S4，可以包括：
根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。
本实施例中，基于关节点位置的描述：采用阈值触发机制，如定义“举右手”这个动作时，只需要使右手关节坐标的z坐标减去右肩关节坐标的z坐标大于一定阈值便可实现；基于骨骼段之间角度的描述：每一个骨骼段在3D空间坐标系中表现为一个有长度、有方向的向量，两个向量形成的夹角可以用来描述骨骼段之间的旋转信息；基于关节点相对速度的描述：相对速度的描述指的是人体关节在移动时相对于参考骨架节点的速度，通过储存关节点的当前帧的位置和上一帧的位置，关节点在两帧数据的位置之差比上帧间时差，即可得到该关节点的相对速度。相对速度的描述主要是用以配合相对位置的描述和角度的描述，将满足相对位置或角度的条件的过程纳入动作描述的一种方式中。相对速度主要是体现了这个动作的剧烈程度。基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种对姿态的描述方式，便可以对姿态进行描述，对不同动作类型分别设定不同的阈值，建立动作模板库，为动作的识别提供索引，模板库里的每一个动作类型都会触发某一个特定的按键消息。
参看图3，本实施例公开一种基于深度相机Kinect的体感交互转换装置，包括：
获取单元1，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；
需要说明的是，所述获取单元1获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。
转换单元2，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
本实施例中，所述转换单元，具体可以用于：
以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；
将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：
式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。
构建单元3，用于基于转换后的空间信息构建人体骨架三维模型；
可以理解的是，所述人体骨架三维模型的构成特征可以包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。
建立单元4，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
本实施例中，所述建立单元，具体可以用于：
根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。
匹配单元5，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
本发明实施例提供的基于深度相机Kinect的体感交互转换装置，通过上述技术方案，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于深度相机Kinect的体感交互转换方法，其特征在于，包括：
S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；
S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
S3、基于转换后的空间信息构建人体骨架三维模型；
S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
2.根据权利要求1所述的方法，其特征在于，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。
3.根据权利要求2所述的方法，其特征在于，所述S2，包括：
S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；
S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>z</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
<mo>=</mo>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>z</mi>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。
4.根据权利要求3所述的方法，其特征在于，所述人体骨架三维模型的构成特征包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。
5.根据权利要求4所述的方法，其特征在于，所述S4，包括：
根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。
6.一种基于深度相机Kinect的体感交互转换装置，其特征在于，包括：
获取单元，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；
转换单元，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；
构建单元，用于基于转换后的空间信息构建人体骨架三维模型；
建立单元，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；
匹配单元，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。
7.根据权利要求6所述的装置，其特征在于，所述获取单元获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。
8.根据权利要求7所述的装置，其特征在于，所述转换单元，具体用于：
以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；
将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>z</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
<mo>=</mo>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>z</mi>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>z</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。
9.根据权利要求8所述的装置，其特征在于，所述人体骨架三维模型的构成特征包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。
10.根据权利要求9所述的装置，其特征在于，所述建立单元，具体用于：
根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710132256.1A CN107080940A (zh) | 2017-03-07 | 2017-03-07 | 基于深度相机Kinect的体感交互转换方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710132256.1A CN107080940A (zh) | 2017-03-07 | 2017-03-07 | 基于深度相机Kinect的体感交互转换方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107080940A true CN107080940A (zh) | 2017-08-22 |
Family
ID=59614784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710132256.1A Pending CN107080940A (zh) | 2017-03-07 | 2017-03-07 | 基于深度相机Kinect的体感交互转换方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107080940A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153421A (zh) * | 2017-12-25 | 2018-06-12 | 深圳Tcl新技术有限公司 | 体感交互方法、装置及计算机可读存储介质 |
| CN108762481A (zh) * | 2018-04-08 | 2018-11-06 | 深圳市博乐信息技术有限公司 | 基于人体骨骼的自适应人机交互方法及系统 |
| WO2019041900A1 (zh) * | 2017-09-04 | 2019-03-07 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
| CN109656355A (zh) * | 2018-10-23 | 2019-04-19 | 西安交通大学 | 一种手机与其他显示设备的交互方法及装置 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| CN110928408A (zh) * | 2019-11-11 | 2020-03-27 | 中国电子科技集团公司电子科学研究院 | 基于二维图像人体姿态匹配的人机交互方法及装置 |
| CN111093782A (zh) * | 2017-09-05 | 2020-05-01 | 富士通株式会社 | 评分方法、评分程序以及评分装置 |
| CN111522429A (zh) * | 2019-02-01 | 2020-08-11 | 北京市商汤科技开发有限公司 | 基于人体姿态的交互方法及装置、计算机设备 |
| CN111754619A (zh) * | 2020-06-29 | 2020-10-09 | 武汉市东旅科技有限公司 | 骨骼空间数据采集方法、采集装置、电子设备和存储介质 |
| CN112504188A (zh) * | 2020-11-19 | 2021-03-16 | 东风汽车集团有限公司 | 一种生成人体模型的方法和测量人体尺寸的装置 |
| CN112686977A (zh) * | 2020-12-31 | 2021-04-20 | 北京爱奇艺科技有限公司 | 人体模型动作重定向方法、装置、电子设备及存储介质 |
| CN112990137A (zh) * | 2021-04-29 | 2021-06-18 | 长沙鹏阳信息技术有限公司 | 一种基于模板匹配的教室学生坐姿分析方法 |
| CN113457106A (zh) * | 2020-03-31 | 2021-10-01 | 荣耀终端有限公司 | 一种跑步姿态检测方法与穿戴设备 |
| CN113591712A (zh) * | 2021-07-30 | 2021-11-02 | 天津市府易科技股份有限公司 | 一种基于ai识别的用户异常行为识别方法及装置 |
| CN113807280A (zh) * | 2021-09-23 | 2021-12-17 | 大连海事大学 | 一种基于Kinect的虚拟船舶机舱系统与方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970883A (zh) * | 2014-05-20 | 2014-08-06 | 西安工业大学 | 基于对齐聚类分析的运动序列检索方法 |
| CN104035557A (zh) * | 2014-05-22 | 2014-09-10 | 华南理工大学 | 一种基于关节活跃度的Kinect动作识别方法 |
| CN104317386A (zh) * | 2014-06-25 | 2015-01-28 | 西南科技大学 | 一种姿势序列有限状态机动作识别方法 |
| CN105844258A (zh) * | 2016-04-13 | 2016-08-10 | 中国农业大学 | 动作识别方法及装置 |
| CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| CN105930773A (zh) * | 2016-04-13 | 2016-09-07 | 中国农业大学 | 动作识别方法及装置 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN106445138A (zh) * | 2016-09-21 | 2017-02-22 | 中国农业大学 | 基于3d关节点坐标的一种人体姿态特征提取方法 |
-
2017
- 2017-03-07 CN CN201710132256.1A patent/CN107080940A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970883A (zh) * | 2014-05-20 | 2014-08-06 | 西安工业大学 | 基于对齐聚类分析的运动序列检索方法 |
| CN104035557A (zh) * | 2014-05-22 | 2014-09-10 | 华南理工大学 | 一种基于关节活跃度的Kinect动作识别方法 |
| CN104317386A (zh) * | 2014-06-25 | 2015-01-28 | 西南科技大学 | 一种姿势序列有限状态机动作识别方法 |
| CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| CN105844258A (zh) * | 2016-04-13 | 2016-08-10 | 中国农业大学 | 动作识别方法及装置 |
| CN105930773A (zh) * | 2016-04-13 | 2016-09-07 | 中国农业大学 | 动作识别方法及装置 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN106445138A (zh) * | 2016-09-21 | 2017-02-22 | 中国农业大学 | 基于3d关节点坐标的一种人体姿态特征提取方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019041900A1 (zh) * | 2017-09-04 | 2019-03-07 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
| CN111093782A (zh) * | 2017-09-05 | 2020-05-01 | 富士通株式会社 | 评分方法、评分程序以及评分装置 |
| CN108153421B (zh) * | 2017-12-25 | 2021-10-01 | 深圳Tcl新技术有限公司 | 体感交互方法、装置及计算机可读存储介质 |
| CN108153421A (zh) * | 2017-12-25 | 2018-06-12 | 深圳Tcl新技术有限公司 | 体感交互方法、装置及计算机可读存储介质 |
| CN108762481A (zh) * | 2018-04-08 | 2018-11-06 | 深圳市博乐信息技术有限公司 | 基于人体骨骼的自适应人机交互方法及系统 |
| CN109656355A (zh) * | 2018-10-23 | 2019-04-19 | 西安交通大学 | 一种手机与其他显示设备的交互方法及装置 |
| CN111522429A (zh) * | 2019-02-01 | 2020-08-11 | 北京市商汤科技开发有限公司 | 基于人体姿态的交互方法及装置、计算机设备 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| CN110928408A (zh) * | 2019-11-11 | 2020-03-27 | 中国电子科技集团公司电子科学研究院 | 基于二维图像人体姿态匹配的人机交互方法及装置 |
| CN113457106A (zh) * | 2020-03-31 | 2021-10-01 | 荣耀终端有限公司 | 一种跑步姿态检测方法与穿戴设备 |
| CN111754619A (zh) * | 2020-06-29 | 2020-10-09 | 武汉市东旅科技有限公司 | 骨骼空间数据采集方法、采集装置、电子设备和存储介质 |
| CN112504188A (zh) * | 2020-11-19 | 2021-03-16 | 东风汽车集团有限公司 | 一种生成人体模型的方法和测量人体尺寸的装置 |
| CN112504188B (zh) * | 2020-11-19 | 2021-11-23 | 东风汽车集团有限公司 | 一种生成人体模型的方法 |
| CN112686977A (zh) * | 2020-12-31 | 2021-04-20 | 北京爱奇艺科技有限公司 | 人体模型动作重定向方法、装置、电子设备及存储介质 |
| CN112686977B (zh) * | 2020-12-31 | 2024-03-08 | 北京爱奇艺科技有限公司 | 人体模型动作重定向方法、装置、电子设备及存储介质 |
| CN112990137A (zh) * | 2021-04-29 | 2021-06-18 | 长沙鹏阳信息技术有限公司 | 一种基于模板匹配的教室学生坐姿分析方法 |
| CN112990137B (zh) * | 2021-04-29 | 2021-09-21 | 长沙鹏阳信息技术有限公司 | 一种基于模板匹配的教室学生坐姿分析方法 |
| CN113591712A (zh) * | 2021-07-30 | 2021-11-02 | 天津市府易科技股份有限公司 | 一种基于ai识别的用户异常行为识别方法及装置 |
| CN113807280A (zh) * | 2021-09-23 | 2021-12-17 | 大连海事大学 | 一种基于Kinect的虚拟船舶机舱系统与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107080940A (zh) | 基于深度相机Kinect的体感交互转换方法及装置 | |
| CN103246351B (zh) | 一种用户交互系统和方法 | |
| CN110930483B (zh) | 一种角色控制的方法、模型训练的方法以及相关装置 | |
| US6685566B2 (en) | Compound reality presentation apparatus, method therefor, and storage medium | |
| CN102253713B (zh) | 面向三维立体影像显示系统 | |
| CN111553968B (zh) | 一种三维人体重构动画的方法 | |
| JP2019061707A (ja) | ヒューマンコンピュータインタラクションの制御方法及びその運用 | |
| CN108334199A (zh) | 基于增强现实的移动式多模态交互方法及装置 | |
| CN104123747B (zh) | 多方式触控三维建模方法和系统 | |
| CN105930767A (zh) | 一种基于人体骨架的动作识别方法 | |
| Ishigaki et al. | Performance-based control interface for character animation | |
| CN101958007A (zh) | 一种采用草绘的三维动画姿态建模方法 | |
| JP6793905B2 (ja) | ロボットの行動シミュレーション装置 | |
| CN110286763A (zh) | 一种具有认知功能的导航式实验交互装置 | |
| CN106873767A (zh) | 一种虚拟现实应用的运行控制方法和装置 | |
| CN106390409B (zh) | 一种乒乓球机器人的击球方法及装置 | |
| CN104867171A (zh) | 一种三维角色的过渡动画生成方法 | |
| JP2019121388A (ja) | 仮想現実の長距離相互作用のためのシステム及び方法 | |
| CN106406875A (zh) | 基于自然手势的虚拟数字雕塑方法 | |
| CN109550250A (zh) | 虚拟对象骨骼数据处理方法及装置、存储介质、电子设备 | |
| CN106371579A (zh) | 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统 | |
| CN115686193A (zh) | 一种增强现实环境下虚拟模型三维手势操纵方法及系统 | |
| CN105034006A (zh) | 一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法 | |
| CN107633551A (zh) | 一种虚拟键盘的展示方法及装置 | |
| CN102430244A (zh) | 一种通过手指接触产生视觉上的人机互动的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170822 |