CN108983956B - 体感交互方法及装置 - Google Patents

体感交互方法及装置 Download PDF

Info

Publication number
CN108983956B
CN108983956B CN201711240622.1A CN201711240622A CN108983956B CN 108983956 B CN108983956 B CN 108983956B CN 201711240622 A CN201711240622 A CN 201711240622A CN 108983956 B CN108983956 B CN 108983956B
Authority
CN
China
Prior art keywords
user
somatosensory interaction
skeleton line
image
somatosensory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711240622.1A
Other languages
English (en)
Other versions
CN108983956A (zh
Inventor
蒋珂
毛河
高体红
周剑
龙学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201711240622.1A priority Critical patent/CN108983956B/zh
Publication of CN108983956A publication Critical patent/CN108983956A/zh
Application granted granted Critical
Publication of CN108983956B publication Critical patent/CN108983956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提出一种体感交互方法及装置，涉及体感交互技术领域。该方法通过获取视频图像，提取所述视频图像中每个用户的骨架线；依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。该体感交互方法及装置极大拓展了体感交互的应用领域，改善了用户采用专门的体感交互设备携带不便以及增加硬件投入的问题；采用人体跟踪技术，可以避免用户在进行体感交互过程中非相关人员的干扰，提高用户体验。此外，本发明通过对多个用户的骨架线进行识别和跟踪，实现了多人体感交互，增加了整个体感交互过程的趣味性。

Description

体感交互方法及装置
技术领域
本发明涉及体感交互技术领域，具体而言，涉及一种体感交互方法及装置。
背景技术
随着游戏领域的发展，体感游戏越来越受到各大厂家以及消费者的青睐。体感游戏是用户通过自身的肢体动作来进行游戏操作，控制屏幕上的游戏人物，相比于传统游戏通过手柄按键操作的方式，体感游戏增加了互动性和娱乐性。
专门的体感游戏设备(例如kinect)，具有较好的识别效果，能给用户提供较好的操作体验，但是需要用户额外的支出购买设备，并且设备携带不方便。而现有的利用单摄像头进行体感交互的设备，虽然避免了专门的体感交互硬件设备携带不便以及增加硬件投入的问题，但是这类设备识别效果较差，不能对人物进行区分，例如体感游戏中无法区分玩家与非玩家，造成用户的体验较差。此外，现有的体感交互游戏都是针对单人的，整个体感交互过程显得比较单调。
发明内容
本发明的目的在于提供一种体感交互方法及装置，以解决上述问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提出一种体感交互方法，所述体感交互方法包括：获取视频图像，其中，所述视频图像中包括至少一个用户；提取所述视频图像中每个用户的骨架线；依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。
第二方面，本发明实施例还提出一种体感交互装置，所述体感交互装置包括：图像获取模块、骨架线提取模块、跟踪模块及指令执行模块。所述图像获取模块用于获取视频图像，其中，所述视频图像中包括至少一个用户；所述骨架线提取模块用于提取所述视频图像中每个用户的骨架线；所述跟踪模块用于依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；所述指令执行模块用于依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。
相对现有技术，本发明具有以下有益效果：本发明实施例提供的体感交互方法及装置，通过获取视频图像，提取所述视频图像中每个用户的骨架线；依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。该体感交互方法及装置只涉及单摄像头一个硬件，摄像头的种类也不受限制，极大拓展了体感交互的应用领域，改善了用户采用专门的体感交互设备携带不便以及增加硬件投入的问题；采用人体跟踪技术，可以避免用户在进行体感交互过程中非相关人员的干扰，提高用户体验。此外，本发明通过对多个用户的骨架线进行识别和跟踪，实现了多人体感交互，增加了整个体感交互过程的趣味性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例的用户终端的方框示意图。
图2示出了本发明第一实施例所提供的体感交互装置的功能模块示意图。
图3示出了图2中跟踪模块的功能模块示意图。
图4示出了本发明第二实施例所提供的体感交互方法的流程示意图。
图5示出了图4中步骤S103的具体流程示意图。
图标：100-用户终端；110-存储器；120-存储控制器；130-处理器；140-外设接口；150-射频单元；160-显示单元；400-体感交互装置；410-图像获取模块；420-骨架线提取模块；430-跟踪模块；440-指令执行模块；431-特征值计算模块；432-相似度计算模块；433-跟踪结果确定模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，本发明实施例所提供的体感交互方法及装置可应用于如图1所示的用户终端100中。在本实施例中，用户终端100可以是，但不限于，个人电脑(personalcomputer，PC)、智能手机、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。用户终端100包括存储器110、存储控制器120、处理器130、外设接口140、射频单元150及显示单元160。
存储器110、存储控制器120、处理器130、外设接口140、射频单元150及显示单元160，各元件之间直接或间接地电性连接，以实现数据的传输或者交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。在本实施例中，体感交互装置400包括至少一个可以软件或固件(firmware)的形式存储于存储器110中或固化在用户终端100的操作装置(operating system，OS)中的软件功能模块。处理器130用于执行存储器110中存储的可执行模块，例如该体感交互装置400所包括的软件功能模块及计算机程序等。
其中，所述存储器110可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器110可用于存储软件程序以及模块，处理器130用于在接收到执行指令后，执行该程序。处理器130以及其他可能的组件对存储器110的访问可在存储控制器120的控制下进行。
处理器130可能是一种集成电路芯片，具有信号的处理能力。处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
外设接口140将各种输入/输出装置(例如射频单元150、显示单元160)耦合至处理器130以及存储器110。在一些实施例中，外设接口140、处理器130以及存储控制器120可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。
射频单元150用于接收以及发送无线电波信号，实现无线电波与电信号的相互转换，从而与网络或其他通信设备进行无线通信。
显示单元160用于提供一个交互界面，以便于用户体验体感交互的过程。在本实施例中，所述显示单元160可以是液晶显示器或触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处产生的触控操作，并将该感应到的触控操作交由处理器130进行计算和处理。
可以理解，图1所示的结构仅为示意，所述用户终端100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参照图2，为本发明第一实施例所提供的体感交互装置400的功能模块示意图。所述体感交互装置400可应用于上述的用户终端100，包括图像获取模块410、骨架线提取模块420、跟踪模块430及指令执行模块440。
所述图像获取模块410用于获取视频图像，其中，所述视频图像中包括至少一个用户。
在本实施例中，可采用单摄像头采集实时视频图像，该视频图像由所述图像获取模块410获取，对于每一帧视频图像，优选地，包括有至少一个用户，该用户可以是体感交互用户，也可以是非体感交互用户。例如，用户进行体感交互游戏时，该视频图像中除了具有玩家以外，还可能有非玩家出现。需要说明的是，本实施例中采用的单摄像头可以是，但不限于，手机摄像头、PC摄像头、USB摄像头、网络摄像头等。由于摄像头种类不受限制，较大地拓展了该体感交互装置400的应用领域，尤其对于网络摄像头来说，直接调用网络摄像头自带的SDK(Software Development Kit，软件开发工具包)进行数据采集，图像质量更高，检测效果更好，改善了用户体验。此外，该体感交互装置400只涉及单摄像头一个硬件，避免了采用专门的体感交互硬件设备造成携带不方便以及增加硬件投入的问题。
所述骨架线提取模块420用于提取所述视频图像中每个用户的骨架线。
在本实施例中，提取出的用户的骨架线用于确定用户所做的体感交互动作。在本实施例中，采用深度学习进行骨架线提取，所述骨架线提取模块420用于提取所述视频图像中每个用户的关节点对属于同一用户的所述关节点进行连线，以得到每个用户的骨架线。
具体地，所述骨架线提取模块420将每一帧视频图像的RGB值转换到-1到1的区间，然后将经过转换的RGB图像采用caffe库算法得到57层数据，根据1～19层数据可得到每个用户的18个关节点以及进行背景识别。在本实施例中，该18个关节点包括：左右眼睛，左右耳朵，鼻子，脖子，左右肩，左右肘，左右腕，左右髋，左右膝盖及左右脚踝。
在得到所有的关节点后，需要将属于同一个用户的所有关节点进行连线得到每个用户的骨架线。具体地，骨架线提取模块420通过上述57层数据中的20～57层数据可计算得到关节点之间的连线，同时判断每一个连线是否属于同一个人，这样就得到每个用户的18个关节点的连线。优选地，在本实施例中，所述骨架线提取模块420还用于将上述得到的18个关节点连线里删除左右眼睛、左右耳朵之间的连线，最终得到只有14个关节点的骨架线。可以理解，在本实施例中，所述视频图像中可以包括多个用户，所述骨架线提取模块420用于提取出每一个用户的骨架线。
需要说明的是，本实施例所提供的骨架线的提取方法仅为一种示例，并不限定于此。例如，在其它实施例中，还可以采用形态学分析、随机森林等进行提取。
所述跟踪模块430用于依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果。
在本实施例中，为了排除用户在体感交互过程中其他人的干扰，需要对体感交互用户与非体感交互用户进行区分通过人体跟踪技术得到的跟踪结果，可以排除非体感交互用户的干扰，提高体感交互体验。
如图3所示，在本实施例中，所述跟踪模块430包括特征值计算模块431、相似度计算模块432及跟踪结果确定模块433。
所述特征值计算模块431用于提取出所述骨架线所在位置的图像并计算人体图像特征值。
在本实施例中，当骨架线提取模块420提取出每个用户的骨架线后，所述特征值计算模块431可将每一骨架线所在区域的图像提取出来，将提取出来的图像(例如，可以是包括视频图像中的用户的限定框)利用caffe库算法将RGB值转换得到上述的人体图像特征值。
所述相似度计算模块432用于计算当前帧图像的人体图像特征值与前一帧图像的人体图像特征值的相似度。
在本实施例中，计算出的相似度可用于判断跟踪是否成功。
所述跟踪结果确定模块433用于依据所述相似度确定所述跟踪结果。
具体地，所述跟踪结果确定模块433用于判断计算出的相似度是否满足预设条件，当所述相似度满足预设条件时，将所述当前帧图像中提取出的骨架线确定为所述跟踪结果。也即是说，当相似度满足预设条件时，表明跟踪成功，视频图像中可能并没有非体感交互用户的干扰，此时视频图像中提取出的用户的骨架线即是体感交互用户的骨架线。
所述跟踪结果确定模块433还用于当所述相似度不满足预设条件时，将当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，以在所述当前帧图像中识别出体感交互用户的骨架线，并将识别出的所述体感交互用户的骨架线确定为所述跟踪结果。当相似度不满足预设条件，表明当前帧图像中可能出现非体感交互用户难以区分，造成了干扰，而起始帧图像中只包含体感交互用户，此时将当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，更容易在当前帧图像中识别出体感交互用户，然后继续上述人体跟踪的过程，此时将经过对比识别出的体感交互用户的骨架线确定为跟踪结果。
在本实施例中，所述预设条件可以是，所述相似度是否大于设定阈值，当所述相似度大于设定阈值时，表明相似度高，跟踪成功；当所述相似度小于或者等于设定阈值时，表明相似度很低，跟踪失败。
所述指令执行模块440用于依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。
容易理解地，上述所述跟踪结果确定模块433中确定的跟踪结果实际上是体感交互用户的骨架线，故表征了体感交互用户。例如，用户进行体感游戏时，该用户为体感交互用户，所述指令执行模块440根据该跟踪结果就可判定出该体感交互用户对应的体感交互指令，通过执行该体感交互指令，进而控制体感游戏中的人物执行与体感交互用户实际所做的动作对应的体感交互动作。
具体地，所述指令执行模块440用于依据所述关节点的坐标的变化与预设的动作指令库进行匹配，以确定所述跟踪结果对应的体感交互指令，并执行所述体感交互指令。例如，本实施例中，所述指令执行模块440根据体感交互用户的骨架线(即是跟踪结果)的关节点坐标的变化与预设的动作指令库(该动作指令库中包括关节点坐标的变化与体感交互指令的对应关系)进行匹配，根据匹配的结果确定出对应的体感交互指令，通过执行所述体感交互指令，进而控制体感游戏中的人物执行与每个体感交互用户实际所做的动作对应的体感交互动作。例如，可根据人体手臂上的骨架线与竖直方向的夹角来判断挥手动作，根据人体左右肩和左右髋区域的中心点的上下移动判断下蹲和上跳动作。
第二实施例
图4示出了本发明第二实施例提供的体感交互方法的流程示意图。需要说明的是，本发明实施例所述的体感交互方法并不以图4以及以下所述的具体顺序为限制，其基本原理及产生的技术效果与第一实施例相同，为简要描述，本实施例中未提及部分，可参考第一实施例中的相应内容。应当理解，在其它实施例中，本发明所述的体感交互方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面，将对图4所示的具体流程进行详细阐述。
步骤S101，获取视频图像，其中，所述视频图像中包括至少一个用户。
可以理解，该步骤S101可以由上述的图像获取模块410执行。
步骤S102，提取所述视频图像中每个用户的骨架线。
在本实施例中，所述步骤S102具体包括：提取所述视频图像中每个用户的关节点，对属于同一用户的所述关节点进行连线，以得到每个用户的骨架线。
可以理解，该步骤S102可以由上述的骨架线提取模块420执行。
步骤S103，依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果。
可以理解，该步骤S103可以由上述的跟踪模块430执行。
进一步地，如图5所示，所述步骤S103可具体包括如下子步骤：
子步骤S1031，提取出所述骨架线所在位置的图像并计算人体图像特征值。
可以理解，该步骤可以由上述的特征值计算模块431执行。
子步骤1032，计算当前帧图像的人体图像特征值与前一帧图像的人体图像特征值的相似度。
可以理解，该步骤可以由上述的相似度计算模块432执行。
子步骤S1033，依据所述相似度确定所述跟踪结果。
具体地，当所述相似度满足预设条件时，将所述当前帧图像中提取出的骨架线确定为所述跟踪结果；当所述相似度不满足预设条件时，将所述当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，以在所述当前帧图像中识别出体感交互用户的骨架线，并将识别出的所述体感交互用户的骨架线确定为所述跟踪结果。
可以理解，该步骤可以由上述的跟踪结果确定模块433执行。
步骤S104，依据所述跟踪结果执行所述体感交互用户对应的体感交互指令。
在本实施例中，该步骤S104具体包括：依据所述关节点的坐标的变化与预设的动作指令库进行匹配，以确定所述跟踪结果对应的体感交互指令，并执行所述体感交互指令。
可以理解，该步骤可以由上述的指令执行模块440执行。
综上所述，本发明实施例提供的体感交互方法及装置，通过获取视频图像，提取所述视频图像中每个用户的关节点，对属于同一用户的所述关节点进行连线得到每个用户的骨架线；依据提取出的所述骨架线进行人体跟踪，即提取出所述骨架线所在位置的图像并计算人体图像特征值，计算当前帧图像的人体图像特征值与前一帧图像的人体图像特征值的相似度，当所述相似度满足预设条件时，将所述当前帧图像中提取出的骨架线确定为所述跟踪结果；当所述相似度不满足预设条件时，将所述当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，以在所述当前帧图像中识别出体感交互用户的骨架线，并将识别出的所述体感交互用户的骨架线确定为所述跟踪结果；然后依据所述关节点的坐标的变化确定所述跟踪结果对应的体感交互指令，进而执行体感交互指令。该体感交互方法及装置只涉及单摄像头一个硬件，摄像头的种类也不受限制，极大拓展了体感交互的应用领域，改善了用户采用专门的体感交互设备携带不便以及增加硬件投入的问题；采用人体跟踪技术，可以避免用户在进行体感交互过程中非相关人员的干扰，提高用户体验。此外，本发明通过对多个用户的骨架线进行识别和跟踪，实现了多人体感交互，增加了整个体感交互过程的趣味性。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (6)

1.一种体感交互方法，其特征在于，所述体感交互方法包括：
获取视频图像，其中，所述视频图像中包括至少一个用户；
提取所述视频图像中每个用户的骨架线；
依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；
依据所述跟踪结果执行所述体感交互用户对应的体感交互指令；
其中，所述依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果的步骤包括：
提取出所述骨架线所在位置的图像并计算人体图像特征值；
计算当前帧图像的人体图像特征值与前一帧图像的人体图像特征值的相似度；
依据所述相似度确定所述跟踪结果；
当所述相似度满足预设条件时，将所述当前帧图像中提取出的骨架线确定为所述跟踪结果；
当所述相似度不满足预设条件时，将所述当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，以在所述当前帧图像中识别出体感交互用户的骨架线，并将识别出的所述体感交互用户的骨架线确定为所述跟踪结果。
2.如权利要求1所述的体感交互方法，其特征在于，所述提取所述视频图像中每个用户的骨架线的步骤包括：
提取所述视频图像中每个用户的关节点；
对属于同一用户的所述关节点进行连线，以得到每个用户的骨架线。
3.如权利要求2所述的体感交互方法，其特征在于，所述依据所述跟踪结果执行所述体感交互用户对应的体感交互指令的步骤包括：
依据所述关节点的坐标的变化与预设的动作指令库进行匹配，以确定所述跟踪结果对应的体感交互指令，并执行所述体感交互指令。
4.一种体感交互装置，其特征在于，所述体感交互装置包括：
图像获取模块，用于获取视频图像，其中，所述视频图像中包括至少一个用户；
骨架线提取模块，用于提取所述视频图像中每个用户的骨架线；
跟踪模块，用于依据提取出的所述骨架线进行人体跟踪，得到表征体感交互用户的跟踪结果；
指令执行模块，用于依据所述跟踪结果执行所述体感交互用户对应的体感交互指令；
所述跟踪模块包括：
特征值计算模块，用于提取出所述骨架线所在位置的图像并计算人体图像特征值；
相似度计算模块，用于计算当前帧图像的人体图像特征值与前一帧图像的人体图像特征值的相似度；
跟踪结果确定模块，用于依据所述相似度确定所述跟踪结果；当所述相似度满足预设条件时，将所述当前帧图像中提取出的骨架线确定为所述跟踪结果；
所述跟踪结果确定模块还用于当所述相似度不满足预设条件时，将所述当前帧图像的人体图像特征值与起始帧图像的人体图像特征值进行对比，以在所述当前帧图像中识别出体感交互用户的骨架线，并将识别出的所述体感交互用户的骨架线确定为所述跟踪结果。
5.如权利要求4所述的体感交互装置，其特征在于，所述骨架线提取模块用于提取所述视频图像中每个用户的关节点，对属于同一用户的所述关节点进行连线，以得到每个用户的骨架线。
6.如权利要求5所述的体感交互装置，其特征在于，所述指令执行模块用于依据所述关节点的坐标的变化与预设的动作指令库进行匹配，以确定所述跟踪结果对应的体感交互指令，并执行所述体感交互指令。
CN201711240622.1A 2017-11-30 2017-11-30 体感交互方法及装置 Active CN108983956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711240622.1A CN108983956B (zh) 2017-11-30 2017-11-30 体感交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711240622.1A CN108983956B (zh) 2017-11-30 2017-11-30 体感交互方法及装置

Publications (2)

Publication Number Publication Date
CN108983956A CN108983956A (zh) 2018-12-11
CN108983956B true CN108983956B (zh) 2021-07-06

Family

ID=64541649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711240622.1A Active CN108983956B (zh) 2017-11-30 2017-11-30 体感交互方法及装置

Country Status (1)

Country Link
CN (1) CN108983956B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007765A (zh) * 2019-04-11 2019-07-12 上海星视度科技有限公司 一种人机交互方法、装置及设备
CN110888531A (zh) * 2019-11-20 2020-03-17 广东奥园奥买家电子商务有限公司 基于体感互动装置的体感互动方法和体感互动装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794439A (zh) * 2015-04-10 2015-07-22 上海交通大学 基于多相机的准正面人脸图像实时优选方法及系统
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN105894538A (zh) * 2016-04-01 2016-08-24 海信集团有限公司 一种目标跟踪方法和装置
CN107247946A (zh) * 2017-07-06 2017-10-13 北京安宁威尔科技发展有限公司 行为识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794439A (zh) * 2015-04-10 2015-07-22 上海交通大学 基于多相机的准正面人脸图像实时优选方法及系统
CN105138111A (zh) * 2015-07-09 2015-12-09 中山大学 一种基于单摄像头的体感交互方法及系统
CN105894538A (zh) * 2016-04-01 2016-08-24 海信集团有限公司 一种目标跟踪方法和装置
CN107247946A (zh) * 2017-07-06 2017-10-13 北京安宁威尔科技发展有限公司 行为识别方法及装置

Also Published As

Publication number Publication date
CN108983956A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
US11380316B2 (en) Speech interaction method and apparatus
CN111508079A (zh) 虚拟服饰试穿方法、装置、终端设备及存储介质
US20090284469A1 (en) Video based apparatus and method for controlling the cursor
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN109005336B (zh) 一种图像拍摄方法及终端设备
CN108900788B (zh) 视频生成方法、视频生成装置、电子装置及存储介质
CN108983956B (zh) 体感交互方法及装置
WO2023040449A1 (zh) 利用健身动作触发客户端操作指令
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
KR102393296B1 (ko) 응답을 디스플레이 하는 디바이스 및 방법
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
CN111103981A (zh) 控制指令生成方法及装置
CN111405361B (zh) 一种视频获取方法、电子设备及计算机可读存储介质
CN109712085B (zh) 一种图像处理方法及终端设备
CN107786896A (zh) 信息的推送方法、装置、终端设备和存储介质
CN105607736B (zh) 一种信息显示方法及终端
CN110674294A (zh) 一种相似度确定方法及电子设备
CN112613490B (zh) 一种行为识别方法、装置、机器可读介质及设备
KR20230087352A (ko) 운동 상태 감지 장치 및 방법
KR101695638B1 (ko) 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
CN113610023A (zh) 设备控制方法、装置、设备及存储介质
CN108763514B (zh) 一种信息显示方法及移动终端
CN108635805B (zh) 一种运动提醒方法及终端设备
US20170277327A1 (en) Method and terminal for detecting grip strength

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant