CN108549484A - 基于人体动态姿态的人机交互方法和装置 - Google Patents
基于人体动态姿态的人机交互方法和装置 Download PDFInfo
- Publication number
- CN108549484A CN108549484A CN201810301243.7A CN201810301243A CN108549484A CN 108549484 A CN108549484 A CN 108549484A CN 201810301243 A CN201810301243 A CN 201810301243A CN 108549484 A CN108549484 A CN 108549484A
- Authority
- CN
- China
- Prior art keywords
- human body
- body dynamic
- dynamic posture
- posture
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000002452 interceptive effect Effects 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000000694 effects Effects 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 177
- 238000010586 diagram Methods 0.000 description 14
- 238000009877 rendering Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及人工智能技术领域。为了解决现有人机交互过程中对人体动态姿态检测率差的问题，本公开实施例提供了一种基于人体动态姿态的人机交互方法和装置，该装置包括接收模块用于接收检测区检测到的人体动态姿态；交互模块用于根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
Description
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种基于人体动态姿态的人机交互方法和装置。
背景技术
现有电子移动终端中，人机交互的检测具有迟滞性与误差率，不能及时有效的检测人机交互的信息，进而影响用户的体验性。对于人机交互中人体动态姿态的检测难度更高，因为要考虑到人体动态姿态的空间姿势以及动态姿态的完成速率，上述两种属性值都需要人机交互终端进行精确的检测与计算，才能更有效地完成人机交互整个过程。
发明内容
本公开实施例提供了一种基于人体动态姿态的人机交互方法和装置。
第一方面，本公开实施例提供了一种基于人体动态姿态的人机交互方法，包括以下步骤：接收检测区检测到的人体动态姿态；根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
第四方面，本公开实施例提供了一种基于人体动态姿态的人机交互装置，包括：接收模块，用于接收检测区检测到的人体动态姿态；交互模块，用于根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本公开实施例的终端设备的硬件结构示意图；
图2为本公开实施例一的基于人体动态姿态的人机交互装置的结构示意图；
图3为图2所示的基于人体动态姿态的人机交互装置的工作流程图；
图4为本公开实施例二的基于人体动态姿态的人机交互装置的结构示意图；
图5为图4所示的基于人体动态姿态的人机交互装置的工作流程图；
图6为本公开实施例三的基于人体动态姿态的人机交互装置的结构示意图；
图7为图6所示的基于人体动态姿态的人机交互装置的工作流程图；
图8为本公开实施例的基于人体动态姿态的人机交互装置的硬件框图；
图9为本公开实施例的计算机可读存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
如图1所示，终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
在本公开的一个实施例中，终端设备可以包括无线通信单元1、A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中，A/V(音频/视频)输入单元2包括但不限于，摄像头、前置摄像头，后置摄像头，各类音视频输入设备。本领域的技术人员应该理解，上述实施例列出的终端设备所包括的组件，不止上述所述的种类，可以包括更少或者更多的组件。
本领域的技术人员应该理解，这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。
具体的，本公开实施例提供了一种基于人体动态姿态的人机交互装置，包括：成像装置，接收模块用于接收检测区检测到的人体动态姿态；交互模块用于根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
本实施例中，接收检测区检测到的人体动态姿态；再根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。本公开实施例达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
实施例一
如图2所示，本实施例的基于人体动态姿态的人机交互装置，包括：接收模块200和交互模块400。其中，接收模块200用于接收检测区检测到的人体动态姿态；交互模块400用于根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
本实施例中，接收检测区检测到的人体动态姿态，可以理解为对至少一个检测区检测到的人体动态姿态；再根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。本公开实施例达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
图3为图2所示的基于人体动态姿态的人机交互装置的工作流程图。具体步骤如下：
步骤202，接收检测区检测到的人体动态姿态。其中，检测区为人机交互装置显示区中的至少一个显示区域。
步骤204，根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
本公开实施例公开的人体动态姿态的人机交互方法，接收检测区检测到的人体动态姿态；根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。上述方法达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
实施例二
如图4所示，本实施例的基于人体动态姿态的人机交互装置与实施例一不同的是，该装置添加了生成模块500、标注模块600、计算模块700、第一获取模块800和第二获取模块900。具体的，接收模块200用于接收检测区检测到的人体动态姿态；标注模块600用于通过人工标注方式对人体动态姿态的各个特征点位置进行标注；计算模块700用于对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标；第一获取模块800用于通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的特征点位置的初始位置配置；第二获取模块900用于根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位；生成模块500用于接收使用者在预设时间内完成的人体动态姿态，对人体动态姿态的关键点定位和人体动态姿态估计，生成一个中心控制点；交互模块400用于根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
需要说明的是，通过人工标注方式对人体动态姿态的各个特征点位置进行标注；对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标。其中，人体动态姿态框通过预设人体动态姿态检测算法计算获取。由此，对检测区检测到的人体动态姿态的数据提供了精准的技术支持。此外，还需要说明的是，通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的特征点位置的初始位置配置；再根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位。由此，为后续对人体动态姿态完成情况的判断提供精准的数据支持。
此外，接收模块200接收检测区检测到的人体动态姿态的方式可以为：建立人体动态姿态模板，通过光学摄录装置，如移动终端的摄像头，kinect等捕捉检测区的人体动态姿态，将捕捉到检测区的人体动态姿态与建立的人体动态姿态模板进行比对，完成检测区检测到的人体动态姿态，即为检测到的有效姿态。
需要说明的是，建立人体动态姿态模板具体操作为：基于人体动态姿态的估计，基于人体动态姿态与人体关键点的绑定。具体的，基于人体动态姿态的估计主要是指在输入图片中获取各个人体部件，即人体的组成部分，例如，头，左右上臂等位置、大小以及方向等。为了从输入图片中检测出人体姿态，必须对输入图片进行扫描；由于图片中人体部件的大小以及位置分布都不固定，因此扫描每个人体部件时需要以不同的位置、尺度和方向进行扫描。然后，将扫描得到的特征发送至二值分类器进行检测，以判断是否为人体。可以理解的是，在检测之前，需要对二值分类器进行训练来获取分类器的参数。需要说明的是，由于检测的时候可能将输入图片中的同一个人体检测为多个不同但是十分相近似的姿态，因此需要对分类结果进行融合操作，以排除重复的姿态。
此外，预存的基于人体动态姿态的模板的生成还可以基于部件的人体姿态的估计采用的图结构模型。其中，图结构模型主要分为图模型、部件的观测模型和图推理三个部分。图模型表示人体架构，用来描述所有人体部件的整体约束关系，图模型一般采用树模型，其中每对相邻部件的约束关系采用部件之间的变形模型来进行建模；部件的观测模型对人体部件的外观建立模型，特征选择的好坏决定了部件的外观模型的好坏；图推理是利用建立的图模型和部件观测模型来估计待检测图片中的人体姿态。在进行图推理之前，要通过分类器训练获得人体模型的参数。
需要说明的是，基于部件的人体模型一般采用骨架模型或铰链形状模型。其中，骨架模型即棍图模型，由人体部件的中轴线段组成，这些线段一般相互连接。骨架模型简单直观；铰链式形状模型一般使用矩形来表示人体部件，铰链式形状模型比骨架模型含有更多的信息量，不仅能够描述人体部件的位置，还能描述人体部件的宽度信息，由此，通过增强可描述的量为后续的比对奠定基础。
进一步地，人体动态姿态的估计操作完成后，选取人体关键点。其中，关键点选取17个骨骼关键点，17个骨骼关键点分别为：头部、右侧肩膀、右侧肘部、右侧腕部，右手、左侧肩部、左侧肘部、左侧腕部、左手、右膝盖、右踝、右脚、左膝盖、左踝、左脚、右髋、左髋。将上述17个骨骼关键点与基于人体姿态估计的这个动作事件进行绑定。由此，为后续使用者执行基于人体姿态的模板的动作事件提供了准确的数据支撑，具有良好的易用性。
更进一步地，接收检测区检测到的人体动态姿态的方式还可以通过动作信息采集模块包括但不限于位移传感器，例如位移陀螺仪，采集三维空间三个轴线上的角速度和位移，从而计算出距离、加速度传感器，例如重力加速度传感器，采集三维空间三个轴线上的加速度参数，从而通过多个加速度参数计算出运动加速度和运动方向、光学跟踪传感器以及位置定义模块。其中，位置定义模块用于每一个传感器进行位置的设定，同时也可以作为信息数据端处理来自各个不同位置的传感器的动作信号的基本数据。
本实施例中，接收检测区检测到的人体动态姿态，可以理解为对至少一个检测区检测到的人体动态姿态；再根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。本公开实施例达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
本实施例中，通过检测人体动态姿态方式的多选择性，提高了交互的精准性，同时，标注模块、计算模块、第一获取模块、第二获取模块以及生成模块的添加，为后续交互模块的精准性与快速性提供了数据支持。
图5为图4所示的基于人体动态姿态的人机交互装置的工作流程图。具体流程步骤说明如下：
步骤401，接收检测区检测到的人体动态姿态。其中，检测区为人机交互装置显示区中的至少一个显示区域。
步骤402，通过人工标注方式对人体动态姿态的各个特征点位置进行标注。
步骤403，对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标。
步骤404，通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的特征点位置的初始位置配置。
步骤405，根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位。
步骤406，接收使用者在预设时间内完成的人体动态姿态，对人体动态姿态的关键点定位和人体动态姿态估计，生成一个中心控制点。
步骤407，根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
本公开实施例公开的人体动态姿态的人机交互方法，接收检测区检测到的人体动态姿态；根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。上述方法达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
本实施例中，通过检测人体动态姿态方式的多选择性，提高了交互的精准性，同时，通过人工标注方式对人体动态姿态的各个特征点位置进行标注；对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标，其中，人体动态姿态框通过预设人体动态姿态检测算法计算获取；通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的所述特征点位置的初始位置配置；根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位等操作，为后续交互模块的精准性与快速性提供了数据支持。
实施例三
如图6所示，本实施例的基于人体动态姿态的人机交互装置与实施例一不同的是，该装置除了添加了生成模块500、标注模块600、计算模块700、第一获取模块800和第二获取模块900之外，交互模块400还包括第一判定单元401和第二判定单元402。具体的，接收模块200用于接收检测区检测到的人体动态姿态；标注模块600用于通过人工标注方式对人体动态姿态的各个特征点位置进行标注；计算模块700用于对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标；第一获取模块800用于通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的特征点位置的初始位置配置；第二获取模块900用于根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位；生成模块500用于接收使用者在预设时间内完成的人体动态姿态，对人体动态姿态的关键点定位和人体动态姿态估计，生成一个中心控制点；交互模块400用于根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
本实施例中，交互模块400包括：第一判定单元401用于当使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对成功时，判定人体动态姿态为有效姿态；第二判定单元402用于当使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对失败时，判定人体动态姿态为无效姿态，且在画面交互内容上显示预设提示信息。由此，提高了根据不同交互结果呈现不同交互显示画面的易用性。
需要说明的是，当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。其中，预设效果为画面内容高亮效果；画面内容以预设效果显示成像的方式实现人机交互动作的确定，包括：当解析获得的画面元素的数据与接收的人机交互动作数据比对成功时，画面内容以高亮效果进行渲染与显示成像。此外，预设效果还可以画面内容以预设次数的屏幕闪烁效果出现，当解析获得的画面元素的数据与接收的人机交互动作数据比对成功时，画面内容以预设次数的屏幕闪烁效果进行渲染与显示成像。
需要说明的是，对画面内容进行渲染可以为真实感图像渲染也可以为非真实感图像渲染。关于对画面内容进行真实感图像渲染，具体的，对于场景中的物体，要得到它的真实感图像，就要对它进行透视投影，并作隐藏面的消隐，然后计算可见面的光照明暗效果，得到场景的真实感图像显示。但是，仅仅对场景进行隐藏面消除所得到的图像真实感是不够的，如何处理物体表面的光照明暗效果，通过使用不同的色彩灰度，来增加图形图像的真实感，这也是场景图像真实感的主要来源。
计算机真实感图像是一种光栅图像，由像素构成。生成一幅真实感图像时，必须逐个像素地计算画面上相应内容表面区域的颜色。显然在计算可见景物表面区域的颜色时，不但要考虑光源对该区域入射光及光亮度和光谱组成，而且还要考虑该表面区域对光源的朝向，表面的材料和反射性质等。这种计算必须基于一定的光学物理模型，即光照明模型。基于场景几何和光照模型生成一幅真实感图像的过程称之为绘制。常用的真实感图像绘制算法包括扫描线算法，光线跟踪算法，光能辐射度方法等。此外，关于对画面内容进行非真实感图像渲染，具体的，在非真实感图像渲染中，需要对渲染内容和方式做出主动的选择。非真实感图像渲染经常由一个预设应用程序实现，这个预设应用程序以一幅图像或三维实体为输入，而输出特定多个属性的图像。
可以理解的是，对画面内容进行渲染与显示成像，包括：通过调用预设编程接口对画面内容进行渲染与显示成像。通过使用该接口，提高成像文件的兼容性与成像的高效性。
更进一步地，交互模块400中的第一判定单元401，当使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对成功时，判定人体动态姿态为有效姿态，且交互模块400同时以预设效果显示成像的画面交互内容完成交互操作。具体的，交互模块400使得移动终端上同时显示第一层画面以及第二层画面。可以认为移动终端中的显示模块保护两层显示区块，在第一层画面的预设显示时间段中，根据第一层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示；在第二层画面的预设显示时间段中，根据第二层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示。
需要说明的是，本公开的基于人体动态姿态的人机交互装置中的交互模块中第一层画面以及第二层画面在预设显示时间段为相同显示时间段进行显示，从而达到第一层画面与第二层画面的充电、加载、渲染与显示同步的效果。此外，还包括：交互模块中第一层画面以及第二层画面在预设显示时间段为不相同显示时间段进行显示时，第一层画面与第二层画面也可以进行分时间段进行显示，由此，达到了显示的多选择性与灵活性。当然，基于第一层画面以及第二层画面若在预设显示时间段为不相同显示时间段进行显示时，具体的显示顺序还可以通过在第一层画面的预设显示时间段内最后被充电、加载、渲染以及成像的显示区块，在第二层画面的预设显示时间段内会被调整为最先被充电，且该显示区块的其余显示区块，在第二层画面的预设显示时间段内被充电的顺位为在第一层画面的预设显示时间段内被充电的顺位向后增加一个顺位。由此，提高了第一层画面与第二层画面即便不同时显示的交替性与层次性。
此外，还需要说明的是，本公开的基于人体动态姿态的人机交互装置中交互模块的应用，还大幅度优化了人机交互显示的美观与速度。
图7为图6所示的基于人体动态姿态的人机交互装置的工作流程图。具体步骤如下：
步骤601，接收检测区检测到的人体动态姿态。其中，检测区为人机交互装置显示区中的至少一个显示区域。
步骤602，通过人工标注方式对人体动态姿态的各个特征点位置进行标注。
步骤603，对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在人体动态姿态框中的局部坐标。
步骤604，通过对所有特征点的坐标进行计算平均值，获取平均人体动态姿态的特征点位置，作为人体动态姿态的特征点位置的初始位置配置。
步骤605，根据人体动态姿态的特征点位置的初始位置配置，结合人体动态姿态对齐模型进行迭代，获取人体动态姿态的特征点位置，即完成关键点定位。
步骤606，接收使用者在预设时间内完成的人体动态姿态，对人体动态姿态的关键点定位和人体动态姿态估计，生成一个中心控制点。
步骤607，判定使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对是否成功。
步骤608，当使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对成功时，判定人体动态姿态为有效姿态，同时获取以预设效果显示成像的画面交互内容。
步骤609，当使用者的人体动态姿态完成情况与人机交互过程中应用程序中的画面元素比对失败时，判定人体动态姿态为无效姿态，且在画面交互内容上显示预设提示信息。
本公开实施例公开的人体动态姿态的人机交互方法，接收检测区检测到的人体动态姿态；根据使用者的人体动态姿态完成情况判断人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。上述方法达到通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
图8是图示根据本公开的实施例的基于人体动态姿态的人机交互装置的硬件框图。如图8所示，根据本公开实施例的基于人体动态姿态的人机交互装置80包括存储器801和处理器802。基于人体动态姿态的人机交互装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制基于人体动态姿态的人机交互装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行存储器801中存储的计算机可读指令，使得基于人体动态姿态的人机交互装置80执行上述基于人体动态姿态的人机交互方法。基于人体动态姿态的人机交互装置与上述基于人体动态姿态的人机交互方法描述的实施例相同，在此将省略其重复描述。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的基于人体动态姿态的人机交互方法。
以上，根据本公开实施例的基于人体动态姿态的人机交互方法和装置，以及计算机可读存储介质。通过人工标注方式对人体动态姿态的各个特征点位置进行标注等多种方式来提高人机交互过程中人体动态姿态的检测率，同时，实现了基于人体动态姿态的人机交互的强互动性与体验性。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (16)
1.一种基于人体动态姿态的人机交互方法，其特征在于，包括以下步骤：
接收检测区检测到的人体动态姿态；
根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
2.根据权利要求1所述的基于人体动态姿态的人机交互方法，其特征在于，还包括：接收使用者在预设时间内完成的所述人体动态姿态，对所述人体动态姿态的关键点定位和所述人体动态姿态估计，生成一个中心控制点。
3.根据权利要求2所述的基于人体动态姿态的人机交互方法，其特征在于，还包括：通过人工标注方式对所述人体动态姿态的各个特征点位置进行标注；
对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在所述人体动态姿态框中的局部坐标。
4.根据权利要求3所述的基于人体动态姿态的人机交互方法，其特征在于，所述人体动态姿态框通过预设人体动态姿态检测算法计算获取。
5.根据权利要求3所述的基于人体动态姿态的人机交互方法，其特征在于，还包括：通过对所有特征点的坐标进行计算平均值，获取平均所述人体动态姿态的特征点位置，作为所述人体动态姿态的所述特征点位置的初始位置配置；
根据所述人体动态姿态的所述特征点位置的所述初始位置配置，结合所述人体动态姿态对齐模型进行迭代，获取所述人体动态姿态的特征点位置，即完成关键点定位。
6.根据权利要求1所述的基于人体动态姿态的人机交互方法，其特征在于，所述根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，包括：当使用者的所述人体动态姿态完成情况与所述人机交互过程中应用程序中的画面元素比对成功时，判定所述人体动态姿态为有效姿态。
7.根据权利要求1所述的基于人体动态姿态的人机交互方法，其特征在于，所述根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，还包括：当使用者的所述人体动态姿态完成情况与所述人机交互过程中应用程序中的画面元素比对失败时，判定所述人体动态姿态为无效姿态，且在所述画面交互内容上显示预设提示信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种基于人体动态姿态的人机交互装置，其特征在于，包括：
接收模块，用于接收检测区检测到的人体动态姿态；
交互模块，用于根据使用者的人体动态姿态完成情况判断所述人机交互过程是否成功，同时获取以预设效果显示成像的画面交互内容。
11.根据权利要求10所述的基于人体动态姿态的人机交互装置，其特征在于，还包括：生成模块，用于接收使用者在预设时间内完成的所述人体动态姿态，对所述人体动态姿态的关键点定位和所述人体动态姿态估计，生成一个中心控制点。
12.根据权利要求11所述的基于人体动态姿态的人机交互装置，其特征在于，还包括：标注模块，用于通过人工标注方式对所述人体动态姿态的各个特征点位置进行标注；
计算模块，用于对标注后的使用者进行定位，根据得到的人体动态姿态框计算各个特征点在所述人体动态姿态框中的局部坐标。
13.根据权利要求12所述的基于人体动态姿态的人机交互装置，其特征在于，所述人体动态姿态框通过预设人体动态姿态检测算法计算获取。
14.根据权利要求12所述的基于人体动态姿态的人机交互装置，其特征在于，还包括：第一获取模块，用于通过对所有特征点的坐标进行计算平均值，获取平均所述人体动态姿态的特征点位置，作为所述人体动态姿态的所述特征点位置的初始位置配置；
第二获取模块，用于根据所述人体动态姿态的所述特征点位置的所述初始位置配置，结合所述人体动态姿态对齐模型进行迭代，获取所述人体动态姿态的特征点位置，即完成关键点定位。
15.根据权利要求10所述的基于人体动态姿态的人机交互装置，其特征在于，所述交互模块，包括：第一判定单元，用于当使用者的所述人体动态姿态完成情况与所述人机交互过程中应用程序中的画面元素比对成功时，判定所述人体动态姿态为有效姿态。
16.根据权利要求10所述的基于人体动态姿态的人机交互装置，其特征在于，所述交互模块，包括：第二判定单元，用于当使用者的所述人体动态姿态完成情况与所述人机交互过程中应用程序中的画面元素比对失败时，判定所述人体动态姿态为无效姿态，且在所述画面交互内容上显示预设提示信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810274487 | 2018-03-29 | ||
| CN2018102744870 | 2018-03-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108549484A true CN108549484A (zh) | 2018-09-18 |
| CN108549484B CN108549484B (zh) | 2019-09-20 |
Family
ID=63514021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810301243.7A Active CN108549484B (zh) | 2018-03-29 | 2018-04-04 | 基于人体动态姿态的人机交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108549484B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697446A (zh) * | 2018-12-04 | 2019-04-30 | 北京字节跳动网络技术有限公司 | 图像关键点提取方法、装置、可读存储介质及电子设备 |
| CN109753152A (zh) * | 2018-12-21 | 2019-05-14 | 北京市商汤科技开发有限公司 | 基于人体姿态的交互方法及装置、计算机设备 |
| CN111685772A (zh) * | 2020-05-29 | 2020-09-22 | 清华大学 | 外骨骼机器人测量系统、行走步态建模分析方法和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102486816A (zh) * | 2010-12-02 | 2012-06-06 | 三星电子株式会社 | 计算人体形状参数的装置和方法 |
| CN103501868A (zh) * | 2011-04-28 | 2014-01-08 | 微软公司 | 对分开的计算机游戏元素的控制 |
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及系统 |
| CN105144196A (zh) * | 2013-02-22 | 2015-12-09 | 微软技术许可有限责任公司 | 用于计算相机或对象姿态的方法和设备 |
| CN105404392A (zh) * | 2015-11-03 | 2016-03-16 | 北京英梅吉科技有限公司 | 基于单目摄像头的虚拟穿戴方法及系统 |
-
2018
- 2018-04-04 CN CN201810301243.7A patent/CN108549484B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102486816A (zh) * | 2010-12-02 | 2012-06-06 | 三星电子株式会社 | 计算人体形状参数的装置和方法 |
| CN103501868A (zh) * | 2011-04-28 | 2014-01-08 | 微软公司 | 对分开的计算机游戏元素的控制 |
| CN105144196A (zh) * | 2013-02-22 | 2015-12-09 | 微软技术许可有限责任公司 | 用于计算相机或对象姿态的方法和设备 |
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及系统 |
| CN105404392A (zh) * | 2015-11-03 | 2016-03-16 | 北京英梅吉科技有限公司 | 基于单目摄像头的虚拟穿戴方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 叶青: "无标记人体运动捕捉技术研究", 《中国博士学位论文全文数据库》 * |
| 胡赢: "视频体感交互试衣系统开发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697446A (zh) * | 2018-12-04 | 2019-04-30 | 北京字节跳动网络技术有限公司 | 图像关键点提取方法、装置、可读存储介质及电子设备 |
| CN109697446B (zh) * | 2018-12-04 | 2021-12-07 | 北京字节跳动网络技术有限公司 | 图像关键点提取方法、装置、可读存储介质及电子设备 |
| CN109753152A (zh) * | 2018-12-21 | 2019-05-14 | 北京市商汤科技开发有限公司 | 基于人体姿态的交互方法及装置、计算机设备 |
| CN111685772A (zh) * | 2020-05-29 | 2020-09-22 | 清华大学 | 外骨骼机器人测量系统、行走步态建模分析方法和设备 |
| CN111685772B (zh) * | 2020-05-29 | 2021-07-09 | 清华大学 | 外骨骼机器人测量系统、行走步态建模分析方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108549484B (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200387698A1 (en) | Hand key point recognition model training method, hand key point recognition method and device | |
| CN110599605B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| US11494915B2 (en) | Image processing system, image processing method, and program | |
| CN104732585B (zh) | 一种人体体型重构的方法及装置 | |
| CN108475439B (zh) | 三维模型生成系统、三维模型生成方法和记录介质 | |
| CN109598798B (zh) | 虚拟物拟合方法及虚拟物拟合服务系统 | |
| JP5936155B2 (ja) | ３次元ユーザインタフェース装置及び３次元操作方法 | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| CN112819947A (zh) | 三维人脸的重建方法、装置、电子设备以及存储介质 | |
| KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| CN104346612B (zh) | 信息处理装置和显示方法 | |
| US10909744B1 (en) | Simulating garment with wrinkles based on physics based cloth simulator and machine learning model | |
| KR102130709B1 (ko) | 디지털 패션 기반 제품 미리보기를 이용한 커스텀 의류 제작 서비스 제공 방법 | |
| US20080165187A1 (en) | Face Image Synthesis Method and Face Image Synthesis Apparatus | |
| CN104813340A (zh) | 从2d图像序列导出准确身体尺寸测量的系统和方法 | |
| JPWO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
| CN108549484B (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| CN108537162A (zh) | 人体姿态的确定方法和装置 | |
| CN108509924A (zh) | 人体姿态的评分方法和装置 | |
| Treepong et al. | Makeup creativity enhancement with an augmented reality face makeup system | |
| IL299465A (en) | An object recognition neural network for predicting a missing visual information center | |
| CN105814604B (zh) | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 | |
| JP2010211732A (ja) | 物体認識装置および方法 | |
| KR20180083608A (ko) | 3d 프린팅을 위한 단일 영상 기반 3d 모델링 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 100080 408, 4th floor, 51 Zhichun Road, Haidian District, Beijing Patentee after: Tiktok Technology Co.,Ltd. Country or region after: China Address before: 100080 408, 4th floor, 51 Zhichun Road, Haidian District, Beijing Patentee before: BEIJING MICROLIVE VISION TECHNOLOGY Co.,Ltd. Country or region before: China |