CN108536297A - 用于多人的人机交互应用程序的实现方法和装置 - Google Patents
用于多人的人机交互应用程序的实现方法和装置 Download PDFInfo
- Publication number
- CN108536297A CN108536297A CN201810301256.4A CN201810301256A CN108536297A CN 108536297 A CN108536297 A CN 108536297A CN 201810301256 A CN201810301256 A CN 201810301256A CN 108536297 A CN108536297 A CN 108536297A
- Authority
- CN
- China
- Prior art keywords
- application program
- people
- human
- computer interaction
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002452 interceptive effect Effects 0.000 claims abstract description 78
- 230000000694 effects Effects 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000003860 storage Methods 0.000 claims description 13
- 230000011664 signaling Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及人工智能技术领域。为了解决现有人机交互应用程序适用多人的广泛性与灵活性的问题，本公开实施例提供了一种用于多人的人机交互应用程序的实现方法和装置，该装置区域划分模块用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；比对模块用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；显示模块用于当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
Description
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种用于多人的人机交互应用程序的实现方法和装置。
背景技术
现有终端设备中，涉及人机交互的软件有很多种，一般都是以单人与机器交互为主，即通过触动屏幕上的按键与软件中的图标相符合的标识达到人机交互的目的，这种人机交互软件互动性差、体验效果不好，同时如何适用于多人进行有效的交互也是人机交互应用程序需要解决的问题，即现有的用于多人的交互装置不具有很强的数据划分性与处理性。
发明内容
本公开实施例提供了一种用于多人的人机交互应用程序的实现方法和装置。
第一方面，本公开实施例提供了一种用于多人的人机交互应用程序的实现方法，包括以下步骤：在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；当比对成功时，判定所述人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
第四方面，本公开实施例提供了一种用于多人的人机交互应用程序的实现装置，包括：区域划分模块，用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；比对模块，用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；显示模块，用于当比对成功时，判定所述人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本公开实施例的终端设备的硬件结构示意图；
图2为本公开实施例一的用于多人的人机交互应用程序的实现装置的结构示意图；
图3为图2所示的用于多人的人机交互应用程序的实现装置的工作流程图；
图4为本公开实施例二的用于多人的人机交互应用程序的实现装置的结构示意图；
图5为图4所示的用于多人的人机交互应用程序的实现装置的工作流程图；
图6为本公开实施例三的用于多人的人机交互应用程序的实现装置的结构示意图；
图7为图6所示的用于多人的人机交互应用程序的实现装置的工作流程图；
图8为本公开实施例的用于多人的人机交互应用程序的实现装置的硬件框图；
图9为本公开实施例的计算机可读存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
如图1所示，终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
在本公开的一个实施例中，终端设备可以包括无线通信单元1、A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中，A/V(音频/视频)输入单元2包括但不限于，摄像头、前置摄像头，后置摄像头，各类音视频输入设备。本领域的技术人员应该理解，上述实施例列出的终端设备所包括的组件，不止上述所述的种类，可以包括更少或者更多的组件。
本领域的技术人员应该理解，这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。
具体的，本公开实施例提供了一种用于多人的人机交互应用程序的实现装置，包括：区域划分模块、比对模块、显示模块。其中，区域划分模块，用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；比对模块，用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；显示模块，用于当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
本公开实施中通过区域划分模块在在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；再通过比对模块将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；当比对成功时，判定人机交互动作为使用者的有效姿态，且显示模块使得画面内容以预设效果显示成像。达到通过对多人的区域划分，人体交互动作的捕捉与比对，最终显示成像完成交互的目的，具有人机交互的多人适用性与灵活性，同时，提高了该人机交互应用程序的强互动性与体验性。进一步地，本公开实施例适用于多人的人机交互场景，对多人的人机交互场景区域进行有效的划分，并能提供多人的交互数据的批处理操作，有效的提高了数据计算速度。同时，由于是多人的人机交互有效提高了该应用程序的易用性与用户体验性。
本公开实施例的区域划分模块支持多层画面显示区域划分方式，提高了多人的人机交互应用程序的可扩展性与灵活性。
实施例一
如图2所示，本实施例的用于多人的人机交互应用程序的实现装置，包括：区域划分模块200、比对模块400、判定模块600和显示模块800。
其中，区域划分模块200用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；比对模块400用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；判定模块600用于当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息；显示模块800用于当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
需要说明的是，获取待划分区域图像中每个像素点所对应的平滑结构张量场。其中，结构张量作为图像分析的工具，常用来估计图像结构方向场和分析图像局部几何结构，且结构张量用于区分图像的平滑、边缘、角点区域。根据平滑结构张量场的累计变化程度获取待划分区域图像的细节度，再根据待划分区域图像的细节度对待划分区域图像进行区域划分。
具体的，获取待划分区域图像中每个像素点所对应的平滑结构张量场具体包括；对待划分区域图像进行滤波处理，获得每个像素点的梯度，根据每个像素点的梯度计算其对应的张量场，对每个像素点的张量场进行平滑处理获取平滑结构张量场。
此外，根据平滑结构张量场的累计变化程度获取待划分区域图像的细节度的操作具体包括：根据每个像素点的平滑结构张量场计算每个像素点的主特征向量，再根据像素点的主特征向量获取用于表征平滑结构张量场的累计变化程度的每个像素点的主特征向量的累计方向值，最终将所有像素点的主特征向量的累积方向值进行归一化及反向处理得到每个像素点的细节度。进一步地，根据像素点的主特征向量获取用于表征平滑结构张量场的累积变化程度的每个像素点的主特征向量的累积方向值的操作具体包括：分别计算每个像素点沿其主特征向量正方向的累积方向值以及每个像素点沿其主特征向量反方向的累积方向值。
更进一步地，计算每个像素点沿其主特征向量正方向的累积方向值的操作具体包括：设定待计算主特征向量的累积方向值的像素点为第一像素点，选取待划分区域图像中位于该第一像素点的主特征向量正方向且与该第一像素点的距离为单位距离的第二像素点，获取该第一像素点与该第二像素点构成的第一向量；选取待划分区域图像中位于该第二像素点的主特征向量正方向且与该第二像素点的距离为单位距离的第三像素点，获取该二像素点与该第三像素点构成的第二向量；计算并存储该第一向量与该第二向量之间的夹角，并记录执行该操作的累积次数；判断该累积次数是否小于预订次数，如果判断结果为是，则将该第二像素点设定为第一像素点，将该第三像素点设定为第二像素点，并选取待划分区域图像中位于该第二像素点的主特征向量正方向且与该第二像素点的距离为单位距离的第三像素点，获取该第二像素点与该第三像素点构成的第二向量，否则，获取所有被存储的夹角作为该像素点沿其主特征向量正方向的累积方向值。
本实施例中，由于区域划分模块在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分，有效提高了多人使用人机交互应用程序的易用性与体验性。
图3为图2所示的用于多人的人机交互应用程序的实现装置的工作流程图。
步骤202，在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分。
步骤204，将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对。
步骤206，当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息。
步骤208，当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
本公开实施例在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。上述方法适用于多人的人机交互场景，对多人的人机交互场景区域进行有效的划分，并能提供多人的交互数据的批处理操作，有效的提高了数据计算速度。同时，由于是多人的人机交互有效提高了该应用程序的易用性与用户体验性。
本公开实施例的区域划分操作支持多层画面显示区域划分方式，提高了多人的人机交互应用程序的可扩展性与灵活性。
实施例二
如图4所示，本实施例的用于多人的人机交互应用程序的实现装置与实施例一不同的是，该装置添加了第一获取模块100和第二获取模块300。本实施例的用于多人的人机交互应用程序的实现装置包括：第一获取模块100、区域划分模块200、第二获取模块300、比对模块400、判定模块600和显示模块800。
具体的，第一获取模块100用于通过摄录装置获取多人数量，其中，摄录装置包括移动终端、摄像机或Kinect摄像装置；区域划分模块200用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；第二获取模块300用于获取应用程序中的画面元素，并对画面元素进行解析；比对模块400用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；判定模块600用于当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息；显示模块800用于当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
需要说明的是，由于摄录装置的多选择性，即使得第一获取模块100在获取多人状态下人机交互的多人数据更加精准。
此外，在将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对前，增加了对画面元素的获取与解析，由此为后续的比对操作奠定了精准的数据基础。可以理解的是，画面元素的获取为先获取应用程序中预存的基于人机交互动作的模板。其中，预存的基于人机交互动作的模板的数量为至少一个。进一步地，从模板中提取特征元素，并将特征元素定义为应用程序中的画面元素。需要说明的是，对画面元素进行解析中的画面元素包括但不限定为模板图像的像素数目、模板图像的分辨率、模板图像的大小、模板图像颜色、模板图像深度、模板图像色调、模板图像饱和度、模板图像色相、模板图像亮度、模板图像对比度、模板图像的色彩通道、模板图像的纹理、模板图像的层次以及模板图像的灰度值。
进一步地，人机交互动作数据的提取为预先选取人体关键点。其中，关键点为17个骨骼关键点，例如，17个骨骼关键点分别为：头部、右侧肩膀、右侧肘部、右侧腕部，右手、左侧肩部、左侧肘部、左侧腕部、左手、右膝盖、右踝、右脚、左膝盖、左踝、左脚、右髋、左髋。将上述17个骨骼关键点与基于人机交互动作估计的这个动作事件进行绑定。由此，提高了对解析获得的画面元素的数据与接收的多使用者的人机交互动作数据进行比对的精准性。
更进一步地，在比对过程中，当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。其中，预设效果为画面内容高亮效果；画面内容以预设效果显示成像的方式实现人机交互动作的确定，包括：当解析获得的画面元素的数据与接收的人机交互动作数据比对成功时，画面内容以高亮效果进行渲染与显示成像。此外，预设效果还可以画面内容以预设次数的屏幕闪烁效果出现，当解析获得的画面元素的数据与接收的人机交互动作数据比对成功时，画面内容以预设次数的屏幕闪烁效果进行渲染与显示成像。
需要说明的是，对画面内容进行渲染可以为真实感图像渲染也可以为非真实感图像渲染。关于对画面内容进行真实感图像渲染，具体的，对于场景中的物体，要得到它的真实感图像，就要对它进行透视投影，并作隐藏面的消隐，然后计算可见面的光照明暗效果，得到场景的真实感图像显示。但是，仅仅对场景进行隐藏面消除所得到的图像真实感是不够的，如何处理物体表面的光照明暗效果，通过使用不同的色彩灰度，来增加图形图像的真实感，这也是场景图像真实感的主要来源。
计算机真实感图像是一种光栅图像，由像素构成。生成一幅真实感图像时，必须逐个像素地计算画面上相应内容表面区域的颜色。显然在计算可见景物表面区域的颜色时，不但要考虑光源对该区域入射光及光亮度和光谱组成，而且还要考虑该表面区域对光源的朝向，表面的材料和反射性质等。这种计算必须基于一定的光学物理模型，即光照明模型。基于场景几何和光照模型生成一幅真实感图像的过程称之为绘制。常用的真实感图像绘制算法包括扫描线算法，光线跟踪算法，光能辐射度方法等。此外，关于对画面内容进行非真实感图像渲染，具体的，在非真实感图像渲染中，需要对渲染内容和方式做出主动的选择。非真实感图像渲染经常由一个预设应用程序实现，这个预设应用程序以一幅图像或三维实体为输入，而输出特定多个属性的图像。
可以理解的是，对画面内容进行渲染与显示成像，包括：通过调用预设编程接口对画面内容进行渲染与显示成像。通过使用该接口，提高成像文件的兼容性与成像的高效性。
本实施例，通过第一获取模块与第二获取模块的添加，使得人机交互应用程序在多人使用时，处理数据更加精准。且画面元素以模板的方式进行提取，有效的提高了比对人机交互动作的精准性。此外，预存的基于人机交互动作的模板可以存储在本地移动终端中，提高了调用的快捷性，预存的基于人机交互动作的模板还可以存储在云端服务器中，由此提高了人机交互动作的模板存储数量，上述两种方式使得人机交互动作的模板存储具有更大的选择空间增强了灵活性。
图5为图4所示的用于多人的人机交互应用程序的实现装置的工作流程图。具体流程步骤说明如下：
步骤401，通过摄录装置获取多人数量，其中，摄录装置包括移动终端、摄像机或Kinect摄像装置。由此，提高了摄录装置的多选择性。
步骤402，在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分。
步骤403，获取应用程序中的画面元素，并对画面元素进行解析。
步骤404，将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对。
步骤405，当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息。
步骤406，当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
本实施例，通过摄录操作获取多人数量以及获取应用程序中的画面元素，并对画面元素进行解析，使得人机交互应用程序在多人使用时，处理数据更加精准。且画面元素以模板的方式进行提取，有效的提高了比对人机交互动作的精准性。此外，预存的基于人机交互动作的模板可以存储在本地移动终端中，提高了调用的快捷性，预存的基于人机交互动作的模板还可以存储在云端服务器中，由此提高了人机交互动作的模板存储数量，上述两种方式使得人机交互动作的模板存储具有更大的选择空间增强了灵活性。
实施例三
如图6所示，本实施例的用于多人的人机交互应用程序的实现装置与实施例一不同的是，除了包括第一获取模块100和第二获取模块300之外，在区域划分模块200还包括生成单元201、区域划分单元202、第一启动单元203和第二启动单元204。
具体的，第一获取模块100用于通过摄录装置获取多人数量，其中，摄录装置包括移动终端、摄像机或Kinect摄像装置；区域划分模块200用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；第二获取模块300用于获取应用程序中的画面元素，并对画面元素进行解析；比对模块400用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；判定模块600用于当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息；显示模块800用于当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
进一步地，区域划分模块200包括：生成单元201用于接收区域划分操作指令，以在预设识别区域内的至少一处生成至少一子区域标识符；区域划分单元202用于当至少一子区域标识符被生成时，依据至少一子区域标识符而划分预设识别区域以形成至少两个区域。其中，至少两个区域分别存储不同的文件。通过不同区域存储文件不同，为后续调取文件的精准性做了充足的准备。
更进一步地，区域划分模块还包括：第一启动单元203用于在接收启动指令后，启动并运行移动终端中的应用程序。其中，启动指令为语音指令、动态手势指令、按键信号输入指令；第二启动单元204用于在应用程序上启动区域划分页面。
本公开实施例中通过区域划分模块在在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；再通过比对模块将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；当比对成功时，判定人机交互动作为使用者的有效姿态，且显示模块使得画面内容以预设效果显示成像。本公开实施例适用于多人的人机交互场景，对多人的人机交互场景区域进行有效的划分，并能提供多人的交互数据的批处理操作，有效的提高了数据计算速度。同时，由于是多人的人机交互有效提高了该应用程序的易用性与用户体验性。
由于本实施例的区域划分模块支持多层画面显示区域划分方式，提高了多人的人机交互应用程序的可扩展性与灵活性。
图7为图6所示的用于多人的人机交互应用程序的实现装置的工作流程图。具体步骤说明如下：
步骤601，通过摄录装置获取多人数量。其中，摄录装置包括移动终端、摄像机或Kinect摄像装置。
步骤602，在接收启动指令后，启动并运行移动终端中的应用程序。其中，启动指令为语音指令、动态手势指令、按键信号输入指令。
本实施例中，通过在接收启动指令后，启动并运行应用程序，且启动指令为语音指令、动态手势指令、按键信号输入指令。增强了用户使用本公开的用于多人的人机交互应用程序的实现方法的主动性、便捷性以及启动的多样性。
步骤603，在应用程序上启动区域划分页面。
步骤604，接收区域划分操作指令，以在预设识别区域内的至少一处生成至少一子区域标识符。
步骤605，当至少一子区域标识符被生成时，依据至少一子区域标识符而划分预设识别区域以形成至少两个区域。其中，至少两个区域分别存储不同的文件。通过不同区域存储文件不同，为后续调取文件的精准性做了充足的准备。
步骤606，获取应用程序中的画面元素，并对画面元素进行解析。
需要说明的是，画面元素的获取除了可以通过调取人机交互动作的模板形式进行解析，还可以通过调取音视频文件获取。具体的，获取应用程序中预存的视频文件；通过视频文件的播放，捕捉视频流，并从视频流中获取画面帧；对画面帧中的每一帧进行人机交互动作检测，得到每一帧中的人机交互动作数据；将获取的人机交互动作数据定义为应用程序中的画面元素。
解析操作可以通过移动终端内置的解析模块完成操作，即该解析模块可以为安装了安卓系统的主芯片。其主要用于对获取的预存的视频文件进行遍历，当视频文件发生改变时，判断视频文件的种类为线性视频文件还是非线性视频文件，最终定义视频文件的属性并调用相应的参数。
需要说明的是，判断视频文件的种类为线性视频文件还是非线性视频文件，然后创建相应的线性或非线性插值算法，根据视频的起始值计算，获取相应的插值数值，根据该插值数值对视频文件的属性进行修改并设定相应的参数。其中，视频文件的属性包括但不限于位置类型属性、颜色类型属性等。
步骤607，将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对。
步骤608，当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定人机交互动作为无效姿态，且在画面内容上显示预设提示信息。
步骤609，当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
本公开实施例在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；当比对成功时，判定人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。上述方法适用于多人的人机交互场景，对多人的人机交互场景区域进行有效的划分，并能提供多人的交互数据的批处理操作，有效的提高了数据计算速度。同时，由于是多人的人机交互有效提高了该应用程序的易用性与用户体验性。
本实施例中，通过将人机交互动作以视频文件的方式进行成像，由此提高了成像的流畅度，同时也增强了用户体验性，同时，本公开实施例的区域划分操作支持多层画面显示区域划分方式，提高了多人的人机交互应用程序的可扩展性与灵活性。
图8是图示根据本公开的实施例的用于多人的人机交互应用程序的实现装置的硬件框图。如图8所示，根据本公开实施例的用于多人的人机交互应用程序的实现装置80包括存储器801和处理器802。用于多人的人机交互应用程序的实现装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制用于多人的人机交互应用程序的实现装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行存储器801中存储的计算机可读指令，使得用于多人的人机交互应用程序的实现装置80执行上述用于多人的人机交互应用程序的实现方法。用于多人的人机交互应用程序的实现装置与上述用于多人的人机交互应用程序的实现方法描述的实施例相同，在此将省略其重复描述。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的用于多人的人机交互应用程序的实现方法。
以上，根据本公开实施例的用于多人的人机交互应用程序的实现方法和装置，以及计算机可读存储介质。通过适用于多人的人机交互场景，对多人的人机交互场景区域进行有效的划分，并能提供多人的交互数据的批处理操作，有效的提高了数据计算速度。同时，由于是多人的人机交互有效提高了该应用程序的易用性与用户体验性。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (16)
1.一种用于多人的人机交互应用程序的实现方法，其特征在于，包括以下步骤：
在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；
将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；
当比对成功时，判定所述人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
2.根据权利要求1所述的用于多人的人机交互应用程序的实现方法，其特征在于，还包括：通过摄录装置获取多人数量。
3.根据权利要求1所述的用于多人的人机交互应用程序的实现方法，其特征在于，所述在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分，包括：接收所述区域划分操作指令，以在所述预设识别区域内的至少一处生成至少一子区域标识符；
当所述至少一子区域标识符被生成时，依据所述至少一子区域标识符而划分所述预设识别区域以形成至少两个区域。
4.根据权利要求3所述的用于多人的人机交互应用程序的实现方法，其特征在于，包括：所述至少两个区域分别存储不同的文件。
5.根据权利要求3所述的用于多人的人机交互应用程序的实现方法，其特征在于，还包括：在接收启动指令后，启动并运行所述移动终端中的应用程序，其中，所述启动指令为语音指令、动态手势指令、按键信号输入指令；
在应用程序上启动区域划分页面。
6.根据权利要求1所述的用于多人的人机交互应用程序的实现方法，其特征在于，还包括：获取应用程序中的画面元素，并对所述画面元素进行解析。
7.根据权利要求1所述的用于多人的人机交互应用程序的实现方法，其特征在于，还包括：当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定所述人机交互动作为无效姿态，且在所述画面内容上显示预设提示信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种用于多人的人机交互应用程序的实现装置，其特征在于，包括：
区域划分模块，用于在预设识别区域内，对同一时间使用应用程序的多使用者的区域划分；
比对模块，用于将接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对；
显示模块，用于当比对成功时，判定所述人机交互动作为使用者的有效姿态，且画面内容以预设效果显示成像。
11.根据权利要求10所述的用于多人的人机交互应用程序的实现装置，其特征在于，还包括：第一获取模块，用于通过摄录装置获取多人数量。
12.根据权利要求10所述的用于多人的人机交互应用程序的实现装置，其特征在于，所述区域划分模块，包括：
生成单元，用于接收所述区域划分操作指令，以在所述预设识别区域内的至少一处生成至少一子区域标识符；
区域划分单元，用于当所述至少一子区域标识符被生成时，依据所述至少一子区域标识符而划分所述预设识别区域以形成至少两个区域。
13.根据权利要求12所述的用于多人的人机交互应用程序的实现装置，其特征在于，包括：所述至少两个区域分别存储不同的文件。
14.根据权利要求12所述的用于多人的人机交互应用程序的实现装置，其特征在于，还包括：第一启动单元，用于在接收启动指令后，启动并运行所述移动终端中的应用程序，其中，所述启动指令为语音指令、动态手势指令、按键信号输入指令；
第二启动单元，用于在应用程序上启动区域划分页面。
15.根据权利要求10所述的用于多人的人机交互应用程序的实现装置，其特征在于，还包括：第二获取模块，用于获取应用程序中的画面元素，并对所述画面元素进行解析。
16.根据权利要求10所述的用于多人的人机交互应用程序的实现装置，其特征在于，还包括：判定模块，用于当接收到的多使用者的人机交互动作数据与应用程序显示的画面元素进行比对失败时，判定所述人机交互动作为无效姿态，且在所述画面内容上显示预设提示信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810273539 | 2018-03-29 | ||
| CN2018102735392 | 2018-03-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108536297A true CN108536297A (zh) | 2018-09-14 |
Family
ID=63483194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810301256.4A Pending CN108536297A (zh) | 2018-03-29 | 2018-04-04 | 用于多人的人机交互应用程序的实现方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108536297A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
| CN102395411A (zh) * | 2009-02-17 | 2012-03-28 | 动作感知与分析系统工作室有限公司 | 具有要求用户呈现各种身体姿势的身体姿势检测器的计算机视频游戏系统 |
| CN103186330A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种显示界面切换方法和电子设备 |
| CN103886622A (zh) * | 2012-12-21 | 2014-06-25 | 腾讯科技（深圳）有限公司 | 自动图像区域划分的实现方法及实现装置 |
| CN104503700A (zh) * | 2015-01-16 | 2015-04-08 | 深圳市中兴移动通信有限公司 | 一种自由分屏的方法和移动终端 |
| CN104516496A (zh) * | 2013-10-04 | 2015-04-15 | 财团法人工业技术研究院 | 可调体感范围的多人指引系统与其方法 |
| CN104573090A (zh) * | 2015-01-29 | 2015-04-29 | 深圳市中兴移动通信有限公司 | 一种文件分享方法、装置及终端 |
| CN105389111A (zh) * | 2015-10-28 | 2016-03-09 | 维沃移动通信有限公司 | 一种分屏显示的操作方法及电子设备 |
| CN105843371A (zh) * | 2015-01-13 | 2016-08-10 | 上海速盟信息技术有限公司 | 人机隔空交互方法及系统 |
| CN106295479A (zh) * | 2015-06-05 | 2017-01-04 | 上海戏剧学院 | 基于体感技术动作识别编辑系统 |
| CN106331801A (zh) * | 2016-08-31 | 2017-01-11 | 北京乐动卓越科技有限公司 | 一种智能电视体感游戏的人机交互方法和系统 |
| CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
| CN107656611A (zh) * | 2017-08-09 | 2018-02-02 | 广东欧珀移动通信有限公司 | 体感游戏实现方法及装置、终端设备 |
| CN107831903A (zh) * | 2017-11-24 | 2018-03-23 | 科大讯飞股份有限公司 | 多人参与的人机交互方法及装置 |
| US9983854B2 (en) * | 2014-04-21 | 2018-05-29 | LogMeln, Inc. | Managing and synchronizing views in multi-user application with a canvas |
-
2018
- 2018-04-04 CN CN201810301256.4A patent/CN108536297A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395411A (zh) * | 2009-02-17 | 2012-03-28 | 动作感知与分析系统工作室有限公司 | 具有要求用户呈现各种身体姿势的身体姿势检测器的计算机视频游戏系统 |
| CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
| CN103186330A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种显示界面切换方法和电子设备 |
| CN103886622A (zh) * | 2012-12-21 | 2014-06-25 | 腾讯科技（深圳）有限公司 | 自动图像区域划分的实现方法及实现装置 |
| CN104516496A (zh) * | 2013-10-04 | 2015-04-15 | 财团法人工业技术研究院 | 可调体感范围的多人指引系统与其方法 |
| US9983854B2 (en) * | 2014-04-21 | 2018-05-29 | LogMeln, Inc. | Managing and synchronizing views in multi-user application with a canvas |
| CN105843371A (zh) * | 2015-01-13 | 2016-08-10 | 上海速盟信息技术有限公司 | 人机隔空交互方法及系统 |
| CN104503700A (zh) * | 2015-01-16 | 2015-04-08 | 深圳市中兴移动通信有限公司 | 一种自由分屏的方法和移动终端 |
| CN104573090A (zh) * | 2015-01-29 | 2015-04-29 | 深圳市中兴移动通信有限公司 | 一种文件分享方法、装置及终端 |
| CN106295479A (zh) * | 2015-06-05 | 2017-01-04 | 上海戏剧学院 | 基于体感技术动作识别编辑系统 |
| CN105389111A (zh) * | 2015-10-28 | 2016-03-09 | 维沃移动通信有限公司 | 一种分屏显示的操作方法及电子设备 |
| CN106331801A (zh) * | 2016-08-31 | 2017-01-11 | 北京乐动卓越科技有限公司 | 一种智能电视体感游戏的人机交互方法和系统 |
| CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
| CN107656611A (zh) * | 2017-08-09 | 2018-02-02 | 广东欧珀移动通信有限公司 | 体感游戏实现方法及装置、终端设备 |
| CN107831903A (zh) * | 2017-11-24 | 2018-03-23 | 科大讯飞股份有限公司 | 多人参与的人机交互方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| US11961189B2 (en) | Providing 3D data for messages in a messaging system | |
| US11189104B2 (en) | Generating 3D data in a messaging system | |
| US11410401B2 (en) | Beautification techniques for 3D data in a messaging system | |
| US11783556B2 (en) | Augmented reality content generators including 3D data in a messaging system | |
| US11457196B2 (en) | Effects for 3D data in a messaging system | |
| CN109584180A (zh) | 人脸图像处理方法、装置、电子设备及计算机存储介质 | |
| US11024060B1 (en) | Generating neutral-pose transformations of self-portrait images | |
| CN113436301B (zh) | 拟人化3d模型生成的方法和装置 | |
| KR20220051376A (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
| CN105447125A (zh) | 一种电子设备及化妆辅助方法 | |
| CN112034984B (zh) | 一种虚拟模型处理方法、装置、电子设备和存储介质 | |
| CN109948093B (zh) | 表情图片生成方法、装置及电子设备 | |
| CN108537162A (zh) | 人体姿态的确定方法和装置 | |
| CN112837213A (zh) | 脸型调整图像生成方法、模型训练方法、装置和设备 | |
| CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
| WO2024067320A1 (zh) | 虚拟物体的渲染方法、装置、设备及存储介质 | |
| CN112511815B (zh) | 图像或视频生成方法及装置 | |
| CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
| CN108536297A (zh) | 用于多人的人机交互应用程序的实现方法和装置 | |
| CN108536510B (zh) | 基于人机交互应用程序的实现方法和装置 | |
| CN110223367B (zh) | 动画显示方法、装置、终端及存储介质 | |
| CN108564648B (zh) | 基于人体姿态的成像方法和装置 | |
| CN111507143A (zh) | 表情图像效果生成方法、装置和电子设备 | |
| CN115714888B (zh) | 视频生成方法、装置、设备与计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |
|
| RJ01 | Rejection of invention patent application after publication |