CN108762497A - 体感交互方法、装置、设备及可读存储介质 - Google Patents
体感交互方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN108762497A CN108762497A CN201810486082.3A CN201810486082A CN108762497A CN 108762497 A CN108762497 A CN 108762497A CN 201810486082 A CN201810486082 A CN 201810486082A CN 108762497 A CN108762497 A CN 108762497A
- Authority
- CN
- China
- Prior art keywords
- body feeling
- feeling interaction
- expression
- attitudes vibration
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种体感交互方法、装置、设备及可读存储介质，所述体感交互方法包括：当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。本发明解决现有体感交互过程中，手势操作响应准确度低的技术问题。
Description
技术领域
本发明涉及体感交互技术领域，尤其涉及一种体感交互方法、装置、设备及可读存储介质。
背景技术
体感交互指的是通过体感来进行人机互动，目前，体感交互操控系统都是以用户的手势行为作为交互基础，即是以采集用户手势对应骨骼和躯干所映射的距离变化来实现识别用户的操作，然而，现有的识别技术并不能准确识别具有细节差异化的用户的手势行为，由于不能准确识别具有细节差异化的用户的手势行为，用户需要多次重复进行不同的手势操作以达到手势操控的目的，这在一定程度上降低了用户手势操作的体验。
发明内容
本发明的主要目的在于提供一种体感交互方法、装置、设备及可读存储介质，旨在解决现有体感交互过程中，手势操作响应准确度低的技术问题。
为实现上述目的，本发明提供一种体感交互方法，所述体感交互方法包括：
当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
可选地，所述姿态变化信息包括手势运动趋势与轨迹，所述判断所述姿态变化信息对应体感操作是否存在于预设操作列表中步骤包括：
对体感交互者手势运动趋势与轨迹对应体感操作进行矩阵模型的提取，以得到第一矩阵模型，并将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配；
当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中；
当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中。
可选地，所述体感交互方法应用于体感交互系统，所述当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息步骤之前还包括：
获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，其中，在预设交互模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态；
当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤。
可选地，所述姿态变化信息包括手势位置变化，所述眼神聚焦信息包括眼神聚焦位置；
所述基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作步骤包括：
同步提取体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线；
基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度；
在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作，以定位第一适配度对应的目标操作。
可选地，所述第一适配度包括第一方向子适配度与第一轨迹子适配度，所述在预存的各个适配度中查找与所述第一适配度匹配的第二适配度步骤包括：
在预存的各个适配度中查找方向子适配度与所述第一方向子适配度相同的目标适配度；
再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度。
可选地，所述目标操作包括手指相对滑动的手势操作，所述输出所述目标操作对应的响应结果并显示步骤包括：
获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容。
可选地，所述眼神聚焦信息包括眼神聚焦位置的变化方向与位置；
所述获取体感交互者的眼神聚焦信息步骤包括：
通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置。
本发明还提供一种体感交互装置，所述体感交互装置包括：
第一获取模块，用于当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断模块，用于判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
定位模块，用于当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
可选地，所述姿态变化信息包括手势运动趋势与轨迹，所述判断模块包括：
匹配单元，用于对体感交互者手势运动趋势与轨迹对应体感操作进行矩阵模型的提取，以得到第一矩阵模型，并将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配；
第一确定单元，用于当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中；
第二确定单元，用于当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中。
可选地，所述体感交互装置还包括：
第二获取模块，用于获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，其中，在预设交互模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态；
执行模块，用于当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤。
可选地，所述姿态变化信息包括手势位置变化，所述眼神聚焦信息包括眼神聚焦位置；
所述定位模块包括：
提取单元，用于同步提取体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线；
第一获取单元，用于基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度；
第二获取单元，用于在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作，以定位第一适配度对应的目标操作。
可选地，所述第一适配度包括第一方向子适配度与第一轨迹子适配度，所述第二获取单元包括：
第一查找子单元，用于在预存的各个适配度中查找方向子适配度与所述第一方向子适配度相同的目标适配度；
第二查找子单元，用于再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度。
可选地，所述目标操作包括手指相对滑动的手势操作，所述定位模块还包括：
第三获取单元，用于获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容。
可选地，所述眼神聚焦信息包括眼神聚焦位置的变化方向与位置；
所述第一获取模块还包括：
第三确定单元，用于通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置。
此外，为实现上述目的，本发明还提供一种体感交互设备，所述体感交互设备包括：存储器、处理器，通信总线以及存储在所述存储器上的体感交互程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述体感交互程序，以实现以下步骤：
当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
可选地，所述姿态变化信息包括手势运动趋势与轨迹，所述判断所述姿态变化信息对应体感操作是否存在于预设操作列表中步骤包括：
对体感交互者手势运动趋势与轨迹对应体感操作进行矩阵模型的提取，以得到第一矩阵模型，并将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配；
当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中；
当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中。
可选地，所述体感交互方法应用于体感交互系统，所述当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息步骤之前还包括：
获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，其中，在预设交互模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态；
当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤。
可选地，所述姿态变化信息包括手势位置变化，所述眼神聚焦信息包括眼神聚焦位置；
所述基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作步骤包括：
同步提取体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线；
基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度；
在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作，以定位第一适配度对应的目标操作。
可选地，所述第一适配度包括第一方向子适配度与第一轨迹子适配度，所述在预存的各个适配度中查找与所述第一适配度匹配的第二适配度步骤包括：
在预存的各个适配度中查找方向子适配度与所述第一方向子适配度相同的目标适配度；
再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度。
可选地，所述目标操作包括手指相对滑动的手势操作，所述输出所述目标操作对应的响应结果并显示步骤包括：
获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容。
可选地，所述眼神聚焦信息包括眼神聚焦位置的变化方向与位置；
所述获取体感交互者的眼神聚焦信息步骤包括：
通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：
当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
本发明通过当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。由于在本申请中，在所述姿态变化信息对应体感操作存在于预设操作列表中时，还获取体感交互者眼神聚焦信息对应的维度信息，即在本申请中，通过两个维度的信息定位目标操作，因而，在体感交互者的姿态变化较小时，还可通过体感交互者的眼神聚焦信息的这个维度进一步定位目标操作，避免当用户姿态变化较小时，用户需要多次重复进行不同的手势操作以达到手势操控的目的，提升了体感交互过程中的交互准确性，解决了现有体感交互过程中，手势操作响应准确度低的技术问题。
附图说明
图1为本发明体感交互方法第一实施例的流程示意图；
图2为本发明体感交互方法第二实施例的流程示意图；
图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图；
图4是本发明实施例体感交互方法的场景示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种体感交互方法，在本发明体感交互方法的第一实施例中，参照图1，所述体感交互方法包括：
当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
具体步骤如下：
步骤S10，当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
体感交互指的是通过体感来进行人机互动，在本实施例中，体感交互方法应用于体感交互系统，尤其应用于3D体感交互系统，3D体感交互系统依赖于3D体感交互摄像头，该体感交互摄像头包括红外发射器与红外线摄像机，RGB摄像头等，其中，红外发射器与红外线摄像机用来侦测3D影像，RGB摄像头用来获取彩色图像，RGB摄像头每秒可以获取30帧图像，RGB摄像头还可以在设备视野范围内移动的一个或两个人的图像进行骨骼追踪，以追踪到人体上的多个节点。另外，3D体感交互系统还包括眼神聚焦信息采集子装置，以采集体感交互者的眼神聚焦信息。
需要说明的是，体感交互系统具有不同的模式，当体感交互系统处于姿态控制模式下时，可以只采集体感交互者的姿态变化，以识别定位用户的目标操作，当体感交互系统处于姿态眼神控制模式下时，除了采集体感交互者的姿态变化信息外，还采集体感交互者的眼神聚焦信息，以识别定位用户的目标操作，本申请实现的是当体感交互系统处于姿态眼神控制模式下时，如何定位用户的目标操作。
因而，在步骤S10之前，包括：
步骤S01，获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，其中，在预设交互模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态；
获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，具体地，判断所述交互模式是否为姿态眼神控制模式，其中，在姿态眼神控制模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态，以采集体感交互者的眼神聚焦信息。
步骤S02，当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤。
当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤，具体地，在本实施例中，获取体感交互者的姿态变化信息包括获取体感交互者的手势变化信息，该手势变化信息包括体感交互者手势变化趋势以及手势变化轨迹等，其中，体感交互者手势变化趋势包括手势变化方向，手势变化幅度等，手势变化轨迹指的是在极短的预设时间内如0.1ms内手势对应骨骼或者躯干所映射的距离以及方向的变化，在得到体感交互者手势变化趋势以及手势变化轨迹后，即可通过手势变化趋势以及手势变化轨迹所映射的矩阵模型实现进行具体操作的预测，该矩阵模型可以是行为矩阵模型，在获取体感交互者的姿态变化信息的同时，还获取体感交互者的眼神聚焦信息，其中，通过生物识别技术得到体感交互者的虹膜信息后，即可得到体感交互者的眼神聚焦信息，体感交互者的眼神聚焦信息包括体感交互者的眼神聚焦位置，眼神聚焦位置的变化趋势，眼神聚焦位置的变化方向等。
步骤S20，判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
为避免可能存在的误触，在获取体感交互者的姿态变化信息后，判断所述姿态变化信息对应体感操作是否存在于预设操作列表中，即是，判断所述姿态变化信息对应体感操作是否为预设操作列表中的一种，需要说明的是，预设操作列表中具有如向上滑动操作大于10cm，向左滑动操作大于10cm，向右滑动操作大于10cm等操作类型，当体感交互者只是身体其他部分运动而手势未发生变化时，则可以判定对应体感操作不是预设操作列表中的一种，具体地，所述姿态变化信息包括手势运动趋势与轨迹，所述，参照图2，步骤S20，判断所述姿态变化信息对应体感操作是否存在于预设操作列表中步骤包括：
步骤S21，对体感交互者手势运动趋势与轨迹对应体感操作进行矩阵模型的提取，以得到第一矩阵模型，并将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配；
由于体感交互者手势变化趋势包括手势变化方向，手势变化幅度等，手势变化轨迹指的是在极短的预设时间内如0.1ms内手势对应骨骼或者躯干所映射的距离以及方向的变化，因而，在得到体感交互者手势运动趋势与轨迹后，可以提取得到该手势操作的矩阵模型，将提取到的该手势操作的矩阵模型作为第一矩阵模型，在将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配，即在体感交互系统中预存有矩阵模型库，该矩阵模型库中具有各个手势操作的矩阵模型，如当手势为双手交叉操作时，对应的行为矩阵模型为第二矩阵模型，当手势为上滑操作时，对应的行为矩阵模型为第三矩阵模型，当手势为左滑操作时，对应的行为矩阵模型为第四矩阵模型等。
步骤S22，当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中；
当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中，以便于进一步定位目标操作。
步骤S23，当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中。
当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中，此时，不需要再进行定位目标操作。
用以具体实施例进行说明，在体感交互者进行可视化报表的展示时，体感交互者进行的手势操作可以只是针对听众的，而不需要体感交互系统进行响应如进行报表的翻页、分屏等，因而，需要判断所述姿态变化信息对应体感操作是否存在于预设操作列表中，以避免误触，其中，预设操作列表中的操作类型包括常用的上滑，下滑一定距离的操作等。
步骤S30，当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，其中，所述姿态变化信息包括手势位置变化，所述眼神聚焦信息包括眼神聚焦位置。
其中，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作步骤包括：
步骤S31，同步提取体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线；
同步提取体感交互者的眼神聚焦位置与手势对应所在位置，具体地，可是10次提取同一时刻体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线，在该目标关系曲线中，明确了体感交互者眼神聚焦位置变化方向，变化幅度，并明确了体感交互者手势变化方向，手势变化幅度。
步骤S32，基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度；
基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度，其中，第一适配度包括体感交互者眼神聚焦位置变化方向与手势对应所在位置变化方向的方向子适配度外，还包括体感交互者眼神聚焦位置变化轨迹与手势对应所在位置变化轨迹的轨迹子适配度。
步骤S33，在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作，以定位第一适配度对应的目标操作。
其中，所述第一适配度包括第一方向子适配度与第一轨迹子适配度，所述在预存的各个适配度中查找与所述第一适配度匹配的第二适配度步骤包括：
步骤A1，在预存的各个适配度中查找方向子适配度与所述第一方向子适配度相同的目标适配度；
在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，其中，第一适配度匹配的第二适配度匹配首先指的是第二适配度的方向子适配与第一适配度的方向子适配相同，如图4所示，需要说明的是，目标适配度中与第一方向子适配相同的可以为多个。
步骤A2，再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度。
再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度，需要说明的是，第二适配度的轨迹子适配需与第一适配度的轨迹子适配相同或者近似，其中，近似指的是轨迹变化规律近似，以基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作。以定位第一适配度对应的目标操作，如第二适配度对应的操作为上滑操作，则定位目标操作为上滑操作。在本实施例中，通过体感交互者眼神聚焦位置变化与手势对应所在位置变化的适配度确定目标操作，避免可能存在的不能准确识别具有细节差异化的用户的手势行为，提升用户体验。
本发明通过当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。由于在本申请中，在所述姿态变化信息对应体感操作存在于预设操作列表中时，还获取体感交互者眼神聚焦信息对应的维度信息，即在本申请中，通过两个维度的信息定位目标操作，因而，在体感交互者的姿态变化较小时，还可通过体感交互者的眼神聚焦信息的这个维度进一步定位目标操作，避免当用户姿态变化较小时，用户需要多次重复进行不同的手势操作以达到手势操控的目的，提升了体感交互过程中的交互准确性，解决了现有体感交互过程中，手势操作响应准确度低的技术问题。
进一步地，本发明提供体感交互方法的另一实施例，在该实施例中，所述目标操作包括手指相对滑动的手势操作，所述输出所述目标操作对应的响应结果并显示步骤包括：
步骤S34，获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容。
当体感交互者的手势为相对滑动的手势操作时，获取所述手指相对滑动的手势操作对应当前界面的界面内容，如当前界面内容可以是可视化报表，在得到可视化报表后，对所述界面上显示的可视化报表进行放大处理，并显示所述放大处理后的可视化报表。
在本实施例中，通过获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容，在本实施例中，能够通过体感交互方法准确进行当前界面界面内容的放大显示，避免可能存在的多次操作，提升了用户体验。
进一步地，本发明提供体感交互方法的另一实施例，在该实施例中，所述眼神聚焦信息包括眼神聚焦位置的变化方向与位置；
所述获取体感交互者的眼神聚焦信息步骤包括：
步骤B1，通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置。
通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置，具体地，通过生物识别确定体感交互者的虹膜位置变化方向，确定眼神聚焦位置的变化方向，通过生物识别确定体感交互者的虹膜位置变化位置，确定眼神聚焦位置的变化位置，其中，生物识别技术是现有技术，在此不做具体说明。
在本实施例中，通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置，因而能够为本申请基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作奠下基础。
参照图3，图3是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例体感交互设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等终端设备。
如图3所示，该体感交互设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该体感交互设备还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的体感交互设备结构并不构成对体感交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及体感交互程序。操作系统是管理和控制体感交互设备硬件和软件资源的程序，支持体感交互程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与体感交互设备中其它硬件和软件之间通信。
在图3所示的体感交互设备中，处理器1001用于执行存储器1005中存储的体感交互程序，实现上述任一项所述的体感交互方法的步骤。
本发明体感交互设备具体实施方式与上述体感交互方法各实施例基本相同，在此不再赘述。
本发明还提供一种体感交互装置，所述体感交互装置包括：
第一获取模块，用于当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断模块，用于判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
定位模块，用于当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
本发明体感交互装置具体实施方式与上述体感交互方法各实施例基本相同，在此不再赘述。
本发明提供了一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的体感交互方法的步骤。
本发明可读存储介质具体实施方式与上述体感交互方法各实施例基本相同，在此不再赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利处理范围内。
Claims (10)
1.一种体感交互方法，其特征在于，所述体感交互方法包括：
当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，从姿态变化信息对应的体感操作中定位目标操作，输出所述目标操作对应的响应结果并显示。
2.如权利要求1所述的体感交互方法，其特征在于，所述姿态变化信息包括手势运动趋势与轨迹，所述判断所述姿态变化信息对应体感操作是否存在于预设操作列表中步骤包括：
对体感交互者手势运动趋势与轨迹对应体感操作进行矩阵模型的提取，以得到第一矩阵模型，并将所述第一矩阵模型与预存的矩阵模型库中的矩阵模型进行匹配；
当预存的矩阵模型库中存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作存在于预设操作列表中；
当预存的矩阵模型库中未存在与第一矩阵模型匹配的第二矩阵模型时，确定所述体感交互者手势运动趋势与轨迹对应体感操作未存在于预设操作列表中。
3.如权利要求1所述的体感交互方法，其特征在于，所述体感交互方法应用于体感交互系统，所述当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息步骤之前还包括：
获取当前体感交互系统的交互模式，判断所述交互模式是否为预设交互模式，其中，在预设交互模式中，体感交互系统中眼神聚焦信息采集子装置处于开启状态；
当所述交互模式是预设交互模式时，执行当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息的步骤。
4.如权利要求1-3任一项所述的体感交互方法，其特征在于，所述姿态变化信息包括手势位置变化，所述眼神聚焦信息包括眼神聚焦位置；
所述基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作步骤包括：
同步提取体感交互者的眼神聚焦位置与手势对应所在位置，以得到体感交互者眼神聚焦位置与手势对应所在位置基于时间的目标关系曲线；
基于所述目标关系曲线，得到体感交互者眼神聚焦位置变化与手势对应所在位置变化的第一适配度；
在预存的各个适配度中查找与所述第一适配度匹配的第二适配度，基于预存的各个适配度与各操作的映射关系，得到第二适配度对应的操作，以定位第一适配度对应的目标操作。
5.如权利要求4所述的体感交互方法，其特征在于，所述第一适配度包括第一方向子适配度与第一轨迹子适配度，所述在预存的各个适配度中查找与所述第一适配度匹配的第二适配度步骤包括：
在预存的各个适配度中查找方向子适配度与所述第一方向子适配度相同的目标适配度；
再从所述目标适配度中查找轨迹子适配度与所述第一轨迹子适配度适配度匹配的第二适配度。
6.如权利要求1所述的体感交互方法，其特征在于，所述目标操作包括手指相对滑动的手势操作，所述输出所述目标操作对应的响应结果并显示步骤包括：
获取所述手指相对滑动的手势操作对应当前界面的界面内容，对所述界面内容进行放大处理，并显示所述放大处理后的界面内容。
7.如权利要求1所述的体感交互方法，其特征在于，所述眼神聚焦信息包括眼神聚焦位置的变化方向与位置；
所述获取体感交互者的眼神聚焦信息步骤包括：
通过生物识别确定体感交互者的虹膜位置变化方向与位置，基于虹膜位置变化方向与位置确定眼神聚焦位置的变化方向与位置。
8.一种体感交互装置，其特征在于，所述体感交互装置包括：
第一获取模块，用于当检测到体感交互者的姿态变化时，获取体感交互者的姿态变化信息，并获取体感交互者的眼神聚焦信息；
判断模块，用于判断所述姿态变化信息对应体感操作是否存在于预设操作列表中；
定位模块，用于当所述姿态变化信息对应体感操作存在于预设操作列表中时，基于所述眼神聚焦信息与所述姿态变化信息，定位目标操作，输出所述目标操作对应的响应结果并显示。
9.一种体感交互设备，其特征在于，所述体感交互设备包括：存储器、处理器，通信总线以及存储在所述存储器上的体感交互程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述体感交互程序，以实现如权利要求1至7中任一项所述的体感交互方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有体感交互程序，所述体感交互程序被处理器执行时实现如权利要求1-7中任一项所述的体感交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810486082.3A CN108762497A (zh) | 2018-05-18 | 2018-05-18 | 体感交互方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810486082.3A CN108762497A (zh) | 2018-05-18 | 2018-05-18 | 体感交互方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108762497A true CN108762497A (zh) | 2018-11-06 |
Family
ID=64007198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810486082.3A Withdrawn CN108762497A (zh) | 2018-05-18 | 2018-05-18 | 体感交互方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108762497A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634416A (zh) * | 2018-12-12 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写报读的智能控制方法及终端设备 |
| CN109871123A (zh) * | 2019-01-21 | 2019-06-11 | 广东精标科技股份有限公司 | 一种基于手势或眼神控制的教学方法 |
| CN110427106A (zh) * | 2019-07-19 | 2019-11-08 | 武汉恒新动力科技有限公司 | 体感动作数据处理方法、设备及计算机可读存储介质 |
| CN114115536A (zh) * | 2021-11-22 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、电子设备和存储介质 |
| CN115065850A (zh) * | 2022-07-05 | 2022-09-16 | 中国电信股份有限公司 | 体感操控方法及装置、存储介质、电子设备 |
| CN117218678A (zh) * | 2023-08-11 | 2023-12-12 | 浙江深象智能科技有限公司 | 行为检测方法、装置及电子设备 |
-
2018
- 2018-05-18 CN CN201810486082.3A patent/CN108762497A/zh not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634416A (zh) * | 2018-12-12 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写报读的智能控制方法及终端设备 |
| CN109871123A (zh) * | 2019-01-21 | 2019-06-11 | 广东精标科技股份有限公司 | 一种基于手势或眼神控制的教学方法 |
| CN109871123B (zh) * | 2019-01-21 | 2022-08-16 | 广东精标科技股份有限公司 | 一种基于手势或眼神控制的教学方法 |
| CN110427106A (zh) * | 2019-07-19 | 2019-11-08 | 武汉恒新动力科技有限公司 | 体感动作数据处理方法、设备及计算机可读存储介质 |
| CN110427106B (zh) * | 2019-07-19 | 2022-07-12 | 武汉恒新动力科技有限公司 | 体感动作数据处理方法、设备及计算机可读存储介质 |
| CN114115536A (zh) * | 2021-11-22 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、电子设备和存储介质 |
| CN115065850A (zh) * | 2022-07-05 | 2022-09-16 | 中国电信股份有限公司 | 体感操控方法及装置、存储介质、电子设备 |
| CN115065850B (zh) * | 2022-07-05 | 2024-01-12 | 中国电信股份有限公司 | 体感操控方法及装置、存储介质、电子设备 |
| CN117218678A (zh) * | 2023-08-11 | 2023-12-12 | 浙江深象智能科技有限公司 | 行为检测方法、装置及电子设备 |
| CN117218678B (zh) * | 2023-08-11 | 2024-07-30 | 浙江深象智能科技有限公司 | 行为检测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108762497A (zh) | 体感交互方法、装置、设备及可读存储介质 | |
| CN108255304B (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
| CN105593785B (zh) | 凝视辅助触摸屏输入 | |
| CN105431813B (zh) | 基于生物计量身份归属用户动作 | |
| US20170192500A1 (en) | Method and electronic device for controlling terminal according to eye action | |
| US20150049924A1 (en) | Method, terminal device and storage medium for processing image | |
| CN109325450A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| US12102904B2 (en) | Game control method based on a smart bracelet, smart bracelet and storage medium | |
| CN105335136B (zh) | 智能设备的控制方法及装置 | |
| CN113535055B (zh) | 一种基于虚拟现实播放点读物的方法、设备及存储介质 | |
| CN112995757B (zh) | 视频剪裁方法及装置 | |
| JP2017182531A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN109086366A (zh) | 浏览器中的推荐新闻显示方法、装置、设备及存储介质 | |
| CN105892881A (zh) | 人机交互方法及装置、移动设备 | |
| CN109656493A (zh) | 控制方法及装置 | |
| CN104869317B (zh) | 智能设备拍摄方法及装置 | |
| CN112486394A (zh) | 信息处理方法、装置、电子设备及可读存储介质 | |
| CN108401173A (zh) | 移动直播的互动终端、方法及计算机可读存储介质 | |
| CN115061577A (zh) | 手部投影交互方法、系统及存储介质 | |
| CN110069126B (zh) | 虚拟对象的控制方法和装置 | |
| CN112818733B (zh) | 信息处理方法、装置、存储介质及终端 | |
| CN104992085A (zh) | 一种基于触摸轨迹跟踪的人体活体检测方法及装置 | |
| Guna et al. | User identification approach based on simple gestures | |
| Molyneaux et al. | Cooperative augmentation of mobile smart objects with projected displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181106 |