CN105306982A - 移动终端界面图像的感官反馈方法及其移动终端 - Google Patents

Abstract

本发明涉及移动通信领域，提供了一种移动终端界面图像的感官反馈方法，该方法通过对音频参数和/或图像参数的检测，分析并确定界面图像的当前显示场景，并给予用户相应的感官反馈。本发明还提供了一种移动终端，用于实现上述方法。本发明实施例的技术方案，使用户通过移动终端观看视频影音时能够体验到第四维的精准细致的感官享受，获得更好的用户体验。

Description

移动终端界面图像的感官反馈方法及其移动终端

技术领域

本发明涉及移动通信领域，尤其涉及一种移动终端界面图像的感官反馈方法及其移动终端。

背景技术

当前3D、4D电影的风靡，使人们能够身临其境般的直观感受到影片带来的多方位的感官刺激和冲击力，但这需要对影片进行特殊定制处理，并仅限于在电影院观看。当前的游戏产业也是如此，体感类游戏也需要专门定制的特殊设备与特制的游戏相匹配，才能感受到游戏中第四维的乐趣。

可见，目前涉及到感官体验的产业都需要特殊的设备或硬件环境，虽然移动终端在公众中已经相当普及，但仅凭移动终端我们还无法通过实时地检测电影、游戏等界面图像中的场景，给予用户精确细致的动态感官反馈。

发明内容

为解决现有技术中存在的上述问题，本发明实施例一方面提供了一种移动终端界面图像的感官反馈方法，其特征在于，方法包括：

检测移动终端当前界面的音频参数和/或图像参数；

分析音频和/或图像参数，确定界面图像的当前显示场景；

在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素；

根据反馈元素，对用户进行相应的感官反馈。

另一方面，本发明实施例还提供了一种移动终端，包括：

检测模块，用于检测所述移动终端当前界面的音频参数和/或图像参数；

分析模块，用于分析音频和/或图像参数，确定界面图像的当前显示场景；

匹配模块，用于在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素；

反馈模块，用于根据反馈元素，对用户进行相应的感官反馈。

本发明实施例的技术方案，使用户通过移动终端观看视频影音时能够体验到第四维的精准细致的感官享受，获得更好的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的移动终端界面图像的感官反馈方法的第一实施例的流程示意图；

图2为本发明的移动终端界面图像的感官反馈方法的第二实施例的流程示意图；

图3为本发明的移动终端界面图像的感官反馈方法的第二实施例中双耳效应算法的示意图；

图4为本发明的移动终端的第一实施例的结构示意图；

图5为本发明的移动终端的第二实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，是本发明的移动终端界面图像的感官反馈方法的第一实施例的流程示意图，该方法包括：

步骤S11：检测移动终端当前界面的音频参数和/或图像参数。

本步骤中，所检测的音频参数包括音频的音色、频率、功率、过零率等参数。过零率是信号的符号变化的比率，是常用于语音识别、语音对比、音乐信息检索领域的参数。图像参数包括对比度、色温、色相、饱和度等参数。

本步骤中，参数的检测周期可为2至5毫秒，以形成对音频或图像特性的持续性表现，从而无延迟的得到整段音频或图像的实时数据。

步骤S12：分析音频和/或图像参数，确定界面图像的当前显示场景。

本步骤中，对于音频参数，可基于现有的语音识别技术，根据当前界面图像所伴随的音频的音色、频率等参数，识别出图像中发声主体的类型。可采用模式匹配法，预先采集自然界中常见发声体的音频参数，确定每种发声体的合理的音频范围，并录入模板数据库。在识别过程中，将输入语音的特征与模板数据库中的每个模板进行相似度比较，将相似度最高的作为识别结果输出，从而可确定发声体的类型。根据确定出的当前界面图像的所有发声体的集合，可合理的分析出当前显示场景。该模板数据库可存储于移动终端的存储器中，定期进行更新，也可存储于网络中，在识别时再实时获取。

本步骤中，对于图像参数，可提取出当前时刻附近的N帧图像数据，进行边缘提取和运动检测，识别出运动图像。运动检测的原理是比较当前帧图像的边缘图像与前N帧图像的边缘图像，进行图像减运算，对减运算图像进行阈值分割，得到运动图像。由于在电影等界面图像中，各场景中的角色主体经常处于运动状态，因此，通过对运动图像的检测，很容易获取场景中角色主体的类型，再对这些角色主体进行分析，就可确定出当前显示场景。

步骤S13：在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素。

本步骤中，反馈元素可包括振动、气味等感官刺激类型。不同的场景需要匹配不同的反馈元素。在当前显示场景确定下来后，需要在反馈元素数据库中寻找与当前显示场景相匹配的反馈元素。例如，当确定出当前显示场景为战争中的爆炸场面时，所匹配的反馈元素即为爆炸产生的冲击波所带来的振动；当确定出当前显示场景为公园的桂花树下时，所匹配的反馈元素即为桂花的香味。

本步骤中，对于反馈元素的选择，移动终端的系统可提供默认的匹配元素，也可由用户根据需求和偏好进行定制，使用户获得更加人性化的娱乐体验。

步骤S14：根据反馈元素，对用户进行相应的感官反馈。

本步骤中，感官反馈包括移动终端的不同强度、频率的振动，或释放的不同类型、浓度的气味。振动可体现为移动终端机身整体或某部分的振动，可利用移动终端中的振动器来实现。振动器是利用偏心装置做旋转运动而产生振动。气味也可由移动终端释放出具有特定味道的气体而产生。不同场景中的振动的强度、频率可有所不同。例如，与战争中爆炸场面所匹配的振动强度显然要大于“玻璃杯掉在地上后摔碎”这一场面所匹配的振动强度。同理，不同场景中的气味的类型、浓度也有所不同。

本发明实施例的技术方案，使用户通过移动终端观看视频影音时能够实时的体验到第四维的精准细致的感官享受，获得更好的用户体验。

请参照图2，是本发明的移动终端界面图像的感官反馈方法的第二实施例的流程示意图，该方法包括：

步骤S21：检测移动终端当前界面的音频参数和/或图像参数。

本步骤与移动终端界面图像的感官反馈方法的第一实施例中的对应步骤相同，这里不再赘述。

步骤S22：分析音频参数和/或图像参数，确定当前显示场景中物体的移动性特征。

本步骤中，根据所述音频参数中左声道声音与右声道声音的时间差、音量差、音色差或相位差，计算当前显示场景中运动物体的位置、运动方向或运动速度。这也可称为双耳效应原理。

对于双耳效应原理，以时间差为例，如图3所示，两个声压相同的音源A与音源B，对于进入左耳的时间，音源A要短于音源B，A1、A2相当于左右声道，当A1比A2短，A1先进入左耳时，则先进入左耳的是A音源，可以判定音源A在左侧；B1、B2相当于左右声道，当B2比B1短，B1先进入右耳时，则先进入右耳的是B音源，可以判定音源B在右侧。

同理，为了识别声音在屏幕上的方位，可利用上述原理，判断音源在屏幕上是偏向左边还是右边，从而在屏幕上定位出物体的位置、运动方向和/或运动速度。

本步骤中，可根据所述图像参数中像素强度数据的时域变化和相关性，获得每个像素点的速度矢量，并根据运动物体所形成的速度矢量与临域背景的速度矢量的差异性，检测出当前显示场景中运动物体的位置、运动方向或运动速度。这也可称为光流算法原理。

光流算法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。光流算法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

本步骤中，移动性特征包括运动的方向、速度、加速度、位置等参数。

步骤S23：在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素。

本步骤与移动终端界面图像的感官反馈方法的第一实施例中的对应步骤相同，这里不再赘述。

步骤S24：根据反馈元素和移动性特征，对用户进行多方位的不同类型或程度的感官反馈。

本步骤中，以振动为例，当确定出当前视频场景下物体运动的方向、速度、加速度、位置等参数后，可通过移动终端机身上分布的多个振动器，在屏幕上的不同位置处产生与场景相匹配的不同强度或频率的振动，这样，假如用户双手横握移动终端观看视频时，就可实时同步的感受到多方位的立体的振动反馈。

以两个场景为例：

场景一：电影中飞机从屏幕左边起飞到右上角。

此时，用户看到屏幕上的这一场景，能触摸到左边到右上角的振动感受，并且随着轰鸣声振动由大到小，由近渐远。

场景二：愤怒的小鸟游戏。弹弓拉起松开，小鸟飞出去，击中目标，小鸟跌落消失。

在触屏玩游戏的同时，用户在屏幕上可依次直观的感受到弹弓的弹动、小鸟飞出的方位从右到左，击中目标时短促的振动，以及跌落时的细微振动。

本发明实施例的技术方案，使用户进行多方位的不同类型或程度的感官反馈，提高了反馈的准确度和精度，可获得更好的用户体验。

上文对本发明中移动终端界面图像的感官反馈方法的实施例作了详细介绍。下面将相应于上述方法的移动终端作进一步阐述。

请参照图4，是本发明的移动终端的第一实施例的结构示意图，该移动终端100包括：检测模块110、分析模块120、匹配模块130和反馈模块140。

其中，检测模块110，用于检测移动终端当前界面的音频参数和/或图像参数；分析模块120，与检测模块110相连，用于分析音频和/或图像参数，确定界面图像的当前显示场景；匹配模块130，与分析模块120相连，用于在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素；反馈模块140，与匹配模块130相连，用于根据反馈元素，对用户进行相应的感官反馈。

所检测的音频参数包括音频的音色、频率、功率、过零率等参数。过零率是信号的符号变化的比率，是常用于语音识别、语音对比、音乐信息检索领域的参数。图像参数包括对比度、色温、色相、饱和度等参数。参数的检测周期可为2至5毫秒，以形成对音频或图像特性的持续性表现，从而无延迟的得到整段音频或图像的实时数据。

对于音频参数，可基于现有的语音识别技术，根据当前界面图像所伴随的音频的音色、频率等参数，识别出图像中发声主体的类型。可采用模式匹配法，预先采集自然界中常见发声体的音频参数，确定每种发声体的合理的音频范围，并录入模板数据库。在识别过程中，将输入语音的特征与模板数据库中的每个模板进行相似度比较，将相似度最高的作为识别结果输出，从而可确定发声体的类型。根据确定出的当前界面图像的所有发声体的集合，可合理的分析出当前显示场景。该模板数据库可存储于移动终端的存储器中，定期进行更新，也可存储于网络中，在识别时再实时获取。

对于图像参数，可提取出当前时刻附近的N帧图像数据，进行边缘提取和运动检测，识别出运动图像。运动检测的原理是比较当前帧图像的边缘图像与前N帧图像的边缘图像，进行图像减运算，对减运算图像进行阈值分割，得到运动图像。由于在电影等界面图像中，各场景中的角色主体经常处于运动状态，因此，通过对运动图像的检测，很容易获取场景中角色主体的类型，再对这些角色主体进行分析，就可确定出当前显示场景。

反馈元素可包括振动、气味等感官刺激类型。不同的场景需要匹配不同的反馈元素。在当前显示场景确定下来后，需要在反馈元素数据库中寻找与当前显示场景相匹配的反馈元素。例如，当确定出当前显示场景为战争中的爆炸场面时，所匹配的反馈元素即为爆炸产生的冲击波所带来的振动；当确定出当前显示场景为公园的桂花树下时，所匹配的反馈元素即为桂花的香味。

对于反馈元素的选择，移动终端的系统可提供默认的匹配元素，也可由用户根据需求和偏好进行定制，使用户获得更加人性化的娱乐体验。

感官反馈包括移动终端的不同强度、频率的振动，或释放的不同类型、浓度的气味。振动可体现为移动终端机身整体或某部分的振动，可利用移动终端中的振动器来实现。振动器是利用偏心装置做旋转运动而产生振动。气味也可由移动终端释放出具有特定味道的气体而产生。不同场景中的振动的强度、频率可有所不同。例如，与战争中爆炸场面所匹配的振动强度显然要大于“玻璃杯掉在地上后摔碎”这一场面所匹配的振动强度。同理，不同场景中的气味的类型、浓度也有所不同。

本发明实施例的技术方案，使用户通过移动终端观看视频影音时能够实时的体验到第四维的精准细致的感官享受，获得更好的用户体验。

请参照图5，是本发明的移动终端的第二实施例的结构示意图，该移动终端200包括：检测模块210、分析模块220、匹配模块230和反馈模块240。

其中，检测模块210，用于检测移动终端当前界面的音频参数和/或图像参数；分析模块220，与检测模块210相连，用于分析音频和/或图像参数，确定界面图像的当前显示场景；匹配模块230，与分析模块220相连，用于在移动终端的反馈元素数据库中寻找与当前显示场景相匹配的反馈元素；反馈模块240，与匹配模块230相连，用于根据反馈元素，对用户进行相应的感官反馈。

分析模块220包括移动性分析单元221，用于分析音频参数和/或图像参数，确定当前显示场景中物体的移动性特征。移动性特征包括运动的方向、速度、加速度、位置等参数。

移动性分析单元221进一步包括音频分析子单元2211和图像分析子单元2212。

其中，音频分析子单元2211用于根据所述音频参数中左声道声音与右声道声音的时间差、音量差、音色差或相位差，计算当前显示场景中运动物体的位置、运动方向或运动速度。这也可称为双耳效应原理。

对于双耳效应原理，以时间差为例，如图3所示，两个声压相同的音源A与音源B，对于进入左耳的时间，音源A要短于音源B，A1、A2相当于左右声道，当A1比A2短，A1先进入左耳时，则先进入左耳的是A音源，可以判定音源A在左侧；B1、B2相当于左右声道，当B2比B1短，B1先进入右耳时，则先进入右耳的是B音源，可以判定音源B在右侧。

同理，为了识别声音在屏幕上的方位，可利用上述原理，判断音源在屏幕上是偏向左边还是右边，从而在屏幕上定位出物体的运动方向和位置变化信息。

图像分析子单元2212用于根据所述图像参数中像素强度数据的时域变化和相关性，获得每个像素点的速度矢量，并根据运动物体所形成的速度矢量与临域背景的速度矢量的差异性，检测出当前显示场景中运动物体的位置、运动方向或运动速度。这也可称为光流算法原理。

光流算法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。光流算法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

反馈模块240包括第一反馈单元241，用根据反馈元素和移动性特征，对用户进行多方位的不同类型或程度的感官反馈。

以振动为例，当确定出当前视频场景下物体运动的方向、速度、加速度、位置等参数后，可通过移动终端机身上分布的多个振动器，在屏幕上的不同位置处产生与场景相匹配的不同强度或频率的振动，这样，假如用户双手横握移动终端观看视频时，就可实时同步的感受到多方位的立体的振动反馈。

以两个场景为例：

场景一：电影中飞机从屏幕左边起飞到右上角。

此时，用户看到屏幕上的这一场景，能触摸到左边到右上角的振动感受，并且随着轰鸣声振动由大到小，由近渐远。

场景二：愤怒的小鸟游戏。弹弓拉起松开，小鸟飞出去，击中目标，小鸟跌落消失。

在触屏玩游戏的同时，用户在屏幕上可依次直观的感受到弹弓的弹动、小鸟飞出的方位从右到左，击中目标时短促的振动，以及跌落时的细微振动。

本发明实施例的技术方案，使用户进行多方位的不同类型或程度的感官反馈，提高了反馈的准确度和精度，可获得更好的用户体验。

本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的程序可以存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的较佳实施例而已，并不用于限定本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动终端界面图像的感官反馈方法，其特征在于，所述方法包括：

检测所述移动终端当前界面的音频参数和/或图像参数；

分析所述音频和/或图像参数，确定所述界面图像的当前显示场景；

在所述移动终端的反馈元素数据库中寻找与所述当前显示场景相匹配的反馈元素；

根据所述反馈元素，对用户进行相应的感官反馈。

2.如权利要求1所述的方法，其特征在于，

所述分析所述音频和/或图像参数，确定所述界面图像的当前显示场景的步骤，包括：

分析所述音频参数和/或图像参数，确定当前显示场景中物体的移动性特征；

所述根据所述反馈元素，对用户进行相应的感官反馈的步骤，包括：

根据所述反馈元素和所述移动性特征，对所述用户进行多方位的不同类型或程度的感官反馈。

3.如权利要求2所述的方法，其特征在于，所述分析所述音频参数和/或图像参数，确定当前显示场景中物体的移动性特征的步骤，包括：

根据所述音频参数中左声道声音与右声道声音的时间差、音量差、音色差或相位差，计算当前显示场景中运动物体的位置、运动方向或运动速度。

4.如权利要求2所述的方法，其特征在于，所述分析所述音频参数和/或图像参数，确定当前显示场景中物体的移动性特征的步骤，包括：

根据所述图像参数中像素强度数据的时域变化和相关性，获得每个像素点的速度矢量，并根据运动物体所形成的速度矢量与临域背景的速度矢量的差异性，检测出当前显示场景中运动物体的位置、运动方向或运动速度。

5.如权利要求1-4任一项所述的方法，其特征在于，

所述反馈元素包括振动或气味；

所述感官反馈包括所述移动终端的不同强度、频率的振动，或释放的不同类型、浓度的气味。

6.一种移动终端，其特征在于，所述移动终端包括：

检测模块，用于检测所述移动终端当前界面的音频参数和/或图像参数；

分析模块，用于分析所述音频和/或图像参数，确定所述界面图像的当前显示场景；

匹配模块，用于在所述移动终端的反馈元素数据库中寻找与所述当前显示场景相匹配的反馈元素；

反馈模块，用于根据所述反馈元素，对用户进行相应的感官反馈。

7.如权利要求6所述的移动终端，其特征在于，

所述分析模块包括：

移动性分析单元，用于分析所述音频参数和/或图像参数，确定当前显示场景中物体的移动性特征；

所述反馈模块包括：

第一反馈单元，用根据所述反馈元素和所述移动性特征，通过所述移动终端对所述用户进行多方位的不同类型或程度的感官反馈。

8.如权利要求7所述的移动终端，其特征在于，所述移动性分析单元包括：

音频分析子单元，用于根据所述音频参数中左声道声音与右声道声音的时间差、音量差、音色差或相位差，计算当前显示场景中运动物体的位置、运动方向或运动速度。

9.如权利要求7所述的移动终端，其特征在于，所述移动性分析单元包括：

图像分析子单元，用于根据所述图像参数中像素强度数据的时域变化和相关性，获得每个像素点的速度矢量，并根据运动物体所形成的速度矢量与临域背景的速度矢量的差异性，检测出当前显示场景中运动物体的位置、运动方向或运动速度。

10.如权利要求6-9任一项所述的移动终端，其特征在于，

所述反馈元素包括振动或气味；

所述感官反馈包括所述移动终端的不同强度、频率的振动，或释放的不同类型、浓度的气味。