CN103105998A

CN103105998A - 一种人机交互方法及系统

Info

Publication number: CN103105998A
Application number: CN2012100185634A
Authority: CN
Inventors: 杨志晓; 范艳峰; 徐振强; 杨振赢
Original assignee: Henan University of Technology
Current assignee: Henan University of Technology
Priority date: 2012-01-19
Filing date: 2012-01-19
Publication date: 2013-05-15
Anticipated expiration: 2032-01-19
Also published as: CN103105998B

Abstract

本发明涉及一种人机交互方法及系统，首先将所要表达的非语言信息按强度分为不同的级别，并将不同的级别分别与非语言交互控件的不同位置相关联；再用信息输入设备点击非语言交互控件上的一点；系统根据非语言交互控件上的点击位置识别要表述非语言信息的强度，并将识别结果发送给虚拟人物；虚拟人物执行非语言交互控件发送的识别结果；本发明的非语言信息控件具有非语言信息类型选择、自动分级、语言信息发送三位一体功能，在一次点击控件时，根据控件名称设定非语言信息类型，根据被点击位置距控件下边沿的距离h对非语言信息强度进行自动分级，并发送输入的语言信息，能够刻画人类情感、动机等非语言信息，实现了表达信息的多样化。

Description

一种人机交互方法及系统

技术领域

本发明属于人机交互、情感计算技术领域，涉及一种人机交互方法及系统。

背景技术

人的各种情感、动机等深层信息在人际交往中扮演着重要角色。它们一般通过语调、表情、体势、肢体动作进行传递，称之为非语言信息。与显式的语言相比，非语言信息在人际交往中往往发挥着更为重要的作用。一方面，非语言信息的形象表达更能有效地传递人的内心思想。另一方面，当说话人的语言信息和非语言信息不一致时，人们更倾向于相信后者。

随着情感计算技术的兴起，人们越来越希望在人机交互中赋予机器人、虚拟人以情感的理解和表达能力，以构建更为友好、自然的人机交互技术。

人类非语言信息具有模糊性和随机性。以情感为例，人很难清晰地对自己所处情感状态的强烈程度进行量化。情感强度级别间不存在明确的边界。另一方面，人即使要表达同类型同等强度的情感，每次所运用的语调、表情、肢体动作都存在差异。因此，情感的表达又是随机的。正是这种丰富的随机差异性，使人类身体语言展现出无穷魅力。

在现有的人机交互技术中，有两类方法用于识别人的非语言信息类型及其强度。即人工的方法和自动的方法。人工方法是由交互一方输入自己要表达的非语言信息类型及其强度。在QQ等即时通信工具中，用户通过输入表情符号或图棒设置自己的情感状态。自动的方法一般是开发智能识别算法，根据用户输入的语言值，或者采集用户的面部表情、肢体动作、各种生理信号等，分析其情感状态。目前，自动识别方法一般还处于实验室研究阶段，没有进入大量应用。较为常用的还是由用户指定其非语言信息类型及强度的人工输入方法。

在各种人工非语言信息输入方法中，一般没有考虑人类情感、动机等非语言信息的模糊性和随机性。例如，采用图棒表达情感状态时，图棒的表现形式是重复的、固定不变的。这显然不符合人类对各种非语言信息认知的不确定性。由于现有非语言信息交互手段不能刻画非语言信息的模糊性和随机性，因此其表现结果缺乏多样性，无法持久吸引用户的兴趣。

发明内容

本发明的目的是提供一种人机交互方法及系统，以解决现有非语言信息表述时表现形式单一、重复、固定不变的问题。

为实现上述目的，本发明的人机交互系统，包括信息输入设备，所述信息输入设备通过点击非语言交互控件的不同位置来控制虚拟人物相应幅度的动作，所述非语言交互控件用于对非语言信息强度进行自动分级和发送输入的语言信息。

进一步的，所述非语言交互控件为矩形控件。

进一步的，所述非语言交互控件用于表述的非语言信息包括尊敬、高兴、悲伤。

本发明的人机交互方法步骤如下：

（1）将所要表达的非语言信息按强度分为不同的级别，并将不同的级别分别与非语言交互控件的不同位置相关联；

（2）信息输入设备点击非语言交互控件上的一点；

（3）系统根据非语言交互控件上的点击位置识别要表述非语言信息的强度，并将识别结果发送给虚拟人物；

（4）虚拟人物执行非语言交互控件发送的识别结果。

进一步的，所述步骤（1）中将非语言信息级别数分为N，非语言交互控件为矩形，该矩形高为H，则非语言信息强度等级的期望为Ex _i=(2N-1)H/2N(i=1, 2, …, N)，分别以En _i(i=1, 2, …, N), He _i(i=1, 2, …, N)为熵和超熵，建立非语言信息的第i级控件云模型C _i(Ex _i, En _i, He _i)。

进一步的，所述步骤（3）中非语言交互控件上的点击位置距离非语言交互控件下边沿的垂直距离为h，对于N个云模型分别计算确定度μ _i(h)，确定I，得到点击动作所对应的非语言信息的强度；I是N个u _i中取得最大值的u _i的索引号，使μ _I =max{u _i, i=1, 2, …, N}；C_I是第I级非语言信息云模型，h∈C_I表示h所代表的强度为I。

进一步的，所述确定度μ _i(h)的计算过程为：

a)分别由正态分布En _i’～N(En _i, He _i ²)产生En _i’；

b) 分别计算μ _i =exp[-(h-Ex _i)²/(2En _i ^’ 2)]。

本发明的人机交互方法及系统中，非语言信息控件具有非语言信息类型选择、自动分级、语言信息发送三位一体功能，在一次点击控件时，根据控件名称设定非语言信息类型，根据被点击位置距控件下边沿的距离h对非语言信息强度进行自动分级，并发送输入的语言信息，能够刻画人类情感、动机等非语言信息，实现了表达信息形式的多样化。

非语言信息的分级数N，云模型数字特征值C _i(Ex _i, En _i, He _i) (i=1, 2, …, N)可由用户灵活设置，满足用户的不同需要。

非语言信息控件的强度分级考虑了人类对非语言信息认知的模糊性和随机性，在离期望Ex _i较近的区域，云滴h以较大的概率归属于强度i，在Ex _i与Ex _i+1之间的区域，一些云滴既可能归属于强度i，也可能归属于强度i+1，符合人类通过鼠标点击表达非语言信息强度级别的模糊性和随机性规律。

附图说明

图1是实施例的非语言交互控件形状示意图；

图2是实施例的非语言信息强度等级云的期望值设置示意图；

图3是N级非语言信息控件云模型示意图；

图4是熵和超熵对云模型的模糊性和随机性调节示意图；

图5是实施例的尊敬控件示意图；

图6是三级尊敬控件云示意图；

图7是实施例的各h值归属于不同级云模型的概率图；

图8是实施例的采用三级尊敬控件分别点击h=7.5,17.5,27.5各100次获得的鞠躬控制曲线；

图9是实施例的点击尊敬控件不同位置获得的三个级别鞠躬最大角的合成效果图；

图10是实施例的100次点击尊敬控件中间位置获得的的鞠躬控制曲线图；

图11实施例的远程交互系统示意图。

具体实施方式

人机交互方法步骤如下：（1）将所要表达的非语言信息按强度分为不同的级别，并将不同的级别分别与非语言交互控件的不同位置相关联；（2）信息输入设备点击非语言交互控件上的一点；（3）系统根据非语言交互控件上的点击位置识别要表述非语言信息的强度，并将识别结果发送给虚拟人物；（4）虚拟人物执行非语言交互控件发送的识别结果。

详细的实现过程如下：

（1）非语言交互控件尺寸设计

控件大小为宽×高=W×H，一般来说高度应足够大，满足使用。

（2）非语言信息类型设定

控件冠以某非语言信息类型的标题，如“高兴”、“尊敬”、“悲伤”等，用户根据控件标题选择设定非语言信息类型。

（3）非语言信息级别设计

某类型的非语言信息级别数为N，N为正整数，即按照强度差异，将其分为1级、2级、…、N级，其中1级强度最小，N级强度最大。N由用户自行设定。

（4）非语言交互控件分级云设计

控件为矩形，将控件上任一点距控件下边沿的垂直距离记为h。如图1所示。通过鼠标点击位置P距控件下边沿的垂直距离h区分非语言信息强度。h值越大，即P点越靠上，强度等级越高。空间也可以为圆形，用半径和距圆心距离表示信息强度。

对非语言信息强度的N个分级，分别以h=H/2N, 3H/2N, …, (2N-1)H/2N为期望，如图2所示，则有期望Ex _i=(2N-1)H/2N(i=1, 2, …, N)。分别以En _i(i=1, 2, …, N), He _i(i=1, 2, …, N)为熵和超熵。这里的熵和超熵是云模型里的概念，熵En既是定性概念随机性的度量，反映云滴在论域空间的离散程度；又是定性概念亦此亦彼性的度量，反映在论域空间可被概念接受的云滴的取值范围。熵值越大，云滴越分散，集中度低，概念更宏观；反之，熵值越小，云滴越集中，概念的粒度更小，从而更清晰。超熵He是熵的熵，是熵的不确定性度量，反映了熵En的稳定性。超熵值越大，云滴集中度的稳定性越差。熵和超熵都可从样本进行估计，它们都是正数）。建立非语言信息的第i级控件云模型。记为C _i(Ex _i, En _i, He _i)，如图3所示。

图3中，横轴表示控件上鼠标点击位置距控件下边沿的垂直距离h，纵轴为确定度，用μ表示，每个点为一个云滴，也就是一个实现了的点击位置h。云滴是云模型的术语，定性概念的云模型由大量云滴组成，每一个云滴都是定性概念的一个随机实现。这里可理解为某级非语言信息强度的一个随机实现。第i级控件云模型C _i(Ex _i, En _i, He _i)分别在h=(2N-1)H/2N(i=1, 2, …, N)处取得期望值Ex _i。期望值Ex _i是论域U=[0, H]内最能够代表第i级非语言信息的点。熵En _i既是第i级非语言信息的模糊性度量，反映论域内可以被第i级非语言信息接受的云滴取值范围；又是它的随机性度量，反映云滴在论域内的离散程度。超熵He _i则反映了熵的稳定性，影响云滴在给定取值下确定度的离散程度。云滴的确定度在云滴给定取值下是一个有稳定倾向的随机数。N，熵En _i和超熵He _i的值可由用户自行定义。

图4给出了各级云模型具有相同期望，但具有较小的熵和超熵值的非语言信息控件云，可以看出，由于采用了较小的熵和超熵值，云滴沿论域方向（水平轴）和确定度方向（竖直轴）都更为集中，因此其模糊性和随机性小。

图3和图4表明，非语言信息的不同级别间不存在明确界限。特别是对两个级别之间的一些区域，既可能属于高一级强度云模型，又可能属于低一级强度云模型。对于控件上的任一点（h值）究竟属于哪一级强度云，可以分别计算该点在不同强度云下的确定度，将其归属于确定度最大的强度云模型。

从上述分析可以看出，基于云模型的非语言信息分级模型能够综合考虑人类对非语言信息认知的模糊性和随机性。

非语言信息的分级数N，云模型数字特征值C _i(Ex _i, En _i, He _i) (i=1, 2, …, N)可由用户设置。

（5）云滴归属算法

从图3和图4可以看出，相邻的两个强度等级之间不存在明确的界线，一些点可能属于低一级强度，也可能属于高一级强度，究竟属于哪一个强度，需通过比较确定度来确定。将云滴归属于在N个云模型中取得最大确定度的强度云模型。云滴归属算法描述如下：

①用户点击控件，输入h；

②对N个云模型C_i(i=1, 2, …, N)分别计算μ _i(h)

a)分别由正态分布En _i’～N(En _i, He _i ²)产生En _i’；

b) 分别计算μ _i =exp[-(h-Ex _i)²/(2En _i ^’ 2)]；

③确定I，使μ _I =max{u _i, i=1, 2, …, N}；

④令h∈C_I。

云滴的确定度μ是一个有稳定倾向的随机数。因此对同一个h值，不同次运用云滴归属算法并不能取得一个确定的结果I，而是依概率p取得结果I，I是N个u _i中取得最大值的u _i的索引号，C_I是第I级非语言信息云模型，h∈C_I表示h所代表的强度为I。

p值与h，En _i, He _i有关。这正是由定性概念非语言信息的模糊性和随机性所决定。

（6）控件的发送功能

用户在点击非语言信息控件的同时，还将输入的语言信息发送。

以远程人机情感交互系统中尊敬控件来详细说明本发明。

将尊敬分为3个级别（N=3），轻度（1级）尊敬、中度（2级）尊敬、深度（3级）尊敬。

控件的宽×高=W×H=10mm×30mm。

如图5所示，以h=5,15,25为期望。即Ex ₁ =5，Ex ₂=15，Ex ₃=25。3级控件尊敬云的熵同为1.5.，即（En _i=1.5) (i=1, 2, 3)。3级控件尊敬云的超熵同为0.2.，即（He _i =1.5) (i=1, 2, 3)。则3级控件尊敬云模型如图6所示。

用户用鼠标点击尊敬控件，选择要表达的非语言信息类型为尊敬。系统自动获取被点击位置的h值，即实现了的云滴。调用云滴归属算法，即可获得h值所对应的尊敬强度等级。图7给出了控件上所有点（0≤h≤H）归属于不同级别尊敬云的概率。

可以看出，对距期望值较近的云滴，分别以概率1归属于期望值离它们最近的云模型。而对相邻级别间的部分云滴，由于它们位于相邻云模型的中间地带，分别有一定的机会既可能归属于高一级云模型，也可能归属于低一级云模型。因此，基于云模型的尊敬控件设计既能够将一些区域依照不同概率归属于某个强度级别，又能客观反映人对尊敬这一定性概念的模糊性和随机性认识。

如果以虚拟人鞠躬表达尊敬。根据弯腰的最大角度的期望值不同，将鞠躬表达尊敬同样分为三级。分别以30°,60°,90°为期望，以5和1为熵和超熵。则点击尊敬控件的不同位置，可以获得虚拟人的不同鞠躬级别的控制曲线。图8给出了分别点击h=7.5,17.5,27.5各100次获得的控制曲线。可以看出各级别的鞠躬控制曲线以各自的期望值为中心聚集，呈现出随机性差异。图9分别给出了三个级别鞠躬最大角的合成效果。可以看出他们呈现随机性差异。因此采用基于云模型的尊敬控件，可以对用户的输入自动识别分级。这个分级过程充分考虑了人对尊敬这一定性概念的认知的模糊性和随机性。最终合成千变万化的鞠躬效果。

图10给出了100次点击h=10.0获得的鞠躬控制曲线。可以看出，一些曲线表达了1级尊敬，而另外一些曲线表达了2级尊敬。这是由于10.0介于一级和二级控件尊敬云期望的中间。从图7可以看出，它以0.5的概率属于一级控件尊敬云，以0.5的概率属于二级控件尊敬云。因此有时通过一级鞠躬动作表达，有时通过二级鞠躬动作表达。从而充分刻画人对尊敬认知的模糊性和随机性。

该尊敬控件应用于远程情感交互系统中，系统如图11所示。双方用户输入对方的IP地址、端口号建立连接，在文本框中输入文字信息，点击尊敬控件选择要表达的非语言信息为尊敬，系统自动识别其强度等级，并发送信息，虚拟环境中的3D用户替身鞠躬以表达相应级别的尊敬。

最后所应说明的是：以上实施例仅用以说明而非限定本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解；依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims

1. 一种人机交互系统，包括信息输入设备，其特征在于：所述信息输入设备通过点击非语言交互控件的不同位置来控制虚拟人物相应幅度的动作，所述非语言交互控件用于对非语言信息强度进行自动分级和发送输入的语言信息。

2. 根据权利要求1所述的系统，其特征在于：所述非语言交互控件为矩形控件。

3. 根据权利要求1或2所述的系统，其特征在于：所述非语言交互控件用于表述的非语言信息包括尊敬、高兴、悲伤。

4. 一种人机交互方法，其特征在于，该方法的步骤如下：

（2）信息输入设备点击非语言交互控件上的一点；

（4）虚拟人物执行非语言交互控件发送的识别结果。

5. 根据权利要求4所述的方法，其特征在于，所述步骤（1）中将非语言信息级别数分为N，非语言交互控件为矩形，该矩形高为H，则非语言信息强度等级的期望为Ex _i=(2N-1)H/2N(i=1, 2, …, N)，分别以En _i(i=1, 2, …, N), He _i(i=1, 2, …, N)为熵和超熵，建立非语言信息的第i级控件云模型C _i(Ex _i, En _i, He _i)。

6. 根据权利要求5所述的方法，其特征在于：所述步骤（3）中非语言交互控件上的点击位置距离非语言交互控件下边沿的垂直距离为h，对于N个云模型分别计算确定度μ _i(h)，确定I，得到点击动作所对应的非语言信息的强度；I是N个u _i中取得最大值的u _i的索引号，使μ _I =max{u _i, i=1, 2, …, N}；C_I是第I级非语言信息云模型，h∈C_I表示h所代表的强度为I。

7. 根据权利要求6所述的方法，其特征在于，所述确定度μ _i(h)的计算过程为：

a)分别由正态分布En _i’～N(En _i, He _i ²)产生En _i’；

b) 分别计算μ _i =exp[-(h-Ex _i)²/(2En _i ^’ 2)]。