CN105224910A - 一种训练共同注意力的系统及方法 - Google Patents

Abstract

本发明公开了一种训练共同注意力的系统，包括：显示模块，用于呈现虚拟人影像；处理模块，用于将参训者图像成像于虚拟人的眼睛中以吸引参训者的注意力。本发明针对共同注意能力缺失的核心症状即社会交往中不注视他人眼睛，通过将参训者图像成像于虚拟人的眼睛中，增强人机交互中虚拟仿真人物的逼真性，从而提高共同注意能力的训练效果。

Description

一种训练共同注意力的系统及方法

技术领域

本发明涉及教育信息化技术领域，具体涉及一种训练共同注意力的系统及方法。

背景技术

共同注意力是指个体在交往中跟随或引导他人社会线索(例如：目光、言语、姿态、动作等)的社会认知能力。共同注意力是社会互动的基础，共同注意能力缺失会导致沟通交往障碍、学习困难等问题。随着信息技术的飞速发展，最新研究成果表明，基于信息技术的方法(如：人机交互游戏)训练儿童共同注意能力是有效可行的。为了进一步提高共同注意能力的训练效果，人机交互游戏中虚拟仿真人物的逼真性是非常重要的。

发明内容

本发明提供一种训练共同注意力的系统，其目的在于，针对共同注意能力缺失的核心症状即社会交往中不注视他人眼睛，通过将参训者图像成像于虚拟人的眼睛中，增强人机交互中虚拟仿真人物的逼真性，从而提高共同注意能力的训练效果。

为了实现本发明的上述技术目的，本发明提供了一种训练共同注意力的系统，包括显示模块，用于呈现虚拟人影像；处理模块，用于将参训者成像于虚拟人的眼睛中以吸引参训者的注意力。

作为优选，所述处理模块用于从参训者图像分别截取模拟虚拟人左眼和右眼看到的图像区域，仿真左右眼视差，并对应地放置于虚拟人的左眼和右眼，成像效果更逼真。

虚拟人眼睛中的成像如果采用全身像，影像太小，而最能有辨识性的部分是人的面部。因此，作为优选，在虚拟人所述参训者图像采用参训者脸部图像。

参训者图像可预先存储也可实时采集，相应地可增设与处理模块连接的存储模块，用于预存参训者图像或者增设与处理模块连接的图像采集模块，用于实时捕获参训者图像。实时采集更有实时性、逼真性，而后续的人脸定位跟踪及相应的图像处理手段较为成熟，因此，更优选实时采集方式。

本发明还提供了一种训练共同注意力的交互系统,包括：显示模块，用于呈现虚拟人影像；处理模块，用于将参训者图像成像于虚拟人的眼睛中；互动模块，用于通过控制虚拟人的行为向参训者传达信息。所述虚拟人的行为包括虚拟人肢体动作、表情和声音中的任意一种或组合。应用本发明交互系统时,在虚拟人眼睛中会呈现参训者图像，引起参训者注意，在参训者直视虚拟人时，虚拟人可通过各种肢体动作、说话的方式引导参训者操作或交流，有利于儿童共同注意能力的培养。

本发明还提供了一种训练共同注意力的交互方法，呈现虚拟人影像，将参训者成像于虚拟人的眼睛中以吸引参训者的注意力。

作为优选，所述将模拟虚拟人左眼和右眼看到的图像区域对应地放置于虚拟人的左眼和右眼的具体实现方式为：

依据虚拟人的瞳孔球形尺寸对待放置图像进行球形形变和缩放处理；

参照虚拟人的瞳孔模板对变形和缩放后的待放置图像进行裁剪操作；

将裁减后的待放置图像按预设的透明度与虚拟人瞳孔区域图像进行叠加。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明方法通过检测、跟踪人机互动中参训者图像，并经过图像处理方法实时映射到虚拟人物的眼睛瞳孔上，增强了虚拟仿真人物的逼真性，提高了儿童在互动中对虚拟人物眼睛的注视程度，有利于儿童共同注意能力的培养。

附图说明

图1是本发明系统较佳实施例结构组成示意图；

图2是本发明系统较佳实施例面部定位流程图；

图3是本发明系统较佳实施例面部绘制流程图；

图4是本发明系统较佳实施例所使用的虚拟人物示意图；

图5是本发明系统较佳实施例所使用的虚拟人物眼球-瞳孔模型示意图；

图6是本发明系统较佳实施例所使用的虚拟人物瞳孔模板示意图，图6(a)是虚拟人物左瞳孔模板，图6(b)是虚拟人物右瞳孔模板；

图7是本发明系统较佳实施例在虚拟人物瞳孔中绘制儿童面部后的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1示出了本发明训练共同注意力的系统的一个较佳实施例。实施例包括：采集模块10，采集包含参训者的图像；处理模块包括面部图像获取模块11和面部绘制模块12，面部图像获取模块11从采集到的视频图像获取参训者面部图像块，面部绘制模块12将定位到的面部图像块经形变、缩放处理后绘制到虚拟人物眼睛瞳孔中；显示模块13，呈现虚拟人影像以及仿真场景。

实施例中，参训者为有沟通交往障碍的儿童，虚拟人启用的一卡通人物(请参见图4)。

参照图2示出的面部图像获取模块11的工作流程图：

步骤S20，从图像采集模块10获取视频图像。

步骤S21，从视频图像中检测儿童面部。优选地，本实施例采取Haar特征加层级式AdaBoost分类器的方法从图像采集模块10采集到的图像中检测儿童面部。t时刻检测到的面部中心点坐标和尺度记为

步骤S22，从视频图像中跟踪儿童面部。优选地，本实施例采取CamShift算法跟踪儿童面部。t时刻跟踪到的面部中心点坐标和尺度记为

步骤S23，获取并保存面部信息(中心点坐标、尺度)。优选地，在t时刻，若步骤S21检测到面部且步骤S22跟踪到面部时，以检测到的面部信息作为获取的面部信息；若步骤S21未检测到面部但步骤S22跟踪到面部时，以跟踪到的面部信息作为获取的面部信息。获取的面部信息记为并保存到历史面部信息表。

步骤S24，面部位置和尺度平滑处理。优选地，利用前n帧的历史面部信息对t时刻的面部位置和尺度进行平滑处理。预设前N帧的平滑权重分别为(μ_t-n，…，μ_t-1)，t时刻的平滑权重为μ_t，且优选地，使用下式计算t时刻面部平滑后的位置和尺度：

$\left\{\begin{array}{c}{X}_t^{\′}={\mathrm{\μ}}_{t-n}{X}_{t-n}+\mathrm{...}+{\mathrm{\μ}}_t{X}_t\\ Y_t^{\′}={\mathrm{\μ}}_{t-n}{Y}_{t-n}+\mathrm{...}+{\mathrm{\μ}}_t{Y}_t\\ S_t^{\′}={\mathrm{\μ}}_{t-n}{S}_{t-n}+\mathrm{...}+{\mathrm{\μ}}_t{S}_t\end{array}\right.$

式中(X′_t，Y′_t，S′_t)是t时刻经过平滑后的面部的位置和尺度。面部位置和尺度平滑处理的目的是避免后续面部绘制模块12绘制到卡通人物瞳孔中的面部图像出现较为严重的抖动。

步骤S25，模拟左眼和右眼看到的面部图像。优选地，使用下式计算模拟左眼看到的面部图像中心坐标

$\left\{\begin{array}{c}{X}_t^L=X_t^{\′}-{\mathrm{\Δ}}^L{S}_t^{\′}\\ Y_t^L=Y_t^{\′}\end{array}\right.,$

其中，Δ^L为第一预设系数，可根据试验结果调整。优选地，使用下式计算模拟右眼眼看到的面部图像中心坐标

$\left\{\begin{array}{c}{X}_t^R=X_t^{\′}+{\mathrm{\Δ}}^R{S}_t^{\′}\\ Y_t^R=Y_t^{\′}\end{array}\right.,$

其中，Δ^R为第二预设系数，可根据试验结果调整。

步骤S26，截取模拟左眼和右眼看到的面部头像块。从当前时刻视频图像上截取以为中心，边长为S′_t为正方形图像块作为左眼看到的面部图像块，记为I_O，L，并保存；从当前时刻视频图像上截取以为中心，边长为S′_t为正方形图像块作为右眼看到的面部图像块，记为I_O，R,并保存。边长S′_t为经验值,可根据试验结果调整.

不难理解，面部绘制模块12在绘制模拟左眼与右眼看到的面部图像时并无差别。为了方便，后续不再分别描述如何在卡通人物左眼和右眼中绘制看到的面部图像，且将左眼看到的面部图像块I_O，L和左眼看到的面部图像块I_O，R统一使用I_O，*(*＝{R，L})来表示，I_O，*的中心坐标用(X_c，Y_c)来表示，I_O，*的宽度用W来表示。

参照图3示出的面部绘制模块流程图：

步骤S30，从面部图像获取模块11获取模拟左眼、右眼看到的面部头像。

步骤S31，对步骤S30获取的面部图像I_O，*作球形形变和缩放处理。图4示出的是本发明一实施例所使用的卡通人物。图5示出的是本发明一实施例所使用的卡通人物眼球-瞳孔模型。设卡通人物的瞳孔球心角为θ(弧度)，瞳孔截面半径为R_p,则眼球半径R＝R_psin(θ/2)，瞳孔表面弧长L＝θR。优选地，面部图像I_O，*到瞳孔的缩放因子取为η＝W/R。设面部图像I_O，*上的某点(X，Y)到I_O，*的中心点(X_c，Y_c)的距离为d，使用下式计算点(X，Y)经过球形形变和缩放处理后的坐标(Ｘ_p，Y_p)：

$\left\{\begin{array}{c}{X}_p=Xa\sin \left(\frac{d}{R}\right)*\mathrm{\η}/d\\ Y_p=Ya\sin \left(\frac{d}{R}\right)*\mathrm{\η}/d\end{array}\right..$

按上式逐点计算面部图像I_O，*上像素点经过球形形变和缩放处理后的坐标值，并将像素值复制到图像新坐标。经过球形形变和缩放处理后的面部图像记为I₁。

步骤S32，根据卡通人物瞳孔模板对变形后的面部图像进行裁剪操作。图6示出的是本发明一实施例所使用的卡通人物瞳孔模板图像，记为I_m，模板上白色像素点灰度值255,黑色像素灰度值为0。

设裁剪前面部图像上坐标值为(X，Y)的像素点颜色值和裁剪后，图像上坐标值为(X，Y)的像素点颜色值变为：

步骤S33，将面部图像按预设的透明度与卡通人物瞳孔区域图像进行叠加。设预设的透明度为α，步骤S32得到的面部图像I₁上和卡通人物瞳孔区域图像上坐标值为(X，Y)的像素点颜色值分别为和经过叠加后，卡通人物瞳孔区域图像上坐标为(X，Y)的像素点颜色值变为：

$I_2^R(X,Y)={\mathrm{\αI}}_1^R\left(X,Y\right)+(1-\mathrm{\α})I_2^R(X,Y)$

$I_2^G(X,Y)={\mathrm{\αI}}_1^G\left(X,Y\right)+(1-\mathrm{\α})I_2^G(X,Y)$

$I_2^B(X,Y)={\mathrm{\αI}}_1^B\left(X,Y\right)+(1-\mathrm{\α})I_2^B(X,Y)$

图7示出的是本发明一实施例在卡通人物瞳孔中叠加儿童面部图像后的结果。

应用上述系统进行共同注意力训练时，还可通过三维动画与语音合成技术显示虚拟人物及仿真场景，建立参训者与虚拟人物基于游戏形式的互动。在虚拟人眼睛中会呈现参训者图像，引起参训者注意。在虚拟人可以“观察”到参训者时，虚拟人与参训者一起完成预先设定好的游戏情节，例如，虚拟人可通过视线或手势提示参训者完成正确的互动；在虚拟人“观察”不到参训者时，虚拟人可以通过语音提醒等唤起参训者的注意。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种训练共同注意力的系统，其特征在于，包括

显示模块，用于呈现虚拟人影像；

处理模块，用于将参训者成像于虚拟人的眼睛中以吸引参训者的注意力。

2.根据权利要求1所述的训练注意力的系统，其特征在于，所述处理模块用于从参训者图像分别截取模拟虚拟人左眼和右眼看到的图像区域，并对应地放置于虚拟人的左眼和右眼。

3.根据权利要求2所述的训练注意力的系统，其特征在于，所述处理模块包括：

图像获取子模块，用于从参训者图像分别截取模拟虚拟人左眼和右眼看到的图像区域作为待放置图像；

图像绘制子模块，用于依据虚拟人的瞳孔球形尺寸对待放置图像进行球形形变和缩放处理；参照虚拟人的瞳孔模板对变形和缩放后的待放置图像进行裁剪操作；将裁减后的待放置图像按预设的透明度与虚拟人瞳孔区域图像进行叠加。

4.根据权利要求2或3所述的训练共同注意力的系统，其特征在于，所述参训者图像为参训者脸部图像。

5.根据权利要求2或3所述的训练共同注意力的系统，其特征在于，还包括与处理模块连接的图像采集模块，用于实时捕获参训者图像。

6.根据权利要求2或3所述的训练共同注意力的系统，其特征在于，还包括与处理模块连接的存储模块，用于预存参训者图像。

7.一种训练共同注意力的方法，其特征在于，呈现虚拟人影像，将参训者成像于虚拟人的眼睛中以吸引参训者的注意力。

8.根据权利要求8所述的训练共同注意力的方法，其特征在于，所述将参训者成像于虚拟人的眼睛中的具体实现方式为：从参训者图像分别截取模拟虚拟人左眼和右眼看到的图像区域，并对应地放置于虚拟人的左眼和右眼。

9.根据权利要求8所述的训练共同注意力的方法，其特征在于，所述将模拟虚拟人左眼和右眼看到的图像区域对应地放置于虚拟人的左眼和右眼的具体实现方式为：

依据虚拟人的瞳孔球形尺寸对待放置图像进行球形形变和缩放处理；

参照虚拟人的瞳孔模板对变形和缩放后的待放置图像进行裁剪操作；

将裁减后的待放置图像按预设的透明度与虚拟人瞳孔区域图像进行叠加。

10.一种训练注意力的交互系统，其特征在于，包括：

显示模块，用于呈现虚拟人影像；

处理模块，用于将参训者成像于虚拟人的眼睛中以吸引参训者的注意力；

互动模块，用于通过控制虚拟人的行为向参训者传达信息。