CN103324287A - 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统 - Google Patents

Abstract

本发明公开了一种基于眼动和笔触数据的计算机辅助草图绘制的方法和系统，其中方法包括以下步骤：对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程中采集获得；依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态；当设计师处于创意思考状态，依据眼动数据判断设计师的下一个注视点位置，并在该位置呈现图像刺激源，辅助设计师进行草图绘制。本发明根据设计师的眼动和笔触信息，识别出设计师所处的创意思考状态，并在创意思考状态给予刺激，通过预测设计师的注视点位置变化优化图像刺激源的位置，提高设计师的设计质量。

Description

基于眼动和笔触数据的计算机辅助草图绘制的方法和系统

技术领域

本发明涉及计算机辅助设计领域，具体涉及一种基于眼动和笔触数据的计算机辅助草图绘制的方法和系统。

背景技术

计算机辅助草图设计将计算机辅助设计（Computer Aided Design，CAD）与纸上草图的优势结合，利用计算机为草图设计提供更好的支持，从而提高草图设计的效率，甚至激发设计师的创新能力。

研究表明，在设计过程中，图片、视频等内容会对设计师产生刺激作用，在已有的计算机辅助系统中主要是设置固定的间隔时间提供刺激，这种方式会干扰设计思路，对设计师获得灵感造成负面影响。

设计师在草图绘制的过程中可以被划分成两个状态，一个是创意表达状态，另一个则是创意思考状态。处于创意表达状态的设计师明确的知道自己的设计想法，拥有比较清晰的设计思路，不需要额外提供刺激，而处于创意思考状态的设计师则处在想法构思或寻找设计思路的状态中，思维比较散乱，对处于这个状态的设计师提供刺激，可以有效的引发设计师的灵感，激发设计师的设计创新能力。

目前已有一些通过眼动信息和笔触信息进行交互的研究，如申请公开号为CN102221881A的发明公开了一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，可概括为：（1）设计者进行用户分析，根据用户分析结果设定用户可能关注的兴趣区域；（2）事件交互管理器实时接收分析眼动仪产生的数据，计算用户眼球在屏幕上的焦点位置；（3）事件交互管理器根据得到的用户眼球在屏幕上的焦点位置，分析用户关注的兴趣区域；（4）事件交互管理器将分析用户关注的兴趣区域结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、和谐的人机交互。

再如授权公告号为CN101441513B的发明公开了一种利用视觉进行非接触式人机交互的系统，该系统包括：机器视觉单元，用于获取特定光照条件下的使用者面部图像；信息处理分析单元，用于处理面部图像并计算使用者的视线方向，分析使用者眼动状态提取出蕴含使用者命令的信息，识别命令信息决策机器人应反馈的交互信息；交互信息显示单元，用于以能给人产生视觉刺激的方式为使用者提供机器人的反馈信息，并作为机器人与使用者交互的最直接的平台。

上述研究主要集中在通过分析眼动注视位置来分析用户的关注区域，根据用户关注区域隐含的信息跟用户进行交互，后一个发明更进一步提出增加注视位置的有效性判断来滤除用户的无命令眼动信息，这些研究都不涉及通过获取眼动信息来判断用户所处的思维状态以及通过眼动轨迹图预测用户接下去视线落点。

设计师草图过程中的眼动信息和笔触信息在不同思维状态分别表现出不同的特征，可以通过识别眼动信息和笔触信息的特征，判断设计师在草图过程中所处的思维状态，进行交互。

发明内容

本发明提供了一种基于眼动和笔触数据的计算机辅助草图绘制的方法和系统，可以根据设计师绘制草图时的眼动和笔触信息，识别出设计师处于创意思考状态，并在创意思考状态给予刺激，通过预测设计师的注视点位置变化来优化图像刺激源的呈现位置，提高设计师的设计效率以及设计质量。

一种基于眼动和笔触数据的计算机辅助草图绘制的方法，包括以下步骤：

（1）在利用计算机进行草图绘制的过程中，采集设计师的眼动数据和笔触数据，对眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数。

眼动数据的采集通过眼动仪实现，利用眼动仪中的红外线摄像机采集设计师的眼动数据；笔触数据的采集通过数位板进行，眼动数据和笔触数据的采集同时进行。

所述眼动数据包括设计师的注视点位置、注视时间和瞳孔大小。

根据设计师的注视点位置数据计算设计师的扫视距离，相邻两个注视点位置间的距离为扫视距离。

根据设计师的瞳孔大小计算设计师在草图绘制过程中的瞳孔大小随时间的变化曲线。

所述笔触数据包括笔迹速度和笔迹压力。当设计师的笔迹速度或笔迹压力的监测数值为0时，相应的时间段即为设计师的停顿时间。

所述步骤（1）中对眼动数据和笔触数据分别进行特征提取包括以下步骤：选定一个时间间隔，针对眼动数据，计算该时间间隔内的平均注视时间、平均扫视距离和瞳孔变化率；针对笔触数据，计算该时间间隔内的平均笔迹速度、平均笔迹压力和停顿时间。

平均注视时间，即将时间间隔内的注视时间加和，然后除以时间间隔得到；平均扫视距离，即将时间间隔内的扫视距离加和，然后除以时间间隔得到；瞳孔变化率，由于每个人的瞳孔大小不同，首先要在设计师未开始绘制草图前采集设计师的瞳孔大小，计算出设计师瞳孔大小的基准值，即将采集到的瞳孔大小加和，然后除以采样次数；然后根据设计师绘制过程中的瞳孔变化计算瞳孔变化率，即将时间间隔内的瞳孔大小加和，然后除以采样次数得到该时间间隔内的平均瞳孔大小，将平均瞳孔大小减去基准值后再除以基准值得到的就是设计师在该时间间隔的瞳孔变化率。

平均笔迹速度，即将时间间隔内的笔迹速度加和，然后除以时间间隔得到；平均笔迹压力，即将时间间隔内的笔迹压力加和，然后除以时间间隔得到；停顿时间，即将时间间隔内的停顿加和。

选定的时间间隔过长时，对设计师所处的设计状态的判断精度较低，选定的时间间隔过短时，计算量会大大增加，优选地，所述步骤（1）中选定的时间间隔为7秒。

（2）依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态。

将设计师在草图绘制过程中的状态划分为两个状态，一个为创意表达状态，另一个为创意思考状态，设计师在草图绘制过程中获取的眼动数据和笔触数据在这两个状态中分别表现出不同的特征，因此，抓住这两个状态的眼动数据和笔触数据的不同特征，即可以判断设计师在草图绘制过程中所处的状态。

当设计师处于创意思考状态时，相较于创意表达状态，在眼动数据上会表现出平均注视时间缩短，扫视距离增长，瞳孔变化率减小的特征；而在笔触数据上，则表现为笔迹速度加快，笔迹压力减小，停顿时间增长的特征，因此通过前述的特征参数，可以判断设计师在某个时间单位内所处的状态。

将步骤（1）中的眼动特征参数和笔触特征参数输入训练过的状态分类器中，判断对应时间间隔内设计师的状态是否为创意思考状态。

所述步骤（2）依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态，具体包括以下步骤：

2-1、预先采集若干设计师草图绘制过程中的眼动数据和笔触数据，对采集到的眼动数据和笔触数据依据时间段进行状态划分，提取处于创意思考状态的时间段，并对处于创意思考状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意思考状态的眼动特征参数和笔触特征参数；同时提取处于创意表达状态的时间段，并对处于创意表达状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意表达状态的眼动特征参数和笔触特征参数，对创意思考状态和创意表达状态的眼动特征参数和笔触特征参数进行训练，得到训练过的状态分类器；

2-2、将步骤（1）中的眼动特征参数和笔触特征参数输入训练过的状态分类器中，得到所对应的状态是否为创意思考状态。

步骤2-1在实际判断设计师草图绘制状态之前预先进行，即在利用本发明实现计算机辅助草图绘制方法之前，预先进行状态分类器的训练，训练时需要同时提取创意思考状态和创意表达状态的眼动特征参数和笔触特征参数，以训练出能够分别两种状态的状态分类器；实际判断设计师是否处于创意思考状态时，只需要将步骤（1）中得到的眼动数据和笔触数据输入训练好的状态分类器中进行状态判断即可。

对设计师的草图过程进行状态划分时，可以任意选择时间段，例如选择25～67秒为创意表达状态，67～85秒为创意思考状态。

状态分类器可以采用多种形式，例如支持向量机（SVM分类器）、神经网络、遗传算法等。优选地，所述状态分类器为支持向量机。

（3）当设计师处于创意思考状态，依据眼动数据判断设计师的下一个注视点位置，并在该位置呈现图像刺激源，辅助设计师进行草图绘制。

所述图像刺激源包括图片和视频。即图像刺激源即可以是图片，也可以是视频。图像刺激源可以来自于相应的数据库，并依据设计师所要设计的产品进行选择，例如设计师需要设计一把椅子，则选择具有各种类型的椅子的图片库和视频库。

根据已有的研究可知，人对注视点位置附近的环境变化更为敏感，因此如果图像刺激源的呈现远离设计师的注视位置，则刺激效果会大幅度减弱；如果图像刺激源呈现在设计师的注视位置附近，则能有效的提高刺激的效果。

依据眼动数据判断设计师的下一个注视点位置，具体包括以下步骤：

3-1、按照时间顺序，根据设计师的注视点位置和注视时间，得到设计师的眼动轨迹；

3-2、眼动轨迹上每三个连续注视点位置间的连线构成的小于180度的夹角作为设计师的扫视角，计算设计师在选定时间间隔内的平均扫视角度；选定的时间间隔与步骤（1）中的时间间隔一致。

3-3、以设计师在选定时间间隔内的最后一个注视点位置为圆心，以选定时间间隔内的平均扫视距离为半径做圆，选定时间间隔内的最后两个注视点位置的连线绕最后一个注视点位置旋转与平均扫视角度相同的角度后与圆相交，选择与倒数第三个注视点位置更靠近的交点为设计师下一个注视点位置。

在预测的设计师下一个注视点位置显示图像刺激源，设计师获取图像刺激源的信息并在大脑中进行加工后转换成自己的设计想法。因为人通过眼睛对信息的获取是一个较为快速的过程，因此图像刺激源的呈现时间过长，到一定时间该刺激已经失去作用，呈现时间过短则设计师可能没有获取到有效的足够信息，优选地，所述图像刺激源的呈现时间为4秒。

刺激呈现过后，重新判断设计师所处的状态，重复步骤1～3，若设计师仍处于创意思考阶段，则继续刺激，若设计师处于创意表达阶段，则不进行刺激。

本发明还提供了一种基于眼动和笔触数据的计算机辅助草图绘制的系统，包括以下单元：

特征提取单元，对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程采集获得；

状态判断单元，用于依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态；

反馈单元，用于当设计师处于创意思考状态，依据眼动数据判断设计师的下一个注视点位置，并在该位置呈现图像刺激源。

本发明基于眼动和笔触数据的计算机辅助草图绘制的方法和系统实现了一种以眼动为方式的人机交互，通过设计师的眼动数据和笔触数据来识别设计师的状态，在不干扰设计师设计思路的基础上，在设计师创意思考的阶段，给予设计师一定刺激帮助，并且通过结合设计师的视线落点来呈现刺激，将刺激效果最优化，提高设计师的设计质量。

附图说明

图1为本发明基于眼动和笔触数据的计算机辅助草图绘制的方法的流程图；

图2为本发明基于眼动和笔触数据的计算机辅助草图绘制的系统的结构示意图；

图3为本发明基于眼动和笔触数据的计算机辅助草图绘制的方法中对眼动数据和笔触数据分别进行特征提取的流程图。

具体实施方式

下面结合附图，对本发明一种基于眼动和笔触数据的计算机辅助草图绘制的方法和系统做详细描述。

如图1所示，一种基于眼动和笔触数据的计算机辅助草图绘制的方法，包括以下步骤：

（1）对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程采集获得。

眼动数据的采集通过眼动仪实现，利用眼动仪中的红外线摄像机采集设计师的眼动数据；笔触数据的采集通过画图工具的数位板进行，眼动数据和笔触数据的采集同时进行。

眼动数据包括设计师的注视点位置、注视时间和瞳孔大小。根据设计师的注视点位置数据计算设计师的扫视距离，相邻两个注视点位置间的距离为扫视距离。根据设计师的瞳孔大小计算设计师在草图绘制过程中的瞳孔大小随时间的变化曲线。

笔触数据包括笔迹速度和笔迹压力。笔触数据包括笔迹速度和笔迹压力。当设计师的笔迹速度或笔迹压力的监测数值为0时，相应的时间段即为设计师的停顿时间。

如图3所示，对眼动数据和笔触数据分别进行特征提取包括以下步骤：选定7秒为一个时间间隔，计算7秒时间段内的平均注视时间、平均扫视距离和瞳孔变化率以及这7秒时间段内的平均笔迹速度、平均笔迹压力和停顿时间。

（2）依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态，具体包括以下步骤：

2-1、预先采集若干设计师草图绘制过程中的眼动数据和笔触数据，对采集到的眼动数据和笔触数据依据时间段进行状态划分，提取处于创意思考状态的时间段，并对处于创意思考状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意思考状态的眼动特征参数和笔触特征参数；同时提取处于创意表达状态的时间段，并对处于创意表达状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意表达状态的眼动特征参数和笔触特征参数，对创意思考状态和创意表达状态的眼动特征参数和笔触特征参数进行训练，得到训练过的状态分类器；利用支持向量机对所得的眼动特征参数和笔触特征参数进行训练。

SVM分类器的构建可参考论文：基于支持向量机的机械故障诊断方法研究（西安交通大学学报，2002,12）。

训练时，选择创意思考状态作为识别目标，对某个时间段，抽取该时间段内对应的眼动特征参数和笔触特征参数，构成一个特征参数向量，采用符号函数作为判决函数，如果处于创意思考状态，则类标号为1，否则为-1。

利用训练样本的特征参数向量的类标号作为训练样本集，选用符合Mercer条件的高斯函数为核函数，采用分解算法对创意思考状态的支持向量机进行训练，其思想是通过循环迭代解决对偶寻优问题：将原问题分解成更容易理解的若干子问题，即设法减小寻优算法要解决问题的规模，按照某种迭代策略，通过反复求解子问题，最终使结果收敛到原问题的最优解。

2-2、将步骤（1）中的眼动特征参数和笔触特征参数输入训练过的支持向量机中，得到所对应的状态是否为创意思考状态。

支持向量机的输出为1时，则对应的状态为创意思考状态；输出为-1时，则对应的状态为创意表达状态。

（3）当设计师处于创意思考状态，依据眼动数据判断设计师目光注视的位置，并在该位置呈现图像刺激源（包括图片和视频），辅助设计师进行草图绘制。

其中，依据眼动数据判断设计师的下一个注视点位置，具体包括以下步骤：

3-1、按照时间顺序，根据设计师的注视点位置和注视时间，得到设计师的眼动轨迹；

3-2、眼动轨迹上每三个连续注视点位置间的连线构成的小于180度的夹角作为设计师的扫视角，计算设计师在选定时间间隔内的平均扫视角度；

3-3、以设计师在选定时间间隔内的最后一个注视点位置为圆心，以选定时间间隔内的平均扫视距离为半径做圆，选定时间间隔内的最后两个注视点位置的连线绕最后一个注视点位置旋转与平均扫视角度相同的角度后与圆相交，选择与倒数第三个注视点位置更靠近的交点为设计师下一个注视点位置。选定的时间间隔与步骤（1）中的时间间隔一致，即为7秒。

例如，眼动轨迹上按时间顺序最后3点依次为C、B、A，C-B连线与B-A连线的小于180度的夹角为β，选定的时间间隔内的平均扫视距离为D个像素，选定的时间间隔内的平均扫视角度为α，以A为圆心，以D个像素为半径做圆E，B-A连线绕A点顺时针或逆时针旋转α角度后，与圆E有两个交点，选择与C点距离最近的点作为设计师目光注视的位置。

如图2所示，一种基于眼动和笔触数据的计算机辅助草图绘制的系统，包括以下单元：

特征提取单元，对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程采集获得；

状态判断单元，用于依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态；

反馈单元，用于当设计师处于创意思考状态，依据眼动数据判断设计师的下一个注视点位置，并在该位置呈现图像刺激源。

本申请实施例中各个单元可以集成于一体，也可以分离部署，或进一步拆分成多个子模块。各个单元可以按照实施例描述分布于实施例的系统中，也可以进行相应变化位于不同于本申请实施例的一个或多个系统中。

本领域的技术人员应该明白，本申请实施例可提供成为方法、系统、或计算机程序产品。

本申请实施例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本申请实施例不限制于任何特定的硬件和软件结合。

以上公开的仅为本发明的具体实施例，但是本发明并非局限于此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。显然这些改动和变型均应属于本发明要求的保护范围保护内。

Claims (10)

1.一种基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，包括以下步骤：

（1）对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程采集获得；

（2）依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态；

（3）当设计师处于创意思考状态，依据眼动数据判断设计师的下一个注视点位置，并在该位置呈现图像刺激源，辅助设计师进行草图绘制。

2.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述眼动数据包括设计师的注视点位置、注视时间和瞳孔大小。

3.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述笔触数据包括笔迹速度和笔迹压力。

4.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述步骤（1）中对眼动数据和笔触数据分别进行特征提取包括以下步骤：选定一个时间间隔，针对眼动数据，计算该时间间隔内的平均注视时间、平均扫视距离和瞳孔变化率；针对笔触数据，计算该时间间隔内的平均笔迹速度、平均笔迹压力和停顿时间。

5.如权利要求4所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述步骤（1）中选定的时间间隔为7秒。

6.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述步骤（2）依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态，具体包括以下步骤：

2-1、预先采集若干设计师草图绘制过程中的眼动数据和笔触数据，对采集到的眼动数据和笔触数据依据时间段进行状态划分，提取处于创意思考状态的时间段，并对处于创意思考状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意思考状态的眼动特征参数和笔触特征参数；同时提取处于创意表达状态的时间段，并对处于创意表达状态的时间段内的眼动数据和笔触数据进行特征提取，得到创意表达状态的眼动特征参数和笔触特征参数，对创意思考状态和创意表达状态的眼动特征参数和笔触特征参数进行训练，得到训练过的状态分类器；

2-2、将步骤（1）中的眼动特征参数和笔触特征参数输入训练过的状态分类器中，得到所对应的状态是否为创意思考状态。

7.如权利要求6所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述状态分类器为支持向量机。

8.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述步骤（3）中依据眼动数据判断设计师下一个注视点位置，具体包括以下步骤：

3-1、按照时间顺序，根据设计师的注视点位置和注视时间，得到设计师的眼动轨迹；

3-2、眼动轨迹上每三个连续注视点位置间的连线构成的小于180度的夹角作为设计师的扫视角，计算设计师在选定时间间隔内的平均扫视角度；

3-3、以设计师在选定时间间隔内的最后一个注视点位置为圆心，以选定时间间隔内的平均扫视距离为半径做圆，选定时间间隔内的最后两个注视点位置的连线绕最后一个注视点位置旋转与平均扫视角度相同的角度后与圆相交，选择与倒数第三个注视点位置更靠近的交点为设计师下一个注视点位置。

9.如权利要求1所述的基于眼动和笔触数据的计算机辅助草图绘制的方法，其特征在于，所述图像刺激源包括图片和视频。

10.一种基于眼动和笔触数据的计算机辅助草图绘制的系统，其特征在于，包括以下单元：

特征提取单元，用于对设计师的眼动数据和笔触数据分别进行特征提取，获得眼动特征参数和笔触特征参数；所述眼动数据和笔触数据为在利用计算机进行草图绘制的过程采集获得；

状态判断单元，用于依据眼动特征参数和笔触特征参数，判断设计师当前所处状态是否为创意思考状态；

反馈单元，用于当设计师处于创意思考状态，依据眼动数据判断设计师目光注视的位置，并在该位置呈现图像刺激源。

Images