CN106200958B - 一种动态调整用户认知负荷的智能空间增强现实方法 - Google Patents

Abstract

一种动态调整用户认知负荷的智能空间增强现实方法，先建立空间增强现实阶段；然后建立实时用户认知负荷测量阶段，最后建立智能空间增强现实阶段，本发明把用户认知负荷测量方法集成到空间增强现实系统中，实时测量用户在空间增强现实系统中的认知负荷水平，空间增强现实系统根据实时的认知负荷水平自适应地对增强信息进行调整，使用户的认知负荷和空间增强现实系统的增强信息处于一个动态平衡的水平，该方法根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。

Description

一种动态调整用户认知负荷的智能空间增强现实方法

技术领域

本发明涉及空间增强现实技术，特别涉及一种动态调整用户认知负荷的智能空间增强现实方法。

背景技术

增强现实(Augmented Reality,AR)是一种把计算机生成的虚拟物体与物理世界的用户视场进行匹配从而把虚拟物体集成进物理世界的一种技术,该技术通过为用户提供额外的信息对物理世界进行增强。空间增强现实(Spatial Augmented Reality,SAR)利用数字投影技术把计算机生成的虚拟物体叠加到物理空间的一种增强现实技术。基于投影系统的空间增强现实系统使用前向投影直接投影数字信息到物体物理表面上，而不是显示在观察者视域范围内的某一图像平面上。这些相对于用户的空间增强信息能够帮助用户提高对物理世界现场的理解，从而提高用户的工作效率。

空间增强现实是近年来国内外众多知名大学和研究机构的研究热点之一，他在不同领域有广泛的应用。例如在机械制造领域，设计者可以利用空间增强现实技术可视地修改放在桌面上的物理模型。空间增强现实技术也用于产品维修和培训：用户可以把产品放在空间增强现实环境中，空间增强现实把增强信息和操作手册信息直接投影到物体表面上。Marner和Thomas建立了一个基于空间增强现实的用于工业设计的物理-虚拟工具，系统同时对物理和虚拟世界进行造型，然后用空间增强现实技术把设计信息投影到物体表面上，这样系统可以把数字设计信息复制到物理模型以指导设计。Olwal等把空间增强现实技术用于CNC机床以给操作者同时提供机床工具和工件的可视图像到操作空间以辅助操作过程。Schwerdtfeger使用头盔式增强现实技术导向工人在库房中快速定位所要找的物品。在汽车工业领域，空间增强现实可用于质量控制、材料存取、维修、培训以及其他应用。汽车零件点焊的质量控制是空间增强现实在汽车工业的典型应用之一。Schwerdtfeger等建立了基于激光投影系统的增强现实系统。该系统用于点焊的质量控制，并使用混合信息表示方法：使用另外的显示器给用户显示复杂的操作手册信息，并把操作位置信息直接投影显示在物体表面上。该方法仍然要求用户在集中于焊点操作的同时需要阅读计算机屏幕显示的信息，从而影响了工作效率。Bimber等使用在适当位置校准的标准投影系统产生增强显示，通过对虚拟物体进行预变形和颜色校正方法，并使用透视投影方法把视频和图形显示在场景的物理物体表面上。此外，空间增强现实也用于其他领域，如设计、娱乐、博物馆展示等领域。空间增强现实也可用于远程指导。

由于空间增强现实技术是由用户使用以发挥其功能，因此，空间增强现实的用户状态如认知状态是决定空间增强现实技术成功的关键要素之一。但是现有的空间增强现实技术无法反映用户的认知状态信息，用户的认知状态信息也无法影响空间增强现实的增强信息。一个理想的空间增强现实应用应该能够自适应修改增强信息以动态调整用户的认知状态到最佳状态从而提高工作效率。

发明内容

为了克服上述现有技术的缺陷，本发明的目的在于提供一种动态调整用户认知负荷的智能空间增强现实方法，把认知负荷测量技术集成进空间增强现实系统，提出动态调整用户认知负荷水平的智能空间增强现实系统；智能增强现实系统根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。

一种动态调整用户认知负荷的智能空间增强现实方法，包括以下步骤：

步骤一、建立空间增强现实阶段：

(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描等方法；

(2)定义和生成增强信息，增强信息的类型包括文字、图形、图像、动画等以及增强信息在三维场景中的位置和可视化属性，可视化属性包括颜色；

(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系；

(4)投影和交互增强信息，把计算机生成的增强信息通过数字投影仪投影到现实场景中三维物体表面上，实现用户与增强信息的交互；

步骤二、建立实时用户认知负荷测量阶段：

(1)获取用户与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，典型的用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；典型的用户行为信号包括身体运动信号；

(2)分析用户的不同信号并获取与用户认知负荷相关的信号特征，根据用户的信号特征建立用户的认知负荷模型；

(3)根据用户实时信号特征和认知负荷模型获取用户当前认知负荷水平；

(4)建立用户认知负荷动态调整模型，根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；

步骤三、建立智能空间增强现实阶段：

(1)空间增强现实系统与认知负荷测量通过用户在与空间增强现实系统交互时的信号连接起来；

(2)用户首先与空间增强现实系统进行交互以完成某项任务，用户在与系统交互时的各种信号同时传送到用户认知负荷测量阶段；

(3)在用户认知负荷测量阶段，把用户信号输入用户认知负荷模型以获取用户当前认知负荷水平；

(4)认知负荷动态调整模型根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；

(5)空间增强现实系统根据调整后的任务相关要素建立新的增强信息，并把新的增强信息系统投影到三维物体表面以让用户根据新的增强信息进行新的任务流程。

本发明把用户认知负荷测量方法集成到空间增强现实系统中，实时测量用户在空间增强现实系统中的认知负荷水平，空间增强现实系统根据实时的认知负荷水平自适应地对增强信息进行调整，使用户的认知负荷和空间增强现实系统的增强信息处于一个动态平衡的水平。并根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。

附图说明

图1是本发明的所包括的三个主要阶段流程图。

图2是建立空间增强现实阶段所包含的步骤流程图。

图3是建立实时认知负荷测量阶段所包含的步骤流程图。

图4是建立智能空间增强现实阶段所包含的步骤流程图。

图5是智能空间增强现实系统示意图。

具体实施方式

下面结合附图对本发明做详细叙述。

一种动态调整用户认知负荷的智能空间增强现实方法，用于提高用户进行大量复杂工作的效率。本文以大型机械零件如汽车零件上的大量焊点的质量控制为例说明本发明的具体实施方式。

在机械制造特别是汽车制造领域，点焊常用于连接不同的汽车板材零件，一辆汽车有成千上万个焊点，需要对零件的焊点进行检查以保证质量。在实际检查工作中，通常不对所有焊点进行检查，而是对不同零件上的焊点的子集按照一定的顺序进行检查。检查方法通常包括：外观检查、超声检查、凿试以及破坏性检查。传统的人工检查过程通常包括以下步骤：首先，操作者在零件图纸上找到要检查的焊点位置；然后操作者根据图纸信息在零件上定位要检查的焊点位置；第三步是选择该焊点的检查方法；最后对焊点进行实际的检查。由此步骤可以看出，焊点的人工检查过程存在以下潜在的问题：操作者很容易找到错误的焊点位置以及错误的焊点数量；同时操作者需要频繁花时间理解零件图纸以及从零件上找到相对应的焊点，大大降低了效率；对于一个大型零件，操作者很难记住焊点检查的起始位置和结束位置。因此从大型机械零件上找到需要检查的焊点并实现准确、高效的质量控制十分重要。

参照图1，使用本发明实现焊点质量控制的过程包括以下步骤：

步骤一、建立空间增强现实阶段：参照图2，

(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描等方法；

具体为：该三维模型可以通过三维造型软件得到或者使用三维激光扫描方法等实时测量得到。对于大型机械零件，其三维模型在机械设计时已经确定，可以直接从零件库中调取零件的三维模型，该三维模型同时包含焊点的信息如位置、焊点的类型、检查该焊点的方法等；

(2)定义和生成增强信息，增强信息的目的是辅助操作人员快速准确地找到需要检查的焊点位置和提供相应焊点的技术信息如焊点类型和检查方法。具体为：增强信息的类型包括文字、图形、图像、动画等以及增强信息在三维场景中的位置和可视化属性如颜色等。例如用不同颜色的几何图形和箭头标示出要检查的焊点位置、并用文字和动画在该焊点位置说明焊点的类型和检查方法；

(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系。投影仪校准是基于针孔摄像机模型进行。一般来说，一副视图通过透视变换将三维空间中的点投射到图像平面。投影公式如下：

基于这个投影模型，一个三维点P＝[X,Y,Z,1]^T映射到投影仪的坐标是p＝[u,v,1]^T。其中(c_x,c_y)是基准点，f_x,f_y是以像素为单位的焦距。R和T是旋转和平移矩阵，s是比例因子。投影仪校正的目的就是通过此投影模型建立三维物体上的点与投影图像上的点之间的位置对应关系；

(4)投影和交互增强信息。把在第(2)步计算机生成的增强信息通过校正了的数字投影仪投影到现实场景中三维物体表面不同位置上(如机械零件表面上的不同焊点位置)。这些增强信息辅助用户快速地找到要检查的焊点位置，并根据增强信息(如关于焊点的类型、检查方法等文本、图像、动画等信息)进行实际的质量控制，实现用户与增强信息的交互；

步骤二、建立实时用户认知负荷测量阶段：参照图3，

(1)获取用户在与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，典型的用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；典型的用户行为信号包括身体运动信号。用户生理信号可以通过不同的传感器如皮肤电反应传感器、眼动仪等收集。用户行为信号可以通过视频摄像头、不同的运动传感器等收集；

(2)分析用户的不同信号并获取与用户认知负荷相关的信号特征，根据用户的信号特征建立用户的认知负荷预测模型。具体为：对不同的信号使用信号处理技术进行处理，如对信号去噪、提取时域特征和频域特征、对信号特征进行统计分析。基于大量的信号特征使用机器学习方法建立用户的认知负荷预测模型；

(3)根据用户当前实时信号特征和认知负荷预测模型获取用户当前认知负荷水平。具体为：对用户当前的不同信号进行降噪和特征提取，并根据这些特征和认知负荷预测模型得到当前认知负荷水平；

(4)建立用户认知负荷动态调整模型，根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平。具体为：根据任务属性和认知负荷信息建立认知负荷动态调整模型，例如可以通过降低任务复杂度或者减少一次检查的焊点的数目来降低认知负荷水平，或者反之提高认知负荷至适当水平；

步骤三、建立智能空间增强现实阶段：参照图4，

(1)空间增强现实系统与认知负荷测量通过用户在与空间增强现实系统交互时的信号连接起来。具体为：用户首先与空间增强现实系统进行交互以完成某项任务，用户在与系统交互时的各种信号同时传送到用户认知负荷测量阶段。在用户认知负荷测量阶段，把用户信号输入认知负荷预测模型以获取用户当前认知负荷水平；

(2)认知负荷动态调整模型根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平。如减少或增加要检查的焊点数量以调整认知负荷水平；

(3)空间增强现实系统根据调整后的任务相关要素建立新的增强信息(如调整要检查的焊点的数量或者检查速度)，并把新的增强信息系统投影到三维物体表面以让用户根据新的增强信息进行新的任务流程。

本发明把认知负荷自适应调整策略引入空间增强现实系统，提出智能空间增强现实(Intelligent Spatial Augmented Reality,iSAR)框架。iSAR的目标是对用户在进行任务时的认知状态进行实时监测，并根据用户认知状态动态调整空间增强现实系统的增强信息以使用户处于最佳工作状态并提高工作效率和保证工作质量。

如图5所示，iSAR包含两个子系统：空间增强现实(Spatial Augmented Reality,SAR)子系统和认知负荷度量(Cognitive Load Measurement,CLM)子系统。SAR子系统把不同的增强信息投影到物体物理表面。CLM子系统对用户在工作过程中的认知负荷进行度量，并对认知负荷进行动态调整以使用户处于最佳工作状态。iSAR的工作流程如下：

1)SAR子系统首先投影增强信息到物体物理表面以辅助用户进行各种操作；

2)CLM子系统实时获取用户在进行不同操作时的生理信号和其他信息，并由生理信号和其他信息得出用户的当前认知负荷水平；

3)认知负荷动态调整引擎根据当前认知负荷水平决定是否更新用户任务相关要素(如调整焊点检查任务中焊点的数量、焊点的位置分布、检查速度等)；

4)CLM子系统然后把任务相关要素更新信息传递给SAR子系统；

5)SAR子系统使用更新后的任务要素调整增强信息给新的用户任务流程。

因此，iSAR中的SAR子系统和CLM子系统构成了一个自适应循环。在这个循环中，用户的当前认知负荷水平作为核心用来调整任务相关的要素，该调整信息从CLM子系统传递给SAR子系统以调整相应的增强信息，用户基于调整后的增强信息进入下一个循环进行新的任务。

Claims (1)

1.一种动态调整用户认知负荷的智能空间增强现实方法，其特征在于，包括以下步骤：

步骤一、建立空间增强现实阶段：

(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描方法；

(2)定义和生成增强信息，增强信息的类型包括文字、图形、图像、动画以及增强信息在三维场景中的位置和可视化属性，可视化属性包括颜色；

(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系；

(4)投影和交互增强信息，把计算机生成的增强信息通过数字投影仪投影到现实场景中三维物体表面上，实现用户与增强信息的交互；

步骤二、建立实时用户认知负荷测量阶段：

(1)获取用户与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；用户行为信号包括身体运动信号；

(2)分析用户的不同信号并获取与用户认知负荷相关的信号特征，根据用户的信号特征建立用户的认知负荷模型；

(3)根据用户实时信号特征和认知负荷模型获取用户当前认知负荷水平；

(4)建立用户认知负荷动态调整模型，根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；

步骤三、建立智能空间增强现实阶段：

(1)空间增强现实系统与认知负荷测量子系统通过用户在与空间增强现实系统交互时的信号连接起来；

(2)用户首先与空间增强现实系统进行交互以完成某项任务，用户在与系统交互时的各种信号同时传送到用户认知负荷测量阶段；

(3)在用户认知负荷测量阶段，把用户信号输入用户认知负荷模型以获取用户当前认知负荷水平；

(4)认知负荷动态调整模型根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；

(5)空间增强现实系统根据调整后的任务相关要素建立新的增强信息，并把新的增强信息系统投影到三维物体表面以让用户根据新的增强信息进行新的任务流程。