CN111913572A

CN111913572A - 用于服刑人员劳动改造的人机交互系统及方法

Info

Publication number: CN111913572A
Application number: CN202010632338.4A
Authority: CN
Inventors: 刘治; 姚佳
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-07-03
Filing date: 2020-07-03
Publication date: 2020-11-10
Anticipated expiration: 2040-07-03
Also published as: CN111913572B

Abstract

本申请公开了用于服刑人员劳动改造的人机交互系统及方法，包括：使用时佩戴在服刑人员头部的混合现实眼镜，所述混合现实眼镜上布设有传感器、第一摄像头和第二摄像头；所述混合现实眼镜通过视频图像适配器与处理器连接，所述传感器通过控制器与处理器连接，所述控制器还与音箱连接，所述处理器还分别与第一摄像头和第二摄像头连接；所述处理器中预先存储有给劳动改造的服刑人员观看的视频，所述混合现实眼镜辅助服刑人员完成劳动改造过程中的人机交互。

Description

用于服刑人员劳动改造的人机交互系统及方法

技术领域

本申请涉及人工智能和计算机视觉技术领域，特别是涉及用于服刑人员劳动改造的人机交互系统及方法。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

服刑人员在服刑的过程中，需要参与劳动改造，合理的劳动改造可以磨练服刑人员的意志，同时还可以学习各种工作技能。

在实现本申请的过程中，发明人发现现有技术中存在以下技术问题：

(1)现有的劳动改造模式比较单一，具备服刑人员矫治工作经验的思想政治工作者相对匮乏，传统的思想工作通过大课堂、说教式、灌输式、一刀切为主，内容套路化、格式化、教育手段机械、单一，无法实现针对性和个性化的人机交互。

(2)劳动改造过程中的成功经验，不能够及时在更大范围内进行信息共享；

(3)硬件设施匮乏，无法通过人机交互的形式辅助服刑人员学习专业技能或者进行精神层面的学习。

发明内容

为了解决现有技术的不足，本申请提供了用于服刑人员劳动改造的人机交互系统及方法；

第一方面，本申请提供了用于服刑人员劳动改造的人机交互系统；

用于服刑人员劳动改造的人机交互系统，包括：

使用时佩戴在服刑人员头部的混合现实眼镜，所述混合现实眼镜上布设有传感器、第一摄像头和第二摄像头；所述混合现实眼镜通过视频图像适配器与处理器连接，所述传感器通过控制器与处理器连接，所述控制器还与音箱连接，所述处理器还分别与第一摄像头和第二摄像头连接；所述处理器中预先存储有给劳动改造的服刑人员观看的视频，所述混合现实眼镜辅助服刑人员完成劳动改造过程中的人机交互。

第二方面，本申请提供了用于服刑人员劳动改造的人机交互方法；

用于服刑人员劳动改造的人机交互方法，包括：

混合现实眼镜将处理器传输过来的预设视频进行播放；所述音箱将处理器传输过来的音频进行播放；所述传感器采集服刑人员的头部转动数据，所述传感器将采集的头部转动数据通过控制器传输给处理器；所述第一摄像头和第二摄像头采集服刑人员的肢体运动数据，所述第一摄像头和第二摄像头将自身采集的肢体运动数据传输给处理器；

所述处理器根据头部转动数据获取服刑人员的视场，根据服刑人员的视场和对应视场范围内的视频构建虚拟三维场景；所述处理器将肢体运动数据与虚拟三维场景进行融合，根据肢体运动数据对虚拟三维场景进行调整，所述处理器将调整后的虚拟三维场景再融合到视频中，将融合后的视频通过视频图像适配器回传给混合现实眼镜，显示给服刑人员。

与现有技术相比，本申请的有益效果是：

1、本申请将思想改造、技能培养、文娱生活等不同层面的服刑矫治策略有效融合全面纳入智能平台，实现功能集成、应用集成、技术集成。VR体验为全虚拟化场景，虽然可以营造真实条件下难以构建的氛围(如缺乏专业技师与足够操作设备无法在监狱广泛推广新技术培训；思政教育人员缺乏导致各监狱思想政治教育工作质量参差不齐等)，但虚拟和真实的融合性较差，体验过程中与现实环境的屏蔽感严重，多名参与者在体验过程中无法实现实时群体交互。AR体验虽然将真实与虚拟元素相结合，但只是将虚拟信息简单叠加在现实事物上，在减少VR体验孤独感的同时，真实感、沉浸感降低。

本申请全面采用MR技术，使服刑人员可以在进行虚拟情境体验的过程中同步与真实世界交互并获取信息。MR扫描体验者视线内的真实物理场景，创建一个周围环境的数字3D模型，再将虚拟元素添加到数字空间里，实现视觉层面虚拟与现实的真正融合而不同于VR的简单叠加，提供更加强烈的真实感，能够有效改善服刑人员在接受技能培训、思政教育过程中的专注度与领会效果。

2、摆脱单纯将渲染、跟踪等技术革新作为驱动力的传统产品开发模式，同时也不单纯关注于某个具体功能的实现。如图3所示，本申请着眼于整体角度，通过情感计算策略量化评价产品对于体验者的影响程度，精准分析产品性能引导系统优化升级。传统的虚拟现实系统，观众仅是被动参与的客体，在新的开发框架下，以人机共协的方式进行情感分析，将观众体验纳入开发流程，使体验者不但是产品的受众同时也是产品演进的驱动力，在系统的开发、维护、升级过程中发挥主体作用。

3、通过在混和现实系统中添加虚拟讲师，以较小成本将新型专业技能培训课程在监狱范围内迅速推广，并结合真实场景的操作讲授，实现边讲边练，讲练结合的新型培训教学模式。利用国际通用霍兰德职业兴趣测试(SDS)完成培训推荐，因人施教发挥个人优势兴趣，使服刑人员短期内科学规范掌握多种专业化程度较高技术密集型劳动技能，为监狱办企业的加速升级转型培育人才。

4、视觉、听觉、触觉、嗅觉的全面整合，真实与虚拟的高度融合，效果逼真，沉浸感强烈。传统的虚拟现实产品制作工艺仅能开发各种类型的虚拟对象，本申请采用实时、逼真的渲染算法将虚拟构件与真实环境融合在一起。通过一个基于传统透视法的特效引擎，和基于内容的显示控制技术，将模拟的听觉、触觉、嗅觉等感知与视觉体验进行整合。采用图像和音频引擎，完成视觉层面的捕获、渲染、混合视觉效果生成等任务，完成听觉层面的音频内容提供任务。采用混合模拟器完成虚拟环境下的真实群体交互，将真实和虚拟的不同构件无缝对接。

5、多传感器、非线性、沉浸式的混合现实体验。通过综合利用触觉背心、震动装置、晃动器等器材，在基于视觉体验的同时添加如技能培训场景中的机械振动、体育运动场景中的撞击等触觉特效。本申请基于运动空间约束策略，即依据物理环境对声源的位置施加约束范围，确定听觉与视觉感知的理想结合点，完成在人机互动过程中的多模态体验呈现。理想的音效在环境感知、沉浸感与真实感的获取以及信息交互等方面均有重要作用，本申请摆脱传统虚拟呈现系统过度专注视觉表现的固化创作思维，采用三维环绕立体声结合音频空间缩放技术生成空间音效，使音效能够在平面360度和垂直方向的三维空间内流动，有效提升情绪感染力，帮助体验者获得更强烈的沉浸式音频体验。

6、独特的背景音创作。不单纯采用为增加真实感而依附于视觉表现、情节内容的简单仿真模拟音效(如密集人群出现配以嘈杂音效、金属切割配以尖锐刺耳音效等)，同时在特定时刻添加音乐背景音，如在虚拟比赛中得分或一个精彩动作完成后，或在虚拟技术培训中独立完成一套操作流程，会自适应产生富于激励性的背景音乐，增强虚拟环境下的情绪感染力与人机协同的紧密度，使服刑人员在在劳动文娱的同时享受健康的文艺熏陶、获得正能量的情感激励，达到贴近生活高于生活的设计理念。

7、精准规范的用户故事(user story)编写。用户故事是敏捷开发的核心，本申请通过用户故事描述用户希望得到的功能，完成系统开发过程中的需求表达，具体指导开发工作。内容编写以用户(例如：司法机关)可以理解的业务语言描述，具备监狱改造工作经验的警务人员、犯罪心理学专家、系统整体架构师、软硬件工程师、视觉效果创作人员、音效创作人员、艺术创作人员等共同参与，协商沟通达成一致。本申请具备清晰明确的用户故事三要素，a、功能的使用者(角色)，即监狱服刑人员；b、系统需要完成的功能和目标(活动)，即面向服刑人员的思政教育、劳动培训、文娱活动混合现实节目提供；c、系统的应用价值，即遵循监狱改造工作的基本目标与任务，以低成本有效提升改造质量。开发团队依据用户故事确定工作量、优先级，安排开发计划。

8、采用敏捷开发模式，以用户需求为进化核心，将整体系统分割多个子项目，由不同团队并行开发分别完成，同时分阶段进行可运行测试，并集成。把横向思政教育课程、多类型劳动技能培训、多类型文娱活动等功能模块，纵向视觉效果开发、音频效果开发、艺术特效创作、动作控制脚本编写等不同专业技术模块，在开发过程中有效衔接整合，减小模块间的耦合性，增加内聚性。

9、方法创新，理念创新是本申请的主要特色。构建面向应用的混合现实(MR)技术全新发展理念，将MR定位为独立的媒体，而不仅是渲染手段，将寻找适当的应用领域作为MR发展演进的驱动力，而不仅依赖技术创新。深刻理解MR从创意到真实应用的过程，通过服刑人员矫治系统开发，在将MR投入面向娱乐、培训、教育等领域的综合应用中，重新定义了MR参与的广度和深度。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请实施例一的功能框架图；

图2(a)-图2(c)为本申请实施例一的视觉效果设计图；

图3为本申请实施例一的体验后情感计算流程图；

图4为本申请实施例一的物理结构图；

图5为本申请实施例一的逻辑结构图；

图6为本申请实施例一的数据处理流程图；

图7为本申请实施例一的开发流程图；

图8为本申请实施例一的技术原理图；

图9为本申请实施例一的硬件电气连接关系示意图；

图10为本申请实施例一的真实视频与虚拟视频融合原理图；

图11为本申请实施例一的二维平面点在摄像机成像仪上的映射示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了用于服刑人员劳动改造的人机交互系统；

如图9所示，用于服刑人员劳动改造的人机交互系统，包括：

进一步地，所述混合现实眼镜将处理器传输过来的预设视频进行播放；所述音箱将处理器传输过来的音频进行播放；所述传感器采集服刑人员的头部转动数据，所述传感器将采集的头部转动数据通过控制器传输给处理器；所述第一摄像头和第二摄像头采集服刑人员的肢体运动数据，所述第一摄像头和第二摄像头将自身采集的肢体运动数据传输给处理器。

进一步地，如图10所示，所述处理器根据头部转动数据获取服刑人员的视场，根据服刑人员的视场和对应视场范围内的视频构建虚拟三维场景；所述处理器将肢体运动数据与虚拟三维场景进行融合，根据肢体运动数据对虚拟三维场景进行调整，所述处理器将调整后的虚拟三维场景再融合到视频中，将融合后的视频通过视频图像适配器回传给混合现实眼镜，显示给服刑人员。

进一步地，所述系统还包括：所述第一摄像头和第二摄像头将自身采集的肢体运动数据进行图像实时修正后，再传输给处理器。

进一步地，所述图像实时修正的具体步骤，包括：

采用镜头畸变估计算法进行参数估计，基于估计的参数对由于镜头畸变引起的图像变形失真进行校正。

进一步地，所述系统还包括：对第一摄像头和第二摄像头进行位置校准，然后，所述第一摄像头和第二摄像头采集服刑人员的肢体运动数据。

进一步地，对第一摄像头和第二摄像头进行位置校准；具体步骤包括：

采用图像配准算法，完成第一摄像头和第二摄像头的校准。

进一步地，所述采用图像配准算法，完成第一摄像头和第二摄像头的校准；具体步骤包括：

步骤(1)：基于模式平面的圆中心点坐标，依据映射比例计算二维单应；

步骤(2)：利用初始主点坐标和二维单应计算焦距，基于3D空间中的平面模式，计算摄像机的位置和方向；

步骤(3)：依据摄像机的位置和方向，将模式平面上的所有映射像素点投影至图像平面，通过更新主点的位置坐标减少投影圆环位置与图像中检测位置的偏移量；

步骤(4)：重新计算每台摄像机的焦距、位置和方向；

步骤(5)：重复更新主点的坐标位置，直至偏移误差小于设定阈值；

步骤(6)：根据步骤(4)的结果，依据每台摄像机的焦距、位置和方向实时调整两台摄像头的焦距、位置和方向，完成镜头校准。

采用镜头畸变估计算法进行参数估计，镜头失真的数学模型表达为：

r₀＝k₂r_i-k₁(k₂r_i)³

其中，r₀表示视觉观察失真，r_i表示标准畸变失真，(x_i,y_i)为在非变形图像上的位置，(x₀,y₀)为观察到扭曲形变图像中的位置，(c_x,c_y)为变形图像的中心点，利用若干幅捕获图像，通过建立迭代算法，估计系数k₁和k₂；基于系数k₁和k₂，校正由于镜头畸变引起的图像变形失真。

如图11所示，模式平面为打印在规则网格上的若干圆，构成一个能够表现物体位置信息的坐标系。

单应性变换定义为从一个平面到另一个平面的投影映射，这里表示二维平面点在摄像机成像仪上的映射。

步骤(1)中基于模式平面的圆中心点坐标，依据映射比例计算二维单应，具体步骤包括：

映射关系表达为：

其中，R为旋转矩阵，t为平移向量，P_c(X_c,Y_c)为模式平面坐标，P_W(X_W,Y_W)为摄像机坐标。

所述初始主点坐标为(300，220)。

应理解的，之所以需要图像实时修正，是因为内置在混合现实眼镜上的摄像头存在一定程度光学失真，无法取得绝对理想的性能，利用内置传感器传送的不准确数据进行注册不能够补偿这种失真，这是导致虚拟场景与现实场景无法实现视觉层面有效融合的主要原因。同时两个摄像头来实现立体视觉效果显示，内部参数需要进行动态修正以完成匹配。两个摄像机坐标系之间的相互转换也需要实时修正，避免扭曲的3D视觉感。

本发明通过虚实对齐算法完成真实与虚拟场景的有效融合。如图9所示，针对每一帧视频建立模型，基于纹理和阴影投射完成模型与真实视频的融合。

执行过程为：

①预处理，提取视频的背景帧进行交互式建模，得到视频模型，然后与三维场景模型进行注册；

②实时处理，采用视频投影技术通过摄像头位置转换、模型视图矩阵和投影矩阵计算、片元纹理化和色彩化等处理步骤，完成视觉效果融合。

混合现实技术(MR)是虚拟现实技术的演进，通过在现实场景呈现虚拟场景信息，能够在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，增强用户体验的真实感，被人工智能业界广泛认可为未来技术之一，可在教育、娱乐、医疗康复等领域展开广泛应用。通过真实生动的演示，能够帮助服刑人员在思政教育过程中快速深入理解特定的主题与概念，将枯燥、抽象、难于理解的说教变得简洁直观，同时减少对专业思政教育人员的大规模需求。

混合现实技术(MR)在较小的实景场地内利用虚拟手段拓展可视化互动空间，服刑人员借助特定设备即可参与足球、篮球等需要较大场地的体育项目，能够同时完成信息交互、团队协作等复杂动作，获得真实感强烈的沉浸式体验，以较小成本丰富监狱内文娱活动内容，同步改善服刑人员生理和心理健康状况。

混合现实技术(MR)营造多种类技术密集型工作劳动场景，如机械加工车间、建筑工地、厨房等，虚拟技师现场操作指导，就专业技术动作反复讲解，并通过人机互动模式，服刑人员与虚拟技师完成一对一教学沟通。独立完成操作动作后，技师会给出指导意见和提升改进策略，并在教学环节结束后完成专业技能考核，以较低成本实现岗前培训。

混合现实是虚拟现实(VR)与增强现实(AR)融合的产物，通过把现实世界变为与数字信息相同的样子，既可避免虚拟现实给体验者所带来的屏蔽感、孤独感，也可避免在增强现实环境下真实场景与虚拟元素的显著视觉差异，能够获得更强烈的沉浸、真实体验。

如图1所示，整体系统分为思政教育平台、劳动技能培训平台、文娱生活平台三个板块。

思政教育体验环境如图2(a)所示，真实场景为可容纳10-15人的小型教室(依据犯罪类型编班)，体验者完成设备佩戴后，虚拟思政教育人员会走入课堂，进行不同内容(普法、悔罪、爱国主义、行为规范)的宣讲，讲授过程为互动课堂模式，听众间可互相讨论，通过反馈控制程序也可向虚拟讲师提问。以小班教学的方式有效帮助服刑人员挖掘自身犯罪根源，学习法律法规知识，领会行为改造规范，培养良好生活习惯，并配合适当的爱国主义教育，树立正确的人生观价值观。宣讲内容设计以国家司法监狱改造工作指导意见结合近年在模范试点监狱的实践经验为总体思路，以程序化规范化的方式将上级精神在实际工作中精准落实，有效避免教育大纲层层传达、落实不到位、执行不规范等人为操作失误，同时节约人力资源占用，虚拟讲师可有效替代具备相当监狱改造经验的思政教育人员，授课质量、教学互动效果均可显著改善。

技能培训平台内容选取以当前社会经济发展中所紧缺的技术密集型专业结合监狱系统产业分布现状为依据，如机械铸造、服装加工、烹饪美发、农业种植等。如图1所示，服刑人员首先进行霍兰德职业兴趣测试(SDS)，依据诊断结论智能推荐出与其性格类型、兴趣特长相匹配的职业，同时结合个人意愿分配至不同的专业学习小组。不同实训场地分别设计为20平米左右的小型室内空间，安放有机床、缝纫机、炊具等真实设备，多个服刑人员为一组同时进入场地，佩戴混合现实眼镜后，虚拟技师会进入场地，如图2(b)所示，完成基本理论与操作过程的现场讲解演示。通过专业控制脚本编写，虚拟技师在理论水平，实操规范性等方面均超越专业技术人员。伴随培训效率全方位提升，可有效缓解监狱产业系统内专业培训技师缺乏，新技术新产业无法迅速推广，企业转型升级改造困难的状况。基于现代工业中需流水线作业与团队协同的特点，一组若干成员在学习过程中可互相讨论，做到真实与虚拟相结合，同时就不清晰不了解的问题及时向虚拟讲师提出，获得现场指导解答。

本申请不单纯关注于视觉效果的发开，听觉、触觉、嗅觉等感知效果通过综合智能控制处理器将与视觉感知、动作反馈同步呈现，如环绕三维立体声音效、食物烹煮过程中散发的味觉刺激等，获得更理想的真实体验感、沉浸感。利用伺服(Servo)系统，外部空间环境会跟随操作者动作自动完成预期反馈，如机床加工过程中的火花喷溅，烹饪过程中的烟雾升腾等，能够在添加真实感的同时，同步引入安全生产培训。如墙体粉刷过程中油漆味发散提示佩戴防护口罩，木材切削过程中的粉尘飞散提示佩戴护目镜等，使服刑人员在获得劳动技能同时养成良好的安全生产规范意识。

如图1所示，以两条不同路线完成人机共协，保障培训质量。

1、利用智能考核模块对特定服刑人员的思政学习效果以虚拟讲师互动问答方式进行理论考核；通过服刑人员实际操作，完成虚拟技师对其劳动技能培训效果的评价，判断是否可以上岗，同时与相关劳动技能资质认证机构合作，颁发各专业劳动技能培训证书。对于未达到培训预期效果的人员，可采用循环机制进入下一轮培训迭代。

2、不单纯依赖感官效果、局部功能实现或多种量化技术指标分析软件性能，而将服刑人员体验感受即情感评价作为系统优化的主要指导路径，如图3所示，选取一定规模经过若干次系统体验的服刑人员，填写调查问卷，就诸如是否希望通过平台再次进行学习，是否能够从体验过程中获得乐趣，等问题结合个人感受进行量化评定。调研共分为五个独立情感维度，将采集的不同感受的人群规模数据用百分比处理后分别绘制剖面图，进行系统性能量化分析，如呈现左高右低趋势则说明系统体验效果良好；如呈现中间突出趋势，则说明体验效果一般，体验者在具体环节中缺乏足够兴趣，需要进行局部微调；如呈现左低右高趋势，则说明系统实际应用效果不良，未得到体验者充分认可，需要进行全面整改。情感评价调研将在系统试用阶段以及正式投入使用后定期开展，通过长效循环机制完成系统在视觉效果、音效、内容编排等多个角度的全面优化更新，以人机互动方式有效延长软件生命周期。农业种植技能培训如完成育苗、嫁接、农机驾驶等操作，需要较广阔室外空间，部分监狱场所无法提供足够实景支撑，可采用全虚拟化头盔显示器(HMD)完成。

学习劳动之余从事适当的体育锻炼和文娱活动可有效缓解服刑人员在长期监禁过程中存在的焦虑、抑郁等不良情绪，树立积极乐观的心态完成改造过程重塑人生。受硬件条件与管理水平制约，多数监狱精神文化生活单调，有限的运动器材陈旧，长期使用会使服刑人员缺乏兴趣，丧失参与的积极性与主动性，仅流于形式。本申请混合现实系统中文娱生活平台可提供多类型健康娱乐方式并即时更新，服刑人员能够依据年龄、身体状况、个人兴趣等选择参与，实景场地仅需100平米以内室内空间，根据项目不同铺设人工草皮，安装篮球架、足球球门等设施，获得身临其境的真实感。将户外运动室内化、小型化，不但可在各种气候条件下开展活动，同时节约建设与维护成本。

如图2(c)所示，若干名参与者进入小型篮球场地后，佩戴混合现实眼镜，依据模式选择不同(训练模式、比赛模式)，可以看到教练、裁判或对方球员进入场地，在真实与虚拟相结合的混合场景下，避开虚拟对方球员防守独立或多人协同完成带球突破、二过一、三步上篮等复杂动作，同时添加球员呼喊、观众助威等3D环绕音效，营造真实环境，提升参与者的兴趣与沉浸感。通过团队运动，服刑人员之间可增进交流，互帮互助共同进步，营造积极向上的集体氛围。

真实场景、混合现实眼镜、处理器(PC机)是本申请的三个主要硬件模块。如图4所示，为本系统的物理结构图，以职业技能培训中的数控机床加工为例，首先需要搭建真实场景，即在特定空间内安装实景车床，供虚拟讲师就机床操作细节进行现场演示，同时供体验学员实际操作，通过摄像头、传感器的信息反馈，虚拟讲师就操作过程进行点评、纠正，完成人机互动。体验者佩戴混合现实眼镜(HMD)完成学习过程，眼镜内置有七个自由度转轴的传感器，将采集的信息通过控制器传送给PC机(数据处理平台)追踪体验者的头部位置与方向；同时内置有两个不同视角的摄像头，捕获3D实景信息传送给PC机，PC机将捕获的视频图像进行实时数字化处理，通过视频图像适配器(VGA)完成实景与虚拟构件(虚拟讲师)的融合，传送回HMD，使体验者获得沉浸式视觉体验。实景场地内根据音效设计需求布放多个音箱，通过数据处理平台的控制完成音、视觉匹配，获得三维立体音效。PC机与HMD的信息交互通过无线蓝牙完成上下行数据传输，无线方式拓展了体验者在实训场地内的活动空间。

本申请的逻辑结构如图5所示，包含物理层、混合现实层、应用层、内容层四个层次。

A、物理层为系统的硬件基础，包含PC机、HMD、图形音频处理硬件(VGA)、其它相关设备、系统工具库(3d Max、Open Scene Graph等开发工具以及自定义应用程序接口)等。

B、混合现实层完成支撑MR系统服务的各种功能实现，如混合现实眼镜HMD和软件库的注册、实时定位与建图、真实与虚拟构件的融合等。

C、应用层利用感知硬件(内置于HMD的传感器与摄像头)完成环境数据的采集，为系统运行提供数据支撑。系统运行过程中应用层与混合现实层进行实时数据交互，如摄像头将捕捉的真实场景信息传送至混合现实层，混合现实层中基于多视图几何关系与深度学习的图像处理算法完成三维视觉重建；通过传感器获取头部的位置和角度，将信息传送至混合现实层，混合现实层中的图像配准算法完成真实环境与虚拟构件的坐标匹配，并利用位置和方向信息完成图像的渲染。

D、在内容层开发人员就特定的应用目标设计不同的脚本程序，如虚拟讲师在课堂环境下完成思政内容讲授，虚拟技师在实训场地中完成操作流程讲解等。

系统的数据处理流程如图6所示，将传感器和摄像头捕获的外部真实场景信息通过无线信道(上行)传送至处理器(PC机)，完成现实情境和虚拟情境的坐标系匹配、实时视频采集、高速图像处理、传感器处理和虚拟情境处理等一系列数据处理工作。

基于控制脚本与伺服控制器完成虚拟构件的主动、被动行为(如虚拟技师的讲解与操作和针对性辅导)，最后实现虚拟元素与真实元素的视觉融合，利用无线下行信道将视觉融合效果呈现给体验者。

2、开发流程

A、决策

设计过程首先由视觉效果预制作开始，包括节目内容编辑和完成一个动画原型模型。原型模型是一个简单的视觉渲染效果，仅能够从单一角度有限理解设计内容，目标为统一不同专业开发团队的构想，确认客户需求。在此基础上，系统整体架构师、实景搭建人员、美工、音效制作师等进行有效沟通交换意见，确定不同团队的重点关注目标，在尽量保留各自独立观点的基础上，寻求创新性的统一解决方案。

B、初步设计

初步的动画设计效果完成，同时不同专业的设计团队达成共识后，每个专业即可同步并行展开混合现实产品的开发。视觉程序员完成若干个3D虚拟产品片段，并将其不断添加到产品的整体视觉效果中。音频设计师捕获和创作与视觉表现相匹配的音效。不同的内容脚本、视觉创作、音频创作、设计理念等都会在初步设计阶段反复尝试，以实现最优的整体设计效果。

C、详细设计与完善

利用复合动作控制脚本进行因果互动的开发测试，完成一系列人机交互过程中的环境和动作假设反馈(如启动机床后电钻声音伴随传播、砌砖过程中撞击声音伴随传播、烹饪过程中的烟雾升腾等)。完成后的独立的场景通过针对体验者的情感评估，量化分析效果，再利用多种艺术创作构件提升体验感受。通过不同视角对虚拟场景设计效果进行评价，利用虚拟摄像机在场景内实时移动提供俯视效果，从多个位置对场景进行观察。通过多种方式开发团队随时发现问题和缺陷并立即修正，而不是等产品的整体效果完成后再进行完善。同时对内容和情节不断进行修正，改善场景的可交互性。视觉、音效、美工、编码等团队在各自技术领域内并行推进工作，实时定位不同设计阶段出现的问题并纠正。

D、整体设计与技术审查

进一步开展交互式场景的设计，完成整体的虚拟场景搭建，最后一次对故事情节、交互性、技术环节实现等进行细微的调整和改动。

E、专业整合

如图7所示在前期所有开发阶段均被实时跟踪修正的基础上，控制脚本程序员、视觉设计、美工、音效等所有开发团队都将参与最终的整合。音频、图形、特效和故事呈现等混合现实场景中的不同构件，将有序汇聚，追踪、渲染、情节、交互性等设计内容将进行统一融合。在虚拟构件与真实场景汇聚的过程中，同时对一些细节进行调整以获得最理想的用户体验，利用图形用户界面(GUI)完成色度调节、虚拟构件重定位等操作，使虚拟与真实场景的互动更精细化更具真实感。

3、技术框架

技术处理过程中需要对实景(小教室、微型球场、加工车间等)进行深入理解和分析，以确定合理的相对位置、光照、阴影、合成方式等，实现真实与虚拟元素的视觉效果融合。分析贯穿系统开发全程，具体处理重点为：

A、真实场景与虚拟元素的分层；

B、动态构件的智能交互；

C、视觉、听觉、触觉等多个感官的实时同步整合。

如图8所示，本申请基于软件工具MRSS将一系列协作并发组件进行整合完成整体架构开发。以故事引擎为核心，为不同的开发人员提供独立的代理容器，基于代理容器完成真实和虚拟元素的互动整合。通过代理容器对故事进行管理，辅助内容情节的编排。采集服刑人员在体验过程中的状态和行为，确定体验者的视觉、听觉和触觉感知，通过中央网络协议接收和整合来自传感器所捕获的体验者数据，如位置追踪、运动方向等，再将结果传输至伺服系统，最后编写交互式非线性控制脚本，对体验者的动作做出实时反馈完成人机交互。利用对体验过程中的多模态信息捕捉、人体生理数据监测等方式，结合经验数据、动作回放完成对体验者的动作分析，基于分析结论，负责虚拟和真实构件的传感器控制系统做出实时反馈，实现在技能培训过程中虚拟技师就服刑人员操作动作的现场指导，球类运动过程中虚拟球员和虚拟裁判的智能应对等复杂人机协同。三个渲染引擎分别完成视觉、音频、特效的多模态数字效果生成，第四个引擎负责集成，将不同效果整合为一个完整的交互式非线性场景。

4、开发工具

本申请图形开发使用标准的工具集3d Max及其插件，软件编程使用MicrosoftVisual Studio.NET作为开发环境，利用Open Scene Graph、Cal3D(跨平台图形开发包)完成视觉效果开发，利用Port Audio(音频素材平台)完成音频效果开发，不同设备间信息交互以及协同特效生成以TCP/IP协议为标准，控制脚本编写通过XML(标记电子文件)完成。

实施例二

本实施例提供了用于服刑人员劳动改造的人机交互方法；

用于服刑人员劳动改造的人机交互方法，包括：

进一步地，所述的方法，还包括：采用图像配准算法，完成第一摄像头和第二摄像头的校准；

所述采用图像配准算法，完成第一摄像头和第二摄像头的校准；具体步骤包括：

步骤(4)：重新计算每台摄像机的焦距、位置和方向；

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.用于服刑人员劳动改造的人机交互系统，其特征是，包括：

2.如权利要求1所述的系统，其特征是，所述混合现实眼镜将处理器传输过来的预设视频进行播放；所述音箱将处理器传输过来的音频进行播放；所述传感器采集服刑人员的头部转动数据，所述传感器将采集的头部转动数据通过控制器传输给处理器；所述第一摄像头和第二摄像头采集服刑人员的肢体运动数据，所述第一摄像头和第二摄像头将自身采集的肢体运动数据传输给处理器。

3.如权利要求1所述的系统，其特征是，所述处理器根据头部转动数据获取服刑人员的视场，根据服刑人员的视场和对应视场范围内的视频构建虚拟三维场景；所述处理器将肢体运动数据与虚拟三维场景进行融合，根据肢体运动数据对虚拟三维场景进行调整，所述处理器将调整后的虚拟三维场景再融合到视频中，将融合后的视频通过视频图像适配器回传给混合现实眼镜，显示给服刑人员。

4.如权利要求1所述的系统，其特征是，所述系统还包括：所述第一摄像头和第二摄像头将自身采集的肢体运动数据进行图像实时修正后，再传输给处理器。

5.如权利要求4所述的系统，其特征是，所述图像实时修正的具体步骤，包括：

6.如权利要求1所述的系统，其特征是，所述系统还包括：对第一摄像头和第二摄像头进行位置校准，然后，所述第一摄像头和第二摄像头采集服刑人员的肢体运动数据。

7.如权利要求6所述的系统，其特征是，对第一摄像头和第二摄像头进行位置校准；具体步骤包括：

采用图像配准算法，完成第一摄像头和第二摄像头的校准。

8.如权利要求7所述的系统，其特征是，所述采用图像配准算法，完成第一摄像头和第二摄像头的校准；具体步骤包括：

步骤(4)：重新计算每台摄像机的焦距、位置和方向；

9.用于服刑人员劳动改造的人机交互方法，其特征是，包括：

10.如权利要求9所述的方法，其特征是，还包括：采用图像配准算法，完成第一摄像头和第二摄像头的校准；

步骤(4)：重新计算每台摄像机的焦距、位置和方向；