CN112162406B - 一种基于混合现实的多机联合交互头戴式智能装备 - Google Patents
一种基于混合现实的多机联合交互头戴式智能装备 Download PDFInfo
- Publication number
- CN112162406B CN112162406B CN202011154666.4A CN202011154666A CN112162406B CN 112162406 B CN112162406 B CN 112162406B CN 202011154666 A CN202011154666 A CN 202011154666A CN 112162406 B CN112162406 B CN 112162406B
- Authority
- CN
- China
- Prior art keywords
- shell
- equipment body
- mixed reality
- illumination
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 claims abstract description 10
- 229910001416 lithium ion Inorganic materials 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 239000013013 elastic material Substances 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 240000007651 Rubus glaucus Species 0.000 description 2
- 235000011034 Rubus glaucus Nutrition 0.000 description 2
- 235000009122 Rubus idaeus Nutrition 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 108010015780 Viral Core Proteins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
- F21V33/0004—Personal or domestic articles
- F21V33/0052—Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于混合现实的多机联合交互头戴式智能装备，包括装备本体，其腿部连接有耳机，其壳体正中央后侧内嵌内置摄像头，前侧左、中、右内嵌外置高清摄像头，右侧内部设置处理器，左侧内嵌锂离子电池，处理器以及锂离子电池的下方设置了对称的麦克风以及混合现实组件，壳体内设有WiFi模块、GPS模块、九轴IMU传感器和对讲机模组；装备本体壳体上端设有智能照明模块，智能照明模块包括照明外壳，照明外壳内通告万向节连接有照明灯，照明灯通过两个微型超声电机与平面连杆机构自适应地调整照射方向；本发明实现对本机人员及其他人员的交互识别，并实现多机联合交互功能；结合强光照明，实现随视野定位的多角度照明，为夜间工作的巡检人员提供了方便。
Description
技术领域
本发明涉及混合现实技术(MR)的头戴式智能装备，具体涉及一种基于混合现实的多机联合交互头戴式智能装备。
背景技术
增强现实技术(AR)通过电脑技术，将虚拟的信息映射到真实世界，真实的环境和虚拟物体实时地叠加到了同一个空间同时展示出来。它不仅还原了真实世界的内容，并在此基础上叠加、补充了增强的信息，给人们以更强的内容获取能力。
混合现实技术(MR)是增强现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前由于技术限制，混合现实技术还只停留在增强现实技术的基础上添加虚拟信息的定位技术，也即看到的虚拟辅助信息是固定在现实空间中的某处，而不会随智能装备的移动和旋转而移动。
混合现实技术(MR)的两大核心要素为交互性和沉浸感。现阶段主要通过九轴IMU传感器追踪用户头部运动的方式来定位用户的视野，用户可通过不断扭动头部和调整姿态来获取不同的视野和信息。但是，单纯的头部跟踪定位会使得使用者易于疲劳，从而降低用户体验。基于此问题，在智能装备内部设置摄像头，可通过采集眼部图像并结合深度学习图像识别技术来追踪用户眼球位置，从而实现头部运动与眼动跟踪相结合的效果完善MR视野定位系统，并提升用户体验。
混合现实在各个领域内的应用已成为目前发展的热点话题，尤其在自动化集装箱码头中，应用该技术可为大型港口巡检管理人员、货物管理人员以及设备维修人员等提供有力的数据支持和辅助决策手段。目前由于技术限制，无法实现类似全息投影并对虚拟物体进行多人实时交互，混合现实目前作为一种过渡技术，实现了单机交互的功能，为单一工程人员提供了一种更直观、立体的交互手段，但是仍然存在着无法对多人的交互进行实时感知并映射在同一空间。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于混合现实的多机联合交互头戴式智能装备，实现对本机人员及其他人员的交互识别，并实现多机联合交互功能；结合强光照明，实现随视野定位的多角度照明，为夜间工作的巡检人员提供了方便。
为了达到上述目的，本发明采取的技术方案为：
一种基于混合现实的多机联合交互头戴式智能装备，包括和眼镜相似的装备本体1，装备本体1的腿部连接有耳机7，装备本体1正中央朝向人脸的后方一侧内嵌有内置摄像头5，装备本体1朝外的前方一侧左、中、右内嵌有三个外置高清摄像头4，装备本体1右侧壳体内部设置处理器3，装备本体1左侧壳体内嵌锂离子电池9，装备本体1左侧壳体朝上设置有Type-C充电数据接口10，处理器3以及锂离子电池9的下方装备本体1壳体设置了对称的麦克风6以及混合现实组件2；放置锂离子电池9的装备本体1的壳体上方设有电量指示灯11；
所述的装备本体1的壳体上端右侧设有智能照明模块，智能照明模块包括照明外壳15，照明外壳15连接在装备本体1的壳体上端右侧，照明外壳15内连接有万向节13，万向节13外侧连接有照明灯12，照明灯12通过两个微型超声电机14与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯12的照射方向由内置摄像头5对眼球视线的跟踪反馈结果所确定；
所述的装备本体1的壳体内设有WiFi模块、GPS模块、九轴IMU传感器8和对讲机模组；
所述的WiFi模块、GPS模块、九轴IMU传感器8、对讲机模组、麦克风6、耳机7、混合现实组件2、微型超声电机14均与处理器3电连接。
所述的处理器3为树莓派微型主机，采用瑞芯微RK3288。
所述的耳机7设置在装备本体1位于人耳位置的一侧，由弹性材料与装备本体1固定连接。
所述装备本体1壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧。
工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头4对本机交互手势进行识别，同时左、右两侧的高清摄像头4对周围人员的交互手势进行识别，实时更新至处理器3中，并通过混合现实组件2显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。
所述的手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。
在夜间工作时，工程人员通过内置摄像头5对双目的图像进行采集，然后将图像传送至处理器3，处理器3对图像进行裁剪、去噪初步处理后发送到图像识别工作站，图像识别工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机14以及与其相连的平面连杆机构，改变万向节13末端照明灯12的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。
本发明的有益效果是：本发明通过混合现实技术实现工程人员对港口各功能区数据的获取和沉浸式体验，并可通过头部姿态、手势、眼动、语音对虚拟空间进行交互并优化，增强了使用者的感官体验和交互性，大大提升了对港口设备故障的维修以及货物进出港信息的管理效率。同时，为了迎合超大型集装箱码头日益增长的量的需求，通过三外置高清摄像头4以及对讲机模组、WiFi模块实现了多机联合交互的功能，对港口各功能区的多人合作优化提供了相应的技术支持。并且针对港口的应用场景，由于夜间工作量较大，为保证相应人员对部分位置的强光照明需求，设计了随视野定位的智能照明模块，以帮助工程人员更好地在晚间工作。
本发明可用于大型集装箱码头辅助巡检管理人员、货物管理人员以及设备维修人员等，无论在白天还是黑夜对设备状态、货物进出港状况、故障维修等提供实时数据支持，并在虚拟空间实现多机联合交互并优化。
附图说明
图1是本发明的整体细节图。
图2是本发明的后视图。
图3是本发明随动照明机构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细描述。
参照图1和图2，一种基于混合现实的多机联合交互头戴式智能装备，包括和眼镜相似的装备本体1，装备本体1的腿部连接有耳机7，所述的耳机7设置在装备本体1位于人耳位置的一侧，由弹性材料与装备本体1固定连接；装备本体1正中央朝向人脸的后方一侧内嵌有内置摄像头5，装备本体1朝外的前方一侧左、中、右内嵌有三个外置高清摄像头4，装备本体1右侧壳体内部设置树莓派微型主机，采用了瑞芯微RK3288的处理器3，装备本体1左侧壳体内嵌锂离子电池9，装备本体1左侧壳体朝上设置有Type-C充电数据接口10，处理器3以及锂离子电池9的下方装备本体1壳体设置了对称的麦克风6以及混合现实组件2；所述装备本体1壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧，当必要时可通过拆卸后盖对锂离子电池9进行更换或增加其他模块，放置锂离子电池9的装备本体1的壳体上方设有长条状的电量指示灯11；
所述的装备本体1的壳体上端右侧设有智能照明模块，参照图3，智能照明模块包括照明外壳15，照明外壳15连接在装备本体1的壳体上端右侧，照明外壳15内连接有万向节13，万向节13外侧连接有照明灯12，照明灯12通过两个微型超声电机14与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯12的照射方向由内置摄像头5对眼球视线的跟踪反馈结果所确定；
所述的装备本体1的壳体内设有WiFi模块、GPS模块、九轴IMU传感器8和对讲机模组；
所述的WiFi模块、GPS模块、九轴IMU传感器8、对讲机模组、麦克风6、耳机7、混合现实组件2、微型超声电机14均与处理器3电连接。
本发明的工作原理为：
本发明实现了多机联合交互功能以及随视野定位多角度照明功能。
多机联合交互功能也即针对相同设备，本发明可将多人的手势进行识别，并综合处理至本发明处理器3中。工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头4对本机交互手势进行识别，同时左、右两侧的高清摄像头4对周围人员的交互手势进行识别，实时更新至处理器3中，并通过混合现实组件2显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。并选用采用了瑞芯微RK3288处理器的树莓派微型主机，该微型主机支持双频WiFi、多路摄像头采集、安卓系统，并且提供了丰富的音频、摄像头接口，为本发明提供了硬件支持。
随视野定位多角度照明功能为夜间的工程人员提供了更为方便的照明。在夜间工作时，针对某些较为黑暗的设备角落，工程人员可通过调用内置摄像头5权限，对双目的图像进行采集，然后将图像传送至处理器3，处理器3可以对图像进行裁剪、去噪等初步处理后发送到图像识别工作站，工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机14以及与其相连的平面连杆机构，改变万向节13末端照明灯12的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。
Claims (7)
1.一种基于混合现实的多机联合交互头戴式智能装备，包括眼镜状的装备本体(1)，其特征在于：装备本体(1)的腿部连接有耳机(7)，装备本体(1)正中央朝向人脸的后方一侧内嵌有内置摄像头(5)，装备本体(1)朝外的前方一侧左、中、右内嵌有三个外置高清摄像头(4)，装备本体(1)右侧壳体内部设置处理器(3)，装备本体(1)左侧壳体内嵌锂离子电池(9)，装备本体(1)左侧壳体朝上设置有Type-C充电数据接口(10)，处理器(3)以及锂离子电池(9)的下方装备本体(1)壳体设置了对称的麦克风(6)以及混合现实组件(2)；放置锂离子电池(9)的装备本体(1)的壳体上方设有电量指示灯(11)；
所述的装备本体(1)的壳体上端右侧设有智能照明模块，智能照明模块包括照明外壳(15)，照明外壳(15)连接在装备本体(1)的壳体上端右侧，照明外壳(15)内连接有万向节(13)，万向节(13)外侧连接有照明灯(12)，照明灯(12)通过两个微型超声电机(14)与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯(12)的照射方向由内置摄像头(5)对眼球视线的跟踪反馈结果所确定；
所述的装备本体(1)的壳体内设有WiFi模块、GPS模块、九轴IMU传感器(8)和对讲机模组；
所述的WiFi模块、GPS模块、九轴IMU传感器(8)、对讲机模组、麦克风(6)、耳机(7)、混合现实组件(2)、微型超声电机(14)均与处理器(3)电连接。
2.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的处理器(3)为树莓派微型主机，采用瑞芯微RK3288。
3.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的耳机(7)设置在装备本体(1)位于人耳位置的一侧，由弹性材料与装备本体(1)固定连接。
4.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述装备本体(1)壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧。
5.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头(4)对本机交互手势进行识别，同时左、右两侧的高清摄像头(4)对周围人员的交互手势进行识别，实时更新至处理器(3)中，并通过混合现实组件(2)显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。
6.根据权利要求5所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。
7.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：在夜间工作时，工程人员通过内置摄像头(5)对双目的图像进行采集，然后将图像传送至处理器(3)，处理器(3)对图像进行裁剪、去噪初步处理后发送到图像识别工作站，图像识别工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机(14)以及与其相连的平面连杆机构，改变万向节(13)末端照明灯(12)的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154666.4A CN112162406B (zh) | 2020-10-26 | 2020-10-26 | 一种基于混合现实的多机联合交互头戴式智能装备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154666.4A CN112162406B (zh) | 2020-10-26 | 2020-10-26 | 一种基于混合现实的多机联合交互头戴式智能装备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112162406A CN112162406A (zh) | 2021-01-01 |
| CN112162406B true CN112162406B (zh) | 2021-07-09 |
Family
ID=73864585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011154666.4A Active CN112162406B (zh) | 2020-10-26 | 2020-10-26 | 一种基于混合现实的多机联合交互头戴式智能装备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162406B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10802579B2 (en) * | 2019-02-01 | 2020-10-13 | Facebook Technologies, Llc | Artificial reality system having multiple modes of engagement |
| CN210638579U (zh) * | 2019-06-03 | 2020-05-29 | 武汉灏存科技有限公司 | 大空间多人交互的仿真模拟系统 |
| CN211062003U (zh) * | 2019-09-11 | 2020-07-21 | 广西南宁平行视界科技有限公司 | 一种基于计算机视觉的多人协同系统 |
-
2020
- 2020-10-26 CN CN202011154666.4A patent/CN112162406B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112162406A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9842433B2 (en) | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality | |
| US20240267524A1 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
| CN105955042B (zh) | 一种虚拟现实型的可见即可控智能家居控制方法 | |
| CN102591449B (zh) | 虚拟内容和现实内容的低等待时间的融合 | |
| CN104618712A (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 | |
| CN204741528U (zh) | 立体沉浸式体感智能控制器 | |
| CN104834381A (zh) | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 | |
| CN204406748U (zh) | 一种用于无人机器操控的虚拟驾驶系统 | |
| CN204442580U (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 | |
| WO2012011044A1 (en) | Interactive reality augmentation for natural interaction | |
| CN104731338A (zh) | 一种基于封闭式的增强虚拟现实系统及方法 | |
| CN106168855B (zh) | 一种便携式mr眼镜、手机和mr眼镜系统 | |
| CN203746012U (zh) | 一种三维虚拟场景人机交互立体显示系统 | |
| KR102638960B1 (ko) | Ar 장치 및 그 제어 방법 | |
| WO2021013043A1 (zh) | 虚拟现实场景中的交互方法及装置 | |
| KR20190106931A (ko) | 전자 디바이스 | |
| CN106327583A (zh) | 一种实现全景摄像的虚拟现实设备及其实现方法 | |
| CN106791629A (zh) | 一种基于ar虚拟现实技术的楼房建造设计系统 | |
| CN106526853A (zh) | 头戴式显示设备、主机和分体式虚拟现实系统 | |
| CN204258990U (zh) | 智能头戴显示装置 | |
| Tachi | From 3D to VR and further to telexistence | |
| CN112162406B (zh) | 一种基于混合现实的多机联合交互头戴式智能装备 | |
| CN110716647A (zh) | 一种增强现实交互方法、装置及系统 | |
| WO2020087919A1 (zh) | 基于视线追踪的增强现实人机交互设备及控制方法 | |
| CN105080150A (zh) | 一种智能玩具小车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |