CN106707512B - 一种低功耗智能ar系统及智能ar眼镜 - Google Patents
一种低功耗智能ar系统及智能ar眼镜 Download PDFInfo
- Publication number
- CN106707512B CN106707512B CN201611220326.0A CN201611220326A CN106707512B CN 106707512 B CN106707512 B CN 106707512B CN 201611220326 A CN201611220326 A CN 201611220326A CN 106707512 B CN106707512 B CN 106707512B
- Authority
- CN
- China
- Prior art keywords
- information
- user
- state
- intelligent
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 238000013145 classification model Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 24
- 238000009877 rendering Methods 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 5
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 abstract description 6
- 238000005265 energy consumption Methods 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
本发明公开了一种低功耗智能AR系统及智能AR眼镜，系统包括：检测单元、控制单元以及执行单元，通过控制单元实现各个部件的控制，从而使无需工作的功能硬件处于休眠状态，大大降低了功耗，电能消耗得到有效降低；通过检测单元检测用户行为和环境情况，以此使相应的部件进入工作状态，从而提高了智能化水平，仅需要极少量的人为控制，用户出现误操作的概率大大降低；通过智能AR系统达到了节约用电的目的，从而在电池体积做的较小的情况下也能保证续航能力，并且使电池重量减轻。眼镜还包括触控部和触控单元，实现了对显示模块、音频模块和摄像模块的调节，使用户可以简单调节相应的部件至适合自己的状态，从而进一步提升了用户的体验度。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种低功耗智能AR系统及智能AR眼镜。
背景技术
随着智能计算机技术的不断发展，智能产品不断涌现。继智能手机、平板电脑之后，虚拟现实(VR)与增强现实(AR)有潜力成为下一个重大通用计算平台。随着智能手机销量的持续下滑，VR、AR技术成为消费电子的另一个重要方向。
VR技术是指：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。AR是指：通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前，更多的公司选择从VR领域进行切入，各大研究公司、投行针对VR领域的研究报告也层出不穷。相比之下，尽管过去一年里媒体开始大肆报道AR技术，但大部分AR技术仍处于开发之中。
现有技术中的AR系统，包括AR处理器、显示单元、摄像头、通信单元以及GPS等，通过各个功能硬件的配合实现最终的AR渲染及展示，并且通过手动控制、触发控制或简单的程序控制实现AR系统中的各个功能部件的工作及待机控制。
现有技术的不足之处在于，各个功能硬件的功耗太高，导致电池体积较大，重量较重，影响用户体验，达不到消费级电子产品的要求；智能化程度较低，需要过多的人为控制，容易出现用户误操作的情况；进入工作状态在不同场景下工作时，无法智能的关闭无需工作的功能硬件，导致电能消耗严重。
发明内容
本发明的目的是提供一种低功耗智能AR系统及智能AR眼镜，以解决功耗太高、智能化程度低以及无法智能关闭无需工作的功能硬件的问题。
为了实现上述目的，本发明提供如下技术方案：
一种低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，
所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；
所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。
上述低功耗智能AR系统，所述检测单元包括：气压温度传感器、地磁传感器、光强传感器、九轴传感器、GPS装置以及麦克风，
所述气压温度传感器，用以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；
所述地磁传感器，用以周期性检测用户朝向的方位；
所述光强传感器，用以周期性/根据控制信号采集用户所处环境的采光信息；
所述九轴传感器，用以周期性/根据控制信号检测获取人体动作信息；
所述GPS装置，用以周期性/根据控制信号检测获取用户的位置信息；
所述麦克风，用以周期性/根据控制信号采集用户的语音信息。
上述低功耗智能AR系统，所述光强传感器，还用以周期性的检测接近光，当检测到接近光时，通过所述控制单元控制所述AR处理器进入待机状态。
上述低功耗智能AR系统，所述执行单元还包括：音频模块、显示模块、摄像模块以及通信模块，
所述摄像模块，用以根据所述控制信号采集场景信息；
所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；
所述显示模块，用以根据所述控制信号进行相应的显示；
所述通信模块，用以根据所述控制信号进行与外界的信息交互。
上述低功耗智能AR系统，还包括触控单元，所述触控单元，用以识别触摸手势，并根据识别结果调节显示模块的显示亮度、音频模块的播放音量以及摄像模块的信息采集形式。
上述低功耗智能AR系统，所述多级分类器包括分类模型A、分类模型B、分类模型C以及分类模型D，
所述分类模型A，用以根据所述用户信息进行户内/户外的预测，并根据户内外预测结果控制所述检测单元进行周期性检测，获得户内/户外信息；
所述分类模型B，用以根据所述户外信息进行运动/驾驶的预测，获得运动/驾驶状态；所述户外信息包括：气压、语音、光强、位置以及加速度信息；
所述分类模型C，用以根据所述户内信息进行活跃/安静的预测，获得活跃/安静状态，若在活跃状态下，控制所述检测单元进行周期性检测，获得活跃信息；所述户内信息包括：语音、加速度、地磁以及光强信息；
所述分类模型D，用以根据所述活跃信息进行娱乐/交谈的预测，获得娱乐/交谈状态；所述活跃信息包括：语音、加速度以及地磁信息。
上述低功耗智能AR系统，还包括智能端和服务器，所述智能端分别与所述通信模块、所述服务器连接，
所述智能端，用以接收所述驾驶/运动状态下测得的信息并同步至服务器；以及将地图信息、提示信息通过通信模块发送至显示模块予以显示；
所述服务器，用以根据驾驶状态下测得的信息调取相应的地图；以及根据运动状态下测得的信息进行天气和运动量是否达标的判断，并根据判断结果生成相应的提示信息。
一种智能AR眼镜，所述本体包括镜架和镜片，其特征在于，所述本体还包括触控部，所述触控部设置于所述镜架上，用以通过触摸生成不同的触摸手势；所述本体上还设置有控制板，
所述控制板包括：控制单元、气压温度传感器、光强传感器、九轴传感器、GPS装置、麦克风、音频模块、显示模块、摄像模块以及通信模块，
所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态；
所述气压温度传感器，用以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；
所述地磁传感器，用以周期性检测用户朝向的方位；
所述光强传感器，用以周期性/根据控制信号采集用户所处环境的采光信息；
所述九轴传感器，用以周期性/根据控制信号检测获取人体动作信息；
所述GPS装置，用以周期性/根据控制信号检测获取用户的位置信息；
所述麦克风，用以周期性/根据控制信号采集用户的语音信息；
所述摄像模块，用以根据所述控制信号采集场景信息；
所述AR处理器，用以根据控制信号进行AR渲染；
所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；
所述显示模块，用以根据所述控制信号进行相应的显示；
所述通信模块，用以根据所述控制信号进行与外界的信息交互。
上述智能AR眼镜，还包括触控单元，所述触控单元，用以识别触摸手势，并根据识别结果调节显示模块的显示亮度、音频模块的播放音量以及摄像模块的信息采集形式。
上述智能AR眼镜，所述光强传感器，还用以周期性的检测接近光，当检测到接近光时，通过所述控制单元控制所述AR处理器进入待机状态。
本发明提供的低功耗智能AR系统，具有以下有益效果：
1)通过多级分类器实现工作状态的预测，根据预测结果控制检测单元和执行单元中相应的部件工作，从而无需工作的功能硬件处于休眠状态，大大降低了功耗，电能消耗得到有效降低；
2)通过检测单元检测用户行为和环境情况，以此使相应的部件进入工作状态，从而提高了智能化水平，仅需要极少量的人为控制，用户出现误操作的概率大大降低；
3)通过智能AR系统达到了节约用电的目的，从而在电池体积做的较小的情况下也能保证续航能力，并且使电池重量减轻，用户体验度提高。
本发明提供的智能AR眼镜，还具有以下有益效果：
1)实现了对执行单元中显示模块、音频模块摄像模块的调节，使用户可以简单调节相应的部件至适合自己的状态，从而进一步提升了用户的体验度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的低功耗智能AR系统的结构示意图；
图2为本发明一优选实施例提供的低功耗智能AR系统的结构框图；
图3为本发明一优选实施例提供的低功耗智能AR系统的结构框图；
图4为本发明一优选实施例提供的低功耗智能AR系统的结构框图；
图5为本发明一优选实施例提供的低功耗智能AR系统的结构框图；
图6为本发明一优选实施例提供的低功耗智能AR系统的工作流程图；
图7为本发明一优选实施例提供的低功耗智能AR系统的结构框图；
图8为本发明实施例提供的智能AR眼镜的结构框图；
图9为本发明一优选实施例提供的智能AR眼镜的结构框图；
图10为本发明实施例提供的智能AR眼镜的结构示意图；
图11为本发明实施例提供的控制单元的电路原理图。
附图标记说明：
1、本体；11、镜片；12、镜架；121、触控部；122、控制板；10、检测单元；101、气压温度传感器；102、地磁传感器；103、光强传感器；104、九轴传感器；105、GPS装置；106、麦克风；20、控制单元；201、分类模型A；202、分类模型B；203、分类模型C；204、分类模型D；30、执行单元；301、AR处理器；302、音频模块；303、显示模块；304、摄像模块；305、通信模块；40、触控单元；50、智能端；60、服务器。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
图1为本发明实施例提供的低功耗智能AR系统的结构示意图；图11为本发明实施例提供的控制单元的电路原理图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。
具体的，预设的检测信息是指预先设定的控制检测单元中相应的功能部件，按照指定的动作运行的信息；达到触发条件后检测单元运行，触发条件即是AR处理器进入待机状态。用户行为包括但不限于，头部动作、脑电、眼动、肌电以及语音等；环境包括但不限于，光照强度、所处海拔、气压以及温度等；用户信息是指达到触发条件后，通过检测单元周期性的检测上述部分用户行为及环境获得的信息，包括气压、光强、语音以及位置信息。用户状态预测是指将检测得到的用户信息通过分类器预测用户所处的场景是在户外还是户内，并据此生成相应的检测信息，控制检测单元中相应的功能部件动作，检测得到相应的用户信息；依次类推，直至进入预测结果中的任一状态，根据该状态生成对检测单元和执行单元相应的控制信号。控制信号是指执行单元和检测单元能够识别的，控制其进行AR渲染及AR展示的信号，每个状态对应的控制信号均不相同，具体表现为控制执行单元和检测单元中对应的功能部件进入运作状态，其余无需工作的部件处于休眠状态；智能AR系统运行时，具有五个状态，分别为安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。AR渲染是指通过检测单元和执行单元的配合，对现实效果进行增强；AR展示是指对渲染的结果展示到用户眼前，或者通过其他感官感受并吸收渲染的结果。多级分类器是指具有多个分类器，其具有学习输入内容并向上迭代的功能，从而能预测相应的输入内容，其学习并预测的方法包括但不限于，RandomForest，SVM，朴素贝叶斯网络，逻辑回归，以及C4.5决策树等方法。以决策树法为例：将先验样本作为训练集，将加速度，陀螺仪，地磁，音频强度，光照强度等信号输入分类器中，用用户实际所处的状态，比如是活动的还是安静的状态进行标注，通过计算信息熵最小的方法，确定决策树中，每层决策项的系数，最终分类输出预测结果。
在一些实施例中，若AR处理器进入工作状态，检测单元中的气压温度传感器、光强传感器、麦克风和GPS装置对用户行为和环境进行周期性检测，则获得相对应的信息，据其进行户内/户外的判断。
在一些实施例中，若判断为户内，检测单元中的九轴传感器、光强传感器、麦克风和地磁传感器对用户行为和环境进行周期性检测，则获得相对应的信息，据其进行活跃/安静的判断。
在一些实施例中，若判断为户外，检测单元中的九轴传感器、光强传感器、气压温度传感器、麦克风和GPS装置对用户行为和环境进行周期性检测，则获得相对应的信息，据其进行运动/驾驶的判断。
在一些实施例中，若判断为活跃，检测单元中的九轴传感器、麦克风和地磁传感器对用户行为和环境进行周期性检测，则获得相对应的信息，据其进行交谈/娱乐的判断。
在一些实施例中，若判断为安静状态，则生成相应的控制信号，控制执行单元中的摄像模块、显示模块、音频模块和AR处理器进行AR渲染并展示。
在一些实施例中，若判断为运动状态，则生成相应的控制信号，控制检测单元中的九轴传感器、光强传感器以及气压温度传感器进行长时间的信息采集，控制执行单元中的通信模块和显示模块通过上述采集的信息对用户进行周期性的提示。
在一些实施例中，若判断为驾驶状态，则生成相应的控制信号，控制检测单元中的GPS装置采集位置信息，控制执行单元中的显示模块和通信模块对位置信息进行传输并持续的更新显示，由此实现导航。
在一些实施例中，若判断为交谈状态，则生成相应的控制信号，控制执行单元中的通信模块和音频模块对交谈中的语音进行识别，并根据识别结果向移动智能端发出通话请求。
在一些实施例中，若判断为娱乐状态，则生成相应的控制信号，控制执行单元和检测单元中全部的部件进行AR渲染并展示。
本领域的技术人员应当知晓，所述AR处理器选用Allwinner H8处理器，8核ARMCortex-A7架构处理器，控制单元的芯片选用AXP818。
本发明提供的低功耗智能AR系统，具有以下有益效果：
1)通过多级分类器实现工作状态的预测，根据预测结果控制检测单元和执行单元中相应的部件工作，从而无需工作的功能硬件处于休眠状态，大大降低了功耗，电能消耗得到有效降低；
2)通过检测单元检测用户行为和环境情况，以此使相应的部件进入工作状态，从而提高了智能化水平，仅需要极少量的人为控制，用户出现误操作的概率大大降低；
3)通过智能AR系统达到了节约用电的目的，从而在电池体积做的较小的情况下也能保证续航能力，并且使电池重量减轻，用户体验度提高。
图2为本发明一优选实施例提供的低功耗智能AR系统的结构框图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。作为本实施例中优选的，所述检测单元包括：气压温度传感器、地磁传感器、光强传感器、九轴传感器、GPS装置以及麦克风，所述气压温度传感器，用以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；所述地磁传感器，用以周期性检测用户朝向的方位；所述光强传感器，用以周期性/根据控制信号采集用户所处环境的采光信息；所述九轴传感器，用以周期性/根据控制信号检测获取人体动作信息；所述GPS装置，用以周期性/根据控制信号检测获取用户的位置信息；所述麦克风，用以周期性/根据控制信号采集用户的语音信息。通过上述检测单元中的各个功能部件，根据相应的检测信息对用户行为和环境进行检测；以及根据相应的控制信号控制相应的各个功能部件进入长时间运行状态，直至预测结果出现变化才停止检测。从而进一步实现不同的检测信息/不同的控制信号控制不同的功能部件动作，避免了在检测过程和AR渲染过程中检测单元中无需运行的部件仍动作的情况，达到了节约电能的目的；并且进一步提高了智能化水平，除了切断/接入电源，不需要人为控制。
进一步的，所述光强传感器，还用以周期性的检测接近光，当检测到接近光时，通过所述控制单元控制所述AR处理器进入待机状态。本发明中的智能AR系统共有七个工作状态，即上述的五种状态、待机状态以及进入待机状态之前的休眠状态；当人员打开电源按钮系统就进入休眠状态，此时光强传感器处于工作状态，对接近光进行检测，并使AR处理器进入随时运行的待机状态。进一步提升了系统的智能化水平，并且使系统在休眠状态和待机状态下几乎不耗电，降低了功耗，提升了电源管理能力，进一步达到了节约电能的目的。
图3为本发明一优选实施例提供的低功耗智能AR系统的结构框图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。作为本实施例中优选的，所述执行单元还包括：音频模块、显示模块、摄像模块以及通信模块，所述摄像模块，用以根据所述控制信号采集场景信息；所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；所述显示模块，用以根据所述控制信号进行相应的显示；所述通信模块，用以根据所述控制信号进行与外界的信息交互。根据五种工作状态生成五种不同的控制信号，控制执行单元中的相应的部件运行，实现AR渲染及AR展示；通过AR处理器进行AR处理及渲染，通过上述部件实现AR的最终展示。从而使人员通过感官直观的感受到现实增强的效果，以及虚拟与现实结合的效果。
图4为本发明一优选实施例提供的低功耗智能AR系统的结构框图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。所述执行单元还包括：音频模块、显示模块、摄像模块以及通信模块，所述摄像模块，用以根据所述控制信号采集场景信息；所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；所述显示模块，用以根据所述控制信号进行相应的显示；所述通信模块，用以根据所述控制信号进行与外界的信息交互。作为本实施例中优选的，还包括触控单元，所述触控单元，用以识别触摸手势，并根据识别结果调节显示模块的显示亮度、音频模块的播放音量以及摄像模块的信息采集形式。显示亮度、音量大小以及图像信息采集形式需要通过触摸控制调节，优选的，通过对不同的手势的识别完成调节：如图9所示，在触控部左侧的区域上向左滑动，亮度/音量降低，向右滑动亮度/音量升高，长时间触摸该区域，在调节显示模块亮度和音频模块音量之间切换；触摸触控部右侧的区域，进行摄像模块的拍照和录像之间的切换。实现了执行单元中部件的调节，使用户可以调节执行单元至适合自己的状态，从而进一步提升了用户的体验度。
图5为本发明一优选实施例提供的低功耗智能AR系统的结构框图；图6为本发明一优选实施例提供的低功耗智能AR系统的工作流程图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。作为本实施例中优选的，所述多级分类器包括分类模型A、分类模型B、分类模型C以及分类模型D，所述分类模型A，用以根据所述用户信息进行户内/户外的预测，并根据户内外预测结果控制所述检测单元进行周期性检测，获得户内/户外信息；所述分类模型B，用以根据所述户外信息进行运动/驾驶的预测，获得运动/驾驶状态；所述户外信息包括：气压、语音、光强、位置以及加速度信息；所述分类模型C，用以根据所述户内信息进行活跃/安静的预测，获得活跃/安静状态，若在活跃状态下，控制所述检测单元进行周期性检测，获得活跃信息；所述户内信息包括：语音、加速度、地磁以及光强信息；所述分类模型D，用以根据所述活跃信息进行娱乐/交谈的预测，获得娱乐/交谈状态；所述活跃信息包括：语音、加速度以及地磁信息。通过分类模型A、分类模型B、分类模型C以及分类模型D对不同的工作状态进行预测，若在户内/户外/活跃状态时，则生成相应的检测信息控制检测单元中相应的功能部件动作，检测获得户外/户内/活跃信息，并将该信息输入分类模型B/分类模型C/分类模型D中进行某个模型下的状态择一预测，依次类推，直至预测到预测状态中的五种状态中的一种为止。通过不同的分类器对用户所处的状态进行逐步分类并预测，较为全面的展现了用户行为带来的用户状态，从而使用户在不同环境、状态下均能体验AR效果，增添了生活的乐趣。
图7为本发明一优选实施例提供的低功耗智能AR系统的结构框图。
本实施例中的低功耗智能AR系统，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态。作为本实施例中优选的，还包括智能端和服务器，所述智能端分别与所述通信模块、所述服务器连接，所述智能端，用以接收所述驾驶/运动状态下测得的信息并同步至服务器；以及将地图信息、提示信息通过通信模块发送至显示模块予以显示；所述服务器，用以根据驾驶状态下测得的信息调取相应的地图；以及根据运动状态下测得的信息进行天气和运动量是否达标的判断，并根据判断结果生成相应的提示信息。在运动状态和驾驶状态下，需要借助相应的软件实现导航、计步、运动情况统计等目的；在驾驶状态时，对用户的位置进行持续检测，再将该位置信息发送至智能端，通过智能端的地图软件从服务器调取相应的地图至显示模块，在该地图上标记位置，并在位置发生变化时，实时更新变化的位置信息，从而达到了定位及导航的目的；在运动状态时，对加速度、气压、温度等进行持续检测，将上述信息发送至智能端，通过智能端的软件将该信息同步至服务器，由服务器统计用户的运动步数、运动强度是否达标、天气是否达标等提示信息，并定期发送至显示模块予以提醒；比如，当气压骤升、温度变化时判定为会下雨，提醒用户及时找地方避雨。通过判断，自动实现定位及导航，并提示用户运动、天气是否达标，从而使AR效果进一步加强，并且使用户的运动/驾驶更加简单、更具有计划性。
图8为本发明实施例提供的智能AR眼镜的结构框图；图9为本发明一优选实施例提供的智能AR眼镜的结构框图；图10为本发明实施例提供的智能AR眼镜的结构示意图。
本实施例中的智能AR眼镜，包括本体，所述本体包括镜架和镜片，其特征在于，所述本体还包括触控部，所述触控部设置于所述镜架上，用以通过触摸生成不同的触摸手势；所述本体上还设置有控制板，所述控制板包括：控制单元、气压温度传感器、光强传感器、九轴传感器、GPS装置、麦克风、音频模块、显示模块、摄像模块以及通信模块，所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态；所述气压温度传感器，用以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；所述地磁传感器，用以周期性检测用户朝向的方位；所述光强传感器，用以周期性/根据控制信号采集用户所处环境的采光信息；所述九轴传感器，用以周期性/根据控制信号检测获取人体动作信息；所述GPS装置，用以周期性/根据控制信号检测获取用户的位置信息；所述麦克风，用以周期性/根据控制信号采集用户的语音信息；所述摄像模块，用以根据所述控制信号采集场景信息；所述AR处理器，用以根据控制信号进行AR渲染；所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；所述显示模块，用以根据所述控制信号进行相应的显示；所述通信模块，用以根据所述控制信号进行与外界的信息交互。
如图8所示，作为本实施例中优选的，还包括触控单元，所述触控单元，用以识别触摸手势，并根据识别结果调节显示模块的显示亮度、音频模块的播放音量以及摄像模块的信息采集形式。具体的，触控部包括两个区域分别为调节音频模块音量大小和显示模块显示亮度的区域，以及调节摄像模块采集形式(图片形式、视频形式)的区域，触控部为电容式触摸板，通过以不同手势触摸上述区域，会产生不同的效果；比如：在触控部调节亮度、音量的区域上向左滑动，亮度/音量降低，向右滑动亮度/音量升高，长时间触摸该区域，在调节显示模块亮度和音频模块音量之间切换；触摸触控部调节采集形式的区域，则进行摄像模块的拍照(图片形式)和录像(视频形式)之间的切换。通过控制单元实现对智能AR眼镜中各个检测部件及执行部件的控制，在不同的状态下控制不同的部件工作，其余的休眠，从而达到降低功耗的目的。
进一步的，所述光强传感器，还用以周期性的检测接近光，当检测到接近光时，通过所述控制单元控制所述AR处理器进入待机状态。本发明中的智能AR系统共有七个工作状态，即上述的五种状态、待机状态以及进入待机状态之前的休眠状态；当人员打开电源按钮系统就进入休眠状态，此时光强传感器处于工作状态，对接近光进行检测，并使AR处理器进入随时运行的待机状态。进一步提升了系统的智能化水平，并且使系统在休眠状态和待机状态下几乎不耗电，降低了功耗，提升了电源管理能力，进一步达到了节约电能的目的。
本发明提供的智能AR眼镜，具有以下有益效果：
1)通过多级分类器实现工作状态的预测，根据预测结果控制检测单元和执行单元中相应的部件工作，从而无需工作的功能硬件处于休眠状态，大大降低了功耗，电能消耗得到有效降低；
2)通过检测单元检测用户行为和环境情况，以此使相应的部件进入工作状态，从而提高了智能化水平，仅需要极少量的人为控制，用户出现误操作的概率大大降低；
3)通过智能AR系统达到了节约用电的目的，从而在电池体积做的较小的情况下也能保证续航能力，并且使电池重量减轻，用户体验度提高。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。
Claims (7)
1.一种低功耗智能AR系统，其特征在于，包括控制单元、检测单元以及执行单元，所述执行单元至少包括AR处理器，所述执行单元还包括：音频模块、显示模块、摄像模块以及通信模块，所述检测单元包括：气压温度传感器、地磁传感器、光强传感器、九轴传感器、GPS装置以及麦克风，
所述检测单元，用以当所述AR处理器处于待机状态时，根据预设的检测信息对用户行为及环境进行周期性的检测，获得用户信息；所述用户信息包括：气压、光强、语音以及位置信息；
所述控制单元，用以将所述用户信息输入多级分类器进行用户状态预测，并根据预测结果生成相应的控制信号，控制所述检测单元和所述执行单元进行AR渲染及AR展示；预测结果包括：安静状态、运动状态、驾驶状态、交谈状态和娱乐状态；
其中，所述多级分类器包括分类模型A、分类模型B、分类模型C以及分类模型D，
所述分类模型A，用以根据所述用户信息进行户内/户外的预测，并根据户内外预测结果控制所述检测单元进行周期性检测，获得户内/户外信息；
所述分类模型B，用以根据所述户外信息进行运动/驾驶的预测，获得运动/驾驶状态；所述户外信息包括：气压、语音、光强、位置以及加速度信息；
所述分类模型C，用以根据所述户内信息进行活跃/安静的预测，获得活跃/安静状态，若在活跃状态下，控制所述检测单元进行周期性检测，获得活跃信息；所述户内信息包括：语音、加速度、地磁以及光强信息；
所述分类模型D，用以根据所述活跃信息进行娱乐/交谈的预测，获得娱乐/交谈状态；所述活跃信息包括：语音、加速度以及地磁信息；
所述控制单元，还用以所述预测结果为安静状态时，控制所述执行单元中的所述摄像模块、所述显示模块、所述音频模块和所述AR处理器，所述预测结果为运动状态时，控制所述执行单元中的所述通信模块和所述显示模块对用户进行信息提示，所述预测结果为驾驶状态时，控制所述执行单元中的所述显示模块和所述通信模块对位置信息进行传输显示，所述预测结果为交谈状态时，控制所述执行单元中的所述通信模块和所述音频模块对语音进行识别，所述预测结果为娱乐状态时，控制所述执行单元和所述检测单元中的全部部件进行AR渲染及AR展示。
2.根据权利要求1所述的低功耗智能AR系统，其特征在于，所述气压温度传感器，用以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；
所述地磁传感器，用以周期性检测用户朝向的方位；
所述光强传感器，用以周期性/根据控制信号采集用户所处环境的采光信息；
所述九轴传感器，用以周期性/根据控制信号检测获取人体动作信息；
所述GPS装置，用以周期性/根据控制信号检测获取用户的位置信息；
所述麦克风，用以周期性/根据控制信号采集用户的语音信息。
3.根据权利要求2所述的低功耗智能AR系统，其特征在于，所述光强传感器，还用以周期性的检测接近光，当检测到接近光时，通过所述控制单元控制所述AR处理器进入待机状态。
4.根据权利要求1所述的低功耗智能AR系统，其特征在于，所述摄像模块，用以根据所述控制信号采集场景信息；
所述音频模块，用以根据所述控制信号播放音频数据或对语音进行识别；
所述显示模块，用以根据所述控制信号进行相应的显示；
所述通信模块，用以根据所述控制信号进行与外界的信息交互。
5.根据权利要求4所述的低功耗智能AR系统，其特征在于，还包括触控单元，所述触控单元，用以识别触摸手势，并根据识别结果调节显示模块的显示亮度、音频模块的播放音量以及摄像模块的信息采集形式。
6.根据权利要求1-5任一所述的低功耗智能AR系统，其特征在于，还包括智能端和服务器，所述智能端分别与所述通信模块、所述服务器连接，
所述智能端，用以接收所述驾驶/运动状态下测得的信息并同步至服务器；以及将地图信息、提示信息通过通信模块发送至显示模块予以显示；
所述服务器，用以根据驾驶状态下测得的信息调取相应的地图；以及根据运动状态下测得的信息进行天气和运动量是否达标的判断，并根据判断结果生成相应的提示信息。
7.一种智能AR眼镜，包括本体，及权利要求1至6任一项所述的低功耗智能AR系统，所述本体包括镜架和镜片，其特征在于，所述本体还包括触控部，所述触控部设置于所述镜架上，用以通过触摸生成不同的触摸手势；所述本体上还设置有控制板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611220326.0A CN106707512B (zh) | 2016-12-26 | 2016-12-26 | 一种低功耗智能ar系统及智能ar眼镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611220326.0A CN106707512B (zh) | 2016-12-26 | 2016-12-26 | 一种低功耗智能ar系统及智能ar眼镜 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106707512A CN106707512A (zh) | 2017-05-24 |
| CN106707512B true CN106707512B (zh) | 2023-10-27 |
Family
ID=58896153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611220326.0A Active CN106707512B (zh) | 2016-12-26 | 2016-12-26 | 一种低功耗智能ar系统及智能ar眼镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106707512B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110764264B (zh) * | 2019-11-07 | 2022-02-15 | 中勍科技有限公司 | 一种ar智能眼镜 |
| CN111627450A (zh) * | 2020-07-28 | 2020-09-04 | 南京新研协同定位导航研究院有限公司 | 一种mr眼镜的延长续航系统及其续航方法 |
| CN112630981A (zh) * | 2021-03-08 | 2021-04-09 | 宁波圻亿科技有限公司 | 一种可穿戴装置 |
| CN113189797A (zh) * | 2021-05-11 | 2021-07-30 | Tcl通讯（宁波）有限公司 | 智能眼镜 |
| CN113791499B (zh) * | 2021-09-18 | 2022-06-24 | 深圳市恒必达电子科技有限公司 | 一种智能采集并传输自然环境指数的vr装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893236A (zh) * | 2010-07-20 | 2013-01-23 | 英派尔科技开发有限公司 | 增强现实临近检测 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| CN105336105A (zh) * | 2015-11-30 | 2016-02-17 | 宁波力芯科信息科技有限公司 | 一种预防疲劳驾驶的方法、智能设备及系统 |
| CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
| CN106249882A (zh) * | 2016-07-26 | 2016-12-21 | 华为技术有限公司 | 一种应用于vr设备的手势操控方法与装置 |
| CN206584114U (zh) * | 2016-12-26 | 2017-10-24 | 北京悉见科技有限公司 | 一种低功耗智能ar装置及智能ar眼镜 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105301771B (zh) * | 2014-06-06 | 2020-06-09 | 精工爱普生株式会社 | 头部佩戴型显示装置、检测装置、控制方法以及计算机程序 |
-
2016
- 2016-12-26 CN CN201611220326.0A patent/CN106707512B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893236A (zh) * | 2010-07-20 | 2013-01-23 | 英派尔科技开发有限公司 | 增强现实临近检测 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| CN105336105A (zh) * | 2015-11-30 | 2016-02-17 | 宁波力芯科信息科技有限公司 | 一种预防疲劳驾驶的方法、智能设备及系统 |
| CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
| CN106249882A (zh) * | 2016-07-26 | 2016-12-21 | 华为技术有限公司 | 一种应用于vr设备的手势操控方法与装置 |
| CN206584114U (zh) * | 2016-12-26 | 2017-10-24 | 北京悉见科技有限公司 | 一种低功耗智能ar装置及智能ar眼镜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106707512A (zh) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106707512B (zh) | 一种低功耗智能ar系统及智能ar眼镜 | |
| CN112717370B (zh) | 一种控制方法和电子设备 | |
| US10416789B2 (en) | Automatic selection of a wireless connectivity protocol for an input device | |
| CN110045819A (zh) | 一种手势处理方法及设备 | |
| CN110544272B (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
| CN107300967B (zh) | 一种智能导航方法、装置、存储介质和终端 | |
| CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
| CN107809658A (zh) | 一种弹幕内容显示方法和终端 | |
| WO2014088621A1 (en) | System and method for detecting gestures | |
| CN103713732A (zh) | 一种个人随身装置 | |
| CN108920059A (zh) | 消息处理方法及移动终端 | |
| US20220012283A1 (en) | Capturing Objects in an Unstructured Video Stream | |
| CN111798811B (zh) | 屏幕背光亮度的调节方法、装置、存储介质及电子设备 | |
| CN108710458A (zh) | 一种分屏控制方法和终端设备 | |
| CN109284041A (zh) | 一种应用界面切换方法及移动终端 | |
| CN111243742A (zh) | 一种能够分析儿童用眼习惯的智能眼镜 | |
| CN112860169A (zh) | 交互方法及装置、计算机可读介质和电子设备 | |
| CN110493452A (zh) | 一种指纹开关的管理方法及装置 | |
| CN109756626A (zh) | 一种提醒方法和移动终端 | |
| CN206584114U (zh) | 一种低功耗智能ar装置及智能ar眼镜 | |
| JP6516464B2 (ja) | ウェアラブル検索システム | |
| CN109558895A (zh) | 一种基于智能感知的校园管理方法、系统及介质 | |
| KR102079033B1 (ko) | 장소 인식을 제어하는 휴대 단말 및 방법 | |
| CN110420457A (zh) | 一种悬浮操作方法、装置、终端和存储介质 | |
| CN108650456A (zh) | 对焦方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200421 Address after: Room 1146, 11th floor, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing 100000 Applicant after: Zhongkehai micro (Beijing) Technology Co.,Ltd. Address before: Room 1146, 11th floor, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing 100000 Applicant before: Wang Yi Effective date of registration: 20200421 Address after: Room 1146, 11th floor, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing 100000 Applicant after: Wang Yi Address before: No. 405-395, floor 4, building 1, yard 2, Yongcheng North Road, Haidian District, Beijing 100000 Applicant before: BEIJING SEENGENE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |