CN112198965B - 一种ar眼镜护目自动控制方法及装置 - Google Patents

一种ar眼镜护目自动控制方法及装置 Download PDF

Info

Publication number
CN112198965B
CN112198965B CN202011400435.7A CN202011400435A CN112198965B CN 112198965 B CN112198965 B CN 112198965B CN 202011400435 A CN202011400435 A CN 202011400435A CN 112198965 B CN112198965 B CN 112198965B
Authority
CN
China
Prior art keywords
control signal
data
glasses
intelligent
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011400435.7A
Other languages
English (en)
Other versions
CN112198965A (zh
Inventor
印眈峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Medical Innovation And Development Foundation
Original Assignee
Ningbo Qiyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Qiyi Technology Co ltd filed Critical Ningbo Qiyi Technology Co ltd
Priority to CN202011400435.7A priority Critical patent/CN112198965B/zh
Publication of CN112198965A publication Critical patent/CN112198965A/zh
Application granted granted Critical
Publication of CN112198965B publication Critical patent/CN112198965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种AR眼镜护目自动控制方法及装置，通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型获取的智能感测光学感测控制信号、包括语音控制信号和/或手势控制信号的主动干预控制信号等非接触式控制信号，智能高效地获取能够指示AR眼镜进行相应护目操作调节的控制指令，自动控制AR眼镜进行多种适应性的护目操作，以在外部光学环境发生变化需要主动进行护目调节或根据用户发出其他非接触式控制指令时，实时地进行AR眼镜的智能护目操作，改变了传统需要手动调整的技术现状，不仅解放了用户双手，增强了调节灵活性，使得AR眼镜的护目操作效率得到很大提高。

Description

一种AR眼镜护目自动控制方法及装置
技术领域
本说明书涉及人工智能及AR眼镜技术领域，特别涉及一种AR眼镜护目自动控制方法及装置。
背景技术
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。随着AR技术的发展，出现了多种与之相适配的AR产品，如AR眼镜，通过其能够有效的满足用户对虚拟世界的探知与体验，从而进一步提高用户的虚拟体验。
随着科技的发展和多种场景需要，AR眼镜出现和使用的频率越来越频繁，而当在强光下或太阳光下使用AR眼镜时，外部光源的光害因素（强光照、光反射散射或炫目等）易造成显像清晰度差、显像亮度不足等不利现象，且外部光源条件也非长时间固定不变，这样难免会影响AR眼镜的使用效果和用户体验。目前也有少数以手动方式加装或替换深色防护镜片的方式来减小光害影响，但对于双手持有器具或工具以及其他不便或更高体验需求的使用场景中的使用者（如手术医生、设备操作员、机械维修员等）来说，这种手动操作方式存在较大不便，且由于其防护操作相对有限，也远远不能满足多种使用场景AR眼镜用户愈来愈高的需求。
因此，亟需提供一种既能解决光害防护问题又能同时提高用户操作便利性、提高用户体验的AR眼镜护目自动控制方案。
发明内容
本申请实施例提供的眼镜护目自动控制方法及装置，实现了智能又便利地对AR眼镜进行护目操作，极大地提高了用户体验。
本申请实施例的一方面提供了一种AR眼镜护目自动控制方法，包括：获取主动干预控制信号，所述主动干预控制信号包括语音控制信号和手势控制信号的至少一种，所述语音控制信号至少包括光照强度调整语音控制信号，所述手势控制信号至少包括光照强度调整手势控制信号；获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据所述多个方向光线强度生成所述智能光学感测控制信号，其中，所述预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到所述预设入射预测模型；将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令；根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，所述护目操作至少包括对所述AR眼镜进行光照强度调整。
在一些实施例中，获取智能光学感测控制信号，包括：通过多个光传感器获取所述光传感数据，所述光传感数据用于补充视野图像的视野之外的光强信息；通过运动传感器获取所述运动传感数据，所述运动传感数据用于捕捉人体头部运动方向信息；通过置于所述AR眼镜的摄像头获取所述视野图像数据，所述视野图像数据用于提取当前视野下的光照强度数据。
在一些实施例中，所述预设入射预测模型的训练过程如下：将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据的标签数据回调模型参数，不断训练直至得到所述预设入射预测模型。
在一些实施例中，将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令，包括：根据预设信号指令对应关系，确定所述主动干预控制信号、所述智能光学感测控制信号对应的智能控制指令类别；将具有同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成该智能控制指令类别对应的智能控制指令。
在一些实施例中，根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，包括：根据所述智能控制指令和预设护目自动控制程序触发传动系统进行所述AR眼镜的镜片调整置换的护目操作；和/或，根据所述智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对所述AR眼镜进行光学性能调整的护目操作，其中，所述镜片调整置换至少包括所述光照强度调整，所述光学性能调整至少包括所述光照强度调整。
在一些实施例中，根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，包括：根据预创建的所述智能控制指令与所述护目操作的操作选项之间的映射关系生成所述护目自动控制程序。
在一些实施例中，所述护目操作的操作选项包括以下选项中的至少一种：变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项。
本申请实施例的另一个方面，提供了一种AR眼镜护目自动控制装置，包括：第一获取模块，用于获取主动干预控制信号，所述主动干预控制信号包括语音控制信号和手势控制信号的至少一种，所述语音控制信号至少包括光照强度调整语音控制信号，所述手势控制信号至少包括光照强度调整手势控制信号；第二获取模块，用于获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据所述多个方向光线强度生成所述智能光学感测控制信号，其中，所述预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到所述预设入射预测模型；控制指令生成模块，用于将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令；护目操作触发模块，用于根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，所述护目操作至少包括对AR眼镜进行光照强度调整。
在一些实施例中，所述第二获取模块用于：通过多个光传感器获取所述光传感数据，所述光传感数据用于补充视野图像的视野之外的光强信息；通过运动传感器获取所述运动传感数据，所述运动传感数据用于捕捉人体头部运动方向信息；通过置于所述AR眼镜的摄像头获取所述视野图像数据，所述视野图像数据用于提取当前视野下的光照强度数据。
在一些实施例中，所述预设入射预测模型的训练过程如下：将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据的标签数据回调模型参数，不断训练直至得到所述预设入射预测模型。
本申请实施例提供的AR眼镜护目自动控制方法及装置，通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型获取的智能感测光学感测控制信号、包括语音控制信号和/或手势控制信号的主动干预控制信号等非接触式控制信号，智能高效地获取能够指示AR眼镜进行相应护目操作调节的控制指令，自动控制AR眼镜进行多种适应性的护目操作，以在外部光学环境发生变化需要主动进行护目调节或根据用户发出其他非接触式控制指令时，实时地进行AR眼镜的智能护目操作，改变了传统需要手动调整的技术现状，不仅解放了用户双手，增强了调节灵活性，使得AR眼镜的护目操作效率得到很大提高，无论是根据用户发出的非接触控制指令执行主动干预控制还是根据智能感测光学条件进行调节，均实现了智能又便利地对AR眼镜进行护目操作，极大地提高了用户体验。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本申请一些实施例所示的AR眼镜护目自动控制方法100的流程示例图；
图2是图1中步骤130的子步骤流程示例图；
图3是根据本申请一些实施例所示的AR眼镜护目自动控制装置200的结构示例图；
图4是根据本申请一些实施例所示的AR眼镜护目自动控制系统300结构示例图；
图5是根据本申请一些实施例所示的AR眼镜护目自动控制系统300实现的实物结构示例图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请实施例提供的AR眼镜护目自动控制方法及装置，通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型获取的智能感测光学感测控制信号、包括语音控制信号和/或手势控制信号的主动干预控制信号等非接触式控制信号，智能高效地获取能够指示AR眼镜进行相应护目操作调节的控制指令，自动控制AR眼镜进行多种适应性的护目操作，以在外部光学环境发生变化需要主动进行护目调节或根据用户发出其他非接触式控制指令时，实时地进行AR眼镜的智能护目操作，改变了传统需要手动调整的技术现状，不仅解放了用户双手，增强了调节灵活性，使得AR眼镜的护目操作效率得到很大提高，无论是根据用户发出的非接触控制指令执行主动干预控制还是根据智能感测光学条件进行调节，均实现了智能又便利地对AR眼镜进行护目操作，极大地提高了用户体验，适用于涉及AR眼镜的多种应用场景，尤其适用于双手持有器具或工具以及其他不便或更高体验需求的使用场景中（如手术医生手术场景、设备操作员场景、机械维修员场景等等）。
下面结合一些实施例，对本申请实施例提供的AR眼镜护目自动控制方法、装置、系统及设备详细说明。
图1是根据本申请一些实施例所示的AR眼镜护目自动控制方法100流程示例图。如图1所示，AR眼镜护目自动控制方法100包括以下步骤：
步骤110，获取主动干预控制信号，主动干预控制信号包括语音控制信号和手势控制信号的至少一种，语音控制信号至少包括光照强度调整语音控制信号，手势控制信号至少包括光照强度调整手势控制信号。
语音控制信号和手势控制信号是AR眼镜用户通过发出相关语音和手势得到的控制信号。例如，语音控制信号可以包括光照强度调整语音控制信号和/或与护目操作目关联的其他内容类型语音控制信号，手势控制信号可以包括光照强度调整手势控制信号或与护目操作目关联的其他内容类型语音控制信号。再例如，语音控制信号的语音内容可以是“光照过强，请进行光照强度调整”等类似语音，手势控制信号可以设置与光照强度调整操作关联的特定手势，如“OK手势”或“晃动手势”等。
在一些实施例中，语音控制信号的获取可以由普通录音声卡、现有基于MATLAB的语音采集分析系统、基于DSP的实时语音采集处理系统等来实现。
在一些实施例中，手势控制信号可以由PAJ7620U2 Gesture Sensor 手势识别传感器、基于太赫兹雷达的精细动态手势识别系统、基于连续波多普勒雷达的手势信号识别系统、基于人体体表肌电信号的采集与手势识别系统等来实现。
步骤120，获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据多个方向光线强度生成智能光学感测控制信号，其中，预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到预设入射预测模型。
在一些实施例中，步骤120包括：
通过多个光传感器获取光传感数据，光传感数据用于补充视野图像的视野之外的光强信息；
通过运动传感器获取运动传感数据，运动传感数据用于捕捉人体头部运动方向信息；
通过置于AR眼镜的摄像头获取视野图像数据，视野图像数据用于提取当前视野下的光照强度数据。
通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型，并根据预测结果生成的智能光学感测控制信号有效性和可靠性更高，能够更智能地实时获取当前AR眼镜佩戴的光学调节控制信号，自动便利地进行AR眼镜显示屏的光照强度调整，满足用户佩戴时的光防护需求，提高用户体验。
在一些实施例中，预设入射预测模型的训练过程如下：
将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据的标签数据回调模型参数，不断训练直至得到所述预设入射预测模型。通过自训练的预设入射预测模型，适应性和可靠性更高，能够获取更准确的预测结果。
在一些实施例中，预设入射预测模型可以采用现有的BP神经网络、FCN神经网络或现有技术中任何可能的神经网络模型的待训练模型训练得到，本申请实施例不对其特别限制。
在一些实施例中，获取光线环境数据的自动生成装置可以设置于AR眼镜内，也可以设置于AR眼镜外的适当位置，并通过无线或有线通信实现数据实时传输。
在一些实施例中，智能光学感测控制信号是指根据环境光学感测操作获取的结果数据得到的控制信号，其中结果数据可以包括光照情况数据。在一些实施例中，光照强度情况数据可以是光照度、光照温度、辐射度、UV指数、环境光的频谱信息、光散射反射情况数据、光折射情况数据等等。
在一些实施例中，智能光学感测控制信号的获取可以由光传感器（或光学传感器）、环境光感测器、光学感测芯片或其他智能光感测系统来实现。例如，数字环境光感测器XD1477、Silicon Labs光学传感器Si1133/53等等。
在AR眼镜使用过程中，影响外部光源光害作用的最主要一个因素就是光照强度，光照强度过大会产生散射反射严重、刺眼、炫目等现象，光照强度过小则会导致光线灰暗、模糊等现象，从而导致AR眼镜显示模组显像清晰度差或显像亮度过大或不足等不理想状况，因此适应性地对光照强度调整就变得非常重要，以便达到护目操作目的。由于光照强度数据是影响光害的关键且主要数据指标，选取光照强度数据采集以及后续控制，能够在满足大多数AR眼镜护目操作场景应用的前提下，简化了操作流程，节约了成本，提高了操作效率。
步骤130，将主动干预控制信号和智能光学感测控制信号转换为相应智能控制指令。
智能控制指令是指根据前述获取的主动干预控制信号、智能光学感测控制信号生成的对应智能控制指令，可以用于触发AR眼镜的相应护目操作。
在一些实施例中，智能控制指令的生成可以由指令生成器、指令信号生成装置、信号转换器、单片机或其他现有技术中任何可能的方式或技术手段来实现，本申请实施例不对其特别限制。
在一些实施例中，如图2所示，步骤130可以进一步包括以下子步骤流程：
子步骤131，根据预设信号指令对应关系，确定主动干预控制信号、智能光学感测控制信号对应的智能控制指令类别；
子步骤132，将具有同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成该智能控制指令类别对应的智能控制指令。
智能控制指令类别可以根据所要触发的护目操作的内容进行设置或细化。例如，可以将指向光照强度调整这一护目操作的一个或多个控制指令（多个控制指令可能是由语音控制信号、手势控制信号和智能光学感测控制信号转换而来）设定为同属于光照强度调整指令类别，也可以将指向变色调整操作选项、亮度调整操作选项、透明度调整操作选项、偏光调整操作选项的一个或多个控制指令设定为同属于更细化的变色调整指令类别、亮度调整指令类别、透明度调整指令类别、偏光调整指令类别。
在一些实施例中，如果获取的每个主动干预控制信号或智能光学感测控制信号都分别属于各自一种智能控制指令类别，则分别直接生成相应智能控制指令。
步骤130这一过程可以由处理器来实现。在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行这一流程。
通过预设信号指令对应关系进行指令类别划分，并明确了对指向同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成相应智能控制指令，能够实现对存在重叠控制信号复杂状况的有效处理，并能保障信号指令转换的效率。
在一些实施例中，可以根据主动干预控制信号包含的语音控制信号、手势控制信号与智能光学感测控制信号的多种信号结合情况，创建不同结合信号与指令类别的映射关系表，以便应对同时存在多个控制信号情况的信号指令转换，保障工作效率。
在一些实施例中，可以将多种控制信号存在的结合信号识别并生成一种指向护目操作的指示信号，并将该指示信号转换为相应智能控制指令。在一些实施例中，可以利用深度学习技术结合语音识别、图像识别及光学感测识别进行结合信号的识别，以便高效、准确地识别复杂程度较高的结合信号，从而最终提高执行AR眼镜护目自动控制过程的工作效率。
步骤140，根据智能控制指令和预设护目自动控制程序触发相应护目操作，护目操作至少包括对AR眼镜进行光照强度调整。
预设护目自动控制程序可以是预先设置并存储的护目自动控制程序，程序内容可以根据实际需要进行相应设定，如指令执行顺序等。
在一些实施例中，步骤140可以实施为：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作。
在一些实施例中，步骤140可以实施为：
根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
在一些实施例中，步骤140可以实施为：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作；以及，根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
其中，镜片调整置换可以包括光照强度调整或现有技术中任何可能的其他护目操作，光学性能调整可以包括光照强度调整或其他任何可能的AR眼镜光学性能调整操作。
在一些实施例中，镜片置换调整可以包括置换不同颜色深浅、不同亮度或不同透明度的普通镜片、偏光镜片或其他能够起到护目作用的镜片。
在一些实施例中，光学性能调整可以包括根据预设程序对AR眼镜显示模组的显示屏进行显示屏颜色深浅、显示屏亮度、显示屏透明度、显示屏反射折射系数等等的调整。这一过程可以通过处理器或同时具有调节功能的智能光感测系统、光感测器或光传感器来实现。在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行这一流程。
通过镜片调整置换、光学性能调整的两种护目操作模式择一或组合设置，为多种可能型号的AR眼镜或多种使用场景，提供不同护目操作方案选择，满足多种需求，进一步优化了护目操作功能，提高了用户体验。
在一些实施例中，可以根据预创建的智能控制指令与护目操作的操作选项之间的映射关系生成护目自动控制程序。
根据实际需要创建相应护目自动控制程序，能够针对性地设置控制程序内容，满足用户需求。
在一些实施例中，护目操作的操作选项包括以下选项中的至少一种：变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项。例如，变色调整操作选项可以包括“变为白色”、“变为棕色”、“颜色变深”、“颜色变浅”或置换相应镜片等操作选项；亮度调整操作选项可以包括“变亮”、“变暗”或置换相应镜片等操作选项；透明度调整操作选项可以包括“透明度变大”、“透明度变小”、“透明度变为50%”、“透明度变为80%”或置换相应镜片等操作选项；偏光调整操作选项包括“散射过滤”、“反射过滤”、“调整反射系数”、“调整折射系数”或置换相应镜片等操作选项。
在一些实施例中，上述变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项可以作为光照强度调整目录选项的下一级操作选项。
在一些实施例中，除了光照强度调整目录选项，还可以包括增加护目背景等现有技术中任何可能的其他护目操作选项，这些护目操作选项各自又可以包含多个现有技术中任何可能的下一级操作选项。
通过设置包含变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项的可选操作选项，满足多种AR眼镜使用场景下的多重护目操作需求，进一步提高了用户体验。
图3是根据本申请一些实施例所示的AR眼镜护目自动控制装置200结构示例图。如图3所示，AR眼镜护目自动控制装置200包括第一获取模块210、第二获取模块220、控制指令生成模块230、护目操作触发模块240。
第一获取模块210，用于获取主动干预控制信号，主动干预控制信号包括语音控制信号和手势控制信号的至少一种，语音控制信号至少包括光照强度调整语音控制信号，手势控制信号至少包括光照强度调整手势控制信号。
语音控制信号和手势控制信号是AR眼镜用户通过发出相关语音和手势得到的控制信号。例如，语音控制信号可以包括光照强度调整语音控制信号和/或与护目操作目关联的其他内容类型语音控制信号，手势控制信号可以包括光照强度调整手势控制信号或与护目操作目关联的其他内容类型语音控制信号。再例如，语音控制信号的语音内容可以是“光照过强，请进行光照强度调整”等类似语音，手势控制信号可以设置与光照强度调整操作关联的特定手势，如“OK手势”或“晃动手势”等。
在一些实施例中，语音控制信号的获取可以由普通录音声卡、现有基于MATLAB的语音采集分析系统、基于DSP的实时语音采集处理系统等来实现。
在一些实施例中，手势控制信号可以由PAJ7620U2 Gesture Sensor 手势识别传感器、基于太赫兹雷达的精细动态手势识别系统、基于连续波多普勒雷达的手势信号识别系统、基于人体体表肌电信号的采集与手势识别系统等来实现。
第二获取模块220，用于获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据多个方向光线强度生成智能光学感测控制信号，其中，预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到预设入射预测模型。
在一些实施例中，第二获取模块220用于：
通过多个光传感器获取光传感数据，光传感数据用于补充视野图像的视野之外的光强信息；
通过运动传感器获取运动传感数据，运动传感数据用于捕捉人体头部运动方向信息；
通过置于AR眼镜的摄像头获取视野图像数据，视野图像数据用于提取当前视野下的光照强度数据。
通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型，并根据预测结果生成的智能光学感测控制信号有效性和可靠性更高，能够更智能地实时获取当前AR眼镜佩戴的光学调节控制信号，自动便利地进行AR眼镜显示屏的光照强度调整，满足用户佩戴时的光防护需求，提高用户体验。
在一些实施例中，预设入射预测模型的训练过程如下：
将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据的标签数据回调模型参数，不断训练直至得到所述预设入射预测模型。通过自训练的预设入射预测模型，适应性和可靠性更高，能够获取更准确的预测结果。
在一些实施例中，预设入射预测模型可以采用现有的BP神经网络、FCN神经网络或现有技术中任何可能的神经网络模型的待训练模型训练得到，本申请实施例不对其特别限制。
在一些实施例中，获取光线环境数据的自动生成装置可以设置于AR眼镜内，也可以设置于AR眼镜外的适当位置，并通过无线或有线通信实现数据实时传输。
在一些实施例中，智能光学感测控制信号是指根据环境光学感测操作获取的结果数据得到的控制信号，其中结果数据可以包括光照情况数据。在一些实施例中，光照强度情况数据可以是光照度、光照温度、辐射度、UV指数、环境光的频谱信息、光散射反射情况数据、光折射情况数据等等。
在一些实施例中，智能光学感测控制信号的获取可以由光传感器（或光学传感器）、环境光感测器、光学感测芯片或其他智能光感测系统来实现。例如，数字环境光感测器XD1477、Silicon Labs光学传感器Si1133/53等等。
在AR眼镜使用过程中，影响外部光源光害作用的最主要一个因素就是光照强度，光照强度过大会产生散射反射严重、刺眼、炫目等现象，光照强度过小则会导致光线灰暗、模糊等现象，从而导致AR眼镜显示模组显像清晰度差或显像亮度过大或不足等不理想状况，因此适应性地对光照强度调整就变得非常重要，以便达到护目操作目的。
由于光照强度数据是影响光害的关键且主要数据指标，仅选取光照强度数据采集以及后续控制，能够在满足大多数AR眼镜护目操作场景应用的前提下，简化了操作流程，节约了成本，提高了操作效率。
控制指令生成模块230，用于将主动干预控制信号和智能光学感测控制信号转换为相应智能控制指令。
智能控制指令是指根据前述获取的主动干预控制信号、智能光学感测控制信号生成的对应智能控制指令，可以用于触发AR眼镜的相应护目操作。
在一些实施例中，智能控制指令的生成可以由指令生成器、指令信号生成装置、信号转换器、单片机或其他现有技术中任何可能的方式或技术手段来实现，本申请实施例不对其特别限制。
在一些实施例中，回到图2，控制指令生成模块230可以用于执行以下子步骤流程：
子步骤131，根据预设信号指令对应关系，确定主动干预控制信号、智能光学感测控制信号对应的智能控制指令类别；
子步骤132，将具有同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成该智能控制指令类别对应的智能控制指令。
智能控制指令类别可以根据所要触发的护目操作的内容进行设置或细化。例如，可以将指向光照强度调整这一护目操作的一个或多个控制指令（多个控制指令可能是由语音控制信号、手势控制信号和智能光学感测控制信号转换而来）设定为同属于光照强度调整指令类别，也可以将指向变色调整操作选项、亮度调整操作选项、透明度调整操作选项、偏光调整操作选项的一个或多个控制指令设定为同属于更细化的变色调整指令类别、亮度调整指令类别、透明度调整指令类别、偏光调整指令类别。
在一些实施例中，如果获取的每个主动干预控制信号或智能光学感测控制信号都分别属于各自一种智能控制指令类别，则分别直接生成相应智能控制指令。
这一过程可以由处理器来实现。在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行这一流程。
通过预设信号指令对应关系进行指令类别划分，并明确了对指向同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成相应智能控制指令，能够实现对存在重叠控制信号复杂状况的有效处理，并能保障信号指令转换的效率。
在一些实施例中，可以根据主动干预控制信号包含的语音控制信号、手势控制信号与智能光学感测控制信号的多种信号结合情况，创建不同结合信号与指令类别的映射关系表，以便应对同时存在多个控制信号情况的信号指令转换，保障工作效率。
在一些实施例中，可以将多种控制信号存在的结合信号识别并生成一种指向护目操作的指示信号，并将该指示信号转换为相应智能控制指令。在一些实施例中，可以利用深度学习技术结合语音识别、图像识别及光学感测识别进行结合信号的识别，以便高效、准确地识别复杂程度较高的结合信号，从而最终提高执行AR眼镜护目自动控制过程的工作效率。
护目操作触发模块240，用于根据智能控制指令和预设护目自动控制程序触发相应护目操作，护目操作至少包括对AR眼镜进行光照强度调整。
预设护目自动控制程序可以是预先设置并存储的护目自动控制程序，程序内容可以根据实际需要进行相应设定，如指令执行顺序等。
在一些实施例中，护目操作触发模块240可以用于：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作。
在一些实施例中，护目操作触发模块240可以用于：
根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
在一些实施例中，护目操作触发模块240可以用于：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作；以及，根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
其中，镜片调整置换可以包括光照强度调整或现有技术中任何可能的其他护目操作，光学性能调整可以包括光照强度调整或其他任何可能的AR眼镜光学性能调整操作。
在一些实施例中，镜片置换调整可以包括置换不同颜色深浅、不同亮度或不同透明度的普通镜片、偏光镜片或其他能够起到护目作用的镜片。
在一些实施例中，光学性能调整可以包括根据预设程序对AR眼镜显示模组的显示屏进行显示屏颜色深浅、显示屏亮度、显示屏透明度、显示屏反射折射系数等等的调整。
通过镜片调整置换、光学性能调整的两种护目操作模式择一或组合设置，为多种可能型号的AR眼镜或多种使用场景，提供不同护目操作方案选择，满足多种需求，进一步优化了护目操作功能，提高了用户体验。
在一些实施例中，可以根据预创建的智能控制指令与护目操作的操作选项之间的映射关系生成护目自动控制程序。
根据实际需要创建相应护目自动控制程序，能够针对性地设置控制程序内容，满足用户需求。
在一些实施例中，护目操作的操作选项包括以下选项中的至少一种：变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项。例如，变色调整操作选项可以包括“变为白色”、“变为棕色”、“颜色变深”、“颜色变浅”或置换相应镜片等操作选项；亮度调整操作选项可以包括“变亮”、“变暗”或置换相应镜片等操作选项；透明度调整操作选项可以包括“透明度变大”、“透明度变小”、“透明度变为50%”、“透明度变为80%”或置换相应镜片等操作选项；偏光调整操作选项包括“散射过滤”、“反射过滤”、“调整反射系数”、“调整折射系数”或置换相应镜片等操作选项。
在一些实施例中，上述变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项可以作为光照强度调整目录选项的下一级操作选项。
在一些实施例中，除了光照强度调整目录选项，还可以包括增加护目背景等现有技术中任何可能的其他护目操作选项，这些护目操作选项各自又可以包含多个现有技术中任何可能的下一级操作选项。
通过设置包含变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项的可选操作选项，满足多种AR眼镜使用场景下的多重护目操作需求，进一步提高了用户体验。
图4是根据本申请一些实施例所示的AR眼镜护目自动控制系统300结构示例图。图5是根据本申请一些实施例所示的AR眼镜护目自动控制系统300实现的实物结构示例图。
如图4和图5所示，AR眼镜护目自动控制系统300包括AR眼镜模块310、非接触式智能感测系统320和护目操作控制系统330。AR眼镜模块310可以包括AR眼镜显示模组，AR眼镜显示模组可以进一步包括显示屏。
非接触式智能感测系统320用于：获取主动干预控制信号，主动干预控制信号包括语音控制信号和手势控制信号的至少一种，语音控制信号至少包括光照强度调整语音控制信号，手势控制信号至少包括光照强度调整手势控制信号；获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据多个方向光线强度生成智能光学感测控制信号，其中，预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到预设入射预测模型。
护目操作控制系统330用于：用于将主动干预控制信号和智能光学感测控制信号转换为相应智能控制指令；用于根据智能控制指令和预设护目自动控制程序触发相应护目操作，护目操作至少包括对AR眼镜进行光照强度调整。
语音控制信号和手势控制信号是AR眼镜用户通过发出相关语音和手势得到的控制信号。例如，语音控制信号可以包括光照强度调整语音控制信号和/或与护目操作目关联的其他内容类型语音控制信号，手势控制信号可以包括光照强度调整手势控制信号或与护目操作目关联的其他内容类型语音控制信号。再例如，语音控制信号的语音内容可以是“光照过强，请进行光照强度调整”等类似语音，手势控制信号可以设置与光照强度调整操作关联的特定手势，如“OK手势”或“晃动手势”等。
在一些实施例中，语音控制信号的获取可以由普通录音声卡、现有基于MATLAB的语音采集分析系统、基于DSP的实时语音采集处理系统等来实现。
在一些实施例中，手势控制信号可以由PAJ7620U2 Gesture Sensor 手势识别传感器、基于太赫兹雷达的精细动态手势识别系统、基于连续波多普勒雷达的手势信号识别系统、基于人体体表肌电信号的采集与手势识别系统等来实现。
非接触式智能感测系统320具体用于：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据多个方向光线强度生成智能光学感测控制信号，其中，预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到预设入射预测模型。
在一些实施例中，非接触式智能感测系统320具体用于：
通过多个光传感器获取光传感数据，光传感数据用于补充视野图像的视野之外的光强信息；
通过运动传感器获取运动传感数据，运动传感数据用于捕捉人体头部运动方向信息；
通过置于AR眼镜的摄像头获取视野图像数据，视野图像数据用于提取当前视野下的光照强度数据。
通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型，并根据预测结果生成的智能光学感测控制信号有效性和可靠性更高，能够更智能地实时获取当前AR眼镜佩戴的光学调节控制信号，自动便利地进行AR眼镜显示屏的光照强度调整，满足用户佩戴时的光防护需求，提高用户体验。
在一些实施例中，预设入射预测模型的训练过程如下：
将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据的标签数据回调模型参数，不断训练直至得到所述预设入射预测模型。通过自训练的预设入射预测模型，适应性和可靠性更高，能够获取更准确的预测结果。
在一些实施例中，预设入射预测模型可以采用现有的BP神经网络、FCN神经网络或现有技术中任何可能的神经网络模型的待训练模型训练得到，本申请实施例不对其特别限制。
在一些实施例中，获取光线环境数据的自动生成装置可以设置于AR眼镜内，也可以设置于AR眼镜外的适当位置，并通过无线或有线通信实现数据实时传输。
在一些实施例中，智能光学感测控制信号是指根据环境光学感测操作获取的结果数据得到的控制信号，其中结果数据可以包括光照情况数据。在一些实施例中，光照强度情况数据可以是光照度、光照温度、辐射度、UV指数、环境光的频谱信息、光散射反射情况数据、光折射情况数据等等。
在一些实施例中，智能光学感测控制信号的获取可以由光传感器（或光学传感器）、环境光感测器、光学感测芯片或其他智能光感测系统来实现。例如，数字环境光感测器XD1477、Silicon Labs光学传感器Si1133/53等等。
在AR眼镜使用过程中，影响外部光源光害作用的最主要一个因素就是光照强度，光照强度过大会产生散射反射严重、刺眼、炫目等现象，光照强度过小则会导致光线灰暗、模糊等现象，从而导致AR眼镜显示模组显像清晰度差或显像亮度过大或不足等不理想状况，因此适应性地对光照强度调整就变得非常重要，以便达到护目操作目的。由于光照强度数据是影响光害的关键且主要数据指标，选取光照强度数据采集以及后续控制，能够在满足大多数AR眼镜护目操作场景应用的前提下，简化了操作流程，节约了成本，提高了操作效率。
智能控制指令是指根据前述获取的主动干预控制信号、智能光学感测控制信号生成的对应智能控制指令，可以用于触发AR眼镜的相应护目操作。
在一些实施例中，智能控制指令的生成可以由指令生成器、指令信号生成装置、信号转换器、单片机或其他现有技术中任何可能的方式或技术手段来实现，本申请实施例不对其特别限制。
在一些实施例中，回到图2，护目操作控制系统330可以执行以下子步骤流程：
子步骤131，根据预设信号指令对应关系，确定主动干预控制信号、智能光学感测控制信号对应的智能控制指令类别；
子步骤132，将具有同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成该智能控制指令类别对应的智能控制指令。
智能控制指令类别可以根据所要触发的护目操作的内容进行设置或细化。例如，可以将指向光照强度调整这一护目操作的一个或多个控制指令（多个控制指令可能是由语音控制信号、手势控制信号和智能光学感测控制信号转换而来）设定为同属于光照强度调整指令类别，也可以将指向变色调整操作选项、亮度调整操作选项、透明度调整操作选项、偏光调整操作选项的一个或多个控制指令设定为同属于更细化的变色调整指令类别、亮度调整指令类别、透明度调整指令类别、偏光调整指令类别。
在一些实施例中，如果获取的每个主动干预控制信号或智能光学感测控制信号都分别属于各自一种智能控制指令类别，则分别直接生成相应智能控制指令。
这一过程可以由处理器来实现。在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行这一流程。
通过预设信号指令对应关系进行指令类别划分，并明确了对指向同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成相应智能控制指令，能够实现对存在重叠控制信号复杂状况的有效处理，并能保障信号指令转换的效率。
在一些实施例中，可以根据主动干预控制信号包含的语音控制信号、手势控制信号与智能光学感测控制信号的多种信号结合情况，创建不同结合信号与指令类别的映射关系表，以便应对同时存在多个控制信号情况的信号指令转换，保障工作效率。
在一些实施例中，可以将多种控制信号存在的结合信号识别并生成一种指向护目操作的指示信号，并将该指示信号转换为相应智能控制指令。在一些实施例中，可以利用深度学习技术结合语音识别、图像识别及光学感测识别进行结合信号的识别，以便高效、准确地识别复杂程度较高的结合信号，从而最终提高执行AR眼镜护目自动控制过程的工作效率。
预设护目自动控制程序可以是预先设置并存储的护目自动控制程序，程序内容可以根据实际需要进行相应设定，如指令执行顺序等。
在一些实施例中，护目操作控制系统330用于：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作。
在一些实施例中，护目操作控制系统330用于：
根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
在一些实施例中，护目操作控制系统330用于：
根据智能控制指令和预设护目自动控制程序触发传动系统进行AR眼镜的镜片调整置换的护目操作；以及，根据智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对AR眼镜进行光学性能调整的护目操作。
其中，镜片调整置换可以包括光照强度调整或现有技术中任何可能的其他护目操作，光学性能调整可以包括光照强度调整或其他任何可能的AR眼镜光学性能调整操作。
在一些实施例中，镜片置换调整可以包括置换不同颜色深浅、不同亮度或不同透明度的普通镜片、偏光镜片或其他能够起到护目作用的镜片。
在一些实施例中，光学性能调整可以包括根据预设程序对AR眼镜显示模组的显示屏进行显示屏颜色深浅、显示屏亮度、显示屏透明度、显示屏反射折射系数等等的调整。这一过程可以通过处理器或同时具有调节功能的智能光感测系统、光感测器或光传感器来实现。在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行这一流程。
通过镜片调整置换、光学性能调整的两种护目操作模式择一或组合设置，为多种可能型号的AR眼镜或多种使用场景，提供不同护目操作方案选择，满足多种需求，进一步优化了护目操作功能，提高了用户体验。
在一些实施例中，可以根据预创建的智能控制指令与护目操作的操作选项之间的映射关系生成护目自动控制程序。
根据实际需要创建相应护目自动控制程序，能够针对性地设置控制程序内容，满足用户需求。
在一些实施例中，护目操作的操作选项包括以下选项中的至少一种：变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项。例如，变色调整操作选项可以包括“变为白色”、“变为棕色”、“颜色变深”、“颜色变浅”或置换相应镜片等操作选项；亮度调整操作选项可以包括“变亮”、“变暗”或置换相应镜片等操作选项；透明度调整操作选项可以包括“透明度变大”、“透明度变小”、“透明度变为50%”、“透明度变为80%”或置换相应镜片等操作选项；偏光调整操作选项包括“散射过滤”、“反射过滤”、“调整反射系数”、“调整折射系数”或置换相应镜片等操作选项。
在一些实施例中，上述变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项可以作为光照强度调整目录选项的下一级操作选项。
在一些实施例中，除了光照强度调整目录选项，还可以包括增加护目背景等现有技术中任何可能的其他护目操作选项，这些护目操作选项各自又可以包含多个现有技术中任何可能的下一级操作选项。
通过设置包含变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项的可选操作选项，满足多种AR眼镜使用场景下的多重护目操作需求，进一步提高了用户体验。
本申请的另外一些实施例还提供了一种AR眼镜护目自动控制设备，包括处理器，处理器用于执行上述实施例任意一种方案所述的AR眼镜护目自动控制方法，具体流程详见前述实施例，在此不再赘述。
在一些实施例中，处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。在一些实施例中，处理器可以包括多个功能模块来执行步骤流程。
在一些实施例中，AR眼镜护目自动控制设备还包括存储器，存储器可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形（即，非暂时性）计算机可读介质，包括但不限于ROM、闪存、动态RAM、静态RAM。
本申请实施例提供的AR眼镜护目自动控制方法及装置，通过结合光传感数据、运动传感数据和视野图像数据的智能光学多维度数据以及深度学习模型获取的智能感测光学感测控制信号、包括语音控制信号和/或手势控制信号的主动干预控制信号等非接触式控制信号，智能高效地获取能够指示AR眼镜进行相应护目操作调节的控制指令，自动控制AR眼镜进行多种适应性的护目操作，以在外部光学环境发生变化需要主动进行护目调节或根据用户发出其他非接触式控制指令时，实时地进行AR眼镜的智能护目操作，改变了传统需要手动调整的技术现状，不仅解放了用户双手，增强了调节灵活性，使得AR眼镜的护目操作效率得到很大提高，无论是根据用户发出的非接触控制指令执行主动干预控制还是根据智能感测光学条件进行调节，均实现了智能又便利地对AR眼镜进行护目操作，极大地提高了用户体验。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件（当前或之后附加于本申请中的）也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (8)

1.一种AR眼镜护目自动控制方法，其特征在于，包括：
获取主动干预控制信号，所述主动干预控制信号包括语音控制信号和手势控制信号的至少一种，所述语音控制信号至少包括光照强度调整语音控制信号，所述手势控制信号至少包括光照强度调整手势控制信号；
获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据所述多个方向光线强度生成所述智能光学感测控制信号，其中，所述预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到所述预设入射预测模型，所述预设入射预测模型的训练过程如下：将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据作为标签数据回调模型参数，不断训练直至得到所述预设入射预测模型，所述预设入射预测模型为深度学习模型；将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令；
根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，所述护目操作至少包括对所述AR眼镜进行光照强度调整和光学性能调整操作，所述光学性能调整操作包括显示屏颜色深浅、显示屏亮度、显示屏透明度、显示屏反射折射系数调整。
2.根据权利要求1所述的方法，其特征在于，获取智能光学感测控制信号，包括：
通过多个光传感器获取所述光传感数据，所述光传感数据用于补充视野图像的视野之外的光强信息；
通过运动传感器获取所述运动传感数据，所述运动传感数据用于捕捉人体头部运动方向信息；
通过置于所述AR眼镜的摄像头获取所述视野图像数据，所述视野图像数据用于提取当前视野下的光照强度数据。
3.根据权利要求1所述的AR眼镜护目自动控制方法，其特征在于，将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令，包括：
根据预设信号指令对应关系，确定所述主动干预控制信号、所述智能光学感测控制信号对应的智能控制指令类别；
将具有同一智能控制指令类别的主动干预控制信号、智能光学感测控制信号一次性生成该智能控制指令类别对应的智能控制指令。
4.根据权利要求1所述的AR眼镜护目自动控制方法，其特征在于，根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，包括：
根据所述智能控制指令和预设护目自动控制程序触发传动系统进行所述AR眼镜的镜片调整置换的护目操作；和/或，
根据所述智能控制指令和预设护目自动控制程序触发预设智能光学感测算法对所述AR眼镜进行光学性能调整的护目操作，
其中，所述镜片调整置换至少包括所述光照强度调整，所述光学性能调整至少包括所述光照强度调整。
5.根据权利要求4所述的AR眼镜护目自动控制方法，其特征在于，根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，包括：
根据预创建的所述智能控制指令与所述护目操作的操作选项之间的映射关系生成所述护目自动控制程序。
6.根据权利要求5所述的AR眼镜护目自动控制方法，其特征在于，所述护目操作的操作选项包括以下选项中的至少一种：变色调整操作选项、亮度调整操作选项、透明度调整操作选项和偏光调整操作选项。
7.一种AR眼镜护目自动控制装置，其特征在于，包括：
第一获取模块，用于获取主动干预控制信号，所述主动干预控制信号包括语音控制信号和手势控制信号的至少一种，所述语音控制信号至少包括光照强度调整语音控制信号，所述手势控制信号至少包括光照强度调整手势控制信号；
第二获取模块，用于获取智能光学感测控制信号，具体包括：将光传感数据、运动传感数据和视野图像数据，输入预设入射预测模型进行预测，得到延时后的多个方向光线强度，根据所述多个方向光线强度生成所述智能光学感测控制信号，其中，所述预设入射预测模型通过以下方式训练得到：由自动生成装置生成的光线环境数据作为训练数据，以置于AR眼镜内部光线接收装置检测的光线强度数据作为标签数据，训练得到所述预设入射预测模型，所述预设入射预测模型的训练过程如下：将所述光线环境数据的训练数据输入待训练模型进行训练，输出训练结果，利用所述光线强度数据作为标签数据回调模型参数，不断训练直至得到所述预设入射预测模型，所述预设入射预测模型为深度学习模型；
控制指令生成模块，用于将所述主动干预控制信号和所述智能光学感测控制信号转换为相应智能控制指令；
护目操作触发模块，用于根据所述智能控制指令和预设护目自动控制程序触发相应护目操作，所述护目操作至少包括对AR眼镜进行光照强度调整和光学性能调整操作，所述光学性能调整操作包括显示屏颜色深浅、显示屏亮度、显示屏透明度、显示屏反射折射系数调整。
8.根据权利要求7所述的装置，其特征在于，所述第二获取模块用于：
通过多个光传感器获取所述光传感数据，所述光传感数据用于补充视野图像的视野之外的光强信息；
通过运动传感器获取所述运动传感数据，所述运动传感数据用于捕捉人体头部运动方向信息；
通过置于所述AR眼镜的摄像头获取所述视野图像数据，所述视野图像数据用于提取当前视野下的光照强度数据。
CN202011400435.7A 2020-12-04 2020-12-04 一种ar眼镜护目自动控制方法及装置 Active CN112198965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400435.7A CN112198965B (zh) 2020-12-04 2020-12-04 一种ar眼镜护目自动控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400435.7A CN112198965B (zh) 2020-12-04 2020-12-04 一种ar眼镜护目自动控制方法及装置

Publications (2)

Publication Number Publication Date
CN112198965A CN112198965A (zh) 2021-01-08
CN112198965B true CN112198965B (zh) 2021-03-09

Family

ID=74033839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400435.7A Active CN112198965B (zh) 2020-12-04 2020-12-04 一种ar眼镜护目自动控制方法及装置

Country Status (1)

Country Link
CN (1) CN112198965B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505929B (zh) * 2021-02-03 2021-07-23 宁波圻亿科技有限公司 一种光学显像系统
CN113052561A (zh) * 2021-04-01 2021-06-29 苏州惟信易量智能科技有限公司 一种基于可穿戴设备的流程控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107623803A (zh) * 2016-07-15 2018-01-23 李海锋 一种带光流定位功能的增强现实的实现方法和设备
CN109624666A (zh) * 2018-12-26 2019-04-16 侯力宇 一种汽车智能防炫目方法及系统
CN110727109A (zh) * 2019-10-18 2020-01-24 蒂姆维澳(上海)网络技术有限公司 Ar眼镜及其控制方法
CN111492298A (zh) * 2017-12-04 2020-08-04 三星电子株式会社 可配置用于各种移动装置尺寸的hmd的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107623803A (zh) * 2016-07-15 2018-01-23 李海锋 一种带光流定位功能的增强现实的实现方法和设备
CN111492298A (zh) * 2017-12-04 2020-08-04 三星电子株式会社 可配置用于各种移动装置尺寸的hmd的系统和方法
CN109624666A (zh) * 2018-12-26 2019-04-16 侯力宇 一种汽车智能防炫目方法及系统
CN110727109A (zh) * 2019-10-18 2020-01-24 蒂姆维澳(上海)网络技术有限公司 Ar眼镜及其控制方法

Also Published As

Publication number Publication date
CN112198965A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112198965B (zh) 一种ar眼镜护目自动控制方法及装置
CN105718043B (zh) 用于控制电子装置的方法和设备
CN105575366B (zh) 切换背光调节速度的方法及系统
CN105279494A (zh) 可调节用户情绪的人机交互系统、方法及设备
EP3210202B1 (en) Illumination perception augmentation method, computer program products, head-mountable computing device and lighting system
US20190102905A1 (en) Head pose estimation from local eye region
CN104769644A (zh) 利用可变场照明设备的对象检测和跟踪
CN107589832A (zh) 一种基于光电感应的隔空手势识别方法及其控制装置
CN101907923B (zh) 信息提取方法、装置及系统
CN104133548A (zh) 确定视点区域及控制屏幕亮度的方法及装置
US20170293349A1 (en) Lighting system control method, computer program product, wearable computing device and lighting system kit
CN105679253B (zh) 一种终端背光调节方法及装置
JP2017531288A (ja) 活動に適した照明を決定する方法
CN106650712A (zh) 虹膜识别系统
CN114236834A (zh) 头戴显示设备的屏幕亮度调整方法、装置及头戴显示设备
CN111984124A (zh) 一种舞台灯光控台的操作方法、介质及舞台灯光控台
US11823433B1 (en) Shadow removal for local feature detector and descriptor learning using a camera sensor sensitivity model
KR102333500B1 (ko) 곡물 인식 방법, 장치 및 컴퓨터 판독 가능 저장 매체
KR20220067964A (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
KR102173608B1 (ko) 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
KR101767220B1 (ko) 스마트 글래스를 이용하는 손 제스처 명령 처리 시스템 및 방법
CN104731324B (zh) 一种基于hog+svm框架的手势内平面旋转检测模型生成方法
US20140375682A1 (en) Interactive control over augmented reality content
CN107340962A (zh) 基于虚拟现实设备的输入方法、装置及虚拟现实设备
CN206610310U (zh) 虹膜识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231207

Address after: No. 582 Xiangyang South Road, Xuhui District, Shanghai, 200030

Patentee after: Shanghai Medical Innovation and Development Foundation

Address before: No. 655, Wenshui Road, Shounan street, Yinzhou District, Ningbo City, Zhejiang Province

Patentee before: Ningbo Qiyi Technology Co.,Ltd.

TR01 Transfer of patent right