CN110244839B - 控制方法、电子设备和存储介质 - Google Patents
控制方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110244839B CN110244839B CN201910420061.6A CN201910420061A CN110244839B CN 110244839 B CN110244839 B CN 110244839B CN 201910420061 A CN201910420061 A CN 201910420061A CN 110244839 B CN110244839 B CN 110244839B
- Authority
- CN
- China
- Prior art keywords
- area
- determining
- control
- plane
- interactive control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 119
- 230000003993 interaction Effects 0.000 claims abstract description 63
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 210000004556 brain Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种控制方法、电子设备和存储介质，其中，所述方法包括：获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；确定聚焦区域和交互控件的位置区域之间的重合区域；根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
Description
技术领域
本申请涉及控制技术，具体涉及一种控制方法、电子设备和存储介质。
背景技术
在虚拟(VR)和增强现实(AR)设备呈现的立体画面中，通常显示有交互控件，操作者可通过对交互控件的手动操作如点击、旋转、按压等指令，实现对立体画面的操作如立体画面的切换。相关技术中，采用体感技术或语音识别技术来实现对立体画面的操作，无需手动操作，虽然其带来了解放用户双手的优点。但是，对体感动作的分析和/或对输入的语音指令的识别需要特定的功能芯片来实现，增加了生产成本。此外，分析体感动作以及识别语音指令均需要一定的时间，无法做到快速、及时的响应。如何解放双手、无需人工参与实现指令的输入和指令的及时响应成为了亟待解决的技术问题。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种控制方法、电子设备和存储介质，至少能够实现对双手的解放、无需人工参与，即可实现指令的输入和快速、及时的响应。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种控制方法，应用于电子设备，所述方法包括：
获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
确定聚焦区域和交互控件的位置区域之间的重合区域；
根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
上述方案中，所述方法还包括：
获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
所述根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件，包括：
根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件。
上述方案中，所述根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件，包括：
当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
上述方案中，所述确定在至少一个平面画面上的聚焦区域，包括：
确定所述平面画面相对于所述电子设备的距离参数；
获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；
所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
上述方案中，所述操控信息包括以下至少一种：
所述用户观看交互控件时的脑电波数据、生理部位的动作参数或音频输入数据。
本发明实施例提供一种电子设备，包括：
第一获取单元，用于获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
第一确定单元，用于确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
第二确定单元，用于确定聚焦区域和交互控件的位置区域之间的重合区域；
第三确定单元，用于根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
执行单元，用于执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
上述方案中，所述电子设备还包括：
第二获取单元，用于获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
相应的，
所述第三确定单元，用于根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件。
上述方案中，
所述第三确定单元，用于当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
上述方案中，
所述第一确定单元，用于：
确定所述平面画面相对于所述电子设备的距离参数；
获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；
所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
本发明实施例提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述的控制方法。
本发明实施例的控制方法、电子设备和存储介质，其中，所述方法包括：获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；确定聚焦区域和交互控件的位置区域之间的重合区域；根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
本发明实施例中，根据聚焦区域和交互控件的位置区域之间的重合区域是否满足第一预定条件的结果，从立体画面呈现的至少一个交互控件中确定出目标交互控件并执行所确定出的目标交互控件的功能，为一种无需用户的手动参与即可实现期望操作的方案。确定出目标交互控件即执行该目标交互控件的功能，能够对指令执行快速、及时的响应。可大大提升用户的使用体验，突显电子设备的功能多样性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的控制方法的第一实施例的实现流程示意图；
图2为本申请提供的控制方法的第二实施例的实现流程示意图；
图3(a)、(b)为本申请提供的应用场景示意图；
图4为本申请提供的电子设备的组成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请以下各实施例的技术方案应用于能够呈现出立体画面的电子设备中，例如，可以是AR设备、VR设备、3D(三维)智能眼镜、3D投影设备、全息投影设备等。还可以是与3D投影设备进行通信的终端设备，如智能手机、智能电脑等。对此本文不做具体限定。其中，当本实施例的技术方案应用于与3D投影设备进行通信的终端设备时，3D投影设备可以仅作为一个投影设备进行立体画面的呈现，对于本文涉及的实施例中的处理过程均由终端设备来实现。优选的，本申请实施例的电子设备中可以为AR设备或VR设备。
本申请提供的控制方法的第一实施例，应用于电子设备，如图1所示，所述方法包括：
步骤101：获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
本步骤中，在电子设备呈现的立体画面中，可显示有至少一个交互控件，该交互控件为能够供用户操作的控件、如按键。立体画面通常由至少两个距离电子设备不同距离的平面画面而构成。所述至少一个交互控件可显示在至少一个平面画面上且同一交互控件显示在同一平面画面上。
步骤102：确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
本步骤中，确定用户的目光在平面画面上的停留区(聚焦区域)。
步骤103：确定聚焦区域和交互控件的位置区域之间的重合区域；
本步骤中，确定交互控件的位置区域和聚焦区域之间的重合区域。
步骤104：根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
本步骤中，根据交互控件的位置区域和聚焦区域之间的重合区域是否满足第一预定条件，在立体画面呈现的至少一个交互控件中确定至少一个目标交互控件。可以理解，本申请实施例中的目标交互控件为用户期望控制或操作的控件。
步骤105：执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
本步骤中，电子设备执行目标交互控件的功能使得立体画面呈现的至少一个平面画面中的部分画面发生变化，如至少任意一个平面中的部分画面发生变化、至少任意一个平面画面发生变化、或者电子设备呈现的立体画面整体发生变化。
执行步骤101～105的实体为电子设备。
前述方案中，根据聚焦区域和交互控件的位置区域之间的重合区域是否满足第一预定条件的结果，从立体画面呈现的至少一个交互控件中确定出目标交互控件并执行所确定出的目标交互控件的功能，为一种无需用户参与，通过用户的目光即可确定哪个交互控件为用户期望控制或操作的控件的技术方案，相当于相关技术中通过手动操作实现指令的输入方案来说，该方案为一种基于用户的目光确定目标交互控件并执行期望操作的方案，无需用户的手动参与即可实现期望操作。确定出目标交互控件即执行该目标交互控件的功能，能够对指令执行快速、及时的响应。可大大提升用户的使用体验，突显电子设备的功能多样性。
在一个可选的实施例中，步骤104：所述根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件，包括：
当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。当确定用户的目光聚焦区域和交互控件的位置区域之间存在重合且重合区域大于预定重合阈值如至少大于交互控件所处的区域面积的70％，则确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。这种基于目光聚焦区域和交互控件的位置区域之间的重合区域的大小确定目标交互控件的方案，至少在无需手动操作的情况下，从至少一个交互控件中实现对目标交互控件的选择与操作，可有效解放用户的双手，提高用户的使用体验。其中，预定的重合阈值可以为任何合理的取值，如平面画面面积的10％、交互控件的位置区域的面积的30％等，对此本文不做一一限定。
在一个可选的实施例中，步骤102：所述确定在至少一个平面画面上的聚焦区域，包括：
确定所述平面画面相对于所述电子设备的距离参数；获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
这里，预先计算立体画面中的各个平面画面与电子设备之间的距离参数、以及计算用户的目光在立体画面中的各个平面画面上的停留区(由位置参量来表示)，将用户的目光停留在某个平面画面上的停留位置与该平面画面与电子设备之间的距离参数进行对应记录，形成对应关系。需要时从对应关系中查找与用户观看的平面画面和电子设备之间的距离对应的位置参量，将用户观看的平面画面上取值为该位置参量的区域作为用户的目光在该平面画面上的聚焦区域。以上方案为电子设备获知用户的目光停留在哪个平面画面的方案，这种获知方式可更加准确地辅助判断通过用户的目光所期望操作的交互控件是哪个交互控件。
本申请提供的控制方法的第二实施例，应用于电子设备，如图2所示，所述方法包括：
步骤201：获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
本步骤中，在电子设备呈现的立体画面中，可显示有至少一个交互控件，该交互控件为能够供用户操作的控件、如按键。立体画面通常由至少两个距离电子设备不同距离的平面画面而构成。所述至少一个交互控件可显示在至少一个平面画面上且同一交互控件显示在同一平面画面上。
步骤202：确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
本步骤中，确定用户的目光在平面画面上的停留区(聚焦区域)。
步骤203：确定聚焦区域和交互控件的位置区域之间的重合区域；
本步骤中，确定交互控件的位置区域和聚焦区域之间的重合区域。
步骤204：获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
本步骤中，获取用户观看至少一个交互控件时产生的生理参数。所述操控信息包括以下至少一种：用户观看交互控件时的脑电波数据、生理部位的动作参数或音频输入数据。其中，生理部位的动作参数可以指的是用户的手部的动作如手势操作，或身体的动作如体感操作。音频输入数据为用户输入的语音指令。
本方案中为实现用户的无参数操作，优选的操作信息为用户观看交互控件时的脑电波数据。
需要说明的是，步骤204和步骤202、203无严格的先后顺序，还可以同时进行。
步骤205：根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件；
本步骤中，根据交互控件的位置区域和聚焦区域之间的重合区域是否满足第一预定条件和用户观看至少一个交互控件时产生的生理参数，确定目标交互控件；
步骤206：执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
本步骤中，电子设备执行目标交互控件的功能使得立体画面呈现的至少一个平面画面中的部分画面发生变化，如至少任意一个平面中的部分画面发生变化、至少任意一个平面画面发生变化、或者电子设备呈现的立体画面整体发生变化。
执行步骤201～206的实体为电子设备。
前述方案中，根据聚焦区域和交互控件的位置区域之间的重合区域是否满足第一预定条件的结果以及用户观看至少一个交互控件时产生的生理参数，从立体画面呈现的至少一个交互控件中确定出目标交互控件并执行所确定出的目标交互控件的功能，为一种无需用户参与，通过用户的目光以及用户的生理参数即可确定哪个交互控件为用户期望控制或操作的控件的技术方案，相当于相关技术中通过手动操作实现指令的输入方案来说，该方案为一种基于用户的目光以及用户的生理参数确定目标交互控件并执行期望操作的方案，无需用户的手动参与即可实现期望操作。确定出目标交互控件即执行该目标交互控件的功能，能够对指令执行快速、及时的响应。可大大提升用户的使用体验，突显电子设备的功能多样性。
在一个可选的实施例中，所述步骤205：根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件，包括：
当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值，且所述用户观看交互控件时的脑电波数据满足第一预定条件、生理部位的动作参数满足第二预定条件、和/或音频输入数据满足第三预定条件时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
当确定用户的目光聚焦区域和交互控件的位置区域之间存在重合且重合区域大于预定重合阈值如至少大于交互控件的位置区域的面积的70％，且用户观看该交互控件时的脑电波数据如脑电波频率升高幅度较大、用户观看该交互控件时的产生手动操作和/或体感操作，和/或用户观看该交互控件时产生针对该交互控件的语音输入指令，则确定此时用户观看的交互控件为目标交互控件。这种根据重合区域和用户观看交互控件时产生的生理参数确定用户期望操作的交互控件的方案，至少在无需手动操作的情况下，从至少一个交互控件中实现对目标交互控件的选择与操作，可有效解放用户的双手，提高用户的使用体验。
下面结合图3(a)、(b)所示的内容对本申请实施例的技术方案做详细说明。
以电子设备为AR眼镜为例，本领域技术人员应该而知，AR技术是一种真实世界信息和虚拟世界信息集成的技术，是把原本在现实世界一定时间、空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过模拟仿真、叠加等一系列操作，将虚拟的信息映射到真实世界，被人类感官所感知，从而达到超越现实的感官体验。AR设备是一种将真实的环境和虚拟的物体叠加到一个立体画面并通过立体画面而呈现的设备。
以图3(a)所示建立XTZ坐标系为例，在AR呈现的立体画面中，用户观看的立体画面始终呈现在用户脸部的正前方，自然地，用户的目光将会停留在用户脸部正前方的立体画面中。此外，考虑到AR眼镜的所呈现的立体画面通常距离AR眼镜(用户)具有一定的距离(推荐距离)，例如Hololens眼镜的立体画面在距离用户1.25-5米(m)的位置处、也即沿着Z轴距离圆心为1.25-5米的位置处显示，最佳显示距离2m。用户的目光将会停留在沿着Z轴、距离圆心为1.25-5米的任意位置处。本方案中，沿着Z轴，预先对呈现在推荐距离内的立体画面进行切分，如以0.1m的间距对立体画面进行切分，得到至少两个平面画面，如Z1平面画、Z2平面画面和Z3平面画面。在Z轴方向上，相邻两个平面画面之间的间距为相等如等于0.1m。AR眼镜分别测量自身到Z1、Z2、Z3三个平面的距离参数，如到Z1平面的距离参数为Z1、到Z2平面的距离参数为Z2，到Z3平面的距离参数为Z3。在Z1、Z2、Z3平面的坐标系中，可将三个平面的中心区域(S1、S2、S3)作为目光在对应平面的停留区(目光聚集区域)。AR眼镜将测量的自身到三个平面的距离参数与目光停留在三个平面上的目光聚集区域进行对应记录，形成对应关系以便后续使用。其中，为方便理解，以中心区域S1为例，S1可以通过平面坐标X1Y1来表示。
本方案中假如有三个交互控件，如按键A、B、C，这些交互控件在AR设备呈现的立体画面中的位置区域(空间位置)为不变。例如，在如图3(a)所示的用户头部直视正前方时，三个交互控件在立体画面中的呈现的位置区域(空间位置)如图3(a)所示。在用户的头部转动a角度的情况下，如图3(b)所示，从图3(a)所示的Z变成了Z’，三个交互控件的空间位置并未发生变化，变化的是呈现在用户眼前的Z1平面画面、Z2平面画面和Z3平面画面上的显示内容。
以图3(a)为例，假定按键A位于Z1平面中、按键B位于Z2平面中、按键C位于Z3平面中。根据结构光和/或双目视觉原理实现对用户的目光的跟踪，确定用户观看哪个平面如当前观看的平面为Z1平面。其中具体的跟踪过程可参见现有相关说明。测量所观看的平面如Z1平面到自身的距离参数如距离参数为Z1。依据预先记录的对应关系，查找与用户观看的平面如Z1平面和AR眼镜之间的距离对应的位置参量如X1Y1，将用户观看的平面画面如Z1平面上取值为X1Y1的区域作为用户观看Z平面时的目光聚集区域。AR眼镜计算按键A、B、C在图3(a)所示的立体画面中的位置区域，随着用户的目光移动，用户观看Z1平面时的目光聚集区域可能发生与按键A的位置区域重合，也可能不发生重合。如果用户期望对按键A进行操作，用户的目光将会向着靠近按键A的位置区域移动，则会将发生二个区域的重合。当AR眼镜判断为用户观看Z1平面时的目光聚集区域与按键A的位置区域存在重合且重合区域大于按键A所处区域面积的70％时，确定按键A为用户期望操作的按键(目标交互控件)。相当于通过用户的目光对按键A进行了选取，并执行按键A的功能，至少使得Z1平面的部分画面发生变化、或者当前呈现的立体画面中的部分平面画面发生变化。
此外，在通过用户的目光进行目标按键的选取时，还可以通过如下方式进行：通过对重合区域和用户观看目标按键时的脑电波数据进行目标按键的确定。具体的，在AR眼镜判断为用户观看Z1平面时的目光聚集区域与按键A的位置区域存在重合且重合区域大于按键A所处区域面积的70％、且此时用户的脑电波数据、具体是β脑电波的频率明显升高时，AR眼镜确定按键A为用户期望选取的按键，执行按键A的功能。如果β脑电波的频率无明显升高时，则AR眼镜确定按键A不是用户期望选取的按键。AR眼镜跟踪用户的目光，按照如上所述的技术方案确定用户目光停留在Z2平面上时按键B是否为用户期望选择的按键。这种通过对重合区域和用户观看目标按键时的脑电波数据进行目标按键确定的方案，无需手动选择目标按键，即可实现用户指令的输入以及对指令的快速、及时的响应，可大大解放双手，实现真正的无用户参与的指令输入。其中，基于脑电波数据确定用户的意图如确定按键A是否为用户期望选择的按键的实现过程可参见相关脑接口技术。
本领域技术人员应该可以理解，A、B、C三个交互控件可以是AR眼镜所处真实环境中的按键，也可以是AR眼镜虚拟出的按键。此外，可以理解，本方案中的按键的位置区域以及目光聚集区域可以是一个区域、也可以是一个具体的坐标点，对此不做具体限定。为实现目光聚集区域的确定准确性，目光聚焦区域优选为一个区域，以Z1平面的中心坐标点X1Y1为例，用户的目光在Z1平面上的聚焦区域可以是以坐标点X1Y1为圆心、以预定半径r如r＝0.05m画一个圆形得到S1，该圆形覆盖在Z1平面上的区域即为用户的目光在Z1平面上的聚焦区域。可以理解，不同平面上的S对应的半径可以相同、也可以不同，视具体情况而定。不同平面上的S对应的半径还可以与在对应平面上的按键区域的大小有关，按键区域的大小越大该按键区域所在平面的目光聚焦区域的r越大。
本申请实施例的一个具体应用实例可以是：维修场景：针对AR眼镜呈现出的一维修操作画面(立体画面或为立体画面中的一平面画面)，用户按照该维修操作画面上的指示进行操作，操作完成后，希望AR眼镜能够自动从该维修操作画面切换到下一维修操作画面。即应用如上的方案，用户仅需将目光停留在能够执行操作画面切换功能的按键如按键A上即可实现对AR眼镜呈现的画面的切换使得无需人工操作、AR眼镜即能够自动呈现出用户期望的画面。解放了用户的双手，大大提升了用户的体验。在此应用实例中，AR眼镜的推荐距离需与用户的手臂的长度有关，如推荐距离小于等于手臂的长度，以方便用户一边按照操作画面的提示一边进行维修。
本申请实施例的另一个具体应用实例可以是：阅读场景：针对AR眼镜呈现出的一阅读画面(立体画面或为立体画面中的一平面画面)，用户阅读该阅读画面中的内容，阅读完成后，希望AR眼镜能够自动从该画面切换到下一画面，以阅读下一页内容。即应用如上的方案，用户仅需将目光停留在能够执行操作画面切换功能的按键如按键A上即可实现对AR眼镜呈现的画面的切换使得无需人工切换画面、AR眼镜即能够自动呈现出用户期望的画面。解放了用户的双手，大大提升了用户的体验。
本申请还提供一种电子设备的实施例，如图4所示，所述电子设备包括：第一获取单元41、第一确定单元42、第二确定单元43、第三确定单元44和执行单元45；其中，
第一获取单元41，用于获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
第一确定单元42，用于确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
第二确定单元43，用于确定聚焦区域和交互控件的位置区域之间的重合区域；
第三确定单元44，用于根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
执行单元45，用于执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面发生变化。
在一个可选的实施例中，所述电子设备还包括：
第二获取单元，用于获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
相应的，
所述第三确定单元44，用于根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件。
在一个可选的实施例中，
所述第三确定单元44，用于当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
在一个可选的实施例中，所述第一确定单元42，用于：
确定所述平面画面相对于所述电子设备的距离参数；
获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；
所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
在一个可选的实施例中，所述操控信息包括以下至少一种：
所述用户观看交互控件时的脑电波数据、生理部位的动作参数或音频输入数据。
需要说明的是，本申请实施例的电子设备，由于该电子设备解决问题的原理与前述的控制方法相似，因此，电子设备的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述实施例一(步骤101～105)和/或实施例二(步骤201～206的控制方法。
所述计算机程序被执行时还至少执行前述的控制方法的其它步骤如实施例一和/或二的可选方案中的步骤。
需要说明的是，本申请实施例的存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read OnlyMemory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，Ferromagnetic Random Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种控制方法，应用于电子设备，其特征在于，所述方法包括：
获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
基于各个平面画面与所述电子设备之间的距离参数和所述距离参数对应的位置参量确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
确定聚焦区域和交互控件的位置区域之间的重合区域；
根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面上的显示内容发生变化。
2.根据权利要求1所述的方法，所述方法还包括：
获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
所述根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件，包括：
根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件。
3.根据权利要求1所述的方法，所述根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件，包括：
当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
4.根据权利要求1至3任一项所述的方法，所述确定在至少一个平面画面上的聚焦区域，包括：
确定所述平面画面相对于所述电子设备的距离参数；
获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；
所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
5.根据权利要求2所述的方法，所述操控信息包括以下至少一种：
所述用户观看交互控件时的脑电波数据、生理部位的动作参数或音频输入数据。
6.一种电子设备，其特征在于，包括：
第一获取单元，用于获取至少一个交互控件在电子设备所呈现的立体画面中的位置区域，所述立体画面包括至少两个平面画面，所述交互控件位于一个平面画面上；
第一确定单元，用于基于各个平面画面与所述电子设备之间的距离参数和所述距离参数对应的位置参量确定在至少一个平面画面上的聚焦区域，所述聚焦区域为所述电子设备的用户的目光聚集区；
第二确定单元，用于确定聚焦区域和交互控件的位置区域之间的重合区域；
第三确定单元，用于根据所述重合区域是否满足第一预定条件，确定所述交互控件中的至少一个为目标交互控件；
执行单元，用于执行所述目标交互控件的功能，所述执行目标交互控件的功能包括使得所述至少一个平面画面中的部分画面的显示内容发生变化。
7.根据权利要求6所述的电子设备，所述电子设备还包括：
第二获取单元，用于获取操控信息，所述操控信息由所述用户在观看所述至少一个交互控件时产生的生理参数而确定；
相应的，
所述第三确定单元，用于根据所述重合区域是否满足第一预定条件和操控信息，确定目标交互控件。
8.根据权利要求6所述的电子设备，
所述第三确定单元，用于当确定聚焦区域和交互控件的位置区域的重合区域大于预定重合阈值时，确定与聚焦区域存在重合且重合区域大于预定重合阈值的交互控件为目标交互控件。
9.根据权利要求6至8任一项所述的电子设备，
所述第一确定单元，用于：
确定所述平面画面相对于所述电子设备的距离参数；
获取与所述距离参数对应的位置参量，所述位置参量由平面坐标系下的参量来表征；
所述平面画面上取值为所述位置参量的区域为所述聚焦区域。
10.一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述权利要求1～5任一项所述的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420061.6A CN110244839B (zh) | 2019-05-20 | 2019-05-20 | 控制方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420061.6A CN110244839B (zh) | 2019-05-20 | 2019-05-20 | 控制方法、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110244839A CN110244839A (zh) | 2019-09-17 |
| CN110244839B true CN110244839B (zh) | 2022-11-18 |
Family
ID=67884433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910420061.6A Active CN110244839B (zh) | 2019-05-20 | 2019-05-20 | 控制方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110244839B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782053B (zh) * | 2020-08-10 | 2023-04-28 | Oppo广东移动通信有限公司 | 模型编辑方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622081A (zh) * | 2011-01-30 | 2012-08-01 | 北京新岸线网络技术有限公司 | 一种实现体感交互的方法和系统 |
| CN105468738A (zh) * | 2015-11-24 | 2016-04-06 | 西安电子科技大学 | 基于眼动和脑电相结合的图像检索方法 |
| WO2016110752A1 (en) * | 2015-01-06 | 2016-07-14 | Sony Corporation | Control method and control apparatus for electronic equipment and electronic equipment |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| CN108304074A (zh) * | 2018-02-11 | 2018-07-20 | 广东欧珀移动通信有限公司 | 显示控制方法及相关产品 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统 |
| CN108886612A (zh) * | 2016-02-11 | 2018-11-23 | 奇跃公司 | 减少深度平面之间切换的多深度平面显示系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018175625A1 (en) * | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
-
2019
- 2019-05-20 CN CN201910420061.6A patent/CN110244839B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622081A (zh) * | 2011-01-30 | 2012-08-01 | 北京新岸线网络技术有限公司 | 一种实现体感交互的方法和系统 |
| WO2016110752A1 (en) * | 2015-01-06 | 2016-07-14 | Sony Corporation | Control method and control apparatus for electronic equipment and electronic equipment |
| CN105468738A (zh) * | 2015-11-24 | 2016-04-06 | 西安电子科技大学 | 基于眼动和脑电相结合的图像检索方法 |
| CN108886612A (zh) * | 2016-02-11 | 2018-11-23 | 奇跃公司 | 减少深度平面之间切换的多深度平面显示系统 |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| CN108304074A (zh) * | 2018-02-11 | 2018-07-20 | 广东欧珀移动通信有限公司 | 显示控制方法及相关产品 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110244839A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
| CN107810465B (zh) | 用于产生绘制表面的系统和方法 | |
| EP3176678B1 (en) | Gesture-based object measurement method and apparatus | |
| US10095030B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| US11683470B2 (en) | Determining inter-pupillary distance | |
| CN107479691B (zh) | 一种交互方法及其智能眼镜和存储装置 | |
| CN105824409A (zh) | 虚拟现实的交互控制方法及装置 | |
| US20170109923A1 (en) | Remote sensor access and queuing | |
| WO2013035758A1 (ja) | 情報表示システム、情報表示方法、及び記憶媒体 | |
| US10595001B2 (en) | Apparatus for replaying content using gaze recognition and method thereof | |
| CN111161396B (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
| CN103838365A (zh) | 穿透型头部穿戴式显示系统与互动操作方法 | |
| CN111860252A (zh) | 图像处理方法、设备及存储介质 | |
| US20230367118A1 (en) | Augmented reality gaming using virtual eyewear beams | |
| CN111308707A (zh) | 画面显示调节方法、装置、存储介质及增强现实显示设备 | |
| CN110244839B (zh) | 控制方法、电子设备和存储介质 | |
| CN107085489A (zh) | 一种控制方法及电子设备 | |
| CN104199556B (zh) | 一种信息处理方法及装置 | |
| CN111654688A (zh) | 一种获取目标控制参数的方法与设备 | |
| CN108008811A (zh) | 一种利用非触屏方式操作终端的方法和终端 | |
| CN107122002A (zh) | 一种头戴式可视设备 | |
| Raees et al. | THE-3DI: Tracing head and eyes for 3D interactions: An interaction technique for virtual environments | |
| CN116820251B (zh) | 一种手势轨迹交互方法、智能眼镜及存储介质 | |
| CN110941389A (zh) | 一种焦点触发ar信息点的方法及装置 | |
| CN118349138A (zh) | 人机交互方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |