CN117406849A - 信息显示方法及电子设备 - Google Patents
信息显示方法及电子设备 Download PDFInfo
- Publication number
- CN117406849A CN117406849A CN202210798331.9A CN202210798331A CN117406849A CN 117406849 A CN117406849 A CN 117406849A CN 202210798331 A CN202210798331 A CN 202210798331A CN 117406849 A CN117406849 A CN 117406849A
- Authority
- CN
- China
- Prior art keywords
- display
- area
- physical device
- glasses
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000003384 imaging method Methods 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 description 441
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 39
- 238000004891 communication Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010295 mobile communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000004984 smart glass Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 239000011800 void material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供了一种信息显示方法及电子设备。该方法包括:电子设备基于物理设备在物理环境中的位置和电子设备在物理环境中的位置,确定物理设备在电子设备的显示屏幕中的显示区域,从而在与该显示区域不重叠的目标区域中显示物理设备的注释信息。这样,本申请可以避免注释信息对物理设备的遮挡,提升用户使用体验。
Description
技术领域
本申请实施例涉及增强现实领域,尤其涉及一种信息显示方法及电子设备。
背景技术
增强现实(Augmented Reality,AR)是一种对真实世界进行“增强”的技术。AR可以通过电子设备将虚拟信息与真实世界叠加,使叠加结果呈现在同一画面或者空间中被用户感知示例性的,可以通过AR眼镜、支持AR功能的手机等电子设备,生成并显示虚拟的注释信息,该注释信息表征物理环境中物理设备携带的信息。这样,用户无需抵达物理设备附近,即可通过上述电子设备便捷地查看物理设备携带的信息。
但是,为了保证虚拟信息与真实世界叠加的效果,注释信息通常与物理设备关联显示。因此,如果物理设备在物理环境中密集分布,容易出现注释信息相互遮挡等情况。
发明内容
为了解决上述技术问题,本申请提出了一种信息显示方法及电子设备。在该方法中,通过在与物理设备的显示区域不重叠的目标区域中显示物理设备的注释信息,以避免注释信息对物理设备的遮挡,从而提升用户使用体验。
第一方面,提供一种信息显示方法。该方法包括:电子设备获取第一物理设备的第一空间位置信息和电子设备的第二空间位置信息。其中,第一空间位置信息用于指示第一物理设备在物理环境中的位置,第二空间位置信息用于指示电子设备在物理环境中的位置。电子设备基于第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的第一显示区域。电子设备基于第一显示区域,确定第一物理设备的第一目标区域。其中,第一目标区域与第一显示区域不重叠;在第一目标区域中显示第一物理设备的注释信息。这样,在第一物理设备对应的第一目标区域中显示第一物理设备的注释信息,可以避免注释信息对物理设备的遮挡,从而减少用户无法识别注释信息和无法查看物理设备上信息的问题。
示例性的,图18为示例性示出的目标区域示意图。参见图18,第一显示区域可以为仪表A所在区域A1。图20c为示例性示出的各仪表目标区域示意图。参见图20c,第一物理设备可以为仪表1,第一目标区域可以为201。
根据第一方面,注释信息包括以下至少之一:第一物理设备的设备信息、数字信息;其中,数字信息为第一物理设备的显示屏幕上显示的信息。
根据第一方面,或者以上第一方面的任意一种实现方式,第一目标区域与第二物理设备的第二显示区域不重叠;第二物理设备与第一物理设备相邻。
这样,可以通过与第二显示区域不重叠的第一目标区域,减少相邻物理设备的注释信息间的相互遮挡,从而进一步减少多个物理设备时不同注释信息间的相互遮挡。
示例性的,参见图20c,第一物理设备可以为#31仪表,第二物理设备可以为#32仪表。
根据第一方面,或者以上第一方面的任意一种实现方式,基于第一显示区域,确定第一物理设备的第一目标区域,可以包括:在第一显示区域外的第一预设方向上,确定第一待选目标区域;若检测到第一待选目标区域与第二显示区域不重叠,确定第一待选目标区域为第一目标区域;若检测到第一待选目标区域与第二显示区域重叠,在第一显示区域外的第二预设方向上,确定第二待选目标区域;第二预设方向与第一预设方向不同;若检测到第二待选目标区域与第二显示区域不重叠,确定第二待选目标区域为第一目标区域。
这样,通过第一预设方向可以尽可能保证注释信息分布在同一方向,进一步提高注释信息查看的便捷性和用户体验。当第一预设方向上无法确定第一目标区域时,通过与第一预设方向不同的第二预设方向,可以减少重新确定的目标区域与第二显示区域重叠的可能性,从而提高第一目标区域的确定效率。
示例性的,第一待选目标区域与第二显示区域重叠可以包括:这两个区域全部重叠或者部分重叠。第二预设方向可以是环绕第一显示区域的方向中,与第一预设方向不同的方向。
根据第一方面,或者以上第一方面的任意一种实现方式,基于第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的第一显示区域之后,该方法还包括:获取第三物理设备的第三空间位置信息;其中,第三物理设备与电子设备间的距离大于第一物理设备与电子设备之间的距离;第三空间位置信息用于指示第三物理设备在物理环境中的位置;基于第三空间位置信息和第二空间位置信息,确定第三物理设备在电子设备的显示屏幕中的第三显示区域;基于第一显示区域,确定第一物理设备的第一目标区域之后,方法还包括:基于第三显示区域,确定第三物理设备的第二目标区域;其中,第二目标区域与第三显示区域不重叠且与第一目标区域不重叠;第二目标区域与第一目标区域的方向不同;在第二目标区域中显示第三物理设备的注释信息。
这样,实现了按照物理设备与电子设备间的距离从小到大的顺序,确定物理设备的目标区域。通常情况下距离电子设备越远,物理设备呈现的分布效果越密集。通过从近到远确定物理设备的目标区域,可以尽可能保证近处的物理设备占用同一方向的目标区域,与该方向不同的方向均可以用于确定远处物理设备的目标区域,从而远处物理设备的目标区域可以有相对充足的分布空间,进一步减少密集分布的物理设备的注释信息相互遮挡。
示例性的,可以先确定所有物理设备的显示区域,然后再根据每个物理设备与电子设备间的距离,从近到远逐一确定每个物理设备的目标区域。
根据第一方面,或者以上第一方面的任意一种实现方式,基于第一显示区域,确定第一物理设备的第一目标区域,包括:确定第一物理设备的注释信息的显示尺寸;基于第一物理设备的注释信息的显示尺寸,确定第一物理设备的第一目标区域的区域尺寸;按照区域尺寸,确定与第一物理设备的第一显示区域不重叠的第一目标区域。
这样,可以按照第一物理设备的注释信息的显示尺寸,确定第一目标区域的区域尺寸,从而保证按照该区域尺寸确定的第一目标区域,可以尽可能完整显示第一物理设备的注释信息。也就是说,可以进一步减少用户无法查看注释信息、注释信息显示不准确的问题。
根据第一方面,或者以上第一方面的任意一种实现方式,确定第一物理设备的注释信息的显示尺寸,包括:获取第一物理设备与电子设备间的距离;根据距离的大小,确定第一物理设备的注释信息的显示尺寸。
这样,可以让处于相似距离的物理设备的注释信息按照同一显示尺寸显示,提高查看便捷性。示例性的,距离越近的物理设备的注释信息可以具有更大的显示尺寸。这样与人眼观察物体时,人和物体的距离对物体大小的影响关系一致,更加真实,从而提高注释信息的显示质量。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:获取第四物理设备的第四空间位置信息;其中,第四空间位置信息用于指示第四物理设备在物理环境中的位置;基于第四空间位置信息和第二空间位置信息,确定第四物理设备在电子设备的显示屏幕中的第四显示区域;若第四物理设备的第四目标区域确定失败,则确定与第四物理设备对应的标识符;在第四目标区域的无重叠位置处显示标识符;当接收针对标识符的触摸指令时,在显示屏幕所显示画面的最上层显示第四物理设备的注释信息。
这样,可以在第四物理设备的第四目标区域确定失败时,通过对标识符的触摸指令,实现对注释信息的显示,适用于无法确定出无重叠的目标区域,或目标区域的尺寸不满足注释信息的显示需求的情况,扩展了适用场景。标识符显示在第四目标区域的无重叠位置处,可以避免对物理设备上信息的遮挡,方便用户对照物理设备上的信息进行注释信息查看,提高用户体验。
根据第一方面,或者以上第一方面的任意一种实现方式,基于第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的第一显示区域,包括:根据第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的显示属性;根据显示属性,确定第一物理设备在电子设备的显示屏幕中的第一显示区域。
这样,根据第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的显示属性,可以保证显示属性准确反映物理设备在AR眼镜屏幕中的成像参数。基于此,根据显示属性确定第一物理设备的第一显示区域,可以保证第一显示区域覆盖第一物理设备在电子设备的显示屏幕中占据的位置,从而保证后续基于第一显示区域确定的目标区域更加合理和准确。
示例性的,显示属性可以包括物理设备在AR眼镜屏幕中的成像参数,具体可以包括但不限于:物理设备的显示区域、物理设备的轮廓(也可以理解为是物理设备的外部轮廓)等。
根据第一方面,或者以上第一方面的任意一种实现方式,根据第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的显示属性,包括:根据第一空间位置信息和第二空间位置信息,获取第一物理设备在电子设备视区内的视区位置;根据视区位置,确定第一物理设备的显示属性。
这样,通过视区位置确定第一物理设备的显示属性,可以减少将不属于电子设备视区,也就是用户无法通过电子设备观察到的物理设备纳入处理中,从而减少计算资源浪费,保证信息显示更加准确和高效。
根据第一方面,或者以上第一方面的任意一种实现方式,根据视区位置,确定物理设备的显示属性,包括:根据视区位置,对第一物理设备进行模拟成像,得到第一物理设备的显示属性。
这样,无需对第一物理设备进行实际成像,而是通过模拟成像计算得到第一物理设备的显示属性,从而减少不显示第一物理设备的场景中,冗余的实际成像造成的计算资源浪费。在显示第一物理设备的场景中,可以减少显示了第一物理设备而未显示注释信息导致的用户体验不佳。可见,可以保证信息显示成本更低和用户体验更高。
根据第一方面,或者以上第一方面的任意一种实现方式,第一物理设备的数量为多个;在第一物理设备对应的第一目标区域中显示物理设备的注释信息,包括:从多个第一物理设备中筛选指定物理设备;在指定物理设备对应的第一目标区域中显示物理设备的注释信息。
这样,可以通过对指定物理设备的筛选,显示指定物理设备的注释信息,从而在物理环境中存在多个物理设备的场景中,减少对无需显示注释信息的物理设备的处理,保证信息显示更加高效和准确,更加符合用户需求。
示例性的,参见图20c,多个第一物理设备可以包括仪表(如仪表1)和温度计以及输油管道(如输油管道1),指定物理设备可以包括仪表(如仪表1)。
根据第一方面,或者以上第一方面的任意一种实现方式,指定物理设备为具有目标显示属性的物理设备。
这样,可以通过目标显示属性,以物理设备的外形、位置等显示属性为依据,准确筛选具有指定物理设备。
根据第一方面,或者以上第一方面的任意一种实现方式,根据第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备的显示屏幕中的显示属性,包括:采集物理环境的图像;识别物理环境的图像中的指定物理设备,获得参考显示属性;根据多个第一物理设备中,每个第一物理设备的第一空间位置信息和第二空间位置信息,确定每个第一物理设备在电子设备的显示屏幕中的候选显示属性;计算每个候选显示属性与参考显示属性之间的相似度;基于每个候选显示属性对应的相似度,确定目标显示属性,得到第一物理设备在电子设备的显示屏幕中的显示属性。
这样,通过识别物理环境图像中的指定物理设备,获得参考显示属性,进而比对参考显示属性和候选显示属性,可以实现对目标显示属性的确定。其中,候选显示属性基于第一空间位置信息和第二空间位置信息确定,相对于通过图像识别获得的参考显示属性更加准确,基于候选显示属性对应的相似度确定目标显示属性,可以保证目标显示属性更加准确。
根据第一方面,或者以上第一方面的任意一种实现方式,指定物理设备为具有目标视区位置的第一物理设备。
这样,可以通过目标视区位置,在确定显示属性前筛选指定物理设备,从而减少对不属于指定物理设备的物理设备的显示属性的计算,进一步提高信息显示的效率。
根据第一方面,或者以上第一方面的任意一种实现方式,根据第一空间位置信息和第二空间位置信息,获取第一物理设备在电子设备视区内的视区位置,包括:向云端发送指示信息,指示信息中包括第一空间位置信息和第二空间位置信息,指示信息用于指示云端根据第二空间位置信息,在预存地图中确定电子设备视区,并根据第一空间位置信息和第二空间位置信息,确定第一物理设备在电子设备视区内的视区位置;接收云端发送的视区位置。
这样,通过云端获取视区位置,可以降低电子设备的硬件要求,适用场景更广。其中,视区位置通过预存地图确定,不同物理环境可以预存不同地图,从而更加准确和符合用户需求。
根据第一方面,或者以上第一方面的任意一种实现方式,根据显示属性,确定第一物理设备在电子设备的显示屏幕中的第一显示区域,包括:根据第一物理设备的显示属性,确定第一物理设备的候选显示区域;当第一物理设备的候选显示区域的边缘与另一物理设备的候选显示区域的边缘之间的最小距离小于预设值时,将第一物理设备的候选显示区域与另一物理设备的候选显示区域进行融合,得到第一显示区域;其中,第一显示区域覆盖第一物理设备与另一物理设备。
这样,通过不同物理设备的候选显示区域边缘间的最小距离,可以对相距较近的物理设备和存在重叠的物理设备的候选显示区域进行融合,以得到覆盖着两个物理设备的显示区域,例如,覆盖第一物理设备与另一物理设备的第一显示区域。
示例性的,图17b为示例性示出的显示区域融合场景下的仪表所在区域示意图。参见图17b,覆盖第一物理设备与另一物理设备的第一显示区域可以包括:仪表B和仪表C所在区域B2,仪表D和仪表E所在区域D2。
第二方面,提供一种电子设备。该电子设备包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行如上述第一方面以及第一方面的任意一种实现方式所对应的方法。示例性的,电子设备可以为具有增强现实功能的电子设备。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,提供一种计算机可读存储介质。该介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面以及第一方面中任意一项中的信息显示方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供了一种计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚、和该处理电路通过内部连接通路互相通信,该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法,以控制接收管脚接收信号,以控制发送管脚发送信号。示例性的,芯片可以为电子设备的芯片,电子设备可以为具有增强现实功能的电子设备。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请实施例提供了一种信息显示系统,包括上述第一方面涉及的电子设备,物理设备和云端。
附图说明
图1是示例性示出的一种应用场景示意图;
图2是示例性示出的智能眼镜的一种结构示例图;
图3是示例性示出的智能眼镜的另一种结构示例图;
图4是示例性示出的另一种应用场景示意图;
图5是示例性示出的信息显示方法的流程示意图;
图6是示例性示出的仪表相对于AR眼镜的空间坐标示意图;
图7是示例性示出的AR眼镜的位姿坐标示意图;
图8是示例性示出的用户对AR眼镜的控制指令的触发方式示意图;
图9是示例性示出的仪表在AR眼镜屏幕中的显示属性示意图;
图10是示例性示出的仪表在AR眼镜屏幕中的显示属性的获取流程示意图;
图11a是示例性示出的仪表所处物理环境的一种地图示意图;
图11b是示例性示出的仪表所处物理环境的另一种地图示意图;
图12是示例性示出的眼镜地图坐标和仪表地图坐标的示意图;
图13是示例性示出的AR眼镜视区的示意图;
图14是示例性示出的仪表筛选过程的示意图;
图15是示例性示出的显示属性的筛选流程示意图;
图16是示例性示出的物理设备在AR眼镜屏幕上的所在区域确定流程示意图;
图17a是示例性示出的显示区域未融合场景下的仪表所在区域示意图;
图17b是示例性示出的显示区域融合场景下的仪表所在区域示意图;
图18是示例性示出的目标区域示意图;
图19是示例性示出的仪表所处物理环境的一种示意图;
图20a是示例性示出的各仪表原始所在区域示意图;
图20b是示例性示出的各仪表目标所在区域示意图;
图20c是示例性示出的各仪表目标区域示意图;
图21是示例性示出的注释信息的一种观察效果示意图;
图22是示例性示出的注释信息的另一种观察效果示意图;
图23是示例性示出的注释信息的显示效果示意图;
图24是示例性示出的一种装置500的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
在对本申请实施例的技术方案说明之前,首先结合附图对AR领域中的电子设备显示注释信息的场景进行说明。图1为示例性示出的一种应用场景示意图。该场景中包括手机和物理设备。如图1所示,手机支持AR功能,手机采集物理设备的实景图像,将该实景图像展示在手机的显示界面上。物理设备上包括显示信息101,例如为“#100000101”。显示信息可选地为实体设备的序列号或者是实体设备的检测数据等。手机通过对实体设备的图像进行识别,可以识别到显示信息101,并在显示界面上显示注释信息。注释信息中的内容即为显示信息,这样,可以突出显示物理设备上的显示信息,以提高查看便捷性。图1中注释信息遮挡了实景图像中的显示信息102,该显示信息102即显示信息101在实景图像中的呈现结果。另外,物理设备的数量可以为多个,实景图像中还可以包含物理设备所处物理环境的图像。
本申请实施例提供一种信息显示方法。该方法确定物理设备在电子设备的显示屏幕中的设备显示区域,进而在该显示屏幕中的目标区域中显示该物理设备的注释信息;其中,目标区域与该设备显示区域不重叠。因此,可以保证对注释信息与物理设备进行关联显示时,注释信息不遮挡物理设备,从而减少注释信息间的相互遮挡、注释信息遮挡物理设备上信息的问题,可以减少用户无法识别注释信息和无法查看物理设备上信息的问题。这样,用户无需实际查看物理设备上的信息,可以提高用户查看信息的便捷性。
为了方便描述,后续本申请实施例以AR眼镜为例进行说明,本申请中的显示方法同样适用于智能电视、膝上型计算机、桌上型计算机、掌上型计算机(如平板电脑、智能手机等)、智能穿戴设备(如智能手环、智能手表、智能戒指等)等可以支持AR功能的电子设备。
图2为示例性示出的智能眼镜的一种结构示例图。如图2所示,智能眼镜包括眼镜主体100和设置在眼镜主体100上的眼镜屏幕102和处理器103。其中,处理器103用于根据内设的程序和接收到的数据确定待显示的信息。眼镜屏幕102用于显示处理器103确定的信息,例如,注释信息、仪表图像等等。
可以理解的是,本申请实施例示意的结构并不构成对上述智能眼镜的具体限定。在本申请另一些实施例中,上述智能眼镜可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。在另一种情况中,上述智能眼镜的结构可以是电子设备的结构,例如,图3为示例性示出的智能眼镜的另一种结构示例图所示的电子设备300。另外,图3所示的结构可以适用于手机等本申请适用的其他电子设备。
如图3所示,电子设备300可以包括处理器310,外部存储器接口320,内部存储器321,USB接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,传感器模块380,按键390,马达391,指示器392,摄像头393,显示屏394,以及用户标识模块(subscriber identification module,SIM)卡接口395等。其中传感器模块380可以包括压力传感器380A,陀螺仪传感器380B,气压传感器380C,磁传感器380D,加速度传感器380E,距离传感器380F,接近光传感器380G,指纹传感器380H,温度传感器380J,触摸传感器380K,环境光传感器380L,骨传导传感器380M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备300的具体限定。在本申请另一些实施例中,电子设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
USB接口330是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等,可支持USB1.0、USB2.0、USB3.0和USB4.0或者更高标准USB规范在内的各种USB规范。示例性的,USB接口330可以包括一个或多个USB接口。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备300的结构限定。在本申请另一些实施例中,电子设备300也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块340用于从充电器接收充电输入。电源管理模块341用于连接电池342,充电管理模块340与处理器310。电子设备300的无线通信功能可以通过天线1,天线2,移动通信模块350,无线通信模块360,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块350可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中,移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
无线通信模块360可以提供应用在电子设备300上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备300的天线1和移动通信模块350耦合,天线2和无线通信模块360耦合,使得电子设备300可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备300可以通过ISP,摄像头393,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
电子设备300可以通过音频模块370,扬声器170A,受话器370B,麦克风370C,耳机接口370D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
图4为示例性示出的另一种应用场景示意图。参见图4,示例性示出的信息显示方法应用于AR眼镜,用户可以通过佩戴的AR眼镜观察用户当前所处的物理环境。该物理环境中可以包括仪表和安装有仪表的管道。图4中的场景仅为示意性举例,在实际场景中,该物理环境中还可以包括树木、水桶、石头等等物体,本申请不做限定。
下面结合图4所示的场景,对信息显示的具体方法进行说明。图5为示例性示出的信息显示方法的流程示意图,参照图5,应用于AR眼镜的信息显示方法,具体可以包括但不限于如下步骤:
S101,分别获取物理设备和AR眼镜的空间位置信息。
在具体应用中,物理设备的空间位置信息为物理设备在物理环境中的空间位置信息,用于表征物理设备在物理环境中所处的位置,具体可以包括但不限于:物理设备的经纬度、物理设备相对于AR眼镜的距离或物理设备相对于AR眼镜的空间坐标等等。
示例性的,物理设备的经纬度可以由物理设备通过自身安装的定位系统获得,并发送至AR眼镜。可选地,物理设备可通过云端,将获取到的经纬度发送给AR眼镜。可选地,物理设备的定位系统可以包括但不限于全球卫星定位系统、北斗卫星导航系统等。
示例性的,AR眼镜可基于AR眼镜中的传感器,以获取AR眼镜与物理设备之间的距离。可选地,传感器可以包括但不限于以下至少之一:激光雷达、超声波雷达、红外测距仪等等。
激光雷达是一种发射激光束的雷达系统,工作原理包括:向目标物体发射探测信号(激光束),然后将接收到的从目标物体反射回来的信号(目标回波)与发射信号进行比较,基于比较结果获得目标物体的参数。示例性的,目标物体的参数可有包括:激光雷达与目标物体间的距离、目标物体的位置、目标物体的高度、目标物体的速度、目标物体的姿态、目标物体的形状等参数。
超声波雷达是一种利用超声波测算距离的雷达传感器装置,工作原理包括:基于向外发出超声波与接收到返回的超声波间的时间差测算距离。
红外测距仪是一种以红外光为光源的光电测距仪,工作原理包括:利用红外线传播时的不扩散原理,当红外线从测距仪发出碰到反射物被反射回来被测距仪接受到,再根据红外线从发出到被接受到的时间及红外线的传播速度算出距离。
示例性的,物理设备相对于AR眼镜的空间坐标的获取方式如下:图6为示例性示出的仪表相对于AR眼镜的空间坐标示意图。参见图6,AR眼镜以AR眼镜为坐标原点建立三维坐标系。可选地,X轴可以是平行于地面、Y轴垂直于地面。本申请实施例中的三维坐标系的建立方式仅为示意性举例,本申请不做限定。示例性的,AR眼镜可基于传感器获取到AR眼镜与物理设备(例如仪表)之间的距离,具体获取方式可参照上文描述,此处不再赘述。相应地,AR眼镜可进一步基于物理设备与AR眼镜之间的距离,获取物理设备在以AR眼镜为原点的坐标系中的坐标,例如坐标为(x1,y1,z1)。具体计算方式可参照已有技术实施例,本申请不做限定。
需要说明的是,上述激光雷达扫描等传感器的场景中,传感器每一次扫描可以扫描物理设备表面上的一个点或者多个点,具体取决于探测信号的个数。基于此,在一种情况中,物理设备的空间位置信息可以由物理设备表面上多个点的空间位置信息表示。例如,仪表的表面上按照预设密度排布的多个点可以表示该仪表,也就是通过多个点可以表征该仪表的轮廓。这样,通过多个点分别相对于AR眼镜的空间坐标,可以表征该仪表相对于AR眼镜的空间坐标。可以理解的是,上述点的密度越大,仪表的空间坐标和轮廓的精度越高。
在本申请实施例中,AR眼镜的空间位置信息是指AR眼镜在物理环境中的空间位置信息,用于表征AR眼镜在物理环境中所处的位置。示例性的,AR眼镜的空间位置信息可以包括:AR眼镜的位姿信息或AR眼镜的经纬度。、
示例性的,AR眼镜的经纬度可通过AR眼镜的定位系统获取,具体获取方式可参照已有技术实施例,本申请不做限定。
示例性的,AR眼镜的位姿信息具体可以为AR眼镜的位姿坐标。可选地,AR眼镜上可以配置有陀螺仪,AR眼镜可通过陀螺仪获取AR眼镜位姿坐标,例如6DOF(degree offreedom,自由度)位姿坐标。
6DoF位姿坐标即6个方向的自由度,包括:3种类型的平移自由度和3种类型的旋转自由度。示例性的,图7为示例性示出的AR眼镜的位姿坐标示意图。参见图7,沿x、y、z三个直角坐标轴方向移动的平移自由度和绕这三个直角坐标轴转动的旋转自由度,分别是前/后平移自由度、上/下平移自由度、左/右平移自由度和俯仰(pitch)旋转自由度、偏摆(yaw)旋转自由度、翻滚(roll)旋转自由度,共6个自由度。位姿坐标的具体获取方式可参照已有技术实施例的相关内容,本申请不再赘述。
可选地,AR眼镜可以在检测到用户头部姿态改变时、在检测到用户触发注释信息显示指令时,获取位姿坐标,本实施例对此不作限制。
在本申请实施例中,AR眼镜可以在接收到注释信息显示指令、检测到指定物理设备、检测到用户处于目标地点、达到预设扫描周期等等条件时,获取物理设备和AR眼镜的空间位置信息。具体触发时机可以按照实际需求进行设置,本实施例对此不作限制。
对于注释信息显示指令,示例性的,图8为示例性示出的用户对AR眼镜的控制指令的触发方式示意图,参见图8,用户可以触摸或滑动AR眼镜镜腿的感应区域、或者是通过语音指示等方式,触发对AR的眼镜的控制指令例如注释信息显示指令。
对于指定物理设备的检测,AR眼镜可以按照预设周期采集物理世界图像,对物理世界图像进行是否存在指定物理设备的图像识别。
对于用户处于目标地点的检测包括但不限于以下之一:通过AR眼镜的定位系统或者摄像头检测用户所处位置。其中,通过AR眼镜的定位系统检测可以包括:AR眼镜通过自身的定位系统获取所处的地理位置信息,比较地理位置信息与目标地点的位置信息的差异,例如,当差异小于第一差异阈值时,可以确定AR眼镜处于目标地点。通过AR眼镜的定位系统或者摄像头检测可以包括:AR眼镜可以对物理世界图像进行与目标空间位置图像的比较,当图像间的差异小于第二差异阈值时,确定AR眼镜处于目标空间位置。
S102,基于物理设备的空间位置信息和AR眼镜的空间位置信息,确定物理设备在AR眼镜屏幕中的显示属性。
示例性的,AR眼镜获取到物理设备的空间位置信息和AR眼镜的空间位置信息后,可基于两者的空间位置信息,确定物理设备在AR眼镜屏幕中的显示属性。其中,显示属性包括物理设备在AR眼镜屏幕中的成像参数,具体可以包括但不限于:物理设备的显示区域、物理设备的轮廓(也可以理解为是物理设备的外部轮廓)等。
示例性的,物理设备的显示区域可选地为物理设备在AR眼镜屏幕中的显示位置。物理设备的轮廓可选地为物理设备在AR眼镜屏幕中的外形,也可以理解为是物理设备的外部轮廓。
图9为示例性示出的仪表在AR眼镜屏幕中的显示属性示意图。参见图9,仪表在AR眼镜中的显示属性可以包括:仪表在AR眼镜屏幕G1上的显示属性,和仪表在AR眼镜屏幕G2上的显示属性。可以理解为,AR眼镜可以获取到仪表在AR眼镜屏幕G1上的显示位置和显示轮廓,以及仪表在AR眼镜屏幕G2上的显示位置和显示轮廓。其中,仪表在AR眼镜屏幕G1和AR眼镜屏幕G2上的显示轮廓相同,而显示位置不同。例如图10中所示,仪表在AR眼镜屏幕G1上的位置可选地在G1的偏右区域,而仪表在AR眼镜屏幕G2上的位置可选地在AR眼镜屏幕G2的偏左区域。
需要说明的是,为了便于示意实际仪表与眼镜屏幕上仪表的显示属性的对应关系,图9中示出的AR眼镜屏幕G1和AR眼镜屏幕G2上的显示属性中,保留了仪表表面的纹理。其中,仪表表面的纹理可以包括:仪表的指针901、仪表上的读数902、仪表支架的纹理903等等。可以理解的是,仪表在AR眼镜屏幕G1上的显示属性,和仪表在AR眼镜屏幕G2上的显示属性,均可以不包括仪表表面的纹理。
在一种可能的实现方式中,AR眼镜可以根据仪表在AR眼镜中的成像原理,以获得仪表的显示属性。图10为示例性示出的仪表在AR眼镜屏幕中的显示属性的获取流程示意图,参见图10,具体包括如下步骤:
S301,AR眼镜发送仪表的空间坐标和AR眼镜的位姿坐标至云端。
本申请实施例中,云端可以是包含多个服务器的集群,例如华为云。在一种可选的实现方式中,A R眼镜可以直接发送仪表的空间坐标和AR眼镜的位姿坐标至云端。在一种可选的实现方式中,用户可以通过AR眼镜登录用户账号,例如华为账号。在通过AR眼镜登录用户账号之后,AR眼镜可以发送用户账号至云端,从而云端可以绑定该AR眼镜与该用户账号。基于此,后续AR眼镜将该AR眼镜发送的仪表的空间坐标和AR的位姿坐标发送至云端后,云端可以将所接收的仪表的空间坐标和AR眼镜的位姿坐标存储为该用户账号的用户信息,以提高数据的准确性。在另一种可选的实现方式中,A R眼镜直接发送仪表的空间坐标和AR眼镜的位姿坐标至云端后,云端可以建立属于该AR眼镜的数据表,将仪表的空间坐标和AR的位姿坐标存储在该数据表中,以提高数据的准确性、便于数据管理。
示例性的,用户通过AR眼镜登录用户账号的方式具体可以包括但不限于以下之一:AR眼镜可以识别用户的身份标识(如人脸、指纹、声纹、感应卡等身份标识),登录与身份标识匹配的华为账号;或者,用户可以分别开启AR眼镜和手机的蓝牙,进行手机和AR眼镜的配对,进而在手机上登录华为账号,从而通过手机将配对的AR眼镜添加至华为账号的设备中。任何可以通过AR眼镜登录用户账号的方式均可用于本申请,本实施例对此不作限制。
S302,云端确定AR眼镜的位姿坐标在地图中对应的眼镜地图坐标。
本申请实施例中,地图是指仪表所处物理环境的地图。在具体应用中,用户可以通过AR眼镜或者与AR眼镜配对的手机预先在云端存储仪表所处物理环境的地图。通常情况下,仪表所处物理环境可以在一定时间段内保持不变,这样,预先对仪表所处物理环境进行建模得到的地图可以准确反映该物理环境。该地图例如可以为3D建模的立体地图。
该地图具体的建模方式可以包括但不限于:用户预先佩戴AR眼镜,AR眼镜对仪表所处物理环境进行扫描,以获得该物理环境的建模数据。AR眼镜基于建模数据生成相应的地图。AR眼镜可将地图发送给云端进行存储。示例性的,AR眼镜也可以将扫描到的结果发送给云端,由云端进行建模以及生成地图,本申请不做限定。
在一种可选的情况中,AR眼镜可以向用户展示该地图,以便用户通过触摸AR眼镜镜腿,对地图中的对象进行筛选。在一种可选的情况中,AR眼镜可以对比获取的建模数据与预设的目标对象的建模数据,并根据对比结果,保留目标对象在该物理环境中的建模数据,从而得到该物理环境的地图。
示例性的,图11a为示例性示出的仪表所处物理环境的一种地图示意图。参见图11a,该地图中包括仪表所处物理环境中的各对象的建模结果(以下简称模型)。例如,实际物理环境中包括:树木、多个仪表、多个输油管道和多个物体。相应地,该地图中同样可以包括:多个仪表(如仪表1和仪表2),多个输油管道(如输油管道1和输油管道2),多个物体(如物体A和物体B),树木以及温度计的模型。
另外,对于存在多个用户的场景,佩戴AR眼镜的用户可以通过该AR眼镜登录上述华为账号,进而云端可以查找属于该华为账号的地图。在同一个账号下存在多个地图的情况,示例性的,AR眼镜可以采集用户当前所处物理环境的图像,发送至云端,云端对该图像与各地图进行比对,从而基于比对结果,确定用户当前所处物理环境的地图。或者,示例性的,云端可以接收通过该AR眼镜登录的华为账号,进而在AR眼镜屏幕上显示属于该华为账号的各地图,用户可以通过触摸AR眼镜镜腿、语音指示、目光注视等方式,触发对各地图的选择指令,从而AR眼镜可以反馈对地图的选择结果至云端。其中,选择结果可以是AR眼镜将选择指令对应的地图确定为用户当前所处物理环境的地图,并反馈该地图的信息至云端;或者,选择结果可以是上述选择指令,云端可以将选择指令对应的地图确定为用户当前所处物理环境的地图,本申请对此不作限制。
示例性的,图11b为示例性示出的仪表所处物理环境的另一种地图示意图。参见图11b,该地图中包括仪表所处物理环境中的部分对象的模型。例如,实际物理环境(可参照图11a)中包括:树木、多个仪表、多个输油管道和多个物体。而云端保存的地图中可以包括:多个仪表(如仪表1和仪表2)和多个输油管道(如输油管道1和输油管道2),以及温度计的模型。可以理解,物理设备所处物理环境的地图中可以只包括物理环境中的部分对象,而不包括所有对象。例如,在油田等特种场所,在对仪表所处物理环境进行建模以获取地图时,可以只对输油管道、气压计和温度计等目标对象进行建模,物理环境中的非目标对象例如树木、混凝土建筑等可以不进行建模,或者在建模后从地图中删除,只保留地图中的目标对象。示例性的,目标对象的选择可以由用户设置,也可以由云端根据预设规则筛选,本申请不做限定。
在一种可选的情况中,目标对象可以包括待显示注释信息的物理设备。例如,地图中包括仪表等待显示注释信息的物体的模型,而不包括物理环境中的其他对象(例如树木、混凝土建筑等)的模型。
在本申请实施例中,云端可基于保存的地图,确定AR眼镜的位姿坐标在地图中对应的眼镜地图坐标。示例性的,图12为示例性示出的眼镜地图坐标和仪表地图坐标的示意图。参见图12,AR眼镜的位姿信息,例如位姿坐标可以表明AR眼镜在仪表所处物理环境中的空间坐标。相应地,云端确定眼镜地图坐标的方式可以包括:云端在仪表所处物理环境的地图中确定一个对应点,将对应点在地图中的坐标确定为AR眼镜在该地图中对应的眼镜地图坐标。其中,对应点具有AR眼镜的位姿坐标所表明的空间坐标。如图12所示,云端确定眼镜地图坐标为G(x,y,z)。
S303,云端根据仪表空间坐标和眼镜地图坐标,获取仪表在地图中的仪表地图坐标。
仪表在地图中的仪表地图坐标可选地为当仪表在物理环境中处于仪表空间坐标所表征的位置时,仪表在该物理环境的地图中的坐标。其中,仪表空间坐标是以AR眼镜为坐标原点的坐标系中仪表的坐标。基于此,仪表和AR眼镜间的相对位置关系适用于云端根据仪表空间坐标和眼镜地图坐标,云端获取仪表在地图中的仪表地图坐标的方式,具体可以包括:云端以地图的左下角为原点建立地图坐标系,地图坐标系的X轴可以是平行于地图中的地面、Y轴垂直于地图中的地面,从而将仪表相对于AR眼镜的空间坐标和AR眼镜的眼镜地图坐标叠加,即可得到仪表在地图中的仪表地图坐标。
举例说明,仍参见图12,图12中的仪表上的一点相对于AR眼镜的空间坐标为(x1,y1,z1),则该点在仪表所处物理环境的地图中的坐标为(x+x1,y+y1,z+z1),相应地,该仪表的仪表地图坐标为(x+x1,y+y1,z+z1)。
在一种可选的实施方式中,当以仪表表面上的多个点表征仪表时,仪表相对于AR眼镜的空间坐标包括多个点相对于AR眼镜的空间坐标。例如,仪表相对于AR眼镜的空间坐标包括:仪表表面上n个点的空间坐标:(x1,y1,z1),(x2,y2,z2),……,(xn,yn,zn)。对此,云端可以分别将每个点的空间坐标和AR眼镜的眼镜地图坐标叠加,得到仪表地图坐标。例如,仪表地图坐标可以包括:(x+x1,y+y1,z+z1),(x+x2,y+y2,z+z2),……,(x+xn,y+yn,z+zn)。
S304,云端根据AR眼镜的位姿坐标,确定地图中的AR眼镜视区。
在得到AR设备的空间位置后,云端可以根据AR设备的空间位置,确定地图中的AR眼镜视区。例如,云端根据AR眼镜的位姿坐标,模拟人眼成像,从而在云端预存的地图中确定一近似圆锥形的成像区域,即为AR眼镜视区。可以理解的是,AR眼镜视区为用户处于当前位置时,能够观察到的一片区域。示例性的,图13为示例性示出的AR眼镜视区的示意图。参见图13,在AR眼镜的眼镜视区中,存在仪表1和仪表2,以及仪表3,也就是说用户通过AR眼镜可以观察到AR眼镜视区内的这三个仪表。其中,仪表1上的点也处于AR眼镜视区中,该点可以表征仪表1,或者包含在表征仪表1的多个点中。
S305,云端获取仪表在AR眼镜视区内的位置。
在实际一些示例中,可能存在部分仪表未处于AR眼镜视区内的情况。对此,云端执行上述S305,可以减少后续获取未处于AR眼镜视区内仪表的显示属性的处理。其中,AR眼镜视区是仪表所处物理环境地图中的成像区域,相应地,云端获取仪表在AR眼镜视区内的位置,具体可以包括:云端将处于AR眼镜视区内的仪表地图坐标,确定为仪表地图坐标所属仪表在AR眼镜视区内的位置。可以理解的是,当以仪表表面上多个点表征仪表时,处于AR眼镜视区内各点的仪表地图坐标即各点表征的仪表在眼镜视区内的位置。例如,参见图12,仪表1处于AR眼镜视区内,则仪表1上的点的仪表地图坐标可以表征仪表1在AR眼镜视区内的位置。
S306,云端发送仪表在AR眼镜视区内的位置至AR眼镜。
云端发送仪表在AR眼镜视区内的位置至AR眼镜的具体方式,包括但不限于以下示例性方式之一:
示例性的,当云端和一个AR眼镜建立通信连接时,云端可以通过该通信连接发送仪表在AR眼镜视区内的位置至AR眼镜;当云端和多个AR眼镜建立通信连接时,云端可以通过目标华为账号、或AR眼镜设备编号等标识确定目标通信连接,通过目标通信连接发送仪表在AR眼镜视区内的位置至AR眼镜。其中,目标华为账号为用户通过该AR眼镜登录的账号。
示例性,当AR眼镜与手机通过蓝牙配对、且AR眼镜通过该手机与云端通信时,云端可以发送仪表在AR眼镜视区内的位置至该手机,该手机转发仪表在AR眼镜视区内的位置至AR眼镜。在一种可选的实施方式中,云端分别和多个AR眼镜通过多个手机建立通信连接时,云端可以通过上述目标华为账号、AR眼镜设备编号、或手机编号等标识确定目标手机,进而发送仪表在AR眼镜视区内的位置至目标手机,目标手机转发仪表在AR眼镜视区内的位置至与目标手机配对的AR眼镜。
S307,AR眼镜根据仪表在AR眼镜视区内的位置,对仪表进行模拟成像。
AR眼镜在得到仪表在AR眼镜视区内的位置后,可以根据仪表在AR眼镜视区内的位置,对仪表进行模拟成像。示例性的,参见图9,AR眼镜根据仪表在AR眼镜视区内的位置,对仪表进行模拟成像,具体可以包括:AR眼镜按照人眼成像原理或者摄像头成像原理,对仪表在AR眼镜视区内的位置进行成像区域计算,可以得到仪表在AR眼镜屏幕G1和AR眼镜屏幕G2上的显示区域。可选地,该模拟成像还可以包括按照成像原理,计算该成像区域中仪表的成像轮廓,可以得到仪表在AR眼镜屏幕G1和AR眼镜屏幕G2上的轮廓。可以理解的是,进行模拟成像和模拟成像时无需对仪表进行渲染和显示,也就是说,仪表在G1和G2上的成像为虚拟成像,实际上并没有显示。
可以理解的是,人眼成像原理适用于用户可以通过AR眼镜的透明镜片观察到真实物理环境的场景。摄像头成像原理适用于用户可以通过AR眼镜的眼镜屏幕观察到物理环境图像的场景,和示例性示出的方法应用于手机的场景。
S308,AR眼镜根据模拟成像的结果,获得仪表在AR眼镜的眼镜屏幕上的显示属性。
在本申请实施例中,模拟成像按照成像原理实现模拟成像的结果即包含仪表在AR眼镜的眼镜屏幕上虚拟成像的显示区域、和/或轮廓等显示属性。这样,AR眼镜可以从模拟成像的结果中,选取仪表在AR眼镜的眼镜屏幕上的显示属性。
在一种可选的实施方式中,AR眼镜接收到仪表在AR眼镜视区内的位置后,还可以通过除模拟成像以外的方式获取仪表在AR眼镜的眼镜屏幕上的显示属性。示例性的,AR眼镜可以按照AR眼镜视区内地图在AR眼镜屏幕中的预设缩放比例,对仪表在AR眼镜视区内的位置进行缩放,得到仪表在AR眼镜的眼镜屏幕上的显示属性。任何AR眼镜可以根据仪表在AR眼镜视区内的位置,获取仪表在AR眼镜的眼镜屏幕上的显示属性的方式,均可用于本申请,本实施例对此不作限制。
需要说明的是,在本申请实施例中,AR眼镜可通过云端获得仪表的显示属性,从而减少AR眼镜的硬件成本和提高AR眼镜的数据处理效率。在其他实施例中,当AR眼镜的硬件条件和计算能力满足需求时,上述图10实施例中云端执行的步骤可以由AR眼镜执行,相应地,AR眼镜无需执行S301和S306。
上述图10实施例中云端可以基于仪表的空间位置信息和AR眼镜的空间位置信息,以及仪表所处物理环境的地图,分别确定AR眼镜和仪表在地图中的位置。在此基础上,云端可以确定AR眼镜视区,进而AR眼镜基于AR眼镜视区和仪表在地图中的位置,实现仪表在AR眼镜显示屏幕上显示属性的确定,以保证后续AR眼镜可以根据显示属性确定用于显示注释信息的目标区域。
图10实施例中AR眼镜获取物理设备的空间位置信息时,针对不同物理设备的场景,具体可以采用如下两种实施方式之一:
在一种可选的实施方式中,AR眼镜可以获取指定物理设备的空间位置信息,例如,仪表的空间位置信息。这样,后续AR眼镜无需对物理设备的空间位置信息进行筛选,还可以减少空间位置信息对存储空间的占用。示例性的,参见图8,用户可以在AR眼镜镜腿上滑动,以触发对用户注视的对象的空间位置信息的获取指令,此时,AR眼镜通过传感器获取该对象的空间位置信息。可以理解的是,在该场景中AR眼镜可以通过眼动追踪技术识别用户注视的对象。可选地,上述获取指令的触发方式可以由用户自主设置。例如,用户可以开启AR眼镜和手机的蓝牙,对AR眼镜和手机进行配对,进而在手机的AR眼镜设置软件中调整针对AR眼镜的不同指令的触发方式。例如,用户可以将上述获取指令的触发方式设置为语音指令(如语音指令“测量”)。
在另一种可选的实施方式中,AR眼镜可以获取物理环境中所有对象的空间位置信息,例如,树木、输油管道、仪表等对象的空间位置信息。这样,AR眼镜在获取空间位置信息时无需进行指定物理设备的识别。示例性的,图14为示例性示出的物理设备筛选场景的示意图。参见图14中(1)所示内容,AR眼镜上的激光雷达在工作时获取全部对象的空间位置信息:激光雷达除了获取仪表例如仪表1和仪表2这种待显示注释信息的对象的空间位置信息,还会获取输油管道如输油管道1和输油管道2、地面上的物体A、物体B、温度计和树木C的空间位置信息。
可以理解的是,当物理环境的各对象中部分对象需要显示注释信息时,AR眼镜可以从物理环境中所有对象中筛选出待显示注释信息的物理设备,例如仪表,以保证后续能够准确显示注释信息。在一种可选的实施方式中,该物理环境的地图中可以只包括该部分对象,例如仪表。示例性的,参见图14中(3)所示内容,仪表所处物理环境的地图中,可以仅包含仪表。这样,当AR眼镜获取了各对象的空间位置信息并发送给云端时,云端可以利用该地图直接从各对象的空间位置信息中筛选出仪表的空间位置信息,以使得云端发送至AR眼镜的是仪表的显示属性,AR眼镜可以直接利用接收的显示属性执行后续步骤。
示例性的,云端利用仅包含仪表的地图,直接从各对象中筛选出仪表的方式,具体可以包括:在各对象的空间位置信息包括该对象上多个点的空间位置信息的情况下,云端可以基于该对象上多个点的空间位置信息,比较该对象的轮廓与地图中仪表的轮廓。当轮廓间的相似度满足相似度阈值时,确定该对象为仪表。当轮廓间的相似度不满足相似度阈值时,确定该对象不为仪表,并剔除该对象的空间位置信息。这样,云端可以基于仪表的空间位置信息,确定仪表在AR眼镜视区内的位置,并发送仪表的该位置至AR眼镜,从而AR眼镜可以基于所接收的位置进行仪表显示属性的确定。
在一种可选的实施方式中,当AR眼镜获取了各对象的空间位置信息并发送给云端时,如果仪表所处物理环境的地图包含该物理环境中所有对象的建模结果,则云端无法通过该地图和各对象的空间位置信息,筛选需要显示注释信息的对象例如仪表。或者,参见图14中(2)所示内容,如果仪表所处物理环境的地图包含除仪表以外对象的建模结果,例如包含输油管道和温度计,此时,即使云端利用地图进行筛选,温度计和输油管道的空间位置信息仍然无法被筛除。
可见,当获取全部对象的空间位置信息时,在地图中存在全部对象或者仪表以外的部分对象的场景中,云端发送至AR眼镜的各对象在AR眼镜视区内的位置信息,是存在于地图中、且处于AR眼镜视区内的所有对象在AR眼镜视区内的位置信息。此时,参见图14中(2)所示内容,如果AR眼镜直接根据云端发送的AR眼镜视区内的位置信息确定各对象的显示属性,则导致AR眼镜将输油管道和温度计的所在区域被纳入仪表所在区域中,也就是导致物理设备所在区域过大,甚至可能没有位置用于显示注释信息。为了避免该问题,参见图14中(3)所示内容,AR眼镜可以通过摄像头捕捉仪表所处物理环境的图像,结合图像识别从接收到的显示属性中筛选出仪表的显示属性,也就实现了从各对象中筛选仪表的效果。
图15为示例性示出的显示属性的筛选流程示意图。参见图15,AR眼镜筛选显示属性的具体方式可以包括但不限于如下步骤:
S401,采集当前物理环境的图像。
示例性的,AR眼镜可以在接收到云端发送的眼镜视区内的位置时,或者,按照预设周期(也可以是其它触发条件,本申请不做限定),采集当前物理环境也就是仪表所处物理环境的图像。在本申请实施例中,AR眼镜上可以配置有摄像头,AR眼镜可以通过该摄像头采集图像。
S402,对当前物理环境的图像进行物体识别,获得参考显示属性。
示例性的,AR眼镜获取摄像头采集的图像,并对图像进行识别,以检测图像中是否包括特定物理设备。例如,AR眼镜(具体可以是AR眼镜的处理器)通过预先训练得到的图像识别模型,以检测图像中是否包括仪表所对应的图像。当然,在其他实施例中,AR眼镜也可以基于其它识别方式进行图像识别,本申请实施例中的方式仅为示意性举例,本申请不做限定。
示例性的,AR眼镜在识别出特定物理设备后,进一步可以通过图像识别模型识别出该特定物理设备的边缘。AR眼镜识别出特定物理设备的边缘后,可以将该边缘,或者所采集图像中该边缘内的图像内容,在AR眼镜屏幕上进行模拟成像,根据成像结果得到参考显示属性。
可以理解的是,模拟成像为按照人眼成像原理,计算目标对象例如上述边缘或者图像内容在AR眼镜屏幕上的显示属性,此时AR眼镜不对目标对象进行渲染,眼镜屏幕上也不显示目标对象。具体的模拟成像方式与上述S307中的模拟成像类似,区别在于本实施例中获取的显示属性是特定物理设备的参考显示属性,对于相同部分不再赘述。另外,参考显示属性具体包括的参数类型与候选显示属性相同。例如,候选显示属性包括显示区域,则参考显示属性包括显示区域;候选显示属性包括显示区域和轮廓时,则参考显示属性包括显示区域和轮廓,可以根据具体应用需求设置。
S403,基于云端发送的数据,确定多个候选显示属性。
S403在上述S306:云端发送仪表在AR眼镜视区内的位置至AR眼镜之后执行,且应用场景为云端发送至AR眼镜的各对象在AR眼镜视区内的位置信息,是存在于地图中、且处于AR眼镜视区内的所有对象在AR眼镜视区内的位置信息。相应地,S403中云端发送的数据包括各对象在AR眼镜视区内的位置。例如,参见图15中(2)所示内容,待显示注释信息的对象为仪表,而云端发送的多个对象在眼镜视区内的位置包括:仪表(例如压力表)在眼镜视区内的位置和温度计在眼镜视区内的位置,以及输油管道在眼镜视区内的位置。
AR眼镜基于云端发送的数据,确定多个候选显示属性,具体与上述图10实施例中的S307至S308类似,区别在于S403中AR眼镜是分别基于各对象在AR眼镜视区内的位置,确定该对象的显示属性,从而得到多个候选显示属性。示例性的,多个候选显示属性可以包括各仪表的显示属性、温度计的显示属性、和各输油管道的显示属性。
S404,分别计算各候选显示属性与参考显示属性之间的相似度。
在本申请实施例中,相似度的计算可以包括但不限于以下之一:AR眼镜可以计算候选显示属性与参考显示属性之间的欧式距离、差异值、显示属性中显示区域/轮廓间的重合面积占比等等。任何可以计算各候选显示属性与参考显示属性之间的相似度的方法均可用于本申请,本实施例对此不作限制。
S405,基于各候选显示属性的相似度,确定目标显示属性。
在AR眼镜分别计算各候选显示属性与参考显示属性之间的相似度之后,AR眼镜可以基于各候选显示属性的相似度,确定目标显示属性,例如,AR眼镜可以将相似度满足预设阈值条件的候选显示属性,确定为目标显示属性,以在实现筛选的同时,提高显示属性的准确度。其中,预设阈值条件具体可以包括但不限于大于相似度阈值、小于差异值阈值等等,可以按照具体应用需求设置。例如,相似度大于80%,该候选显示属性为仪表的显示属性,可以确定为目标显示数据。相似度小于80%,该候选显示属性可能为温度计或者输油管道的显示属性,可以剔除。
可以理解的是,对于同一对象而言,通过图像识别得到的参考显示属性和根据云端发送的数据得到的候选显示属性类似。其中,参考显示属性为指定对象例如仪表的显示属性,AR眼镜可以将满足上述预设阈值条件的候选显示属性确定为目标显示属性。与图像识别得到的参考显示属性相比,按照成像原理得到的候选显示属性通常具有更高的准确度,本实施例从候选显示属性中确定目标显示属性,可以使得目标显示属性也就是仪表的显示属性准确度更高。
这样,上述图14实施例通过图像识别获得参考显示属性,进而利用参考显示属性对候选显示属性进行筛选得到目标显示属性,可以保证确定的显示属性也就是目标显示属性是指定物理设备的更加准确的显示属性,从而保证后续基于显示属性进行的信息显示更加准确。
S103,基于物理设备在AR设备屏幕中的显示属性,确定物理设备在AR眼镜屏幕上的所在区域。
物理设备(例如仪表)在AR设备屏幕中的显示属性可以包括:仪表在AR眼镜屏幕上的显示区域和/或轮廓。物理设备在AR眼镜屏幕上的所在区域即物理设备所在区域,例如仪表所在区域。
示例性的,以仪表在AR眼镜屏幕上的显示区域为例,图16为示例性示出的物理设备在AR眼镜屏幕上的所在区域确定流程示意图。参见图16,上述S103具体可以包括但不限于如下步骤:
S501,判断仪表的数量是否大于1。
示例性的,AR眼镜获取到仪表的数量后,检测仪表的数量是否大于1。一个示例中,若为否,例如仪表的数量为1,也就是仪表数量为单个,则执行S508。另一个示例中,若仪表的数量大于1,也就是仪表数量为多个,则执行S502。示例性的,仪表可选地为处于AR眼镜视区内、且待显示注释信息的仪表。
示例性的,在确定仪表的显示属性的过程中,参考显示属性是对仪表所处物理环境图像进行针对仪表的图像识别得到的,这样,参考显示属性的数量代表仪表的数量。AR眼镜可以统计参考显示属性的数量,通过判断该数量是否为一,即可得到仪表的数量是否为一个的判断结果。
示例性的,用户通过AR眼镜预先建立仪表所处物理环境的地图时,可以获知地图中仪表的数量,可以预先在云端存储该物理环境中仪表的数量,进而随仪表在AR眼镜视区中的位置发送至AR眼镜。这样,AR眼镜可以直接判断该数量的大小。
任何可以判断仪表的数量是否为一个的方式均可用于本申请,本实施例对此不作限制。
S502,分别根据各仪表的显示属性,确定该仪表的显示区域。
仪表的显示区域即仪表在AR眼镜屏幕上的显示区域,可以表征仪表显示在AR眼镜屏幕上时占据的区域。当仪表的显示属性包括仪表表面上各点在AR眼镜屏幕上的坐标时,AR眼镜可以将各点坐标形成的区域确定为该仪表的显示区域;当仪表的显示属性包括该仪表的轮廓时,AR眼镜可以将该轮廓和该轮廓内的区域确定为该仪表的显示区域。
可以理解的是,各仪表的显示属性为AR眼镜通过模拟成像得到,相应地,上述显示区域相当于对各仪表在AR眼镜的眼镜屏幕进行模拟成像时占据的区域。AR眼镜确定仪表的显示区域时,无需将仪表显示在眼镜屏幕上,按照眼镜屏幕的成像原理计算即可得到。
S503,确定各显示区域的边缘。
示例性的,确定各显示区域的边缘,具体可以包括:AR眼镜获取该显示区域所属仪表的轮廓,识别仪表的轮廓中指定形状的部分,将该指定形状的轮廓确定为该显示区域的边缘。其中,指定形状可以为仪表上信息展示区域的形状。图17a为示例性示出的显示区域未融合场景下的仪表所在区域示意图。参见图17a,指定形状为仪表表盘例如1801的形状:圆形。参见图17a,仪表A的显示区域的边缘可以为仪表A的表盘(如1801)的边缘;类似的,仪表B的显示区域的边缘可以为仪表B表盘(如1802)的边缘;仪表C的显示区域的边缘可以为仪表C表盘(如1803)的边缘;仪表D的显示区域的边缘可以为仪表D表盘(如1804)的边缘;仪表E的显示区域的边缘可以为仪表E表盘(如1805)的边缘,以不遮挡仪表上显示的数据。
在一种可选的实施方式中,确定各显示区域的边缘,具体可以包括:AR眼镜获取该显示区域所属仪表的轮廓,将该轮廓确定为该显示区域的边缘。也就是说,仪表A的显示区域的边缘可以为仪表A自身的轮廓;类似的,仪表B的显示区域的边缘可以为仪表B自身的轮廓,仪表。
S504,判断各显示区域的边缘之间的最小距离是否小于预设值。
示例性的,AR眼镜确定各显示区域的边缘之后,计算每两个显示区域的边缘之间的距离,进而检测各显示区域的边缘之间的最小距离是否小于预设值。在一个示例中,若各显示区域的边缘之间的最小距离小于预设值,则执行S505。在另一个示例中,若各显示区域的边缘之间的最小距离大于或者等于预设值,则执行S507。
在一种可选的实施方式中,各边缘可以分别包括多个点的坐标,每两个边缘也就是每两个仪表之间的距离为多个。对此,AR眼镜可以选择每两个边缘之间的距离中,最小距离作为是否融合显示区域的依据。这样,可以保证AR眼镜通过显示区域确定的仪表所在区域更加合理,进一步减少基于仪表所在区域显示的注释信息对仪表上数据的遮挡、不同仪表的注释信息相互遮挡的问题。其中,预设值可以根据具体应用需求设置,例如可以为1cm。
S505,将相应的显示区域融合为一个显示区域。
在AR眼镜确定各显示区域的边缘之间的最小距离小于预设值时,可以将相应的显示区域融合为一个显示区域。其中,相应的显示区域指最小距离对应的显示区域。例如,显示区域1的边缘与显示区域2的边缘之间的最小距离小于预设值,则相应的显示区域包括显示区域1和显示区域2。
示例性的,AR眼镜将相应的显示区域融合为一个显示区域,具体可以包括:AR眼镜将相应的显示区域,例如显示区域1和显示区域2的最小距离对应的相邻边缘删除,并连接相邻边缘中最大距离对应的点。这样,得到的融合后的显示区域也就是上述一个显示区域,可以将显示区域1和显示区域2均容纳在内。
例如,图17b为示例性示出的显示区域融合场景下的仪表所在区域示意图。参见图17b,仪表的显示区域与图中仪表所在区域类似,区别在于显示区域可以是仪表的轮廓本身。这样,仪表A的显示区域与仪表C至仪表E的各显示区域间距离均大于1cm,仪表A的显示区域无需融合。仪表B和仪表C的显示区域边缘间的距离小于1cm,可以将仪表B和仪表C的显示区域融合为一个显示区域,具体与仪表B和仪表C所在区域B2类似。仪表D和仪表E的显示区域边缘间的距离小于1cm,可以将仪表D和仪表E的显示区域融合为一个显示区域,具体与仪表D和仪表E所在区域D2类似。这样,AR眼镜在完成了各区域的融合处理后,可以得到至少一个显示区域。
S506,基于至少一个显示区域,确定仪表所在区域。
AR眼镜完成各显示区域是否融合的判断、对需要融合的显示区域的融合后,可以基于至少一个显示区域,确定仪表所在区域。AR眼镜基于至少一个显示区域,确定仪表所在区域,具体可以是包括但不限于以下方式之一:
在一种可选的实施方式中,AR眼镜可以将得到的至少一个显示区域,直接确定为仪表所在区域。
在另一种可选的实施方式中,AR眼镜可以将至少一个显示区域的边缘向外延伸,确定为仪表所在区域;当AR眼镜检测到延伸后显示区域的数量为多个时,将各延伸后显示区域中,边缘之间的距离小于预设值的延伸后显示区域融合为一个显示区域;完成融合后,得到仪表所在区域。
在另一种可选的实施方式中,当AR眼镜检测到延伸后显示区域的数量为一个,或者各延伸后显示区域的边缘之间的距离大于/等于预设值时,可以直接将延伸后显示区域确定为仪表所在区域。
在另一种可选的实施方式中,AR眼镜将显示区域融合为一个显示区域,或者将显示区域的边缘向外延伸后,可以返回执行上述S504:判断各显示区域的边缘之间的最小距离是否小于预设值。这样,可以保证对用于确定仪表所在区域的显示区域更加合理,适应融合后显示区域的变化对仪表所在区域的影响,从而保证仪表所在区域更加合理、准确。
可以理解的是,当仪表数量为多个时,可能存在多个仪表相互重叠、密集分布的情况。对此,本实施例通过判断仪表的数量是否为一个,可以对不同分布情况进行有针对性的处理,从而更加合理、准确地确定仪表在AR眼镜屏幕上的所在区域。
为了便于理解,下面以延伸后显示区域为例进行具体说明。
示例性的,参见图17a,对仪表A的延伸后显示区域可以直接确定为仪表A所在区域A1,仪表B和仪表C的延伸后显示区域边缘间的距离小于1cm,没有进行显示区域融合时,仪表B所在区域B1和仪表C所在区域C1相互独立,那么仪表B的注释信息可能会显示在区域C1处,仪表C的注释信息可能会显示在区域B1处。类似的,仪表D和仪表E的延伸后显示区域边缘间的距离小于1cm,没有进行显示区域融合时,仪表D所在区域D1和仪表E所在区域E1相互独立,那么仪表D和仪表E的注释信息都有可能显示在区域D1和区域E1的间隙中,遮挡仪表D和仪表E上的数据、互相遮挡等。可以理解的是,没有延伸的显示区域与图17a中延伸后显示区域的场景类似,区别在于区域的大小不同,对于相同部分可以参见图17a实施例的描述。
对于上述遮挡的情况,当两个仪表的显示区域的边缘间最小距离小于预设值时,可以将这两个物理设备的显示区域融合为一个大的显示区域。这样,可以保证基于仪表所在区域显示的这两个仪表的注释信息不会显示在这两个边缘之间,也就不会因边缘间距离过小而遮挡仪表上的数据,也可以减少这两个仪表的注释信息相互遮挡的情况。以此类推,对各仪表中每两个仪表进行上述处理,可以进一步减少各注释信息相互遮挡的情况。
示例性的,参见图17b,仪表A的延伸后显示区域与仪表C至仪表E的各延伸后显示区域间的距离均大于1cm,仪表A的延伸后显示区域无需融合。仪表B和仪表C的延伸后显示区域边缘间的距离小于1cm,可以将仪表B和仪表C的延伸后显示区域融合为一个显示区域,得到仪表B和仪表C所在区域B2。仪表D和仪表E的延伸后显示区域边缘间的距离小于1cm,可以将仪表D和仪表E的延伸后显示区域融合为一个显示区域。这样,完成了各区域的融合处理后,可以得到至少一个显示区域,也就得到了仪表D和仪表E所在区域D2。
S507,基于显示区域,确定仪表所在区域。
S507与上述S506类似,区别在于S507无需对显示区域进行融合,对于相同部分在此不再赘述,详见上述S506的描述。
S508,根据仪表的显示属性,确定仪表的显示区域。
S508与上述S502类似,区别在于仪表的个数为一个,对于相同部分在此不再赘述,详见上述S502的描述。
S509,基于仪表的显示区域,确定仪表所在区域。
在具体应用中,基于仪表的显示区域,确定仪表所在区域,可以包括:将仪表的显示区域确定为仪表所在区域;或者,将仪表的显示区域的边缘向外延伸预设距离,得到仪表所在区域。
在一种可选的实施方式中,当执行了S502或者S508后,可以直接基于仪表的显示区域,确定该仪表的原始所在区域,进而基于原始所在区域,确定仪表的目标所在区域。其中,示例性的,可以直接将仪表的显示区域确定为该仪表的原始所在区域,或者,可以采用与上述图16实施例S502或者S508之后的步骤相似的方式实现。区别在于将S502或者S508之后步骤中的显示区域和仪表所在区域,分别适应性替换为原始所在区域和目标所在区域。对于相同部分在此不再赘述,详见上述图16实施例相应步骤的描述。
示例性的,AR眼镜基于原始所在区域,确定仪表的目标所在区域的具体方式,可以与上述图16实施例S502或者S508之后的步骤相似。区别在于本实施例中将S502或者S508之后步骤中的显示区域和仪表所在区域,分别适应性替换为原始所在区域和目标所在区域。对于相同部分在此不再赘述,详见上述图16实施例相关步骤的描述。
可以理解的是,图16实施例中各步骤适用的仪表数量,在上述可选实施例中同样适用,也就是说,各实施例均执行S501至S502,或者S501至S508。
S104,基于物理设备所在区域,在AR眼镜屏幕上显示注释信息。
在本申请实施例中,AR眼镜在确定了物理设备所在区域后,对注释信息和物理设备例如仪表进行关联显示,具体可以包括:AR眼镜在仪表附近显示注释信息、在仪表上引出的指示标记中显示注释信息等等。这样,注释信息在支持AR功能的电子设备屏幕例如AR眼镜屏幕上的显示位置,受到仪表在物理环境中的分布位置,和/或仪表在AR眼镜屏幕上的显示区域影响。基于此,AR眼镜可以基于物理设备所在区域,AR眼镜可以在AR眼镜屏幕上显示注释信息。
可以理解的是,物理设备所在区域即物理设备在AR眼镜屏幕上的所在区域,例如上述仪表所在区域。示例性的,基于物理设备所在区域,在AR眼镜屏幕上显示注释信息,具体可以包括:AR眼镜在AR眼镜屏幕上确定与物理设备所在区域不重叠的目标区域,在目标区域内显示注释信息。这样,可以减少注释信息对物理设备上信息的遮挡、注释信息间相互遮挡的情况,也就是说,可以将物理设备所在区域作为禁止显示注释信息的区域。
可见,AR眼镜基于物理设备在AR设备屏幕中的显示属性,确定物理设备在AR眼镜屏幕上的所在区域,进而基于物理设备的所在区域,在AR眼镜屏幕上显示注释信息,可以保证注释信息在AR眼镜屏幕上的显示位置能够随物理设备在AR眼镜屏幕上的所在区域适应性调整。这样,当仪表在物理环境中的密集分布,和/或仪表在AR眼镜屏幕上密集分布时,注释信息的显示区域可以避开仪表在AR眼镜屏幕上的所在区域,从而减少注释信息互相遮挡、注释信息遮挡仪表上信息等问题。这样,用户无需实际查看物理设备上的信息,信息查看更加便捷。
示例性的,图18为示例性示出的目标区域示意图。参见图18,目标区域与仪表A所在区域A1不重叠,AR眼镜可以从区域1至区域4中确定目标区域,也就是目标区域可以在仪表所在区域的四个方向处。可以理解的是,图18中的区域1至区域4仅为目标区域的位置示例,目标区域的具体大小可以根据具体应用需求设置,本实施例对此不作限制。
需要说明的是,图18中区域1至区域4与仪表A所在区域A1间的各空隙(例如空隙1),与仪表A所在区域A1不重叠可以用于显示注释信息。具体的,AR眼镜可以将与区域1至区域4中之一相邻的空隙作为该区域的一部分,也就是作为目标区域的一部分。举例而言,参见图18,目标区域为区域1,空隙1可以作为该目标区域的一部分;或者,目标区域为区域2,空隙1可以作为该目标区域的一部分。类似地,图18中的其他三个空隙可以在与之相邻的区域为目标区域时,作为目标区域的一部分,此处不再赘述,可以参见空隙1的描述。
在一种可选的实施方式中,用户或者开发人员可以通过AR眼镜将区域1至区域4中的一个区域所在的方向设置为预设方向,例如区域1所在的方向设置为预设方向。在此基础上,当AR眼镜确定另一仪表的目标区域,与仪表A的预设目标区域(例如区域1)存在重叠,则从区域2至区域4所在的方向中重新确定仪表A的目标区域。以此类推,直到确定与另一仪表的目标区域无重叠的目标区域,则得到仪表A的目标区域。其中,另一仪表可以包括在仪表A之后确定目标区域的仪表、和/或与仪表A相邻的仪表等等,本申请对此不作限制。
在另一种可选的实施方式中,仍参见图18,区域1至区域4与仪表A所在区域A1间的各空隙(例如空隙1),与仪表A所在区域A1不重叠可以用于显示注释信息,则确定的目标区域中可以包含与该目标区域相邻的空隙。举例而言,目标区域为区域1,空隙1可以作为该目标区域的一部分;或者,目标区域为区域2,空隙1可以作为该目标区域的一部分。类似地,图18中的其他三个空隙可以在与之相邻的区域为目标区域时,作为该目标区域的一部分,此处不再赘述,可以参见空隙1的描述。
在一种可选的实施方式中,当AR眼镜无法从区域1至区域4中确定目标区域时,例如,AR眼镜确定区域1至区域4的尺寸无法满足注释信息的显示需求、或区域1至区域4均与另一仪表的目标区域存在重叠时,可以利用预设的标识符替代注释信息进行显示。这样,当用户触摸预设的标识符时,AR眼镜可以在眼镜屏幕所显示画面的最上层,以悬浮窗等形式显示注释信息。其中,预设的标识符可以是指定符号,或者部分注释内容来代表标识符。
对于目标区域的尺寸无法满足注释信息的显示需求的场景,预设的标识符可以显示在该目标区域中;对于区域1至区域4均与另一仪表的目标区域存在重叠的场景,预设的标识符可以显示在预设的目标区域中没有与另一仪表的目标区域重叠的部分,或者显示在指定区域中没有与另一仪表的目标区域重叠的部分。指定区域包括区域1至区域4中,与另一仪表的目标区域重叠部分面积最小的区域。
这样,通过预设的标识符,AR眼镜可以进一步减少注释信息之间的重叠,以及注释信息遮挡仪表上信息的情况,也可以保证本申请实施例能够应用于目标区域无法确定的场景。
在一种可选的实施方式中,注释信息的显示尺寸,例如字体大小、图片尺寸可以根据该注释信息所属仪表与AR眼镜间的距离设置。示例性的,仪表与AR眼镜间的距离越远,注释信息的字体越小。具体的显示尺寸、显示尺寸随距离差异的缩小程度,可以按照应用需求设置,本实施例对此不作限制。在一种情况中,为了便于用户查看,AR眼镜中可以预先设置有注释信息显示尺寸的最小值,当注释信息的显示尺寸达到该最小值后,注释信息的显示尺寸不再随着与AR眼镜间距离的增加而减小。这样,可以实现注释信息的显示尺寸与人眼观察的尺寸差异类似:距离人眼越远,尺寸越小,更加真实。通过显示尺寸的减小,在一定程度上进一步减少注释信息的遮挡问题。
在一种可选的实施方式中,AR眼镜可以在确定注释信息的显示尺寸后,确定与该显示尺寸对应目标区域尺寸,进而基于该目标区域尺寸和仪表所在区域,确定目标区域。这样,可以尽可能保证目标区域的尺寸满足注释信息的显示需求,减少需要用户触摸标识符才能查看注释信息的情况,更加便捷。
在一种可选的实施方式中,AR眼镜可以根据物理设备和AR眼镜间的距离,设置各物理设备(例如各仪表)的目标区域的确定顺序。例如,仪表与AR眼镜间的距离越近,越先确定该仪表的目标区域。通常情况下,远处仪表在人眼观察中容易显得密集。这样,AR眼镜可以让先确定的目标区域尽可能为预设的目标区域,从而保证当后确定目标区域的仪表,例如远处仪表的预设的目标区域存在重叠时,能够有可用的区域作为目标区域。这样,可以尽可能减少后确定目标区域的仪表的注释信息间的重叠。当然,在一种情况中,可以是仪表与AR眼镜间的距离越远,越先确定该仪表的目标区域。
在一种可选的实施方式中,各仪表的目标区域确定和注释信息显示的执行顺序可以包括但不限于以下示例之一:示例性的,AR眼镜可以在确定各仪表的目标区域后,统一显示注释信息;或者,AR眼镜可以在确定一个仪表的目标区域后,显示下一个仪表的注释信息之前,即显示该仪表的注释信息;或者,AR眼镜可以在确定指定数量个仪表/指定区域处仪表的目标区域后,即显示这些仪表的注释信息。本实施例对各仪表的目标区域的确定和注释信息的显示的执行顺序不作限制。
另外,AR眼镜可以通过多种方式获取注释信息的内容。示例性的,AR眼镜可以通过与AR眼镜连接的网络获取注释信息的内容,该网络可以从云端、仪表的管理服务器等设备中获取注释信息,进而传输至AR眼镜。或者,AR眼镜可以通过AR眼镜的摄像头对仪表进行图像采集,AR眼镜对该图像进行指定内容的识别,例如仪表上的序列号、显示信息、仪表读数的识别等,得到注释信息的内容。其中,通过网络获取的注释信息的内容例如是仪表的故障信息、物联网(Internet of Things,IoT)信息等。物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等装置与技术,采集任何需要检测、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种信息。
为了便于理解,下面以仪表所处物理环境的不同场景、AR眼镜对注释信息的不同显示效果为例,对示例性示出的信息显示方法进行示例性说明。
示例性的,图19为示例性示出的仪表所处物理环境的一种示意图。参见图19,用户处于某个位置时人眼看到的物理世界景象包括但不限于以下至少之一:油田环境中的输油管道(如输油管道1、输油管道2)、气压计(如仪表1和仪表2)和温度计等。AR眼镜通过陀螺仪获取AR眼镜的6DOF位姿坐标,通过激光雷达扫描得到气压计和输油管道,以及温度计相对于AR眼镜的空间坐标,并上传到云端。云端根据AR眼镜的6DOF位姿坐标,在预先存储的地图中确定AR眼镜视区,并找到AR眼镜视区中气压计和输油管道,以及温度计的位置,将各位置下发到AR眼镜。可以理解的是,当上述地图中只包含气压计和温度计时,则云端下发到AR眼镜的是气压计和温度计在眼镜视区中的位置,不包含输油管道在眼镜视区中的位置。
AR眼镜在接收到云端的数据后,进行模拟成像,确定各仪表在眼镜屏幕上的显示属性。此时,显示属性包括气压计、温度计和输油管道的显示属性,即候选显示属性。对此,AR眼镜通过摄像头采集图19所示物理环境的图像,进行图像识别,识别出气压计,进而将物理环境的图像进行眼镜屏幕上的模拟成像,得到气压计在眼镜屏幕上的参考显示属性。然后,将参考显示属性和候选显示属性进行比对,筛选出与参考显示属性的重合度在80%以上的候选显示属性,即得到气压计的更加准确的目标显示属性。图20a为示例性示出的各仪表原始所在区域示意图。参见图20a,AR眼镜根据每个气压计的显示属性确定显示区域的边缘,将显示区域的边缘向外延伸1cm,得到每个气压计原始所在区域,例如仪表1原始所在区域:区域Q1。
在得到每个气压计所在区域后,图20b为示例性示出的各仪表目标所在区域示意图。参见图20b,各气压计原始所在区域间边缘间距离小于1cm的情况,将各气压计原始所在区域融合为区域,得到目标所在区域也就是各仪表所在区域,例如区域Q2。
在上述基础上,图20c为示例性示出的各仪表目标区域示意图。参见图20c,AR眼镜在各仪表所在区域外也就是目标区域中显示注释信息,仪表相对于AR眼镜的距离越远,注释信息的字体越小,例如注释信息201的字体大于注释信息203的字体。
可以理解的是,上述图20a至图20c是为了便于理解,对注释信息的显示位置和显示效果的确定过程的示意,在执行图20a至图20c实施例的步骤时,AR眼镜屏幕上可以不显示相应的示意图。
在具体应用中,不同的AR眼镜可以显示不同的内容,示例性的,当AR眼镜包含透明镜片时,用户可以直接透过透明镜片观察仪表所处的物理环境,则AR眼镜可以在眼镜屏幕上显示注释信息。或者,示例性的,当AR眼镜的眼镜屏幕不是透明镜片、且眼镜屏幕上可以显示物理环境图像时,用户观察到的是眼镜屏幕上显示的物理环境图像,则AR眼镜可以在眼镜屏幕上显示注释信息和仪表。在一种情况中,除了注释信息,AR眼镜的眼镜镜片上还可以显示安装有仪表的管道等仪表所处物理环境中的至少一种物体。相应地,用户对注释信息的观察效果可以是包括但不限于。为了便于理解,下面对注释信息的多种观察效果进行示例性说明。
示例性的,图21为示例性示出的注释信息的一种观察效果示意图。参见图21,当用户可以通过AR眼镜的透明镜片观察到仪表所处物理环境时,用户观察到的物理环境中,各仪表上会标注出注释信息。或者,可以在AR眼镜屏幕上显示图21所示的画面,用户直接观察AR眼镜屏幕即可。注释信息的显示位置可以从仪表所在区域的四个方向中确定,以减少注释信息间的遮挡,例如注释信息203和注释信息204。
示例性的,图22为示例性示出的注释信息的另一种观察效果示意图。参见图22,当仪表所处物理环境中还包括树木、物理A和物理B时,用户通过AR眼镜的透明镜片观察到的物理环境中,显示有各仪表的注释信息。或者,可以在AR眼镜屏幕上显示图22所示的画面,用户直接观察AR眼镜屏幕即可。
图23为示例性示出的注释信息的显示效果示意图。可以理解的是,在图21和图22实施例的用户可以通过AR眼镜的透明镜片观察物理环境的场景中,参见图23,AR眼镜屏幕,例如AR眼镜屏幕G1上显示的内容为注释信息。注释信息的显示位置按照相应仪表在AR眼镜屏幕中的显示区域确定,可以实现图21和图22的观察效果。类似的,AR眼镜的另一眼镜屏幕上可以显示同样的注释信息,区别在于针对不同镜片注释信息存在显示位置上的差异。
这样,通过示例性示出的信息显示方法,可以在与物理设备的显示区域不重叠的目标区域显示注释信息,从而减少显示的注释信息对物理设备造成遮挡。在此基础上,用户可以对物理设备上的信息和注释信息进行比对,以进行校验,更加便捷、准确。
在具体应用中,本申请实施例应用于支持AR功能的手机时,手机执行的步骤与AR眼镜执行的步骤类似,区别在于在应用于手机的场景中,将上述AR眼镜屏幕替换为手机屏幕,用户与AR眼镜的交互方式可以替换为触摸手机触摸屏、操作快捷按键等方式。对于相同内容在此不再赘述,详见上述以AR眼镜为例的实施例的描述。
可以理解的是,电子设备例如上述支持AR功能的手机,为了实现上述信息显示方法的功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
示例性的,图24为示例性示出的一种装置500的示意性框图。参见图24,装置500可包括:处理器501和收发器/收发管脚502,可选地,还包括存储器503。
装置500的各个组件通过总线504耦合在一起,其中总线504除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都称为总线504。
可选地,存储器503可以用于前述方法实施例中的指令。该处理器501可用于执行存储器503中的指令,并控制接收管脚接收信号,以及控制发送管脚发送信号。
装置500可以是上述方法实施例中的手机、智能手表或云端中的服务器。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备或网络设备(例如云服务器)上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的信息显示方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的信息显示方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的信息显示方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (20)
1.一种信息显示方法,其特征在于,应用于电子设备,所述方法包括:
获取第一物理设备的第一空间位置信息和所述电子设备的第二空间位置信息;其中,所述第一空间位置信息用于指示所述第一物理设备在物理环境中的位置,所述第二空间位置信息用于指示所述电子设备在所述物理环境中的位置;
基于所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的第一显示区域;
基于所述第一显示区域,确定所述第一物理设备的第一目标区域;其中,所述第一目标区域与所述第一显示区域不重叠;
在所述第一目标区域中显示所述第一物理设备的注释信息。
2.根据权利要求1所述的方法,其特征在于,所述注释信息包括以下至少之一:
所述第一物理设备的设备信息、数字信息;
其中,所述数字信息为所述第一物理设备的显示屏幕上显示的信息。
3.根据权利要求1所述的方法,其特征在于,所述第一目标区域与第二物理设备的第二显示区域不重叠;所述第二物理设备与所述第一物理设备相邻。
4.根据权利要求3所述的方法,其特征在于,基于所述第一显示区域,确定所述第一物理设备的第一目标区域,包括:
在所述第一显示区域外的第一预设方向上,确定第一待选目标区域;
若检测到所述第一待选目标区域与所述第二显示区域不重叠,确定所述第一待选目标区域为所述第一目标区域;
若检测到所述第一待选目标区域与所述第二显示区域重叠,在所述第一显示区域外的第二预设方向上,确定第二待选目标区域;所述第二预设方向与所述第一预设方向不同;
若检测到所述第二待选目标区域与所述第二显示区域不重叠,确定所述第二待选目标区域为所述第一目标区域。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的第一显示区域之后,所述方法还包括:
获取第三物理设备的第三空间位置信息;其中,所述第三物理设备与所述电子设备间的距离大于所述第一物理设备与所述电子设备之间的距离;所述第三空间位置信息用于指示所述第三物理设备在所述物理环境中的位置;
基于所述第三空间位置信息和所述第二空间位置信息,确定所述第三物理设备在所述电子设备的显示屏幕中的第三显示区域;
所述基于所述第一显示区域,确定所述第一物理设备的第一目标区域之后,所述方法还包括:
基于所述第三显示区域,确定所述第三物理设备的第二目标区域;其中,所述第二目标区域与所述第三显示区域不重叠且与所述第一目标区域不重叠;所述第二目标区域与所述第一目标区域的方向不同;
在所述第二目标区域中显示所述第三物理设备的注释信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述第一显示区域,确定所述第一物理设备的第一目标区域,包括:
确定所述第一物理设备的注释信息的显示尺寸;
基于所述第一物理设备的注释信息的显示尺寸,确定所述第一物理设备的第一目标区域的区域尺寸;
按照所述区域尺寸,确定与所述第一物理设备的第一显示区域不重叠的第一目标区域。
7.根据权利要求6所述的方法,其特征在于,所述确定所述第一物理设备的注释信息的显示尺寸,包括:
获取所述第一物理设备与所述电子设备间的距离;
根据所述距离的大小,确定所述第一物理设备的注释信息的显示尺寸。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
获取第四物理设备的第四空间位置信息;其中,所述第四空间位置信息用于指示所述第四物理设备在所述物理环境中的位置;
基于所述第四空间位置信息和所述第二空间位置信息,确定所述第四物理设备在所述电子设备的显示屏幕中的第四显示区域;
若所述第四物理设备的第四目标区域确定失败,则确定与所述第四物理设备对应的标识符;
在所述第四目标区域的无重叠位置处显示所述标识符;
当接收针对所述标识符的触摸指令时,在所述显示屏幕所显示画面的最上层显示所述第四物理设备的注释信息。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述基于所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的第一显示区域,包括:
根据所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的显示属性;
根据所述显示属性,确定所述第一物理设备在所述电子设备的显示屏幕中的第一显示区域。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的显示属性,包括:
根据所述第一空间位置信息和所述第二空间位置信息,获取所述第一物理设备在电子设备视区内的视区位置;
根据所述视区位置,确定所述第一物理设备的显示属性。
11.根据权利要求10所述的方法,其特征在于,所述根据所述视区位置,确定所述物理设备的显示属性,包括:
根据所述视区位置,对所述第一物理设备进行模拟成像,得到所述第一物理设备的显示属性。
12.根据权利要求9-11任一项所述的方法,其特征在于,所述第一物理设备的数量为多个;
所述在所述第一物理设备对应的第一目标区域中显示所述物理设备的注释信息,包括:
从多个第一物理设备中筛选指定物理设备;
在所述指定物理设备对应的第一目标区域中显示所述物理设备的注释信息。
13.根据权利要求12所述的方法,其特征在于,所述指定物理设备为具有目标显示属性的物理设备。
14.根据权利要求13所述的方法,其特征在于,所述根据所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备的显示屏幕中的显示属性,包括:
采集所述物理环境的图像;
识别所述物理环境的图像中的指定物理设备,获得参考显示属性;
根据所述多个第一物理设备中,每个第一物理设备的所述第一空间位置信息和所述第二空间位置信息,确定所述每个第一物理设备在所述电子设备的显示屏幕中的候选显示属性;
计算每个候选显示属性与所述参考显示属性之间的相似度;
基于所述每个候选显示属性对应的相似度,确定所述目标显示属性,得到所述第一物理设备在所述电子设备的显示屏幕中的显示属性。
15.根据权利要求12所述的方法,其特征在于,所述指定物理设备为具有目标视区位置的第一物理设备。
16.根据权利要求10-15任一项所述的方法,其特征在于,所述根据所述第一空间位置信息和所述第二空间位置信息,获取所述第一物理设备在电子设备视区内的视区位置,包括:
向云端发送指示信息,所述指示信息中包括所述第一空间位置信息和所述第二空间位置信息,所述指示信息用于指示所述云端根据所述第二空间位置信息,在预存地图中确定电子设备视区,并根据所述第一空间位置信息和所述第二空间位置信息,确定所述第一物理设备在所述电子设备视区内的视区位置;
接收所述云端发送的所述视区位置。
17.根据权利要求9-16任一项所述的方法,其特征在于,所述根据所述显示属性,确定所述第一物理设备在所述电子设备的显示屏幕中的第一显示区域,包括:
根据所述第一物理设备的显示属性,确定所述第一物理设备的候选显示区域;
当所述第一物理设备的所述候选显示区域的边缘与另一物理设备的候选显示区域的边缘之间的最小距离小于预设值时,将所述第一物理设备的候选显示区域与所述另一物理设备的候选显示区域进行融合,得到所述第一显示区域;其中,所述第一显示区域覆盖所述第一物理设备与所述另一物理设备。
18.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至17中任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在电子设备运行时,使得所述电子设备执行如权利要求1至17中任一项所述的方法。
20.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被电子设备执行时,使得所述电子设备执行权利要求1至17任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210798331.9A CN117406849A (zh) | 2022-07-08 | 2022-07-08 | 信息显示方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210798331.9A CN117406849A (zh) | 2022-07-08 | 2022-07-08 | 信息显示方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117406849A true CN117406849A (zh) | 2024-01-16 |
Family
ID=89491308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210798331.9A Pending CN117406849A (zh) | 2022-07-08 | 2022-07-08 | 信息显示方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117406849A (zh) |
-
2022
- 2022-07-08 CN CN202210798331.9A patent/CN117406849A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101809067B1 (ko) | 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법 | |
CN109947886B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
EP2915140B1 (en) | Fast initialization for monocular visual slam | |
CN107111381A (zh) | 视线检测系统、凝视点确认方法以及凝视点确认程序 | |
KR20170088655A (ko) | 증강 현실 출력 방법 및 이를 지원하는 전자 장치 | |
KR101330805B1 (ko) | 증강 현실 제공 장치 및 방법 | |
US11416719B2 (en) | Localization method and helmet and computer readable storage medium using the same | |
CN112884873B (zh) | 虚拟环境中虚拟物体的渲染方法、装置、设备及介质 | |
CN111311757B (zh) | 一种场景合成方法、装置、存储介质及移动终端 | |
CN113691331B (zh) | 一种信号强度预测的方法及移动终端 | |
KR20210052570A (ko) | 분리가능한 왜곡 불일치 결정 | |
CN111784841B (zh) | 重建三维图像的方法、装置、电子设备及介质 | |
CN111127541A (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN111754564B (zh) | 视频展示方法、装置、设备及存储介质 | |
US9779328B2 (en) | Range image generation | |
CN110728744B (zh) | 一种体绘制方法、装置及智能设备 | |
CN117406849A (zh) | 信息显示方法及电子设备 | |
CN112585673A (zh) | 信息处理设备、信息处理方法及程序 | |
KR101729923B1 (ko) | 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템 | |
CN112308766B (zh) | 一种图像数据展示方法、装置、电子设备及存储介质 | |
CN112882094B (zh) | 初至波的获取方法、装置、计算机设备及存储介质 | |
CN115205364A (zh) | 对象高度的确定方法、装置及存储介质 | |
KR20180083144A (ko) | 마커를 검출하기 위한 방법 및 그 전자 장치 | |
CN109685881B (zh) | 一种体绘制方法、装置及智能设备 | |
KR101704513B1 (ko) | 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |