CN107506032A - 基于透明显示器的增强现实显示方法和装置 - Google Patents

基于透明显示器的增强现实显示方法和装置 Download PDF

Info

Publication number
CN107506032A
CN107506032A CN201710707974.7A CN201710707974A CN107506032A CN 107506032 A CN107506032 A CN 107506032A CN 201710707974 A CN201710707974 A CN 201710707974A CN 107506032 A CN107506032 A CN 107506032A
Authority
CN
China
Prior art keywords
display
transparent display
dimensional coordinate
augmented reality
auxiliary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710707974.7A
Other languages
English (en)
Inventor
王利民
周明忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Priority to CN201710707974.7A priority Critical patent/CN107506032A/zh
Priority to PCT/CN2017/100262 priority patent/WO2019033469A1/zh
Priority to US15/750,612 priority patent/US10469819B2/en
Publication of CN107506032A publication Critical patent/CN107506032A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种基于透明显示器的增强现实显示方法和装置，透明显示器介于用户与对象之间，所述增强现实显示方法包括：确定用户视点相对于所述透明显示器的第一三维坐标位置；获取所述对象的辅助信息；确定所述对象相对于所述透明显示器的第二三维坐标位置；基于第一三维坐标位置和第二三维坐标位置确定所述对象在透明显示器上的观看区域的位置，观看区域为在用户视点处透过所述透明显示器观看所述对象的区域；根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置；控制所述透明显示器在所述显示位置显示所述辅助信息。采用上述增强现实显示方法和装置，能够有效避免由于显示对象的辅助信息而造成用户视野被遮挡的问题。

Description

基于透明显示器的增强现实显示方法和装置
技术领域
本发明总体说来涉及增强现实技术领域，更具体地讲，涉及一种基于透明显示器的增强现实显示方法和装置。
背景技术
增强现实技术作为一种实现虚拟与现实结合的技术，已经得到越来越多的关注。作为最近开发的图像技术和透明电子设备技术，活跃地研究了能够看到后部的对象同时显示图像的透明显示器，这种透明显示器是由透明显示面板形成的设备，使得对象可通过透明显示面板被观看。
发明内容
本发明的示例性实施例在于提供一种基于透明显示器的增强现实显示方法和装置，以解决现有的在透明显示器上显示对象的辅助信息时用户的视野易被遮挡的技术问题。
根据本发明示例性实施例的一方面，提供一种基于透明显示器的增强现实显示方法，所述透明显示器介于用户与对象之间，其特征在于，所述增强现实显示方法包括：确定用户视点相对于所述透明显示器的第一三维坐标位置；从所述透明显示器的背后的场景中识别所述对象，并获取所述对象的辅助信息；确定所述对象相对于所述透明显示器的第二三维坐标位置；基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置，其中，所述观看区域为在所述用户视点处透过所述透明显示器观看所述对象的区域；根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置；控制所述透明显示器在所述显示位置显示所述辅助信息。
可选地，确定用户视点相对于所述透明显示器的第一三维坐标位置的步骤可包括：通过设置在所述透明显示器第一表面的第一摄像单元获取用户的人脸图像；对所述人脸图像进行识别，确定人眼在人脸图像中的位置；根据人眼在人脸图像中的位置确定用户视点；以所述透明显示器上的预定位置作为参考坐标系的原点，确定所述用户视点相对于所述原点的三维坐标，并将确定的所述三维坐标作为第一三维坐标位置。
可选地，从透明显示器的背后的场景中识别所述对象的步骤可包括：通过设置在所述透明显示器第二表面的第二摄像单元获取所述场景的图像，其中，第一表面和第二表面可为所述透明显示器彼此背对的两个面；对所述图像进行识别，确定所述图像中的对象，其中，确定所述对象相对于所述透明显示器的第二三维坐标位置的步骤可包括：确定所述对象相对于所述参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
可选地，第一摄像单元在所述透明显示器第一表面上的设置位置与第二摄像单元在所述透明显示器第二表面上的设置位置可彼此背对，所述预定位置可为第一摄像单元在第一表面上的设置位置或第二摄像单元在第二表面上的设置位置。
可选地，所述增强现实显示方法可还包括：对所述图像进行边缘侦测，识别所述对象的边界，其中，第二三维坐标位置可包括所述对象的边界上的所有的点相对于所述原点的三维坐标，其中，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置的步骤可包括：以所述透明显示器所在的平面作为参考平面，将用户视点的第一三维坐标位置与所述对象的边界上的所有的点的三维坐标进行连线，将所述连线与所述参考平面的所有交点所构成的区域在所述透明显示器上的位置作为所述观看区域的位置。
可选地，控制所述透明显示器在所述显示位置显示所述辅助信息的步骤可包括：确定所述辅助信息的类型；根据所述辅助信息的类型，将所述辅助信息显示在所述观看区域的位置的周围，或者使所述辅助信息的显示位置与所述观看区域的位置重合。
可选地，所述增强现实显示方法可还包括：感测外界的环境光值；当外界的环境光值越大时，所述辅助信息的显示亮度值越高。
可选地，所述增强现实显示方法可还包括：感测外界的环境光值；根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的所述环境光值所对应的显示亮度值；将所述辅助信息的显示亮度调整至确定的所述显示亮度值。
根据本发明示例性实施例的另一方面，提供一种增强现实显示装置，所述增强现实显示装置包括：透明显示器，所述透明显示器介于用户与对象之间，第一摄像单元，获取所述用户的人脸图像，第二摄像单元，获取所述透明显示器的背后的场景的图像，处理器，被配置为：基于用户的人脸图像确定用户视点，并确定用户视点相对于所述透明显示器的第一三维坐标位置，基于获取的场景的图像，确定所述图像中的所述对象，并获取所述对象的辅助信息，确定所述对象相对于所述透明显示器的第二三维坐标位置，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置，其中，所述观看区域为在所述用户视点处透过所述透明显示器观看所述对象的区域，根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置，并控制所述透明显示器在所述显示位置显示所述辅助信息。
可选地，确定用户视点相对于所述透明显示器的第一三维坐标位置的处理可包括：对第一摄像单元获取的所述人脸图像进行识别，确定人眼在人脸图像中的位置，根据人眼在人脸图像中的位置确定用户视点，以所述透明显示器上的预定位置作为参考坐标系的原点，确定所述用户视点相对于所述原点的三维坐标，并将确定的所述三维坐标作为第一三维坐标位置。
可选地，从透明显示器的背后的场景中识别所述对象的处理可包括：对获取的场景的图像进行识别，确定所述图像中的对象，其中，确定所述对象相对于所述透明显示器的第二三维坐标位置的的处理可包括：确定所述对象相对于所述参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
可选地，第一摄像单元可设置在所述透明显示器第一表面上，第二摄像单元可设置在所述透明显示器第二表面上，第一表面和第二表面可为所述透明显示器彼此背对的两个面，其中，第一摄像单元在所述透明显示器第一表面上的设置位置与第二摄像单元在所述透明显示器第二表面上的设置位置可彼此背对，所述预定位置可为第一摄像单元在第一表面上的设置位置或第二摄像单元在第二表面上的设置位置。
可选地，处理器可对所述图像进行边缘侦测，识别所述对象的边界，其中，第二三维坐标位置可包括所述对象的边界上的所有的点相对于所述原点的三维坐标，其中，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置的处理可包括：以所述透明显示器所在的平面作为参考平面，将用户视点的第一三维坐标位置与所述对象的边界上的所有的点的三维坐标进行连线，将所述连线与所述参考平面的所有交点所构成的区域在所述透明显示器上的位置作为所述观看区域的位置。
可选地，根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置的处理可包括：确定所述辅助信息的类型，并根据所述辅助信息的类型，控制透明显示器将所述辅助信息显示在所述观看区域的位置的周围，或者控制透明显示器使所述辅助信息的显示位置与所述观看区域的位置重合。
可选地，所述增强现实显示装置可还包括：环境光感测单元，感测外界的环境光值，其中，当外界的环境光值越大时，所述辅助信息的显示亮度值可越高。
可选地，所述增强现实显示装置可还包括：环境光感测单元，感测外界的环境光值，其中，处理器可根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的所述环境光值所对应的显示亮度值，并将所述辅助信息的显示亮度调整至确定的所述显示亮度值。
根据本发明示例性实施例的再一方面，提供一种计算机可读存储介质，存储有当被处理器执行时使得处理器执行上述的基于透明显示器的增强现实显示方法的程序指令。
采用上述基于透明显示器的增强现实显示方法和装置，能够有效避免由于显示对象的辅助信息而造成用户视野被遮挡的问题。
附图说明
图1示出根据本发明示例性实施例的基于透明显示器的增强现实显示方法的流程图；
图2示出根据本发明示例性实施例的确定用户视点的第一三维坐标位置的步骤的流程图；
图3示出根据本发明示例性实施例的确定对象的第二三维坐标位置的步骤的流程图；
图4示出根据本发明示例性实施例的图2的增强现实显示装置中包括的各单元在透明显示器上的设置位置；
图5示出根据本发明示例性实施例的确定对象在透明显示器上的观看区域的位置的示意图；
图6和图7示出根据本发明示例性实施例的对象在透明显示器上的观看区域的位置随对象的位置的移动而变化的示意图；
图8示出根据本发明示例性实施例的基于透明显示器的增强现实显示装置的结构图。
具体实施方式
现在将详细地描述本发明的示例性实施例，本发明的示例性实施例的示例示出在附图中。下面通过参照附图描述实施例来解释本发明。然而，本发明可以以许多不同的形式实施，而不应被解释为局限于在此阐述的示例性实施例。相反，提供这些实施例使得本公开将是彻底的和完整的，并且这些实施例将把本发明的范围充分地传达给本领域技术人员。
图1示出根据本发明示例性实施例的基于透明显示器的增强现实显示方法的流程图。这里，透明显示器可为现有的能够实现透明显示功能的显示器，例如，AMOLED透明显示器或LCD透明显示器，透明显示器介于用户与对象之间。
下面参照图1来详细介绍基于用户和对象的位置来确定对象的辅助信息在透明显示器上的显示位置的过程。
如图1所示，在步骤S10中，确定用户视点相对于透明显示器的第一三维坐标位置。应理解，这里，用户视点可为用户观察透明显示器的背后的场景中的对象的观察点。
图2示出根据本发明示例性实施例的确定用户视点的第一三维坐标位置的步骤的流程图。
参照图2，在步骤S201中，通过设置在透明显示器第一表面的第一摄像单元获取用户的人脸图像。
在步骤S202中，对获取的人脸图像进行识别，确定人眼在人脸图像中的位置。
这里，可利用现有的各种方法来基于人脸图像确定人眼在人脸图像中的位置。例如，可对获取的用户的人脸图像进行边缘侦测，结合预先存储的人脸包括的各部分(例如，人眼、鼻子、嘴巴、耳朵)的特征信息来进行边缘特征判别处理识别出人脸图像中的人眼，从而确定出人眼在人脸图像中的位置。
在步骤S203中，根据人眼在人脸图像中的位置确定用户视点。这里，可利用现有的各种方法来基于人眼在人脸图像中的位置确定用户视点，本发明对此部分内容不再赘述。
在步骤S204中，以透明显示器上的预定位置作为参考坐标系的原点，确定用户视点相对于该参考坐标系的原点的三维坐标，并将确定的三维坐标作为第一三维坐标位置。
返回图1，在步骤S20中，从所述透明显示器的背后的场景中识别对象，并获取所述对象的辅助信息。应理解，可将透明显示器面向用户的一侧定义为透明显示器的前方，将远离用户的一侧(对象面向的一侧)定义为透明显示器的背后。
这里，对象可包括现实生活中的各种生物体和非生物体。作为示例，对象可包括人、动物、交通工具、建筑物、生活用品、自然植物等。对象的辅助信息可表示对对象进行描述的信息。
例如，对象的辅助信息可包括以下项中的至少一个：对象名称、对象种类信息、对象历史信息、对象的性能参数、对象外观信息、对象重量信息、对象的位置信息、包括对象的形状的图像。
这里，可利用现有的各种方法来获取对象的辅助信息。例如，可在透明显示器的本地存储装置或服务器中预先存储该对象的辅助信息，以从本地存储装置或服务器中获取该对象的辅助信息。
在步骤S30中，确定所述对象相对于透明显示器的第二三维坐标位置。
图3示出根据本发明示例性实施例的确定对象的第二三维坐标位置的步骤的流程图。
参照图3，在步骤S301中，通过设置在透明显示器第二表面的第二摄像单元获取透明显示器的背后的场景的图像。这里，第一表面和第二表面可为透明显示器彼此背对的两个面，即，第二表面是第一表面的相对侧，也就是说，对象面向透明显示器的第二表面，透明显示器的第一表面面向用户。
在步骤S302中，对获取的图像进行识别，确定所述图像中的对象。这里，可利用现有的各种方法来从图像中确定出对象。例如，可对图像进行边缘侦测处理，并基于边缘特征点识别确定出图像中的对象。
在步骤S303中，确定所述对象相对于参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
这里，需将用户视点的第一三维坐标位置和对象的第二三维坐标位置转换到一统一的三维坐标系统中，以在后续基于第一三维坐标位置和第二三维坐标位置来确定对象的辅助信息在透明显示器上的显示位置。
应理解，用于确定对象的第二三维坐标位置的参考坐标系与用于确定用户视点的第一三维坐标位置的参考坐标系可相同也可不同。优选地，可利用相同的参考坐标系来计算用户视点的第一三维坐标位置和对象的第二三维坐标位置，例如，均以透明显示器上的预定位置作为参考坐标系的原点。
下面结合图4来详细介绍第一摄像单元、第二摄像单元以及用于感测外界环境光的环境光感测单元在透明显示器上的设置位置，以及参考坐标系的原点的确定方式。
图4示出根据本发明示例性实施例的各单元在透明显示器上的设置位置。
如图4所示，第一摄像单元5设置在透明显示器3的第一表面(即，透明显示器靠近用户的一侧)，以用于获取用户1的人脸图像。第二摄像单元4设置在透明显示器3的第二表面(即，透明显示器远离用户的一侧)，以用于获取包括对象2的图像。环境光感测单元6可设置在透明显示器3上或设置在透明显示器3的邻近位置处。
优选地，第一摄像单元5在透明显示器3第一表面上的设置位置与第二摄像单元4在透明显示器3第二表面上的设置位置彼此背对，即，相当于第一摄像单元5在透明显示器3第一表面上的设置位置在透明显示器3所在的平面上的坐标位置与第二摄像单元4在透明显示器3第二表面上的设置位置在透明显示器3所在的平面上的坐标位置相同。
在此情况下，预定位置(即，参考坐标系的原点)可为第一摄像单元5在第一表面上的设置位置或第二摄像单元4在第二表面上的设置位置。这样，用户视点的第一三维坐标位置与对象的第二三维坐标位置基于相同的参考坐标系的原点而确定，可有效减少计算量。
返回图1，在步骤S40中，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置。这里，该观看区域可为在用户视点处透过透明显示器观看所述对象的区域，即，用户透过透明显示器观看对象时，透明显示器的屏幕被对象占用的区域，此时，对象未被显示在透明显示器上。然而，本发明不限于此，还可将对象的图像显示在该观看区域的位置。
优选地，根据本发明示例性实施例的所述增强现实显示方法可还包括：对获取的透明显示器的背后的场景的图像进行边缘侦测，识别所述对象的边界。此时，对象的第二三维坐标位置可包括该对象的边界上的所有的点相对于参考系坐标的原点的三维坐标。下面参照图5来详细介绍确定对象在透明显示器上的观看区域的位置的过程。
图5示出根据本发明示例性实施例的确定对象在透明显示器上的观看区域的位置的示意图。
如图5所示，在本示例中，将图4所示的第一摄像单元(或第二摄像单元)在透明显示器30上的设置位置为参考坐标系的原点40，以透明显示器30所在的平面作为参考平面。
确定对象在透明显示器上的观看区域的位置的过程为：将用户视点10的第一三维坐标位置与对象20的边界上的所有的点的三维坐标进行连线，将所述连线与参考平面的所有交点所构成的区域A在透明显示器30上的位置作为观看区域的位置，以在后续基于观看区域的位置来确定对象20的辅助信息B在透明显示器30上的显示位置。
返回图1，在步骤S50中，根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置。
优选地，可基于对象的辅助信息的类型来确定对象的辅助信息在透明显示器上的显示位置与对象在透明显示器上的观看区域的位置之间的关系(两个位置独立或有重叠)。
例如，可确定对象的辅助信息的类型，根据对象的辅助信息的类型，将对象的辅助信息显示在观看区域的位置的周围，即，显示的辅助信息不遮挡用户透过透明显示器观看对象，或者，使对象的辅助信息的显示位置与观看区域的位置重合，即，将对象的辅助信息显示在该观看区域的位置。
在步骤S60中，控制透明显示器在所述显示位置显示对象的辅助信息。优选地，除在该显示位置显示对象的辅助信息之外，还可显示交通工具的仪表信息或用于提示用户的警示信息等。
应理解，本发明示例性实施例的所述增强现实显示方法除确定对象的辅助信息在透明显示器上的显示位置之外，还可对辅助信息的显示亮度进行调节。
优选地，根据本发明示例性实施例的所述增强现实显示方法可还包括：感测外界的环境光值，当外界的环境光值越大时，辅助信息的显示亮度值越高，当外界的环境光值越小时，辅助信息的显示亮度值越低。从而避免了在较亮的环境中，辅助信息的显示亮度可能过低，导致用户看不清晰辅助信息的问题，或者在较暗的环境中，可能存在辅助信息的显示亮度过高，而干扰用户视线的问题。
例如，可预先建立多个环境光值与多个显示亮度值之间的对应关系，在感测到外界的环境光值之后，根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的环境光值所对应的显示亮度值，以将对象的辅助信息的显示亮度调整至确定的显示亮度值。
图6和图7示出根据本发明示例性实施例的对象在透明显示器上的观看区域的位置随用户/对象的位置的移动而变化的示意图。
图6和图7示出本发明的增强现实显示方法的应用实例，一种具有智能显示功能的车载透明显示系统，在本实例中，用户可为汽车驾驶员，对象可为道路、除用户所驾驶的汽车之外的汽车、行人、自行车、小狗等。可根据拍摄的路况的图像(即，透明显示器的背后的场景的图像)和驾驶员的位置(即，用户视点10)，确定驾驶员对路况信息观察的最佳区域(即，对象在透明显示器30上的观看区域A)，进而将增强现实的对象的辅助信息B和/或仪表信息、警示信息(如，限速提醒)等显示内容选择在最佳观察区域之外显示。
图6示出的是用户所驾驶的汽车在直行道路上行驶时，此时外界环境为亮环境，在此情况下，可增加在透明显示器30上显示的对象的辅助信息的显示亮度值。图7示出的是用户所驾驶的汽车在转弯道路上行驶时，此时外界环境为暗环境，对象20相对于透明显示器30的位置在转弯时发生变化，相应地对象20在透明显示器上的观看区域A的位置也会变化，此时相应地调整对象20的辅助信息B在透明显示器30上的显示位置，并降低在透明显示器30上显示的对象的辅助信息的显示亮度值。
这样，当对象位置和用户位置改变时，显示的增强现实的辅助信息的显示位置也会做相应的调整，最优的改善增强现实系统的显示效果。此外，还能够实现在根据环境亮度调整对象的辅助信息的显示亮度的同时避免在透明显示器上显示的辅助信息遮挡驾驶员的视线，优化增强现实的车载显示体验。改善增强现实的显示效果，避免显示干扰和显示叠加导致的驾驶安全隐患，增进驾驶显示系统的智能化水平。
图8示出根据本发明示例性实施例的基于透明显示器的增强现实显示装置的结构图。如图8所示，根据本发明示例性实施例的基于透明显示器的增强现实显示装置包括第一摄像单元10、第二摄像单元20、处理器30和透明显示器40。图1所示的基于透明显示器的增强现实显示方法在处理器30中被执行。
具体说来，透明显示器40介于用户与对象之间，透明显示器40可为现有的各种能够实现透明显示功能的设备。
第一摄像单元10获取所述用户的人脸图像，并将获取的用户的人脸图像发送到处理器30。
第二摄像单元20获取透明显示器40的背后的场景的图像，并将获取的场景的图像发送到处理器30。
处理器30对接收到的人脸图像和透明显示器的背后的场景的图像进行处理以确定对象的辅助信息在透明显示器上的显示位置。
处理器30基于用户的人脸图像确定用户视点，并确定用户视点相对于透明显示器40的第一三维坐标位置。
例如，确定用户视点相对于所述透明显示器的第一三维坐标位置的处理可包括：对第一摄像单元获取的所述人脸图像进行识别，确定人眼在人脸图像中的位置，根据人眼在人脸图像中的位置确定用户视点，以所述透明显示器上的预定位置作为参考坐标系的原点，确定所述用户视点相对于所述原点的三维坐标，并将确定的所述三维坐标作为第一三维坐标位置。
处理器30还基于获取的场景的图像，确定所述图像中的所述对象，并获取所述对象的辅助信息，确定所述对象相对于透明显示器40的第二三维坐标位置。
从透明显示器的背后的场景中识别所述对象的处理可包括：对获取的场景的图像进行识别，确定所述图像中的对象。确定所述对象相对于所述透明显示器的第二三维坐标位置的处理可包括：确定所述对象相对于所述参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
第一摄像单元10可设置在透明显示器40的第一表面上，第二摄像单元20可设置在透明显示器40的第二表面上。这里，第一表面和第二表面可为透明显示器40彼此背对的两个面。
优选地，第一摄像单元10在透明显示器40的第一表面上的设置位置与第二摄像单元20在透明显示器40的第二表面上的设置位置可彼此背对。在此情况下，优选地，作为参考坐标系的原点的所述预定位置可为第一摄像单元10在第一表面上的设置位置或第二摄像单元20在第二表面上的设置位置。
处理器30还基于第一三维坐标位置和第二三维坐标位置确定所述对象在透明显示器40上的观看区域的位置，根据所述观看区域的位置确定所述对象的辅助信息在透明显示器40上的显示位置，并控制透明显示器40在所述显示位置显示对象的辅助信息。
具体说来，处理器30可还对所述图像进行边缘侦测，识别所述对象的边界。此时，第二三维坐标位置可包括所述对象的边界上的所有的点相对于所述原点的三维坐标。在此情况下，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置的处理可包括：以所述透明显示器所在的平面作为参考平面，将用户视点的第一三维坐标位置与所述对象的边界上的所有的点的三维坐标进行连线，将所述连线与所述参考平面的所有交点所构成的区域在所述透明显示器上的位置作为所述观看区域的位置。
处理器30还确定对象的辅助信息的类型，并根据所述辅助信息的类型，控制透明显示器40将所述辅助信息显示在所述观看区域的位置的周围，或者控制透明显示器40使所述辅助信息的显示位置与所述观看区域的位置重合。
优选地，根据本发明的示例性实施例的所述增强现实显示装置可还包括：环境光感测单元，感测外界的环境光值，当外界的环境光值越大时，所述辅助信息的显示亮度值越高，当外界的环境光值越小时，所述辅助信息的显示亮度值越低。
例如，可预先设置多个环境光值与多个显示亮度值之间的对应关系，处理器在接收到环境光感测单元感测到的外界的环境光值之后，处理器根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的所述环境光值所对应的显示亮度值，并将所述辅助信息的显示亮度调整至确定的所述显示亮度值。
根据本发明的示例性实施例还提供一种计算机可读存储介质。该计算机可读存储介质存储有当被处理器执行时使得处理器执行上述基于透明显示器的增强现实显示方法的程序指令。该计算机可读记录介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。
采用上述根据本发明示例性实施例的所述增强现实显示方法和装置，可根据用户视点的位置和对象的位置确定对象的辅助信息在透明显示器上的显示位置，从而能够有效避免由于显示对象的辅助信息而造成用户视野被遮挡的问题。
此外，采用上述根据本发明示例性实施例的所述增强现实显示方法和装置，能够根据环境亮度的变化对对象的辅助信息的显示亮度进行调整，从而使用户获得更好的增强显示的体验。
此外，根据本发明示例性实施例的基于透明显示器的增强现实显示方法可以被实现为计算机可读记录介质中的计算机代码。本领域技术人员可以根据对上述方法的描述来实现所述计算机代码。当所述计算机代码在计算机中被执行时实现本发明的上述方法。
上面已经结合具体示例性实施例描述了本发明，但是本发明的实施不限于此。在本发明的精神和范围内，本领域技术人员可以进行各种修改和变型，这些修改和变型将落入权利要求限定的保护范围之内。

Claims (17)

1.一种基于透明显示器的增强现实显示方法，所述透明显示器介于用户与对象之间，其特征在于，所述增强现实显示方法包括：
确定用户视点相对于所述透明显示器的第一三维坐标位置；
从所述透明显示器的背后的场景中识别所述对象，并获取所述对象的辅助信息；
确定所述对象相对于所述透明显示器的第二三维坐标位置；
基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置，其中，所述观看区域为在所述用户视点处透过所述透明显示器观看所述对象的区域；
根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置；
控制所述透明显示器在所述显示位置显示所述辅助信息。
2.根据权利要求1所述的增强现实显示方法，其特征在于，确定用户视点相对于所述透明显示器的第一三维坐标位置的步骤包括：
通过设置在所述透明显示器第一表面的第一摄像单元获取用户的人脸图像；
对所述人脸图像进行识别，确定人眼在人脸图像中的位置；
根据人眼在人脸图像中的位置确定用户视点；
以所述透明显示器上的预定位置作为参考坐标系的原点，确定所述用户视点相对于所述原点的三维坐标，并将确定的所述三维坐标作为第一三维坐标位置。
3.根据权利要求2所述的增强现实显示方法，其特征在于，从透明显示器的背后的场景中识别所述对象的步骤包括：
通过设置在所述透明显示器第二表面的第二摄像单元获取所述场景的图像，其中，第一表面和第二表面为所述透明显示器彼此背对的两个面；
对所述图像进行识别，确定所述图像中的对象，
其中，确定所述对象相对于所述透明显示器的第二三维坐标位置的步骤包括：确定所述对象相对于所述参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
4.根据权利要求3所述的增强现实显示方法，其特征在于，第一摄像单元在所述透明显示器第一表面上的设置位置与第二摄像单元在所述透明显示器第二表面上的设置位置彼此背对，所述预定位置为第一摄像单元在第一表面上的设置位置或第二摄像单元在第二表面上的设置位置。
5.根据权利要求3所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：对所述图像进行边缘侦测，识别所述对象的边界，其中，第二三维坐标位置包括所述对象的边界上的所有的点相对于所述原点的三维坐标，
其中，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置的步骤包括：
以所述透明显示器所在的平面作为参考平面，将用户视点的第一三维坐标位置与所述对象的边界上的所有的点的三维坐标进行连线，将所述连线与所述参考平面的所有交点所构成的区域在所述透明显示器上的位置作为所述观看区域的位置。
6.根据权利要求1所述的增强现实显示方法，其特征在于，根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置的步骤包括：
确定所述辅助信息的类型；
根据所述辅助信息的类型，将所述辅助信息显示在所述观看区域的位置的周围，或者使所述辅助信息的显示位置与所述观看区域的位置重合。
7.根据权利要求1所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：
感测外界的环境光值；
当外界的环境光值越大时，所述辅助信息的显示亮度值越高。
8.根据权利要求1所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：
感测外界的环境光值；
根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的所述环境光值所对应的显示亮度值；
将所述辅助信息的显示亮度调整至确定的所述显示亮度值。
9.一种增强现实显示装置，所述增强现实显示装置包括：
透明显示器，所述透明显示器介于用户与对象之间，
第一摄像单元，获取所述用户的人脸图像，
第二摄像单元，获取所述透明显示器的背后的场景的图像，
处理器，被配置为：
基于用户的人脸图像确定用户视点，并确定用户视点相对于所述透明显示器的第一三维坐标位置，
基于获取的场景的图像，确定所述图像中的对象，并获取所述对象的辅助信息，确定所述对象相对于所述透明显示器的第二三维坐标位置，
基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置，其中，所述观看区域为在所述用户视点处透过所述透明显示器观看所述对象的区域，
根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置，并控制所述透明显示器在所述显示位置显示所述辅助信息。
10.根据权利要求9所述的增强现实显示装置，其特征在于，确定用户视点相对于所述透明显示器的第一三维坐标位置的处理包括：对第一摄像单元获取的所述人脸图像进行识别，确定人眼在人脸图像中的位置，根据人眼在人脸图像中的位置确定用户视点，以所述透明显示器上的预定位置作为参考坐标系的原点，确定所述用户视点相对于所述原点的三维坐标，并将确定的所述三维坐标作为第一三维坐标位置。
11.根据权利要求10所述的增强现实显示装置，其特征在于，从透明显示器的背后的场景中识别所述对象的处理包括：对获取的场景的图像进行识别，确定所述图像中的对象，
其中，确定所述对象相对于所述透明显示器的第二三维坐标位置的处理包括：确定所述对象相对于所述参考坐标系的原点的三维坐标，并将确定的所述三维坐标作为第二三维坐标位置。
12.根据权利要求11所述的增强现实显示装置，其特征在于，第一摄像单元设置在所述透明显示器第一表面上，第二摄像单元设置在所述透明显示器第二表面上，第一表面和第二表面为所述透明显示器彼此背对的两个面，
其中，第一摄像单元在所述透明显示器第一表面上的设置位置与第二摄像单元在所述透明显示器第二表面上的设置位置彼此背对，所述预定位置为第一摄像单元在第一表面上的设置位置或第二摄像单元在第二表面上的设置位置。
13.根据权利要求11所述的增强现实显示装置，其特征在于，处理器对所述图像进行边缘侦测，识别所述对象的边界，其中，第二三维坐标位置包括所述对象的边界上的所有的点相对于所述原点的三维坐标，
其中，基于第一三维坐标位置和第二三维坐标位置确定所述对象在所述透明显示器上的观看区域的位置的处理包括：以所述透明显示器所在的平面作为参考平面，将用户视点的第一三维坐标位置与所述对象的边界上的所有的点的三维坐标进行连线，将所述连线与所述参考平面的所有交点所构成的区域在所述透明显示器上的位置作为所述观看区域的位置。
14.根据权利要求9所述的增强现实显示装置，其特征在于，根据所述观看区域的位置确定所述对象的辅助信息在所述透明显示器上的显示位置的处理包括：确定所述辅助信息的类型，并根据所述辅助信息的类型，控制透明显示器将所述辅助信息显示在所述观看区域的位置的周围，或者控制透明显示器使所述辅助信息的显示位置与所述观看区域的位置重合。
15.根据权利要求1所述的增强现实显示装置，其特征在于，所述增强现实显示装置还包括：环境光感测单元，感测外界的环境光值，其中，当外界的环境光值越大时，所述辅助信息的显示亮度值越高。
16.根据权利要求1所述的增强现实显示装置，其特征在于，所述增强现实显示装置还包括：环境光感测单元，感测外界的环境光值，
其中，处理器根据预定的多个环境光值与多个显示亮度值之间的对应关系，确定感测的所述环境光值所对应的显示亮度值，并将所述辅助信息的显示亮度调整至确定的所述显示亮度值。
17.一种计算机可读存储介质，存储有当被处理器执行时使得处理器执行如权利要求1-8中的任意一项所述的基于透明显示器的增强现实显示方法的程序指令。
CN201710707974.7A 2017-08-17 2017-08-17 基于透明显示器的增强现实显示方法和装置 Pending CN107506032A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710707974.7A CN107506032A (zh) 2017-08-17 2017-08-17 基于透明显示器的增强现实显示方法和装置
PCT/CN2017/100262 WO2019033469A1 (zh) 2017-08-17 2017-09-01 基于透明显示器的增强现实显示方法和装置
US15/750,612 US10469819B2 (en) 2017-08-17 2017-09-01 Augmented reality display method based on a transparent display device and augmented reality display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710707974.7A CN107506032A (zh) 2017-08-17 2017-08-17 基于透明显示器的增强现实显示方法和装置

Publications (1)

Publication Number Publication Date
CN107506032A true CN107506032A (zh) 2017-12-22

Family

ID=60691874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710707974.7A Pending CN107506032A (zh) 2017-08-17 2017-08-17 基于透明显示器的增强现实显示方法和装置

Country Status (2)

Country Link
CN (1) CN107506032A (zh)
WO (1) WO2019033469A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动系统
CN109862339A (zh) * 2019-02-19 2019-06-07 浙江舜宇光学有限公司 增强现实的再现方法、装置、系统、存储介质和处理器
CN110149458A (zh) * 2018-02-13 2019-08-20 中兴通讯股份有限公司 增强现实视觉元素显示的方法和装置
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN110864673A (zh) * 2018-08-28 2020-03-06 财团法人工业技术研究院 信息显示方法及其显示系统
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN112102655A (zh) * 2020-09-16 2020-12-18 联想(北京)有限公司 一种输出控制方法及电子设备
CN112748796A (zh) * 2019-10-30 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置
CN113031892A (zh) * 2019-12-25 2021-06-25 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
CN113923437A (zh) * 2020-07-09 2022-01-11 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258015A (ja) * 2004-03-11 2005-09-22 Mitsubishi Electric Corp 多次元表示装置及び方法
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN103909875A (zh) * 2014-04-11 2014-07-09 吴敏正 用于车辆遮挡物外视野可视化的系统
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
CN106627369A (zh) * 2016-12-15 2017-05-10 浙江吉利控股集团有限公司 一种车辆车窗显示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258015A (ja) * 2004-03-11 2005-09-22 Mitsubishi Electric Corp 多次元表示装置及び方法
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN103909875A (zh) * 2014-04-11 2014-07-09 吴敏正 用于车辆遮挡物外视野可视化的系统
CN106627369A (zh) * 2016-12-15 2017-05-10 浙江吉利控股集团有限公司 一种车辆车窗显示系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149458A (zh) * 2018-02-13 2019-08-20 中兴通讯股份有限公司 增强现实视觉元素显示的方法和装置
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动系统
CN110864673A (zh) * 2018-08-28 2020-03-06 财团法人工业技术研究院 信息显示方法及其显示系统
US11057606B2 (en) 2018-08-28 2021-07-06 Industrial Technology Research Institute Method and display system for information display based on positions of human gaze and object
CN109862339A (zh) * 2019-02-19 2019-06-07 浙江舜宇光学有限公司 增强现实的再现方法、装置、系统、存储介质和处理器
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN110187855B (zh) * 2019-05-28 2022-09-16 幻蝎科技(武汉)有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN112748796B (zh) * 2019-10-30 2024-02-20 京东方科技集团股份有限公司 显示方法及显示装置
CN112748796A (zh) * 2019-10-30 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置
CN110942520B (zh) * 2019-11-27 2022-06-28 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN113031892A (zh) * 2019-12-25 2021-06-25 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
US11393434B2 (en) 2020-07-09 2022-07-19 Industrial Technology Research Institute Method, processing device, and display system for information display
CN113923437A (zh) * 2020-07-09 2022-01-11 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
TWI792106B (zh) * 2020-07-09 2023-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與顯示系統
CN113923437B (zh) * 2020-07-09 2024-03-22 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
CN112102655A (zh) * 2020-09-16 2020-12-18 联想(北京)有限公司 一种输出控制方法及电子设备

Also Published As

Publication number Publication date
WO2019033469A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
CN107506032A (zh) 基于透明显示器的增强现实显示方法和装置
US10347046B2 (en) Augmented reality transportation notification system
US11282248B2 (en) Information display by overlay on an object
US20180314066A1 (en) Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US5990898A (en) Multi-media data display device
US20200151958A1 (en) Augmented reality display reflective of visibility affecting features in real-world environment
JPWO2018167966A1 (ja) Ａｒ表示装置及びａｒ表示方法
US20110084983A1 (en) Systems and Methods for Interaction With a Virtual Environment
US9535498B2 (en) Transparent display field of view region determination
CN108369482A (zh) 信息处理设备、信息处理方法和程序
EP4024345A1 (en) Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US20180254001A1 (en) Augmented reality advertising system with smart phone interoperability
US10469819B2 (en) Augmented reality display method based on a transparent display device and augmented reality display device
EP3811326B1 (en) Heads up display (hud) content control system and methodologies
US11100718B2 (en) Method for operating a display device in a motor vehicle
Sandnes et al. Head-mounted augmented reality displays on the cheap: a DIY approach to sketching and prototyping low-vision assistive technologies
Peddie et al. Types of augmented reality
FR3030092A1 (fr) Procede de representation tridimensionnelle d'une scene
US11525695B2 (en) Smart glass for vehicles
KR20180093829A (ko) 증강 현실 헤드 업 디스플레이 장치의 표시를 제어하기 위한 방법, 장치 및 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
JP6563802B2 (ja) 運送点検用ヘッドマウントディスプレイおよび運送点検用ヘッドマウントディスプレイのプログラム
EP2624117A2 (en) System and method providing a viewable three dimensional display cursor
US11544910B2 (en) System and method for positioning image elements in augmented reality system
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171222

RJ01 Rejection of invention patent application after publication