CN115808797A - 增强现实提供装置及利用其的增强现实提供方法 - Google Patents

增强现实提供装置及利用其的增强现实提供方法 Download PDF

Info

Publication number
CN115808797A
CN115808797A CN202210692096.7A CN202210692096A CN115808797A CN 115808797 A CN115808797 A CN 115808797A CN 202210692096 A CN202210692096 A CN 202210692096A CN 115808797 A CN115808797 A CN 115808797A
Authority
CN
China
Prior art keywords
augmented reality
user
hand
image
sensing signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210692096.7A
Other languages
English (en)
Inventor
李太熙
金敏佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN115808797A publication Critical patent/CN115808797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种增强现实提供装置及利用其的增强现实提供方法，所述增强现实提供装置及利用其的增强现实提供方法能够根据用户的手动作或指示工具的运动信息来改变增强现实内容的显示信息并将其显示。根据本发明的一实施例的增强现实提供装置包括：支撑框架，支撑至少一个透明性透镜；至少一个显示模块，通过至少一个透明性透镜显示增强现实内容；感测模块，检测根据用户的手动作、手形状、手位置或指示工具的位置的感测信号和支撑框架的前面方向的图像数据；以及控制模块，利用感测信号和图像数据来检测关于用户的手或指示工具的运动信息，以对应于运动信息的方式改变增强现实内容并提供给至少一个显示模块。

Description

增强现实提供装置及利用其的增强现实提供方法
技术领域
本发明涉及一种增强现实提供装置及利用其的增强现实提供方法。
背景技术
最近，随着开发能够实现虚拟现实(VR：virtual reality)的电子设备及显示装置，对其的关注正在增加。正在还研究能够实现作为虚拟现实的下一阶段的增强现实(AR：augmented reality)及混合现实(MR：mixed reality)的技术。
与以完全虚拟世界为前提的虚拟现实不同，增强现实是在现实世界的环境上重叠显示虚拟的对象或图像信息，从而进一步增加现实的效果的显示技术。
虚拟现实仅有限地应用于诸如游戏或虚拟体验之类的领域，而增强现实具有可以多样地应用于现实环境的优点。尤其，增强现实作为适合于泛在(ubiquitous)环境或物联网(IoT：internet of things)环境等的下一代显示技术而受到关注。这种增强现实在混合现实世界和虚拟世界的附加信息而显示的方面，可以说是混合现实的一示例。
发明内容
本发明所要解决的技术问题在于提供一种能够根据用户的手动作或指示工具的运动信息来改变增强现实内容的显示信息并将其显示的增强现实提供装置及利用其的增强现实提供方法。
本发明所要解决的另一技术问题在于提供一种能够更准确地检测用户的手动作或指示工具的运动信息并将其利用于增强现实内容的改变的增强现实提供装置及利用其的增强现实提供方法。
本发明的技术问题并不限于以上提及的技术问题，本领域技术人员可以从以下记载明确理解未提及的其他技术问题。
用于解决上述技术问题的根据一实施例的一种增强现实提供装置包括：支撑框架，支撑至少一个透明性透镜；至少一个显示模块，通过所述至少一个透明性透镜显示增强现实内容；感测模块，检测根据用户的手动作、手形状、手位置或指示工具的位置变化的感测信号和所述支撑框架的前面方向的图像数据；以及控制模块，利用所述感测信号和所述图像数据来检测关于所述用户的手或所述指示工具的运动信息，以对应于所述运动信息的方式改变所述增强现实内容并提供给所述至少一个显示模块。
所述至少一个显示模块组装在所述支撑框架的一侧或两侧，或者与所述支撑框架形成为一体，并通过图像传输部件和所述透明性透镜的反射部件显示所述增强现实内容的图像。
所述感测模块组装于所述支撑框架或与所述支撑框架形成为一体，并利用深度传感器以及图像传感器来分别检测所述感测信号和包括所述用户的手或所述指示工具的所述图像数据，并且利用第一生物传感器及第二生物传感器来检测用户的眼球或瞳孔的运动。
所述控制模块将所述图像数据划分为预先设定的多个块区域，并根据所述检测到的用户的眼球或瞳孔的运动的分析结果来检测出用户的注视方向坐标，并且通过在所述多个块区域中与所述用户的注视方向坐标对应的块区域的图像中检测出所述用户的手或所述指示工具，来生成所述用户的手或所述指示工具的坐标。
当在与所述用户的注视方向坐标对应的所述块区域的图像中检测出所述用户的手或所述指示工具时，所述控制模块连续地计算包括根据所述用户的手位置及形状或所述指示工具的位置变化的三轴(X轴、Y轴、Z轴)方向位置坐标的所述运动信息，并生成连接所述三轴方向位置坐标的移动路径数据，并且通过将包括在所述移动路径数据的所述用户的手或所述指示工具的三轴方向位置坐标与增强现实内容图像的对象进行匹配，来改变所述增强现实内容的数据。
所述控制模块改变所述增强现实内容的整体图像或匹配的对象的显示特性数据，以对应于所述用户的手或所述指示工具的三轴方向位置坐标的变化，并且将改变的所述增强现实内容的整体图像或匹配的对象的显示特性数据传输到所述至少一个显示模块以及布置在外部的至少一个内容显示装置。
所述控制模块包括：感测信号检测部，从所述感测模块接收所述感测信号和瞳孔感知信号并进行预处理，并以至少一帧为单位或以水平线为单位使所述图像数据整齐排列并依次输出；感测信号分析部，将所述图像数据划分为预先设定的多个块区域，并且当在划分的块区域的图像中检测出所述用户的手或所述指示工具时，生成连接所述用户的手或所述指示工具的三轴(X轴、Y轴、Z轴)方向位置坐标的移动路径数据；感知位置匹配部，将包括在所述移动路径数据的所述用户的手或所述指示工具的三轴方向位置坐标与增强现实内容图像的对象进行匹配；以及内容改变部，改变所述增强现实内容的整体图像或匹配的对象的显示特性数据，以对应于所述用户的手或所述指示工具的三轴方向位置坐标的变化。
所述感测信号分析部根据包括在所述感测模块的红外线传感器的行列布置信息、基于所述行列布置信息的瞳孔感知信号的移动分析结果来检测出用户的注视方向坐标，并且通过在所述多个块区域中与所述用户的注视方向坐标对应的块区域的图像中检测出所述用户的手或所述指示工具，来检测出所述用户的手或所述指示工具的三轴方向位置坐标。
所述感测信号分析部根据所述多个块区域中与所述用户的注视方向坐标对应的块区域的像素之间的灰度或亮度差的分析结果或者像素数据与所述用户的手或指示工具形状的掩模之间的对比分析结果中的至少一个分析结果来检测出所述用户的手或所述指示工具形状的图像。
所述感测信号分析部通过将所述用户的手或所述指示工具的三轴方向位置坐标连续地存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，来生成所述用户的手或所述指示工具的移动路径数据。
至少一个显示模块包括显示所述增强现实内容的图像的至少一个图像显示设备以及将所述增强现实内容的图像传输到所述至少一个透明性透镜的图像传输部件，其中，所述图像传输部件包括光波导、扩散透镜以及焦点形成透镜中的至少一个光学部件。
所述至少一个图像显示设备包括：隔壁，以
Figure BDA0003700422490000031
矩阵结构划分并布置在基板上；多个发光元件，分别布置于借由所述隔壁的划分而以
Figure BDA0003700422490000032
矩阵结构排列的多个发光区域，并沿所述基板的厚度方向延伸；基材树脂，形成在包括所述多个发光元件的所述多个发光区域；以及多个光学图案，选择性地布置在所述多个发光区域中的至少一个发光区域上。
所述多个发光区域形成为使得第一发光区域至第三发光区域或第一发光区域至第四发光区域以所述
Figure BDA0003700422490000033
矩阵结构布置在各个像素区域。
所述第一发光区域包括发出实现红色、绿色、蓝色中的一种颜色的波长带的第一光的第一发光元件，所述第二发光区域包括发出实现红色、绿色、蓝色中与所述第一光不同的一种颜色的波长带的第二光的第二发光元件，所述第三发光区域包括发出实现红色、绿色、蓝色中与所述第一光及所述第二光不同的一种颜色的波长带的第三光的第三发光元件，所述第四发光区域包括发出与所述第一光至所述第三光中的一种光相同的波长带的第四光的第四发光元件。
所述第一发光区域至所述第四发光区域中的每一个的大小或平面面积彼此相同地形成，沿水平方向或对角线方向彼此相邻的所述第一发光区域与所述第二发光区域之间的距离、所述第二发光区域与所述第三发光区域之间的距离、所述第一发光区域与所述第三发光区域之间的距离以及所述第三发光区域与所述第四发光区域之间的距离根据所述第一发光区域至所述第四发光区域中的每一个的大小或平面面积而彼此相同地布置。
所述第一发光区域至所述第四发光区域中的每一个的大小或平面面积选择性地彼此不同地形成，所述第一发光区域与所述第二发光区域之间的距离、所述第二发光区域与所述第三发光区域之间的距离、所述第一发光区域与所述第三发光区域之间的距离以及所述第三发光区域与所述第四发光区域之间的距离根据所述第一发光区域至所述第四发光区域中的每一个的大小或平面面积而彼此相同或不同地形成。
用于解决上述技术问题的根据一实施例的一种增强现实提供方法包括如下步骤：通过至少一个显示模块和透明性透镜显示增强现实内容；检测根据用户的手动作、手形状、手位置以及指示工具的位置的感测信号和支撑框架的前面方向图像数据；利用所述感测信号和所述图像数据来检测关于所述用户的手和所述指示工具的运动信息；以对应于所述运动信息的方式改变所述增强现实内容并提供给所述至少一个显示模块；以及将以对应于所述运动信息的方式改变的所述增强现实内容传输到外部的至少一个内容显示装置。
以对应于所述运动信息的方式改变所述增强现实内容的步骤包括如下步骤：将所述图像数据划分为预先设定的多个块区域；当在划分的所述多个块区域的图像中检测出所述用户的手或所述指示工具时，生成连接关于所述用户的手或所述指示工具的三轴(X轴、Y轴、Z轴)方向位置坐标信息的移动路径数据；将包括在所述移动路径数据的所述用户的手或所述指示工具的位置坐标与所述增强现实内容图像的对象进行匹配；改变所述增强现实内容的整体图像或匹配的对象的显示特性数据，以对应于所述用户的手或所述指示工具的位置坐标的变化。
在所述多个块区域的图像中检测出所述用户的手或所述指示工具的步骤中，根据与所述用户的注视方向坐标对应的划分块区域的像素之间的灰度或亮度差的分析结果或者像素数据与所述用户的手或指示工具形状的掩模之间的对比分析结果中的至少一个分析结果来检测出所述用户的手或所述指示工具形状的图像。
生成所述移动路径数据的步骤可以包括如下步骤：通过将所述用户的手或所述指示工具的X轴坐标、Y轴坐标、Z轴坐标连续地存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，来生成所述用户的手或所述指示工具的移动路径数据。
根据本发明的一实施例的增强现实提供装置及利用其的增强现实提供方法可以更容易地改变增强现实内容的显示信息并将其显示，从而能够提高增强现实提供装置的使用满意度。
根据本发明的一实施例的增强现实提供装置及利用其的增强现实提供方法可以以更加多样的运动形态改变增强现实内容并将其显示，从而能够提高增强现实提供装置的可用性和可靠性。
根据实施例的效果不受以上例示的内容的限制，更加多样的效果包括于本说明书中。
附图说明
图1是示出根据本发明的一实施例的增强现实提供装置的图。
图2是具体示出图1中所示的增强现实提供装置的立体图。
图3是图2中所示的增强现实提供装置的背面方向分解立体图。
图4是图2及图3中所示的增强现实提供装置的正面方向分解立体图。
图5是示意性地示出图2至图4中所示的增强现实提供装置的显示模块的构成图。
图6是具体示出图5中所示的图像显示设备的布局图。
图7是详细示出图6的A区域的布局图。
图8是详细示出图7的B区域中所示的像素的布局图。
图9是示出沿图8的I-I'线剖切的图像显示设备的一示例的剖面图。
图10是详细示出图9的发光元件的一示例的放大剖面图。
图11是示意性地示出配备于图2至图4的增强现实提供装置的控制模块的框图。
图12是用于说明根据一实施例的增强现实提供装置的增强现实内容改变及显示方法的流程图。
图13是用于说明根据一实施例的利用增强现实提供装置的增强现实内容显示及手位置识别方法的图。
图14是用于说明根据一实施例的利用图像数据的手位置识别方法的图。
图15是示出根据一实施例的利用增强现实提供装置的手动作及位置识别方法的图。
图16是示出根据一实施例的利用增强现实提供装置的电子笔及位置识别方法的图。
图17是示出根据一实施例的利用增强现实提供装置的多样的手动作及运动识别方法的图。
图18是示出根据一实施例的用户的手位置运动信息与增强现实内容的匹配及改变方法的图。
图19是示出根据一实施例的用户的手动作与增强现实内容的匹配及改变方法的图。
图20是示出根据一实施例的包括显示模块的手表式智能设备的示例图。
图21是示出根据一实施例的包括显示模块的汽车仪表盘和中心仪表盘的一示例图。
图22是示出根据一实施例的包括显示模块的透明显示装置的一示例图。
附图标记说明
110：图像显示设备 112：扩散透镜
200：增强现实提供装置 201：透明性透镜
202：支撑框架 210：显示模块
211：图像传输部件 212：显示面板
220：控制模块 221：感测信号检测部
222：感测信号分析部 223：感知位置匹配部
224：内容数据提供部 225：内容改变部
226：显示控制部 227：无线通信部
具体实施方式
参照与附图一起详细后述的实施例，可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为彼此不同的多样的形态，而不限于以下公开的实施例，并且提供本实施例的目的仅在于使本发明的公开完整并向本发明所属技术领域中具有普通知识的人员完整地告知本发明的范围，本发明仅由权利要求的范围所定义。
当元件(elements)或层被称为位于其他元件或层“之上(on)”时，包括元件(elements)或层在其他元件或层的紧邻的上方或中间夹设有其他层或其他元件的情况。在整个说明书中，相同的附图标记指代相同的构成要素。用于说明实施例的附图中公开的形状、大小、比率、角度、数量等是示例性的，本发明不限于所示出的事项。
虽然“第一”、“第二”等用于叙述多样的构成要素，但这些构成要素显然不受限于这些术语。这些术语仅用于将一个构成要素与其他构成要素进行区分。因此，以下提及的第一构成要素在本发明的技术思想内，显然也可以是第二构成要素。
本发明的多个实施例的各个特征可以局部或整体地彼此结合或组合，技术上可以进行多样的联动及驱动，各个实施例可以彼此独立地实施，也可以通过相关关系一起实施。
图1是示出根据本发明的一实施例的增强现实提供装置的图。
参照图1，增强现实提供装置200检测关于用户的手动作、手形状、手位置以及诸如书写工具、电子笔、激光指示器等的指示工具的运动信息。并且，增强现实提供装置200改变增强现实内容的显示信息而显示，以对应于检测到的运动信息。具体而言，增强现实提供装置200可以改变增强现实内容的图像及声音等而显示，以对应于用户的手动作、手位置以及指示工具等的运动信息。此时，可以使被改变而显示的增强现实内容图像FH以及声音等相同地显示在平板PC(tablet personal computer)或智能电话等的单独的内容显示装置。
增强现实提供装置200可以与由用户能够容易地携带而佩戴或摘下的眼镜形态的框架形成为一体，或者可以构成为安装或组装到眼镜型框架的形态。增强现实提供装置200通过透明性透镜向用户的眼睛提供增强现实内容图像FH，使得增强现实内容图像FH看起来与通过透明透镜由用户的眼睛看到的现实图像重叠。增强现实内容可以包括图形图像、拍摄图像、文本等组合的二维或三维图像内容和声音内容等。
增强现实提供装置200还可以包括显示增强现实内容图像FH的至少一个显示模块以及改变增强现实内容图像FH的显示路径(或光路径)以使显示模块中显示的增强现实内容图像FH可以被用户的眼睛识别的光学部件。
增强现实提供装置200在显示增强现实内容图像FH的显示期间实时地检测用户的手动作、手形状、手位置及指示工具等的运动信息。如上所述，除了用户的手形状、手动作、手位置之外，还可以检测关于书写工具等的指示工具的位置及运动信息。然而，以下说明检测根据用户的手形状、手动作、手位置的运动信息的示例，本发明的实施例不限于此。
增强现实提供装置200检测关于至少三个轴(例如，X轴、Y轴、Z轴)方向的运动信息，以便更精确且准确地检测手动作和手位置等的运动信息。在此，X轴可以是横轴方向，Y轴可以是竖轴方向，并且Z轴可以是深度(或距离)轴方向。因此，当检测到关于手的移动位置变化等的运动信息时，增强现实提供装置200根据手的位置坐标信息而匹配增强现实内容图像FH的对象。并且，增强现实提供装置200改变关于增强现实内容的整体图像特性或匹配的对象的大小、位置、颜色、运动特性的数据，以对应于手的位置、移动方向、移动距离、手形状等的手动作。此时，也可以改变声音等的连接数据，以符合整体图像或对象的运动改变。根据手的运动信息而改变的增强现实内容数据可以通过增强现实提供装置200的显示模块等实时地显示。并且，增强现实提供装置200可以将改变的增强现实内容数据传输并共享到作为外部设备的至少一个内容显示装置，使得改变的增强现实内容数据在至少一个其他内容显示装置被相同地显示。
图2是具体示出图1中所示的增强现实提供装置的立体图。并且，图3是图2中所示的增强现实提供装置的背面方向分解立体图，图4是图2及图3中所示的增强现实提供装置的正面方向分解立体图。
参照图2至图4，增强现实提供装置200包括支撑至少一个透明性透镜201的支撑框架202、至少一个显示模块210、感测模块240以及控制模块220。
支撑框架202可以形成为包括支撑至少一个透明性透镜201的边缘的眼镜架和眼镜架腿的眼镜型。支撑框架202的形态并不限于眼镜型，也可以形成为包括透明性透镜201的护目镜型或头戴型。
透明性透镜201可以形成为左右一体型，也可以构成为左右分离的第一透明性透镜及第二透明性透镜。左右一体型或利用第一透明性透镜及第二透明性透镜分离构成的透明性透镜201可以利用玻璃(glass)或塑料(plastic)透明或半透明地形成。由此，用户可以通过左右一体型或利用第一透明性透镜及第二透明性透镜分离构成的透明性透镜201观看现实的图像。在此，透明性透镜201(即，一体型透镜或第一透明性透镜及第二透明性透镜)可以考虑用户的视力而具有折射力。
透明性透镜201还可以包括将由至少一个显示模块210提供的增强现实内容图像FH向透明性透镜201或用户的眼睛方向反射的至少一个反射部件以及调节焦点和大小的光学部件。至少一个反射部件可以与透明性透镜201一体地内置于透明性透镜201，并且可以利用具有预定曲率的多个折射透镜或多个棱镜形成。
至少一个显示模块210可以包括微型LED显示装置(micro-LED Display Device)、纳米LED显示装置(nano-LED Display Device)、有机发光显示装置(OLED)、无机发光显示装置(inorganic EL Display Device)、量子点发光显示装置(QED)、阴极射线管显示装置(CRT Display Device)、液晶显示装置(LCD)等。以下，将说明微型LED显示装置包括于显示模块210的示例，并且除非需要特殊区分，否则应用于实施例的微型LED显示装置将简称为显示装置。然而，实施例不限于微型LED显示装置，在共享技术思想的范围内，可以应用上述列举的显示装置或本领域已知的其他显示装置。
感测模块240组装到支撑框架202或形成为一体，并感测与支撑框架202的前面方向物体的距离(或深度)、照度、支撑框架202的移动方向、移动距离、倾斜度等。为此，感测模块240包括红外线传感器或雷达传感器(Radar Sensor)等的深度传感器241和相机等的图像传感器260。并且，感测模块240还可以包括照度传感器、人体感知传感器、陀螺仪传感器、倾斜度传感器、加速度传感器中的至少一个运动传感器等。并且，感测模块240还可以进一步包括检测用户的眼球或瞳孔的运动信息的第一生物传感器231及第二生物传感器232。
第一生物传感器231及第二生物传感器232布置于支撑框架202的与用户的眼睛面对的方向的内侧，并包括至少一个红外线光源及至少一个红外线相机。至少一个红外线光源输出红外线，至少一个红外线相机检测从作为拍摄对象的眼睛或瞳孔反射的红外线。在此，至少一个红外线光源可以利用行列结构的红外线LED阵列构成。并且，红外线相机可以包括使红外线通过并阻断除了红外线之外的波长带的滤波器、使通过滤波器的红外线聚焦的透镜系统以及将借由透镜系统而形成的光学图像转换为电图像信号并输出的光学图像传感器。光学图像传感器可以与红外线LED阵列相同地利用矩阵结构的阵列构成。
感测模块240将通过深度传感器241以及至少一个运动传感器等而生成的感测信号实时地传输到控制模块220。并且，图像传感器260将实时地生成的至少一帧单位的图像数据传输到控制模块220。感测模块240的第一生物传感器231及第二生物传感器232将分别检测到的瞳孔感知信号传输到控制模块220。
控制模块220可以与至少一个显示模块210一起组装到支撑框架202的至少一侧，或者可以与支撑框架202形成为一体。控制模块220将增强现实内容数据供应到至少一个显示模块210，使得至少一个显示模块210显示增强现实内容(作为一示例，增强现实内容图像)。与此同时，控制模块220从感测模块240实时地接收感测信号、图像数据及瞳孔感知信号。
控制模块220通过来自感测模块240的感测信号和来自图像传感器260的图像数据来检测增强现实提供装置200的运动信息，并且确保并存储前面方向的图像数据。并且，控制模块220根据基于行列的瞳孔感知信号的变化及瞳孔感知信号的分析结果来检测用户的注视方向坐标。因此，控制模块220可以将增强现实提供装置200的前面方向图像数据划分成预先设定的多个块区域，并分析与用户的注视方向坐标对应的划分块区域的图像以检测用户的手或指示工具等。
控制模块220在与用户的注视方向坐标对应的划分块区域的图像中检测出用户的手形状(或指示工具)时，连续实时地计算根据用户的手位置及手形状变化的三轴(X轴、Y轴、Z轴)方向坐标信息，并检测通过坐标信息连接及追踪的运动信息。并且，将包括在运动信息的手的位置坐标信息与增强现实内容数据的图像对象进行匹配，从而根据手的位置坐标的变化而改变增强现实内容的整体图像或匹配的图像对象的显示特性数据。与此同时，还可以改变声音等的连接数据，以符合整体图像或对象的运动的改变。
图5是示意性地示出图2至图4中所示的增强现实提供装置的显示模块的构成图。
参照图2至图5，显示增强现实内容图像FH的至少一个显示模块210可以组装到支撑框架202的一侧或两侧，或者可以与支撑框架202形成为一体。
显示模块210使增强现实内容图像FH显示在至少一个透明性透镜201，从而使得增强现实内容图像FH与通过至少一个透明性透镜201由用户看到的现实图像重叠而显示。为此，至少一个显示模块210包括显示增强现实内容图像FH的至少一个图像显示设备110以及将增强现实内容图像FH传输到至少一个透明性透镜201的图像传输部件211。在此，图像传输部件211可以包括光波导(例如，棱镜)、扩散透镜112以及焦点形成透镜114中的至少一个光学部件。因此，通过各个图像显示设备110显示的增强现实内容图像FH可以通过光波导和扩散透镜112以及至少一个焦点形成透镜114等而提供到至少一个透明性透镜201和用户的眼睛。
包括在显示模块210的图像显示设备110可以包括微型LED显示装置(micro-LEDDisplay Device)、纳米LED显示装置(nano-LED Display Device)、有机发光显示装置(OLED)、无机发光显示装置(inorganic EL Display Device)、量子点发光显示装置(QED)、阴极射线管显示装置(CRT Display Device)、液晶显示装置(LCD)等。以下，将说明微型LED显示装置包括于图像显示设备110的示例。然而，实施例不限于微型LED显示装置，在共享技术思想的范围内，可以应用上述列举的显示装置或本领域已知的其他显示装置。
图6是具体示出图5中所示的图像显示设备的布局图。并且，图7是详细示出图6的A区域的布局图，图8是详细示出图7的B区域中所示的像素的布局图。
根据图6至图8的一实施例的图像显示设备110以在通过半导体工艺形成的半导体电路板上布置发光二极管元件的硅上发光二极管(LEDoS：Light Emitting Diode onSilicon)结构为例进行了说明。然而，应当注意，本说明书中的实施例不限于此。并且，虽然以根据本说明书的一实施例的图像显示设备110是包括作为发光元件的超小型发光二极管(微型或纳米发光二极管)的超小型发光二极管显示模块(微型或纳米发光二极管显示模块)的情况为中心进行了说明，但是本说明书的实施例不限于此。
根据图6至图8，第一方向DR1指示图像显示设备110的横向方向，第二方向DR2指示图像显示设备110的纵向方向，并且第三方向DR3指示显示面板212的厚度方向或者半导体电路板215(参照图9)的厚度方向。此外，第四方向DR4指示显示面板212的对角线方向，第五方向DR5指示与第四方向DR4交叉的对角线方向。在此情况下，“左”、“右”、“上”、“下”表示在平面观察显示面板212时的方向。例如，“右侧”表示第一方向DR1的一侧，“左侧”表示第一方向DR1的另一侧，“上侧”表示第二方向DR2的一侧，“下侧”表示第二方向DR2的另一侧。并且，“上部”指示第三方向DR3的一侧，“下部”指示第三方向DR3的另一侧。
参照图6至图8，图像显示设备110配备有包括显示区域DA和非显示区域NDA的显示面板212。
图像显示设备110的显示面板212可以具有包括第一方向DR1上的长边和第二方向DR2上的短边的四边形的平面形态。然而，显示面板212的平面形态不限于此，可以具有除了四边形之外的其他多边形、圆形、椭圆形或不规则的平面形态。
显示区域DA可以是显示图像的区域，并且非显示区域NDA可以是不显示图像的区域。显示区域DA的平面形态可以跟随显示面板212的平面形态。图6作为示例示出了显示区域DA的平面形态为四边形的情况。显示区域DA可以布置于显示面板212的中心区域。非显示区域NDA可以布置于显示区域DA周围。非显示区域NDA可以布置成包围显示区域DA。
第一垫部PDA1可以布置于非显示区域NDA。第一垫部PDA1可以布置于显示面板212的上侧。第一垫部PDA1可以包括与外部的电路板连接的第一垫PD1。另外，第二垫部PDA2可以布置于非显示区域NDA。第二垫部PDA2可以布置于半导体电路板的下侧。第二垫部PDA2可以包括用于连接到外部的电路板的第二垫。可以省略这种第二垫部PDA2。
显示面板212的显示区域DA可以包括多个像素PX。各个像素PX可以被定义为能够在各个定义的像素区域PX_d显示白色光的最小发光单位。
在各个像素区域PX_d布置为能够显示白色光的最小单位的像素PX可以包括多个发光区域EA1、EA2、EA3、EA4。在本说明书的实施例中，举例示出了各个像素PX包括以
Figure BDA0003700422490000131
矩阵(PenTile matrix)结构布置的四个发光区域EA1、EA2、EA3、EA4的情况，但不限于此。例如，多个像素PX中的每一个可以仅包括三个发光区域EA1、EA2、EA3。
按各个像素区域PX_d的多个发光区域EA1、EA2、EA3、EA4可以被隔壁PW划分。隔壁PW可以布置成包围布置在发光区域EA1、EA2、EA3、EA4的第一发光元件LE1至第四发光元件LE4中的每一个。隔壁PW可以与第一发光元件LE1至第四发光元件LE4中的每一个隔开而布置。这种隔壁PW可以具有网格形态、网形态或格子形态的平面形态。
在图7和图8中，举例示出了由隔壁PW定义的多个发光区域EA1、EA2、EA3、EA4中的每一个具有构成
Figure BDA0003700422490000132
矩阵结构的菱形平面形态的情况，但是本说明书的实施例不限于此。例如，由隔壁PW定义的多个发光区域EA1、EA2、EA3、EA4中的每一个可以具有除了菱形之外的四边形或三角形等的多边形、圆形、椭圆形或不规则的形态。
参照图8，在多个发光区域EA1、EA2、EA3、EA4中，第一发光区域EA1可以包括发出第一光的第一发光元件LE1，第二发光区域EA2可以包括发出第二光的第二发光元件LE2，第三发光区域EA3可以包括发出第三光的第三发光元件LE3，第四发光区域EA4可以包括发出第四光的第四发光元件LE4。第一光可以是实现红色、绿色、蓝色中的一种颜色的波长带的光。并且，第二光可以是实现红色、绿色、蓝色中与第一光不同的一种颜色的波长带的光。相反，第三光可以是实现红色、绿色、蓝色中与第一光及第二光不同的一种颜色的波长带的光。并且，第四光可以是与上述第一光至第三光中的一种光相同的波长带的光。
虽然例示了分别包括在以
Figure BDA0003700422490000133
矩阵结构布置的第一发光区域EA1至第四发光区域EA4的第一发光元件LE1至第四发光元件LE4中的每一个具有菱形形状的平面形态的情况，但是本说明书的实施例不限于此。例如，第一发光元件LE1至第四发光元件LE4中的每一个可以形成为除了菱形形状之外的三角形或四边形等的多边形、圆形、椭圆形或不规则的形态。
各个第一发光区域EA1指示发出第一光的区域。各个第一发光区域EA1输出从第一发光元件LE1射出的第一光。如上所述，第一光可以是实现红色、绿色、蓝色中的一种颜色的波长带的光。作为一示例，第一光可以是红色波长带的光。红色波长带可以是大致600nm至750nm，但是本说明书的实施例不限于此。
各个第二发光区域EA2指示发出第二光的区域。各个第二发光区域EA2输出从第二发光元件LE2射出的第二光。第二光可以是实现红色、蓝色、绿色中与第一光不同的一种颜色的波长带的光。作为一示例，第二光可以是蓝色波长带的光。蓝色波长带可以是大致370nm至460nm，但是本说明书的实施例不限于此。
各个第三发光区域EA3指示发出第三光的区域。各个第三发光区域EA3输出从第三发光元件LE3射出的第三光。第三光可以是实现红色、蓝色、绿色中与第一光及第二光不同的一种颜色的波长带的光。作为一示例，第三光可以是绿色波长带的光。绿色波长带可以是大致480nm至560nm，但是本说明书的实施例不限于此。
各个第四发光区域EA4指示发出第四光的区域。各个第四发光区域EA4输出从第四发光元件LE4射出的第四光。在此，第四光可以是实现与第一光至第三光中的一种光相同的颜色的波长带的光。作为一示例，第四光可以是与第二光相同的蓝色波长带的光，也可以是与第三光相同的绿色波长带的光。本说明书的实施例不限于此。
各个像素PX的第二发光区域EA2可以与沿着作为横向(或行)方向的第一方向DR1相邻的其他像素PX的第四发光区域EA4交替地布置。并且，各像素PX的第一发光区域EA1及第三发光区域EA3可以沿着作为横向(或行)方向的第一方向DR1交替地布置。相反，各个像素PX的第四发光区域EA4可以与沿着作为横向(或行)方向的第一方向DR1相邻的其他像素PX的第二发光区域EA2交替地布置。
第一发光区域EA1和第四发光区域EA4在作为第一对角线方向的第四方向DR4上交替地布置，第二发光区域EA2和第三发光区域EA3也在作为第一对角线方向的第四方向DR4上交替地布置。因此，第二发光区域EA2和第一发光区域EA1可以在作为与第一对角线方向交叉的第二对角线方向的第五方向DR5上交替地布置，并且第三发光区域EA3和第四发光区域EA4也在作为第二对角线方向的第五方向DR5上交替地布置，从而各个像素PX也可以整体上以
Figure BDA0003700422490000141
矩阵结构布置并排列。
各个像素PX的第一发光区域EA1至第四发光区域EA4中的每一个的大小或平面面积可以形成为彼此相同或不同。与此相同，分别形成在第一发光区域EA1至第四发光区域EA4的第一发光元件LE1至第四发光元件LE4中的每一个的大小或平面面积也可以形成为彼此相同或不同。
具体而言，第一发光区域EA1的面积、第二发光区域EA2的面积、第三发光区域EA3的面积以及第四发光区域EA4的面积可以实质上相同，但是本说明书的实施例不限于此。例如，第一发光区域EA1及第二发光区域EA2的面积可以不同，第二发光区域EA2及第三发光区域EA3的面积也可以不同，第三发光区域EA3及第四发光区域EA4的面积也可以不同。此时，第一发光区域EA1至第四发光区域EA4中的至少两个发光区域的面积可以彼此相同。
在水平方向或对角线方向上彼此相邻的第一发光区域EA1与第二发光区域EA2之间的距离、第二发光区域EA2与第三发光区域EA3之间的距离、第三发光区域EA3与第四发光区域EA4之间的距离以及第一发光区域EA1与第四发光区域EA4之间的距离可以彼此相同，但是也可以根据不同的面积而彼此不同。本说明书的实施例不限于此。
第一发光区域EA1发出第一光，第二发光区域EA2发出第二光，第三发光区域EA3发出第三光，并且第四发光区域EA4发出与第一光至第三光中的一种光相同的光的示例也不限于此。第一发光区域EA1至第四发光区域EA4中的至少一个发光区域也可以发出第五光。在此，第五光可以是黄色波长带的光。即，第五光的主峰值波长可以位于大致550nm至600nm，但是本说明书的实施例不限于此。
图9是示出沿图8的I-I'线剖切的图像显示设备的一示例的剖面图。并且，图10是详细示出图9的发光元件的一示例的放大剖面图。
参照图9及图10，显示面板212可以包括半导体电路板215、导电连接层216和发光元件层217。
半导体电路板215可以包括多个像素电路部PXC和像素电极214。导电连接层216可以包括连接电极213、第一垫PD1(参照图7)、公共连接电极CCE、第一绝缘膜INS1以及导电图案213R。
半导体电路板215可以是利用半导体工艺形成的硅晶片基板。半导体电路板215的多个像素电路部PXC可以利用半导体工艺形成。
多个像素电路部PXC可以布置于显示区域DA(图6)中。多个像素电路部PXC中的每一个可以连接到与其对应的像素电极214。即，多个像素电路部PXC和多个像素电极214可以一对一对应地连接。多个像素电路部PXC中的每一个可以在第三方向DR3上分别与对应的发光元件LE1至LE4中的一个重叠。各个像素电路部PXC可以应用3T1C结构、2T1C结构、7T1C结构、6T1C结构等其他多样的变形电路结构。
各个像素电极214可以布置于与其对应的像素电路部PXC上。各个像素电极214可以是从像素电路部PXC暴露的暴露电极。即，各个像素电极214可以从像素电路部PXC的上表面突出。各个像素电极214可以与像素电路部PXC形成为一体。各个像素电极214可以从像素电路部PXC接收像素电压或阳极电压。像素电极214可以利用铝(Al)形成。
各个连接电极213可以布置于与其对应的像素电极214上。各个连接电极213可以布置于像素电极214上。连接电极213可以包括用于粘合像素电极214和各个发光元件LE1至LE4的金属物质。
公共连接电极CCE可以与像素电极214及连接电极213隔开而布置。公共连接电极CCE可以以包围像素电极214及连接电极213的方式布置。公共连接电极CCE可以连接到非显示区域NDA的第一垫部PDA1的第一垫PD1中的一个以接收公共电压。公共连接电极CCE可以包括与连接电极213相同的物质。
在公共连接电极CCE上可以布置有第一绝缘膜INS1。第一绝缘膜INS1在第一方向DR1或第二方向DR2上的宽度可以小于公共连接电极CCE的宽度。由此，公共连接电极CCE的上表面的一部分可以不被第一绝缘膜INS1覆盖而暴露。未被第一绝缘膜INS1覆盖而暴露的公共连接电极CCE的上表面的一部分可以与公共电极CE接触。因此，公共电极CE可以连接到公共连接电极CCE。
在第一绝缘膜INS1上可以布置有导电图案213R。导电图案213R可以布置在第一绝缘膜INS1与隔壁PW之间。导电图案213R的宽度可以与第一绝缘膜INS1的宽度或隔壁PW的宽度实质上相同。导电图案213R对应于通过与连接电极213及公共连接电极CCE相同的工艺形成的残留物。
发光元件层217可以包括发光元件LE1、LE2、LE3、LE4中的每一个、隔壁PW、第二绝缘膜INS2、公共电极CE、反射膜RF、阻光部件BM以及光学图案LP。
发光元件层217可以包括被隔壁PW划分的第一发光区域EA1至第四发光区域EA4。在第一发光区域EA1至第四发光区域EA4中的每一个可以布置有各个发光元件LE及光学图案LP中的至少一个构成要素。
图9的发光元件LE1、LE2、LE3可以在各个发光区域EA1至EA3中布置于连接电极213上。各个发光元件LE1、LE2、LE3在第三方向DR3上的长度(或高度)可以比在水平方向上的长度长。水平方向上的长度指示第一方向DR1上的长度或第二方向DR2上的长度。例如，第一发光元件LE1在第三方向DR3上的长度可以是大致1μm至5μm。
参照图10，发光元件LE1、LE2、LE3、LE4中的每一个包括第一半导体层SEM1、电子阻挡层EBL、活性层MQW、超晶格层SLT以及第二半导体层SEM2。第一半导体层SEM1、电子阻挡层EBL、活性层MQW、超晶格层SLT以及第二半导体层SEM2可以在第三方向DR3上依次堆叠。
第一半导体层SEM1可以布置在连接电极213上。第一半导体层SEM1可以是掺杂有诸如Mg、Zn、Ca、Se、Ba等的第一导电型掺杂剂的半导体层。例如，第一半导体层SEM1可以是掺杂有p型Mg的p-GaN。第一半导体层SEM1的厚度可以是大致30nm至200nm。
电子阻挡层EBL可以布置于第一半导体层SEM1上。电子阻挡层EBL可以是用于抑制或防止过多的电子流入活性层MQW的层。例如，电子阻挡层EBL可以是掺杂有p型Mg的p-AlGaN。电子阻挡层EBL的厚度可以是大致10nm至50nm。可以省略电子阻挡层EBL。
活性层MQW可以划分为第一活性层至第三活性层。第一活性层至第三活性层中的每一个可以包括具有单量子阱结构或多量子阱结构的物质。在第一活性层至第三活性层中的每一个包括多量子阱结构的物质的情况下，也可以是多个阱层(well layer)和势垒层(barrier layer)彼此交替堆叠的结构。此时，第一活性层可以包括InGaN或GaAs，并且第二活性层和第三活性层可以包括InGaN，但不限于此。在此，第一活性层可以根据电信号借由电子-空穴对的结合而发出光。第一活性层可以发出具有大致600nm至750nm的范围的主峰值波长的第一光(即，红色波长带的光)。第二活性层可以根据电信号借由电子-空穴对的结合而发出光。第二活性层可以发出具有大致480nm至560nm的范围的主峰值波长的第三光(即，绿色波长带的光)。第三活性层可以根据电信号借由电子-空穴对的结合而发出光。第三活性层可以发出具有大致370nm至460nm的范围的主峰值波长的第二光(即，蓝色波长带的光)。
第一活性层至第三活性层中的每一个发出的光的颜色可以根据铟的含量而不同。例如，随着铟的含量减小，第一活性层至第三活性层中的每一个发出的光的波长带可以向红色波长带移动，并且随着铟的含量增加，第一活性层至第三活性层中的每一个发出的光的波长带可以向蓝色波长带移动。第一活性层的铟(In)的含量可以高于第二活性层的铟(In)的含量，并且第二活性层的铟(In)的含量可以高于第三活性层的铟(In)的含量。例如，第三活性层的铟(In)的含量可以是15％，第二活性层的铟(In)的含量可以是25％，并且第一活性层的铟(In)的含量可以是35％以上。
由于第一活性层至第三活性层中的每一个发出的光的颜色可以根据铟的含量而不同，因此各个发光元件LE1、LE2、LE3的发光元件层217可以根据铟的含量而发出彼此相同或不同的第一光、第二光、第三光等的光。例如，当第一发光元件LE1的第一活性层至第三活性层内的铟(In)的含量在15％以内时，可以发出具有大致600nm至750nm的范围的主峰值波长的红色波长带的第一光。并且，当第二发光元件LE2的第一活性层至第三活性层内的铟(In)的含量为25％时，可以发出具有大致480nm至560nm的范围的主峰值波长的绿色波长带的第二光。并且，当第三发光元件LE3的第一活性层至第三活性层内的铟(In)的含量为35％以上时，可以发出具有大致370nm至460nm的范围的主峰值波长的蓝色波长带的第三光。通过调节并设定第四发光元件LE4的第一活性层至第三活性层内的铟(In)的含量，第四发光元件LE4也可以发出第一光至第三光，或者发出又一第四光。
在活性层MQW上可以布置有超晶格层SLT。超晶格层SLT可以是用于减轻第二半导体层SEM2与活性层MQW之间的应力的层。例如，超晶格层SLT可以利用InGaN或GaN形成。超晶格层SLT的厚度可以是大致50nm至200nm的范围。可以省略超晶格层SLT。
第二半导体层SEM2可以布置于超晶格层SLT上。第二半导体层SEM2可以掺杂有诸如Si、Ge、Sn等的第二导电型掺杂剂。例如，第二半导体层SEM2可以是掺杂有n型Si的n-GaN。第二半导体层SEM2的厚度可以是大约2μm至4μm。
隔壁PW可以与分别布置于第一发光区域EA1至第四发光区域EA4的各个发光元件LE1至LE4隔开而布置。隔壁PW可以布置为包围布置于第一发光区域EA1至第四发光区域EA4中的每一个的发光元件LE1至LE4。
隔壁PW可以布置在公共连接电极CCE上。隔壁PW在第一方向DR1和第二方向DR2上的宽度可以小于公共连接电极CCE的宽度。隔壁PW可以与发光元件LE隔开而布置。
隔壁PW可以包括第一隔壁PW1、第二隔壁PW2以及第三隔壁PW3。第一隔壁PW1可以布置在第一绝缘膜INS1上。由于第一隔壁PW1通过与发光元件LE相同的工艺形成，因此第一隔壁PW1的至少一部分区域可以包括与发光元件LE相同的物质。
第二绝缘膜INS2可以布置在公共连接电极CCE的侧表面、隔壁PW的侧表面、像素电极214中的每一个的侧表面、连接电极213中的每一个的侧表面以及发光元件LE1至LE4中的每一个的侧表面上。第二绝缘膜INS2可以利用诸如硅氧化膜(SiO2)之类的无机膜形成。第二绝缘膜INS2的厚度可以是大致0.1μm。
公共电极CE可以布置在发光元件LE1至LE4中的每一个的上表面和侧表面以及隔壁PW的上表面和侧表面上。即，公共电极CE可以布置为覆盖发光元件LE1至LE4中的每一个的上表面和侧表面以及隔壁PW的上表面和侧表面。
公共电极CE可以与布置在公共连接电极CCE的侧表面、隔壁PW的侧表面、像素电极214中的每一个的侧表面、连接电极213中的每一个的侧表面以及发光元件LE1至LE4中的每一个的侧表面上的第二绝缘膜INS2接触。并且，公共电极CE可以与公共连接电极CCE的上表面、发光元件LE1至LE4中的每一个的上表面以及隔壁PW的上表面接触。
公共电极CE可以与未被第二绝缘膜INS2覆盖而暴露的公共连接电极CCE的上表面以及发光元件LE1至LE4的上表面接触。因此，供应到公共连接电极CCE的公共电压可以施加到发光元件LE1至LE4。即，发光元件LE1至LE4的一端可以通过连接电极213接收像素电极214的像素电压或阳极电压，发光元件LE1至LE4的另一端可以通过公共电极CE接收公共电压。发光元件LE可以根据像素电压与公共电压之间的电压差以预定的亮度发光。
反射膜RF可以布置在公共连接电极CCE的侧表面、隔壁PW的侧表面、像素电极214中的每一个的侧表面、连接电极213中的每一个的侧表面以及发光元件LE1至LE4中的每一个的侧表面上。反射膜RF起到反射从发光元件LE1至LE4发出的光中不是向上部方向而是向上下左右侧表面方向行进的光的作用。反射膜RF可以包括诸如铝(Al)之类的反射率高的金属物质。反射膜RF的厚度可以是大致0.1μm。
基材树脂BRS可以在发光元件LE1至LE4中的每一个中布置于保护膜(未图示)上。基材树脂BRS可以包括透光性有机物质。基材树脂BRS还可以包括用于在随机方向上散射发光元件LE1至LE4的光的散射体。在此情况下，散射体可以包括金属氧化物颗粒或有机颗粒。
在隔壁PW上可以布置有阻光部件BM。阻光部件BM可以包括阻光物质。阻光部件BM可以布置在相邻的各个发光区域EA1、EA2、EA3、EA4之间，以防止从各个发光区域EA1、EA2、EA3、EA4的发光元件LE1至LE4发出的彼此不同的波长带的光之间的混色。并且，阻光部件BM可以吸收从外部入射到发光元件层217的外部光的至少一部分，从而减少外部光反射。阻光部件BM位于隔壁PW上，并且可以进一步延伸而布置于各个发光区域EA1、EA2、EA3、EA4。即，阻光部件BM的宽度可以大于隔壁PW的宽度。
各个光学图案LP可以选择性地布置在各个发光区域EA1、EA2、EA3、EA4上。各个光学图案LP可以直接布置于各个发光区域EA1、EA2、EA3、EA4的基材树脂BRS上。光学图案LP可以具有在上部方向(例如，从发光元件LE1至LE4朝向各个光学图案LP的方向)上突出的形状。例如，各个光学图案LP的截面形状可以包括向上部凸出的透镜(Lens)形状。各个光学图案LP可以布置于下部的基材树脂BRS及阻光部件BM上。各个光学图案LP的宽度可以与各个发光区域EA1、EA2、EA3、EA4的宽度相同，或者更大，或者更小。各个光学图案LP可以在各个发光区域EA1、EA2、EA3、EA4聚焦透过基材树脂BRS的第一光至第三光或第四光。
图11是示意性地示出配备于图2至图4的增强现实提供装置的控制模块的框图。
图11所示的控制模块220包括感测信号检测部221、感测信号分析部222、感知位置匹配部223、内容数据提供部224、内容改变部225、显示控制部226以及无线通信部227。
具体而言，感测信号检测部221从包括深度传感器241的感测模块240接收感测信号。并且，从图像传感器260接收图像数据，并且从第一生物传感器231及第二生物传感器232接收瞳孔感知信号。感测信号检测部221执行对来自深度传感器241等的感测信号和瞳孔感知信号进行滤波并转换为数字信号等的预处理过程。并且，感测信号检测部221以至少一帧为单位或以水平线为单位使图像数据整齐排列并依次输出。
感测信号分析部222利用来自感测信号检测部221的预处理的感测信号和图像数据来检测增强现实提供装置200的移动方向信息及前面方向图像数据。并且，感测信号分析部222将增强现实提供装置200的前面方向图像数据划分为预先设定的多个块区域。并且，感测信号分析部222根据布置于第一生物传感器231及第二生物传感器232的红外线传感器的行列布置信息、基于行列布置信息的瞳孔感知信号的移动分析结果来检测用户的注视方向坐标。并且，通过分析前面方向图像数据的所划分的多个块区域中与用户的注视方向坐标对应的划分块区域的图像，来检测用户的手或指示工具等。
感测信号分析部222在与用户的注视方向坐标对应的块区域的图像中检测到用户的手形状(或者，指示工具形状)等时，向感知位置匹配部223及内容改变部225等发送检测开始信号。此后，感测信号分析部222连续地检测出根据用户的手位置、移动方向、形状变化等的三轴位置坐标(例如，X轴坐标、Y轴坐标、Z轴坐标)信息，并生成连接关于手的三轴位置坐标信息的移动路径数据。具体而言，感测信号分析部222将连续检测到的手的三轴位置坐标连续存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，以生成根据手的形状变化和位置移动的移动路径数据。
感知位置匹配部223从感测信号分析部222依次接收根据手的形状变化和位置移动的移动路径数据。并且，从内容数据提供部224依次接收增强现实内容数据。并且，感知位置匹配部223通过将包括在移动路径数据的手的三轴位置坐标与增强现实内容数据中的按帧的图像数据实时对应来将手的位置坐标与增强现实内容数据的图像对象进行匹配。并且，以至少一帧为单位依次输出匹配的手的位置坐标和图像对象的数据。
内容改变部225以至少一帧为单位依次接收在感知位置匹配部223中匹配的手的位置坐标和图像对象的数据。并且，改变增强现实内容的整体图像数据或匹配的图像对象的大小、位置、颜色、运动等的数据，以对应于以至少一帧为单位变化的手的位置坐标。内容改变部225还可以根据整体图像或对象的运动改变来改变声音等的连接数据。
显示控制部226控制至少一个显示模块210的图像显示操作，使得来自内容数据提供部224的增强现实内容数据通过至少一个显示模块210和透明性透镜201等而显示。并且，在增强现实内容数据借由内容改变部225而改变时，显示控制部226控制至少一个显示模块210的图像显示操作，使得改变的增强现实内容数据被显示。此时，显示控制部226可以根据至少一个显示模块210和声音设备等的显示特性或驱动特性来改变通过内容改变部225而改变的增强现实内容数据并将其供应到至少一个显示模块210和声音设备等。并且，显示控制部226可以向至少一个显示模块210和声音设备等传输控制驱动时序的控制信号，使得所述改变的增强现实内容可以通过至少一个显示模块210和声音设备等而显示。
无线通信部227包括蓝牙(bluetooth)模块、红外线通信(IrDA：infrared dataassociation)模块、WiFi直连(WiFi-Direct)通信模块、近场通信(NFC：Near FieldCommunication)模块中的至少一个通信模块。因此，无线通信部227可以通过蓝牙通信方式、红外线通信方式、WiFi直连通信方式以及NFC通信方式中的至少一个通信方式与作为外部设备的至少一个内容显示装置等执行无线通信。因此，无线通信部227可以将通过内容改变部225改变的增强现实内容数据传输到作为外部设备的至少一个内容显示装置并与该至少一个内容显示装置共享该增强现实内容数据，使得该增强现实内容数据在至少一个其他内容显示装置上相同地显示。
图12是用于说明根据一实施例的增强现实提供装置的增强现实内容改变及显示方法的流程图。并且，图13是用于说明根据一实施例的利用增强现实提供装置的增强现实内容显示及手位置识别方法的图，图14是用于说明根据一实施例的利用图像数据的手位置识别方法的图。
首先参照图12及图13，显示控制部226控制至少一个显示模块210的图像显示操作，使得来自内容数据提供部224的增强现实内容数据通过至少一个显示模块210和透明性透镜201显示(图12的S1)。
参照图13及图14，感测信号分析部222根据从感测信号检测部221实时接收的感测信号和图像数据来检测增强现实提供装置200的前面方向图像数据IMD。在此，前面方向图像数据IMD可以根据图像传感器260的左右及上下方向的视角PSL至PSR而被拍摄及检测为预先设定的大小及分辨率的帧数据。感测信号分析部222可以以图像传感器260的正面方向或正面点PS为基准，以与视角PSL至PSR范围对应的大小的帧单位检测并生成前面方向图像数据IMD。并且，以至少一帧为单位将前面方向图像数据IMD存储于单独的存储器等。
感测信号分析部222将前面方向图像数据IMD划分为预先设定的多个块区域Dn(Bx,By)。感测信号分析部222根据布置在第一生物传感器231及第二生物传感器232的红外线传感器的行列布置信息和瞳孔感知信号的行列方向移动分析结果来检测用户的注视方向坐标信息Pu。并且，通过分析划分的多个前面方向图像数据IMD中与用户的瞳孔注视方向坐标信息Pu对应的划分块区域Dn的图像，来检测用户的手形状。此时，感测信号分析部222可以根据各个划分块区域Dn(Bx,By)的像素之间的灰度或亮度差的分析结果、或像素数据与手形状掩模之间的对比结果等的分析结果来检测手形状图像。
图15是示出根据一实施例的利用增强现实提供装置的手动作及位置识别方法的图。
参照图15，在前面方向图像数据IMD内检测到用户的手H1形状图像时，感测信号分析部222连续检测根据用户手H1的位置、移动方向、形状变化等的X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)，并生成连接关于手H1的位置坐标信息的移动路径数据(图12的S2)。
感测信号分析部222将连续检测到的X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)连续存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，以生成根据手H1的形状变化和位置移动(箭头方向移动)的移动路径数据(图12的S3)。
图16是示出根据一实施例的利用增强现实提供装置的电子笔及位置识别方法的图。
参照图16，感测信号分析部222可以在前面方向图像数据IMD内检测出电子笔、书写工具、激光指示器等的指示工具P1。在前面方向图像数据IMD内检测到指示工具P1的形状时，感测信号分析部222可以连续检测根据用户指示工具P1的位置、移动方向、形状变化等的X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)，并生成连接关于指示工具P1的位置坐标信息的移动路径数据。此时，感测信号分析部222可以将连续检测到的X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)连续存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，以生成根据指示工具P1的位置移动(箭头方向移动)的移动路径数据。
图17是示出根据一实施例的利用增强现实提供装置的多样的手动作及运动识别方法的图。
参照图17，在前面方向图像数据IMD内检测到用户的手H1形状时，感测信号分析部222连续检测根据用户手H1的位置、移动方向变化的X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)。并且，区分前面方向图像数据IMD的与X轴、Y轴、Z轴的三轴位置坐标信息SSn(Sx,Sy,Sz)对应的划分块区域Dn(Bx,By,Bz)，并且根据各个图像数据的按划分块区域Dn(Bx,By,Bz)的深度感测信号差值、像素之间的灰度或亮度差的分析结果或者像素数据和手形状掩模的对比结果等的分析结果来捕获或检测手形状图像。可以连续地检测手形状的图像数据并将其传输到感知位置匹配部223。
图18是示出根据一实施例的用户的手位置运动信息与增强现实内容的匹配及改变方法的图。
参照图18，感知位置匹配部223从感测信号分析部222依次接收根据手的形状变化和位置移动(即，三轴位置坐标信息SSn(Sx,Sy,Sz)变化)的移动路径数据。与此同时，感知位置匹配部223依次接收通过无线通信部227的外部的增强现实内容数据或来自内容数据提供部224的增强现实内容数据。
感知位置匹配部223通过将包括在移动路径数据的手的三轴位置坐标信息SSn(Sx,Sy,Sz)与增强现实内容数据的按帧的图像数据实时对应来将手的三轴位置坐标信息SSn(Sx,Sy,Sz)与增强现实内容的图像对象C进行匹配。并且，将匹配的手的三轴位置坐标信息SSn(Sx,Sy,Sz)和图像对象的数据以至少一帧为单位传输到内容改变部225(图12的S4)。
内容改变部225可以根据手的三轴位置坐标信息SSn(Sx,Sy,Sz)是否发生变化来确定是否改变或保持图像对象数据。即，内容改变部225可以根据以预先设定的基准帧为单位变化的手的位置坐标的变化大小等来确定是否执行图像数据的改变过程(图12的S5)。并且，除了以预先设定的基准帧为单位变化的手的三轴位置坐标的变化大小之外，内容改变部225还可以通过手形状的图像数据连续地检测手形状的变化，并根据按手形状预先设定的命令来确定是否执行图像数据的改变过程(图12的S6)。
图19是示出根据一实施例的用户的手动作与增强现实内容的匹配及改变方法的图。
如图19所示，当执行图像数据的改变过程时，内容改变部225改变增强现实内容的整体图像数据或匹配的对象C的大小、位置、颜色、运动等的数据，以对应于以至少一帧为单位变化的手的三轴位置坐标信息SSn(Sx,Sy,Sz)(图12的S7)。
尤其，内容改变部225可以通过手形状的图像数据DH1连续地检测手形状的变化，并且根据按手形状预先设定的命令来改变增强现实内容的整体图像数据或匹配的对象C的大小、位置、颜色、运动等的数据(图12的S7)。
图像数据的对象C可以根据手形状或运动信息进行旋转，或者其大小、位置、颜色、运动等可以发生变化。作为一示例，在对象为书图像的情况下，可以翻书图像的书页，或者可以更换或移动书。并且，在对象为图像对象的情况下，可以改变显示图像的大小或位置、视频播放等的选项。在对象是单纯的文本的情况下，可以以具有远近感的方式移动及布置文本，并可以执行写入或删除文本等的操作。
若增强现实内容数据被改变，则显示控制部226控制至少一个显示模块210的图像显示操作，使得改变的增强现实内容数据被显示。此时，显示控制部226可以与改变的增强现实内容数据一起将控制按各个显示模块210的驱动时序的控制信号供应到至少一个显示模块210，使得增强现实内容通过至少一个显示模块210显示(图12的S8)。另外，无线通信部227可以将改变的增强现实内容数据传输并共享给作为外部设备的至少一个内容显示装置，使得改变的增强现实内容数据同样显示在至少一个其他内容显示装置300(图12的S9)。
至少一个内容显示装置300可以在画面上显示从增强现实提供装置200共享及接收的增强现实内容(例如，增强现实内容图像)。当接收到通过内容改变部225改变的增强现实内容数据时，至少一个内容显示装置300在画面上显示接收到的增强现实内容图像。换句话说，当从增强现实提供装置200接收到改变的增强现实内容数据时，至少一个内容显示装置300可以与增强现实提供装置200在相同的时序在画面上显示改变的增强现实内容数据。
至少一个内容显示装置300可以应用于智能电话、平板个人计算机(PC)等的平板移动通信设备、个人数字助理(PDA：Personal Digital Assistant)、便携式多媒体播放器(PMP：Portable Multimedia Player)、电视、游戏机、手表型电子设备、头戴式显示器、个人计算机的显示器、笔记本计算机、平板型图像显示装置、汽车导航仪、汽车仪表盘、数码相机、摄像机、外部广告板、电子显示屏、医疗装置、检查装置、诸如冰箱和洗衣机等的多样的家电产品或者物联网装置。在本说明书中，作为内容显示装置300的示例，说明了用于学习或讲课的平板型图像显示装置，平板型图像显示装置可以具有HD、UHD、4K、8K等的高分辨率至超高分辨率。
用作至少一个内容显示装置300的平板型图像显示装置可以根据显示方式分类为有机发光显示装置(OLED)、无机发光显示装置(inorganic EL Display Device)、量子点发光显示装置(QED)、微型LED显示装置(micro-LED Display Device)、纳米LED显示装置(nano-LED Display Device)、等离子体显示装置(PDP)、场发射显示装置(FED)、阴极射线管显示装置(CRT Display Device)、液晶显示装置(LCD)、电泳显示装置(EPD)等。以下，作为内容显示装置300，以微型LED显示装置为例进行说明，只要不需要特别区分，应用于实施例的微型LED显示装置简称为显示装置。但是，实施例不限于微型LED显示装置，在共享技术思想的范围内，可以应用上述列举的显示装置或本领域已知的其他显示装置。
图20是示出根据一实施例的包括显示模块的手表式智能设备的示例图。
参照图20，包括在本发明的增强现实提供装置200的图像显示设备110可以应用于作为智能设备之一的手表型智能设备2。并且，根据一实施例的手表型智能设备2可以应用于包括可安装于头部的头部安装带的头戴式显示器(head mounted display)。即，根据一实施例的手表型智能设备2不限于图20中所示的设备，可以以多样的形式应用于除此之外的多样的电子设备。
图21是示出根据一实施例的包括显示模块的汽车仪表盘和中心仪表盘的一示例图。
参照图21，包括在本发明的增强现实提供装置200的图像显示设备110可以应用于车辆10的仪表盘10_a、车辆的中心仪表盘(center fascia)10_b、或者布置于车辆10的仪表板的中心信息显示器(CID：Center Information Display)10_d、10_e。并且，根据一实施例的图像显示设备110也可以应用于代替车辆的侧视镜的室内镜显示器(room mirrordisplay)10_d、10e、导航仪设备等。
图22是示出根据一实施例的包括显示模块的透明显示装置的一示例图。
参照图22，包括在本发明的增强现实提供装置200的图像显示设备110可以应用于透明显示装置。透明显示装置可以在显示图像IM的同时使光透射。因此，位于透明显示装置的前面的用户不仅能够观看显示在图像显示设备110的图像IM，而且能够观看位于透明显示装置的背面的物体RS或背景。在图像显示设备110应用于透明显示装置的情况下，图7中所示的图像显示设备110的显示面板212可以包括能够使光透射的光透射部，或者可以利用能够使光透射的材料形成。
以上，参照附图对本发明的实施例进行了说明，但只要是在本发明所属技术领域中具有普通知识的人员，便可以理解在不改变本发明的其技术思想或必要特征的情况下能够以其他具体形态实施。因此，应当理解，以上记述的实施例在所有方面均为示例性的，而不是限定性的。

Claims (10)

1.一种增强现实提供装置，包括：
支撑框架，支撑至少一个透明性透镜；
至少一个显示模块，通过所述至少一个透明性透镜显示增强现实内容；
感测模块，检测根据用户的手动作、手形状、手位置或指示工具的位置变化的感测信号和所述支撑框架的前面方向的图像数据；以及
控制模块，利用所述感测信号和所述图像数据来检测关于所述用户的手或所述指示工具的运动信息，以对应于所述运动信息的方式改变所述增强现实内容并提供给所述至少一个显示模块。
2.根据权利要求1所述的增强现实提供装置，其中，
所述至少一个显示模块，
组装在所述支撑框架的一侧或两侧，或者与所述支撑框架形成为一体，并通过图像传输部件和所述透明性透镜的反射部件显示所述增强现实内容的图像。
3.根据权利要求1所述的增强现实提供装置，其中，
所述感测模块，
组装于所述支撑框架或与所述支撑框架形成为一体，
利用深度传感器以及图像传感器来分别检测所述感测信号和包括所述用户的手或所述指示工具的所述图像数据，并且利用第一生物传感器及第二生物传感器来检测用户的眼球或瞳孔的运动。
4.根据权利要求3所述的增强现实提供装置，其中，
所述控制模块，
将所述图像数据划分为预先设定的多个块区域，并根据所述检测到的用户的眼球或瞳孔的运动的分析结果来检测出用户的注视方向坐标，
通过在所述多个块区域中与所述用户的注视方向坐标对应的块区域的图像中检测出所述用户的手或所述指示工具，来生成所述用户的手或所述指示工具的坐标信息。
5.根据权利要求4所述的增强现实提供装置，其中，
所述控制模块，
当在与所述用户的注视方向坐标对应的所述块区域的图像中检测出所述用户的手或所述指示工具时，连续地计算包括根据所述用户的手位置及形状或所述指示工具的位置变化的三轴方向位置坐标的所述运动信息，并生成连接所述三轴方向位置坐标的移动路径数据，
通过将包括在所述移动路径数据的所述用户的手或所述指示工具的三轴方向位置坐标与增强现实内容图像的对象进行匹配，来改变所述增强现实内容的数据。
6.根据权利要求5所述的增强现实提供装置，其中，
所述控制模块，
改变所述增强现实内容的整体图像或匹配的对象的显示特性数据，以对应于所述用户的手或所述指示工具的三轴方向位置坐标的变化，
将改变的所述增强现实内容的整体图像或匹配的对象的显示特性数据传输到所述至少一个显示模块以及布置在外部的至少一个内容显示装置。
7.根据权利要求1所述的增强现实提供装置，其中，
所述控制模块包括：
感测信号检测部，从所述感测模块接收所述感测信号和瞳孔感知信号并进行预处理，并以至少一帧为单位或以水平线为单位使所述图像数据整齐排列并依次输出；
感测信号分析部，将所述图像数据划分为预先设定的多个块区域，并且当在划分的块区域的图像中检测出所述用户的手或所述指示工具时，生成连接所述用户的手或所述指示工具的三轴方向位置坐标的移动路径数据；
感知位置匹配部，将包括在所述移动路径数据的所述用户的手或所述指示工具的三轴方向位置坐标与增强现实内容图像的对象进行匹配；以及
内容改变部，改变所述增强现实内容的整体图像或匹配的对象的显示特性数据，以对应于所述用户的手或所述指示工具的三轴方向位置坐标的变化。
8.根据权利要求7所述的增强现实提供装置，其中，
所述感测信号分析部，
根据包括在所述感测模块的红外线传感器的行列布置信息、基于所述行列布置信息的瞳孔感知信号的移动分析结果来检测出用户的注视方向坐标，
通过在所述多个块区域中与所述用户的注视方向坐标对应的块区域的图像中检测出所述用户的手或所述指示工具，来检测出所述用户的手或所述指示工具的三轴方向位置坐标。
9.根据权利要求8所述的增强现实提供装置，其中，
所述感测信号分析部，
根据所述多个块区域中与所述用户的注视方向坐标对应的块区域的像素之间的灰度或亮度差的分析结果或者像素数据与所述用户的手或指示工具形状的掩模之间的对比分析结果中的至少一个分析结果来检测出所述用户的手或所述指示工具形状的图像。
10.根据权利要求9所述的增强现实提供装置，其中，
所述感测信号分析部，
通过将所述用户的手或所述指示工具的三轴方向位置坐标连续地存储在预先设定的坐标写入空间数据或增强现实内容大小的块数据，来生成所述用户的手或所述指示工具的移动路径数据。
CN202210692096.7A 2021-09-15 2022-06-17 增强现实提供装置及利用其的增强现实提供方法 Pending CN115808797A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210123183A KR20230040414A (ko) 2021-09-15 2021-09-15 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법
KR10-2021-0123183 2021-09-15

Publications (1)

Publication Number Publication Date
CN115808797A true CN115808797A (zh) 2023-03-17

Family

ID=85479340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210692096.7A Pending CN115808797A (zh) 2021-09-15 2022-06-17 增强现实提供装置及利用其的增强现实提供方法

Country Status (3)

Country Link
US (1) US20230081258A1 (zh)
KR (1) KR20230040414A (zh)
CN (1) CN115808797A (zh)

Also Published As

Publication number Publication date
KR20230040414A (ko) 2023-03-23
US20230081258A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN111133366B (zh) 用于头戴式显示器的多层投影仪
US20180259775A1 (en) Transmission-type display device, display control method, and computer program
US11002968B2 (en) Color foveated display devices and methods of making the same
US20230077804A1 (en) Augmented reality content providing apparatus and augmented reality content providing method using the same
US11899283B2 (en) Antenna implementation embedded in optical waveguide module
EP3460785A1 (en) Multiple layer projector for a head-mounted display
KR20220106259A (ko) 표시 장치 및 이를 포함하는 터치 입력 시스템
CN116249873A (zh) 具有异步滚动快门相机的护目镜
US11626390B1 (en) Display devices and methods of making the same
US11933977B2 (en) Eyewear eye-tracking using optical waveguide
CN115808797A (zh) 增强现实提供装置及利用其的增强现实提供方法
US11997250B2 (en) Device for providing augmented reality and system for providing augmented reality using the same
US11947744B2 (en) Device for providing augmented reality and method for providing augmented reality using the same
US20230082737A1 (en) Augmented reality content providing device
US11726252B2 (en) Self-lit display panel
CN116136729A (zh) 增强现实内容提供装置
US11860395B2 (en) Self-lit display panel
WO2023166930A1 (ja) 発光素子、表示装置及び電子機器
US20230092317A1 (en) Augmented reality providing device
US20220342222A1 (en) Eyewear having a projector with heat sink shields
US20230252918A1 (en) Eyewear projector brightness control
WO2023107730A1 (en) Self-lit display panel
CN117083541A (zh) 带有场透镜的投影仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication