CN108933850A - 移动终端 - Google Patents

Abstract

移动终端。本发明涉及一种包括照明装置的移动终端及其控制方法。根据本发明的实施方式的移动终端包括照明装置、相机和控制器，该控制器被配置为利用所述相机来拍摄3D图像，其中，照明装置包括被配置为发射具有预定图案的光的图案光源以及被配置为发射均匀光的面光源，并且其中，所述控制器控制照明装置以使得图案光源和面光源交替地发射光。

Description

移动终端

技术领域

本发明的领域涉及包括照明装置的移动终端，更具体地讲，涉及一种具有用于拍摄三维(3D)图像的照明装置的移动终端。

背景技术

终端通常可根据其移动性而被分成移动/便携式终端或固定终端。移动终端还可根据用户是否能够直接携带终端而被分成手持终端或车载终端。

移动终端已经变得越来越多功能化。这些功能的示例包括数据和语音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能，而其它终端被配置成多媒体播放器。最近，移动终端已经被配置为接收允许观看诸如视频和电视节目的内容的广播和多播信号。

随着这些功能变得更多样化，移动终端可支持更复杂的功能，例如拍摄图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等。通过全面地和集总地实现这些功能，移动终端可按照多媒体播放器或装置的形式来具体实现。

最近，随着相机的性能取得进步，已开发出使用相机的各种功能。例如，积极开发了拍摄高质量静止图像或视频或者使用通过相机接收的图像的深度信息(或深度值)生成3D图像的功能。

对于使用相机的各种功能，发光装置的作用很重要。这里，发光装置用于向与通过相机接收的图像对应的空间发射光。

因此，需要开发一种用于执行使用相机的各种功能的发光装置和控制发光装置的方法。

发明内容

因此，详细描述的一方面在于提供一种移动终端及其控制方法，该移动终端包括能够照射光的照明装置，其用于以优化的方式提取通过相机拍摄的图像的深度信息。

详细描述的另一方面在于提供一种移动终端及其控制方法，该移动终端包括照明装置，该照明装置被形成为以优化的方式向对象照射比光源的数量更多的光点。

详细描述的另一方面在于提供一种移动终端及其控制方法，该移动终端能够使用面光源和图案光源来拍摄优化的3D图像。

详细描述的另一方面在于提供一种移动终端，该移动终端包括照明装置并且能够通过优化的方法将多个发光装置中生成的热发射到外部。

根据本发明的实施方式的移动终端包括：照明装置；相机；以及控制器，该控制器被配置为利用相机拍摄3D图像，其中，照明装置包括：图案光源，其被配置为发射具有预定图案的光；以及面光源，其被配置为发射均匀光，并且其中，控制器控制照明装置以使得图案光源和面光源交替地发射光。

在实施方式中，控制器可在图案光源发射光的同时关上面光源，可在面光源发射光的同时关上图案光源。

在实施方式中，控制器可控制照明装置以使得当相机拍摄第一帧时图案光源被点亮，当相机在拍摄第一帧之后拍摄第二帧时面光源被点亮。

在实施方式中，当相机在拍摄第二帧之后拍摄第三帧时控制器可点亮图案光源，当相机在拍摄第三帧之后拍摄第四帧时控制器可点亮面光源。

在实施方式中，控制器可在相机拍摄第一帧的至少一部分时间内点亮图案光源，可在相机拍摄第二帧的至少一部分时间内点亮面光源。

在实施方式中，控制器可通过在图案光源发射光的同时拍摄的第一帧来提取深度信息，并且可使用在面光源发射光的同时拍摄的第二帧来提取对象的边缘信息和亮度信息。

在实施方式中，控制器可使用通过相机拍摄的第一帧和第二帧来生成单个3D图像。

在实施方式中，图案光源可包括多个发光装置，所述多个发光装置可被分组成多个组，并且控制器可按照组来控制所述多个组。

在实施方式中，控制器可使所述多个组按照预定次序依次发射光。

在实施方式中，控制器可点亮所述多个组，使得所述多个组发射光的时间彼此不交叠。

在实施方式中，所述多个组全部依次发射光可被定义为单个集合，并且控制器可在相机拍摄第一帧的同时根据多个集合来点亮所述多个组。

在实施方式中，单个集合被执行的时间可恒定，并且在第一帧正被拍摄的同时执行的多个集合的数量根据第一帧被拍摄的时间而变化。

根据本发明，本发明可提供一种能够利用单个相机和双照明装置(即，面光源和图案光源)改进深度信息的质量的移动终端。

另外，本发明可提供一种能够通过交替地点亮面光源和图案光源利用仅一个相机而无需使用多个相机来提取深度信息和边缘信息的新的移动终端。

另外，本发明可提供一种能够使用在由面光源发射光时获取的黑白图像和在由图案光源发射光时获取的深度图像来执行脸部识别、眼睛识别和融合映射的新的控制方法。

附图说明

根据下文给出的详细描述和附图，本发明将被更加全面地理解，这些附图仅是例示进而不是对本发明的限制，并且，在附图中：

图1A是根据本公开的移动终端的框图。

图1B和图1C是从不同方向看时移动终端的一个示例的概念图。

图2是示出包括在与本发明关联的移动终端中的相机和照明装置的概念图；

图3是示出传统照明技术的概念图；

图4是示出包括在根据本发明的实施方式的移动终端中的照明装置的概念图；

图5、图6、图7和图8是示出使用本发明的照明装置的照明技术的概念图；

图9是示出本发明的移动终端的概念图；以及

图10和图11是示出控制照明装置的方法的概念图。

具体实施方式

现在将参照附图，根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在本公开中，为了简明起见，相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。

本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等。

仅通过非限制性示例，参照特定类型的移动终端进行进一步的描述。然而，这些教导同样适用于其它类型的终端，例如上述那些类型。另外，这些教导也可适用于诸如数字TV、台式计算机等的固定终端。

现在参照图1A至图1C，其中图1A是根据本公开的移动终端的框图，图1B和图1C是从不同方向看时移动终端的一个示例的概念图。

移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解，不要求实现所示的所有组件，可另选地实现更多或更少的组件。

现在参照图1A，移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如，无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。

无线通信单元110通常包括允许通信(例如，移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外，无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。

输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如，触摸键、按键、机械键、软键等)。数据(例如，音频、视频、图像等)通过输入单元120来获得，并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。

通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如，在图1A中，感测单元140被示出为具有接近传感器141和照度传感器142。如果需要，感测单元140可另选地或另外地包括其它类型的传感器或装置，例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池电量计、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如，电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息，具体地讲，从感测单元140的一个或更多个传感器获得的信息及其组合。

输出单元150通常被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。为了方便触摸屏，显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口，并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。

接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如，接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。

存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如，存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内，针对移动终端100的基本功能(例如，接电话、打电话、接收消息、发送消息等)，通常是这种情况。常见的是，应用程序被存储在存储器170中，被安装在移动终端100中，并由控制器180执行以执行移动终端100的操作(或功能)。

除了与应用程序关联的操作以外，控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1A所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例，控制器180根据存储在存储器170中的应用程序的执行来控制图1A至图1C所示的一些或所有组件。

电源单元190可被配置为接收外部电力或提供内部电力，以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池，所述电池可被配置为嵌入终端主体中，或者被配置为可从终端主体拆卸。

至少一部分组件可协作地操作以实现根据本文所公开的各种实施方式的移动终端的操作、控制或控制方法。另外，移动终端的操作、控制或控制方法可在移动终端上通过启用存储在存储器170中的至少一个应用程序来实现。

此外，与本公开有关的移动终端可使用相机和照明装置从通过相机拍摄的图像提取(检测、确定、感测)深度信息。

另外，与本公开有关的移动终端可使用相机和照明装置拍摄(或生成)3D图像。例如，与本公开有关的移动终端可基于所提取的深度信息将通过相机拍摄的2D图像转换(生成)为3D图像。在另一示例中，与本公开有关的移动终端可基于从照明装置照射的光来确定距对象的距离，并且基于距对象的距离来通过相机拍摄(或生成)3D图像。

以下，将参照附图详细描述从使用相机和照明装置拍摄的图像提取深度信息的方法。以下，将描述从通过相机拍摄的图像提取深度信息，但是相关内容也可被推断并应用于按照相同/相似的方式拍摄(或生成)3D图像。

与本公开有关的移动终端100可提取通过相机121(请参照图1A)接收(或拍摄)的深度信息。

通过相机接收的图像可被称为预览图像。详细地，预览图像可指通过相机实时接收的图像。预览图像可随着具有相机121的移动终端由于外力而移动或者随着对象移动而改变。

例如，通过相机拍摄的图像可指通过拍摄预览图像而获得的图像。例如，当移动终端的显示单元上输出的图像拍摄按钮被触摸时，当通过预览图像感测到与拍摄预览图像关联的用户手势时，或者当设置在移动终端中的物理按钮被按压时，可拍摄图像。

本公开中所描述的图像可指预览图像和拍摄的图像中的至少一个。

本公开中所描述的深度信息可以是深度值。深度信息可指包括在图像中的对象对应像素与移动终端(具体地讲，相机)之间的距离(或距离值)。

例如，在与图像的特定像素对应的对象与移动终端之间的距离为n的情况下，该特定像素的深度信息可以是与n对应的特定值。与n对应的特定值可以是n或者通过预设算法转换的值。

另外，在图像的坐标被设定到x轴和垂直于x轴的y轴的情况下，深度信息可以是与垂直于x轴和y轴的z轴对应的值。深度信息的绝对值可随着对象与移动终端之间的距离增加而增加。

深度信息可用在各种领域中。例如，深度信息可用于拍摄/生成3D立体图像(体视法)，用于生成3D打印机中所使用的3D打印数据，或者用于检测移动终端周围的物体(或对象)的移动。

与本公开有关的移动终端可按照各种方式提取通过相机接收(或拍摄)的图像的深度信息。例如，控制器180可通过使用至少两个相机提取深度信息的立体视觉方案、使用被设置为形成预设图案的发光装置提取深度信息的结构光方案、基于从发光装置发射的光被反射以返回的时间提取深度信息的飞行时间(ToF)方案或者其任何组合来提取深度信息。

以下，将主要描述使用上述方案当中的结构光方案提取深度信息。

结构光方案是通过控制被设置为具有预设图案的多个发光装置来向对象发射光，感测从对象反射的光，随后基于所感测的光(或所感测的光的图案)来提取深度信息的方案。

详细地，结构光方案是通过从被设置为具有预设图案的多个发光装置向对象照射光并且计算所返回的反射光相对于预设图案的移位量(或反射的光图案的移位量)来提取深度信息的方案。

例如，与本公开有关的移动终端的控制器180控制被设置为具有预设图案的多个发光装置向对象发射光。此后，移动终端的控制器180可通过图1A的感测单元140来感测从对象反射并返回的光。

这里，控制器180可基于感测结果来提取通过相机121接收的图像的深度信息。例如，控制器180可通过将反射并返回的光所形成的图案与预设图案进行比较来提取通过相机121接收的图像的深度信息。

详细地，控制器180可通过将多个发光装置向对象发射光的预设图案(或者多个发光装置被设置成的预设图案)与反射并返回的光(或光点)所形成的图案进行比较并且计算关于各个反射并返回的光(或光点)相对于预设图案的移位量(或者改变的形式、改变的距离、改变的方向等)或者关于返回的光图案的移位量来提取通过相机121接收的图像的深度信息。

在另一示例中，在结构光方案中，控制器180可通过比较从多个发光装置发射的光被反射以返回的时间与反射并返回的光的强度来提取通过相机121接收的图像的深度信息。

为此，多个发光装置可被形成为向与通过相机121接收的图像对应的空间发射光。

预设图案可由用户确定(或设定)，或者可在移动终端的产品被制造时预定。另外，预设图案可根据用户请求或者通过控制器的控制而改变。

另外，多个发光装置可发射红外光。另外，发光装置可以是将电信号改变为光学信号的激光二极管。例如，发光装置可以是垂直腔面发射激光器(VCSEL)。

在本公开中，可使用结构光方案通过一个相机(红外相机或3D相机)来提取图像的深度信息，并且甚至当对象具有单一颜色时，也可提取深度信息。另外，关于深度信息的准确度可通过将结构光方案与使用至少两个相机的立体视觉方案组合或者将结构光方案与ToF方案组合来增强。

ToF方案可以是通过计算直接照射到对象的光作为反射光返回的时间来测量图像的深度信息的方案。

立体视觉方案可以是对称地设置多个相机(例如，两个相机)并使用通过多个相机当中的第一相机(例如，左相机)接收的图像与通过多个相机当中的第二相机(例如，右相机)接收的图像之间的视差(或者距离、空间的差异)来提取通过相机接收的图像的深度信息的方案。

与本公开有关的移动终端可使用立体视觉方案与结构光方案的组合。

图2是示出与本公开有关的移动终端中设置的相机和照明装置的概念图。

如图2的(a)所示，与本公开有关的移动终端可在其一个表面上具有多个相机121b和121c。这里，移动终端100的一个表面可以是移动终端的主体的后表面、前表面和侧表面中的至少一个。

在图2的(a)中，示出多个相机121b和121c被设置在移动终端的主体的后表面上。

另外，本公开的照明装置200可被设置在多个相机121b和121c所设置的一个表面上。

照明装置200可包括多个发光装置，并且如上所述，照明装置200可照射具有预设图案的光以通过结构光方案提取图像的深度信息。这里，多个发光装置(或者多个光源)可以是例如VCSEL。

如图2的(a)所示，本公开的移动终端可通过将立体视觉方案与结构光方案组合使用多个相机121a和121b以及能够照射预设图案的光的照明装置200来提取通过相机接收的图像的深度信息。

然而，不限于此，尽管多个相机121a和121b被设置在移动终端的主体的一个表面上，本公开的移动终端100可使用立体视觉方案、结构光方案和ToF方案中的任一个或者通过将至少两个方案组合来提取通过相机接收的图像的深度信息。

然而，不限于此，如图2的(b)所示，本公开的移动终端100可使用一个相机121和照明装置200，仅使用结构光方案，仅使用ToF方案，或者使用结构光方案和ToF方案的组合来提取通过相机接收的图像的深度信息。

此外，如上面在结构光方案中所描述的，设置在与本公开有关的移动终端100中的照明装置200可照射光以形成(或具有)预定图案。照明装置200可包括多个发光装置。这里，发光装置可以是上述VCSEL。

多个发光装置可被形成为具有预设图案，或者仅一些发光装置可打开以照射预设图案的光。

例如，多个发光装置(或者包括多个发光装置的晶片)可被称为VCSEL阵列。

与本公开有关的移动终端的控制器180可单独地控制包括在照明装置200中的多个发光装置(多个光源)中的每一个。详细地，控制器180可单独地打开或关闭设置在照明装置200中的多个发光装置。另外，控制器180可单独地控制设置在照明装置200中的多个发光装置的发射强度。另外，控制器180可单独地控制(确定)设置在照明装置200中的多个发光装置的发射定时。

照明装置200可在控制器180的控制下单独地打开或关闭，发射强度变化，或者改变发射定时。因此，从照明装置200照射的光的图案(即，预设图案)可变化。

以这种方式，在包括在本公开的移动终端中的照明装置200中，可通过单独地控制多个发光装置(多个VCSEL)来变化所照射的光的图案(或者光的强度、光的定时)，并且从这一角度，照明装置200可被称为主动照明。

此外，与本公开有关的照明装置200可照射预设图案的光(或光点)，使得光可用于提取图像的深度信息。这里，光点可指对象被光照射的区域(或点)或者移动终端(或者照明装置200、相机或感测单元)被从对象反射的光照射的区域(或点)。

这里，在本公开中，由于包括在照明装置200中的多个发光装置是激光二极管(例如，VCSEL)，因此，当多个发光装置发射光时，光(激光)被照射到对象的窄区域(或点)。因此，可在对象中形成光点。另外，在本公开中，基于从对象反射以返回到移动终端的光(激光)，可检测照射到对象的光点。

此外，照明装置200可包括衍射光学元件(DOE)。DOE可被形成为衍射从发光装置输出的光(激光)。

DOE可将从发光装置输出的光衍射成多个光束。在本公开中，衍射光(激光)可被理解成分裂光、复制光、折射一部分光等。在从发光装置输出的一个光被DOE衍射(或分裂)成多个光束的情况下，多个光束的强度之和可等于这一个光的强度。

换言之，多个光束中的每一个(即，被DOE衍射的多个光束中的任一个)的强度可比进入DOE之前的这一个光束的强度弱。

此外，本公开的照明装置可使用DOE输出数量比多个发光装置的数量更多的光束(光点)。

例如，在多个发光装置的数量为n并且当一个光束穿过DOE时输出的光束(光点)的数量为m的情况下，本公开的照明装置200可输出n*m数量的光束(光点)(或者向对象照射n*m数量的光束)。

在本公开中，照明装置200可具有多个发光装置和DOE，并且DOE可衍射从多个发光装置输出的光，使得相对于多个发光装置中的每一个形成预定图案。

即，本公开的照明装置200可包括用于衍射光以使得各个光源具有预定图案的DOE。换言之，包括在照明装置200中的DOE可衍射光，使得从一个发光装置输出的一个光束形成预定图案。因此，从多个发光装置输出的多个光束可被衍射以形成预定图案并穿过DOE。

相比之下，现有技术的照明装置(或现有技术的DOE)被形成为衍射从多个发光装置输出的光，使得由多个发光装置形成多个图案。

将参照图3详细描述现有技术的照明技术。

图3是示出现有技术的照明技术的概念图。

在图3中，描述入射到DOE的光(或光图案)按照3×3复制的实施方式。

参照图3，现有技术的照明装置的光源单元300可包括多个发光装置300a、300b、300c、300d和300e。在光源单元300中，多个发光装置300a、300b、300c、300d和300e可被设置为形成特定图案，或者数量更多的发光装置当中的多个发光装置300a、300b、300c、300d和300e中的仅一些可打开以形成特定图案。

这里，当从多个发光装置输出的多个光束穿过DOE时，所述多个光束可被分裂成未被DOF衍射的第一类型的光束310以及被DOF衍射的第二类型的光束320a、320b、320c、320d、320e、320f、320g、320h。

当任一个光束被照射到DOF时，一部分光可穿过DOF，而未被DOF衍射(或者未被衍射或折射)。即，一部分光可在维持笔直性的状态下(或笔直地)穿过DOF，而未被DOF衍射或折射。

以这种方式，在本公开中，未衍射部分的光将被称为第一类型的光。这里，第一类型的光可指零阶光(或第0光)。参照图3，第一类型的光束310的数量可等于多个发光装置300a、300b、300c、300d和300e的数量。

此外，当任一个光束被照射到DOF时，除了光束的所述一部分之外的其它部分被DOF衍射(或折射)。这里，其余部分的光可在多个方向上(即，在不同的方向上)被衍射(或折射)。在本公开中，其它被衍射(或折射)的剩余部分的光将被称为第二类型的光。这里，第二类型的光可指一阶光(或第一光)。

参照图3，被DOF衍射的多个第二类型的光束320a、320b、320c、320d、320e、320f、320g、320h的数量可根据DOF的设计而变化，并且通常可大于多个发光装置的数量。

这里，例如，第一类型的光(零阶光)和第二类型的光(一阶光)可穿过一个DOF。例如，如图3所示，在从多个发光装置输出的光穿过仅一个DOF的情况下，对应光可包括第一类型的光(零阶光)和第二类型的光(一阶光)。

此外，当光穿过至少两个DOF时，第一类型的光和第二类型的光可包括不同阶的光。

例如，从单个光学元件输出的光穿过第一DOF，该光可被分裂成未衍射的零阶光和衍射的一阶光。

此后，当零阶光和一阶光穿过第二DOF时，已穿过第二DOF的对应光可包括未被第二DOF衍射的零阶光和一阶光以及被第二DOF衍射的一阶光和二阶光。这里，衍射的一阶光可以是从零阶光衍射的光，衍射的二阶光可以是从一阶光衍射的光。

这里，第一类型的光可包括在穿过第一DOF之后未被第二DOF衍射的零阶光和一阶光。另外，第二类型的光可包括在穿过第一DOF之后被第二DOF衍射的一阶光和二阶光。

即，当设置至少一个DOF时，本公开中所描述的第一类型的光可指未被最后DOF衍射的光。

另外，第二类型的光可指被最后DOF衍射的光。

即，第一类型的光可包括照射到对象的多个光束当中未被最后DOF衍射的光。另外，第二类型的光可包括照射到对象的多个光束当中被最后DOF衍射的光。

在现有技术中，如图3所示，照明装置(或DOF)可按照多个发光装置所形成的图案(或者以图案为单位)来复制光图案。详细地，现有技术的照明装置可通过DOF按照图案衍射(复制)从多个发光装置发射的光图案，使得光图案不交叠。

为此，现有技术的照明装置包括DOF，该DOF被形成为使得第一类型的光(例如，零阶光)与第二类型的光(例如，一阶光)之间的角度是第一类型的光所形成的图案与第二类型的光的图案不交叠的角度。

因此，由多个发光装置形成的图案、由第一类型的光310形成的图案以及分别由第二类型的光束320a、320b、…320h形成的图案可如图3所示相同。

另外，现有技术的照明装置可照射光，使得由第一类型的光310形成的图案与由第二类型的光束(320a、320b、…、320h)形成的图案彼此不交叠。

换言之，现有技术的照明装置可具有DOF，该DOF照射光，使得第一类型的光310照射至的区域(或者通过将第一类型的光照射至的点连接而形成的区域)与第二类型的光束320a、320b、…、320h照射至的区域(或者通过将第二类型的光照射至的点连接而形成的区域)彼此不交叠。

即，现有技术的照明装置按照图案将从多个发光装置输出的光所形成的图案简单地复制到多个光束并进行照射，使得这些图案不交叠，由此现有技术的照明装置仅用于在照射比多个发光装置的数量更多的光点的同时扩展光照射至的视场(FOV)。

因此，在现有技术中，由于第一类型的光和第二类型的光被照射到对象，使得其彼此不交叠，所以无法增加每单位面积照射的光束(光点)的数量(即，无法增加光(光点)的密度)。

换言之，如图3所示，由于现有技术的照明装置按照图案复制从多个发光装置300a、300b、…、300e输出的光的图案以不交叠，从而仅增加输出光束(光点)的数量和光照射至的FOV，而未改变指示每单位面积的光束(光点)的数量的光的密度。

此外，本公开提供一种照明装置，其能够照射光，使得每单位面积照射的光束(光点)的数量增加(即，使得光(光点)的密度增加)。

以下，将参照附图详细描述与本公开有关的照明装置。

图4是示出根据本公开的实施方式的移动终端中设置的照明装置的概念图，图5、图6、图7和图8是示出使用本公开的照明装置的照明技术的概念图。

首先，参照图4的(a)，与本公开有关的照明装置200可包括多个发光装置210a、210b、210c、…以及衍射从多个发光装置中的每一个输出的一部分光的DOE 220。

多个发光装置可以是激光二极管，例如可以是垂直腔面发射激光器(VCSEL)。

多个发光装置可被设置在晶片中，并且可被设置为形成特定图案或者多个发光装置中的形成特定图案的至少一些发光装置可被打开。特定图案可在照明装置生成时确定，或者可通过改变打开的发光装置而变化。

包括多个发光装置210a、210b、210c、…的晶片可被称为发光单元210。以下，多个发光装置可由标号210a、210、210c、…表示，并且包括多个发光装置的晶片将由标号210表示。

DOF 220可被设置在多个发光装置输出光的方向上。DOF 220可衍射从发光装置输出的一部分光，并且不衍射其余部分的光。即，DOF 220可衍射从发光装置输出的一部分光并允许其穿过，并且允许其余部分的光在未衍射状态下(即，笔直地)穿过。

参照图4的(a)，从多个发光装置输出并穿过DOF 220的光可包括未被DOF 220衍射的多个第一类型的光束410a、410b、410c、…以及被DOF 220衍射的多个第二类型的光束420a、，422a、424a、426a、420b、422b、424b、426b、420c、422c、424c、426c、…。

多个第一类型的光束可指在从多个发光装置输出之后笔直地(未被衍射)穿过DOF220的光束。另外，多个第二类型的光束可指在从多个发光装置输出之后被DOF220衍射并穿过DOF 220的光束。

DOF 220可将一个光衍射(分裂)成多个光束。这里，DOF 220可相对于各个发光装置将光衍射成具有特定图案，而非在维持从多个发光装置输出的多个光束的图案的状态下按照图案衍射光，在这个意义上，DOF 220不同于现有技术的DOF(请参照图3)。

即，本公开的DOF可衍射入射光，使得从发光装置输出的每一光形成特定图案。

此外，本公开的照明装置还可包括各种类型的折射光学元件(例如，微透镜阵列240、反射透镜、投影透镜230、准直透镜、光栅单元阵列(GCA)、反射镜/棱镜阵列、复眼透镜、双折射元件等)。本公开的照明装置可包括所述折射光学元件中的至少一个，并且折射光学元件和折射光学元件的设置位置可变化。

例如，微透镜阵列240可被设置在多个发光装置210与折射光学元件220之间，并且投影透镜230可被设置在已穿过DOF的光传播的方向上，使得已穿过DOF的光束可入射到投影透镜230上。

各种透镜可用于折射从多个发光装置输出的光，使得光可入射到DOF的优化位置或者改变已穿过DOF的光传播的FOV。

例如，设置在微透镜阵列240中的微透镜可被设置在与多个发光装置210a、210b、210c、210d和210e的数量对应的位置。

微透镜阵列240可折射从多个发光装置输出的光，使得从多个发光装置输出的多个光束垂直于DOF入射。

在另一示例中，微透镜阵列240可折射从多个发光装置输出的光束，使得从设置在不同位置的发光装置输出的多个光束全部入射到DOF的中心。

投影透镜230可形成为使得已穿过DOF 220的多个第一类型的光和多个第二类型的光传播的FOV大。即，当已穿过DOF 220的多个光束入射时，投影透镜230可折射所述多个光束并输出以具有比多个输入光束的FOV更大的FOV。

穿过投影透镜230的多个光束传播的FOV可大于未穿过投影透镜230的多个光束传播的FOV。

FOV可在产品发布时确定，或者可根据用户设计来确定，并且当投影透镜形成为具有可变的弯曲模量时，FOV可变化。

在本公开中，描述了DOE分裂(复制)入射光。然而，本公开不限于此，本公开的照明装置也可被应用于代替DOE使用上述折射光学元件的情况或者将DOE与折射光学元件组合的情况。

以下DOE的描述也可按照相同/相似的方式被推断并应用于使用折射光学元件的情况或者将DOE和折射光学元件组合的情况。

本公开的DOE 220可复制从一个发光装置输出的光，使得从一个发光装置输出的光具有特定图案，而非按照从多个发光装置输出的光所形成的图案复制光(即，多个发光装置所设置成的图案)。

例如，在图4的(a)中，示出了从一个发光装置输出的光通过DOE 220被分裂成五个光束。这里，在五个光束当中，第一类型的光为一个光束410a，第二类型的光可以是其余四个光束420a、422a、424a和426a。五个光束照射至的光点可形成特定图案。

本公开的DOE可被设置为分裂从一个发光装置输出的一个光以形成特定图案，而非如图3所示按照图案复制多个发光装置所设置成的图案。以这种方式，通过DOE220分裂一个光以形成特定图案可被应用于从多个发光装置中的每一个输出的光。

在这种情况下，分别从发光装置输出的光束被照射至与照明装置200间隔开预定距离的平面400以具有特定形式，而非多个发光装置所设置成的图案的形式按照图案被复制并照射。

以这种方式，本公开的DOE与图3的现有技术的DOE的不同之处在于，尽管设置多个发光装置，从各个发光装置输出的一个光被分裂成多个光束以形成特定图案。

以下，如图4的(b)所示，将作为示例描述DOE 220将入射的一个光束衍射(分裂)成3×3形式(预定图案)500的情况。这里，照射到3×3形式的中心的一个光束可以是第一类型的光(例如，零阶光)，其余八个光束可以是第二类型的光(例如，一阶光)。

本公开的DOE 220可将分别从多个发光装置输出的多个光束中的每一个衍射(分裂)成3×3形式(预定图案)并允许其透射通过。即，本公开的DOE 220可分裂从多个发光装置中的每一个输出的光以形成预定图案。这里，在形成预定图案的多个光束当中，第一类型的光(即，未衍射光)为一个光束510，第二光(即，折射光)可以是其余八个光束520、521、522、523、524、525、526和527。

因此，当从具有多个发光装置的照明装置通过DOE照射光时，多个第一类型的光束和第二类型的光束可被照射。另外，多个第一类型的光束的数量可等于多个发光装置的数量。

例如，如图5所示，当多个发光装置为六个装置并且从各个光源输出的一个光被分裂成9个光束以形成预定图案(3×3)时，第一类型的光束的数量可为6，第二类型的光束的数量可为48(6×8)。

参照图5，本公开的照明装置200可包括多个发光装置210a、210b、210c、210d、210e和210f。

包括在照明装置200中的DOE 220可被定位在从多个发光装置输出的光束传播的方向(例如，光轴方向)上。

本公开的DOE 220可衍射(分裂或复制)从多个发光装置中的每一个输出的入射光以形成预定图案(例如，3×3)。即，本公开的DOE可按照光源衍射(分裂)光，使得从各个发光装置输出的一个光束形成预定图案，而非按照图案衍射(分裂)与多个发光装置所设置成的图案对应入射的多个光束以进行交叠。

在这种情况下，在从多个发光装置输出之后穿过DOE 220的光束可包括未被DOE衍射的多个第一类型的光束510a、510b、510c、510d和510e以及被DOE衍射的多个第二类型的光束520a、…、527a、520b、…、527b、…、520f、…、527f。

本公开的DOE 220可衍射从多个发光装置输出的一些光束，使得多个第二类型的光束中的至少一些被照射到通过将多个第一类型的光束连接而形成的区域内部。

例如，如图5所示，本公开的DOE 220可按照发光装置衍射(分裂)从各个发光装置输出的一个光以具有预定图案。

因此，如图5所示，多个第二类型的光束中的至少一些(例如，527a、523b、524b、525b、526b、527b、525c、521d、522d、524d、520e、521e、522e、520f、521f和523f)可被照射到通过将多个第一类型的光束510a、510b、510c、510d、510e、510f连接而形成的区域A的内部。

这里，除了多个第二类型的光束中的所述至少一些光束之外的其余光束可不被照射到通过将多个第一类型的光束连接而形成的区域内部(即，可被照射到区域A之外的区域)。

通过将多个第一类型的光束连接而形成的区域A可以是通过将多个第一类型的光束照射至的光点当中的至少三个光点连接而形成的图形的内部区域。

优选地，区域A可以是当多个第一类型的光束照射至的光点当中被选择为具有最大宽度的光点被连接时所形成的区域，但是本公开不限于此。

详细地，如图5所示，当多个第一类型的光束和多个第二类型的光束被照射至与照明装置200间隔开预定距离的平面时，多个第二类型的光束中的至少一些可被照射到(或包括在)通过将多个第一类型的照射光束连接而形成的区域内部。

以这种方式，在本公开的照明装置中，由于DOE衍射(分裂)从多个发光装置中的每一个输出的一个光以具有预定图案，所以当分别从多个发光装置输出的多个光束入射到DOE时，多个第二类型的光束中的至少一些被照射到(包括在)通过将多个第一类型的光束连接而形成的区域内部。

此外，参照图3，由于现有技术的照明装置按照多个发光装置所形成的图案衍射(分裂)分别从多个发光装置输出的多个光束并且照射这些光束，使得所述多个光束彼此不交叠，所以第二类型的光束320a、320b、…、320h无法被照射到(包括在)通过将第一类型的光束310连接而形成的区域。

此外，参照图6，本公开的DOE 220可衍射(分裂或允许透射)从多个发光装置输出的光束，使得多个第一类型的光束中的任一个光束与所述任一个光束有关的第二类型的光束之间的距离是多个第一类型的光束之间的最小距离的三倍。

例如，透射通过DOE的多个第一类型的光束和多个第二类型的光束可被示出在与照明装置200间隔开预定距离的平面上。

这里，多个第一类型的光束当中的任一个光束510a与照射到该平面的所述任一个光束有关的第二类型的光束522a和524a之间的距离d1和d2可以是照射到该平面的多个第一类型的光束之间的最小距离(在图6的情况下，510e和510f之间的距离)的三倍。

即，在从一个光分裂的第一类型的光和第二类型的光形成预定图案的情况下，形成预定图案的第一类型的光束510a和形成预定图案的第二类型的光束520a、…、520f可被理解为彼此有关的光束。

多个第一类型的光束当中的任一个光束(例如，510a)与所述任一个光束有关的第二类型的光束520a、…、520f可以是彼此有关的光束。

换言之，第一类型的光束当中的任一个光束与所述任一个光束有关的第二类型的光束之间的距离可指当所述任一个光束已穿过DOE时未衍射光束与衍射光束之间的距离。未衍射光束与衍射光束之间的距离可具有各种值并且可具有任何值。然而，优选地，未衍射光束与衍射光束之间的距离d1和d2可指最大距离d2。

总之，本公开的DOE可允许从多个发光装置输出的光束透射通过，使得未衍射光束510a与衍射光束522a或524a之间的(最大)距离(第一类型的光束与第二类型的光束之间的(最大)距离)不超过多个未衍射光束(多个第一类型的光束)之间的最小距离的三倍。

另外，任一个光束与所述任一个光束有关的第二类型的光束之间的距离(或者从一个光分裂的光束之间的距离或者从一个光分裂的第一类型的光束与第二类型的光束之间的距离)可不超过多个第一类型的光束之间的最小距离的三倍(即，d1<3l或者d2<3l)。

在图6中，示出了光被衍射(分裂)，使得多个第一类型的光束当中的任一个光束与所述任一个光束有关的第二类型的光束之间的距离比多个第一类型的光束之间的最小距离小一倍。

然而，本公开的DOE可被设置为照射光，使得从一个光分裂的第一类型的光束与第二类型的光束之间的距离在多个第一类型的光束之间的最小距离的三倍以内。三倍是从获得优化的效率的实验值推导的结果。

此外，参照图3，在现有技术的照明装置中，由于光按照图案被分裂(复制)，所以光应该被照射，使得第一类型的光束中的任一个光束与所述任一个光束有关的第二类型的光束之间的距离是第一类型的光束之间的最小距离的三倍或更大。这是因为现有技术的照明装置应该按照多个发光装置所设置成的图案分裂(复制)光，使得光图案不交叠。

此外，参照图7，本公开的多个发光装置可被设置为形成特定图案P。

这里，本公开的DOE衍射从各个发光装置照射的一个光，使得各个发光装置具有预定图案(3×3)。这里，由于从各个发光装置照射的一个光被衍射以具有相同的预定图案，所以多个第一类型的光束510a、510b、510c、510d、510e和510f可形成与发光装置的设置图案对应的特定图案P，并且多个第二类型的光束520a、520b、520c、520d、520e、520f也可形成特定图案P。

即，如图7所示，多个第一类型的光束510a、510b、510c、510d、510e和510f以及多个第二类型的光束当中在与第一类型的光束相同的方向上衍射(分裂或折射)的第二类型的光束520a、520b、520c、520d、520e、520f可被照射以具有(形成)与多个发光装置的设置图案P对应的特定图案P。

这里，多个第一类型的光束所形成的特定图案P所占据的第一区域的部分B与多个第二类型的光束所形成的特定图案P所占据的第二区域的部分B(具体地讲，多个第二类型的光束当中在相同方向上衍射的光束)可彼此交叠。

这是因为本公开的DOE衍射来自多个发光装置中的每一个的光以具有预定图案(3×3)并允许光透射通过，使得从一个光分裂的第一类型的光束(未衍射光束)与第二类型的光束(衍射光束)之间的距离在多个第一类型的光束(未衍射光束)之间的最小距离的三倍以内。

以这种方式，多个第一类型的光束所形成的图案所占据的区域与多个第二类型的光束所形成的图案(在相同方向上衍射的多个第二类型的光束所形成的图案)所占据的区域可部分地交叠。

此外，参照图3，由于现有技术的照明装置按照多个发光装置所设置成的图案分裂(复制)从多个发光装置输出的多个光束使其不交叠，所以第一类型的光束310的图案所占据的区域与第二类型的光束320a的图案所占据的区域彼此不交叠。

通过上述照明技术，本公开的照明装置可增加每单位面积C照射的光束(光点)的数量(即，光的密度)。

参照图8，随着由DOE 220衍射的多个第二类型的光束的数量增加，第一类型和第二类型的光束的密度可增加。换言之，随着已穿过DOE 220的多个第二类型的光束的数量增加，第一类型和第二类型的光束的密度(即，每单位面积C照射的光束(光点)的数量)可增加。

此外，如图3所示，在现有技术的照明装置(照明技术)中，无论由DOE衍射的第二类型的光束增加多少，每单位面积C的光束(光点)的数量(即，第一类型和第二类型的光束的密度)均匀。这是因为现有技术的照明装置按照多个发光装置所设置成的图案复制从多个发光装置输出的多个光束。

根据本公开，由于可使用DOE将从光源输出的光衍射(或分裂)成多个光束，所以可提供一种能够利用数量较少的光源向对象照射数量比光源的数量更多的光点的照明装置以及包括该照明装置的移动终端。

因此，由于需要数量较少的光源，所以成本可降低，并且终端的尺寸可减小。

另外，根据本公开，由于未按照多个光源所形成的图案复制(或分裂)光源，而是按照光源复制(或分裂)各个光源，所以可提供一种能够增加每单位面积的光点的数量(即，光点的密度)的新的照明装置。

以下，已参照图2至图8描述的照明装置将被称为图案光源。

与本发明关联的移动终端可利用单个相机和双照明装置(即，面光源和图案光源)获得深度信息、边缘信息和亮度信息而无需执行校准。

下面将参照附图描述本发明的使用单个相机和双照明装置的移动终端。

图9是示出本发明的移动终端的概念图，图10和图11是示出控制照明装置的方法的概念图。

首先，根据本发明的实施方式的移动终端可包括照明装置200。

照明装置200可包括图案光源200a和面光源200b。

图案光源200a可被形成为发射具有预定图案的光。已参照图2至图8描述的照明装置可以是图案光源(或图案照明装置)，因为其按照预定图案发射光。

预定图案是指从图案光源输出的光根据多个垂直腔面发射激光器(VCSEL)的位置、衍射光学元件的光复制方法等被发射到对象的光图案。

详细地，图案光源可包括多个VCSEL(以及衍射光学元件)以使得多个光点按照预定图案被发射到对象。

作为示例，当照明装置中未设置衍射光学元件时，多个VCSEL可被设置在晶片中并根据预定图案布置，以使得多个光点按照预定图案被发射到对象。

此外，面光源200b可被形成为发射均匀光。

例如，面光源200b可被形成为向目标区域(空间)均匀地发射光。

例如，可向从面光源200b输出的光要发射至的第一区域与不同于第一区域的第二区域发射相同量的光，并且可对各个区域施加相同强度(亮度)的光。

如图9所示，本发明的照明装置200可包括图案光源200a和面光源200b。

这里，图案光源200a和面光源200b可输出红外光。作为示例，从图案光源200a和面光源200b发射的红外光可为940nm。

本发明的相机121可包括高分辨率传感器900。作为示例，高分辨率传感器900可以是红外传感器。

当高分辨率传感器900是红外传感器时，本发明的相机121可被称为红外相机(或IR相机)。

高分辨率传感器900可被形成为仅感测由照明装置200输出的光(或者由照明装置200输出的光的波长)。例如，当由图案光源200a和面光源200b输出的红外光具有940nm的波长时，高分辨率传感器900可被形成为仅接收波长为940nm的光。

本发明的控制器180可包括被配置为控制照明装置200的照明控制装置202以及被配置为控制高分辨率传感器900的传感器控制装置902。

即，可理解，照明控制装置202和传感器控制装置902的操作/功能/控制由控制器180执行。

另外，可理解，图案光源200a、面光源200b和照明控制装置202被包括在能够与移动终端电连接或断开并且物理附接到移动终端或从其拆卸的照明装置(或照明模块)中。

另外，可理解，高分辨率传感器900和传感器控制装置902被包括在能够与移动终端电连接或断开并且物理附接到移动终端或从其拆卸的相机(或相机模块)中。

控制器180可利用照明装置200和相机121来拍摄三维(3D)图像。

在这种情况下，应该理解，3D图像的拍摄概念上包括提取深度信息、提取边缘信息、提取亮度信息等。

如上所述，照明装置200可包括被配置为发射具有预定图案的光的图案光源200a以及被配置为发射均匀光的面光源200b。

图案光源200a可以是已参照图2至图8描述的照明装置。

控制器180(或照明控制装置202)可独立地控制图案光源200a和面光源200b。

另外，控制器180可根据预定方法控制图案光源200a和面光源200b以便利用单个相机(例如，红外相机)提取高分辨率深度信息。

例如，控制器180可控制照明装置200以使得图案光源200a和面光源200b交替地发射光。

通常，作为使用照明提取深度信息的技术，如上所述存在结构光方法、立体方法、飞行时间(ToF)等。

为了提取高分辨率深度信息，结构光方法和立体方法需要高分辨率传感器和密集图案光输出，这导致计算增加。

已提出在低分辨率深度信息中使用高分辨率信息的RGB-深度(D)组合方法(将低分辨率深度信息和一般RGB传感器的高分辨率图像组合的方法)。然而，RGB-深度(D)组合方法需要两条信息的精确的空间校准。

ToF方法需要使用照明的相位差的特殊传感器。随着分辨率增加，成本相应地增加。

根据本发明，为了解决上述问题，可利用单个相机(例如，红外相机)、图案光源200a和面光源200b提取高分辨率深度信息而无需执行空间校准。

详细地，控制器180可根据相机121(或高分辨率传感器900)接收(获取)图像的帧交替地输出图案光源200a所发射的图案光和面光源200b所发射的面光。

例如，控制器180可在图案光源200a发射光的同时关上(即，可不点亮)面光源200b，可在面光源200b发射光的同时关上图案光源200a。

例如，参照图10，控制器180可控制照明装置200在相机121拍摄第一帧时点亮图案光源200a，在相机在拍摄第一帧之后拍摄第二帧时点亮面光源200b。

详细地，在第一帧正被拍摄的同时图案光源200a可被打开并且面光源200b可被关上，在第二帧正被拍摄的同时面光源200b可被打开并且图案光源200a可被关上。

随后，控制器180可在相机121在拍摄第二帧之后拍摄第三帧时点亮图案光源200a，可在相机121在拍摄第三帧之后拍摄第四帧时点亮面光源200b。

同样，在第三帧正被拍摄的同时面光源200b可不发射光，在第四帧正被拍摄的同时图案光源200a可不发射光。

如图10所示，控制器180可在第一帧(或第三帧)正被拍摄的至少一部分时间期间点亮图案光源200a，可在第二帧(或第四帧)正被拍摄的至少一部分时间点亮面光源200b。

例如，控制器180可在单个帧正被拍摄的同时控制照明装置200以使得图案光源200a或面光源200b发射光，或者可控制照明装置200以使得图案光源200a和面光源200b在预定时间内均不发射光。

所述至少一部分时间可指通过从单个帧被拍摄的整个时间减去所述预定时间而获得的时间。

在单个帧正被拍摄的同时图案光源200a和面光源200b在预定时间内均不发射光的原因是为了基于选通上升信号使相机的光圈被打开的时间与照明被打开的时间同步并且还防止面光源所发射的光与图案光源所发射的光干涉。

返回到图9，基于图案光源200a在第一帧(或第三帧)正被拍摄的同时被点亮，控制器180可获取图案光接收图像910。

这里，图案光接收图像910可指在图案光源200a所输出的具有预定图案的光正被发射到对象的同时拍摄的图像。

详细地，图案光接收图像910可包括这样的图像，该图像包括当图案光源200a所输出的具有预定图案的光被发射到对象然后被对象反射时由高分辨率传感器900(或相机121)接收的图案光(或者关于图案光的信息)。

图案光接收图像910可以是用于提取深度信息的图像，并且可被称为深度图像。这里，第一帧(或第三帧)可以是图案光接收图像。

基于面光源200b在第二帧(或第四帧)正被拍摄的同时被点亮，控制器180可获取面光接收图像920。

面光接收图像可指通过在面光源200b所输出的均匀光正被发射到对象的同时进行拍摄而获得的图像。

详细地，面光接收图像可以是这样的图像，该图像包括当面光源200b所输出的均匀光被发射到对象然后被对象反射时由高分辨率传感器900(或相机121)接收的面光(或者关于面光的信息)。

面光接收图像920可以是用于提取对象的亮度信息和边缘信息的图像，并且可被称为黑白图像或灰度图像。这里，第二帧(或第四帧)可以是面光接收图像。

控制器180可通过(使用)在图案光源200a被点亮的同时拍摄第一帧(或第三帧)来提取深度信息(S912)。这里，深度信息可以是低分辨率深度信息。

详细地，控制器180可通过像素合并(binning)处理降低第一帧的分辨率并且可提取低分辨率深度信息。

这里，当提供单个相机时可通过结构光方法提取低分辨率深度信息，当提供两个相机时可通过立体方法提取低分辨率深度信息。

另外，控制器180可使用在面光源200b被点亮的同时拍摄的第二帧(或第四帧)来提取对象的高分辨率亮度信息和边缘信息中的至少一个。

控制器180可使用通过相机121拍摄的第一帧和第二帧来生成单个3D图像。

高分辨率亮度信息可包括诸如对象的轮廓和阴影的信息。

即，可理解，对象的边缘信息被包括在亮度信息中。

详细地，控制器180可使用第一帧提取低分辨率深度信息，可使用第二帧提取高分辨率亮度信息(包括对象的边缘信息)，并且可将高分辨率亮度信息与低分辨率亮度信息组合以提取(或重新配置)高分辨率深度信息(S922、S924)。

为了将高分辨率亮度信息与低分辨率亮度信息组合，控制器180可使用组合算法(例如，应用人工智能学习算法和使用阴影信息的算法的方法(例如，RGBD融合方法))。

另外，控制器180也可使用第二帧提取高分辨率亮度信息(S926)。

本发明的移动终端可使用两个帧来生成单个3D图像。

即，控制器180可通过在图案光源200a发射光的同时拍摄的第一帧910来提取深度信息，并且可使用在面光源200b发射光的同时拍摄的第二帧920来提取高分辨率深度信息和高分辨率亮度信息。

如图10所示，控制器180可使用两个帧(即，第一帧910和第二帧920)来生成单个3D图像。

简言之，控制器180可根据帧交替地打开图案光源200a和面光源200b以发射光并且可使用在图案光源200a发射光的同时拍摄的第一帧和在面光源200b发射光的同时拍摄的第二帧利用仅一个相机来提取高分辨率深度信息和高分辨率亮度信息。

下面将参照附图描述在第一帧(或第三帧)正被拍摄的同时点亮图案光源200a的实施方式。

参照图11，本发明的图案光源200a可包括多个发光装置1100。

多个发光装置1100可被设置在晶片上并且可被布置为形成特定图案(例如，预定图案)。

多个发光装置可被分组成多个组1110、1120、1130、1140、1150、1160、1170、1180和1190。

被分组成多个组的多个发光装置可表示按照组控制所述多个发光装置。

详细地，控制器180可按照组控制多个组(或多个发光装置)。

例如，在多个组当中，控制器180可独立地控制包括在第一组1110中的发光装置和包括在第二组1120中的发光装置。

例如，在包括在第一组1110中的发光装置被打开的同时，控制器180可关闭包括在第二组1120中的发光装置。

可理解，按照组控制多个组的控制器180表示多个发光装置1100按照组被打开或关闭。这里，发光装置的打开(或者发光装置切换为开启状态)可表示点亮发光装置，发光装置的关闭(或者发光装置切换为关闭状态)可表示关上发光装置。

此外，控制器180可按照预定次序依次点亮多个组。

所述预定次序可在产品设计时确定或者可通过用户设置来改变。

参照图11，作为示例，所述预定次序指示第一组1110、第二组1120、...、第八组1180和第九组1190的次序。

在这种情况下，控制器180可按照第一组至第九组的次序依次点亮多个组。这里，多个组的点亮可表示包括在多个组中的多个发光装置按照组照明。

在这种情况下，当包括在第一组1110中的多个发光装置被打开(即，发射光)时，包括在第二组至第九组中的多个发光装置可被关闭(即，可不发射光)。

随后，当第一组1110在特定时间内发射光时，包括在第二组1120中的多个发光装置可被打开，并且第一组以及第三组至第九组可被关闭。

这样，控制器180可按照预定次序依次点亮多个组。在这种情况下，至少两个组无法同时发射光。即，控制器180可控制照明装置以使得多个组中的至少两个不同时发射光，而是多个组交替地发射光。

换言之，如图11所示，控制器180可点亮多个组，使得多个组发射光的时间彼此不交叠。

在图11中，在第一组和第二组被点亮的时间之间不存在间隔，但是本发明不限于此。在第一组和第二组被点亮的时间之间可存在预定时间间隔(第二组和第三组、第三组和第四组、...、以及第八组和第九组的情况同样如此)。

如图11所示，控制器180可将多个组全部依次点亮定义为单个集合。

所述单个集合被执行的时间可根据产品性能和控制器180的控制时间来确定，并且可恒定。

控制器180可在正通过相机拍摄第一帧的同时根据多个集合来点亮多个组。

详细地，如图11所示，当相机拍摄第一帧时，控制器180可控制照明装置以使得多个组全部按照预定次序依次发射光的集合被执行多次。

根据本发明，通过在不使多个组同时发射的情况下使多个组按照预定次序依次发射，可降低点亮多个装置所需的峰电流。

另外，根据本发明，通过将多个组全部依次点亮的集合执行多次，可增加向对象的图案光发射数量。

随着向对象的图案光发射数量增加，由相机接收的发射到对象然后被对象反射的图案光束的数量增加。因此，控制器可容易地从深度图像提取深度信息。

这里，多个组全部依次被点亮的单个集合的时间可恒定。

另外，控制器180可变化第一帧被拍摄的时间。第一帧被拍摄的时间可对应于例如光圈保持打开的时间(或者关闭的光圈被打开然后被重新关闭的时间)。

在第一帧正被拍摄的同时执行的多个集合的数量可根据第一帧被拍摄的时间而变化。

即，由于执行单个集合所需的时间恒定，所以执行集合的次数可随着第一帧被拍摄的时间减少而减少，并且可随着第一帧被拍摄的时间增加而增加。

尽管未示出，控制器180可在仅一个集合期间点亮多个组，以使得在图案光源200a被点亮的同时多个组全部依次点亮仅一次。

根据本发明的上述配置，可提取高分辨率高质量深度信息和高分辨率亮度信息并通过将深度信息和亮度信息组合来执行脸部识别、3D映射或对象类型分类。

另外，根据本发明，还可通过使用深度信息和亮度信息来使用关于表面上的文字或绘画的形状(商标、标志等)以及对象的轮廓的信息。这可基于从在面光源发射光的同时获取的面光接收图像获取的亮度信息来执行。

另外，根据本发明，可执行虹膜识别或眼睛识别并且还识别以两个维度示出的信息(例如，商标、标记、绘画、文字等)以及3D对象。

根据本发明，本发明可提供一种能够利用单个相机和双照明装置(即，面光源和图案光源)改进深度信息的质量的移动终端。

另外，本发明可提供一种能够通过交替地点亮面光源和图案光源来利用仅一个相机而无需使用多个相机提取深度信息和边缘信息的新的移动终端。

另外，本发明可提供一种能够使用在由面光源发射光时获取的黑白图像和在由图案光源发射光时获取的深度图像来执行脸部识别、眼睛识别和融合映射的新的控制方法。

本发明可被实现为程序记录介质中的计算机可读代码。计算机可读介质可包括各自存储可由计算机系统读取的数据的所有类型的记录装置。这些计算机可读介质的示例可包括硬盘驱动器(HDD)、固态盘(SSD)、硅磁盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储元件等。另外，计算机可读介质还可被实现为载波的格式(例如，经由互联网的传输)。计算机可包括终端的控制器180。因此，还应该理解，除非另外指明，否则上述实施方式不受以上描述的任何细节限制，而是应该在所附权利要求书中限定的范围内广义地解释。因此，落入权利要求的范围或者这些范围的等同范围内的所有改变和修改因此旨在被所附权利要求涵盖。

Claims (18)

1.一种移动终端，该移动终端包括：

相机；

照明装置，该照明装置包括图案光源和面光源，其中，所述图案光源被配置为发射具有限定图案的光，并且所述面光源被配置为发射均匀光；以及

控制器，该控制器被配置为：

使得所述相机拍摄3D图像；并且

与所述3D图像的拍摄关联地控制所述照明装置以使得所述图案光源和所述面光源交替地发射光。

2.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：

当所述图案光源被启用以发射光时，使得所述面光源停止发射光；并且

当所述面光源被启用以发射光时，使得所述图案光源停止发射光。

3.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：

当所述相机拍摄第一帧时，使得所述图案光源启用以发射光；并且

当所述相机拍摄在所述第一帧的拍摄之后拍摄的第二帧时，使得所述面光源启用以发射光。

4.根据权利要求3所述的移动终端，其中，所述控制器还被配置为：

当所述相机拍摄在所述第二帧的拍摄之后拍摄的第三帧时，使得所述图案光源启用以发射光；并且

当所述相机拍摄在所述第三帧的拍摄之后拍摄的第四帧时，使得所述面光源启用以发射光。

5.根据权利要求3所述的移动终端，其中，所述控制器还被配置为：

在所述相机拍摄所述第一帧的至少一部分时间周期内使得所述图案光源启用以发射光；并且

在所述相机拍摄所述第二帧的至少一部分时间周期内使得所述面光源启用以发射光。

6.根据权利要求3所述的移动终端，其中，所述控制器还被配置为：

从所述第一帧提取深度信息；并且

从所述第二帧提取对象的亮度信息和边缘信息。

7.根据权利要求3所述的移动终端，其中，所述控制器还被配置为：

基于所述第一帧和所述第二帧来生成单个3D图像。

8.根据权利要求1所述的移动终端，其中，所述图案光源包括被分组为多个组的多个发光装置，并且

其中，所述控制器还被配置为控制所述多个组中的各个组的所述发光装置。

9.根据权利要求8所述的移动终端，其中，所述控制器还被配置为：

按照限定的次序逐组地使得所述多个组中的各个组的所述发光装置依次启用以发射光。

10.根据权利要求9所述的移动终端，其中，所述控制器还被配置为：

使得所述多个组中的各个组的所述发光装置按照离散的时间周期被启用，使得从所述多个组中的各个组发射的光彼此不交叠。

11.根据权利要求3所述的移动终端，其中，所述图案光源包括被分组为单个组的多个发光装置；并且

其中，所述控制器还被配置为在所述第一帧的拍摄期间控制所述单个组中的所述多个发光装置重复地启用以发射独立的光的实例。

12.根据权利要求11所述的移动终端，其中，所述独立的光的实例中的每一个被发射的时间是恒定的，并且

其中，在所述第一帧的拍摄期间所述单个组被重复地启用的次数根据所述第一帧被拍摄的时间而变化。

13.一种移动终端，该移动终端包括：

相机；

图案光源和面光源，其中，所述图案光源被配置为发射具有限定图案的光，并且所述面光源被配置为发射均匀光；以及

控制器，该控制器被配置为：

使得所述相机拍摄包括第一帧和第二帧的图像；并且

与所述图像的拍摄关联地使得所述图案光源和所述面光源交替地发射光。

14.根据权利要求13所述的移动终端，其中，所述控制器还被配置为：

在所述相机拍摄所述第一帧的同时使得所述图案光源启用以发射光；并且

在所述相机拍摄在所述第一帧的拍摄之后拍摄的所述第二帧的同时使得所述面光源启用以发射光。

15.根据权利要求13所述的移动终端，其中，所述图案光源包括被分组为多个组的多个发光装置，并且

其中，所述控制器还被配置为控制所述多个组中的各个组的所述发光装置。

16.根据权利要求15所述的移动终端，其中，所述控制器还被配置为：

按照限定的次序逐组地使得所述多个组中的各个组的所述发光装置依次启用以发射光。

17.根据权利要求16所述的移动终端，其中，所述控制器还被配置为：

使得所述多个组中的各个组的所述发光装置按照离散的时间周期被启用，使得从所述多个组中的各个组发射的光彼此不交叠。

18.根据权利要求13所述的移动终端，其中，所述图像是3D图像。