CN116195240A - 移动终端及其控制方法 - Google Patents

Abstract

本发明涉及一种包括照明单元的移动终端及其控制方法。根据本发明的实施方式的移动终端包括：照明单元；相机；以及控制单元，其用于控制照明单元向要通过相机拍摄的对象照射光并且控制相机拍摄照射有照明光的对象，其中，控制单元基于照射到通过相机拍摄的对象的照明信息来确定对象的材料。

Description

移动终端及其控制方法

技术领域

本公开涉及具有照明装置的移动终端，更具体地，涉及一种具有用于识别与待拍摄对象的图像或材料有关的深度信息的照明装置的移动终端。

背景技术

终端可根据移动性被分成移动/便携式终端和固定终端。另外，移动终端可根据用户是否可直接携带而被分类为手持类型和车载类型。

移动终端已变得越来越多功能。这些功能的示例包括数据和语音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩电子游戏的附加功能，而其它终端被配置成多媒体播放器。具体地，最近，移动终端可接收广播信号和多播信号以允许观看视频和电视节目。

随着变得多功能，移动终端可被允许拍摄静止图像或运动图像、播放音乐或视频文件、玩游戏、接收广播等，以被实现为集成的多媒体播放器。

最近，随着相机的性能提高，已开发出使用相机的各种功能。例如，已积极地开发了拍摄高质量静止图像或视频或者使用通过相机接收的图像的深度信息(或深度值)来生成3D图像的功能。

对于这些使用相机的各种功能，发光元件的作用是重要的。这里，发光元件用于向与通过相机接收的图像对应的空间发射光。

因此，有必要开发用于使用相机执行各种功能的发光元件和控制发光元件的方法。

发明内容

技术问题

因此，本公开的一方面是提供一种具有能够以优化方式照射用于提取与通过相机拍摄的图像有关的深度信息的照明的移动终端及其控制方法。

本公开的另一方面是提供一种具有能够以优化方式照射用于提取要通过相机拍摄的对象的材料的照明的移动终端及其控制方法。

技术方案

一种移动终端可包括：照明单元；相机；以及控制器，其被配置为控制照明单元将照明光照射在要通过相机拍摄的对象上，并且控制相机拍摄照射有照明光的对象。控制器可被配置为基于与照射在通过相机拍摄的对象上的照明光有关的信息来确定对象的材料。

在实现方式中，照明单元可包括：第一光源，其被配置为照射图案光；以及第二光源，其被配置为照射均匀光。

在实现方式中，控制器可交替地打开第一光源和第二光源。

在实现方式中，当在第一时间段内打开第一光源时，控制器可关闭第二光源，并且当在第一时间段逝去之后在第二时间段内打开第二光源时，关闭第一光源。

在实现方式中，第一光源可包括多个发光元件。多个发光元件可被分组为多个组。多个组中的每一个可包括相同数量的发光元件。

在实现方式中，控制器可按预设方式控制包括在多个组中的发光元件。

在实现方式中，控制器可控制照明单元，使得包括在多个组中的每一个中的第一发光元件和第二发光元件输出不同波长的光。

在实现方式中，控制器可将多个组分组为多个单元，并且针对各个单元控制照明单元发射光而没有交叠。

在实现方式中，多个单元中的每一个可包括相同数量的组。在控制多个单元之一的同时，控制器可控制照明单元，使得包括在剩余单元中的发光元件不发射光。

在实现方式中，控制器可控制照明单元，使得包括在多个组中的每一个中的第一发光元件和第二发光元件以不同的功率输出光。

在实现方式中，控制器可控制全部多个发光元件基于时间以不同的功率发射光。

在实现方式中，控制器可在第一时间段内控制全部多个发光元件以第一功率发射光，并且在第一时间段逝去之后在第二时间段内控制全部多个发光元件以不同于第一功率的第二功率发射光。

在实现方式中，控制器可将多个发光元件分组为多个单元，并且针对多个单元中的每一个控制照明单元基于时间以不同的功率发射光。

在实现方式中，控制器可控制照明单元，使得包括在多个组中的每一个中的第一发光元件和第二发光元件以不同的光束轮廓输出光。

在实现方式中，控制器可控制照明单元，使得包括在多个组中的每一个中的第一发光元件和第二发光元件以不同的图案输出光。

在实现方式中，控制器可控制照明单元，使得包括在多个组中的每一个中的第一发光元件和第二发光元件照射相同图案但光点的尺寸不同的光。

在实现方式中，第一光源可包括被配置为照射不同图案的光的照明透镜。

在实现方式中，第一光源可包括被配置为照射不同图案的光的可变孔径。

在实现方式中，第一光源可包括被配置为照射不同图案的光的衍射光学元件。

一种用于控制移动终端的方法可包括以下步骤：控制照明单元向要通过相机拍摄的对象照射照明光；控制相机拍摄照射有照明光的对象；以及基于与照射到通过相机拍摄的对象的照明光有关的信息来确定对象的材料。

有益效果

本公开可提供一种能够通过使用照明确定待拍摄对象的材料的新的移动终端。

本公开可提供一种能够通过变化照明图案以优化方式确定待拍摄对象的材料的新的控制方法。

附图说明

图1a是根据本公开的一个实施方式的移动终端的框图。

图1b和图1c是示出从不同方向看的根据本公开的移动终端的一个示例的概念图。

图2是示出与本公开有关的移动终端中设置的相机和照明装置的概念图。

图3是示出根据本公开的一个实现方式的移动终端的配置的概念图。

图4是示出根据本公开的一个实现方式的图案光源的概念图。

图5是示出根据本公开的照明单元的控制方法的概念图。

图6、图7、图8、图9、图10、图11、图12、图13a、图13b、图14、图15、图16、图17、图18、图19、图20和图21是示出控制移动终端用来识别待拍摄对象的材料的照明(或发射器)的方法的概念图。

具体实施方式

现在将参照附图根据本文所公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同或相似的标号，将不再重复其描述。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文中使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在描述本公开时，如果相关已知功能或构造的详细说明被认为不必要地偏离本公开的主旨，则这种说明已被省略，但本领域技术人员将理解。使用附图来帮助容易地理解本公开的技术构思，应该理解，本公开的构思不受附图限制。本公开的构思应该被解释为扩展至附图以外的任何更改形式、等同形式和替代形式。

将理解，尽管本文中可使用术语第一、第二等来描述各种元件，但这些元件不应受这些术语限制。这些术语通常仅用于将一个元件与另一元件相区分。

将理解，当元件被称为“与”另一元件“连接”时，该元件可与另一元件连接，或者也可存在中间元件。相反，当元件被称为“与”另一元件“直接连接”时，不存在中间元件。

单数表示可包括复数表示，除非其根据上下文表示明确不同的含义。

本文中使用诸如“包括”或“具有”的术语，应该理解，它们旨在指示存在本说明书中所公开的多个组件、功能或步骤，并且还应理解，可同样使用更多或更少的组件、功能或步骤。

本文所呈现的移动终端可使用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等。

仅作为非限制性示例，将参考特定类型的移动终端进行进一步描述。然而，这些教导同样适用于其它类型的终端，例如上面所述的那些类型。另外，这些教导也可应用于诸如数字TV、台式计算机等的固定终端。

参照图1a至图1c，图1a是根据本公开的一个实现方式的移动终端的框图，图1b和图1c是示出从不同方向看的移动终端的一个示例的概念图。

移动终端100可被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器(或控制单元)180和电源单元190的组件。将理解，不要求实现所有所示组件，可另选地实现更多或更少的组件。

更详细地，无线通信单元110通常可包括允许通信的一个或更多个模块，例如移动终端100和无线通信系统之间的无线通信、移动终端100和另一移动终端之间的通信或移动终端100和外部服务器之间的通信。此外，无线通信单元110通常可包括将移动终端100连接到一个或更多个网络的一个或更多个模块。

无线通信单元110可包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。

输入单元120可包括用于获得图像或视频的相机121或图像输入单元、作为用于输入音频信号的一种音频输入装置的麦克风122以及用于允许用户输入信息的用户输入单元123(例如，触摸键、机械键等)。数据(例如，音频、视频、图像等)可通过输入单元120获得，并且可根据用户命令来分析和处理。

感测单元140通常可使用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现。例如，感测单元140可包括接近传感器141、照度传感器142、触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池电量计、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如，电子鼻、保健传感器、生物传感器等)中的至少一个。本文所公开的移动终端可被配置为利用从感测单元140的一个或更多个传感器获得的信息及其组合。

输出单元150通常可被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150可被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154中的至少一个。显示单元151可具有与触摸传感器的层间结构或集成结构以便实现触摸屏。触摸屏可用作用户输入单元123，其在移动终端100和用户之间提供输入接口，同时在移动终端100和用户之间提供输出接口。

接口单元160用作与联接到移动终端100的各种类型的外部装置的接口。例如，接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。

存储器170通常被实现为存储支持移动终端100的各种功能或特征的数据。例如，存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些可经由无线通信从外部服务器下载。其它应用程序可在制造或装运时安装在移动终端100内，对于移动终端100的基本功能(例如，接电话、打电话、接收消息、发送消息等)通常是这种情况。应用程序可被存储在存储器170中，被安装在移动终端100中，并且由控制器180执行以执行移动终端100的操作(或功能)。

除了与应用程序关联的操作之外，控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理由上述各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。

另外，控制器180可控制图1a所示的至少一些组件以执行存储在存储器170中的应用程序。另外，控制器180可控制包括在移动终端100中的那些组件中的至少两个以激活应用程序。

电源单元190可被配置为接收外部电力或提供内部电力，以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池，该电池可被配置为嵌入在终端主体中，或者被配置为可从终端主体拆卸。

至少一部分组件可协作地操作以实现根据本文所公开的各种实施方式的移动终端的操作、控制或控制方法。另外，移动终端的操作、控制或控制方法可在移动终端上通过启用存储在存储器170中的至少一个应用程序来实现。

以下，在描述通过移动终端100实现的各种实施方式之前将参照图1a更详细地描述上述组件。

首先，关于无线通信单元110，广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中，可使用两个或更多个广播接收模块以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。

移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分，所述移动通信网络根据移动通信的技术标准或通信方法(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA 2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(长期演进-高级)等)来构建。

根据语音呼叫信号、视频呼叫信号或文本/多媒体消息发送/接收，无线信号可包括各种类型的数据。

无线互联网模块113是指用于无线互联网接入的模块。此模块可从内部或外部联接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。

这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级LTE(LTE-A)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。

当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现无线互联网接入时，作为移动通信网络的一部分，无线互联网模块113执行这种无线互联网接入。因此，互联网模块113可与移动通信模块112协作或者用作移动通信模块112。

短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTH^TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。

这里，另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如，智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴装置，并允许可穿戴装置与移动终端100之间的通信。另外，当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时，例如，控制器180可经由短距离通信模块114将在移动终端100中处理的数据的至少一部分发送给可穿戴装置。因此，可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如，当在移动终端100中接到电话时，用户可利用可穿戴装置来回电话。另外，当在移动终端100中接收到消息时，用户可利用可穿戴装置来查看所接收到的消息。

位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置(或当前位置)。例如，位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。例如，当移动终端使用GPS模块时，可利用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例，当移动终端使用Wi-Fi模块时，可基于与无线接入点(AP)有关的信息来获取移动终端的位置，所述无线接入点(AP)向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。如果需要，位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作，以获得与移动终端的位置有关的数据。位置信息模块115是用于获取位置(或当前位置)的模块，并且可不限于直接计算或获取移动终端的位置的模块。

这些输入的示例包括音频、图像、视频数据和用户输入。图像和视频输入常常使用一个或更多个相机121获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或存储在存储器170中。此外，相机121可按照矩阵配置布置，以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。另外，相机121可按照立体布置方式来设置，以获取用于实现立体图像的左图像和右图像。

麦克风122将外部音频信号处理成电音频(声音)数据。所处理的音频数据可根据移动终端100中执行的功能来按照各种方式处理。如果需要，麦克风122可包括各种噪声去除算法以去除在接收外部音频信号的过程中生成的不期望的噪声。

用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如，位于移动终端100的正面和/或背面或侧面的机械键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入元件等中的一个或更多个。作为一个示例，触敏输入元件可以是通过软件处理显示在触摸屏上的虚拟键、软键或视觉键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面，虚拟键或视觉键可按照各种形状(例如，图形、文本、图标、视频或其组合)显示在触摸屏上。

感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个，并且生成对应感测信号。控制器180通常与感测单元140协作以基于感测信号来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140，现在将更详细地描述其中一些传感器。

接近传感器141表示在没有机械接触的情况下，利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。

当触摸屏被实现为电容型时，接近传感器141可通过对具有导电性的物体的接近作出响应的电磁场的改变来感测指点器相对于触摸屏的接近。当触摸屏被实现为电容型时，接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下，触摸屏(触摸传感器)也可被归类为接近传感器。

本文中常常将提及术语“接近触摸”以表示指点器被设置成在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置，这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。通常，控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理，并在触摸屏上输出视觉信息。另外，控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或处理不同的数据(或信息)。

触摸传感器利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(或显示单元151)的触摸(或触摸输入)。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。

作为一个示例，触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积，而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。

当通过触摸传感器感测到触摸输入时，可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理，然后将对应数据发送给控制器180。因此，控制器180可感测显示单元151的哪一区域被触摸。这里，触摸控制器可以是独立于控制器180的组件、控制器180及其组合。

此外，控制器180可根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的触摸物体的类型来执行相同或不同的控制。例如，根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。

触摸传感器和接近传感器可单独实现或者组合实现，以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。

如果需要，可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如，控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快，所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如，可基于光作为参考信号利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。

已作为输入单元120的组件描绘的相机121通常包括至少一个相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器。

利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲，光电传感器可包括成行和列的光电二极管和晶体管(TR)，以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即，光电传感器可根据光的变化来计算物理对象的坐标，从而获得物理对象的位置信息。

显示单元151通常被配置为输出在移动终端100中处理的信息。例如，显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。

另外，显示单元151可被实现为用于显示立体图像的立体显示单元。

典型的立体显示器可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。

在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式下，音频输出模块152可从无线通信单元110接收音频数据或者输出存储在存储器170中的音频数据。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如，呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。

触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如，触觉模块153可按照组合方式或顺序方式输出不同的振动。

除了振动以外，触觉模块153可产生各种其它触觉效果，包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。

除了通过直接接触传递触觉效果以外，触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。

光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。

由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如，随着移动终端感测到用户已查看所发生的事件，信号输出可被终止。

接口单元160用作要与移动终端100连接的外部装置的接口。例如，接口单元160可接收从外部装置发送来的数据，接收电力以输送给移动终端100内的元件和组件，或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。

所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片，并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外，具有标识模块的装置(本文中也称为“标识装置”)可采取智能卡的形式。因此，标识装置可经由接口单元160与移动终端100连接。

当移动终端100与外部托架连接时，接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道，或者可用作使得能够用来将由用户从托架输入的各种命令信号输送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。

存储器170可存储用于支持控制器180的操作的程序，并存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。

存储器170可包括一种或更多种类型的存储介质，包括闪存型、硬盘型、固态盘(SSD)型、硅磁盘(SDD)型、微型多媒体卡型、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。

控制器180通常可控制与应用程序有关的操作以及移动终端100的一般操作。例如，当移动终端的状态满足预设条件时，控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。

控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理，或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外，控制器180可控制那些组件中的一个或其组合，以便实现本文公开的各种示例性实施方式。

电源单元190接收外部电力或者提供内部电力，并且在控制器180的控制下供应操作包括在HMD 100中的各个元件和组件所需的适当电力。电源单元190可包括电池，该电池通常是可再充电的或者可拆卸地联接到终端主体以便于充电。

电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例，用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。

作为另一示例，电源单元190可被配置为以无线方式对电池进行再充电，而不使用连接端口。在此示例中，电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发射器输送的电力。

本文所描述的各种实施方式可使用例如软件、硬件或其任何组合在计算机可读介质、机器可读介质或类似介质中实现。

参照图1b和图1c，所公开的移动终端100包括直板型终端主体。然而，另选地，移动终端100可按照各种不同配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文的讨论将常常涉及特定类型的移动终端。然而，关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。

这里，将移动终端100视为至少一个组装件，终端主体可被理解为涉及组装件的概念。

移动终端100将通常包括形成终端的外观的壳体(例如，框架、外壳、盖等)。在此实施方式中，壳体利用前壳体101和后壳体102形成。各种电子组件被插入到前壳体101与后壳体102之间所形成的空间中。另外，可在前壳体101与后壳体102之间设置至少一个中间壳体。

显示单元151被示出为设置在终端主体的前侧以输出信息。如所示，显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。

在一些实施方式中，电子组件也可被安装到后壳体102。安装到后壳体102的这些电子组件的示例可包括可拆卸电池、标识模块、存储卡等。在这种情况下，后盖103被示出为盖住电子组件，该盖可以可拆卸地联接到后壳体102。因此，当将后盖103从后壳体102拆卸时，安装在后壳体102上的电子组件暴露于外。

如所示，当后盖103联接到后壳体102时，后壳体102的侧表面可部分地暴露。在一些情况下，在联接时，后壳体102也可被后盖103完全遮蔽。此外，后盖103可包括开口以用于将相机121b或第二音频输出模块152b暴露于外。

壳体101、102、103可通过合成树脂的注塑成型来形成，或者可由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。

作为多个壳体形成用于容纳组件的内部空间的示例的替代，移动终端100可被配置为使得一个壳体形成该内部空间。在这种情况下，具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。

此外，移动终端100可包括用于防止水进入终端主体中的防水单元(未示出)。例如，防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件，以在那些壳体联接时将内部空间密封。

移动终端100可包括显示单元151、第一音频输出模块152a和第二音频输出模块152b、接近传感器141、照度传感器142、光学输出模块154、第一相机121a和第二121b、第一操纵单元123a和第二操纵单元123b、麦克风122、接口单元160等。

以下，如图1b和图1c所示，将描述示例性移动终端100，其中终端主体的前表面被示出为具有显示单元151、第一音频输出模块152a、接近传感器141、照度传感器142、光学输出模块154、第一相机121a和第一操纵单元123a，终端主体的侧表面被示出为具有第二操纵单元123b、麦克风122和接口单元160，终端主体的后表面被示出为具有第二音频输出模块152b和第二相机121b。

然而，那些组件可不限于所述布置方式。一些组件可被省略或者重新布置或设置在不同的表面上。例如，第一操纵单元123a可设置在终端主体的另一表面上，第二音频输出模块152b可设置在终端主体的后表面以外的终端主体的侧表面上。

显示单元151通常被配置为输出在移动终端100中处理的信息。例如，显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。

显示单元151可包括液晶显示器(LCD)、薄膜晶体管-LCD(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电子墨水显示器中的至少一个。

根据其配置类型，显示单元151可使用两个显示装置来实现。例如，多个显示单元151可被布置在一侧(彼此间隔开或者这些装置可被集成)，或者这些装置可被布置在不同的表面上。

显示单元151可包括触摸传感器，其感测相对于显示单元151的触摸以接收触摸方式的控制命令。因此，当对显示单元151施加触摸时，触摸传感器可感测该触摸，并且控制器180可生成与该触摸对应的控制命令。以触摸方式输入的内容可以是字符、数字、各种模式的指令或者可指定的菜单项。

另一方面，触摸传感器可按照具有触摸图案并设置在窗口151a与窗口的后表面上的显示器(未示出)之间的膜的形式配置，或者可以是在窗口的后表面上直接构图的金属丝。另选地，触摸传感器可与显示器一体地形成。例如，触摸传感器可设置在显示器的基板上，或者可设置在显示器内部。

这样，显示单元151可与触摸传感器一起形成触摸屏，在这种情况下，触摸屏可用作用户输入单元(123，参见图1a)。在一些情况下，触摸屏可代替第一操纵单元123a的至少一些功能。

第一音频输出模块152a可被实现为将呼叫声音发送到用户的耳朵的受话器，第二音频输出模块152b可被实现为输出各种报警音或多媒体再现请求音的扬声器。

显示单元151的窗口151a可包括用于发出从第一音频输出模块152a生成的声音的音孔。然而，本公开不限于此，声音可沿着结构体之间的装配间隙(例如，窗口151a与前壳体101之间的间隙)来释放。在这种情况下，就外观而言，独立地形成以输出音频音的孔不可见或者说被隐藏，从而进一步简化移动终端100的外观。

光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时，控制器180可控制光学输出模块154停止光输出。

第一相机121a可处理由图像传感器在拍摄模式或视频呼叫模式下获得的图像帧(例如，静止图像或运动图像)。然后，经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。

第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例，其可由用户操纵以对移动终端100提供输入。第一操纵单元123a和第二操纵单元123b还可被共同称为操纵部分。第一操纵单元123a和第二操纵单元123b可采用允许用户利用触感来执行操纵(例如，触摸、推按、滚动等)的触觉方式的任何方法。第一操纵单元123a和第二操纵单元123b还可通过接近触摸、悬停触摸等来操纵，而无需用户的触感。

基于第一操纵单元123a是触摸键来示出附图，但是本公开可能未必限于此。例如，第一操纵单元123a可利用机械键或者触摸键和按键的组合来配置。

由第一操纵单元123a和第二操纵单元123b接收的内容可按照各种方式来设定。例如，用户可使用第一操纵单元123a来输入诸如菜单、本位键、取消、搜索等的命令，用户可使用第二操纵单元123b来输入诸如控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换到显示单元151的触摸识别模式等的命令。

另一方面，作为用户输入单元123的另一示例，后输入单元(未示出)可被设置在终端主体的后表面上。用户可操纵后输入单元以输入用于控制移动终端100的操作的命令。内容输入可按照各种方式来设定。例如，用户可使用后输入单元来输入诸如电源开/关、开始、结束、滚动等、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换到显示单元151的触摸识别模式等的命令。后输入单元可被实现为允许触摸输入、推按输入或其组合的形式。

后输入单元可被设置为在终端主体的厚度方向上与前表面的显示单元151交叠。作为一个示例，后输入单元可被设置在终端主体的后表面的上端部，使得当用户用一只手抓住终端主体时用户可利用食指容易地操纵它。然而，本公开可不限于此，后输入单元的位置可以是可改变的。

当后输入单元被设置在终端主体的后表面上时，可使用后输入单元来实现新的用户接口。另外，上述触摸屏或后输入单元可取代位于终端主体的前表面上的第一操纵单元123a的至少部分功能。因此，当第一操纵单元123a未设置在终端主体的前表面上时，显示单元151可被实现为具有更大的画面。

另一方面，移动终端100可包括扫描用户的指纹的手指扫描传感器。控制器可使用手指扫描传感器所感测的指纹信息作为认证手段。手指扫描传感器可被安装在显示单元151或用户输入单元123中。

麦克风122可被设置在多个地方并且被配置为接收立体声。麦克风122可被设置在多个地方并且被配置为接收立体声。

接口单元160可用作允许移动终端100与外部装置接口的路径。例如，接口单元160可以是用于连接到另一装置(例如，耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于向移动终端100供电的电源端子中的至少一个。接口单元160可按照用于容纳外部卡(例如，订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡)的插槽的形式来实现。

第二相机121b可被进一步安装到终端主体的后表面。第二相机121b可具有与第一相机121a的方向基本上相反的图像拍摄方向。

第二相机121b可包括沿着至少一条线布置的多个镜头。所述多个镜头可按照矩阵形式布置。这些相机可被称为“阵列相机”。当第二相机121b被实现为阵列相机时，可使用多个镜头以各种方式拍摄图像，并且可获得具有更好的质量的图像。

照明单元124可与第二相机121b相邻设置。当利用相机121b拍摄对象的图像时，照明单元124可对对象进行照明。

第二音频输出模块152b可进一步设置在终端主体上。第二音频输出模块152b可与第一音频输出模块152a结合实现立体声功能，并且还可用于实现用于呼叫通信的免提模式。

用于无线通信的至少一个天线可设置在终端主体上。天线可被嵌入在终端主体中或形成在壳体中。例如，配置广播接收模块111(参见图1a)的一部分的天线可缩回到终端主体中。另选地，天线可按照附接到后盖103的内表面上的膜的形式形成，或者包含导电材料的壳体可用作天线。

终端主体设置有用于向移动终端100供电的电源单元190(参见图1a)。电源单元190可包括电池191，其被安装在终端主体中或者可拆卸地联接到终端主体的外部。

电池191可经由连接到接口单元160的电源线来接收电力。另外，电池191可使用无线充电器以无线方式(再)充电。无线充电可通过磁感应或电磁共振来实现。

另一方面，附图示出后盖103联接到后壳体102以用于遮蔽电池191，以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191可从终端主体拆卸时，后盖103可以可拆卸地联接到后壳体102。

用于保护外观或者辅助或扩展移动终端100的功能的附件可进一步设置在移动终端100上。作为附件的一个示例，可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例可以是用于辅助或扩展触摸屏上的触摸输入的触摸笔。

此外，与本公开有关的移动终端可使用相机和照明装置(照明单元、照明模块等，将一起描述)从通过相机拍摄的图像提取(检测、确定、感测)深度信息。

另外，与本公开有关的移动终端可使用相机和照明装置拍摄(或生成)3D图像。例如，与本公开有关的移动终端可基于所提取的深度信息将通过相机拍摄的2D图像转换(生成)为3D图像。在另一示例中，与本公开有关的移动终端可基于从照明装置照射的光来确定距对象的距离，并且基于距对象的距离来通过相机拍摄(或生成)3D图像。

以下，将参照附图详细描述从使用相机和照明装置拍摄的图像提取深度信息的方法。以下，将描述从通过相机拍摄的图像提取深度信息，但是相关内容也可被推断并应用于按照相同/相似的方式拍摄(或生成)3D图像。

与本公开有关的移动终端100可提取通过相机121(请参照图1a)接收(或拍摄)的深度信息。

通过相机接收的图像可被称为预览图像。详细地，预览图像可指通过相机实时接收的图像。预览图像可随着具有相机121的移动终端由于外力而移动或者随着对象移动而改变。

例如，通过相机拍摄的图像可指通过拍摄预览图像而获得的图像。例如，当移动终端的显示单元上输出的图像拍摄按钮被触摸时，当通过预览图像感测到与拍摄预览图像关联的用户手势时，或者当设置在移动终端中的物理按钮被按压时，可拍摄图像。

本公开中所描述的图像可指预览图像和拍摄的图像中的至少一个。

本公开中所描述的深度信息可以是深度值。深度信息可指包括在图像中的对象对应像素与移动终端(具体地讲，相机)之间的距离(或距离值)。

例如，在与图像的特定像素对应的对象与移动终端之间的距离为n的情况下，该特定像素的深度信息可以是与n对应的特定值。与n对应的特定值可以是n或者通过预设算法转换的值。

另外，在图像的坐标被设定到x轴和垂直于x轴的y轴的情况下，深度信息可以是与垂直于x轴和y轴的z轴对应的值。深度信息的绝对值可随着对象与移动终端之间的距离增加而增加。

深度信息可用在各种领域中。例如，深度信息可用于拍摄/生成3D立体图像(体视法)，用于生成3D打印机中所使用的3D打印数据，或者用于检测移动终端周围的物体(或对象)的移动。

与本公开有关的移动终端可按照各种方式提取通过相机接收(或拍摄)的图像的深度信息。例如，控制器180可通过使用至少两个相机提取深度信息的立体视觉方案、使用被设置为形成预设图案的发光元件提取深度信息的结构光方案、基于从发光元件发射的光被反射以返回的时间提取深度信息的飞行时间(ToF)方案或者其任何组合来提取深度信息。

以下，将主要描述使用上述方案当中的结构光方案提取深度信息。

结构光方案是通过控制被设置为具有预设图案的多个发光元件来向对象发射光，感测从对象反射的光，随后基于所感测的光(或所感测的光的图案)来提取深度信息的方案。

详细地，结构光方案是通过从被设置为具有预设图案的多个发光元件向对象照射光并且计算所返回的反射光相对于预设图案的移位量(或反射的光图案的移位量)来提取深度信息的方案。

例如，与本公开有关的移动终端的控制器180可控制被设置为具有预设图案的多个发光元件向对象发射光。此后，移动终端的控制器180可通过图1a的感测单元140来感测从对象反射并返回的光。

这里，控制器180可基于感测结果来提取通过相机121接收的图像的深度信息。例如，控制器180可通过将反射并返回的光所形成的图案与预设图案进行比较来提取通过相机121接收的图像的深度信息。

详细地，控制器180可通过将多个发光元件向对象发射光的预设图案(或者多个发光元件被设置成的预设图案)与反射并返回的光(或光点)所形成的图案进行比较并且计算关于各个反射并返回的光(或光点)相对于预设图案的移位量(或者改变的形式、改变的距离、改变的方向等)或者关于返回的光图案的移位量来提取通过相机121接收的图像的深度信息。

在另一示例中，在结构光方案中，控制器180可通过比较从多个发光元件发射的光被反射以返回的时间与反射并返回的光的强度来提取通过相机121接收的图像的深度信息。

为此，多个发光元件可被形成为向与通过相机121接收的图像对应的空间发射光。

预设图案可由用户确定(或设定)，或者可在移动终端的产品被制造时预定。另外，预设图案可根据用户请求或者通过控制器的控制而改变。

另外，多个发光元件可发射红外光。另外，发光元件可以是将电信号改变为光学信号的激光二极管。例如，发光装置可以是垂直腔面发射激光器(VCSEL)。

在本公开中，可使用结构光方案通过一个相机(红外相机或3D相机)来提取图像的深度信息，并且甚至当对象具有单一颜色时，也可提取深度信息。另外，关于深度信息的准确度可通过将结构光方案与使用至少两个相机的立体视觉方案组合或者将结构光方案与ToF方案组合来增强。

ToF方案可以是通过计算直接照射在对象上的光作为反射光返回的时间来测量图像的深度信息的方案。

立体视觉方案可以是对称地设置多个相机(例如，两个相机)并使用通过多个相机当中的第一相机(例如，左相机)接收的图像与通过多个相机当中的第二相机(例如，右相机)接收的图像之间的视差(或者距离、空间的差异)来提取通过相机接收的图像的深度信息的方案。

与本公开有关的移动终端可使用立体视觉、结构光技术、ToF技术或者这些技术中的至少两种或更多种的组合。

图2是示出与本公开有关的移动终端中设置的相机和照明装置的概念图。

如图2的(a)所示，与本公开有关的移动终端可在其一个表面上具有多个相机121b和121c。这里，移动终端100的一个表面可以是移动终端的主体的后表面、前表面和侧表面中的至少一个。

在图2的(a)中，示出多个相机121b和121c被设置在移动终端的主体的后表面上。

另外，本公开的照明装置200可被设置在多个相机121b和121c所设置的一个表面上。

照明装置200可包括多个发光元件，并且如上所述，照明装置200可照射具有预设图案的光以通过结构光方案提取图像的深度信息。这里，多个发光元件(或者多个光源)可以是例如VCSEL。

如图2的(a)所示，本公开的移动终端可通过将立体视觉方案与结构光方案组合使用多个相机121a和121b以及能够照射预设图案的光的照明装置200来提取通过相机接收的图像的深度信息。

然而，不限于此，尽管多个相机121a和121b被设置在移动终端的主体的一个表面上，本公开的移动终端100可使用立体视觉方案、结构光方案和ToF方案中的任一个或者通过将至少两个方案组合来提取通过相机接收的图像的深度信息。

然而，不限于此，如图2的(b)所示，本公开的移动终端100可使用一个相机121和照明装置200，仅使用结构光方案，仅使用ToF方案，或者使用结构光方案和ToF方案的组合来提取通过相机接收的图像的深度信息。

此外，如上面在结构光方案中所描述的，设置在与本公开有关的移动终端100中的照明装置200可照射光以形成(或具有)预定图案。照明装置200可包括多个发光元件。这里，发光元件可以是上述VCSEL。

多个发光元件可形成为具有预设图案，或者仅一些发光元件可打开以照射预设图案的光。

例如，多个发光元件(或者包括多个发光元件的管芯)可被称为VCSEL阵列。

与本公开有关的移动终端的控制器180可单独地控制包括在照明装置200中的多个发光元件(多个光源)中的每一个。详细地，控制器180可单独地打开或关闭设置在照明装置200中的多个发光元件。另外，控制器180可单独地控制设置在照明装置(或照明单元)200中的多个发光元件的发射强度。另外，控制器180可单独地控制(确定)设置在照明装置200中的多个发光元件的发射定时。

照明装置200可在控制器180的控制下单独地打开或关闭，发射强度变化，或者改变发射定时。因此，从照明装置200照射的光的图案(即，预设图案)可变化。

以这种方式，在包括在本公开的移动终端中的照明装置200中，可通过单独地控制多个发光元件(多个VCSEL)来变化所照射的光的图案(或者光的强度、光的视点)，并且从这一角度，照明装置200可被称为主动照明。

此外，与本公开有关的照明装置200可照射预设图案的光(或光点)，使得光可用于提取图像的深度信息。这里，光点可指对象被光照射的区域(或点)或者移动终端(或者照明装置200、相机或感测单元)被从对象反射的光照射的区域(或点)。

这里，在本公开中，由于包括在照明装置200中的多个发光元件是激光二极管(例如，VCSEL)，因此，当多个发光元件发射光时，光(激光)被照射在对象的窄区域(或点)上。因此，可在对象中形成光点。另外，在本公开中，基于从对象反射以返回到移动终端的光(激光)，可检测照射在对象上的光点。

此外，照明装置200可包括衍射光学元件(DOE)。DOE可被配置为衍射从发光元件输出的光(激光)。

DOE可将从发光元件输出的光衍射成多个光束。在本公开中，衍射光(激光)可被理解成分裂光、复制光、折射一部分光等。在从发光元件输出的一个光被DOE衍射(或分裂)成多个光束的情况下，多个光束的强度之和可等于这一个光的强度。

换言之，多个光束中的每一个(即，被DOE衍射的多个光束中的任一个)的强度可比进入DOE之前的这一个光束的强度弱。

此外，本公开的照明装置可使用DOE输出数量比多个发光元件的数量更多的光束(光点)。

例如，在多个发光元件的数量为n并且当一个光束穿过DOE时输出的光束(光点)的数量为m的情况下，本公开的照明装置200可输出n*m数量的光束(光点)(或者向对象照射n*m数量的光束)。

在本公开中，照明装置200可具有多个发光元件和DOE，并且DOE可衍射从多个发光元件输出的光，使得相对于多个发光元件中的每一个形成预定图案。

即，本公开的照明装置200可包括用于衍射光以使得各个光源具有预定图案的DOE。换言之，包括在照明装置200中的DOE可衍射光，使得从一个发光元件输出的一个光束形成预定图案。因此，从多个发光元件输出的多个光束可被衍射以形成预定图案并穿过DOE。

此外，如上所述，根据本公开的一个实现方式的移动终端可不仅提取与图像有关的深度信息，而且提取或确定要通过相机拍摄的对象的材料。

以下，将参照附图更详细地描述用于提取或确定待拍摄对象的材料的照明单元(照明装置)和相机的控制方法。

图3是示出根据本公开的一个实现方式的移动终端的配置的概念图。

首先，本公开的移动终端可包括照明单元124(或上述照明装置200)、相机121以及与相机121和照明单元124交互并控制它们的控制器(或控制单元)180。

具体地，控制器180可控制照明单元124向要通过相机121拍摄的对象照射照明(或光)，并且控制相机121拍摄对象。

控制器180可基于与照射到要通过相机拍摄的对象的照明(或光)有关的信息来确定对象的材料。

具体地，如图3的(a)所示，控制器180可包括用于控制照明的照明控制模块181以及用于基于与从相机中要接收的对象反射的照明(或光)有关的信息(或者通过相机拍摄的图像中所包括的照明信息)来识别(计算)与图像有关的深度信息和包括在图像中的对象的材料中的至少一个的深度/材料计算模块182。

如图3的(a)和(b)所示，照明控制模块181和深度/材料计算模块182可被配置成独立模块，或者被配置成包括在控制器180中的软件组件。

如图3的(b)所示，本文中如图2的(a)所示公开的相机121可被配置成多个相机121b和121c。

此外，照明单元124可包括被配置为照射图案光(或结构光)的第一光源124a以及被配置为照射均匀光(或表面光)的第二光源124b。

照明单元124可包括第一光源(图案光源)124a和第二光源(面光源)124b。

第一光源(图案光源)124a可被配置为照射预设图案的光。

预设图案是指从图案光源输出的光束通过布置有多个垂直腔表面发射激光器(VCSEL)的位置、衍射光学元件(DOE)的光学复制方法等照射到待拍摄对象上的光图案。

具体地，图案光源可包括多个VCSEL(和衍射光学元件(DOE))以将多个光点按预设图案发射到对象。

作为一个示例，多个VCSEL可按照与预设图案对应的布置方式设置在管芯上，以使得当照明装置未配备有DOE时多个光点按预设图案照射到对象。

此外，第二光源(面光源)124b可被配置为照射均匀光。

例如，第二光源(面光源)124b可将光均匀地照射到光输出的区域(空间)。

例如，相同量的光束可照射到从第二光源(面光源)124b输出的光照射到的第一区域以及不同于第一区域的第二区域，并且照射到各个区域的光的强度(或光的亮度)可相同。

如图3所示，本公开的照明单元124可包括图案光源124a和面光源124b。

这里，图案光源124a和面光源124b可输出红外线。例如，从图案光源124a和面光源124b照射的红外线的波长可为940nm。

此外，本公开的相机121可包括高分辨率传感器。例如，高分辨率传感器可以是红外传感器。

当高分辨率传感器是红外传感器时，本公开的相机121可被称为红外相机(或IR相机)。

高分辨率传感器可被配置为仅感测从照明单元124输出的光(或从照明单元124照射的照明光的波长)。

例如，当从图案光源124a和面光源124b输出的红外线的波长为940nm时，高分辨率传感器可仅接收940nm波长的光。

此外，本公开的控制器180可包括控制照明单元124的照明控制模块181和控制高分辨率传感器(或相机121)的深度/材料计算模块182。

即，由照明控制模块181和深度/材料计算模块182执行的操作/功能/控制可被理解为由控制器180执行。

另一方面，图案光源124a、面光源124b和照明控制模块181可电连接到移动终端或从移动终端断开，并且可被理解为包括在物理上可拆卸的照明装置(或照明模块)中。

另外，高分辨率传感器121和深度/材料计算模块182可电连接到移动终端或从移动终端断开，并且可被理解为包括在物理上可拆卸的相机(或相机模块)中。

图4是示出根据本公开的一个实现方式的图案光源的概念图。

参照图4，根据本公开的一个实现方式的照明单元124的第一光源(图案照明)124a可包括印刷电路板900。

印刷电路板900可包括印刷电路板(PCB)或印刷布线板(PWB)。

印刷电路板900可设置有印刷(放置、安装)在其上并且能够传输电信号的电路。图1所示的至少一个组件可设置在印刷电路板900上，并且组件可被配置为发送和接收电信号。

第一光源124a可包括安装(布置、联接)在印刷电路板900上的子座(未示出)。

另外，与本公开有关的第一光源124a可包括安装在子座上并具有多个发光元件的管芯210。

子座可执行散热功能。具体地，子座可被配置为将设置在子座上的管芯210所生成的热(具体地，由于设置在管芯210上的多个发光元件的光发射而生成的热)消散。例如，子座可由散热材料制成，并且可被称为热沉。

管芯210可设置有多个发光元件。例如，多个发光元件中的每一个可以是激光二极管或VCSEL。

根据本公开的第一光源124a可包括焊盘，其插入到形成在子座中的孔中，以引线接合方式连接到管芯210，并且电连接到印刷电路板900，以使得管芯210和印刷电路板900通过子座电连接。

即，参照图4，根据本公开的第一光源124a可包括印刷电路板900、安装在印刷电路板900上的子座、安装在子座上并具有多个发光元件的管芯210以及插入到形成在子座中的孔中、以引线接合方式连接到管芯210并且电连接到印刷电路板900的焊盘，以使得管芯210和印刷电路板900通过子座电连接。

引线接合、孔和焊盘设置的数量可为多个。例如，孔和焊盘的数量可对应于管芯210上的引线接合的数量。

子座可设置有多个孔。形成在子座中的孔可穿过子座形成。在一个示例中，孔可包括通孔。

在各个孔中，可插入(放置、布置)焊盘。焊盘可由导电材料制成。焊盘可被称为接合焊盘。

焊盘可插入到穿过子座形成的孔中，以通过引线接合连接到管芯210。

焊盘可通过子座的孔插入，以电连接到印刷电路板900。

通过穿过子座形成的孔插入的焊盘可允许管芯210和印刷电路板900通过子座彼此电连接。

具体地，由于穿过子座插入的焊盘，设置在管芯210上的多个发光元件和印刷电路板900(设置在其上的电路)可通过子座电连接。

另外，子座的面积可大于管芯210的面积。这是为了管芯210和通过穿过子座形成的孔插入的焊盘之间的引线接合。

另一方面，如图4所示，根据本公开的第一光源124a可包括设置在印刷电路板900上以围绕(覆盖、包括、容纳)管芯210和子座的支架930。

支架930可形成为在管芯210和支架930之间具有内部空间。内部空间可优选处于没有空气的真空状态，但是可不处于真空状态。

支架930可形成为围绕(覆盖、包括、容纳)管芯210、子座、通过穿过子座形成的孔插入的焊盘以及连接管芯210和焊盘的引线接合。

支架930可用作壳体，因为支架930围绕管芯210、子座、引线接合、焊盘等。此外，支架930可被配置成单个壳体或多个壳体的组合。

此外，可在支架930和管芯210之间形成内部空间。

本公开的第一光源124a可包括设置在支架930和管芯210之间的内部空间中并通过支架930安装(布置)的衍射光学元件(DOE)220。DOE 220可位于多个发光元件的光轴方向上，以使得从管芯210的多个发光元件输出的光可穿过。

DOE 220可根据用户的设计选择性地设置或不设置。

另外，代替衍射光学元件，本公开的第一光源124a可使用折射光学元件(例如，光栅单元阵列(GCA)、反射镜/棱镜阵列、微透镜阵列、复眼透镜和双折射元件中的至少一个或者它们中的两个的组合)将从发光元件发射的光衍射或分裂成多个光束。

以下DOE的描述也可按照相同/相似的方式被推断并应用于使用折射光学元件的情况或者将DOE和折射光学元件组合的情况。

本公开的第一光源124a的支架930可设置有从设置在管芯210上的多个发光元件输出的光透射通过的透镜230a。即，透镜230a可安装(放置)在支架930中并且位于多个发光元件的光轴方向上，使得从多个发光元件发射的光(或穿过DOE 220的光)可透射通过。

从设置在管芯210上的多个发光元件输出的光可由DOE 220衍射(分裂或复制)，然后衍射(分裂或复制)的光可入射在透镜230a上并透射通过透镜230a以输出到外部空间。

支架930可设置有从设置在管芯210上的多个发光元件输出的光透射通过的透镜230a。透镜230a可包括微透镜阵列、反射透镜、准直透镜、光栅单元阵列(GCA)、反射镜/棱镜阵列、复眼透镜、双折射元件等中的至少一个。

透镜230可允许从多个发光元件210a、210b、210c和210d输出的光或已穿过DOE220的光透射通过。

设置在本公开的照明装置200中的透镜230可以是一般透镜230a或远心透镜。

图5是示出根据本公开的照明单元的控制方法的概念图。

控制器180可使用照明单元124和相机121来拍摄3D图像。

这里，拍摄3D图像应该被理解为包括提取深度信息、提取边缘信息和提取亮度信息的概念。

另外，控制器180可使用照明单元124和相机121来提取/决定/确定待拍摄对象的材料。

控制器180(或照明控制模块181)可独立地控制图案光源124a和面光源124b。

另外，控制器180可按预设方式控制图案光源200a和面光源200b，以便使用一个相机(例如，红外相机)提取高分辨率深度信息或对象的材料。

例如，控制器180可交替地打开第一光源(图案光源124a)和第二光源(面光源124b)。

如图5所示，当在第一时间(段)内打开第一光源(图案照明光)124a时，控制器180可关闭第二光源(均匀照明光、表面照明)124b，并且当在第一时间段之后在第二时间(段)内打开第二光源124b时，关闭第一光源124a。

控制器180可控制照明单元124，使得从图案光源124a照射的图案光和从面光源124b照射的表面光可针对相机121(或高分辨率传感器)接收(获取)图像的各个帧交替地输出。

例如，控制器180可控制面光源124b在图案光源124a发射光的同时不发射光，并且控制图案光源124a在面光源124b发射光的同时不发射光。

例如，控制器180可控制照明单元124，使得当相机121拍摄第一帧时第一光源124a发射光，并且当相机121在拍摄第一帧之后拍摄第二帧时第二光源124b发射光。

详细地，在拍摄第一帧的同时，图案光源124a可发射光(开)并且面光源124b可不发射光(关)。另一方面，在拍摄第二帧的同时，面光源124b可发射光并且图案光源124a可不发射光。

随后，当相机121在拍摄第二帧之后拍摄第三帧时，控制器180可控制图案光源124a再次发射光，并且当相机121在拍摄第三帧之后拍摄第四帧时，控制面光源124b发射光。

类似地，控制器180可控制面光源124b在拍摄第三帧的同时不发射光，并且控制图案光源124a在拍摄第四帧的同时不发射光。

另一方面，控制器180可控制图案光源124a在拍摄第一帧(第三帧)的至少部分时间(段)内发射光，并且控制面光源124b在拍摄第二帧(或第四帧)的至少部分时间内发射光。

例如，控制器180可控制照明单元124，使得图案光源124a或面光源124b在拍摄一帧的所有时间内发射光，或者图案光源124a和面光源124b中的任一个在预定时间(段)内不发射光。所述至少部分时间可指通过从拍摄一帧的总时间减去预定时间而获得的时间。

在用于拍摄一帧的时间期间图案光源200a和面光源200b二者在预定时间内不发射光的原因是为了使相机的孔径打开的时间与照明打开的时间同步，并且防止从面光源和图案光源发射的光束之间的干涉。

此后，控制器180可基于在交替地打开和关闭第一光源(图案光源)和第二光源(面光源)的同时通过相机121获取的图像之间的差异使用预设算法确定/提取/决定包括在图像中的对象的材料。

如上所述，本公开的移动终端可使用结构光和面光源提取与通过相机拍摄的图像有关的深度信息。

另外，本公开可提供一种移动终端，其包括被配置为区分(确定、识别)物体(即，要通过相机拍摄的对象)的材料的照明单元和相机。

为此，本公开可考虑从照明单元照射的照明(即，光或辅助光)的功率、波长、光束轮廓(光分布)等确定/提取/决定对象的材料，并且因此确定对象是真实物体还是虚假物体(例如，对象是否为打印的图片)。

识别物体有多个因素。颜色、尺寸、材料(或纹理)和形状可对应于这些因素。

另外，本公开的移动终端旨在除了现有相机的功能之外进一步提供确定材料的功能。

为此，本公开可将辅助光分成多段(或者组或单元)以使得照明单元在各个时间(段)内发射不同波长的照明光。

传感器(相机)可依次获取物体针对具有波长1、2、3和4的光束的反应。

由于物体(对象)的材料对光束的波长作出响应，所以可从对多个代表性波长的响应识别材料。

另外，本公开的移动终端可通过从照明单元照射特定波长的照明光(辅助光)从对特定波长的辅助光的功率的响应确定物体的材料。

即，本公开的移动终端采用通过在各个时间(段)内发射不同功率的辅助光并检查对辅助光的响应来识别(确定)材料的方法。

在另一方法中，本公开的移动终端可通过依次使用不同的辅助光束(即，均匀照明光和图案照明光)来识别(确定)对象的材料(或纹理)。

本公开的移动终端可从物体对(与)诸如LED的均匀光的响应(反应)获得纹理，从图案照明光获得光束轮廓(光学轮廓)，并且将所获得的纹理和光束轮廓组合，从而确定(提取、识别)物体的材料。

本公开的移动终端还可从单独的RGB相机使用深度学习和人工智能(AI)确定物体的材料。

本公开的移动终端可通过将上述方法中的至少两种组合来改进确定物体的材料的准确性。

包括应用了本公开的技术的深度相机(照明单元和相机)的移动终端可在表现出优于现有相机的深度性能(深度信息识别性能)的同时确定(提取或决定)对象的材料。因此，本公开的移动终端可增加最近出现的金融、安全和物体识别的可靠性。

返回参照图3，根据本公开的包括能够确定(提取或识别)材料的深度相机的移动终端可包括相机121、照明单元124(或辅助光单元)以及照明控制模块181(或控制单元)和深度/材料计算模块182(或计算单元)。

照明单元124(或辅助光单元)可包括均匀辅助光源(或第二光源)和图案辅助光源(或第一光源)。另选地，可不包括均匀辅助光源。

均匀辅助光源是发射均匀光的照明，并且可被配置成LED、LED+DOE、VCSEL(LD)+DOE等。

图案辅助光可被配置成VCSEL、照明透镜和/或DOE(可选)。

稍后将参照附图更详细地描述实现辅助光的方法。

相机单元(或相机121)可包括传感器(可被配置成传感器)，并且各个传感器可包括图像传感器、滤光器和透镜。相机单元可使用一个至四个传感器。

例如，相机单元的传感器可通过同时使用用于短波长的一般单色传感器和RGB传感器或者仅使用用于短波长的传感器或RGBIR传感器之一来配置。

传感器可被配置成一般传感器、具有高帧频的高速传感器、事件传感器等。

辅助光源(第一光源)可按多段提供。

在具有低帧频的一般传感器的情况下，可通过将图案投影在整个区域上在获得信息时延迟帧频。

因此，本公开的移动终端的相机可设置有具有几百fps(帧/秒)的帧频(高于一般传感器中配备的几十fps的帧频)的高速传感器或者识别每像素的信息的高速型事件传感器。

此外，在一般传感器的情况下，可提供全局快门传感器而非卷帘快门传感器。由此，本公开可不仅用于深度相机的应用，而且用于一般2D相机和IR相机的应用。

另外，由于可鉴于图案辅助光的使用获得深度信息以及材料信息，所以本发明在深度相机的应用中可为有利的。

另外，传感器通常可被配置成短波长单色传感器。

传感器的滤光器可位于传感器和透镜之间。可使用适合于均匀照明光和图案辅助光的波长的滤光器。

例如，如果均匀辅助光使用940nm的波长并且图案辅助光使用430nm至650nm范围内的波长，则传感器的滤光器可被配置成覆盖430nm至940nm的整个波长的宽带波长透射带通滤光器。

控制单元(控制器180)可执行照明控制、相机控制和照明相机控制。

可执行照明控制，以控制具有多段的辅助光源的各段依次打开/关闭。

当使用LED时，控制单元(控制器180)可控制LED均匀辅助光和图案辅助光依次打开/关闭，并且控制传感器接收这种光。作为均匀面光源的LED光可用于获得物体的形状、特征和2D原始图像。另一方面，作为图案和光点的光束轮廓(光分布)的图案辅助光可用于获得深度信息。

均匀辅助光和图案辅助光二者可用于获得材料信息。

可执行照明相机控制以使传感器曝光时间与照明的开/关时间同步。

可执行相机控制以控制AE等的自动曝光，并且在立体相机的情况下控制两个传感器之间的同步。

计算单元(深度/材料计算模块182)可基于光点(图案)的图案移位、尺寸、强度和分布以及2D原始图像的特征(特征点)中的至少一个使用从传感器获得的信号来获取材料和3D深度图像。

也可使用单独提供的RGB相机或使用RGBIR传感器来执行从RGB图像的图像合成。

参照图4，根据本公开的确定或提取材料的图案辅助光(第一光源)可包括VCSEL、DOE和透镜。

均匀辅助光(第二光源)可被配置成LED(或VCSEL)漫射器。

图4所示的第一光源可包括VCSEL(LED或LD)透镜、VCSEL(LED或LD)衍射元件(衍射元件是漫射器、DOE、微透镜阵列、光栅、HOE等)、VCSEL(LED或LD)透镜衍射元件和VCSEL(LED或LD)衍射元件透镜(透镜是折射透镜和反射镜/棱镜/二分镜等)。

用于确定对象的材料的辅助光可被配置成均匀辅助光(LED或LD)或/和图案辅助光(VCSEL或LD)。辅助光可按多个使用。辅助光可包括AF或/和孔径以及OIS致动器。

VCSEL可创建基本图案并创建光点。

VCSEL可通过创建透镜的视角来将图案投影在物体上。

衍射元件可通过复制VCSEL的基本图案来增加光图案的图案数量。

控制器180可考虑以下项来确定对象的材料。例如，控制器180可基于反射率来确定对象的材料。

为了基于反射率确定材料，有必要知道参考距离处的反射率。关于参考距离处的反射率的信息可预先存储在存储器中。

反射率(传感器的响应信号)可由以下因素决定。

-诸如照明光的波长、功率强度、频率等的照明光参数

-测量条件：距离、角度、环境光

-测量物体：材料(或纹理)、颜色、形状

-主动照明比不使用照明的被动方法更有利。(有必要知道照明(光)的量和波长。)

-还应该考虑反射率根据角度的改变。

-在面部的情况下，皮肤的反射率不同于瞳孔的反射率。

例如，有必要考虑基于特定对象(人类皮肤、瞳孔、头发和种族)的特性的数据。

另一方面，在各种环境中确定物体的材料并不容易。然而，在本公开中，材料可由对光束波长的相对不同的响应确定。

根据反射率的材料分类的示例如下。

-0％-25％：黑色系

-26％-50％：石头、砖瓦

-51％-75％：棉、皮肤

-76％-100％：玻璃、白色系

*将根据反射率的材料分类的示例应用于车辆，可获得以下结果。

-0％-40％：安全带

-40％-50％：面部、皮肤

-50％-70％：棉、座套

-60％-80％：座套

以下，将更详细地描述控制用于确定对象的材料的图案照明(第一照明)的方法。

图6、图7、图8、图9、图10、图11、图12、图13a、图13b、图14、图15、图16、图17、图18、图19、图20和图21是示出控制移动终端用来确定(识别)待拍摄对象的材料的照明的方法的概念图。

参照图6，第一光源124a可包括多个发光元件600a、600b、600c和600d、600。

多个发光元件600可被分组为多个组610-a、610-b、...、610-n。

组可指上述段。

各个组可包括相同数量的发光元件600a、600b、600c、600d(四个)。

控制器180可按预设方式控制包括在多个组610-a、610-b、…、610-n中的发光元件。

例如，如图6所示，控制器(控制单元)180可控制照明单元124，使得包括在多个组610-a、610-b、...、610-n中的每一个中的第一发光元件600a(例如，位于位置1x1的发光元件)和第二发光元件600b(例如，位于位置1x2的发光元件)输出不同波长的光束。

例如，控制器180可控制照明单元124，使得属于各个组的第一发光元件600a、第二发光元件600b、第三发光元件600c和第四发光元件600d分别照射第一波长、第二波长、第三波长和第四波长的照明光。

参照图6，控制器180可将用于确定(提取)材料的发光元件分组为n段(组)，并且可控制相应n段以时间差依次投影光。

此时，各段(组)可投影不同波长的光。

控制器180可利用各个材料针对波长表现出不同反射率的事实来确定对象的材料。

控制器180可通过控制段1至4以顺序方式向特定物体/材料(对象)投影(照射、发射)光来根据针对各个区域/材料的响应确定材料。

控制器180还可通过检查仅段1至4之一的响应或段1至4的多个响应来确定材料。

另外，控制器180可基于RGB或IR原始图像使用AI算法/数据来确定表现出相似的反射/散射响应但由不同材料制成的物体的材料。

在本公开的移动终端中，可随机设定段(组)的数量和功率调节步骤的数量。

多个发光元件可被布置成随机图案以及如图6所示的规则图案。

各个段(组)可具有矩形形状以外的任意形状。

段(组)可具有彼此独立或彼此交叉的区域。

本文中所描述的各个示例可独立地使用，还有一些示例可组合使用。

在图6中，仅描述了VCSEL结构，但DOE和透镜可被放置在VCSEL上以一起构建辅助照明。

如图7所示，控制器180可将多个组610-a、610-b、...、610-n分组为多个单元900a、900b、900c和900d。

这里，单元可指上述段或那些组被再次分组的中等组(或大组)。

控制器180可控制照明单元124针对各个单元发射光而没有时间交叠。

多个单元900a、900b、900c和900d可包括相同数量的组。

控制器180可控制照明单元124，使得多个单元之一(例如，900a)被打开，同时包括在其它单元900b、900c和900d中的发光元件不发射光。

即，控制器180可控制照明单元，使得多个单元以时间差照射光，而非控制整个发光元件。

在控制多个单元当中的第一单元900a的情况下，如图7所示，控制器180可控制照明单元，使得包括在第一单元900a中的多个组中的每一个中所包括的第一发光元件和第二发光元件输出不同波长的光束。

此外，在第一发光元件发射光的同时，第二至第四发光元件可不发射光，此后，第二发光元件、第三发光元件和第四发光元件可依次发射光。

作为另一示例，在图6的情况下，波长1至4可针对整个区域(而没有段)交替地打开/关闭。另一方面，在图7的情况下，各自输出波长1至4的组可被分组为单元(段)1至4，其然后可针对各个波长交替地打开/关闭。

因此，控制器180可控制那些段，使得波长1的单元(段)1至4依次打开，第二波长2的单元1至4依次打开，第三波长3的单元1至4依次打开，然后第四波长4的单元1至4依次打开。

由于整个区域被分成段(单元)，所以可针对各个区域/波长执行照明控制并且可确定(提取、检测、识别)特定区域的材料。

如图8所示，控制器180可控制照明单元，使得包括在多个组610-a、610-b、…、610-n中的第一发光元件600a和第二发光元件600b分别发射不同功率的光。

例如，控制器180可控制照明单元，使得包括在多个组中的第一发光元件600a分别针对低反射材料输出第一功率的光，第二发光元件600b针对中等反射材料(26％至50％)输出第二功率的光，第三发光元件600c针对另一中等反射材料(51％至70％)输出第三功率的光，第四发光元件600d针对高反射材料(76％至100％)输出第四功率的光。

在这种情况下，控制器180可按照第一至第四发光元件输出光而没有时间交叠的方式来控制第一至第四发光元件依次发射光。

另外，控制器180可控制相机在第一发光元件输出光的同时拍摄第一帧，在第二发光元件输出光的同时拍摄第二帧，在第三发光元件输出光的同时拍摄第三帧，在第四发光元件输出光的同时拍摄第四帧。

即，控制器180可通过控制各自具有不同光功率强度的组来确定对象的材料。

控制器180可利用针对各个材料的反射/散射差异来确定对象的材料。

控制器180可通过控制第一至第四发光元件以顺序方式向特定物体/材料投影(照射、发射)来根据针对各个区域/材料的响应确定材料。

控制器180可通过检查仅第一至第四发光元件中的每一个的第一发光元件之一的响应或第一至第四发光元件的多个响应来确定材料。

图8示出第一至第四发光元件基于功率以分割方式向整个区域发射光的示例。

可随机设定包括在各个组中的发光元件的数量和功率调节步骤的数量。

类似地，如图9所示，控制器180可将多个组分组为多个单元900a、900b、900c和900d，并且控制发光元件针对各个单元发射光而没有时间交叠。

在图9的情况下，控制器180可按照如图8所示控制照明单元的方式针对各个单元900a、900b、900c和900d控制发光元件，使得第一至第四发光元件在不同的时间段内输出不同功率的光。

作为另一示例，在图8的情况下，波长1至4可针对整个区域(而没有段)交替地打开/关闭。另一方面，在图9的情况下，各自输出波长1至4的组可被分组为单元(段)1至4，其然后可针对各个波长交替地打开/关闭。

因此，控制器180可控制那些段，使得功率1的单元(段)1至4依次打开，功率2的单元1至4依次打开，功率3的单元1至4依次打开，然后功率4的单元1至4依次打开。

此外，如图10所示，控制器180可控制所有多个发光元件600随时间以不同的功率发射光。

例如，如图10的(a)所示，控制器180可控制所有多个发光元件在第一时间(段)内发射第一功率的光。如图10的(b)所示，控制器180可控制所有多个发光元件在第一时间段逝去之后在第二时间段内以不同于第一功率的第二功率发射光。

例如，如图10的(a)至(d)所示，控制器180可控制照明单元124，使得整个发光元件随着时间逝去逐渐输出更弱功率的光。

控制器180可在依次改变功率的同时将光投影在物体的整个区域上。

与示出具有四个物理上不同类型的光学功率不同的发射器的结构的图6不同，控制器180可通过控制驱动器改变输入来调节整个区域上的功率。因此，整个区域可仅使用一种类型的发射器。

控制器180可针对各个时间(段)控制功率。可随机设定功率调节步骤的数量。不仅规则图案，而且随机图案可为可用的。

如图11所示，控制器180可将多个发光元件分组为多个单元900a、900b、900c和900d，并且控制照明单元124基于时间针对各个单元以不同的功率发射光。

例如，如图11的(a)所示，按照在第一顺序光发射期间输出第一功率的光，在第二顺序光发射期间输出第二功率的光，在第三顺序光发射期间输出第三功率的光，并且在第四顺序光发射期间输出第四功率的光的方式，控制器180可控制照明单元针对多个单元(段)900a、900b、900c、900d中的每一个依次输出光。

与图10所示的结构的不同之处在于，整个区域被分成4段(单元)。同样，控制器180可通过改变输入来调节各个段(单元)的功率。可随机调节段(单元)的数量。

另一方面，如图12所示，控制器180可控制照明单元，使得包括在多个组610-a、610-b、…、610-n中的第一发光元件600a和第二发光元件600b分别以不同的光束轮廓(光分布)发射光。

例如，从图13a的(a)所示的第一发光元件输出的高斯光束和从如图13a的(b)所示的第二发光元件(或第三发光元件)输出的环状光束的光束轮廓(光分布)可不同。

控制器180可控制照明单元，使得包括在多个组中的第一发光元件输出具有第一光束轮廓的光(例如，高斯光束)，包括在多个组中的第二发光元件输出具有第二光束轮廓的光(例如，环状光束)。

如图13b的(a)至(d)所示，光束轮廓可根据材料的类型而不同，并且控制器180可基于通过相机(传感器)拍摄的图像中所包括的光束轮廓来确定/决定对象的材料。

控制器180可使用根据入射在材料上的光束的光束轮廓的不同响应来确定对象的材料。

控制器180可基于在传感器中接收针对各个材料反射的光的光点的光束轮廓来检查材料/距离。

控制器180可依次将具有不同光束轮廓的光束1至4(从第一至第四发光元件输出的光)照射到物体上，并且相应地获取照明信息。

图12至图13b示例性地示出光束1至4(从第一至第四发光元件输出的光)分别是高斯光束1、高斯光束2、环状光束1和环状光束2。可选择其它类型的光束。

控制器180可通过检查仅光束1至4之一的响应或光束1至4的多个响应来确定材料。

此外，控制器180可控制照明单元124以使得包括在多个组中的每一个中的第一发光元件和第二发光元件发射具有不同图案的光。

例如，如图15的(a)所示，控制器180可控制第一发光元件向对象输出第一图案(十字图案)的光，此后，控制第二发光元件向对象输出第二图案(点图案)的光。

类似地，控制器180可控制第一至第四发光元件依次发射光而没有时间交叠。

上述光束轮廓和图案的形状可彼此不同。

例如，即使具有相同的图案(圆形/椭圆形图案)，在中心和外围也可形成具有光强差异的光束轮廓。

控制器180可通过使用根据材料的特定图案的响应差异(照明信息)来确定对象的材料。

控制器180可依次将图案1至4的光照射到物体上并相应地检查响应。

-可通过检查仅图案1至4之一的响应或图案1至4的多个响应来确定材料。

已给出使用确定整个区域的功率的示例，但本公开不限于此，使用对整个区域进行分段并确定各个分段区域的功率的示例也是可以的。

控制器180可基于RGB或IR原始图像使用AI算法/数据确定表现出相似反射/散射响应但由不同材料制成的物体的材料。

另一方面，如图16所示，控制器180还可控制照明单元，使得包括在多个组中的第一发光元件和第二发光元件以不同尺寸的光点照射相同图案的光。

例如，如图17的(a)所示，控制器180可控制照明单元，使得第一发光元件以具有第一尺寸的光点发射相同图案的光。另一方面，如图17的(b)所示，控制器180可控制照明单元，使得第二发光元件以具有第二尺寸的光点发射相同图案的光。

控制器180可在对象上投影具有相同圆形形状和不同直径(尺寸)的图案。例如，图案被分类为圆形图案1(大)、圆形图案2(大-中)、圆形图案3(中)和圆形图案4(小)。也可在VCSEL本身中生成具有不同尺寸的光。

这样，控制器180可控制照明单元向对象照射不同波长、不同功率、不同光束轮廓、不同尺寸的光点或不同图案的光，并且基于与从对象反射并被传感器(相机)接收的照明(或光)有关的信息来确定对象的材料。

此外，如图18所示，第一光源124a可包括被配置为照射不同图案的光的照明透镜1800。

本公开的移动终端可通过使用照明单元的透镜1800(或/和衍射元件)来调节投影到物体上的光图案的尺寸。被动光学元件可通过将衍射元件(微透镜阵列或DOE)与透镜组合来配置，或者可独立地配置。被动光学元件可被配置为根据距离/材料不同地调节投影在物体上(到达物体)的点的尺寸。

如图19所示，第一光源124a可包括被配置为照射不同图案的光的可变孔径1900。

在本公开的移动终端中，可提供可变孔径1900以按照打开/关闭的方式变化图案的尺寸并将图案照射在物体上。尽管从VCSEL发射具有相同尺寸的光，但是可通过打开和关闭孔径并检查材料的响应(照明信息)来调节整个区域的光图案的尺寸。

控制器180可通过不同的孔径值打开或关闭孔径以调节图案的尺寸。根据此方法，整个图案的尺寸可同时减小或增大。

因此，投影到位于相同距离处的物体上的图案的尺寸相似，但是到达传感器的点的尺寸/光束轮廓可根据材料而不同。

控制器180可通过使用特定材料对特定图案尺寸具有最佳响应的事实来控制可变孔径以形成特定图案尺寸。

如图20的(a)至(c)所示，通过变化可变孔径的光通过面积(孔径值)的大小，控制器180可获得根据材料具有不同反射率的照明信息。因此，控制器180可基于照明信息来确定对象的材料。

另外，如图21所示，第一光源124a可包括被配置为照射不同图案的光的衍射光学元件(DOE)2100。

本公开的第一光源124a可使用DOE复制输入光点，并且使用复制的光点之间的相干性通过传感器(相机)感测由于光点和材料之间的干涉而生成的干涉图案。

在VCSEL光源的情况下，从多个发射器投影具有不同相干性的光束。由于来自各个发射器的光具有其自己的相干性，所以当对材料作出响应时可生成干涉图案。

控制器180可通过使用DOE复制穿过相同单个孔径的光点以生成多个光点图案，将所生成的光点投影在材料上，并且使用传感器获取反射/散射的光束的光学图案来检测材料。

例如，DOE可位于VCSEL和透镜之间或透镜的前表面上。第一光源124a可仅设置有VCSEL和DOE而没有透镜。

另外，如图5中所描述的，本公开的移动终端可控制均匀照明光和图案辅助光交替地打开/关闭而没有交叠。

图案化照明光可以是照射在物体的表面上的检查光，并且可实现均匀照明光以从对应波长获取与物体有关的纹理信息。

此时，可存在三种或更多种类型的信息用于确定材料。

首先，可从在均匀照明光的操作期间获得的信息获取与物体本身有关的纹理信息。

其次，图案照明光可基于称为检查光的光束轮廓信息(输入光)来确定材料。(图案因材料改变)

第三，由于透镜遮光而导致的传感器的中心和外围之间的亮度差异可通过使用分别经由均匀照明光和图案辅助光的发射而获取的不同图像来去除，从而更鲁棒地确定材料。

本公开可提供一种能够通过使用照明来确定待拍摄对象的材料的新的移动终端。

本公开可提供一种能够通过变化照明的图案以优化的方式来确定待拍摄对象的材料的新的控制方法。

本公开可被实现为程序记录介质中的计算机可读代码。计算机可读介质可包括各自存储可由计算机系统读取的数据的所有类型的记录装置。这些计算机可读介质的示例可包括硬盘驱动器(HDD)、固态盘(SSD)、硅磁盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储元件等。另外，计算机可读介质还可被实现为载波的格式(例如，经由互联网的传输)。计算机可包括终端的控制器180。因此，还应该理解，除非另外指明，否则上述实施方式不受以上描述的任何细节限制，而是应该在所附权利要求书中限定的范围内广义地解释。因此，落入权利要求的范围或者这些范围的等同范围内的所有改变和修改因此旨在被所附权利要求涵盖。

Claims (20)

1.一种移动终端，该移动终端包括：

照明单元；

相机；以及

控制器，该控制器被配置为控制所述照明单元在要通过所述相机拍摄的对象上照射照明光，并且控制所述相机拍摄照射有所述照明光的所述对象，

其中，所述控制器被配置为基于与照射在通过所述相机拍摄的所述对象上的所述照明光有关的信息来确定所述对象的材料。

2.根据权利要求1所述的移动终端，其中，所述照明单元包括：

第一光源，该第一光源被配置为照射图案光；以及

第二光源，该第二光源被配置为照射均匀光。

3.根据权利要求2所述的移动终端，其中，所述控制器交替地打开所述第一光源和所述第二光源。

4.根据权利要求3所述的移动终端，其中，当在第一时间段内打开所述第一光源时，所述控制器关闭所述第二光源，并且

当在所述第一时间段逝去之后在第二时间段内打开所述第二光源时，所述控制器关闭所述第一光源。

5.根据权利要求2所述的移动终端，其中，所述第一光源包括多个发光元件，

其中，所述多个发光元件被分组为多个组，并且

其中，所述多个组中的每一个包括相同数量的发光元件。

6.根据权利要求5所述的移动终端，其中，所述控制器以预设方式控制包括在所述多个组中的所述发光元件。

7.根据权利要求6所述的移动终端，其中，所述控制器控制所述照明单元，使得包括在所述多个组中的每一个中的第一发光元件和第二发光元件输出不同波长的光。

8.根据权利要求6所述的移动终端，其中，所述控制器将所述多个组分组为多个单元，并且

所述控制器控制所述照明单元针对各个单元发射光而没有交叠。

9.根据权利要求8所述的移动终端，其中，所述多个单元中的每一个包括相同数量的组，并且

其中，在控制所述多个单元中的一个的同时，所述控制器控制所述照明单元，使得包括在剩余单元中的所述发光元件不发射光。

10.根据权利要求6所述的移动终端，其中，所述控制器控制所述照明单元，使得包括在所述多个组中的每一个中的第一发光元件和第二发光元件以不同功率输出光。

11.根据权利要求5所述的移动终端，其中，所述控制器控制全部所述多个发光元件基于时间以不同功率发射光。

12.根据权利要求11所述的移动终端，其中，所述控制器控制全部所述多个发光元件在第一时间段内以第一功率发射光，并且

在所述第一时间段逝去之后，所述控制器控制全部所述多个发光元件在第二时间段内以不同于所述第一功率的第二功率发射光。

13.根据权利要求5所述的移动终端，其中，所述控制器将所述多个发光元件分组为多个单元，并且

所述控制器控制所述照明单元针对所述多个单元中的每一个基于时间以不同功率发射光。

14.根据权利要求6所述的移动终端，其中，所述控制器控制所述照明单元，使得包括在所述多个组中的每一个中的第一发光元件和第二发光元件以不同光束轮廓输出光。

15.根据权利要求6所述的移动终端，其中，所述控制器控制所述照明单元，使得包括在所述多个组中的每一个中的第一发光元件和第二发光元件以不同图案输出光。

16.根据权利要求6所述的移动终端，其中，所述控制器控制所述照明单元，使得包括在所述多个组中的每一个中的第一发光元件和第二发光元件以不同尺寸的光点照射相同图案的光。

17.根据权利要求2所述的移动终端，其中，所述第一光源包括被配置为照射不同图案的光的照明透镜。

18.根据权利要求2所述的移动终端，其中，所述第一光源包括被配置为照射不同图案的光的可变孔径。

19.根据权利要求2所述的移动终端，其中，所述第一光源包括被配置为照射不同图案的光的衍射光学元件。

20.一种用于控制移动终端的方法，该方法包括以下步骤：

控制照明单元向要通过相机拍摄的对象照射照明光；

控制相机拍摄照射有所述照明光的所述对象；以及

基于与照射到通过所述相机拍摄的所述对象的所述照明光有关的信息来确定所述对象的材料。

Images