CN104702933A - 数字装置及其处理三维图像的方法 - Google Patents

数字装置及其处理三维图像的方法 Download PDF

Info

Publication number
CN104702933A
CN104702933A CN201410645866.8A CN201410645866A CN104702933A CN 104702933 A CN104702933 A CN 104702933A CN 201410645866 A CN201410645866 A CN 201410645866A CN 104702933 A CN104702933 A CN 104702933A
Authority
CN
China
Prior art keywords
image information
unit
resolution
light
sensing cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410645866.8A
Other languages
English (en)
Other versions
CN104702933B (zh
Inventor
姜轸远
申允燮
权宁满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140146171A external-priority patent/KR102224489B1/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104702933A publication Critical patent/CN104702933A/zh
Application granted granted Critical
Publication of CN104702933B publication Critical patent/CN104702933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Abstract

数字装置及其处理三维图像的方法。本发明涉及一种能够获得彩色图像和深度图像二者的数字装置以及利用该数字装置处理三维图像的方法。该方法可包括以下步骤：将光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率；从规定对象感测可见光和红外光；在第一时间期间从光接收单元的第一感测单元所感测的可见光提取彩色图像信息；在第二时间期间从光接收单元的第二感测单元所感测的红外光提取深度图像信息；确定对象的彩色图像信息和深度图像信息二者的提取是否完成；以及如果对象的彩色图像信息的提取和深度图像信息的提取完成，则基于所提取的彩色图像信息和深度图像信息实现对象的3D图像。

Description

数字装置及其处理三维图像的方法
技术领域
本发明涉及处理三维图像的数字装置，更具体地讲，涉及一种能够拍摄彩色图像和深度图像二者的数字装置以及使用该数字装置处理三维图像的方法。
背景技术
通常，处理3维图像的数字装置可包括被配置为拍摄彩色图像的彩色相机以及被配置为拍摄深度图像的深度相机。
在这种情况下，彩色相机对应于配备有CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的相机。彩色相机可通过感测从接收太阳光或闪光的对象反射的可见光来拍摄对象的二维彩色图像。
深度相机可通过用诸如激光束、红外光等的光照射对象并获得从对象反射的光来拍摄对象的深度图像。
在这种情况下，深度可指示从深度相机至对象的距离。
此后，可利用所拍摄的二维彩色图像和深度图像获得对象的三维图像。
然而，由于处理三维图像的数字装置应该分别驱动被配置为拍摄彩色图像的彩色相机以及被配置为拍摄深度图像的深度相机，所以数字装置的配置可能复杂，图像处理时间可能花费较长时间并且总成本也可能增加。
因此，未来需要一种能够拍摄彩色图像和深度图像二者的处理三维图像的数字装置。
发明内容
因此，本发明致力于一种基本上避免了由现有技术的局限和缺点引起的一个或更多个问题的设备及其方法。
本发明的一个实施方式计划的一个技术任务在于提供一种使用能够拍摄彩色图像和深度图像二者的光接收单元的简单结构的数字装置以及使用该数字装置处理三维图像的方法。
本发明的一个实施方式计划的另一技术任务在于提供一种能够通过增加红外光的曝光时间来改进深度图像的对比度的数字装置以及使用该数字装置处理三维图像的方法，其中，通过将光接收单元的分辨率从第一分辨率转换为比第一分辨率低的第二分辨率来增加红外光的曝光时间。
本发明的另外的优点、目的和特征将部分地在以下描述中阐述，并且部分地将在本领域普通技术人员研究以下描述时变得明显，或者可通过本发明的实践而了解。本发明的目的和其它优点可通过所撰写的说明书及其权利要求书以及附图中具体指出的结构来实现和获得。
为了实现这些目的和其它优点并且依据本发明的目的，如本文具体实现并广义描述的，根据一个实施方式，一种数字装置处理三维图像的方法包括以下步骤：将光接收单元的分辨率从第一分辨率切换为比所述第一分辨率低的第二分辨率；从规定对象感测可见光和红外光；在第一时间期间从所述光接收单元的第一感测单元所感测的可见光提取彩色图像信息；在第二时间期间从所述光接收单元的第二感测单元所感测的红外光提取深度图像信息；确定所述对象的所述彩色图像信息和所述深度图像信息二者的提取是否完成；以及如果所述对象的所述彩色图像信息的提取和所述深度图像信息的提取完成，则基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像。
为了进一步实现这些目的和其它优点并且依据本发明的目的，如本文具体实现并广义描述的，根据一个实施方式，一种数字装置可包括：接收单元，其被配置为接收2维(2D)或3维(3D)图像模式请求信号；光接收单元，其被配置为包括从规定对象感测与光谱的可见区域对应的可见光的第一感测单元以及感测与光谱的红外区域对应的红外光的第二感测单元；图像处理单元，其被配置为在第一时间期间从所述第一感测单元提取彩色图像信息并且在第二时间期间从所述第二感测单元提取深度图像信息；3D图像实现单元，其被配置为基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像；以及控制单元，如果接收到所述3D图像模式请求信号，则所述控制单元被配置为检查所述光接收单元的分辨率模式，如果所述光接收单元的分辨率对应于第一分辨率，则所述控制单元被配置为将所述光接收单元的分辨率从所述第一分辨率切换为比所述第一分辨率低的第二分辨率，所述控制单元被配置为控制所述光接收单元、所述图像处理单元和所述3D图像实现单元。
根据本发明的一个实施方式，由于可利用包括被配置为感测可见光的第一感测单元和被配置为感测红外光的第二感测单元的光接收单元同时处理彩色图像和深度图像二者，所以数字装置可简单地配置，并且三维图像处理时间和总成本可降低。
根据本发明的一个实施方式，可通过按照增加在彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的红外光的曝光时间的方式增强深度图像的灵敏度和对比度来改进三维图像的深度，其中，通过将光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率来增加红外光的曝光时间。
应该理解，对本发明的以上总体描述和以下详细描述均是示例性和说明性的，旨在提供对要求保护的本发明的进一步说明。
附图说明
附图被包括以提供对本发明的进一步理解，并且被并入本申请并构成本申请的一部分，附图示出本发明的实施方式并与说明书一起用于说明本发明的原理。附图中：
图1是说明根据本发明的一个实施方式的数字装置的框图；
图2是说明根据本发明的不同实施方式的数字装置的框图；
图3是根据本发明的数字装置的三维图像处理装置的框图；
图4a至图4b是根据图3所示的光接收单元的贝尔图案(bayer pattern)的示图；
图5a至图5b是光接收单元的单元像素的第一实施方式的示图；
图6是光接收单元的单元像素的第二实施方式的示图；
图7a至图7b是光接收单元的单元像素的第三实施方式的示图；
图8是光接收单元的单元像素的第四实施方式的示图；
图9a至图9b是光接收单元的单元像素的第五实施方式的示图；
图10是光接收单元的单元像素的第六实施方式的示图；
图11是图3的图像处理单元的框图；
图12是图11的第一图像处理单元的框图；
图13是图11的第二图像处理单元的框图；
图14是图11的第二图像处理单元的不同实施方式的框图；
图15是图14的第一深度图像信息提取单元的框图；
图16和图17是根据本发明的数字装置处理三维图像的方法的流程图；
图18至图23是说明根据本发明的数字装置的三维图像处理过程的示意图；
图24是根据时间的光发射单元的开/关的示图；
图25是根据时间的图像处理单元的图像信息处理的示图；
图26是图16的提取彩色图像信息的方法的详细流程图；
图27是图16的提取深度图像信息的方法的详细流程图；
图28是第一深度图像信息和第二深度图像信息未结合的贝尔图案的示图；
图29是由光接收单元感测的红外光的分布的示图；
图30是第一深度图像信息和第二深度图像信息结合的贝尔图案的示图；
图31是图16的提取第二深度图像信息的方法的详细流程图；
图32是示出第一感测单元和第二感测单元的灵敏度特性的曲线图；
图33和图34是根据第一深度图像信息和第二深度图像信息是否结合来将深度图像的对比度彼此比较的示图。
具体实施方式
现在将参照附图根据本文公开的示例性实施方式给出详细描述。为了参照附图简要描述，可向相同或等同的组件提供相同或相似的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文中使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给出任何特殊含义或功能。在本公开中，为了简明，本领域普通技术人员熟知的内容通常被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文所呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的形式以外的任何更改形式、等同形式和替代形式。
在以下描述中，参照附图说明根据本发明的各种实施方式。
图1是根据本发明的实施方式的数字接收器的示意图。
数字接收器200可包括网络接口201、TCP/IP管理器202、服务传送管理器203、SI(系统信息、服务信息或信令信息)解码器204、解复用器205、音频解码器206、视频解码器207、显示A/V和OSD(屏幕显示)模块208、服务控制管理器209、服务发现管理器210、SI和元数据数据库(DB)211、元数据管理器212、应用管理器等。
网络接口201可通过网络接收或发送包括服务数据的IP分组。换言之，网络接口201可通过网络从与其连接的服务器接收包括用于SNS的文本数据、图像数据、音频数据和视频数据以及服务和应用中的至少一个的IP分组。
TCP/IP管理器202可参与发送给数字接收器200的IP分组和从数字接收器200发送来的IP分组的传送，即，源与目的地之间的分组传送。TCP/IP管理器202可根据适当协议将接收的分组分类，并将分类的分组输出给服务传送管理器205、服务发现管理器210、服务控制管理器209和元数据管理器212。
服务传送管理器203可控制服务数据的分类和处理。服务传送管理器203可例如利用实时协议/实时控制协议(RTP/RTCP)控制实时流数据。换言之，在服务管理器213的控制下，服务传送管理器203可根据RTP解析基于RTP发送的实时流数据分组，并将解析的数据分组发送给解复用器205或者将解析的数据分组存储在SI和元数据DB 211中。服务传送管理器203可基于RTP将网络接收信息反馈给服务器。
解复用器205可通过分组标识符(PID)过滤来从接收的分组解复用音频数据、视频数据、SI，并将解复用的数据发送给对应处理器，即，音频/视频解码器206/207和SI解码器204。
SI解码器204可解析和/或解码诸如节目特定信息(PSI)、节目和系统信息协议(PSIP)、数字视频广播-服务信息(DVB-SI)等的SI数据。
SI解码器204可将解析和/或解码的SI数据存储在SI和元数据DB 211中。存储在SI和元数据DB 211中的SI数据可被需要SI数据的组件读取或提取并使用。还可从SI和元数据DB 211读取EPG数据。这将在下面详细描述。
音频解码器206和视频解码器207分别可对由解复用器205解复用的音频数据和视频数据进行解码。解码的音频数据和视频数据可通过显示单元208提供给用户。
应用管理器可包括服务管理器213和用户接口(UI)管理器214，管理数字接收器200的总体状态，提供UI，并管理其它管理器。
UI管理器214可接收来自用户的键输入，并通过OSD提供与键输入所对应的接收器操作有关的图形用户界面(GUI)。
服务管理器213可控制并管理诸如服务传送管理器203、服务发现管理器210、服务控制管理器209和元数据管理器212的服务相关管理器。
服务管理器213可配置信道映射并使得能够基于该信道映射应用户的请求进行信道控制。
服务管理器213可从SI解码器204接收与信道对应的服务信息，并将选择的信道的音频/视频PID设定给解复用器205以控制解复用器205的解复用程序。
当用户请求SNS时，应用管理器可配置OSD图像或者控制OSD图像的配置，以在屏幕的预定区域上提供用于SNS的窗口。应用管理器可配置OSD图像或者控制OSD图像的配置，使得可考虑其它服务(例如，广播服务)来应用户的请求确定并提供SNS窗口。换言之，当数字接收器200可通过屏幕上的图像提供服务(例如，SNS)时，数字接收器200可配置该图像，使得可考虑与其它服务的关系、优先级等适当地应对请求。
应用管理器可从相关外部服务器(例如，SNS提供服务器或者制造商提供的服务器)接收用于SNS的数据并将接收的数据存储在存储器中，使得应用户的请求使用所述数据来配置OSD以提供SNS，并且可通过屏幕的预定区域提供SNS。另外，数字接收器200可按照类似方式将在服务期间由用户输入的与服务有关的数据存储在存储器中，使得使用所述数据来配置服务，并且如果需要，将所述数据处理成另一数字接收器所需的形式并将所处理的数据发送给所述另一数字接收器或相关服务服务器。
另外，当用户在使用SNS的同时做出请求时，应用管理器、控制器或数字接收器可控制执行与用户的请求对应的信息或动作。例如，当用户在使用SNS的同时选择另一用户的输入数据或者与该输入数据对应的区域时，应用管理器、控制器或数字接收器可控制执行用于处理所选择的数据或区域的第一处理和/或第二处理，并控制以适当形式输出第一结果和/或第二结果。第一结果和/或第二结果可包括信息、动作、相关UI等，并且按照诸如文本、图像、音频/视频数据等的各种形式来配置。第一结果和/或第二结果可手动地或者由数字接收器自动地提供并执行。
当用户通过拖放将第一结果(例如，图像数据)移至广播节目或广播服务输出区域时，数字接收器可利用电子节目指南(EPG)或电子服务指南(ESG)(以下称作“广播指南”)(即，搜索引擎)对与第一结果有关的数据执行第二处理(例如，搜索处理)，以提供第二结果。这里，第二结果可按照与用作搜索引擎的广播指南类似的形式提供，或者作为单独配置的UI提供。当以广播指南的形式提供第二结果时，可利用第二结果提供其它数据。在这种情况下，第二结果可按照与其它数据相区分的方式配置，以使得用户能够容易地识别出第二数据。为了将第二结果与其它数据相区分，第二结果可被高亮、加阴影线并以3维(3D)形式提供。
在执行第二处理时，数字接收器可基于第一结果的位置变化自动确定第二处理的类型以及是否执行第二处理。在这种情况下，屏幕的坐标信息可用于确定第一结果的位置是否改变或者用于关于第二处理与第一结果之间的改变的位置的信息。例如，当服务和/或OSD可显示在屏幕上时，数字接收器可确定并存储关于所显示的服务和/或OSD的坐标信息。因此，数字接收器可预先知道关于提供给屏幕的服务和数据的坐标信息，因此可基于该坐标信息识别第一结果的位置(信息)的变化，并且基于第一结果的位置执行第二处理。
服务发现管理器210可提供选择提供服务的服务提供商所需的信息。在从服务管理器213接收到选择信道的信号时，服务发现管理器210基于接收的信号来发现服务。
服务控制管理器209可选择并控制服务。例如，服务控制管理器209可在用户选择直播服务时利用IGMP(互联网组管理协议)或实时流协议(RTSP)，在用户选择视频点播(VOD)服务时利用RTSP，来执行服务选择和控制。
说明书中描述的方案或协议是为了说明方便而举例说明的，以帮助理解本发明，本发明的范围不限于此。因此，可考虑与所举例说明的条件不同的条件来确定方案或协议，并且可使用其它方案或协议。
元数据管理器212可管理关于服务的元数据，并将元数据存储在SI和元数据DB211中。
SI和元数据DB 211可存储由SI解码器204解码的SI数据、由元数据管理器212管理的元数据以及由服务发现管理器210提供的选择服务提供商所需的信息。另外，SI和元数据DB 211可存储系统设置数据。
IMS(IP多媒体子系统)网关250可包括访问基于IMS的IPTV服务所需的功能。
图2是依据本发明的实施方式的移动终端的框图。参照图2，移动终端300包括无线通信单元310、A/V(音频/视频)输入单元320、用户输入单元330、感测单元340、输出单元350、存储器360、接口单元370、控制器380和电源单元390。图2示出移动终端300具有各种组件，但是应该理解，并非要求实现所有示出的组件。可根据各种实施方式实现更多或更少的组件。
无线通信单元310通常包括允许移动终端300与无线通信系统或移动终端300所在的网络之间的无线通信的一个或更多个组件。例如，无线通信单元310可包括广播接收模块311、移动通信模块312、无线互联网模块313、短距离通信模块314和定位模块315。
广播接收模块311经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可包括卫星信道和地面信道。移动终端300中可设置至少两个广播接收模块311以方便至少两个广播信道的同时接收或广播信道切换。
广播管理服务器通常是生成并发送广播信号和/或广播相关信息的服务器，或者是被提供有先前生成的广播信号和/或广播相关信息，然后将所提供的信号或信息发送给终端的服务器。广播信号可被实现为TV广播信号、无线电广播信号和/或数据广播信号，以及其它信号。如果需要，广播信号还可包括与TV或无线电广播信号结合的广播信号。
广播相关信息包括与广播信道、广播节目或广播服务提供商相关的信息。另外，广播相关信息可经由移动通信网络来提供。在这种情况下，广播相关信息可通过移动通信模块312来接收。
广播相关信息可按照各种形式实现。例如，广播相关信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)以及手持数字视频广播(DVB-H)的电子服务指南(ESG)。
广播接收模块311可被配置为接收从各种类型的广播系统发送来的广播信号。作为非限制性示例，这些广播系统可包括地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、手持数字视频广播(DVB-H)、广播和移动服务融合的数字视频广播(DVB-CBMS)、开放移动联盟广播(OMA-BCAST)、称为仅媒体前向链路(MediaFLOTM)的数据广播系统以及地面综合业务数字广播(ISDB-T)。可选地，广播接收模块311可被配置为除了上述数字广播系统之外还适用于其它广播系统。
通过广播接收模块311接收的广播信号和/或广播相关信息可存储在诸如存储器360的合适的装置中。
移动通信模块312经由诸如GSM(全球移动通信系统)、CDMA(码分多址)或WCDMA(宽带CDMA)的移动网络，向一个或更多个网络实体(例如，基站、外部终端和/或服务器)发送无线信号/从其接收无线信号。这些无线信号可承载音频、视频以及根据文本/多媒体消息的数据。
无线互联网模块313支持移动终端300的互联网接入。该模块可内部或外部耦合至移动终端300。无线互联网技术可包括WLAN(无线LAN)、Wi-Fi、WibroTM(无线宽带)、WimaxTM(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、GSM、CDMA、WCDMA或LTE(长期演进)。
通过WibroTM、HSPDA、GSM、CDMA、WCDMA或LTE的无线互联网接入经由移动通信网络来实现。在这一方面，无线互联网模块313可被视为一种移动通信模块312，以经由移动通信网络执行无线互联网接入。
短距离通信模块314方便相对短距离的通信。用于实现此模块的合适的技术包括射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)以及常称为BluetoothTM和ZigBeeTM的联网技术(仅举几个例子)。
定位模块315识别或者获得移动终端100的位置。根据一个实施方式，该模块可用全球定位系统(GPS)模块来实现。GPS模块315能够通过从至少三个卫星计算距离信息和精确时间信息，然后对计算的信息应用三角测量法，来基于至少经度、纬度或高度和方向(或取向)精确计算当前3维位置信息。利用三个卫星来计算位置信息和时间信息，然后利用另一卫星来修正(或校正)计算的定位以及一个或更多个时间信息的误差。另外，GPS模块315能够通过连续计算实时的当前位置来计算速度信息。
参照图3，音频/视频(A/V)输入单元320被配置为向移动终端300提供音频或视频信号输入。如图所示，A/V输入单元320包括相机321和麦克风322。相机321接收并处理在视频呼叫模式或拍照模式下通过图像传感器获得的静止画面或视频的图像帧。另外，处理的图像帧可显示在显示器351上。
由相机321处理的图像帧可存储在存储器360中，或者可经由无线通信单元310被发送给外部接收方。可选地，可根据使用环境在移动终端300中设置至少两个相机321。
在便携式装置处于特定模式(例如，电话呼叫模式、录制模式和语音识别模式)时，麦克风322接收外部音频信号。该音频信号被处理并转换为电音频数据。在呼叫模式下，处理的音频数据被变换成能够经由移动通信模块312发送给移动通信基站的格式。麦克风322通常包括各种各样的噪声去除算法以去除在接收外部音频信号的过程中产生的噪声。
用户输入单元330响应于用户对相关输入装置的操纵生成输入数据。这些装置的示例包括键区、薄膜开关、触摸板(例如，静压/电容)、滚轮和触合式开关(jog switch)。
感测单元340提供感测信号以利用移动终端的各个方面的状态测量值来控制移动终端300的操作。例如，感测单元340可检测移动终端100的打开/关闭状态、移动终端300的组件(例如，显示器和键区)的相对定位、移动终端300或移动终端300的组件的位置改变、是否存在用户与移动终端300的接触以及移动终端300的取向或加速/减速。例如，考虑被配置为滑盖型移动终端的移动终端300。在这种配置中，感测单元340可感测移动终端的滑动部分是打开还是闭合。根据其它示例，感测单元340感测电源单元390是否供电以及接口单元370与外部装置之间是否存在耦合或其它连接。根据一个实施方式，感测单元340可包括接近传感器341。
输出单元350生成与视觉、听觉和触觉有关的输出。另外，输出单元350包括显示器351、音频输出模块352、警报单元353、触觉模块354和投影仪模块355。
显示器351通常被实现为视觉显示(输出)与移动终端300相关的信息。例如，如果移动终端在电话呼叫模式下操作，则显示器通常将提供用户界面(UI)或图形用户界面(GUI)，该用户界面(UI)或图形用户界面(GUI)包括与电话呼叫的发起、进行和终止相关的信息。又如，如果移动终端300处于视频呼叫模式或拍照模式，则显示器351可另外地或另选地显示与这些模式相关的图像、UI或GUI。
显示模块351可利用已知显示技术实现。这些技术包括(例如)液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器和三维显示器。移动终端300可包括这些显示器中的一个或更多个。
这些显示器中的一些可被实现为透明或光学透射型，即，透明显示器。透明显示器的一个代表性示例是TOLED(透明OLED)。显示器351的背面配置也可被实现为光学透射型。在这种配置中，用户可在终端主体的显示器351的一部分上看到位于终端主体背后的物体。
依据移动终端300的一个实施方式，可在移动终端300中设置至少两个显示器351。例如，多个显示器可彼此间隔开或形成一体地布置在移动终端300的单面上。另选地，多个显示器可布置在移动终端300的不同面上。
如果显示器351和用于检测触摸动作的传感器(以下称为“触摸传感器”)被配置成相互层结构(以下称为“触摸屏”)，则除了输出装置之外，显示器351还能用作输入装置。在这种情况下，触摸传感器可被配置为触摸膜、触摸片或触摸板。
触摸传感器可被配置为将施加于显示器351的特定部分的压力或从显示器351的特定部分产生的电容变化转换为电输入信号。另外，触摸传感器可被配置为检测触摸压力以及触摸位置或尺寸。
如果对触摸传感器进行了触摸输入，则与该触摸输入对应的信号被传送至触摸控制器。触摸控制器处理所述信号，然后将处理的信号传送给控制器380。因此，使控制器380知道显示器351的指定部分何时被触摸。
参照图2，可在移动终端300被触摸屏包围的内部区域或触摸屏周围设置接近传感器341。接近传感器是在没有机械接触的情况下，利用电磁场强度或红外线检测是否存在靠近指定检测表面的物体或者存在于(或位于)接近传感器周围的物体的传感器。因此，接近传感器341比接触型传感器更耐用，并且实用性也比接触型传感器广。
接近传感器341可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、射频振荡接近传感器、静电容量接近传感器、磁性接近传感器和红外接近传感器中的一种。如果触摸屏包括静电容量接近传感器，则其被配置为利用电场随指点器的接近而发生的变化来检测指点器的接近。在这种配置中，触摸屏(触摸传感器)可被视为接近传感器。
为了说明清晰和方便起见，使得靠近触摸屏的指点器能够被识别为置于触摸屏上的动作可被命名为“接近触摸”，使得指点器能够与触摸屏实际接触的动作可被命名为“接触触摸”。并且，利用指点器对触摸屏进行接近触摸的位置可表示当指点器进行接近触摸时与触摸屏垂直对应的指点器的位置。
接近传感器检测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸持续时间、接近触摸位置、接近触摸移位状态)。与所检测到的接近触摸动作和所检测到的接近触摸模式对应的信息可输出到触摸屏。
音频输出模块352在各种模式(包括呼叫接收模式、呼叫发起模式、录制模式、语音识别模式和广播接收模式)下起作用，以输出从无线通信单元310接收或存储在存储器360中的音频数据。在操作过程中，音频输出模块352输出与特定功能(例如，接收到呼叫、接收到消息)有关的音频。音频输出模块352可利用一个或更多个扬声器、蜂鸣器、其它音频生成装置以及这些装置的组合来实现。
警报单元353输出用于通报发生与移动终端300相关的特定事件的信号。典型事件包括呼叫接收、消息接收和触摸输入接收。警报单元353能够通过振动以及视频或音频信号来输出用于通报事件发生的信号。视频或音频信号可经由显示器351或音频输出模块352输出。因此，显示器351或音频输出模块352可被视作警报单元353的一部分。
触觉模块354生成用户能够感觉到的各种触觉效果。振动是触觉模块354所生成的一种代表性触觉效果。触觉模块354所生成的振动的强度和模式是可控的。例如，不同的振动可按照合成在一起的方式来输出，或者可顺序输出。
除了振动之外，触觉模块354还能够产生各种触觉效果。例如，触觉模块354可产生归因于插针排列抵靠接触皮肤表面垂直移动的效果、归因于通过注入/抽吸孔对空气的注入/抽吸力的效果、归因于擦过皮肤表面的效果、归因于与电极接触的效果、归因于静电力的效果以及归因于利用吸热或发热装置表现热/冷感觉的效果。
除了通过直接接触传递触觉效果之外，触觉模块354还可被实现为使得用户能够通过手指或手臂的肌肉觉来感觉到触觉效果。可选地，依据移动终端300的实施方式，可在移动终端300中设置至少两个触觉模块354。
存储器360通常用于存储各种类型的数据，以支持移动终端300的处理、控制和存储要求。这些数据的示例包括在移动终端300上操作的应用的程序指令、联系人数据、电话簿数据、消息、音频、静止画面(或照片)和移动画面。另外，各个数据的最近使用历史或累积使用频率(例如，各个电话簿、各个消息或各个多媒体文件的使用频率)可存储在存储器360中。
另外，响应于对触摸屏的触摸输入而输出的各种模式的振动和/或声音的数据可存储在存储器360中。
存储器360可利用任何类型的合适的易失性和非易失性存储器或存储装置或其组合来实现，包括硬盘、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘、多媒体卡微型存储器、卡型存储器(例如，SD存储器或XD存储器)或者其它类似的存储器或数据存储装置。另外，移动终端300能够与在互联网上执行存储器360的存储功能的网络存储器关联地操作。
接口单元370可被实现为将移动终端100与外部装置连接。接口单元370从外部装置接收数据或者被供电，然后将数据或电力传送给移动终端300的相应元件，或者使得移动终端300内的数据能够被传送给外部装置。接口单元370可利用有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接至具有标识模块的装置的端口、音频输入/输出端口、视频输入/输出端口和/或耳机端口来配置。
所述标识模块是存储用于验证移动终端300的使用权限的各种类型的信息的芯片，并且可包括用户标识模块(UIM)、订户标识模块(SIM)和/或全球订户标识模块(USIM)。具有标识模块的装置(以下称为“标识装置”)可被制造为智能卡。因此，标识装置能够经由对应端口连接至移动终端300。
当移动终端310连接至外部托架时，接口单元370变成用于向移动终端300供应来自托架的电力的通道，或者用于将由用户从托架输入的各种命令信号输送给移动终端300的通道。从托架输入的各种命令信号或电力中的每一个可用作使得移动终端300能够识别出其正确加载到托架中的信号。
控制器380通常控制移动终端300的总体操作。例如，控制器380执行与语音呼叫、数据通信和视频呼叫相关的控制和处理。控制器380可包括提供多媒体回放的多媒体模块381。多媒体模块381可被配置成控制器380的一部分，或者被实现为单独的组件。
另外，控制器380能够执行模式(或图像)识别处理，以将触摸屏上所执行的书写输入和绘画输入分别识别为字符或图像。
电源单元390提供移动终端300的各种组件所需的电力。所述电力可为内部电力、外部电力或者内部电力和外部电力的组合。
本文所述的各种实施方式可利用例如计算机软件、硬件或者计算机软件和硬件的一些组合在计算机可读介质中实现。对于硬件实现方式，本文所述的实施方式可实现在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行本文所述的功能的其它电子单元、或其选择性组合内。这些实施方式还可通过控制器180来实现。
对于软件实现方式，本文所述的实施方式可利用单独的软件模块(例如，程序和函数)来实现，其各自执行本文所述的一个或更多个功能和操作。软件代码可利用以任何合适的编程语言编写的软件应用来实现，并且可存储在诸如存储器160的存储器中，并由诸如控制器380的控制器或处理器执行。
图3是根据本发明的数字装置的三维(3D)图像处理装置的框图。
如图3所示，数字装置的3D图像处理装置可包括光接收单元1100、图像处理单元1200、3D图像实现单元1300、控制单元1400、光发射单元1500和存储单元1600。
另外，数字装置的3D图像处理装置还可包括定时器1700。
在这种情况下，光接收单元1100可接收与光谱的可见区域对应的可见光以及与光谱的红外区域对应的红外光。
在一些情况下，光接收单元1100可包括第一感测单元1110和第二感测单元1120。
在这种情况下，光接收单元1100的第一感测单元1110可感测与光谱的可见区域对应的可见光。例如，光接收单元1100的第一感测单元1110可感测包括大约350nm至700nm的波长范围的光。
光接收单元1100的第二感测单元1120可感测与光谱的红外区域对应的红外光。另外，光接收单元1100的第二感测单元1120可感测包括700nm以上的波长范围的红外光。
光接收单元1100可根据控制单元1400的控制信号切换为高分辨率模式或低分辨率模式。
例如，低分辨率模式可具有比高分辨率模式低大约25％的分辨率。
在这种情况下，在实现3D图像的情况下，光接收单元1100可根据控制单元1400的控制信号从高分辨率模式切换为低分辨率模式。
并且，在实现2D图像的情况下，光接收单元1100可根据控制单元1400的控制信号从低分辨率模式切换为高分辨率模式。
在一些情况下，在实现2D图像的情况下，光接收单元1100可根据控制单元1400的控制信号维持低分辨率模式而不从低分辨率模式切换为高分辨率模式。
当光接收单元1100切换为低分辨率模式时，由图像处理单元1200提取的深度图像信息或彩色图像信息的提取所花费的时间可与高分辨率模式相同。
例如，当在低分辨率模式的光接收单元1100中图像处理单元1200按照60帧/秒操作时，帧之间的间隔可对应于大约1/120秒。
如以上描述中提及的，根据本发明，通过布置能够同时从规定对象1800接收与光谱的可见区域对应的可见光以及与光谱的红外区域对应的红外光的光接收单元1100，能够同时获得从可见光获得的彩色图像信息以及从红外光获得的深度图像信息二者。
因此，根据本发明，由于能够处理同时获得的彩色图像信息和深度图像信息二者，所以配置简单，并且3D图像处理时间和总成本可降低。
图像处理单元1200在第一时间期间从第一感测单元1110提取彩色图像信息，并且可在第二时间期间从第一感测单元1110和第二感测单元1120提取深度图像信息。
如上所述，根据本发明的图像处理单元1200可按照彼此不同的定时获得彩色图像信息和深度图像信息，而非同时获得彩色图像信息和深度图像信息。
具体地讲，根据本发明，由图像处理单元1200获得的彩色图像信息的获得时间和由图像处理单元1200获得的深度图像信息的获得时间可彼此不同。
这是因为能够增强深度图像的灵敏度和对比度的深度图像处理方法应该由图像处理单元独立地执行。
例如，图像处理单元1200对所获得的彩色图像信息执行像素叠加(binning)处理。
在这种情况下，像素叠加处理指示通过将光接收单元1100的多个像素彼此组合而获得新像素。由于两个或更多个像素彼此组合，所以与通过一个像素获得灵敏度和SNR(信噪比)的情况相比，灵敏度和SNR变得更好。因此，可在暗的照明下获得清楚的彩色图像。
并且，图像处理单元1200对所获得的彩色图像信息执行红外(IR)像素的子采样处理。
在这种情况下，子采样处理指示仅从IR帧收集IR像素的深度信息的处理。由于仅收集并输出IR像素的深度信息，所以可增强深度图像的灵敏度和对比度。
在一些情况下，当图像处理单元1200分别获得彩色图像信息和深度图像信息时，在图像处理单元1200获得深度图像信息的情况下，由于图像处理单元1200不仅可从由光接收单元1100的第二感测单元1120接收的红外光，而且可从由光接收单元1100的第一感测单元1110接收的红外光提取深度图像信息，所以可增强深度图像的灵敏度和对比度，从而改进3D图像的深度。
因此，图像处理单元1200可在包括第一感测单元1110和第二感测单元1120的光接收单元1100的每一个单元像素中分别执行获得彩色图像信息的工作和获得深度图像信息的工作。
3D图像实现单元1300可基于从图像处理单元1200提取的彩色图像信息和深度图像信息实现对象1800的3D图像。
控制单元1400可控制光接收单元1100、图像处理单元1200和3D图像实现单元1300。
在这种情况下，在接收到3D图像模式请求信号时，控制单元1400检查光接收单元1100的分辨率模式。如果光接收单元1100的分辨率对应于第一分辨率，则控制单元可将光接收单元1100的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率。
切换光接收单元1100的分辨率以降低串扰。
在这种情况下，串扰对应于获得彩色图像信息的RGB帧与获得深度图像信息的IR帧之间的干扰。
具体地讲，IR帧需要IR照明，RGB帧不需要IR照明。当IR帧的IR照明影响RGB帧时，在RGB图像中发生噪声或失真。这一现象称为串扰。
因此，为了不给位于IR帧之前和IR帧之后的RGB帧带来串扰影响，应该瞬时地打开IR照明。
然而，如果IR照明打开的时间太短，则IR帧无法识别IR照明，深度图像的灵敏度劣化。
因此，根据本发明，在3D图像模式下光接收单元1100的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率，以消除串扰现象。
例如，如果光接收单元1100的分辨率从最高分辨率降低大约25％，则RGB帧与IR帧之间的时间间隔增加。
因此，由于时间间隔增加多少，IR照明打开的时间增加多少，所以IR帧能够充分识别IR照明，从而改进深度图像的灵敏度。
控制单元1400可控制光发射单元1500和定时器1700。
例如，光发射单元1500对应于生成红外光的装置，并且可根据控制单元1400的控制信号来操作。
具体地讲，根据控制单元1400的控制信号，光发射单元1500在第一时间期间不输出红外光，并且可在第二时间期间能够输出红外光。
在这种情况下，光发射单元1500的操作时间可对应于彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的时间。
定时器1700可测量关闭光发射单元1500的操作的第一时间以及打开光发射单元1500的操作的第二时间。
因此，控制单元1400可根据由定时器1700测量的时间来控制光发射单元1500的操作。
存储单元1600可存储由图像处理单元1200提取的彩色图像信息和深度图像信息。
在这种情况下，由于由图像处理单元1200获得的彩色图像信息的获得时间和由图像处理单元1200获得的深度图像信息的获得时间彼此不同，所以存储单元1600可扮演缓冲器的角色，所提取的图像信息在其中停留规定时间以用于下一处理步骤。
因此，根据本发明，由于能够利用包括被配置为感测可见光的第一感测单元和被配置为感测红外光的第二感测单元的光接收单元同时处理彩色图像信息和深度图像信息二者，所以配置简单并且3D图像处理时间和总成本可降低。
根据本发明，如果彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的红外光的曝光时间以光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率的方式增加，则深度图像的灵敏度和对比度增强，从而改进3D图像的深度。
此外，根据本发明，在获得深度图像信息的情况下，由于不仅可从光接收单元的第二感测单元所接收的红外光，而且可从光接收单元的第一感测单元所接收的红外光提取深度图像信息，所以深度图像的灵敏度和对比度增强，从而改进3D图像的深度。
图4a至图4b是根据图3所示的光接收单元的贝尔图案的示图。图4a是光接收单元的像素布置方式的示图，图4b是光接收单元的单元像素的示图。
如图4a至图4b所示，光接收单元1100可包括能够感测红色、绿色和蓝色波长范围的可见光的像素以及能够感测红外光的像素。
例如，包括感测红色、绿色和蓝色波长范围的可见光的第一感测单元1110和感测红外光的第二感测单元1120的多个单元像素可布置在光接收单元1100中。
在这种情况下，第一感测单元1110可包括感测红色波长范围的光的第一像素、感测绿色波长范围的光的第二像素以及感测蓝色波长范围的光的第三像素。
在一些情况下，第一感测单元1110可包括感测黄色波长范围的光的第一像素、感测青色波长范围的光的第二像素以及感测品红色波长范围的光的第三像素。
作为进一步不同的情况，第一感测单元1110可包括感测红色波长范围的光的第一像素、感测绿色波长范围的光的第二像素、感测蓝色波长范围的光的第三像素以及感测白色、黄色、青色和品红色波长范围之一的光的第四像素。
图5a至图5b是光接收单元的单元像素的第一实施方式的示图。图5a是第一感测单元的像素围绕第二感测单元的布置结构的示图，图5b是第一感测单元的像素并排布置在第二感测单元的一侧的布置结构的示图。
如图5a至图5b所示，光接收单元可包括由感测红色、绿色和蓝色波长范围的可见光的第一感测单元1110和感测红外光的第二感测单元1120构成的单元像素。
在这种情况下，第一感测单元1110可包括感测红色波长范围的光的第一像素1112、感测绿色波长范围的光的第二像素1114以及感测蓝色波长范围的光的第三像素1116。
在这种情况下，第一像素1112、第二像素1114和第三像素1116的面积可彼此相同。
并且，第一像素1112、第二像素1114和第三像素1116的面积可与感测红外光的第二感测单元1120的面积相同。
图6是光接收单元的单元像素的第二实施方式的示图。
如图6所示，光接收单元可包括由感测红色、绿色和蓝色波长范围的可见光的第一感测单元1110和感测红外光的第二感测单元1120构成的单元像素。第一感测单元1110可包括感测红色波长范围的光的第一像素1112、感测绿色波长范围的光的第二像素1114以及感测蓝色波长范围的光的第三像素1116。
在这种情况下，第一像素1112、第二像素1114和第三像素1116的面积可彼此相同。然而，第一像素1112、第二像素1114和第三像素1116当中的一个像素的面积可大于感测红外光的第二感测单元1120的面积。
如以上描述中提及的，尽管对深度图像的灵敏度和对比度有影响的第二感测单元1120的面积相对小于第一感测单元1110的面积，但是如果使用根据本发明的处理深度图像的方法，则深度图像和彩色图像二者的灵敏度和对比度可同时增强。
关于此，稍后将更详细地描述。
图7a至图7b是光接收单元的单元像素的第三实施方式的示图。图7a是第一感测单元的像素围绕第二感测单元的布置结构的示图，图7b是第一感测单元的像素并排布置在第二感测单元的一侧的布置结构的示图。
如图7a至图7b所示，光接收单元可包括感测黄色、青色和品红色波长范围的可见光的第一感测单元1110以及感测红外光的第二感测单元1120。
在这种情况下，第一感测单元1110可包括感测黄色波长范围的光的第四像素1117、感测青色波长范围的光的第五像素1118以及感测品红色波长范围的光的第六像素1119。
在这种情况下，第四像素1117、第五像素1118和第六像素1119的面积可彼此相同。
并且，第四像素1117、第五像素1118和第六像素1119的面积可与感测红外光的第二感测单元1120的面积相同。
图8是光接收单元的单元像素的第四实施方式的示图。
如图8所示，光接收单元可包括由感测黄色、青色和品红色波长范围的可见光的第一感测单元1110和感测红外光的第二感测单元1120构成的单元像素。第一感测单元1110可包括感测黄色波长范围的光的第四像素1117、感测青色波长范围的光的第五像素1118以及感测品红色波长范围的光的第六像素1119。
在这种情况下，第四像素1117、第五像素1118和第六像素1119的面积可彼此相同。然而，第四像素1117、第五像素1118和第六像素1119当中的一个像素的面积可大于感测红外光的第二感测单元1120的面积。
如以上描述中提及的，尽管对深度图像的灵敏度和对比度有影响的第二感测单元1120的面积相对小于第一感测单元1110的面积，但是如果使用根据本发明的处理深度图像的方法，深度图像和彩色图像二者的灵敏度和对比度可同时增强。
图9a至图9b是光接收单元的单元像素的第五实施方式的示图。图9a是第一感测单元的像素围绕第二感测单元的布置结构的示图，图9b是第一感测单元的像素并排布置在第二感测单元的一侧的布置结构的示图。
如图9a至图9b所示，光接收单元可包括由感测红色、绿色和蓝色波长范围的可见光以及黄色、青色和品红色波长范围之一的可见光的第一感测单元1110和感测红外光的第二感测单元1120构成的单元像素。
在这种情况下，第一感测单元1110可包括感测红色波长范围的光的第一像素1112、感测绿色波长范围的光的第二像素1114、感测蓝色波长范围的光的第三像素1116以及感测白色、黄色、青色和品红色波长范围之一的光的第七像素1111。
这种情况下，第一像素1112、第二像素1114、第三像素1116和第七像素1111的面积可彼此相同。
并且，第一像素1112、第二像素1114、第三像素1116和第七像素1111的面积也可与感测红外光的第二感测单元1120的面积相同。
图10是光接收单元的单元像素的第六实施方式的示图。
如图10所示，光接收单元可包括由感测红色、绿色和蓝色波长范围的可见光以及黄色、青色和品红色波长范围之一的可见光的第一感测单元1110和感测红外光的第二感测单元1120构成的单元像素。在这种情况下，第一感测单元1110可包括感测红色波长范围的光的第一像素1112、感测绿色波长范围的光的第二像素1114、感测蓝色波长范围的光的第三像素1116以及感测白色、黄色、青色和品红色波长范围之一的光的第七像素1111。
在这种情况下，第一像素1112、第二像素1114、第三像素1116和第七像素1111的面积可彼此相同。然而，第一像素1112、第二像素1114、第三像素1116和第七像素1111当中的一个像素的面积可大于感测红外光的第二感测单元1120的面积。
如以上描述中提及的，尽管对深度图像的灵敏度和对比度有影响的第二感测单元1120的面积相对小于第一感测单元1110的面积，但是如果使用根据本发明的处理深度图像的方法，则深度图像和彩色图像二者的灵敏度和对比度可同时增强。
图11是图3的图像处理单元的框图。
如图11所示，图像处理单元2000可包括第一图像处理单元2100和第二图像处理单元2300。
在这种情况下，第一图像处理单元2100在第一时间期间从光接收单元的第一感测单元所感测的可见光提取彩色图像信息，并且可将所提取的彩色图像信息存储在图3所示的存储单元1600中。
第二图像处理单元2300在第二时间期间从光接收单元的第二感测单元所感测的红外光提取第二深度图像信息，并且可将所提取的第二深度图像信息存储在图3所示的存储单元1600中。
在一些情况下，第二图像处理单元2300在第二时间期间从光接收单元的第一感测单元所感测的红外光提取第一深度图像信息，从第一深度图像信息消除噪声，并且可将不含噪声的第一深度图像信息存储在图3所示的存储单元1600中。
此后，第二图像处理单元2300在第二时间期间从光接收单元的第二感测单元所感测的红外光提取第二深度图像信息，并且可将所提取的第二深度图像信息存储在图3所示的存储单元1600中。
此后，第二图像处理单元2300可将不含噪声的第一深度图像信息和第二深度图像信息彼此结合。
图12是图11的第一图像处理单元的框图。
如图12所示，第一图像处理单元2100可包括第一检测单元2120、第一转换单元2140和彩色图像信息提取单元2160。
在这种情况下，第一检测单元2120可在第一时间期间检测由光接收单元的第一感测单元感测的可见光的光量。
例如，第一检测单元2120从第一感测单元的第一像素检测红光的光量，从第一感测单元的第二像素检测绿光的光量，从第一感测单元的第三像素检测蓝光的光量，并且可从光接收单元的单元像素中的第二感测单元检测红外光的光量。
在一些情况下，根据光接收单元的类型，除了红光的光量、绿光的光量和蓝光的光量以外，第一检测单元2120可检测白光的光量、黄光的光量、青光的光量和品红光的光量。
此后，第一转换单元2140可将检测到的可见光的光量转换为电信号。
此后，彩色图像信息提取单元2160可从被转换为电信号的可见光提取彩色图像信息。
在这种情况下，彩色图像信息提取单元2160对提取的彩色图像信息执行像素叠加处理。
在这种情况下，像素叠加处理指示通过将光接收单元1100的多个像素彼此组合而获得新像素。由于两个或更多个像素彼此组合，所以与通过一个像素获得灵敏度和SNR(信噪比)的情况相比，灵敏度和SNR变得更好。因此，可在暗的照明下获得清楚的彩色图像。
这样，第一图像处理单元2100可在第一时间期间从光接收单元的第一感测单元所感测的可见光获得彩色图像信息。
图13是图11的第二图像处理单元的框图。
如图13所示，第二图像处理单元2300可包括第二检测单元2310、第二转换单元2330和深度图像信息提取单元2340。
在这种情况下，第二检测单元2310可在第二时间期间检测由光接收单元的第二感测单元感测的红外光的光量。
例如，第二检测单元2310可从光接收单元的单元像素中的第二感测单元检测红外光的光量。
此后，第二转换单元2330可将所检测到的红外光的光量转换为电信号。
此后，深度图像信息提取单元2340可从光接收单元的第二感测单元所感测到的红外光提取深度图像信息。
在这种情况下，深度图像信息提取单元2340对所提取的深度图像信息执行红外(IR)像素的子采样处理。
在这种情况下，子采样处理指示仅从IR帧收集IR像素的深度信息的处理。由于仅收集并输出IR像素的深度信息，可增强深度图像的灵敏度和对比度。
这样，第二图像处理单元2300可在第二时间期间从光接收单元的第二感测单元所感测到的红外光获得深度图像信息。
图14是图11的第二图像处理单元的不同实施方式的框图。
如图14所示，第二图像处理单元2300可包括第二检测单元2310、第二转换单元2330、第一深度图像信息提取单元2350、第二深度图像信息提取单元2370和结合单元2390。
在这种情况下，第二检测单元2310可在第二时间期间检测由光接收单元的第一感测单元和第二感测单元感测到的红外光的光量。
例如，第二检测单元2310从第一感测单元的第一像素检测红光的光量和红外光的光量，从第一感测单元的第二像素检测绿光的光量和红外光的光量，从第一感测单元的第三像素检测蓝光的光量和红外光的光量，并且可从光接收单元的单元像素中的第二感测单元检测红外光的光量。
此后，第二转换单元2330可将所检测到的红外光的光量转换为电信号。
此后，第一深度图像信息提取单元2350从光接收单元的第一感测单元所感测到的红外光提取第一深度图像信息，从所提取的第一深度图像信息消除噪声，并且可将不含噪声的第一深度图像信息存储在图1所示的存储单元1600中。
并且，第二深度图像信息提取单元2370从光接收单元的第二感测单元所感测到的红外光提取第二深度图像信息，并且可将所提取的第二深度图像信息存储在图3所示的存储单元1600中。
此后，结合单元2390将第一深度图像信息提取单元2350所提取的第一深度图像信息和第二深度图像信息提取单元2370所提取的第二深度图像信息彼此结合，并且可生成最终深度图像信息。
第二图像处理单元2300可利用下式1提取深度图像信息。
[式1]
如果(α(R2-R1)>Rth)，则IR2＝IR2+α(R2-R1)
如果(β(G2-G1)>Gth)，则IR2＝IR2+β(G2-G1)
如果(γ(B2-B1)>Bth)，则IR2＝IR2+γ(B2-B1)
在这种情况下，IR2对应于第二深度图像信息，R1、G1和B1对应于在第一时间期间提取的第一感测单元的红外光的第一噪声值，R2、G2和B2对应于在第二时间期间提取的第一感测单元的红外光的第二噪声值，α、β和γ对应于反映了第一感测单元的灵敏度特性的加权值，Rth、Gth和Bth对应于第一感测单元的物理噪声阈值。
α(R2-R1)对应于按照从光接收单元的单元像素中的感测红光和红外光的第一感测单元的第一像素提取的方式消除了噪声的第一深度图像信息。β(G2-G1)对应于按照从光接收单元的单元像素中的感测绿光和红外光的第一感测单元的第二像素提取的方式消除了噪声的第一深度图像信息。γ(B2-B1)对应于按照从光接收单元的单元像素中的感测蓝光和红外光的第一感测单元的第三像素提取的方式消除了噪声的第一深度图像信息。
图15是图14的第一深度图像信息提取单元的框图。
如图15所示，第一深度图像信息提取单元2370可包括噪声消除单元2410、比较单元2430和最终深度值确定单元2450。
在这种情况下，噪声消除单元2410可通过从光接收单元的第一感测单元所感测的红外光消除噪声来计算消除了噪声的深度值。
例如，噪声消除单元2410可在第一时间期间从第一感测单元所感测的红外光提取第一噪声值，并且可在第二时间期间从第一感测单元所感测的红外光提取第二噪声值。
在这种情况下，第一噪声值可对应于在第一时间期间除了红外光以外由第一感测单元感测到的可见光。
第二噪声值可对应于在第二时间期间除了红外光以外由第一感测单元感测到的可见光。
此后，噪声消除单元2410计算从第二噪声值减去第一噪声值而得到的差值，并且可按照将加权值乘以所述差值的方式计算不含噪声的深度值。
在这种情况下，第二噪声值与第一噪声值之间的差值可对应于消除了噪声的纯红外光的深度值。
并且，加权值可对应于反映第一感测单元的各个像素的灵敏度特性的值。
此后，比较单元2430可将不含噪声的深度值与第一感测单元的物理噪声值进行比较，以标识不含噪声的深度值是否大于第一感测单元的物理噪声值。
此后，作为比较结果，如果确定不含噪声的深度值大于第一感测单元的物理噪声值，则最终深度值确定单元2450可将不含噪声的深度值确定为第一深度图像信息的最终深度值。
在这种情况下，如果不含噪声的深度值大于第一感测单元的物理噪声值，则可对深度图像的灵敏度和对比度的增强产生影响。然而，如果不含噪声的深度值等于或小于第一感测单元的物理噪声值，则不对深度图像的灵敏度和对比度的增强产生影响。因此，不含噪声的深度值可被忽略。
以下描述根据本发明的数字装置处理3D图像的方法。
图16和图17是根据本发明的数字装置处理三维图像的方法的流程图。参照图3所示的3D图像处理装置来说明图16和图17。
如图16和图17所示，首先，如果从外部接收到图像模式请求信号[S11]，则控制单元1400检查该图像模式请求信号是否对应于3D图像模式请求信号[S13]。
此后，如果图像模式请求信号对应于3D图像模式请求信号，则控制单元1400检查光接收单元1100的分辨率模式是否对应于第一分辨率[S15]。
此后，如果光接收单元1100的分辨率模式对应于第一分辨率，则控制单元1400可将光接收单元1100的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率[S17]。
然而，如果图像模式请求信号对应于2D图像模式请求信号[S19]，则控制单元1400检查光接收单元1100的分辨率模式是否对应于第二分辨率[S21]。
如果光接收单元1100的分辨率模式对应于第二分辨率，则控制单元1400将光接收单元1100的分辨率从第二分辨率切换为比第二分辨率高的第一分辨率[S23]，并且可实现2D图像[S25]。
如前所述，控制单元1400可将光接收单元1100的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率[S100]。
光接收单元1100的分辨率被切换以降低串扰。
在这种情况下，串扰对应于获得彩色图像信息的RGB帧与获得深度图像信息的IR帧之间的干扰。
具体地讲，IR帧需要IR照明，RGB帧不需要IR照明。当IR帧的IR照明影响RGB帧时，在RGB图像中发生噪声或失真。这一现象称为串扰。
因此，为了不给位于IR帧之前和IR帧之后的RGB帧带来串扰影响，应该瞬时地打开IR照明。
然而，如果IR照明打开的时间太短，则IR帧无法识别IR照明，深度图像的灵敏度劣化。
因此，根据本发明，在3D图像模式下光接收单元1100的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率，以消除串扰现象。
例如，如果光接收单元1100的分辨率从最高分辨率降低大约25％，则RGB帧与IR帧之间的时间间隔增加。
因此，由于时间间隔增加多少，IR照明打开的时间增加多少，所以IR帧能够充分识别IR照明，从而改进深度图像的灵敏度。
此后，控制单元1440可参照定时器1700的时间测量在第一时间期间关闭光发射单元1500的操作以不输出红外光[S110]。
此后，光接收单元1100可从对象1800接收可见光[S120]。
此后，控制单元1400可按照控制图像处理单元1200的方式在第一时间期间从光接收单元1100的第一感测单元1110所感测的可见光提取彩色图像信息[S130]。
此后，控制单元140可参照定时器1700的时间测量在第二时间期间打开光发射单元1500的操作以向对象1800输出红外光[S140]。
在这种情况下，光发射单元1500的操作时间可对应于彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的时间。
此后，光接收单元1100可从对象1800接收红外光[S150]。
此后，控制单元1400可按照控制图像处理单元1200的方式在第二时间期间从光接收单元1100的第二感测单元1120所感测的红外光提取深度图像信息[S160]。
在一些情况下，光接收单元1100可从对象1800接收可见光和红外光二者。
此后，控制单元1400可按照控制图像处理单元1200的方式在第二时间期间从光接收单元1100的第一感测单元1110和第二感测单元1120所感测的红外光提取所有深度图像信息。
此后，控制单元1400可确定对象1800的彩色图像信息和深度图像信息二者的提取是否完成[S170]。
此后，如果确定对象1800的彩色图像信息和深度图像信息二者的提取完成，则控制单元1400可按照控制3D图像实现单元1300的方式基于所提取的彩色图像信息和深度图像信息实现对象1800的3D图像[S180]。
如果确定对象1800的彩色图像信息和深度图像信息二者的提取未完成，则可重复地执行步骤S110至步骤S160。
在一些情况下，可在执行步骤S110至步骤130之前执行步骤S140至步骤S160。
具体地讲，根据本发明，首先在第二时间期间按照打开光发射单元500的操作的方式提取深度图像信息，然后在第一时间期间按照关闭光发射单元500的操作的方式提取彩色图像信息。
图18至图23是说明根据本发明的数字装置的三维图像处理过程的示意图。
如图18所示，在3D图像模式下，数字装置的3D图像处理装置在第一时间期间提取彩色图像信息并且在第二时间期间提取深度图像信息。
具体地讲，本发明使用依次接收RGB帧和IR帧的逐帧技术。
因此，根据本发明，彩色图像信息和深度图像信息并非同时获得。相反，可按照彼此不同的定时获得彩色图像信息和深度图像信息。
并且，如图19和图20所示，根据本发明，当实现3D图像时，光接收单元的分辨率可从高分辨率模式切换为低分辨率模式。
光接收单元的分辨率被切换以降低串扰。
在这种情况下，串扰对应于获得彩色图像信息的RGB帧与获得深度图像信息的IR帧之间的干扰。
具体地讲，IR帧需要IR照明，RGB帧不需要IR照明。当IR帧的IR照明影响RGB帧时，在RGB图像中发生噪声或失真。这一现象称为串扰。
因此，为了不给位于IR帧之前和IR帧之后的RGB帧带来串扰影响，应该瞬时地打开IR照明。
然而，如图19所示，如果IR照明打开的时间太短，则IR帧无法识别IR照明，深度图像的灵敏度劣化。
因此，根据本发明，在3D图像模式下光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率，以消除串扰现象。
例如，如果光接收单元的分辨率从最高分辨率降低大约25％，则RGB帧与IR帧之间的时间间隔增加。
因此，如图20所示，由于时间间隔增加多少，IR照明打开的时间增加多少，所以IR帧能够充分识别IR照明，从而改进深度图像的灵敏度。
此外，根据本发明，可按照彼此不同的定时而非按照相同的定时获得彩色图像信息和深度图像信息。
具体地讲，根据本发明，彩色图像信息的获得时间和深度图像信息的获得时间可彼此不同。
这是因为能够增强深度图像的灵敏度和对比度的深度图像处理方法应该独立地执行。
例如，如图21所示，根据本发明对获得的彩色图像信息执行像素叠加处理。
在这种情况下，像素叠加处理指示通过将光接收单元的多个像素彼此组合而获得新像素。由于两个或更多个像素彼此组合，所以与通过一个像素获得灵敏度和SNR(信噪比)的情况相比，灵敏度和SNR变得更好。因此，可在暗的照明下获得清楚的彩色图像。
并且，如图22所示，根据本发明对获得的彩色图像信息执行红外(IR)像素的子采样处理。
在这种情况下，子采样处理指示仅从IR帧收集IR像素的深度信息的处理。由于仅收集并输出IR像素的深度信息，可增强深度图像的灵敏度和对比度。
例如，图23是在RGB-IR传感器(光接收单元)处于比高分辨率模式低25％的低分辨率模式下并按照大约60帧/秒操作的情况下的IR照明时间的示图。
在这种情况下，RGB帧可按照大约30帧/秒操作，IR帧可按照大约30帧/秒操作。
如图23所示，根据本发明，RGB-IR传感器(光接收单元)在实现2D图像的情况下在高分辨率模式下操作。并且，RGB-IR传感器(光接收单元)在实现3D图像的情况下在低分辨率模式下操作并将帧分成RGB帧和IR帧。
并且，通过在RGB帧中执行像素叠加处理来提取彩色图像信息，并且可通过在IR帧中执行子采样处理来提取深度图像信息。
在这种情况下，如果光接收单元的分辨率从最高分辨率降低大约25％，则RGB帧与IR帧之间的时间间隔增加。因此，由于时间间隔增加多少，IR照明打开的时间增加多少，所以IR帧能够充分识别IR照明，从而改进深度图像的灵敏度。
具体地讲，IR光发射单元的操作时间可对应于前一RGB帧的结束时间与下一RGB帧的开始时间之间的时间。
图24是根据时间的光发射单元的开/关的示图。如图24所示，根据本发明的光发射单元1500可根据控制单元1400的控制信号重复地依次执行在第一时间期间不输出红外光的步骤和在第二时间期间输出红外光的步骤。
图25是根据时间的图像处理单元的图像信息处理的示图。如图25所示，根据本发明的图像处理单元1200可根据控制单元1400的控制信号重复地依次执行在第一时间期间提取彩色图像信息的步骤和在第二时间期间提取深度图像信息的步骤。
图26是图16的提取彩色图像信息的方法的详细流程图。参照图12所示的第一图像处理单元来说明图26。
如图12和图26所示，第一图像处理单元2100的第一检测单元2120可在第一时间期间检测由图3所示的第一感测单元1110感测到的可见光的光量[S132]。
第一转换单元2140将所感测到的可见光的光量转换为电信号[S134]，并且彩色图像信息提取单元2160可根据控制单元的控制信号从可见光提取彩色图像信息[S135]。
在这种情况下，尽管第一图像处理单元2100能够从图3所示的第一感测单元1110和第二感测单元1120检测红外光，但是由于从对象反射的红外光的光量较小，所以可忽略红外光的光量。
具体地讲，尽管红外光可能充当彩色图像信息上的噪声，但是由于光发射单元不输出红外光，所以红外光的光量非常小。
因此，由于所提取的影响彩色图像信息的噪声非常小，所以第一图像处理单元2100可不执行附加噪声消除作业。
图27是图16的提取深度图像信息的方法的详细流程图。参照图14所示的第二图像处理单元来说明图27。
如图14和图27所示，第二图像处理单元2300的第二检测单元2310可在第一时间期间检测由图1所示的第一感测单元1110和第二感测单元1120感测到的红外光的光量[S162]。
并且，第二转换单元2330将所检测到的红外光的光量转换为电信号[S164]。
此后，第一深度图像信息提取单元2350从第一感测单元所感测的红外光提取第一深度图像信息并且可从所提取的第一深度图像信息消除噪声[S166]。
并且，第二深度图像信息提取单元2370可从第二感测单元所感测的红外光提取第二深度图像信息[S166]。
此后，结合单元2390可将不含噪声的第一深度图像信息和第二深度图像信息彼此结合[S168]。
如以上描述中提及的，根据本发明，可按照经由图3所示的第一感测单元1110提取不含噪声的第一深度图像信息并且将所提取的第一深度图像信息与第二深度图像信息结合的方式来增强对象的深度图像信息的灵敏度和对比度。
如果利用仅由图3所示的第二感测单元1120感测的第二深度图像信息来实现对象的3D图像，而不结合第一深度图像信息，则关于对象的深度图像信息可能劣化。
图28是第一深度图像信息和第二深度图像信息未结合的贝尔图案的示图，图29是由光接收单元感测的红外光的分布的示图，图30是第一深度图像信息和第二深度图像信息结合的贝尔图案的示图。
如图28所示，光接收单元1100可包括由感测红色、绿色和蓝色波长范围的可见光的第一感测单元和感测红外光的第二感测单元构成的多个单元像素。
在这种情况下，如果根据本发明的第一图像处理单元从第一感测单元提取彩色图像信息，并且根据本发明的第二图像处理单元仅从第二感测单元提取第二深度图像信息而不从第一感测单元提取第一深度图像信息，则如图26所示，彩色图像信息包括：第一彩色图像信息(R1–R4)，其由被配置为感测红色波长范围的光的第一感测单元的第一像素提取；第二彩色图像信息(G1–G4)，其由被配置为感测绿色波长范围的光的第一感测单元的第二像素提取；以及第三彩色图像信息(B1–B4)，其由被配置为感测蓝色波长范围的光的第一感测单元的第三像素提取。深度图像信息可包括深度图像信息(IR1–IR4)，其仅由被配置为感测红外光的第二感测单元提取。
因此，当实现对象的3D图像时，如果通过仅由第二感测单元提取的深度图像信息(IR1–IR4)来实现3D图像，则深度图像的灵敏度和对比度较小，从而降低了3D图像的深度。
例如，如图29所示，光接收单元1100可感测从对象反射的红外光1130。红外光可被反射至被配置为感测红外光的第二感测单元的全部或一部分。
因此，由于能够被光接收单元1100感测的红外光的总光量较小，所以从红外光提取的深度图像的灵敏度和对比度可劣化。
因此，根据本发明，可按照经由图3所示的第一感测单元1110提取不含噪声的第一深度图像信息并且将所提取的不含噪声的第一深度图像信息与第二深度图像信息结合的方式来增强对象的深度图像的灵敏度和对比度。
例如，如图30所示，如果光接收单元1100包括第一感测单元1110和被配置为感测红外光的第二感测单元1120，该第一感测单元1110包括被配置为感测红色波长范围的光的第一感测单元1110的第一像素1112、被配置为感测绿色波长范围的光的第一感测单元1110的第二像素1114以及被配置为感测蓝色波长范围的光的第一感测单元1110的第三像素1116，则本发明可按照经由第一感测单元1110提取不含噪声的第一深度图像信息并且将所提取的不含噪声的第一深度图像信息与第二深度图像信息结合的方式来改进对象的深度图像的灵敏度和对比度。
图31是图16的提取第二深度图像信息的方法的详细流程图。参照图14所示的第一深度图像提取单元来说明图31。
如图14和图31所示，噪声消除单元2410可在第一时间期间从第一感测单元所感测的红外光提取第一噪声值，并且可在第二时间期间从第二感测单元所感测的红外光提取第二噪声值。
在这种情况下，第一噪声值可对应于在第一时间期间除了红外光以外由第一感测单元感测到的可见光。
并且，第二噪声值可对应于在第二时间期间除了红外光以外由第一感测单元感测到的可见光。
此后，噪声消除单元2410计算从第二噪声值减去第一噪声值而得到的差值，并且可按照将加权值乘以所述差值的方式计算不含噪声的深度值[S1682]。
在这种情况下，第二噪声值与第一噪声值之间的差值可对应于消除了噪声的纯红外光的深度值。
并且，加权值可对应于反映第一感测单元的各个像素的灵敏度特性的值。
图32是示出第一感测单元和第二感测单元的光灵敏度特性的曲线图。
如图32所示，根据光的波长范围，能够知道第一感测单元和第二感测单元的光灵敏度特性彼此不同。
例如，如图28所示，第一感测单元的各个像素的灵敏度与第二感测单元的灵敏度之间可能存在大约3.5倍的灵敏度差异。
具体地讲，在被配置为感测红色波长范围的光的第一感测单元的第一像素、被配置为感测绿色波长范围的光的第一感测单元的第二像素和被配置为感测蓝色波长范围的光的第一感测单元的第三像素当中，如果对红光的灵敏度、对绿光的灵敏度和对蓝光的灵敏度彼此相似，则能够知道被配置为感测红外光的第二感测单元的灵敏度比第一感测单元的灵敏度高大约3.5倍。
因此，当计算不含噪声的深度值时，将第二噪声值与第一噪声值之间的差值乘以加权值以消除灵敏度差异。
此后，比较单元2430可将不含噪声的深度值与第一感测单元的物理噪声值进行比较，以发现不含噪声的深度值是否大于第一感测单元的物理噪声值[S1683]。
此后，如果确定不含噪声的深度值大于第一感测单元的物理噪声值，则最终深度值确定单元2450可将不含噪声的深度值确定为第一深度图像信息的最终深度值[S1684]。
在这种情况下，如果不含噪声的深度值大于第一感测单元的物理噪声值，则可对深度图像的灵敏度和对比度的增强产生影响。然而，如果不含噪声的深度值等于或小于第一感测单元的物理噪声值，则不对深度图像的灵敏度和对比度的增强产生影响。因此，不含噪声的深度值可被忽略。
图33和图34是根据第一深度图像信息和第二深度图像信息是否结合来将深度图像的对比度彼此比较的示图。图33是第一深度图像信息和第二深度图像信息未结合的情况的示图，图34是第一深度图像信息和第二深度图像信息结合的情况的示图。
如图33所示，如果利用仅由图3所示的第二感测单元1120感测的第二深度图像信息来实现对象的3D图像，而没有结合第一深度图像信息，则关于对象的深度图像信息可能劣化。
然而，如图34所示，如果经由第一感测单元提取不含噪声的第一深度图像信息，经由第二感测单元提取第二深度图像信息，然后将不含噪声的第一深度图像信息和第二深度图像信息结合，则能够知道对象的深度图像的灵敏度和对比度显著改进。
因此，根据本发明，由于能够利用包括被配置为感测可见光的第一感测单元和被配置为感测红外光的第二感测单元的光接收单元同时处理彩色图像和深度图像，所以配置简单并且3D图像处理时间和总成本可降低。
并且，根据本发明，通过按照增加彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的红外光的曝光时间的方式增强深度图像的灵敏度和对比度，可改进三维图像的深度，其中通过将光接收单元的分辨率从第一分辨率切换为比第一分辨率低的第二分辨率来增加红外光的曝光时间。
并且，根据本发明，当获得深度图像信息时，由于不仅可从光接收单元的第二感测单元所感测的红外光提取深度图像信息，而且可从光接收单元的第一感测单元所感测的红外光提取深度图像信息，所以深度图像的灵敏度和对比度增强，从而改进了3D图像的深度。
尽管参照其优选实施方式描述和示出了本发明，但是对于本领域技术人员而言将明显的是，在不脱离本发明的精神和范围的情况下，可对本发明进行各种修改和变化。因此，本发明旨在覆盖落入所附权利要求书及其等同物的范围内的本发明的修改和变化。
本申请要求提交于2014年10月27日的韩国专利申请No.10-2014-0146171的在先申请日和优先权，通过引用将其全部内容并入本文。
本申请还要求提交于2013年11月12日的美国临时申请No.61/903,364的利益，通过引用将其全部内容并入本文。

Claims (20)

1.一种由数字装置处理的三维3D图像的处理方法，所述数字装置包含光接收单元和光发射单元，其中，所述光接收单元由被配置为感测可见光的第一感测单元和被配置为感测红外光的第二感测单元构成，并且所述光发射单元发射所述红外光，所述方法包括以下步骤：
将所述光接收单元的分辨率从第一分辨率切换为比该第一分辨率低的第二分辨率；
从规定的对象感测所述可见光和所述红外光；
在第一时间期间从所述光接收单元的所述第一感测单元所感测的可见光提取彩色图像信息；
在第二时间期间从所述光接收单元的所述第二感测单元所感测的红外光提取深度图像信息；
确定所述对象的所述彩色图像信息和所述深度图像信息二者的提取是否完成；以及
如果所述对象的所述彩色图像信息和所述深度图像信息二者的提取完成，则基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像。
2.根据权利要求1所述的方法，将所述光接收单元的分辨率从所述第一分辨率切换为比所述第一分辨率低的所述第二分辨率的步骤还包括以下步骤：
接收图像模式请求信号；
如果所述图像模式请求信号对应于3D图像模式请求信号，则检查所述光接收单元的分辨率模式；以及
如果所述光接收单元的分辨率对应于所述第一分辨率，则将所述光接收单元的分辨率从所述第一分辨率切换为比所述第一分辨率低的所述第二分辨率。
3.根据权利要求2所述的方法，该方法还包括以下步骤：
如果所述图像模式请求信号对应于2D图像模式请求信号，则检查所述光接收单元的分辨率模式；以及
如果所述光接收单元的分辨率对应于所述第二分辨率，则将所述光接收单元的分辨率从所述第二分辨率切换为比所述第二分辨率高的所述第一分辨率。
4.根据权利要求1所述的方法，该方法还包括以下步骤：在感测所述可见光和所述红外光的步骤之前，在所述第一时间期间通过关闭所述光发射单元的操作来不输出所述红外光，或者在所述第二时间期间通过打开所述光发射单元来向所述对象输出所述红外光。
5.根据权利要求4所述的方法，其中，所述光发射单元的操作时间对应于所述彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的时间。
6.根据权利要求4所述的方法，其中，重复地依次执行在所述第一时间期间不输出所述红外光的步骤和在所述第二时间期间输出所述红外光的步骤。
7.根据权利要求1所述的方法，其中，重复地依次执行在所述第一时间期间提取所述彩色图像信息的步骤和在所述第二时间期间提取所述深度图像信息的步骤。
8.根据权利要求1所述的方法，在所述第一时间期间提取所述彩色图像信息的步骤还包括以下步骤：
在所述第一时间期间检测由所述第一感测单元感测的所述可见光的光量；
将所检测到的所述可见光的光量转换为电信号；以及
从所述可见光提取彩色图像信息。
9.根据权利要求1所述的方法，在所述第二时间期间提取所述深度图像信息的步骤还包括以下步骤：
在所述第二时间期间检测由所述第二感测单元感测的所述红外光的光量；
将所检测到的所述红外光的光量转换为电信号；以及
从所述红外光提取深度图像信息。
10.一种数字装置，该数字装置包括：
接收单元，该接收单元被配置为接收二维2D或三维3D图像模式请求信号；
光接收单元，该光接收单元被配置为包含第一感测单元和第二感测单元，该第一感测单元从规定的对象感测与光谱的可见区域对应的可见光，该第二感测单元从规定的对象感测与光谱的红外区域对应的红外光；
图像处理单元，该图像处理单元被配置为在第一时间期间从所述第一感测单元提取彩色图像信息并且在第二时间期间从所述第二感测单元提取深度图像信息；
3D图像实现单元，该3D图像实现单元被配置为基于所提取的彩色图像信息和深度图像信息实现所述对象的3D图像；以及
控制单元，如果接收到所述3D图像模式请求信号，则所述控制单元被配置为检查所述光接收单元的分辨率模式，如果所述光接收单元的分辨率对应于第一分辨率，则所述控制单元被配置为将所述光接收单元的分辨率从所述第一分辨率切换为比所述第一分辨率低的第二分辨率，所述控制单元被配置为控制所述光接收单元、所述图像处理单元和所述3D图像实现单元。
11.根据权利要求10所述的数字装置，其中，所述第一感测单元被配置为包含感测红光的第一像素、感测绿光的第二像素以及感测蓝光的第三像素。
12.根据权利要求10所述的数字装置，其中，所述第一感测单元被配置为包含感测黄光的第四像素、感测青光的第五像素以及感测品红光的第六像素。
13.根据权利要求10所述的数字装置，其中，所述第一感测单元被配置为包含感测红光的第一像素、感测绿光的第二像素、感测蓝光的第三像素以及感测白光、黄光、青光和品红光中的一种的第七像素。
14.根据权利要求10所述的数字装置，该数字装置还包括光发射单元，该光发射单元被配置为根据所述控制单元的控制信号在所述第一时间期间不输出所述红外光并且在所述第二时间期间输出所述红外光。
15.根据权利要求14所述的数字装置，其中，所述光发射单元的操作时间对应于所述彩色图像信息的前一帧的结束时间与下一帧的开始时间之间的时间。
16.根据权利要求14所述的数字装置，该数字装置还包括定时器，该定时器被配置为根据所述控制单元的控制信号测量关闭所述光发射单元的操作的第一时间以及打开所述光发射单元的操作的第二时间。
17.根据权利要求10所述的数字装置，该数字装置还包括存储单元，该存储单元被配置为存储由所述图像处理单元提取的所述彩色图像信息和所述深度图像信息。
18.根据权利要求10所述的数字装置，其中，所述图像处理单元被配置为包含第一图像处理单元和第二图像处理单元，该第一图像处理单元在所述第一时间期间从所述第一感测单元所感测的可见光提取彩色图像信息，该第二图像处理单元在所述第二时间期间从所述第二感测单元所感测的红外光提取第二深度图像信息。
19.根据权利要求18所述的数字装置，其中，所述第一图像处理单元被配置为包含第一检测单元、第一转换单元和彩色图像信息提取单元，该第一检测单元在所述第一时间期间检测由所述第一感测单元感测的所述可见光的光量，该第一转换单元将所检测到的所述可见光的光量转换为电信号，该彩色图像信息提取单元从所述可见光提取彩色图像信息。
20.根据权利要求18所述的数字装置，其中，所述第二图像处理单元被配置为包含第二检测单元、第二转换单元和深度图像信息提取单元，该第二检测单元在所述第一时间期间检测由所述第二感测单元感测的所述红外光的光量，该第二转换单元将所检测到的所述红外光的光量转换为电信号，该深度图像信息提取单元从所述红外光提取深度图像信息。
CN201410645866.8A 2013-11-12 2014-11-12 数字装置及其处理三维图像的方法 Active CN104702933B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361903364P 2013-11-12 2013-11-12
US61/903,364 2013-11-12
KR1020140146171A KR102224489B1 (ko) 2013-11-12 2014-10-27 디지털 디바이스 및 그의 3차원 영상 처리 방법
KR10-2014-0146171 2014-10-27

Publications (2)

Publication Number Publication Date
CN104702933A true CN104702933A (zh) 2015-06-10
CN104702933B CN104702933B (zh) 2017-01-11

Family

ID=51900190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410645866.8A Active CN104702933B (zh) 2013-11-12 2014-11-12 数字装置及其处理三维图像的方法

Country Status (3)

Country Link
US (1) US9619885B2 (zh)
EP (1) EP2871843B1 (zh)
CN (1) CN104702933B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
CN108648225A (zh) * 2018-03-31 2018-10-12 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN108958689A (zh) * 2018-07-27 2018-12-07 广州视源电子科技股份有限公司 显示屏状态控制系统、状态控制方法、装置和存储介质
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
CN111654626A (zh) * 2020-06-05 2020-09-11 合肥泰禾光电科技股份有限公司 一种包含深度信息的高分辨率相机
WO2020192039A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional localization using light-depth images
US11946733B2 (en) 2020-10-14 2024-04-02 Eys3D Microelectronics Co. Image rendering device and image rendering method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
CN106204541A (zh) * 2016-06-29 2016-12-07 南京雅信科技集团有限公司 基于可见光与红外光结合的轨道异物侵限探测方法
US10764515B2 (en) * 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
DE112018000926T5 (de) * 2017-02-21 2019-10-31 Nanolux Co. Ltd. Festkörperabbildungsbauelement und abbildungsvorrichtung
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
WO2019075473A1 (en) 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
CN108510538B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1723564A (zh) * 2003-11-10 2006-01-18 松下电器产业株式会社 成像装置及成像方法
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN102791509A (zh) * 2010-03-11 2012-11-21 丰田自动车株式会社 图像位置调节装置
CN102934025A (zh) * 2010-06-30 2013-02-13 富士胶片株式会社 摄像装置及摄像方法
US20130050425A1 (en) * 2011-08-24 2013-02-28 Soungmin Im Gesture-based user interface method and apparatus
US20130107005A1 (en) * 2011-11-02 2013-05-02 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103430557A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理设备和图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641822B2 (en) * 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
US20130258112A1 (en) * 2010-12-21 2013-10-03 Zamir Recognition Systems Ltd. Visible light and ir hybrid digital camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1723564A (zh) * 2003-11-10 2006-01-18 松下电器产业株式会社 成像装置及成像方法
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统
CN102791509A (zh) * 2010-03-11 2012-11-21 丰田自动车株式会社 图像位置调节装置
CN102934025A (zh) * 2010-06-30 2013-02-13 富士胶片株式会社 摄像装置及摄像方法
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN103430557A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理设备和图像处理方法
US20130050425A1 (en) * 2011-08-24 2013-02-28 Soungmin Im Gesture-based user interface method and apparatus
US20130107005A1 (en) * 2011-11-02 2013-05-02 Samsung Electronics Co., Ltd. Image processing apparatus and method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN105686936B (zh) * 2016-01-12 2017-12-29 浙江大学 一种基于rgb‐ir相机的声音编码交互系统
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
CN108648225A (zh) * 2018-03-31 2018-10-12 深圳奥比中光科技有限公司 目标图像获取系统与方法
WO2019184185A1 (zh) * 2018-03-31 2019-10-03 深圳奥比中光科技有限公司 目标图像获取系统与方法
US11445163B2 (en) 2018-03-31 2022-09-13 Orbbec Inc. Target image acquisition system and method
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
CN108958689A (zh) * 2018-07-27 2018-12-07 广州视源电子科技股份有限公司 显示屏状态控制系统、状态控制方法、装置和存储介质
WO2020192039A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional localization using light-depth images
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN111654626A (zh) * 2020-06-05 2020-09-11 合肥泰禾光电科技股份有限公司 一种包含深度信息的高分辨率相机
US11946733B2 (en) 2020-10-14 2024-04-02 Eys3D Microelectronics Co. Image rendering device and image rendering method

Also Published As

Publication number Publication date
US9619885B2 (en) 2017-04-11
EP2871843A3 (en) 2015-07-22
US20150130908A1 (en) 2015-05-14
CN104702933B (zh) 2017-01-11
EP2871843A2 (en) 2015-05-13
EP2871843B1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
CN104702933A (zh) 数字装置及其处理三维图像的方法
US11095808B2 (en) Terminal and method for controlling the same
CN102778947B (zh) 电子设备及无接触控制电子设备的方法
KR101504237B1 (ko) 이동 단말기 및 그 제어방법
KR102063102B1 (ko) 이동 단말기 및 그것의 제어방법
KR101660505B1 (ko) 이동 단말기 및 그 제어방법
US20180031728A1 (en) Proximity Sensor, Camera Module Comprising Same, and Mobile Terminal Comprising Same
CN105242556A (zh) 智能设备的语音控制方法、装置、控制设备及智能设备
CN104836889A (zh) 移动终端及其控制方法
KR20150009069A (ko) 이동 단말기 및 그것의 제어 방법
CN107132977A (zh) 一种触屏边缘滑动的快捷操作方法及其装置
CN105094673A (zh) 应用快速启动方法和装置
JP2019511134A (ja) 上り信号を送信する方法及び装置
KR20150056504A (ko) 이동 단말기 및 그 제어방법
US11864255B2 (en) Method and apparatus for accessing base station
CN105391842A (zh) 移动终端及其控制方法
KR101763227B1 (ko) 이동 단말기의 제어 장치 및 그 방법
CN104735259B (zh) 移动终端拍摄参数设置方法、装置及移动终端
KR20150059473A (ko) 이동 단말기 및 지문 정보를 이용한 멀티-디바이스 연동방법
CN105934047B (zh) 一种控制智能灯的方法、装置及系统
KR20140125630A (ko) 이동 단말기의 제어 장치 및 그 제어 방법
KR20120109151A (ko) 이동 단말기 및 그 제어방법
CN105975186A (zh) 一种图片查找显示方法及终端
KR20130129746A (ko) 이동 단말기 및 그것의 제어방법
KR20140090479A (ko) 통화 제어 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant