CN105321159A - 手持式电子装置、图像提取装置及景深信息的获取方法 - Google Patents

手持式电子装置、图像提取装置及景深信息的获取方法 Download PDF

Info

Publication number
CN105321159A
CN105321159A CN201410459327.5A CN201410459327A CN105321159A CN 105321159 A CN105321159 A CN 105321159A CN 201410459327 A CN201410459327 A CN 201410459327A CN 105321159 A CN105321159 A CN 105321159A
Authority
CN
China
Prior art keywords
depth
time
flight
view information
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410459327.5A
Other languages
English (en)
Other versions
CN105321159B (zh
Inventor
林君达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN105321159A publication Critical patent/CN105321159A/zh
Application granted granted Critical
Publication of CN105321159B publication Critical patent/CN105321159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

手持式电子装置、图像提取装置及景深信息的获取方法。图像提取装置包括飞行时间图像提取器、飞行时间控制器、主图像提取器、次图像提取器以及控制器。飞行时间控制器依据TOF图像数据计算出TOF景深地图，依据TOF景深地图定义有效区域范围及非有效区域范围，并获得有效区域范围的第一组景深信息。主、次图像提取器分别取得第一及第二图像数据。控制器比对第一、第二图像数据以获得非有效区域范围的第二组景深信息，并结合第一组景深信息及第二组景深信息以获得全幅景深地图。

Description

手持式电子装置、图像提取装置及景深信息的获取方法
技术领域
本发明涉及一种图像提取器，且特别涉及一种图像提取器的景深信息的获得方法。
背景技术
随着电子科技的进步，消费性电子产品日渐普及，而其中，手持式电子装置尤其是近几年来的产品主流。而在手持式电子装置中提供高质量的图像提取功能，也是其中一个重要的趋势。
为提取到高质量图像，关于图像物体的景深的计算是很重要的。在已知的技术领域中，可以通过在手持式电子装置上配置多个图像提取器，并通过不同图像提取器获取的图像间的偏移，来进行景深信息的计算。这样的作法在物体与取像者间的物距过小时，由于图像偏移量过大而容易造成计算所得的景深信息有大的误差。此外，若当图像中包括是一个平整面，或者无明显的线条(如灰墙、白纸等物体)物体，通过上述的已知的作法，是无法精确的计算出这些物体的景深信息。
据此，提供一个可完整且精确的计算出图像景深信息的作法，为本领域设计者的重要课题。
发明内容
本发明提供一种图像提取装置及其景深信息的获取方法，可得到更完整且精确的景深地图信息。
本发明还提供一种手持式电子装置，其图像提取装置可得到更完整且精确的景深地图信息。
本发明的图像提取装置包括飞行时间(TOF)图像提取器、飞行时间控制器、主图像提取器、次图像提取器以及控制器。飞行时间图像提取器用以进行取像动作并输出TOF图像数据，次图像提取器用以进行取像动作并取得第二图像数据。控制器耦接飞行时间图像提取器以及主图像提取器，并用于比对第一图像数据及第二图像数据在非有效区域范围内的图像数据，以获得对应非有效区域范围的第二组景深信息，以及结合第一组景深信息及第二组景深信息以获得全幅景深地图。
本发明的图像提取装置包括飞行时间图像提取器、飞行时间控制器、主图像提取器以及控制器。飞行时间(TOF)图像提取器，用以进行取像动作并输出TOF图像数据。飞行时间控制器耦接飞行时间图像提取器并依据TOF图像数据计算出TOF景深地图，依据TOF景深地图定义有效区域范围及非有效区域范围，并自TOF图像数据提取对应有效区域范围的第一组景深信息。主图像提取器用以进行取像动作并取得第一图像数据。控制器耦接飞行时间图像提取器以及主图像提取器，用于比对第一图像数据及TOF图像数据在非有效区域范围内的图像数据，以获得对应非有效区域范围的第二组景深信息，并且，结合第一组景深信息及第二组景深信息以获得全幅景深地图。
本发明的手持式电子装置包括主机以及图像提取装置。图像提取装置包括飞行时间(TOF)图像提取器、飞行时间控制器、主图像提取器、次图像提取器以及控制器。飞行时间图像提取器用以进行取像动作并输出TOF图像数据，次图像提取器用以进行取像动作并取得第二图像数据。控制器耦接飞行时间图像提取器以及主图像提取器，并用于比对第一图像数据及第二图像数据在非有效区域范围内的图像数据，以获得对应非有效区域范围的第二组景深信息，以及结合第一组景深信息及第二组景深信息以获得全幅景深地图。
本发明的景深信息的获取方法包括：分别通过飞行时间图像提取器、主图像提取器以及次图像提取器来分别提取TOF图像数据、第一图像数据以及第二图像数据；获得TOF图像数据的有效区域范围以及非有效区域范围，并产生有效区域范围的第一组景深信息；依据TOF图像数据、第一、第二图像数据的其中之二来计算非有效区域范围的区域图像的第二组景深信息；以及，依据第一组景深信息以及第二组景深信息来产生全幅景深地图。
基于上述，本发明藉由配合飞行时间图像提取器以及图像提取器来进行景深地图的计算。图像数据中具有近距离以及中距离的物距的物体可由飞行时间图像提取器来进行计算，而图像数据中具有较远距离物距的物体则可依据飞行时间图像提取器以及图像提取器所提取的图像数据来进行计算，如此一来，图像数据中不同距离的物体可以分别依据较佳的计算方式来获得。更完整且精准的景深地图信息可以因此而获得。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1A绘示本发明实施例的图像提取器的示意图。
图1B绘示本发明实施例的图像提取装置100的另一实施方式的示意图。
图2绘示本发明另一实施例的图像提取器的示意图。
图3A～图3C绘示本发明实施例的图像区域范围的示意图。
图4绘示飞行时间图像提取器的动作示意图。
图5绘示景深信息计算的示意图。
图6绘示本发明再一实施例的图像提取装置的示意图。
图7绘示本发明实施例的手持式电子装置的示意图。
图8绘示本发明实施例的景深信息的获取方法的流程图。
【符号说明】
100、200、600、810：图像提取装置
110、210、610：飞行时间图像提取器
IMG1、IMG2：图像数据
TIMG：TOF图像数据
DEP1、DEP2、DEP1A、DEP2A：景深信息
120、220、620、812：主图像提取器
140、270：次图像提取器
101：集成电路
150、250、670：飞行时间控制器
130、230、630：控制器
DEP_MAP：全幅景深地图
240、640、740：电磁信号发射器
CMD：发射命令
IR1、IR11、IR12：电磁波信号
RIR1、RIR11、RIR12：反射电磁波信号
OA1～OA2、O1～O5、OB1：物体
R2：非有效区域范围
R1：有效区域范围
D、d：距离
A：视角差
611、711：TOF图像传感器
671、712：TOF图像景深计算器
CTR：控制信号
642、742：信号发射接口
641：信号发射控制器
631：景深计算器
632：景深地图合成器
660：存储装置
MB：主体
800：手持式电子装置
S1：表面
S810～S840：景深信息的获取步骤
具体实施方式
请参照图1A，图1A绘示本发明实施例的图像提取器的示意图。在图1A中，图像提取装置100包括飞行时间(timeofflight，TOF)图像提取器110、主图像提取器120、次图像提取器140、飞行时间控制器150以及控制器130。飞行时间图像提取器110用以执行取像动作(例如拍照)以获得并输出图像TOF数据TIMG。飞行时间控制器150针对TOF数据TIMG进行判断，以藉此获得TOF景深地图。飞行时间控制器150并依据TOF景深地图来定义出TOF图像数据TIMG中的有效区域范围以及非有效区域范围。并且，飞行时间控制器150可计算出TOF图像数据TIMG中的有效区域范围的第一组景深信息DEP1。
在本实施例中，飞行时间图像提取器110以及飞行时间控制器150可被整合在一个集成电路101中。
在此，飞行时间图像提取器110可通过发送一个电磁波信号至物体上，并通过接收由物体反射回的反射电磁波信号来计算出物体与飞行时间图像提取器110间的物距。上述的电磁波信号可以是不可见光的信号，例如红外线。因此，当物体与飞行时间图像提取器110间的物距过大时，飞行时间图像提取器110所检测出的物距的误差值可能会过大。也因此，飞行时间图像提取器110可依据TOF景深地图以设定TOF图像数据TIMG中物距过大的物体为非有效区域范围的物体，并设定TOF图像数据TIMG中物距小于一定范围中的物体为有效区域范围的物体。
具体来说明，飞行时间控制器150可针对TOF图像数据TIMG中的多个物体与飞行时间图像提取器110间的物距来进行判断，并依据各物体的物距是否大于一个临界值来判断各物体是否属于有效区域范围或是非有效区域范围。也就是说，当TOF图像数据TIMG中的物体的物距大于预设的临界值，表示此物体属于非有效区域范围，相对的，当TOF图像数据TIMG中的物体的物距不大于预设的临界值，表示此物体属于有效区域范围。在本发明实施例中，上述的预设可以设定为1公尺。
主图像提取器120用来提取图像数据IMG1，次图像提取器140则用来提取图像数据IMG2。并且，图像数据IMG1、IMG2以及飞行时间控制器150所获得的有效区域范围的第一组景深信息DEP1都可被传送至控制器130。控制器130可依据图像数据IMG1以及IMG2来计算出TOF图像数据TIMG中的非有效区域范围的第二组景深信息，并将有效区域范围的第一组景深信息DEP1以及非有效区域范围的第二组景深信息进行整合，来获得全幅景深地图DEP_MAP。
也就是说，在本发明实施例中，利用飞行时间图像提取器110以及飞行时间控制器150来建立近距离以及中距离物距的物体的第一组景深信息(也就是有效区域范围的景深信息)，再利用图像数据IMG1以及IMG2以计算出中远距离、远距离以及无限远距离的物体的第二组景深信息(也就是非有效区域范围的景深信息)。如此一来，图像数据中的所有物体的景深信息可以分别的被精准计算出，从而获得完整且准确的全幅景深地图DEP_MAP。
以下请参照图1B，图1B绘示本发明实施例的图像提取装置100的另一实施方式的示意图。在图1B中，图像提取装置100包括飞行时间图像提取器110、主图像提取器120、飞行时间控制器150以及控制器130。在图1B的实施方式中，控制器130可依据飞行时间图像提取器110以及飞行时间控制器150所获得的TOF图像数据TIMG来配合主图像提取器120所获得的图像数据IMG1以进行第二组景深信息的计算。并且，控制器130可依据飞行时间控制器150所获得的第一组景深信息与上述的第二组景深信息进行合成，来产生全幅景深地图DEP_MAP。
以下请参照图2，图2绘示本发明另一实施例的图像提取器的示意图。在图2中，图像提取装置200包括飞行时间图像提取器210、主图像提取器220、控制器230、飞行时间控制器250以及电磁信号发射器240。在本实施例中，电磁信号发射器240与飞行时间控制器250相耦接，且电磁信号发射器240受控于飞行时间控制器250所发送的发射命令CMD。具体来说明，当飞行时间图像提取器210要进行图像提取动作时，飞行时间控制器250通过发射命令CMD来驱动电磁信号发射器240以发送电磁波信号IR1。而电磁波信号IR1在碰触到物体后，所产生的反射电磁波信号RIR1则由飞行时间图像提取器210所接收。飞行时间控制器250通过电磁波信号IR1发射的时间点以及接收到反射电磁波信号RIR1的时间点的时间差，可以计算出电磁波信号IR1以及反射电磁波信号RIR1的飞行时间，并可藉此计算出物体与飞行时间图像提取器210间的物距。
在此，电磁波信号IR1针对一个区域范围进行发送，在区域范围中的多个物体皆可形成介质来产生反射电磁波信号RIR1。飞行时间控制器250则可依据反射电磁波信号RIR1来建立出TOF图像数据TIMG。在此请参照图4，其中，图4绘示飞行时间图像提取器210以及飞行时间控制器250的动作示意图。在图4中，电磁信号发射器240在一定范围中发送出多个电磁波信号IR11以及IR12，而人员物体OA1以及椅子物体OA2分别接收到电磁波信号IR11以及IR12，并分别反射出反射电磁波信号RIR11以及RIR12。飞行时间图像提取器210则可接收反射电磁波信号RIR11以及RIR12，飞行时间控制器250并藉由计算人员物体OA1以及椅子物体OA2与飞行时间图像提取器210间的物距来计算出TOF图像数据TIMG。附带一提的，上述可被飞行时间图像提取器210接收的反射电磁波信号的范围即为飞行时间图像提取器210的视野(FieldOfView，FOV)。
另外，飞行时间控制器250可以依据所计算出的物体的物距来定义出TOF图像数据TIMG中的有效区域范围以及非有效区域范围。以下请同时参照图2以及图3A～图3C，其中图3A～图3C绘示本发明实施例的图像区域范围的示意图。在图3A中，飞行时间图像提取器210所提取的图像中具有多个物体，例如太阳物体O1、山物体O2、房子物体O3、人员物体O4以及小花物体O5。而其中的太阳物体O1及山物体O2具有较远的物距，而房子物体O3、人员物体O4以及小花物体O5则具有较近的物距。
飞行时间图像提取器210可依据各物体的物距进行规划，其中，房子物体O3、人员物体O4以及小花物体O5被规划属于有效区域范围R1(如图3B)，太阳物体O1以及山物体O2则被规划属于非有效区域范围R2(如图3C)。
附带一提的是，在非有效区域范围R2中的物体，在图像数据IMG1中所呈现的图像质量可能是模糊不清的。
请重新参照图2，关于控制器230依据图像数据IMG1以及IMG2来计算出非有效区域的景深信息的部分，请同步参照图2及图5，其中图5绘示景深信息计算的示意图。在图5中，主图像提取器220以及次图像提取器270配置在图像提取装置200上。主图像提取器220以及次图像提取器270的距离为d，并分别针对物体OB1进行取像动作。并且，图像提取装置200与物体OB1间的距离为D，而主图像提取器220以及次图像提取器270与物体OB1间所产生的视角差则为A。如此，物体OB1的景深信息DEPTH如下式所示：
DEPTH = D 2 × D × tan A 2 × 100 %
附带一提的是，基于主、次图像提取器220及250所分别提供的图像数据IMG及IMG2是用来作为计算非有效区域范围的景深信息，因此，主、次图像提取器220及250可以设定以较远距离的焦距进行对焦，这个焦距可以大于用以判定图像数据中的物体为有效区域范围或非有效区域范围的预设的临界值。
附带一提的是，在图2的实施方式中，飞行时间控制器250内建在控制器230中。
以下请参照图6，图6绘示本发明再一实施例的图像提取装置的示意图。图像提取装置600包括飞行时间图像提取器610、主图像提取器620、控制器630、电磁信号发射器640、飞行时间控制器670以及存储装置660。在本实施例中，飞行时间图像提取器610包括飞行时间(TOF)图像传感器611。飞行时间控制器670包括TOF图像景深计算器671。TOF图像传感器611耦接TOF图像景深计算器671。TOF图像传感器611接收反射电磁波信号RIR1，飞行时间控制器670则可依据反射电磁波信号RIR1产生TOF图像数据TIMG，并依据TOF图像数据TIMG来产生其中有效区域范围的第一组景深信息DEP1。
电磁信号发射器640包括信号发射控制器641以及信号发射接口642。信号发射控制器641耦接至TOF图像提取器610并接收发射命令CMD。信号发射控制器641依据发射命令CMD来产生控制信号CTR，并传送控制信号CTR至信号发射接口642，以驱动信号发射接口642来发送电磁波信号IR1。
在本实施例中，电磁波信号IR1可以是红外线信号，而信号发射接口642可以是红外线发射器，信号发射控制器641则可以是红外线发射器的驱动电路。
控制器630则包括景深计算器631、景深地图合成器632以及飞行时间控制器670。景深计算器631接收图像数据IMG1、IMG2，并依据图像数据IMG1、IMG2来计算非有效区域范围的第二组景深信息DEP2。
值得一提的是，本实施例中更通过设置存储装置660以存储计算出的第一组及第二组景深信息DEP1以及DEP2。景深地图合成器632则可由存储装置660读取景深信息DEP1A(对应景深信息DEP1)以及DEP2A(对应景深信息DEP2)来进行合成，并据以产生全幅景深地图DEP_MAP。
以下请参照图7，图7绘示本发明实施例的手持式电子装置的示意图。手持式电子装置800包括主机MB以及图像提取装置810。图像提取装置810设置在主机MB中，其中图像提取装置810包括电磁信号发射器811、飞行时间图像传感器815、主图像提取器812以及次图像提取器813。电磁信号发射器811以及飞行时间图像传感器815构成飞行时间图像提取器。其中，飞行时间图像提取器、主图像提取器812以及次图像提取器813配置在手持式电子装置800的主机MB的一表面S1上。
关于图像提取装置810如何取得输出图像地图信息的相关实施细节，在前述的多个实施例中都有详尽的说明，以下恕不多赘述。
以下请参照图8，图8绘示本发明实施例的景深信息的获取方法的流程图。其步骤包括，在步骤S810中，分别通过飞行时间图像提取器、主图像提取器以及次图像提取器来分别提取TOF图像数据、第一图像数据以及第二图像数据；并且，在步骤S820中，获得TOF图像数据的有效区域范围以及非有效区域范围，并产生有效区域范围的第一组景深信息。接着，在步骤S830中，依据TOF图像数据、第一、第二图像数据的其中之二来计算非有效区域范围的区域图像的第二组景深信息。且在步骤S840中，依据第一组景深信息以及第二组景深信息来产生全幅景深地图。
关于本实施例各步骤的实施细节，在前述的多个实施例都有详尽的说明，以下恕不多赘述。
综上所述，本发明结合TOF图像提取器以及主、次要图像提取器，通过针对图像数据上具有不同物距的物体，分别进行景深信息的计算，来获得全幅景深地图。如此一来，可以获得更完整且更精确的全幅景深地图，有效提升提取图像的质量。

Claims (28)

1.一种图像提取装置，包括：
飞行时间图像提取器，用以进行取像动作并输出飞行时间图像数据；
飞行时间控制器，耦接该飞行时间图像提取器并依据该飞行时间图像数据计算出飞行时间景深地图，依据该飞行时间景深地图定义有效区域范围及非有效区域范围，并自该飞行时间图像数据提取对应该有效区域范围的第一组景深信息；
主图像提取器，用以进行取像动作并取得第一图像数据；
次图像提取器，用以进行取像动作并取得第二图像数据；以及
控制器，耦接该飞行时间图像提取器以及该主图像提取器，用于：
比对该第一图像数据及该第二图像数据在该非有效区域范围内的图像数据，以获得对应该非有效区域范围的第二组景深信息；以及
结合该第一组景深信息及该第二组景深信息以获得全幅景深地图。
2.如权利要求1所述的图像提取装置，其中该飞行时间图像提取器包括：
电磁信号发射器，发射电磁波信号，
其中，该电磁波信号由物体反射产生反射电磁波信号，该反射电磁波信号由该飞行时间图像提取器接收并通过计算该反射电磁波信号的飞行时间来获得该飞行时间图像数据。
3.如权利要求2所述的图像提取装置，其中该飞行时间控制器用以判断：
在该飞行时间图像数据中，若该物体与该飞行时间图像提取器间的物距大于临界值时，该物体所属的区域为该非有效区域范围，若该物体与该飞行时间图像提取器间的物距不大于该临界值时，该物体所属的区域为该有效区域范围。
4.如权利要求2所述的图像提取装置，其中该飞行时间图像提取器包括：
飞行时间图像传感器，接收并通过计算该反射电磁波信号的飞行时间来获得该飞行时间图像数据；
该飞行时间控制器包括：
飞行时间图像景深计算器，耦接该飞行时间图像传感器，获取该飞行时间图像数据的该有效区域范围以及该非有效区域范围，并产生该有效区域范围的该第一景深信息。
5.如权利要求4所述的图像提取装置，其中该电磁信号发射器包括：
信号发射接口，用以依据控制信号来发射该电磁波信号；以及
信号发射控制器，耦接该飞行时间图像景深计算器，该信号发射控制器由该飞行时间图像景深计算器接收发射命令并依据该发射命令产生该控制信号以驱动该信号发射接口发射该电磁波信号。
6.如权利要求1所述的图像提取装置，其中该控制器包括：
景深计算器，依据该第一及第二组图像数据计算该非有效区域范围的区域图像的该第二组景深信息；以及
景深地图合成器，接收该第一组景深信息以及该第二组景深信息，并将该第一组景深信息以及该第二组景深信息进行合成以产生该全幅景深地图。
7.如权利要求1所述的图像提取装置，其中还包括：
存储装置，耦接该控制器以及该飞行时间控制器，用以存储该第一组景深信息以及该第二组景深信息。
8.如权利要求1所述的图像提取装置，其中该主图像提取器依据至少一个焦距以进行图像提取来获得该第一图像数据，该次图像提取器依据该至少一焦距进行图像提取来获得该第二图像数据，该控制器依据该第一及第二图像数据来产生对应该至少一焦距的一个或多个的该第二组景深信息。
9.如权利要求8所述的图像提取装置，其中该至少一个焦距依据该非有效区域范围进行设置。
10.如权利要求1所述的图像提取装置，其中该飞行时间控制器与该飞行时间图像提取器整合在集成电路中，或者，该飞行时间控制器内建在该控制器中。
11.一种图像提取装置，包括：
飞行时间图像提取器，用以进行取像动作并输出飞行时间图像数据；
飞行时间控制器，耦接该飞行时间图像提取器并依据该飞行时间图像数据计算出飞行时间景深地图，依据该飞行时间景深地图定义有效区域范围及非有效区域范围，并自该飞行时间图像数据提取对应该有效区域范围的第一组景深信息；
主图像提取器，用以进行取像动作并取得第一图像数据；以及
控制器，耦接该飞行时间图像提取器以及该主图像提取器，用于：
比对该第一图像数据及该飞行时间图像数据在该非有效区域范围内的图像数据，以获得对应该非有效区域范围的第二组景深信息；以及
结合该第一组景深信息及该第二组景深信息以获得全幅景深地图。
12.一种手持式电子装置，包括：
主机；以及
图像提取装置，设置在该主机中，包括：
飞行时间图像提取器，用以进行取像动作并输出飞行时间图像数据；
飞行时间控制器，耦接该飞行时间图像提取器并依据该飞行时间图像数据计算出一飞行时间景深地图，依据该飞行时间景深地图定义有效区域范围及非有效区域范围，并自该飞行时间图像数据提取对应该有效区域范围的第一组景深信息；
主图像提取器，用以进行取像动作并取得第一图像数据；
次图像提取器，用以进行取像动作并取得第二图像数据；以及
控制器，耦接该飞行时间图像提取器以及该主图像提取器，用于：
比对该第一图像数据及该第二图像数据在该非有效区域范围内的图像数据，以获得对应该非有效区域范围的第二组景深信息；以及
结合该第一组景深信息及该第二组景深信息以获得全幅景深地图。
13.如权利要求12所述的手持式电子装置，其中该飞行时间图像提取器包括：
电磁信号发射器，设置在该主机中，用以发射电磁波信号，
其中，该电磁波信号由物体反射产生反射电磁波信号，该反射电磁波信号由该飞行时间图像提取器接收并通过计算该反射电磁波信号的飞行时间来获得该飞行时间图像数据。
14.如权利要求12所述的手持式电子装置，其中该飞行时间控制器用以判断：
在该飞行时间图像数据中，若该物体与该飞行时间图像提取器间的物距大于临界值时，该物体所属的区域为该非有效区域范围，若该物体与该飞行时间图像提取器间的物距不大于该临界值时，该物体所属的区域为该有效区域范围。
15.如权利要求13所述的手持式电子装置，其中该飞行时间图像提取器包括：
飞行时间图像传感器，设置在该主机的表面上，接收并通过计算该反射电磁波信号的飞行时间来获得该飞行时间图像数据；
该飞行时间控制器包括：
飞行时间图像景深计算器，耦接该飞行时间图像传感器，获取该飞行时间图像数据的该有效区域范围以及该非有效区域范围，并产生该有效区域范围的该第一景深信息。
16.如权利要求15所述的手持式电子装置，其中该电磁信号发射器包括：
信号发射接口，设置在该主机的该表面上，用以依据控制信号来发射该电磁波信号；以及
信号发射控制器，耦接该飞行时间图像景深计算器，该信号发射控制器由该飞行时间图像景深计算器接收发射命令并依据该发射命令产生该控制信号以驱动该信号发射接口发射该电磁波信号。
17.如权利要求12所述的手持式电子装置，其中该控制器包括：
景深计算器，耦接该主图像提取器，依据该第一、第二组图像数据计算该非有效区域范围的区域图像的该第二组景深信息；以及
景深地图合成器，接收该第一组景深信息以及该第二组景深信息，并将该第一组景深信息以及该第二组景深信息进行合成以产生该全幅景深地图。
18.如权利要求12所述的手持式电子装置，其中还包括：
存储装置，耦接该控制器以及该飞行时间控制器，用以存储该第一组景深信息以及该第二组景深信息。
19.如权利要求12所述的手持式电子装置，其中该主图像提取器依据至少一个焦距以进行图像提取来获得至少一第一变焦图像数据，该次图像提取器依据该至少一焦距进行图像提取来至少一第二变焦图像数据，该控制器依据该至少一第一及第二变焦图像数据来产生对应该至少一焦距的一个或多个的该第二组景深信息。
20.如权利要求19所述的手持式电子装置，其中该至少一个焦距依据该非有效区域范围进行设置。
21.一种景深信息的获取方法，包括
分别通过飞行时间图像提取器、主图像提取器以及次图像提取器来分别提取飞行时间图像数据、第一图像数据以及第二图像数据；
获得该飞行时间图像数据的有效区域范围以及非有效区域范围，并产生该有效区域范围的第一组景深信息；
依据该飞行时间图像数据、该第一、第二图像数据的其中之二来计算该非有效区域范围的区域图像的第二组景深信息；以及
依据该第一组景深信息以及该第二组景深信息来产生全幅景深地图。
22.如权利要求21所述的景深信息的获取方法，其中，通过该飞行时间图像提取器来提取该飞行时间图像数据的步骤包括：
发射电磁波信号，其中，该电磁波信号由物体反射产生反射电磁波信号；
接收该反射电磁波信号并通过计算该反射电磁波信号的飞行时间来获得该飞行时间图像数据。
23.如权利要求22所述的景深信息的获取方法，其中，发射该电磁波信号的步骤包括：
由该飞行时间图像景深计算器接收发射命令；
依据该发射命令产生控制信号以驱动信号发射接口发射该电磁波信号。
24.如权利要求21所述的景深信息的获取方法，其中，获得该飞行时间图像数据的该有效区域范围以及该非有效区域范围的步骤包括：
若该物体与该飞行时间图像提取器间的物距大于临界值时，该物体所属的区域为该非有效区域范围；以及
若该物体与该飞行时间图像提取器间的物距不大于该临界值时，该物体所属的区域为该有效区域范围。
25.如权利要求21所述的景深信息的获取方法，其中，依据该第一组景深信息以及该第二组景深信息来产生该全幅景深地图的步骤包括：
将该第一组景深信息以及该第二组景深信息进行合成以产生该全幅景深地图。
26.如权利要求21所述的景深信息的获取方法，还包括：
存储该第一组景深信息以及该第二组景深信息至存储器装置中。
27.如权利要求21所述的景深信息的获取方法，还包括：
依据至少一焦距以进行取像动作来获得该第一图像数据；
依据该至少一焦距进行取像动作来获得该第二图像数据；以及
依据该第一及第二图像数据来产生对应该至少一焦距的一个或多个的该第二组景深信息。
28.如权利要求27所述的景深信息的获取方法，其中该至少一个焦距依据该非有效区域范围进行设置。
CN201410459327.5A 2014-07-29 2014-09-11 手持式电子装置、图像提取装置及景深信息的获取方法 Active CN105321159B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/445,076 2014-07-29
US14/445,076 US9848181B2 (en) 2014-07-29 2014-07-29 Hand-held electronic apparatus, image capturing apparatus and method for obtaining depth information

Publications (2)

Publication Number Publication Date
CN105321159A true CN105321159A (zh) 2016-02-10
CN105321159B CN105321159B (zh) 2018-08-31

Family

ID=55181440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410459327.5A Active CN105321159B (zh) 2014-07-29 2014-09-11 手持式电子装置、图像提取装置及景深信息的获取方法

Country Status (3)

Country Link
US (1) US9848181B2 (zh)
CN (1) CN105321159B (zh)
TW (1) TWI522968B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147891A (zh) * 2017-05-17 2017-09-08 浙江大学 光轴可调节式三目深度获取摄像机
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质
CN110661940A (zh) * 2018-06-29 2020-01-07 半导体元件工业有限责任公司 具有深度检测的成像系统及操作该成像系统的方法
WO2020038063A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 电子装置和电子装置的控制方法
CN113642355A (zh) * 2020-04-27 2021-11-12 光宝电子(广州)有限公司 可移动式电子装置及其操作方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
KR102640871B1 (ko) * 2018-10-30 2024-02-27 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873416A (zh) * 2009-04-24 2010-10-27 宏达国际电子股份有限公司 影象摄取装置及其影象摄取方法
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
TWI471630B (zh) 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
TWM458748U (zh) 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873416A (zh) * 2009-04-24 2010-10-27 宏达国际电子股份有限公司 影象摄取装置及其影象摄取方法
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JING ZHANG ET AL.: "High Quality Depth Maps from Stereo Matching and ToF Camera", 《2011 INTERNATIONAL CONFERENCE OF SOFT COMPUTING AND PATTERN RECONGNITION》 *
朱江 等: "SR3000三维相机远距离数据滤波算法研究", 《中国科技论文在线》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147891A (zh) * 2017-05-17 2017-09-08 浙江大学 光轴可调节式三目深度获取摄像机
CN107147891B (zh) * 2017-05-17 2019-03-01 浙江大学 光轴可调节式三目深度获取摄像机
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质
CN110661940A (zh) * 2018-06-29 2020-01-07 半导体元件工业有限责任公司 具有深度检测的成像系统及操作该成像系统的方法
WO2020038063A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 电子装置和电子装置的控制方法
CN113642355A (zh) * 2020-04-27 2021-11-12 光宝电子(广州)有限公司 可移动式电子装置及其操作方法

Also Published As

Publication number Publication date
US9848181B2 (en) 2017-12-19
US20160037151A1 (en) 2016-02-04
TWI522968B (zh) 2016-02-21
CN105321159B (zh) 2018-08-31
TW201604837A (zh) 2016-02-01

Similar Documents

Publication Publication Date Title
CN105321159A (zh) 手持式电子装置、图像提取装置及景深信息的获取方法
US11468585B2 (en) Pseudo RGB-D for self-improving monocular slam and depth prediction
CN104885098B (zh) 基于移动装置的文本检测及跟踪
CN103252778B (zh) 用于估计机器人位置的设备及其方法
EP3135033B1 (en) Structured stereo
KR101590256B1 (ko) 스마트 디바이스로 촬영한 동영상을 이용한 3ｄ 이미지 생성 방법
CN102036094B (zh) 一种基于数字分数延时技术的立体匹配方法
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN108769649B (zh) 深度处理器和三维图像设备
CN104205083A (zh) 基于云的数据处理
CN101556696A (zh) 基于阵列摄像机的深度图实时获取算法
JP6384856B2 (ja) 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法
CN107977082A (zh) 一种用于呈现ar信息的方法及系统
WO2018176929A1 (zh) 一种图像背景虚化方法及装置
CN103063193A (zh) 一种利用摄像头测距的方法、装置及电视机
CN104660909A (zh) 图像获取方法、图像获取装置和终端
CN101437171A (zh) 一种具有视频处理速度的三目立体视觉装置
CN103528562A (zh) 一种基于单摄像头检测人眼与显示终端距离的方法
CN103561257A (zh) 一种基于深度参考平面的无干扰的光编码深度提取方法
US11073597B2 (en) Three-dimensional point cloud generated by high-resolution flash LIDAR
CN108432228A (zh) 图像数据的帧同步方法、图像信号处理装置及终端
KR102124964B1 (ko) 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법
CN109753930B (zh) 人脸检测方法及人脸检测系统
CN106294678A (zh) 一种智能机器人的话题发起装置及方法
CN109711421A (zh) 一种数据处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant