CN104811682A - 产生深度信息的装置、产生深度信息的方法和立体摄像机 - Google Patents

产生深度信息的装置、产生深度信息的方法和立体摄像机 Download PDF

Info

Publication number
CN104811682A
CN104811682A CN201510033911.9A CN201510033911A CN104811682A CN 104811682 A CN104811682 A CN 104811682A CN 201510033911 A CN201510033911 A CN 201510033911A CN 104811682 A CN104811682 A CN 104811682A
Authority
CN
China
Prior art keywords
image
light source
eye image
unit
multiple light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510033911.9A
Other languages
English (en)
Other versions
CN104811682B (zh
Inventor
吴炳松
何明哲
叶姵君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
Etron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Etron Technology Inc filed Critical Etron Technology Inc
Publication of CN104811682A publication Critical patent/CN104811682A/zh
Application granted granted Critical
Publication of CN104811682B publication Critical patent/CN104811682B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种产生深度信息的装置、产生深度信息的方法和立体摄像机。所述装置包含多个光源、一图像获取单元、一控制单元及一处理单元。所述多个光源中的每一光源是用以发射一相对应强度的光;所述控制单元是耦接于所述多个光源和所述图像获取单元,用以控制所述多个光源中的每一光源轮流发射所述相对应强度的光,以及控制所述图像获取单元获取对应所述多个光源的多个图像;所述处理单元是耦接于所述图像获取单元,用以在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。因此,根据本发明所产生的深度图而产生的立体图像较不会失真。

Description

产生深度信息的装置、产生深度信息的方法和立体摄像机
技术领域
本发明涉及一种产生深度信息的装置、产生深度信息的方法和立体摄像机,尤其涉及一种利用多个光源中的每一光源发射一相对应强度的光,以产生较正确的深度信息的装置、方法和立体摄像机。
背景技术
在现有技术中,一立体摄像机利用一左眼图像获取单元和一右眼图像获取单元同时获取一系列左眼图像与一系列相对应的右眼图像,利用一搜寻比对单元比对同时显示在一系列左眼图像中的每一左眼图像与一相对应的右眼图像中的每一像素,再利用一三角化单元,根据一三角关系和同时显示在左眼图像与相对应的右眼图像中的每一像素,产生对应左眼图像与右眼图像中的每一相同像素的一深度图,以及利用一处理单元根据对应左眼图像与右眼图像中的每一相同像素的深度图,产生一立体图像。
然而,现有技术所产生的对应左眼图像与右眼图像中的每一相同像素的深度图会因图像的失真而造成产生的深度图是较破碎的。因此,如何输出完整的深度图将是立体摄像机设计者的一项重要课题。
发明内容
本发明的一实施例公开一种产生深度信息的装置。所述产生深度信息的装置包含多个光源、一图像获取单元、一控制单元及一处理单元。所述多个光源中的每一光源是用以发射一相对应强度的光,且所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;所述控制单元是耦接于所述多个光源和所述图像获取单元,用以控制所述多个光源中的每一光源轮流发射所述相对应强度的光,以及控制所述图像获取单元获取对应所述多个光源的多个图像;所述处理单元是耦接于所述图像获取单元,用以在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。
本发明的另一实施例公开一种产生深度信息的方法,其中一产生深度信息的装置包含多个光源、一图像获取单元、一控制单元及一处理单元,所述方法包含所述控制单元控制所述多个光源中的每一光源轮流发射一相对应强度的光,其中所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;所述控制单元控制所述图像获取单元获取对应所述多个光源的多个图像;在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,所述处理单元根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。
本发明的另一实施例公开一种立体摄像机。所述立体摄像机包含一图像获取模块、一深度信息模块、一图像校正单元、一对应单元、一处理单元及一三角化单元。所述图像获取模块包含一第一图像获取单元及一第二图像获取单元。所述第一图像获取单元是用以在一第一时间获取一背景左眼图像;所述第二图像获取单元是用以在所述第一时间获取一背景右眼图像。所述深度信息模块包含多个光源和一控制单元。所述多个光源中的每一光源是用以发射一相对应强度的光,且所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;所述控制单元是耦接于所述多个光源、所述第一图像获取单元和所述第二图像获取单元,用以控制所述多个光源中的每一光源轮流发射所述相对应强度的光,以及控制所述第一图像获取单元和所述第二图像获取单元分别获取对应所述多个光源的多个左眼图像与多个右眼图像。所述图像校正单元是耦接于所述图像获取模块,用以校正所述背景左眼图像与所述背景右眼图像之间的误差,以及所述第一图像获取单元与所述第二图像获取单元之间的误差。所述对应单元是耦接于所述图像校正单元,用以找出同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象,以及找出所述多个左眼图像与对应的所述多个右眼图像之间对应所述多个光源的多个预定区域。所述处理单元是耦接于所述对应单元,用以在所述对应单元找出同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象以及找出对应所述多个光源的多个预定区域后,根据对应所述多个光源的多个预定区域和同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象,产生对应所述多个光源的多个深度信息。所述三角化单元是用以根据一三角关系、所述多个光源的多个深度信息和同时显示在所述背景左眼图像与所述背景右眼图像中的每一相对应对象,产生对应所述背景左眼图像与所述背景右眼图像中的每一相对应对象的一深度图。
本发明公开一种产生深度信息的装置、产生深度信息的方法和立体摄像机。所述装置和所述方法是利用一控制单元控制多个光源中的每一光源轮流发射不同强度的光,利用所述控制单元控制一图像获取单元获取对应每一光源的一图像,以及在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,利用一处理单元根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。另外,所述立体摄像机是利用所述方法辅助所述立体摄像机内的三角化单元产生对应一左眼图像与一相对应的右眼图像中的每一相对应对象的深度图。如此,因为现有技术所产生的对应一左眼图像与一右眼图像中的每一相同对象的深度图是较破碎的,所以本发明所产生的对应所述左眼图像与所述相对应的右眼图像中的每一相对应对象的深度图是较准确完整的。因此,根据本发明所产生的深度图而产生的立体图像较不会失真。
附图说明
图1是本发明一第一实施例公开一种产生深度信息的装置的示意图。
图2是说明背景图像的示意图。
图3是说明图像的示意图。
图4是说明图像的示意图。
图5是说明图像的示意图。
图6是说明处理单元根据对应3个光源的3个图像和背景图像,产生对应3个光源的3个深度信息的示意图。
图7是本发明一第二实施例说明一种产生深度信息的方法的流程图。
图8是本发明一第三实施例公开一种立体摄像机的示意图。
其中,附图标记说明如下:
100                         装置
102、104、106、8042、8044   光源
108                         图像获取单元
110、8046                   控制单元
112、810                    处理单元
800                         立体摄像机
802                         图像获取模块
804                         深度信息模块
806                         图像校正单元
808                         对应单元
812                         三角化单元
8022                        第一图像获取单元
8024                        第二图像获取单元
BI                          背景图像
D1、D2、D3                  距离
DI1、DI2、DI3               深度信息
DIFF1、DIFF2、DIFF3         差异图像
DM                          深度图
F1、F2、F3                  图像
ICR                         图像获取范围
LO1、LO2、LO3               位置
O1、O2、O3、O4              对象
T0、T1、T2、T3              时间
700-710                     步骤
具体实施方式
请参照图1,图1是本发明一第一实施例公开一种产生深度信息的装置100的示意图。如图1所示,装置100包含3个光源102、104、106、一图像获取单元108、一控制单元110及一处理单元112,其中3个光源102、104、106是红外线光源。但本发明并不受限于装置100包含3个光源102、104、106,也就是说装置100可包含多个光源。另外,本发明也不受限于3个光源102、104、106是红外线光源,也就是说3个光源102、104、106中的每一光源可以是具有方向性的可见光源,例如3个光源102、104、106中的每一光源可以是一发光二极管光源或激光光源。另外,本发明也不受限于装置100仅包含一个图像获取单元,也就是说装置100可包含多个图像获取单元。3个光源102、104、106中的每一光源是用以发射一相对应强度的光,例如光源102可发射强度I1的红外光、光源104可发射强度I2的红外光以及光源106可发射强度I3的红外光。控制单元110是耦接于3个光源102、104、106和图像获取单元108,用以在一相对应时间控制3个光源102、104、106中的一光源发射一相对应强度的光,例如控制单元110是耦接于3个光源102、104、106和图像获取单元108,用以在时间T1控制光源102发射强度I1的红外光、在时间T2控制光源104发射强度I2的红外光,以及在时间T3控制光源106发射强度I3的红外光。当控制单元110在时间T1控制光源102发射强度I1的红外光、在时间T2控制光源104发射强度I2的红外光,以及在时间T3控制光源106发射强度I3的红外光时,控制单元110可控制图像获取单元108在时间T1获取对应光源102的一图像F1、在时间T2获取对应光源104的一图像F2以及在时间T3获取对应光源106的一图像F3。另外,控制单元110可控制图像获取单元108在时间T0获取一背景图像BI。处理单元112是耦接于图像获取单元108,用以根据对应3个光源102、104、106的3个图像F1、F2、F3和背景图像BI,产生对应3个光源102、104、106的3个深度信息。
请参照图2、图3、图4和图5,图2是说明背景图像BI的示意图,图3是说明图像F1的示意图,图4是说明图像F2的示意图,和图5是说明图像F3的示意图。如图2所示,当3个光源102、104、106都没有发射相对应的红外光时(时间T0),图像获取单元108可在其图像获取范围ICR内获取对应于一背景光的背景图像BI。如图3所示,当控制单元110在时间T1控制光源102发射强度I1的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源102的图像F1。因为强度I1的红外光可到达一位置LO1(其中位置LO1和装置100相距一距离D1),所以图像获取范围ICR内的一对象O1的亮度会大于图像获取范围ICR内的其他对象(例如对象O2、O3、O4)的亮度。如图4所示,当控制单元110在时间T2控制光源104发射强度I2的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源104的图像F2。因为强度I2的红外光可到达一位置LO2(其中位置LO2和装置100相距一距离D2),所以图像获取范围ICR内的二对象O1、O2的亮度会大于图像获取范围ICR内的其他对象(例如对象O3、O4)的亮度。如图5所示,当控制单元110在时间T3控制光源106发射强度I3的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源106的图像F3。因为强度I3的红外光可到达一位置LO3(其中位置LO3和装置100相距一距离D3),所以图像获取范围ICR内的三对象O1、O2、O3的亮度会大于图像获取范围ICR内的其他对象(例如对象O4)的亮度。
请参照图6,图6是说明处理单元112根据对应3个光源102、104、106的3个图像F1、F2、F3和背景图像BI,产生对应3个光源102、104、106的3个深度信息DI1、DI2、DI3的示意图。如图6所示,在图像F1中,因为图像获取范围ICR内的对象O1的亮度大于图像获取范围ICR内的其他对象(例如对象O2、O3、O4)的亮度,所以处理单元112可根据图像F1和背景图像BI,产生一差异图像DIFF1;在图像F2中,因为图像获取范围ICR内的二对象O1、O2的亮度大于图像获取范围ICR内的其他对象(例如对象O3、O4)的亮度,所以处理单元112可根据图像F2和背景图像BI,产生一差异图像DIFF2;在图像F3中,因为图像获取范围ICR内的三对象O1、O2、O3的亮度大于图像获取范围ICR内的其他对象(例如对象O4)的亮度,所以处理单元112可根据图像F3和背景图像BI,产生一差异图像DIFF3。在处理单元112产生差异图像DIFF1、差异图像DIFF2和差异图像DIFF3后,处理单元112根据差异图像DIFF1、差异图像DIFF2和差异图像DIFF3中的二相邻差异图像DIFF1、DIFF2,产生对应光源104的深度信息DI2,以及根据差异图像DIFF1、差异图像DIFF2和差异图像DIFF3中的二相邻差异图像DIFF2、DIFF3,产生对应光源106的深度信息DI3。另外,因为差异图像DIFF1仅对应光源102,所以在本发明中差异图像DIFF1是等于深度信息DI1。如图6所示,深度信息DI1显示仅有对象O1在位置LO1上。然而,如果图像获取范围ICR内有其他对象也出现在距离D1内,则在距离D1内的其他对象也会出现在深度信息DI1。另外,深度信息DI2和深度信息DI3的产生原理和深度信息DI1相同,在此不再赘述。另外,如图6所示,深度信息DI1、DI2、DI3是概略的深度信息,用以定位相对应的距离(例如距离D1、D2、D3),也就是说深度信息DI1、DI2、DI3并非真正的3D图像。
另外,控制单元110可重复轮流控制光源102、104、106发射相对应强度的光,所以图像获取单元108可在其图像获取范围ICR内获取随时间变化的图像F1、图像F2和图像F3。如此,处理单元112便可根据随时间变化的图像F1、图像F2和图像F3和背景图像BI,产生随时间变化的3个深度信息DI1、DI2、DI3。
另外,在本发明的另一实施例中,3个光源102、104、106中的每一光源可发射一相对应强度且具有一相对应的波长的光。例如光源102可发射强度I1和波长λ1的红外光、光源104可发射强度I2和波长λ2的红外光以及光源106可发射强度I3和波长λ3的红外光。另外,3个光源102、104、106中的每一光源可发射一相对应强度且具有一相对应的波长的光的实施例的其余操作原理都和3个光源102、104、106中的每一光源可发射一相对应强度的光的实施例相同,在此不再赘述。
由于装置100可利用处理单元112产生深度信息DI1、深度信息DI2和深度信息DI3,所以装置100可应用于一需要图像获取范围ICR内深度信息的系统(例如一照相机、一摄像机或一立体摄像机(具有至少二图像获取单元))。另外,因为装置100是利用3个光源102、104、106发射不同强度的红外光,所以装置100可应用于低亮度或单一色光的环境中。
请参照图1至图7,图7是本发明一第二实施例说明一种产生深度信息的方法的流程图。图7的方法是利用图1的产生深度信息的装置100说明,详细步骤如下:
步骤700:开始;
步骤702:控制单元110在对应3个光源102、104、106中的每一光源的一时间控制每一光源发射一相对应强度的光;
步骤704:控制单元110控制图像获取单元108获取对应每一光源的一图像;
步骤706:在图像获取单元108获取对应3个光源102、104、106的3个图像F1、F2、F3和一背景图像BI后,处理单元112根据3个图像F1、F2、F3中的每一图像和背景图像BI,产生3个差异图像DIFF1、DIFF2、DIFF3;
步骤708:处理单元112根据3个差异图像DIFF1、DIFF2、DIFF3中的每二相邻差异图像,产生对应3个光源102、104、106中的每一光源的一深度信息;
步骤710:结束。
在步骤702中,控制单元110在时间T1控制光源102发射强度I1的红外光、在时间T2控制光源104发射强度I2的红外光,以及在时间T3控制光源106发射强度I3的红外光。在步骤704中,如图2所示,当3个光源102、104、106都没有发射相对应的红外光时(时间T0),图像获取单元108可在其图像获取范围ICR内获取对应于一背景光的背景图像BI。如图3所示,当控制单元110在时间T1控制光源102发射强度I1的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源102的图像F1。因为强度I1的红外光可到达一位置LO1(其中位置LO1和装置100相距距离D1),所以图像获取范围ICR内的一对象O1的亮度会大于图像获取范围ICR内的其他对象(例如对象O2、O3、O4)。如图4所示,当控制单元110在时间T2控制光源104发射强度I2的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源104的图像F2。因为强度I2的红外光可到达一位置LO2(其中位置LO2和装置100相距距离D2),所以图像获取范围ICR内的二对象O1、O2的亮度会大于图像获取范围ICR内的其他对象(例如对象O3、O4)。如图5所示,当控制单元110在时间T3控制光源106发射强度I3的红外光时,图像获取单元108可在其图像获取范围ICR内获取对应光源106的图像F3。因为强度I3的红外光可到达一位置LO3(其中位置LO3和装置100相距距离D3),所以图像获取范围ICR内的三对象O1、O2、O3的亮度会大于图像获取范围ICR内的其他对象(例如对象O4)。
在步骤706中,如图3和图6所示,在图像F1中,因为图像获取范围ICR内的对象O1的亮度大于图像获取范围ICR内的其他对象(例如对象O2、O3、O4),所以处理单元112可根据图像F1和背景图像BI,产生差异图像DIFF1;如图4和图6所示,在图像F2中,因为图像获取范围ICR内的二对象O1、O2的亮度大于图像获取范围ICR内的其他对象(例如对象O3、O4),所以处理单元112可根据图像F2和背景图像BI,产生差异图像DIFF2;如图5和图6所示,在图像F3中,因为图像获取范围ICR内的三对象O1、O2、O3的亮度大于图像获取范围ICR内的其他对象(例如对象O4),所以处理单元112可根据图像F3和背景图像BI,产生差异图像DIFF3。在步骤708中,当处理单元112产生差异图像DIFF1、差异图像DIFF2和差异图像DIFF3后,处理单元112根据差异图像DIFF1、差异图像DIFF2和差异图像DIFF3中的二相邻差异图像DIFF1、DIFF2,产生对应光源104的深度信息DI2,以及根据差异图像DIFF1、差异图像DIFF2和差异图像DIFF3中的二相邻差异图像DIFF2、DIFF3,产生对应光源106的深度信息DI3。另外,因为差异图像DIFF1仅对应光源102,所以在本发明中差异图像DIFF1是等于深度信息DI1。
另外,控制单元110可重复步骤702至步骤708轮流控制光源102、104、106发射相对应强度的光,所以图像获取单元108可在其图像获取范围ICR内获取随时间变化的图像F1、图像F2和图像F3。如此,处理单元112便可根据随时间变化的图像F1、图像F2和图像F3和背景图像BI,产生随时间变化的3个深度信息DI1、DI2、DI3。
另外,在本发明的另一实施例中,3个光源102、104、106中的每一光源可发射一相对应强度且具有一相对应的波长的光。例如光源102可发射强度I1和波长λ1的红外光、光源104可发射强度I2和波长λ2的红外光以及光源106可发射强度I3和波长λ3的红外光。另外,3个光源102、104、106中的每一光源可发射一相对应强度且具有一相对应的波长的光的实施例的其余操作原理都和3个光源102、104、106中的每一光源可发射一相对应强度的光的实施例相同,在此不再赘述。
请参照图8,图8是本发明一第三实施例公开一种立体摄像机800的示意图。如图8所示,立体摄像机800包含一图像获取模块802、一深度信息模块804、一图像校正单元806、一对应单元808、一处理单元810及一三角化单元812。图像获取模块802包含一第一图像获取单元8022与一第二图像获取单元8024。但本发明并不受限于图像获取模块802包含第一图像获取单元8022与第二图像获取单元8024,也就是说图像获取模块802可包含多个图像获取单元。第一图像获取单元8022是用以在一第一时间序列(例如时间T1、T4、T7、T10…)获取一第一系列左眼图像(例如L1、L4、L7、L10…);第二图像获取单元8024是用以在第一时间序列获取一第一系列右眼图像(例如R1、R4、R7、R10…)。深度信息模块804包含2个光源8042、8044和一控制单元8046。但本发明并不受限于立体摄像机800包含2个光源8042、8044,也就是说立体摄像机800可包含多个光源。2个光源8042、8044中的每一光源是用以发射一相对应强度的光,例如光源8042可发射强度I1的红外光以及光源8044可发射强度I2的红外光。但本发明并不受限于2个光源8042、8044是红外线光源。控制单元8046是耦接于2个光源8042、8044、第一图像获取单元8022和第二图像获取单元8024,用以在一第二时间序列(例如时间T2、T5、T8、T11…)控制光源8042发射强度I1的红外光,以及控制第一图像获取单元8022和第二图像获取单元8024分别获取对应光源8042的一第二系列左眼图像(例如L2、L5、L8、L11…)与一第二系列右眼图像(例如R2、R5、R8、R11…),以及在一第三时间序列(例如时间T3、T6、T9、T12…)控制光源8044发射强度I2的红外光,以及控制第一图像获取单元8022和第二图像获取单元8024分别获取对应光源8044的一第三系列左眼图像(例如L3、L6、L9、L12…)与一第三系列右眼图像(例如R3、R6、R9、R12…),其中第二时间序列、第三时间序列和第一时间序列不同且互相交错。
如图8所示,图像校正单元806是耦接于图像获取模块802,用以校正第一系列左眼图像(L1、L4、L7、L10…)中每一左眼图像与第一系列右眼图像(R1、R4、R7、R10…)中一相对应的右眼图像之间的几何位置误差,使得左右图像在几何位置上是对齐的。例如图像校正单元806可校正使左眼图像L1中的对象可在其相对应的右眼图像R1的水平位置上(视差)找到。另外,图像校正单元806也用以校正第二系列左眼图像(L2、L5、L8、L11…)中每一左眼图像与第二系列右眼图像(R2、R5、R8、R11…)中一相对应的右眼图像之间的几何位置误差,以及校正第三系列左眼图像(L3、L6、L9、L12…)中每一左眼图像与第三系列右眼图像(R3、R6、R9、R12…)中一相对应的右眼图像之间的几何位置误差。此外,图像校正单元806也用以校正第一图像获取单元8022与第二图像获取单元8024之间的亮度误差、色彩误差或几何误差,例如第一图像获取单元8022与第二图像获取单元8024之间的镜头误差或组装误差。
如图8所示,对应单元808是耦接于图像校正单元806,用以找出同时显示在第一系列左眼图像(L1、L4、L7、L10…)中每一左眼图像与第一系列右眼图像(R1、R4、R7、R10…)中一相对应的右眼图像之间的每一对应对象。例如对应单元808可找出同时显示在左眼图像L1与相对应的右眼图像R1之间的每一对应对象(例如,如图2所示的对象O1、O2、O3、O4)。另外,对应单元808也用以找出第二系列左眼图像(L2、L5、L8、L11…)中每一左眼图像与第二系列右眼图像(R2、R5、R8、R11…)中一相对应的右眼图像之间对应光源8042的一第一预定区域。因为第二系列左眼图像(L2、L5、L8、L11…)与第二系列右眼图像(R2、R5、R8、R11…)是对应光源8042,且强度I1的红外光可到达位置LO1(如图3所示),所以第二系列左眼图像(L2、L5、L8、L11…)中每一左眼图像与第二系列右眼图像(R2、R5、R8、R11…)中一相对应的右眼图像之间对应光源8042的第一预定区域是对应于位置LO1(如图3所示)。另外,对应单元808也用以找出第三系列左眼图像(L3、L6、L9、L12…)中每一左眼图像与第三系列右眼图像(R3、R6、R9、R12…)中一相对应的右眼图像之间对应光源8044的一第二预定区域。因为第三系列左眼图像(L3、L6、L9、L12…)与第三系列右眼图像(R3、R6、R9、R12…)是对应光源8044,且强度I2的红外光可到达位置LO2(如图4所示),所以第三系列左眼图像(L3、L6、L9、L12…)中每一左眼图像与第三系列右眼图像(R3、R6、R9、R12…)中一相对应的右眼图像之间对应光源8044的第二预定区域是对应于位置LO2(如图4所示)。
如图8所示,处理单元810是耦接于对应单元808。在对应单元808找出同时显示在左眼图像L1与相对应的右眼图像R1之间的每一对应对象(例如,如图2所示的对象O1、O2、O3、O4)以及找出左眼图像L2与相对应的右眼图像R2之间对应光源8042的第一预定区域(例如,如图3所示的位置LO1)与找出左眼图像L3与相对应的右眼图像R3之间对应光源8044的第二预定区域(例如,如图4所示的位置LO2)后,处理单元810是根据对应2个光源8042、8044的第一预定区域与第二预定区域和同时显示在左眼图像L1与相对应的右眼图像R1之间的每一对应对象,产生对应2个光源8042、8044的2个深度信息(例如,如图6所示的深度信息DIFF1、DIFF2),其中处理单元810产生对应2个光源8042、8044的2个深度信息的原理和处理单元112产生对应3个光源102、104、106的3个深度信息的原理相同,在此不再赘述。
如图8所示,三角化单元812是耦接于处理单元810,用以根据一三角关系、对应2个光源8042、8044的2个深度信息和同时显示在左眼图像L1与相对应的右眼图像R1之间的每一对应对象,产生对应左眼图像L1与相对应的右眼图像R1中的每一相对应对象的一深度图DM。也就是说立体摄像机800可利用对应2个光源8042、8044的2个深度信息以辅助三角化单元812产生对应左眼图像L1与相对应的右眼图像R1中的每一相对应对象的深度图DM。当三角化单元812产生对应左眼图像L1与相对应的右眼图像R1中的每一相对应对象的深度图DM后,立体摄像机800即可根据深度图DM,产生对应左眼图像L1与相对应的右眼图像R1中的每一相对应对象的立体图像。另外,因为深度图DM是对应左眼图像L1、L2、L3与右眼图像R1、R2、R3,所以对应其余左眼图像与其余右眼图像的深度图也可根据上述原理产生,在此不再赘述。
另外,在本发明的另一实施例中,2个光源8042、8044中的每一光源可发射一相对应强度且具有一相对应的波长的光,其中2个光源8042、8044中的每一光源可发射一相对应强度且具有一相对应的波长的光的实施例的其余操作原理都和2个光源8042、8044中的每一光源可发射一相对应强度的光的实施例相同,在此不再赘述。
综上所述,本发明所公开的产生深度信息的装置和产生深度信息的方法是利用控制单元在对应多个光源中的每一光源的一时间控制每一光源发射一相对应强度的光,利用控制单元控制图像获取单元获取对应每一光源的一图像,以及在图像获取单元获取对应多个光源的多个图像和一背景图像后,利用处理单元根据对应多个光源的多个图像和背景图像,产生对应多个光源的多个深度信息。另外,本发明所公开的立体摄像机是利用产生深度信息的方法辅助立体摄像机内的三角化单元产生对应左眼图像与相对应的右眼图像中的每一相对应对象的深度图。如此,因为现有技术所产生的对应左眼图像与右眼图像中的每一相同对象的深度图是较破碎的,所以本发明所产生的对应左眼图像与相对应的右眼图像中的每一相对应对象的深度图是较准确且可抑制产生的杂点。因此,根据本发明所产生的对应左眼图像与相对应的右眼图像中的每一相对应对象的深度图而产生的立体图像较不会失真。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种产生深度信息的装置,其特征在于包含:
多个光源,其中所述多个光源中的每一光源是用以发射一相对应强度的光,且所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;
一图像获取单元;
一控制单元,耦接于所述多个光源和所述图像获取单元,用以控制所述多个光源中的每一光源轮流发射所述相对应强度的光,以及控制所述图像获取单元获取对应所述多个光源的多个图像;及
一处理单元,耦接于所述图像获取单元,用以在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。
2.如权利要求1所述的装置,其特征在于所述处理单元根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息包含:
所述处理单元根据所述多个图像中的每一图像和所述背景图像,产生多个差异图像;及
所述处理单元根据所述多个差异图像中的每二相邻差异图像,产生对应所述多个光源中的每一光源的一深度信息。
3.如权利要求1所述的装置,其特征在于所述多个光源是一红外线光源。
4.如权利要求1所述的装置,其特征在于所述多个光源中的每一光源具有一相对应的波长。
5.一种产生深度信息的方法,其中一产生深度信息的装置包含多个光源、一图像获取单元、一控制单元及一处理单元,所述方法的特征在于包含:
所述控制单元控制所述多个光源中的每一光源轮流发射一相对应强度的光,其中所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;
所述控制单元控制所述图像获取单元获取对应所述多个光源的多个图像;及
在所述图像获取单元获取对应所述多个光源的多个图像和一背景图像后,所述处理单元根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息。
6.如权利要求5所述的方法,其特征在于在所述图像获取单元获取对应所述多个光源的多个图像和所述背景图像后,所述处理单元根据对应所述多个光源的多个图像和所述背景图像,产生对应所述多个光源的多个深度信息包含:
在所述图像获取单元获取对应所述多个光源的多个图像和所述背景图像后,所述处理单元根据所述多个图像中的每一图像和所述背景图像,产生多个差异图像;及
所述处理单元根据所述多个差异图像中的每二相邻差异图像,产生对应所述多个光源中的每一光源的一深度信息。
7.如权利要求5所述的方法,其特征在于所述多个光源是一红外线光源。
8.如权利要求5所述的方法,其特征在于所述多个光源中的每一光源具有一相对应的波长。
9.一种立体摄像机,包含:
一图像获取模块,包含:
一第一图像获取单元,用以在一第一时间获取一背景左眼图像;及
一第二图像获取单元,用以在所述第一时间获取一背景右眼图像;
其特征在于还包含:
一深度信息模块,包含:
多个光源,其中所述多个光源中的每一光源是用以发射一相对应强度的光,且所述多个光源中的每一光源发射所述相对应强度的光的强度都不同;及
一控制单元,耦接于所述多个光源、所述第一图像获取单元和所述第二图像获取单元,用以控制所述多个光源中的每一光源轮流发射所述相对应强度的光,以及控制所述第一图像获取单元和所述第二图像获取单元另分别获取对应所述多个光源的多个左眼图像与多个右眼图像;
一图像校正单元,耦接于所述图像获取模块,用以校正所述背景左眼图像与所述背景右眼图像之间的误差,所述多个左眼图像中的每一左眼图像与所述多个右眼图像中的一相对应右眼图像,以及所述第一图像获取单元与所述第二图像获取单元之间的误差;
一对应单元,耦接于所述图像校正单元,用以找出同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象,以及找出所述多个左眼图像与对应的所述多个右眼图像之间对应所述多个光源的多个预定区域;
一处理单元,耦接于所述对应单元,用以在所述对应单元找出同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象以及找出对应所述多个光源的多个预定区域后,根据对应所述多个光源的多个预定区域和同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象,产生对应所述多个光源的多个深度信息;及
一三角化单元,用以根据一三角关系、对应所述多个光源的多个深度信息和同时显示在所述背景左眼图像与所述背景右眼图像中的每一相对应对象,产生对应所述背景左眼图像与所述背景右眼图像中的每一相对应对象的一深度图。
10.如权利要求9所述的立体摄像机,其特征在于所述处理单元根据对应所述多个光源的多个预定区域和同时显示在所述背景左眼图像与所述背景右眼图像之间的每一对应对象,产生对应所述多个光源的多个深度信息包含:
所述处理单元根据所述多个预定区域中的每一预定区域和所述背景左眼图像与所述背景右眼图像,产生多个差异图像;及
所述处理单元根据所述多个差异图像中的每二相邻差异图像,产生对应所述多个光源中的每一光源的一深度信息。
11.如权利要求9所述的立体摄像机,其特征在于所述多个光源是一红外线光源。
12.如权利要求9所述的立体摄像机,其特征在于所述多个光源中的每一光源具有一相对应的波长。
13.如权利要求9所述的立体摄像机,其特征在于所述图像校正单元另用以校正所述多个左眼图像与对应的所述多个右眼图像之间的误差。
CN201510033911.9A 2014-01-23 2015-01-23 产生深度信息的装置、产生深度信息的方法和立体摄像机 Expired - Fee Related CN104811682B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103102525A TWI519884B (zh) 2014-01-23 2014-01-23 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
TW103102525 2014-01-23

Publications (2)

Publication Number Publication Date
CN104811682A true CN104811682A (zh) 2015-07-29
CN104811682B CN104811682B (zh) 2017-04-12

Family

ID=53545940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510033911.9A Expired - Fee Related CN104811682B (zh) 2014-01-23 2015-01-23 产生深度信息的装置、产生深度信息的方法和立体摄像机

Country Status (3)

Country Link
US (1) US10033987B2 (zh)
CN (1) CN104811682B (zh)
TW (1) TWI519884B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483774A (zh) * 2016-06-07 2017-12-15 株式会社东芝 拍摄装置以及车辆
WO2018082220A1 (zh) * 2016-11-03 2018-05-11 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108470360A (zh) * 2017-02-23 2018-08-31 钰立微电子股份有限公司 利用非平面投影图像产生深度图的图像装置及其相关方法
CN110009673A (zh) * 2019-04-01 2019-07-12 四川深瑞视科技有限公司 深度信息检测方法、装置及电子设备
CN110868582A (zh) * 2018-08-28 2020-03-06 钰立微电子股份有限公司 具有校正功能的图像获取系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102537416B1 (ko) * 2016-06-03 2023-05-26 우트쿠 부육사힌 3d 이미지를 캡처 및 생성하기 위한 시스템 및 방법
TWI712005B (zh) * 2018-05-22 2020-12-01 呂官諭 多頻譜高精確辨識物體的方法
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
US20130222543A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for generating depth information from image
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
TW201227159A (en) 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
US20130222543A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for generating depth information from image
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483774A (zh) * 2016-06-07 2017-12-15 株式会社东芝 拍摄装置以及车辆
CN107483774B (zh) * 2016-06-07 2020-10-16 株式会社东芝 拍摄装置以及车辆
WO2018082220A1 (zh) * 2016-11-03 2018-05-11 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108377327A (zh) * 2016-11-03 2018-08-07 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108470360A (zh) * 2017-02-23 2018-08-31 钰立微电子股份有限公司 利用非平面投影图像产生深度图的图像装置及其相关方法
CN108470360B (zh) * 2017-02-23 2022-06-17 钰立微电子股份有限公司 利用非平面投影图像产生深度图的图像装置及其相关方法
CN110868582A (zh) * 2018-08-28 2020-03-06 钰立微电子股份有限公司 具有校正功能的图像获取系统
CN110868582B (zh) * 2018-08-28 2022-06-03 钰立微电子股份有限公司 具有校正功能的图像获取系统
CN110009673A (zh) * 2019-04-01 2019-07-12 四川深瑞视科技有限公司 深度信息检测方法、装置及电子设备

Also Published As

Publication number Publication date
US20150208057A1 (en) 2015-07-23
CN104811682B (zh) 2017-04-12
TW201530249A (zh) 2015-08-01
TWI519884B (zh) 2016-02-01
US10033987B2 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
CN104811682A (zh) 产生深度信息的装置、产生深度信息的方法和立体摄像机
US20180376116A1 (en) Method and system for projector calibration
US20190045173A1 (en) Dynamic vision sensor and projector for depth imaging
KR102268377B1 (ko) 멀티-뷰 컨텐츠를 전달하기 위한 디스플레이 시스템 및 방법
US20160117820A1 (en) Image registration method
CN106550228A (zh) 获取三维场景的深度图的设备
US10080009B2 (en) Method and system for obtaining images for 3D reconstruction and method and system for 3D reconstruction
CN102713725B (zh) 显示装置及显示方法
CN103945210A (zh) 一种实现浅景深效果的多摄像头拍摄方法
GB2465072A (en) Combining range information with images to produce new images of different perspective
US8917954B2 (en) Method and apparatus for converting 2D video image into 3D video image
US10218960B2 (en) Stereoscopic imaging apparatus
CN106247979A (zh) 一种基于振镜的三维扫描仪
TW202027034A (zh) 具有校正功能的影像擷取系統
CN104349068A (zh) 一种拍摄方法及电子设备
CN106372701B (zh) 一种光标签的编码及识别方法
CN104735348A (zh) 双摄像头拍照方法和系统
CN105791793A (zh) 图像处理方法及其电子装置
EP2741503A1 (en) Method and apparatus for color transfer between images
CN109448085A (zh) 影像渲染装置、方法及其非暂态电脑可读取存储媒体
KR20200063937A (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
Jorissen et al. Homography based identification for automatic and robust calibration of projection integral imaging displays
US20210264625A1 (en) Structured light code overlay
US20200320725A1 (en) Light projection systems
US20130235030A1 (en) Image processing device, image processing method and non-transitory computer readable recording medium for recording image processing program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160330

Address after: Taipei City, Taiwan, China

Applicant after: eYs3D Microelectronics, Co.

Address before: Hsinchu City, Taiwan, China

Applicant before: Etron Technology, Inc.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412