CN108280851B - 深度图产生装置 - Google Patents

深度图产生装置 Download PDF

Info

Publication number
CN108280851B
CN108280851B CN201810012079.8A CN201810012079A CN108280851B CN 108280851 B CN108280851 B CN 108280851B CN 201810012079 A CN201810012079 A CN 201810012079A CN 108280851 B CN108280851 B CN 108280851B
Authority
CN
China
Prior art keywords
depth map
depth
image
image acquisition
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810012079.8A
Other languages
English (en)
Other versions
CN108280851A (zh
Inventor
吴炳松
谢宏业
陈志高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN108280851A publication Critical patent/CN108280851A/zh
Application granted granted Critical
Publication of CN108280851B publication Critical patent/CN108280851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种深度图产生装置。所述深度图产生装置包含多个图像获取对、一深度图产生模块和一处理器。所述深度图产生模块耦接于所述多个图像获取对，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图。所述处理器耦接于所述深度图产生模块，用以选择性地输出所述多个深度图中的一深度图，或所述多个深度图中的部分或全部所组成的一融合深度图。因此，相较于现有技术，本发明可根据一感兴趣对象移动而动态改变对应所述深度图产生装置所产生的深度图的工作范围，或可根据所述感兴趣对象移动产生一具有较大工作范围的深度图。

Description

深度图产生装置
技术领域
本发明涉及一种深度图产生装置，尤其涉及一种可提供具有较大工作范围的深度图的深度图产生装置。
背景技术
在现有技术中，一深度图产生装置是利用其所包含的一第一图像获取器(例如一左眼图像获取器)和一第二图像获取器(例如一右眼图像获取器)所获取的一第一图像(例如一左眼图像)和一第二图像(例如一右眼图像)产生包含一感兴趣对象的深度图。因为所述第一图像获取器和所述第二图像获取器之间具有一基线，所以所述深度图具有一对应的工作范围(也就是所述深度图的有效区)。因此，当所述感兴趣对象任意移动时，所述感兴趣对象有可能移动至所述对应的工作范围外(也就是所述深度图的无效区)，导致所述深度图产生装置无法输出对应所述感兴趣对象的深度。因此，如何使所述深度图产生装置根据所述感兴趣对象移动而动态改变对应所述深度图产生装置所产生的深度图的工作范围，或根据所述感兴趣对象移动产生一具有较大工作范围的深度图成为一项重要课题。
发明内容
本发明的一实施例公开一种深度图产生装置。所述深度图产生装置包含多个图像获取对、一深度图产生模块和一处理器。所述深度图产生模块耦接于所述多个图像获取对，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图。所述处理器耦接于所述深度图产生模块，用以选择性地输出所述多个深度图中的一深度图，或所述多个深度图中的部分或全部所组成的一融合深度图。
本发明的另一实施例公开一种深度图产生装置。所述深度图产生装置包含多个图像获取对、一深度图产生模块和一处理器。所述深度图产生模块耦接于所述多个图像获取对，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图。所述处理器耦接于所述深度图产生模块，用以选择性地输出所述多个深度图中的一深度图。
本发明的另一实施例公开一种深度图产生装置。所述深度图产生装置包含多个图像获取对、一深度图产生模块和一处理器。所述深度图产生模块耦接于所述多个图像获取对，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图。所述处理器耦接于所述深度图产生模块，用以输出所述多个深度图中的部分或全部所组成的一融合深度图。
本发明的另一实施例公开一种深度图产生装置。所述深度图产生装置包含多个深度图产生器。所述多个深度图产生器包含一组主深度图产生器和一组从深度图产生器。所述组从深度图产生器中的一从深度图产生器和所述组主深度图产生器中的一对应的主深度图产生器形成一主从对，用以分别接收所述深度图产生模块外的二图像获取对所获取的图像对并据此产生一第一深度图和一第二深度图，其中所述从深度图产生器传送所述第一深度图至所述对应的主深度图产生器，且所述对应的主深度图产生器输出所述第一深度图或所述第二深度图。
本发明公开一种深度图产生装置。所述深度图产生装置可根据一感兴趣对象(或至少一感兴趣对象)的深度，选择性地输出所述深度图产生装置所产生的多个深度图中的一深度图，或所述多个深度图中的部分或全部所组成的一融合深度图，所以相较于现有技术，本发明可根据所述感兴趣对象移动而动态改变对应所述深度图产生装置所产生的深度图的工作范围，或可根据所述感兴趣对象移动产生一具有较大工作范围的深度图。
附图说明
图1是本发明的第一实施例所公开的一种深度图产生装置的示意图。
图2是举例说明深度图的无效范围、准确范围和弱范围的示意图。
图3是本发明的第二实施例所公开的一种深度图产生装置的示意图。
图4是说明深度图产生装置的m个图像获取对具有水平排列结构。
图5是说明深度图产生装置的m个图像获取对具有垂直排列结构。
图6是说明深度图产生装置的m个图像获取对具有环状(ring)排列结构。
图7是本发明的第三实施例所公开的一种深度图产生装置的示意图。
图8是说明处理器于一时间点只输出深度图产生器所输出的一深度图的示意图。
图9是本发明的第四实施例所公开的一种深度图产生装置的示意图。
图10是本发明的第五实施例所公开的一种深度图产生装置的示意图。
图11是本发明的第六实施例所公开的一种深度图产生装置的示意图。
图12是本发明的第七实施例所公开的一种深度图产生装置的示意图。
其中，附图标记说明如下：
100、300、700、900、1000、1100、 深度图产生装置
1200
102、1004、1108、1208 处理器
104 数据总线
106、108 控制总线
1021-102n 第一处理器
1002 深度图产生模块
1102 切换电路
1104、1201-120n 图像处理及校正电路
702 集线器
902 第二处理器
BL1 第一基线
BL2 第二基线
BL3 第三基线
BL4 第四基线
C1-Cm 图像获取器
DM1-DMn、DS1-DSn 深度图
D1-D3 距离
ER 准确范围
HD 水平方向
IL1、IR1、IL2、IR2、IR3、IR4、ILm、 图像
IRm
ICR 图像获取范围
L1-Lm 第一图像获取器
M1-Mn、S1-Sn、1106、12021-1202n 深度图产生器
NR 无效范围
OB1-OB3 感兴趣对象
R1-Rm 第二图像获取器
SYN 时间对准信号
T1、T2、Tn、Tn+1 时间点
VD 垂直方向
WR 弱范围
具体实施方式
请参照图1，图1是本发明的第一实施例所公开的一种深度图产生装置100的示意图。如图1所示，深度图产生装置100包含一第一图像获取器L1，4个第二图像获取器R1-R4，4个深度图产生器M1、S1、M2、S2和一处理器102，其中深度图产生器M1、M2是主(master)深度图产生器，深度图产生器S1、S2是从(slave)深度图产生器。但本发明并不受限于深度图产生装置100只包含4个第二图像获取器R1-R4，也就是说深度图产生装置100可包含多个第二图像获取器。如图1所示，第一图像获取器L1分别和第二图像获取器R1-R4中的每一第二图像获取器形成一图像获取对。例如第一图像获取器L1分别和第二图像获取器R1-R4形成一第一图像获取对(L1、R1)、一第二图像获取对(L1、R2)、一第三图像获取对(L1、R3)和一第四图像获取对(L1、R4)，也就是说所述第一图像获取对(L1、R1)、所述第二图像获取对(L1、R2)、所述第三图像获取对(L1、R3)和所述第四图像获取对(L1、R4)共享第一图像获取器L1，且所述第一图像获取对(L1、R1)、所述第二图像获取对(L1、R2)、所述第三图像获取对(L1、R3)和所述第四图像获取对(L1、R4)的每一图像获取对对应一基线，例如所述第一图像获取对(L1、R1)、所述第二图像获取对(L1、R2)、所述第三图像获取对(L1、R3)和所述第四图像获取对(L1、R4)分别对应一第一基线BL1、一第二基线BL2、一第三基线BL3和一第四基线BL4，其中第一基线BL1、第二基线BL2、第三基线BL3和第四基线BL4俩俩互不相等。另外，如图1所示，深度图产生器M1接收第一图像获取器L1所获取的图像IL1和第二图像获取器R1所获取的图像IR1，且深度图产生器M1可通过一数据总线104传送图像IL1至深度图产生器S1、M2、S2。另外，如图1所示，深度图产生器M1会触发一时间对准信号SYN至深度图产生器S1，然后深度图产生器S1传递时间对准信号SYN至深度图产生器M2，以及深度图产生器M2传递时间对准信号SYN至深度图产生器S2，其中深度图产生器M1可通过一控制总线106触发(trigger)输出至深度图产生器S1、M2、S2的时间对准信号SYN。另外，深度图产生器M1也可通过一控制总线108时间对准第一图像获取器L1和第二图像获取器R1-R4所获取的图像。
如图1所示，深度图产生器M1可根据第一图像获取器L1所获取的图像IL1、第二图像获取器R1所获取的图像IR1和一现有技术所公开的算法(例如对比分析半全局匹配算法(semi-global block matching,SGBM))，产生一深度图DM1；深度图产生器S1可根据图像IL1、第二图像获取器R2所获取的图像IR2和所述算法，产生一深度图DS1；深度图产生器M2可根据图像IL1、第二图像获取器R3所获取的图像IR3和所述算法，产生一深度图DM2；深度图产生器S2可根据图像IL1、第二图像获取器R4所获取的图像IR4和所述算法，产生一深度图DS2。另外，深度图产生器S1输出深度图DS1和深度图产生器S1的序列号(serial number)至深度图产生器M1，以及深度图产生器M1将会根据时间对准信号SYN(已被深度图产生器M1通过控制总线106触发)插入深度图产生器S1的序列号至深度图DS1以使深度图DS1时间对准深度图DM1。但在本发明的另一实施例中，深度图产生器S1根据时间对准信号SYN插入深度图产生器S1的序列号至深度图DS1。但在本发明的另一实施例中，深度图产生器S1根据时间对准信号SYN插入对应深度图产生器S1的时间戳(time stamp)至深度图DS1。同理，深度图产生器S2输出深度图DS2和深度图产生器S2的序列号至深度图产生器M2，以及深度图产生器M2将会根据时间对准信号SYN(已被深度图产生器M1通过控制总线106触发)插入深度图产生器S2的序列号(或对应深度图产生器S2的时间戳)至深度图DS2以使深度图DS2时间对准深度图DM2。然后深度图产生器M1将会输出深度图DM1和深度图DS1至处理器102以及深度图产生器M2将会输出深度图DM2和深度图DS2至处理器102。也就是说因为深度图产生器M1、M2是主深度图产生器，而深度图产生器S1、S2是从深度图产生器，所以深度图产生器S1只会输出深度图DS1至对应深度图产生器S1的主深度图产生器(也就是深度图产生器M1)，以及深度图产生器S2只会输出深度图DS2至对应深度图产生器S2的主深度图产生器(也就是深度图产生器M2)。另外，在本发明的另一实施例中，深度图产生器M1将会输出深度图DM1或深度图DS1至处理器102以及深度图产生器M2将会输出深度图DM2或深度图DS2至处理器102。另外，在本发明的另一实施例中，深度图产生器M1输出深度图DM1至处理器102，深度图产生器S1输出深度图DS1至处理器102，深度图产生器M2输出深度图DM2至处理器102，以及深度图产生器S2输出深度图DS2至处理器102。
另外，本发明并不受限于上述所述第一图像获取对(L1、R1)、所述第二图像获取对(L1、R2)、所述第三图像获取对(L1、R3)和所述第四图像获取对(L1、R4)的组态，也就是说只要利用第一图像获取器L1和第二图像获取器R1-R4形成4个图像获取对(例如L1和R1、R1和R2、R2和R3、R3和R4)分别耦接深度图产生器M1、S1、M2、S2即落入本发明的范围。
另外，当处理器102接收到深度图DM1、DS1、DM2、DS2后，处理器102可一起处理深度图DM1、DS1、DM2、DS2(因为深度图DM1、DS1、DM2、DS2都是根据时间对准信号SYN被执行一时间对准)。在本发明的一实施例中，因为深度图DM1、DS1、DM2、DS2对应不同的工作范围(working range)，所以处理器102可根据一感兴趣对象(或至少一感兴趣对象)和深度图产生装置100之间的距离(也就是所述感兴趣对象的深度)和深度图DM1、DS1、DM2、DS2的工作范围选择性地输出深度图DM1、DS1、DM2、DS2中的一深度图。也就是说处理器102另具有一深度检测功能，所以处理器102可先利用深度图DM1、DS1、DM2、DS2的部分或全部判断所述感兴趣对象的深度。在处理器102判断所述感兴趣对象的深度后，处理器102即可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的工作范围选择性地输出深度图DM1、DS1、DM2、DS2中的一深度图。例如当所述感兴趣对象的深度是落在深度图DM1的工作范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的工作范围输出深度图DM1。然而在本发明的另一实施例中，当所述感兴趣对象的深度因为所述感兴趣对象的移动而同时落在深度图DM1、DS1、DM2(深度图DM1、DS1、DM2也就是深度图DM1、DS1、DM2、DS2中的部分深度图)的工作范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的工作范围输出由深度图DM1、DS1、DM2中每一深度图的部分区块或所述每一深度图的的全部所组成的一融合(拼接)深度图，所以处理器102可通过输出所述融合深度图降低数据传输速率(data rate)。另外，在本发明的另一实施例中，当所述感兴趣对象的深度因为所述感兴趣对象的移动而同时落在深度图DM1、DS1、DM2、DS2的工作范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的工作范围输出由深度图DM1、DS1、DM2、DS2中每一深度图的部分区块或所述每一深度图的全部所组成的一融合(拼接)深度图。另外，因为处理器102利用深度图DM1、DS1、DM2中每一深度图的部分区块组成所述融合(拼接)深度图，所以相较于现有技术，所述融合(拼接)深度图的工作范围会大于深度图DM1、DS1、DM2中每一深度图的工作范围。另外，在本发明的另一实施例中，当所述感兴趣对象的深度因为所述感兴趣对象的移动而同时落在深度图DM1、DS1、DM2、DS2的工作范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的工作范围输出由深度图DM1、DS1中每一深度图的部分区块以及深度图DM2、DS2中每一深度图的全部所组成的一融合(拼接)深度图。
另外，请参照图2，图2是举例说明深度图DM1的无效范围NR、准确范围ER和弱范围WR的示意图，其中深度图DM1的无效范围NR、准确范围ER和弱范围WR是由第一基线BL1决定，深度图DM1的准确范围ER和弱范围WR即为深度图DM1的工作范围，且第一图像获取器L1和第二图像获取器R1具有一图像获取范围ICR。如图2所示，如果一对象在无效范围NR内，则处理器102无法根据深度图DM1，判断所述对象与深度图产生装置100之间的距离，或处理器102会错误判断所述对象与深度图产生装置100之间的距离；如果所述对象在准确范围ER内，则处理器102可明确根据深度图DM1，判断所述对象与深度图产生装置100之间的距离；如果所述对象在弱范围WR内，则处理器102无法很准确根据深度图DM1，判断所述对象与深度图产生装置100之间的距离，但不会有误判所述对象与深度图产生装置100之间的距离。
因此，在本发明的另一实施例中，当处理器102接收到深度图DM1、DS1、DM2、DS2后，处理器102可一起处理深度图DM1、DS1、DM2、DS2。因为深度图DM1、DS1、DM2、DS2具有不同的无效范围、准确范围和弱范围，所以处理器102可根据所述感兴趣对象在深度图DM1、DS1、DM2、DS2的深度和深度图DM1、DS1、DM2、DS2的无效范围、准确范围和弱范围选择性地输出深度图DM1、DS1、DM2、DS2中的一深度图。例如当所述感兴趣对象的深度是落在深度图DM1的准确范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的无效范围、准确范围和弱范围输出深度图DM1。另外，例如当所述感兴趣对象的深度因为所述感兴趣对象的移动而落在深度图DM1、DS1、DM2(也就是深度图DM1、DS1、DM2、DS2的部分)的准确范围内时，处理器102可根据所述感兴趣对象的深度和深度图DM1、DS1、DM2、DS2的无效范围、准确范围和弱范围输出由深度图DM1、DS1、DM2中每一深度图的部分区块(其中所述每一深度图的部分区块有关所述每一深度图的准确范围)所组成的一融合深度图，所以处理器102可通过输出所述融合深度图降低深度图DM1、DS1、DM2中的数据传输速率。
另外，在深度图产生器M1输出深度图DM1至处理器102之前，深度图产生器M1可对深度图DM1执行一校正动作，其中所述校正动作包含一色彩校正和一几何校正的至少其中之一，且色彩校正和几何校正是本技术领域的技术人员所公知，在此不再赘述。另外，在深度图产生器M1输出深度图DM1至处理器102之前，深度图产生器M1也可对深度图DM1执行一图像处理，且所述图像处理包含色彩内插(color interpolation)、色彩处理(colorprocessing)、自动曝光(Auto Exposure,AE)和自动白平衡(Auto White Balance,AWB)控制的至少其中之一，且色彩内插、色彩处理、自动曝光和自动白平衡控制也是本技术领域的技术人员所公知，在此也不再赘述。另外，深度图产生器M1可以是一具有上述深度图产生器M1的功能的现场可编程门阵列(Field Programmable Gate Array,FPGA)，或是一具有上述深度图产生器M1的功能的特殊应用集成电路(Application-specific integratedcircuit,ASIC)或是一具有上述深度图产生器M1的功能的软件模块。另外，在本发明的另一实施例中，深度图产生装置100可在深度图产生器M1产生深度图DM1之前利用另一具有上述校正动作和图像处理的功能的现场可编程门阵列，或是另一具有上述校正动作和图像处理的功能的特殊应用集成电路或是另一具有上述校正动作和图像处理的功能的软件模块对图像IL1和图像IR1执行所述校正动作和所述图像处理。另外，深度图产生器S1、M2、S2执行所述校正动作和所述图像处理的原理都和深度图产生器M1相同，在此不再赘述。
另外，在本发明的另一实施例中，所述第一图像获取对、所述第二图像获取对、所述第三图像获取对和所述第四图像获取对没有共享第一图像获取器L1，也就是说深度图产生装置100包含4个第一图像获取器，以及所述第一图像获取对、所述第二图像获取对、所述第三图像获取对和所述第四图像获取对的每一图像获取对都有一对应的第一图像获取器。
另外，处理器102可以是一具有上述处理器102的功能的现场可编程门阵列，或是一具有上述处理器102的功能的特殊应用集成电路或是一具有上述处理器102的功能的软件模块。
请参照图3，图3是本发明的第二实施例所公开的一种深度图产生装置300的示意图。如图3所示，深度图产生装置300包含m个第一图像获取器L1-Lm，m个第二图像获取器R1-Rm，m个深度图产生器M1-Mn、S1-Sn和处理器102，其中m正偶数且n等于m/2。如图3所示，m个第一图像获取器L1-Lm中的每一第一图像获取器和m个第二图像获取器R1-Rm中的一对应的第二图像获取器形成一图像获取对，且所述图像获取对耦接于深度图产生器M1-Mn、S1-Sn中的一对应的深度图产生器。另外，第一图像获取器L1-Lm和第二图像获取器R1-Rm所形成的m个图像获取对对应不同的基线，以及所述些不同的基线两两互不相等。例如，如图3所示，第一图像获取器L1和第二图像获取器R1形成一图像获取对，且第一图像获取器L1和第二图像获取器R1所形成的图像获取对耦接于深度图产生器M1。然后深度图产生器M1可根据第一图像获取器L1所获取的图像IL1和第二图像获取器R1所获取的图像IR1，产生深度图DM1。因此，深度图产生器M2-Mn、S1-Sn可根据上述深度图产生器M1产生深度图DM1的原理产生深度图DM2-DMn和DS1-DSn。另外，在本发明的另一实施例中，深度图产生装置300仅包含一个第一图像获取器，以及m个第二图像获取器R1-Rm共享所述第一图像获取器。另外，m个第一图像获取器L1-Lm，m个第二图像获取器R1-Rm，m个深度图产生器M1-Mn、S1-Sn和处理器102的操作原理可参照深度图产生装置100的第一图像获取器L1，第二图像获取器R1-R4，深度图产生器M1、S1、M2、S2和处理器102的操作原理，在此不再赘述。
请参照图4-6，图4是说明深度图产生装置300的m个图像获取对具有一水平排列结构，图5是说明深度图产生装置300的m个图像获取对具有一垂直排列结构，以及图6是说明深度图产生装置300的m个图像获取对具有一环状(ring)排列结构，其中为了简化图4-6，所以图4-6所绘示的深度图产生装置300仅包含所述m个图像获取对。如图4所示，3个感兴趣对象OB1-OB3出现在深度图产生装置300的图像获取范围ICR内的水平方向HD，其中感兴趣对象OB1-OB3分别和深度图产生装置300之间具有距离D1-D3。因为所述m个图像获取对具有所述水平排列结构且所述m个图像获取对对应不同的基线，所以深度图产生装置300可根据所述m个图像获取对所获取的图像对产生有关感兴趣对象OB1-OB3中每一感兴趣对象的深度图(也就是说图4所示的深度图产生装置300是适用于多个感兴趣对象出现在深度图产生装置300的图像获取范围ICR内的水平方向HD)，其中有关所述每一感兴趣对象的深度图可以是深度图DM1-DMn、DS1-DSn中的一深度图，或是由深度图DM1-DMn、DS1-DSn中部分深度图或全部深度图的每一深度图的部分区块所组成的一融合深度图。另外，如果感兴趣对象OB1-OB3在图像获取范围ICR内的位置相近，则深度图产生装置300将输出深度图DM1-DMn、DS1-DSn中的同时包含感兴趣对象OB1-OB3的一深度图。
如图5所示，所述m个图像获取对具有所述垂直排列结构(也就是所述m个图像获取对具有一迭接排列结构)，以及3个感兴趣对象OB1-OB3出现在深度图产生装置300的图像获取范围ICR内的垂直方向VD。因为所述m个图像获取对具有所述垂直排列结构且所述m个图像获取对对应不同的基线，所以深度图产生装置300可根据所述m个图像获取对所获取的图像对产生有关感兴趣对象OB1-OB3中每一感兴趣对象的深度图，也就是说图5所示的深度图产生装置300是适用于多个感兴趣对象(例如一棵大树的树冠、茎和树根等)出现在深度图产生装置300的图像获取范围ICR内的垂直方向VD。
如图6所示，因为所述m个图像获取对具有所述环状排列结构，所以图6所示的深度图产生装置300可产生环绕感兴趣对象OB1的深度图，其中所述环绕感兴趣对象OB1的深度图可应用于产生感兴趣对象OB1的立体扫描结果。此外，感兴趣对象OB1可位于所述环状排列结构的圆心，或是位于所述环状排列结构内的任一位置。另外，图6是以感兴趣对象OB1为例进行说明，但本实施例的深度图产生装置300也可应用于多个感兴趣对象的情况，且这些感兴趣对象可位于所述环状排列结构内的任一位置。
另外，在本发明的另一实施例中，因为处理器102是一具有高运算能力和大容量的画面缓冲区的处理器(例如一图形处理器(graphics processing unit,GPU))，所以处理器102可根据一感兴趣对象的深度合并深度图产生器M1-Mn、S1-Sn所产生的深度图DM1-DMn、DS1-DSn的部分或全部为一融合深度图。在处理器102合并深度图DM1-DMn、DS1-DSn的部分或全部后，深度图产生装置300的数据传输速率可被降低。如此，应用所述融合深度图的应用软件所需的带宽(bandwidth)也可被降低。
请参照图7，图7是本发明的第三实施例所公开的一种深度图产生装置700的示意图。如图7所示，深度图产生装置700和深度图产生装置300的差别在于深度图产生装置700另包含一集线器702，其中集线器702耦接于深度图产生器M1-Mn(主深度图产生器)与处理器102之间，其中处理器102通过集线器702利用一循环轮播(Round-Robin)方式处理深度图DM1-DMn、DS1-DSn。也就是说处理器102通过集线器702一次处理深度图DM1-DMn、DS1-DSn中的一深度图。例如，如图8所示，处理器102于一时间点T1处理深度图产生器M1所输出的深度图DM1或深度图DS1，于一时间点T2处理深度图产生器M2所输出的深度图DM2或深度图DS2，依此类推。然后处理器102于一时间点Tn处理深度图产生器Mn所输出的深度图DMn或深度图DSn后，再于一时间点Tn+1重新处理深度图产生器M1所输出的深度图DM1或深度图DS1。例如，在本发明的一实施例中，深度图产生器M1以每秒30画面的速率输出深度图DM1或深度图DS1(深度图产生器M2-Mn的操作原理和深度图产生器M1的操作原理相同)，也就是说处理器102通过集线器702每1/30秒处理一深度图产生器所输出的深度图，所以每n/30秒，处理器102可全部处理深度图产生器M1-Mn所输出的深度图DM1-DMn、DS1-DSn一次。另外，如图8所示，因为处理器102于一时间点只输出深度图产生器所输出的一深度图，所以处理器102内用以处理深度图的应用软件所需的带宽可被降低。另外，在本发明的另一实施例中，处理器102于时间点T1处理深度图产生器M1所输出的深度图DM1和深度图DS1，于时间点T2处理深度图产生器M1所输出的深度图DM2和深度图DS2，依此类推。另外，深度图产生装置700的操作原理和深度图产生装置300的操作原理相同，在此不再赘述。
请参照图9，图9是本发明的第四实施例所公开的一种深度图产生装置900的示意图。如图9所示，深度图产生装置900和深度图产生装置300的差别在于深度图产生装置900的深度图产生器M1-Mn(主深度图产生器)中的每一深度图产生器都耦接于一第一处理器。例如深度图产生器M1耦接于一第一处理器1021、深度图产生器M2耦接于一第一处理器1022以及深度图产生器Mn耦接于一第一处理器102n。第一处理器1021可在深度图DM1、DS1中检测一感兴趣对象的深度，以及根据所述感兴趣对象的深度和深度图DM1、DS1的工作范围选择性地输出深度图DM1、DS1的部分区块(或输出深度图DM1、DS1)至一第二处理器902，或不输出深度图DM1、DS1的部分区块至第二处理器902(因为所述感兴趣对象的深度落在深度图DM1、DS1的工作范围外)。因此，第二处理器902可处理第一处理器1021-102n所输出的有关所述感兴趣对象的深度信息(例如第一处理器1021所输出的深度图DM1、DS1的部分区块)，产生一融合深度图。例如第二处理器902可对第一处理器1021-102n所输出的有关所述感兴趣对象的深度信息执行去噪声、填补空缺(hole-filling)、平滑化和图像压缩的至少其中之一，产生所述融合深度图。另外，在本发明的另一实施例中，深度图产生装置900可在深度图产生器M1产生深度图DM1之前利用另一具有上述去噪声、填补空缺、平滑化和图像压缩的至少其中之一的功能的现场可编程门阵列，或是另一具有上述去噪声、填补空缺、平滑化和图像压缩的至少其中之一的功能的特殊应用集成电路或是另一具有上述去噪声、填补空缺、平滑化和图像压缩的至少其中之一的功能的软件模块对图像IL1和图像IR1执行所述校正动作和所述图像处理。另外，在本发明的另一实施例中，第一处理器1021可先对深度图DM1、DS1执行所述去噪声、所述填补空缺、所述平滑化和所述图像压缩的至少其中之一。另外，因为第一处理器1021输出深度图DM1、DS1的部分区块至第二处理器902，所以处理器102输出深度图DM1、DS1的数据传输速率可被降低，其中第二处理器902是包含在一移动装置上(例如一智能型手机或一平板计算机)。但在本发明的另一实施例中，第二处理器902是包含在因特网上的一远程装置或一服务器。另外，因为第二处理器902是接收深度图DM1、DS1的部分区块，所以第二处理器902内应用深度图DM1、DS1的部分区块的应用软件所需的带宽也可被降低。另外，在本发明的一实施例中，第二处理器902可包含在深度图产生装置900。另外，深度图产生器M2-Mn的操作原理都和深度图产生器M1相同，在此不再赘述。另外，第一处理器1022-102n的操作原理都和第一处理器1021相同，在此不再赘述。另外，深度图产生装置900的其余操作原理都和深度图产生装置300相同，在此不再赘述。
请参照图10，图10是本发明的第五实施例所公开的一种深度图产生装置1000的示意图。如图10所示，深度图产生装置1000包含m个第一图像获取器L1-Lm，m个第二图像获取器R1-Rm，一深度图产生模块1002和处理器1004，其中深度图产生模块1002耦接于第一图像获取器L1-Lm和第二图像获取器R1-Rm，包含一个深度图产生器或多个深度图产生器，以及处理器1004耦接于深度图产生模块1002。如图10所示，m个第一图像获取器L1-Lm中的每一第一图像获取器和m个第二图像获取器R1-Rm中的一对应的第二图像获取器形成一图像获取对，例如第一图像获取器L1和第二图像获取器R1形成一图像获取对，其中m个第一图像获取器L1-Lm和m个第二图像获取器R1-Rm所形成的m个图像获取对中的每一图像获取对对应一不同基线，也就是说例如第一图像获取器L1和第二图像获取器R1所对应的基线不等于第一图像获取器L2和第二图像获取器R2所对应的基线。因此，处理器1004即可先控制深度图产生模块1002根据一默认图像获取对所获取的图像对产生一深度图，例如处理器1004即可先控制深度图产生模块1002(当深度图产生模块1002只包含一个深度图产生器)或深度图产生模块1002内的一第一深度图产生器(当深度图产生模块1002包含多个深度图产生器)根据第一图像获取器L1所获取的图像IL1和第二图像获取器R1所获取的图像IR1，产生深度图DM1，其中第一图像获取器L1和第二图像获取器R1为所述默认图像获取对。然后处理器1004根据深度图DM1判断一感兴趣对象(或至少一感兴趣对象)的深度，并据此控制深度图产生模块1002是否根据其他的图像获取对所获取的图像对产生一对应的深度图。例如当处理器1004因为所述感兴趣对象的移动判断深度图DM1不适合用来决定所述感兴趣对象的深度时，处理器1004可控制深度图产生模块1002(当深度图产生模块1002只包含一个深度图产生器)或深度图产生模块1002内的一第二深度图产生器(当深度图产生模块1002包含多个深度图产生器)根据第一图像获取器L2所获取的图像IL2和第二图像获取器R2所获取的图像IR2，产生深度图DM2，或利用第一图像获取器Lm所获取的图像ILm和第二图像获取器Rm所获取的图像IRm，产生深度图DMm。因此，处理器1004可动态控制深度图产生模块1002产生一适当的深度图，其中所述适当的深度图适合用以判断所述感兴趣对象的目前深度。
另外，当深度图产生模块1002包含多个深度图产生器时，深度图产生模块1002根据所述默认图像获取对(例如第一图像获取器L1和第二图像获取器R1)所获取的图像对产生一默认深度图(例如深度图DM1)，处理器1004根据所述默认深度图判断所述感兴趣对象的深度，以及处理器1004根据所述感兴趣对象的深度决定将深度图产生模块1002根据第一图像获取器L1-Lm和第二图像获取器R1-Rm所组成的多个图像获取对所获取的图像对所产生的多个深度图中的部分或全部合并以产生一融合深度图。但在本发明的另一实施例中，处理器1004是根据所述感兴趣对象的深度，选择所述多个深度图的其中之一以产生所述融合深度图。另外，当深度图产生模块1002是一深度图产生器时，深度图产生模块1002可根据所述默认图像获取对(例如第一图像获取器L1和第二图像获取器R1)所获取的图像对产生所述默认深度图(例如深度图DM1)。然后处理器1004可根据所述默认深度图判断所述感兴趣对象的深度，以及处理器1004可根据所述感兴趣对象的深度来选择第一图像获取器L1-Lm和第二图像获取器R1-Rm所组成的多个图像获取对中的一图像获取对，使深度图产生模块1002根据所述图像获取对所获取的图像对产生一第一深度图，且处理器1004输出所述第一深度图。但在本发明的另一实施例中，处理器1004根据所述感兴趣对象的深度，决定是否切换由所述多个图像获取对中的另一图像获取对获取图像对以使深度图产生模块1002据此更新所述第一深度图。
请参照图11，图11是本发明的第六实施例所公开的一种深度图产生装置1100的示意图。如图11所示，深度图产生装置1100包含m个图像获取器C1-Cm、一切换电路1102、一图像处理及校正电路1104、一深度图产生器1106和一处理器1108，其中图像获取器C1-Cm、切换电路1102、图像处理及校正电路1104、深度图产生器1106和处理器1008之间的耦接关系请参照图11，在此不再赘述。如图11所示，图像获取器C1-Cm中任二个图像获取器可形成一图像获取对，且每一图像获取对具有一不同的基线长度。因此，处理器1108即可先控制深度图产生器1106根据一默认图像获取对所获取的图像对产生一相对应的深度图，例如处理器1108即可先控制深度图产生器1106根据图像获取器C1、C2所获取的图像，产生一默认深度图，其中图像获取器C1、C2为所述默认图像获取对。但本发明并不受限于图像获取器C1、C2为所述默认图像获取对。例如，默认图像获取对也可以是在深度图产生装置1100中具有最大工作范围的一图像获取对。然后处理器1108根据所述默认深度图判断一感兴趣对象(或至少一感兴趣对象)的深度，并据此控制切换电路1102是否切换至接收另一图像获取对所获取的图像对。例如当处理器1108因为所述感兴趣对象的移动判断所述第一深度图不适合用来决定所述感兴趣对象的深度时，处理器1108可控制控制切换电路1102切换至接收所述另一图像获取对所获取的图像。然后深度图产生器1106根据所述另一图像获取对所获取的图像对产生一第二深度图。因此，处理器1108可通过切换电路1102动态控制深度图产生器1106产生一适当的深度图，其中所述适当的深度图适合用以判断所述感兴趣对象的目前深度。另外，图像处理及校正电路1104的功能可参照前述校正动作与图像处理，在此不再赘述。另外，在本发明的另一实施例中，切换电路1102和图像处理及校正电路1104可整合至深度图产生器1106。
请参照图12，图12是本发明的第七实施例所公开的一种深度图产生装置1200的示意图。如图12所示，深度图产生装置1200包含m个图像获取器C1-Cm、n个图像处理及校正电路1201-120n、n个深度图产生器12021-1202n和一处理器1208，其中n、m为正整数，n小于m，以及图像获取器C1-Cm、图像处理及校正电路1201-120n、深度图产生器12021-1202n和处理器1208之间的耦接关系请参照图12，在此不再赘述。如图12所示，图像获取器C1-Cm中任二个图像获取器可形成一图像获取对，以及所述图像获取对耦接一对应的图像处理及校正电路及一对应的深度图产生器。例如图像处理及校正电路1201耦接图像获取器C1、C2，以及深度图产生器12021耦接图像处理及校正电路1201。深度图产生器12021-1202n中的每一深度图产生器可根据其所对应的图像获取对所获取的图像对，产生一对应的深度图。然后处理器1208根据一感兴趣对象(或至少一感兴趣对象)的深度和深度图产生器12021-1202n所产生的n个深度图的工作范围，选择性地输出所述n个深度图中的一深度图，或输出所述n个深度图中的部分或全部所组成的一融合深度图。另外，图像处理及校正电路1201-120n的功能可参照前述校正动作与图像处理，在此不再赘述。另外，在本发明的另一实施例中，图像处理及校正电路1201-120n可分别整合至深度图产生器深度图产生器12021-1202n。
综上所述，因为本发明所公开的深度图产生装置可根据一感兴趣对象(或至少一感兴趣对象)的深度，选择性地输出所述深度图产生装置所产生的多个深度图中的一深度图，或所述多个深度图中的部分或全部所组成的一融合深度图，所以相较于现有技术，本发明所公开的深度图产生装置更适合应用于下列应用：
第一、游戏：
因为所述融合(拼接)深度图的工作范围会大于所述多个深度图中每一深度图的工作范围(也就是说相较于现有技术，本发明可提供具有较大工作范围的融合(拼接)深度图)，所以本发明可不仅可支持仅利用一用户的手势控制的互动游戏，也可支持需要所述用户经常需要移动的互动游戏(例如运动游戏)。因此，当所述用户使用所述运动游戏，所述用户可加入不受限于摆头(head swing)、挥手(hand waving)或踢脚(foot kicking)的其他肢体动作，例如前后移动。也就是说本发明可提供所述用户在使用一互动游戏(尤其是虚拟现实(virtual reality,VR)游戏)时更好的体验。
第二、机器人应用：
因为所述融合深度图的工作范围较大，所以本发明可增加一机器人的立体扫描范围。例如对于一搜救机器人而言，因为所述搜救机器人所产生的所述融合深度图的工作范围较大，所以所述搜救机器人的搜救范围也会较大，导致所述搜救机器人的搜救效率提高。因为所述搜救机器人的搜救效率提高，所以所述搜救机器人找生还者的时间缩短以及机率提高。
另外，本发明也适用于一军事机器人或一科研机器人。因为所述融合深度图的工作范围较大，所以所述军事机器人(或所述科研机器人)可搜索较广大的范围以找出任何感兴趣对象。另外，因为所述融合深度图的工作范围较大，所以所述军事机器人具有较远的视野，也就是说所述军事机器人在执行军事任务时可藏身在离敌人较远的地方而不会被敌人发现。
第三、监控：
因为所述融合深度图的工作范围较大，所以应用本发明所公开的深度图产生装置的监控设备可在一较大的视野范围中追踪一对象，而不会轻易地错过所述对象。因此，所述监控设备可提供所述对象的深度信息和通知其他具有变焦镜头的监控设备调整焦距以获取所述对象的清晰图像以应用于一监控应用。
第四、无人机：
因为所述融合深度图的工作范围较大，所以应用本发明所公开的深度图产生装置的无人机可在其巡航路径上有更多时间去检测障碍物(例如树，街灯，交通号志，电线杆以及建筑物等)并修改其巡航路径以避开所述障碍物。如此，本发明可降低所述无人机因撞击所述障碍物而坠毁的机率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种深度图产生装置，其特征在于包含：
多个图像获取对，包含一第一图像获取器以及多个第二图像获取器,每一该图像获取对对应一基线，所述多个图像获取对对应不同的工作范围；
一切换电路；
一深度图产生模块，耦接于该切换电路，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图；及
一处理器，耦接于所述深度图产生模块与该切换电路，用以控制该切换电路根据至少一感兴趣对象的深度与所述多个图像获取对对应的不同工作范围选择所述多个图像获取对其中之一图像获取对所获取的图像对，该处理器输出被该切换电路选择的该图像对的一深度图，或输出以被该切换电路选择的该图像对中的部分或全部所组成的一融合深度图；
其中所述多个第二图像获取器中的每一第二图像获取器分别和所述第一图像获取器形成所述多个图像获取对中的一图像获取对；
其中每一该图像获取对所获取的图像对共享该第一图像获取器所获取的一图像。
2.如权利要求1所述的深度图产生装置，其特征在于：所述深度图产生模块是一深度图产生器，所述处理器选择所述多个图像获取对中的一图像获取对，使所述深度图产生器根据所述图像获取对所获取的图像对产生一第一深度图，且所述处理器输出所述第一深度图。
3.如权利要求2所述的深度图产生装置，其特征在于：所述处理器根据至少一感兴趣对象的深度，决定是否切换由所述多个图像获取对中的另一图像获取对获取图像对以使所述深度图产生器据此更新所述第一深度图。
4.如权利要求2所述的深度图产生装置，其特征在于：所述深度图产生器根据一默认图像获取对所获取的图像对产生一默认深度图，所述处理器根据所述默认深度图判断至少一感兴趣对象的深度，以及所述处理器根据所述至少一感兴趣对象的深度来选择所述多个图像获取对中的所述图像获取对。
5.如权利要求1所述的深度图产生装置，其特征在于：所述深度图产生模块包含多个深度图产生器，且所述处理器输出所述多个深度图产生器所产生的所述多个深度图中的部分或全部所组成的所述融合深度图。
6.如权利要求5所述的深度图产生装置，其特征在于：如果所述多个深度图产生器中的一深度图产生器是一主深度图产生器，则所述主深度图产生器输出其所产生的深度图至所述处理器，以及所述多个深度图产生器中对应所述主深度图产生器的另一深度图产生器是一从深度图产生器，且所述从深度图产生器输出其所产生的深度图至所述主深度图产生器。
7.如权利要求5所述的深度图产生装置，其特征在于：所述多个深度图产生器中的部分深度图产生器是一组主深度图产生器。
8.如权利要求7所述的深度图产生装置，其特征在于：所述组主深度图产生器中的一第一主深度图产生器产生并传递一时间对准信号至对应所述第一主深度图产生器的一第一从深度图产生器，以及所述第一从深度图产生器传递所述时间对准信号至所述组主深度图产生器中的一第二主深度图产生器。
9.如权利要求8所述的深度图产生装置，其特征在于：所述第二主深度图产生器传递所述时间对准信号至对应所述第二主深度图产生器的一第二从深度图产生器。
10.如权利要求7所述的深度图产生装置，其特征在于另包含：
一集线器，耦接于所述组主深度图产生器与所述处理器之间，其中所述处理器通过所述集线器利用一轮循方式输出所述多个深度图。
11.一种深度图产生装置，其特征在于包含：
多个图像获取对，包含一第一图像获取器以及多个第二图像获取器,每一该图像获取对对应一基线，所述多个图像获取对对应不同的工作范围；
一切换电路；
一深度图产生模块，耦接于该切换电路，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图，所述深度图产生模块包含多个深度图产生器；及
一处理器，耦接于所述多个深度图产生器的部分深度图产生器与该切换电路，用以控制该切换电路根据至少一感兴趣对象与所述多个图像获取对对应的不同工作范围选择所述多个图像获取对其中之一图像获取对所获取的图像对，该处理器选择性地输出所被该切换电路选择的该图像对的一第一深度图；
其中所述处理器根据至少一该感兴趣对象的深度，决定是否切换由所述多个图像获取对中的另一图像获取对获取图像对以使所述深度图产生器据此更新所述第一深度图；
其中每一该图像获取对由所述多个第二图像获取器中的每一第二图像获取器分别和所述第一图像获取器所组成。
12.如权利要求11所述的深度图产生装置，其特征在于：所述深度图产生器根据一默认图像获取对所获取的图像对产生一默认深度图，所述处理器根据所述默认深度图判断至少一感兴趣对象的深度，以及所述处理器根据所述至少一感兴趣对象的深度来选择所述多个图像获取对中的所述图像获取对。
13.一种深度图产生装置，其特征在于包含：
多个图像获取对，包含一第一图像获取器以及多个第二图像获取器,每一该图像获取对对应一基线，所述多个图像获取对对应不同的工作范围；
一切换电路；
一深度图产生模块，耦接于该切换电路，用以根据所述多个图像获取对所获取的图像对，产生对应所述多个图像获取对的多个深度图，所述深度图产生模块包含多个深度图产生器；及
一处理器，耦接于所述多个深度图产生器的部分深度图产生器与该切换电路，用以控制该切换电路根据至少一感兴趣对象与所述多个图像获取对对应的不同工作范围选择所述多个图像获取对其中之一图像获取对所获取的图像对，该处理器输出以被该切换电路选择的该图像对的部分或全部所组成的一融合深度图；
其中所述处理器根据至少一感兴趣对象的深度，决定将所述多个深度图中的部分或全部合并以产生所述融合深度图；
其中每一该图像获取对由所述多个第二图像获取器中的每一第二图像获取器分别和所述第一图像获取器所组成。
14.如权利要求13所述的深度图产生装置，其特征在于：所述多个深度图产生器中的一深度图产生器根据一默认图像获取对所获取的图像对产生一默认深度图，所述处理器根据所述默认深度图判断至少一感兴趣对象的深度，以及所述处理器根据所述至少一感兴趣对象的深度决定合并所述多个深度图中的部分或全部。
15.一种深度图产生装置，其特征在于包含：
多个深度图产生器，包含一组主深度图产生器和一组从深度图产生器；
其中所述组从深度图产生器中的一从深度图产生器和所述组主深度图产生器中的一对应的主深度图产生器形成一主从对，用以分别接收所述深度图产生装置外的二图像获取对所获取的图像对并据此产生一第一深度图和一第二深度图，其中所述从深度图产生器传送所述第一深度图至所述对应的主深度图产生器，且所述对应的主深度图产生器输出所述第一深度图或所述第二深度图。
16.如权利要求15所述的深度图产生装置，其特征在于：所述深度图产生装置更包括一处理器，用以输出产生自多个主从对的多个深度图中的一深度图，或所述多个深度图中的部分或全部所组成的一融合深度图。
17.如权利要求15所述的深度图产生装置，其特征在于：所述组主深度图产生器中的一第一主深度图产生器产生并传递一时间对准信号至所述组从深度图产生器中对应所述第一主深度图产生器的一第一从深度图产生器，以及所述第一从深度图产生器传递所述时间对准信号至所述组主深度图产生器中的一第二主深度图产生器。
18.如权利要求17所述的深度图产生装置，其特征在于：所述第二主深度图产生器传递所述时间对准信号至所述组从深度图产生器中对应所述第二主深度图产生器的一第二从深度图产生器。
CN201810012079.8A 2017-01-05 2018-01-05 深度图产生装置 Active CN108280851B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762442941P 2017-01-05 2017-01-05
US62/442,941 2017-01-05
US201762486471P 2017-04-18 2017-04-18
US62/486,471 2017-04-18

Publications (2)

Publication Number Publication Date
CN108280851A CN108280851A (zh) 2018-07-13
CN108280851B true CN108280851B (zh) 2024-04-19

Family

ID=62803255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810012079.8A Active CN108280851B (zh) 2017-01-05 2018-01-05 深度图产生装置

Country Status (3)

Country Link
US (1) US11652978B2 (zh)
CN (1) CN108280851B (zh)
TW (1) TWI668670B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
CN111626086A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
CN111145271B (zh) * 2019-12-30 2023-04-28 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761767A (zh) * 2011-04-26 2012-10-31 李国君 深度图产生方法
CN104683685A (zh) * 2013-11-29 2015-06-03 光宝科技股份有限公司 自动对焦方法、其自动对焦装置和其影像提取装置
CN105025193A (zh) * 2014-04-29 2015-11-04 钰创科技股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10021377B2 (en) * 2009-07-27 2018-07-10 Koninklijke Philips N.V. Combining 3D video and auxiliary data that is provided when not reveived
TWI443600B (zh) * 2011-05-05 2014-07-01 Mstar Semiconductor Inc 影像處理的方法與相關裝置
ES2607214T3 (es) * 2011-05-31 2017-03-29 Nokia Technologies Oy Métodos, aparatos y productos de programa informático para generar imágenes panorámicas usando datos de mapas de profundidad
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
AU2014280872A1 (en) * 2014-12-22 2016-07-07 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
US11423562B2 (en) * 2016-10-18 2022-08-23 Photonic Sensors & Algorithms, S.L. Device and method for obtaining distance information from views

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761767A (zh) * 2011-04-26 2012-10-31 李国君 深度图产生方法
CN104683685A (zh) * 2013-11-29 2015-06-03 光宝科技股份有限公司 自动对焦方法、其自动对焦装置和其影像提取装置
CN105025193A (zh) * 2014-04-29 2015-11-04 钰创科技股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A fast depth-map generation algorithm based on motion search from 2d video contents;W Wang，et al;Journal of software engineering and application;全文 *
单目运动摄像机进行稠密场景重建的方法研究;杨磊;信息科技(第9期);全文 *
基于TOF深度摄像机的深度超分辨率恢复和深度融合研究;刘力维;信息科技(第5期);全文 *

Also Published As

Publication number Publication date
US11652978B2 (en) 2023-05-16
TWI668670B (zh) 2019-08-11
TW201826223A (zh) 2018-07-16
US20180227575A1 (en) 2018-08-09
CN108280851A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280851B (zh) 深度图产生装置
CN107223269B (zh) 三维场景定位方法和装置
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
CN111539973B (zh) 用于检测车辆位姿的方法及装置
US20180364801A1 (en) Providing virtual reality experience service
US20200250885A1 (en) Reconstruction method, reconstruction device, and generation device
JP2017139725A (ja) 映像表示方法及び映像表示装置
JP6701930B2 (ja) オーサリング装置、オーサリング方法およびオーサリングプログラム
CN104284057B (zh) 一种视频处理方法及装置
KR20150080003A (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
US20210327125A1 (en) Illumination rendering method and apparatus, storage medium, and electronic device
CN113711276A (zh) 尺度感知单目定位和地图构建
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
KR20210093194A (ko) 차량의 차로변경을 탐지하는 방법과 장치, 전자 기기, 저장 장치, 노변 기기, 클라우드 제어 플랫폼 및 프로그램 제품
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN109272576B (zh) 一种数据处理方法、mec服务器、终端设备及装置
JP6518645B2 (ja) 情報処理装置および画像生成方法
US11785200B1 (en) Stage studio for immersive 3-D video capture
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
CN109413409B (zh) 一种数据处理方法、mec服务器、终端设备
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
CN113870163A (zh) 基于三维场景的视频融合方法以及装置、存储介质、电子装置
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JP2002077941A (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant