CN107396080A - 产生深度信息的方法及系统 - Google Patents
产生深度信息的方法及系统 Download PDFInfo
- Publication number
- CN107396080A CN107396080A CN201610396512.3A CN201610396512A CN107396080A CN 107396080 A CN107396080 A CN 107396080A CN 201610396512 A CN201610396512 A CN 201610396512A CN 107396080 A CN107396080 A CN 107396080A
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- image capture
- capture unit
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
一种产生深度信息的方法及系统。所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:取得关联于特定场景并且对应于不同装置组合的多个深度图,其中各个所述深度图对应于该特定场景的不同估测区域;针对该特定场景所对应的每一个像素点,判断其所位于的该估测区域是否为共同重叠区域;若否,根据该像素点在该估测区域中的非共同重叠区域所对应的深度图的深度值,设定该像素点的深度信息;若是,根据该像素点在共同重叠区域所对应的多个深度图的多个深度值以及物距,设定该像素点的该深度信息;以及利用所有像素点的所述深度信息,产生已整合深度图。本发明可增加深度估测的有效范围,还可提高深度估测的准确度。
Description
技术领域
本发明涉及一种影像处理的方法及其系统,且特别涉及一种产生深度信息的方法及系统。
背景技术
随着影像处理技术的发展,立体视觉的应用领域极为广泛,举凡结构光、立体影像、距离检测、安全监控等皆常见其应用。一般而言,立体视觉可包括两个阶段,第一阶段先利用深度摄影机、立体摄影机或是利用相关算法来产生深度信息,而第二阶段再利用深度信息来产生立体影像。由此可知,为了产生立体视觉体验较佳的影像,准确的深度信息极为重要。
立体视觉的原理主要是模拟人类的双眼视差(binocular disparity),将左右两个镜头之间的距离设置为约等于人类两眼间平均距离,通过场景中每一个点在左右影像的像素偏移量产生立体深度信息,进而形成场景的深度图。通过深度图可利用公式(1)推算出所有物体与镜头之间的真实距离D:
其中d为深度图中的深度值,F为两个镜头的焦距,B为两个镜头光轴之间的距离(即基线长度)。然而,两个镜头的可视范围与基线长度相关联,并且不同基线长度针对不同距离的深度信息的估测准确度亦有所差异。基于此,对于仅具有单一基线的两个镜头可进行深度估测的区域以及深度信息的准确度会因而受限。
因此,需要提供一种产生深度信息的方法及系统来解决上述问题。
发明内容
有鉴于此,本发明提供一种产生深度信息的方法及其系统,其可增加深度估测的有效范围以及准确度,以助于提升后续立体视觉应用的效能。
本发明的一实施例提供一种产生深度信息的方法,所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:取得关联于特定场景并且对应于多个不同装置组合的多个深度图,其中所述装置组合为两两所述影像撷取装置所组成的多个不同组合,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;针对该特定场景所对应的每一像素点:判断该像素点所位于的该估测区域是否对应于该共同重叠区域;若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
本发明的另一实施例提供一种产生深度信息的系统,此系统包括至少三个影像撷取装置以及影像处理装置。此些影像撷取装置分别用以撷取特定场景的影像,其中两两影像撷取装置组成多个不同装置组合。影像处理装置连接于各个影像撷取装置,并且先用以根据各个影像撷取装置所撷取的影像,取得关联于特定场景并且对应于所有装置组合的多个深度图,再针对特定场景所对应的每一像素点,判断像素点所位于的估测区域是否对应于共同重叠区域。若否,影像处理装置则根据像素点在估测区域中的非共同重叠区域所对应的深度图中的深度值,设定像素点的深度信息,而若是,影像处理装置则根据像素点在共同重叠区域所对应的多个深度图中的多个深度值以及像素点所对应的物距,设定像素点的深度信息。之后,影像处理装置再利用所有像素点的深度信息来产生特定场景的已整合深度图。
本发明的另一实施例提供一种产生深度信息的系统,所述系统包括:至少三个影像撷取装置,所述影像撷取装置分别用以撷取特定场景的影像,其中两两所述影像撷取装置组成多个不同装置组合;以及影像处理装置,所述影像处理装置连接于各所述影像撷取装置,所述影像处理装置用以:根据各所述影像撷取装置所撷取的所述影像,取得关联于该特定场景并且对应于所述装置组合的多个深度图,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;针对该特定场景所对应的每一像素点:判断该像素点所位于的该估测区域是否对应于该共同重叠区域;若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
基于上述,本发明所提出的产生深度信息的方法及其系统,其结合对应于不同基线长度的影像撷取装置组合来产生特定场景的深度信息,不仅可增加深度估测的有效范围,还可提高深度估测的准确度。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附附图作详细说明如下。
附图说明
图1是根据本发明一实施例所绘示的产生深度信息的系统的框图。
图2为根据本发明的一实施例所绘示的产生深度信息的方法流程图。
图3为根据本发明的一实施例所绘示利用影像撷取装置共同拍摄特定场景的示意图。
图4A、图4B以及图4C为根据本发明的一实施例所绘示对应于步骤S208、步骤S210、步骤S211的区域示意图。
图4D为根据本发明的一实施例所绘示的步骤S214的示意图。
图4E为根据本发明的一实施例所绘示对应于步骤S216~S222的区域示意图。
图5为根据本发明的另一实施例所绘示的产生深度信息的方法流程图。
主要组件符号说明:
100 系统
110 第一影像撷取装置
120 第二影像撷取装置
130 第三影像撷取装置
140 影像处理装置
S202~S224、S502~S510 产生深度信息的方法流程
R1、R2、C、B 区域
具体实施方式
由于立体影像撷取系统的可视范围与两个影像撷取装置之间的基线长度相关联,并且不同基线长度针对不同距离的深度估测的准确度亦有所差异。举例而言,基线长度为5厘米时,对于位于3米以上的拍摄物体的深度信息将会有很大的误差。基线长度为10厘米以及15厘米时,拍摄物体的深度信息的有效范围可分别提升至5米以及9米。本发明的概念是采用至少三个影像撷取装置,以结合不同基线长度所产生的深度图,通过条件判断来设定拍摄场景所对应的各个像素的深度值,以增加深度估测的有效范围以及准确度。
本发明的部分实施例接下来将会配合附图来详细描述,以下的描述所引用的组件符号,当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部分,并未揭示所有本发明的可实施方式。更确切地说,这些实施例只是本发明的权利要求书中的方法与系统的范例。
图1是根据本发明一实施例所绘示的产生深度信息的系统的框图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍系统中的所有构件以及配置关系,详细功能将配合图2一并公开。
请参照图1,系统100包括第一影像撷取装置110、第二影像撷取装置120、第三影像撷取装置130以及影像处理装置140。
在本实施例中,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130可以是采用电荷耦合器件(Charge Coupled Device,CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor,CMOS)或其他组件镜头的数码相机、单眼相机、数码摄像机等影像撷取装置。在本实施例中,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130将依序共线并且等距地设置,并且以相同的视角范围(fieldof view,FOV)以及相机参数来拍摄特定场景,然而本发明不在此设限。
在本实施例中,影像处理装置140可以为个人计算机、笔记本型计算机、智能型手机、平板计算机等具有影像处理功能的电子装置。影像处理装置140包括存储器、处理器以及传输模块。传输模块用以通过有线传输或是无线传输的方式取得第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130所撷取的影像。存储器用以储存所撷取的影像,而处理器用于处理存储器中所储存的影像,藉以产生所拍摄的特定场景的深度信息。以下即列举实施例说明针对系统100产生深度信息的方法的详细步骤。
图2为根据本发明的一实施例所绘示的产生深度信息的方法流程图,而图2的方法可以图1的系统100的各装置实现。
请同时参照图1以及图2,首先,影像处理装置140将取得关联于特定场景并且对应于不同装置组合的多个深度图(步骤S202)。在此的装置组合为第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130之中两两装置所组成的不同组合。为了方便说明,以下将第一影像撷取装置110与第二影像撷取装置120定义为“第一装置组合”,第二影像撷取装置120与第三影像撷取装置130定义为“第二装置组合”,第一影像撷取装置110与第三影像撷取装置130定义为“第三装置组合”。本领域普通技术人员应明了,任何两个影像撷取装置针对同一特定场景拍摄所产生的两张影像中,仅有重叠区域具有深度值。在此,第一装置组合所拍摄到的重叠区域将定义为“第一估测区域”,第一估测区域的各个深度值所构成的深度图将定义为“第一深度图”;第二装置组合所拍摄到的重叠区域将定义为“第二估测区域”,第二估测区域的各个深度值所构成的深度图将定义为“第二深度图”;第三装置组合所拍摄到的重叠区域将定义为“第三估测区域”,第三估测区域的各个深度值所构成的深度图将定义为“第三深度图”。根据本实施例中的装置配置,第一估测区域、第二估测区域以及第三估测区域将具有一个共同重叠区域。
具体来说,图3为根据本发明的一实施例所绘示的利用影像撷取装置共同拍摄特定场景的示意图。
请参照图3,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130以相隔5厘米等距地配置于同一假想直线上,并且皆以105度的视角范围拍摄其前方的影像。第一影像撷取装置110与第二影像撷取装置120(即,第一装置组合)以及第二影像撷取装置120与第三影像撷取装置130(即,第二装置组合)的基线长度皆为5厘米,而第一影像撷取装置110与第三影像撷取装置130(即,第三装置组合)的基线长度为10厘米。区域R1以及区域C为对应于第一装置组合的第一估测区域,并且将产生第一深度图。区域R2以及区域C为对应于第二装置组合的第二估测区域,并且将产生第二深度图。区域C为对应于第三装置组合的第三估测区域,并且将产生第三深度图。必须注意的是,区域C亦称为第一估测区域、第二估测区域以及第三估测区域的共同重叠区域,而区域R1以及区域R2亦称为非共同重叠区域。由于第一估测区域、第二估测区域以及第三估测区域仅为特定场景的局部区域,在以下的步骤中,影像处理装置140将根据前述三个深度图,以整合出区域R1、R2以及区域C的深度信息,以产生涵盖较大范围的估测区域的单一深度图。
因此,请回到图2,影像处理装置140将先针对特定场景所对应的每一个像素点进行分析,以计算出其分别所对应的深度信息。以下仅以其中一个像素点来进行说明深度信息的计算方式,而其他像素点将以迭代(iterative)的方式来取得。影像处理装置140将判断目前正在处理的像素点所位于的估测区域是否对应于共同重叠区域(步骤S204)。若否,影像处理装置140将判断像素点是位于第一估测区域的非共同重叠区域、第二估测区域的非共同重叠区域或是以上两者皆非(步骤S206)。当像素点位于第一估测区域的非共同重叠区域时,影像处理装置140会将像素点在第一深度图所对应的深度值设定为其深度信息(步骤S208)。当像素点位于第二估测区域的非共同重叠区域时,影像处理装置140会将像素点在第二深度图所对应的深度值设定为其深度信息(步骤S210)。另一方面,当像素点不属于任何估测区域时,影像处理装置140会将像素点设定为不具有深度信息的坏像素(步骤S211)。
具体来说,图4A、图4B以及图4C为根据本发明的一实施例所绘示对应于步骤S208、步骤S210、步骤S211的区域示意图。
请先参照图4A,当影像处理装置140判断像素点位于第一估测区域的非共同重叠区域(即,区域R1)时,会根据像素点在第一深度图的画素坐标来取得对应的深度值。
请再参照图4B,当影像处理装置140判断像素点位于第二估测区域的非共同重叠区域(即,区域R2)时,会根据像素点在第二深度图的画素坐标来取得对应的深度值。
接着,请再参照图4C,当影像处理装置140判断像素点位于区域R1、区域R2以及区域C以外的区域B时,代表其位于仅为单一个影像撷取装置所撷取到的区域,因此会将此像素点视为不具有深度信息的坏像素(bad pixel)。
请再回到图2,当影像处理装置140判断像素点所位于的估测区域对应于共同重叠区域时,将更进一步地判断像素点所对应的物距是否大于距离阈值(步骤S212)。在此的物距可以是利用像素点在第一深度图所对应的深度值或是在第二深度图所对应的深度值来计算,而此步骤是对应不同基线长度针对不同物距的深度信息存在不同的准确度。举例来说,当采用基线长度为5厘米所对应的深度图时,对于距离3米以上的拍摄物体的深度估测准确度将会大幅地下降,因此若改用基线长度为15厘米所对应的深度图时,深度估测的有效范围可提升至9米左右。基于此,当像素点所对应的物距大于距离阈值时,影像处理装置140会采用基线长度较长的组合所产生的深度图来设定深度信息。换句话说,影像处理装置140会将像素点在第三深度图所对应的深度值设定为其深度信息(步骤S214)。
具体来说,图4D为根据本发明的一实施例所绘示的对应于步骤S214的区域示意图。在此一并说明的是,图4E为根据本发明的一实施例所绘示的对应于稍后步骤S216~S222的区域示意图。
请先参照图4D,假设距离阈值为3米。当影像处理装置140判断像素点位于共同重叠区域C中距离基线3米以上的远距离区域C1时,会根据对应于较长基线长度的第三深度图来取得像素点对应的深度值。
另一方面,请参照图4E,当影像处理装置140判断像素点位于共同重叠区域C中距离基线3米以内的近距离区域C2时,由于此区域为场景的正中央近距离处,其通常为影像的焦点。因此,影像处理装置140将会考虑到像素点的所在位置、第一深度图以及第二深度图,以较为严谨的方式取得像素点的深度信息。
详细来说,根据立体影像撷取的特性,当物体在同一位置时,基线长度越短者具有较小的视差,而基线长度越长者具有较大的视差。基于此,请回到图2,当像素点位于共同重叠区域并且所对应的物距不大于距离阈值时(例如是图4E的区域C2),影像处理装置140将取得第二影像撷取装置120的光轴在第一影像撷取装置110的相对位置(步骤S216),并且判断像素点是否位于第一影像撷取装置110的相对位置(步骤S218)。一般而言,当像素点位于第一影像撷取装置110的相对位置时,即代表其并未偏离光轴,影像处理装置140即会将像素点在第一深度图所对应的深度值设定为其深度信息(步骤S220)。换句话说,当物体并未偏离光轴时,基线长度较短的第一装置组合所拍摄到的物体大小差异不大,在此可直接以第一深度图来取得物体的深度信息。然而,在另一实施例中,若要进行双向确认,影像处理装置140将判断像素点分别在第一深度图的深度值与第二深度图的深度值是否相同。若相同时,影像处理装置140即可确认像素点的深度值,而若不相同时,影像处理装置140会将像素点设定为不具有深度信息的坏像素。
另一方面,当像素点不位于第一影像撷取装置110的相对位置时,影像处理装置140会将像素点在第一深度图所对应的深度值与在第二深度图所对应的深度值的加权平均值(weighted average)设定为像素点的深度信息(步骤S222)。详细来说,当物体偏离光轴时,第一装置组合与第二装置组合所拍摄到的物体大小以及远近将有所差异,因此影像处理装置140可以例如是将像素点在第一深度图所对应的深度值与在第二深度图所对应的深度值的平均值设定为像素点的深度信息。然而,在其他实施例中,影像处理装置140可以是根据所欲达到的效果来调整两个深度值之间的权重,本发明不在此设限。
当影像处理装置140以迭代的方式取得对应于特定场景的所有像素点的深度信息时,即可产生已整合的深度图(步骤S224)。相较于两两组合而成的影像撷取装置所分别取得到的深度图,此已整合的深度图将涵盖较大的范围以及具有较高的准确度。除此之外,在另一实施例中,影像处理装置140可利用中值滤波器(median filter)等方式来平滑已整合的深度图,以填补其中的坏像素或是去除噪声。
图2所提出的方法可以图5根据本发明的一实施例所绘示的产生深度信息的方法流程图来进行总结。然而,图5的方法流程适用于至少三个影像撷取装置,并且将不限于其配置方式以及相机参数的设定。
请参照图5,首先,影像处理装置140将取得关联于特定场景并且对应于多个不同装置组合的多个深度图(步骤S502)。在此的装置组合为所有影像撷取装置中两两所组成的不同组合,各个深度图对应于特定场景的不同估测区域,各个估测区域与其他估测区域具有共同重叠区域。接着,影像处理装置140将先针对特定场景所对应的每一个像素点进行分析,以计算出其分别所对应的深度信息。以下仅以其中一个像素点来进行说明深度信息的计算方式,而其他像素点将以迭代的方式来取得。影像处理装置140将判断像素点所位于的估测区域是否对应于共同重叠区域(步骤S504)。若否,影像处理装置140将根据像素点在估测区域中的非共同重叠区域所对应的深度图中的深度值,设定像素点的深度信息(步骤S506)。若是,影像处理装置140将根据像素点在共同重叠区域所对应的多个深度图中的多个深度值以及像素点所对应的物距,设定像素点的深度信息(步骤S508)。当影像处理装置140以迭代的方式取得对应于特定场景的所有像素点的深度信息时,即可产生已整合的深度图(步骤S510)。步骤S502~步骤S510的详细步骤请参照图2的相关说明,在此不再赘述。
综上所述,本发明所提出的产生深度信息的方法及其系统,其结合对应于不同基线长度的影像撷取装置组合来产生特定场景的深度信息,不仅可增加深度估测的有效范围,还可提高深度估测的准确度,以助于提升后续例如是结构光、立体影像、距离检测、安全监控等立体视觉应用的效能。
虽然本发明已以实施例公开如上,然而其并非用以限定本发明,任何所属技术领域中的普通技术人员,在不脱离本发明的精神和范围的情况下,应当可作些许的更动与润饰,故本发明的保护范围应当视所附的权利要求书所界定者为准。
Claims (16)
1.一种产生深度信息的方法,所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:
取得关联于特定场景并且对应于多个不同装置组合的多个深度图,其中所述装置组合为两两所述影像撷取装置所组成的多个不同组合,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;
针对该特定场景所对应的每一像素点:
判断该像素点所位于的该估测区域是否对应于该共同重叠区域;
若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及
若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及
利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
2.如权利要求1所述的方法,其中所述影像撷取装置为共线并且等距地配置。
3.如权利要求2所述的方法,其中所述影像撷取装置具有相同的视角范围并且包括第一影像撷取装置、第二影像撷取装置以及第三影像撷取装置,该第二影像撷取装置设置于该第一影像撷取装置与该第三撷取装置之间,该第一影像撷取装置与该第二影像撷取装置为所述组合中的第一装置组合,该第二影像撷取装置与该第三影像撷取装置为所述组合中的第二装置组合,该第一影像撷取装置与该第三影像撷取装置为所述组合中的第三装置组合,该第一装置组合、该第二装置组合以及该第三装置组合分别对应所述估测区域的第一估测区域、第二估测区域以及第三估测区域并且分别对应所述深度图中的第一深度图、第二深度图以及第三深度图。
4.如权利要求3所述的方法,其中对于各所述像素点,当该像素点所位于的该估测区域不对应于该共同重叠区域时,根据该像素点在该估测区域中该共同重叠区域以外的该非共同重叠区域所对应的该深度图中的该深度值,设定该像素点的该深度信息的步骤包括:
当该像素点位于该第一估测区域的该非共同重叠区域时,设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
当该像素点位于该第二估测区域的该非共同重叠区域时,设定该像素点在该第二深度图所对应的该深度值为该像素点的该深度信息。
5.如权利要求3所述的方法,其中对于各所述像素点,当该像素点所位于的该估测区域对应于该共同重叠区域时,根据该像素点在该共同重叠区域所对应的所述深度图中的所述深度值以及该像素点所对应的该物距,设定该像素点的该深度信息的步骤包括:
利用该像素点在该第一深度图所对应的该深度值或是在该第二深度图所对应的该深度值,计算该像素点所对应的该物距;
判断该像素点所对应的该物距是否大于距离阈值;
若是,设定该像素点在该第三深度图所对应的该深度值为该像素点的该深度信息;
若否,根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息。
6.如权利要求5所述的方法,其中对于各所述像素点,当该像素点所对应的该物距不大于该距离阈值时,根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息的步骤包括:
取得该第二影像撷取装置的光轴在该第一影像撷取装置的相对位置;
判断该像素点是否位于该第一影像撷取装置的该相对位置;
若是,设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
若否,设定该像素点在该第一深度图所对应的该深度值与在该第二深度图所对应的该深度值的加权平均值为该像素点的该深度信息。
7.如权利要求6所述的方法,其中对于各所述像素点,当该像素点位于该第一影像撷取装置的该相对位置时,该方法还包括:
判断该像素点分别在该第一深度图的该深度值与该第二深度图的该深度值是否相同;
若否,设定该像素点为不具有深度信息的坏像素。
8.如权利要求1所述的方法,其中对于各所述像素点,当该像素点不位于任何所述估测区域时,该方法还包括:
设定该像素点为不具有深度信息的坏像素。
9.一种产生深度信息的系统,所述系统包括:
至少三个影像撷取装置,所述影像撷取装置分别用以撷取特定场景的影像,其中两两所述影像撷取装置组成多个不同装置组合;以及
影像处理装置,所述影像处理装置连接于各所述影像撷取装置,所述影像处理装置用以:
根据各所述影像撷取装置所撷取的所述影像,取得关联于该特定场景并且对应于所述装置组合的多个深度图,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;
针对该特定场景所对应的每一像素点:
判断该像素点所位于的该估测区域是否对应于该共同重叠区域;
若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及
若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及
利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
10.如权利要求9所述的系统,其中所述影像撷取装置为共线并且等距地配置。
11.如权利要求10所述的系统,其中所述影像撷取装置具有相同的视角范围并且包括第一影像撷取装置、第二影像撷取装置以及第三影像撷取装置,该第二影像撷取装置设置于该第一影像撷取装置与该第三撷取装置之间,该第一影像撷取装置与该第二影像撷取装置为所述组合中的第一装置组合,该第二影像撷取装置与该第三影像撷取装置为所述组合中的第二装置组合,该第一影像撷取装置与该第三影像撷取装置为所述组合中的第三装置组合,该第一装置组合、该第二装置组合以及该第三装置组合分别对应所述估测区域的第一估测区域、第二估测区域以及第三估测区域并且分别对应所述深度图中的第一深度图、第二深度图以及第三深度图。
12.如权利要求11所述的系统,其中对于各所述像素点:
当该影像处理装置判断该像素点位于该第一估测区域的该非共同重叠区域时,该影像处理装置设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
当该影像处理装置判断该像素点位于该第二估测区域的该非共同重叠区域时,该影像处理装置设定该像素点在该第二深度图所对应的该深度值为该像素点的该深度信息。
13.如权利要求11所述的系统,其中对于各所述像素点,当该影像处理装置判断该像素点所位于的该估测区域对应于该共同重叠区域时:
该影像处理装置利用该像素点在该第一深度图所对应的该深度值或是在该第二深度图所对应的该深度值,计算该像素点所对应的该物距,并且判断该像素点所对应的该物距是否大于距离阈值;
若否,则该影像处理装置设定该像素点在该第三深度图所对应的该深度值为该像素点的该深度信息;以及
若是,则该影像处理装置根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息。
14.如权利要求13所述的系统,其中对于各所述像素点,当该像素点所对应的该物距不大于该距离阈值时:
该影像处理装置取得该第二影像撷取装置的光轴在该第一影像撷取装置的相对位置,并且判断该像素点是否位于该第一影像撷取装置的该相对位置;
若是,该影像处理装置设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
若否,该影像处理装置设定该像素点在该第一深度图所对应的该深度值与在该第二深度图所对应的该深度值的加权平均值为该像素点的该深度信息。
15.如权利要求14所述的系统,其中对于各所述像素点,当该像素点位于该第一影像撷取装置的该相对位置时,
该影像处理装置还判断该像素点分别在该第一深度图的该深度值与该第二深度图的该深度值是否相同;以及
若否,该影像处理装置设定该像素点为不具有深度信息的坏像素。
16.如权利要求9所述的系统,其中对于各所述像素点,当该像素点不位于任何所述估测区域时,该影像处理装置还设定该像素点为不具有深度信息的坏像素。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105115210A TWI567693B (zh) | 2016-05-17 | 2016-05-17 | 產生深度資訊的方法及其系統 |
TW105115210 | 2016-05-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107396080A true CN107396080A (zh) | 2017-11-24 |
CN107396080B CN107396080B (zh) | 2019-04-09 |
Family
ID=58408201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610396512.3A Active CN107396080B (zh) | 2016-05-17 | 2016-06-06 | 产生深度信息的方法及系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10460460B2 (zh) |
CN (1) | CN107396080B (zh) |
TW (1) | TWI567693B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108777784A (zh) * | 2018-06-06 | 2018-11-09 | Oppo广东移动通信有限公司 | 深度获取方法和装置、电子装置、计算机设备和存储介质 |
CN108830785A (zh) * | 2018-06-06 | 2018-11-16 | Oppo广东移动通信有限公司 | 背景虚化方法及装置、电子装置、计算机设备和存储介质 |
CN110166701A (zh) * | 2018-02-14 | 2019-08-23 | 奇景光电股份有限公司 | 自动曝光控制器、自动曝光控制方法及其系统 |
CN112540494A (zh) * | 2019-09-06 | 2021-03-23 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
CN114581297A (zh) * | 2020-12-01 | 2022-06-03 | 财团法人工业技术研究院 | 用于环景影像的影像处理方法及装置 |
CN114667729A (zh) * | 2020-01-08 | 2022-06-24 | 核心光电有限公司 | 多孔变焦数码摄像头及其使用方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6139713B2 (ja) | 2013-06-13 | 2017-05-31 | コアフォトニクス リミテッド | デュアルアパーチャズームデジタルカメラ |
CN108519655A (zh) | 2013-07-04 | 2018-09-11 | 核心光电有限公司 | 小型长焦透镜套件 |
US9857568B2 (en) | 2013-07-04 | 2018-01-02 | Corephotonics Ltd. | Miniature telephoto lens assembly |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10706569B2 (en) | 2016-06-08 | 2020-07-07 | Amazon Technologies, Inc. | Selectively paired imaging elements for stereo images |
IL302577A (en) | 2017-02-23 | 2023-07-01 | Corephotonics Ltd | Lens designs for a folded camera |
TWI672677B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 用以融合多深度圖的深度圖產生裝置 |
TWI672938B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 可校正遮蔽區的深度圖產生裝置 |
JP7297891B2 (ja) | 2018-07-19 | 2023-06-26 | アクティブ サージカル, インコーポレイテッド | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
CN109470166B (zh) * | 2018-11-09 | 2020-12-08 | 业成科技(成都)有限公司 | 结构光深度感测器及感测方法 |
CN114615402A (zh) | 2019-01-03 | 2022-06-10 | 核心光电有限公司 | 双重相机 |
KR102288615B1 (ko) | 2019-08-21 | 2021-08-11 | 코어포토닉스 리미티드 | 큰 센서 포맷을 위한 작은 총 트랙 길이 |
US11656538B2 (en) | 2019-11-25 | 2023-05-23 | Corephotonics Ltd. | Folded zoom camera module with adaptive aperture |
EP3966631B1 (en) | 2020-05-30 | 2023-01-25 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
KR102657473B1 (ko) | 2020-07-31 | 2024-04-12 | 코어포토닉스 리미티드 | 폴디드 매크로-텔레 카메라 렌즈 설계 |
CN117331203A (zh) | 2020-09-18 | 2024-01-02 | 核心光电有限公司 | 弹出式变焦相机 |
WO2022118176A1 (en) | 2020-12-01 | 2022-06-09 | Corephotonics Ltd. | Folded camera with continuously adaptive zoom factor |
CN117581264A (zh) * | 2021-01-28 | 2024-02-20 | 前瞻机械私人有限公司 | 用于组合多个深度图的系统和方法 |
KR102685591B1 (ko) | 2021-09-23 | 2024-07-15 | 코어포토닉스 리미티드 | 큰 애퍼처 연속 줌 폴디드 텔레 카메라 |
WO2023079403A1 (en) | 2021-11-02 | 2023-05-11 | Corephotonics Ltd. | Compact double folded tele cameras |
KR20240061215A (ko) * | 2022-10-31 | 2024-05-08 | 삼성전자주식회사 | 깊이 맵을 생성하기 위한 방법 및 장치 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090051778A1 (en) * | 2007-08-21 | 2009-02-26 | Patrick Pan | Advanced dynamic stitching method for multi-lens camera system |
CN101936731A (zh) * | 2009-06-29 | 2011-01-05 | (株)赛丽康 | 获取3d距离信息和图像的装置 |
CN102362495A (zh) * | 2009-03-25 | 2012-02-22 | 思科技术公司 | 用于具有显示墙的视频会议端点的多个相机的组合视图 |
CN102879994A (zh) * | 2012-07-17 | 2013-01-16 | 财团法人交大思源基金会 | 摄影装置 |
CN103716560A (zh) * | 2012-09-28 | 2014-04-09 | Lg伊诺特有限公司 | 电视机装置 |
US20140098199A1 (en) * | 2010-03-10 | 2014-04-10 | Shapequest, Inc. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
US20140104394A1 (en) * | 2012-10-15 | 2014-04-17 | Intel Corporation | System and method for combining data from multiple depth cameras |
CN104519343A (zh) * | 2013-09-26 | 2015-04-15 | 西克股份公司 | 根据立体视图原理的3d相机和用于获取深度图的方法 |
CN105409212A (zh) * | 2013-02-28 | 2016-03-16 | 谷歌技术控股有限责任公司 | 具有多视图图像捕捉和深度感测的电子设备 |
CN105530503A (zh) * | 2014-09-30 | 2016-04-27 | 光宝科技股份有限公司 | 深度图建立方法与多镜头相机系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
JP5774889B2 (ja) * | 2011-03-31 | 2015-09-09 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
CN102760234B (zh) * | 2011-04-14 | 2014-08-20 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
US20130027548A1 (en) | 2011-07-28 | 2013-01-31 | Apple Inc. | Depth perception device and system |
TWI456526B (zh) * | 2011-11-03 | 2014-10-11 | Au Optronics Corp | 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置 |
TWI503618B (zh) * | 2012-12-27 | 2015-10-11 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
TWI508027B (zh) * | 2013-08-08 | 2015-11-11 | Huper Lab Co Ltd | 三維偵測裝置及其偵測影像之方法 |
TW201612853A (en) * | 2014-09-30 | 2016-04-01 | Lite On Technology Corp | Method for creating depth map and a multi-lens camera system using the method |
-
2016
- 2016-05-17 TW TW105115210A patent/TWI567693B/zh active
- 2016-06-06 CN CN201610396512.3A patent/CN107396080B/zh active Active
- 2016-08-22 US US15/242,604 patent/US10460460B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090051778A1 (en) * | 2007-08-21 | 2009-02-26 | Patrick Pan | Advanced dynamic stitching method for multi-lens camera system |
CN102362495A (zh) * | 2009-03-25 | 2012-02-22 | 思科技术公司 | 用于具有显示墙的视频会议端点的多个相机的组合视图 |
CN101936731A (zh) * | 2009-06-29 | 2011-01-05 | (株)赛丽康 | 获取3d距离信息和图像的装置 |
US20140098199A1 (en) * | 2010-03-10 | 2014-04-10 | Shapequest, Inc. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
CN102879994A (zh) * | 2012-07-17 | 2013-01-16 | 财团法人交大思源基金会 | 摄影装置 |
CN103716560A (zh) * | 2012-09-28 | 2014-04-09 | Lg伊诺特有限公司 | 电视机装置 |
US20140104394A1 (en) * | 2012-10-15 | 2014-04-17 | Intel Corporation | System and method for combining data from multiple depth cameras |
CN104641633A (zh) * | 2012-10-15 | 2015-05-20 | 英特尔公司 | 用于组合来自多个深度相机的数据的系统和方法 |
CN105409212A (zh) * | 2013-02-28 | 2016-03-16 | 谷歌技术控股有限责任公司 | 具有多视图图像捕捉和深度感测的电子设备 |
CN104519343A (zh) * | 2013-09-26 | 2015-04-15 | 西克股份公司 | 根据立体视图原理的3d相机和用于获取深度图的方法 |
CN105530503A (zh) * | 2014-09-30 | 2016-04-27 | 光宝科技股份有限公司 | 深度图建立方法与多镜头相机系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110166701A (zh) * | 2018-02-14 | 2019-08-23 | 奇景光电股份有限公司 | 自动曝光控制器、自动曝光控制方法及其系统 |
CN110166701B (zh) * | 2018-02-14 | 2021-06-22 | 奇景光电股份有限公司 | 自动曝光控制器、自动曝光控制方法及其系统 |
CN108777784A (zh) * | 2018-06-06 | 2018-11-09 | Oppo广东移动通信有限公司 | 深度获取方法和装置、电子装置、计算机设备和存储介质 |
CN108830785A (zh) * | 2018-06-06 | 2018-11-16 | Oppo广东移动通信有限公司 | 背景虚化方法及装置、电子装置、计算机设备和存储介质 |
CN108830785B (zh) * | 2018-06-06 | 2021-01-15 | Oppo广东移动通信有限公司 | 背景虚化方法及装置、电子装置、计算机设备和存储介质 |
CN112540494A (zh) * | 2019-09-06 | 2021-03-23 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN112540494B (zh) * | 2019-09-06 | 2022-05-03 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN114667729A (zh) * | 2020-01-08 | 2022-06-24 | 核心光电有限公司 | 多孔变焦数码摄像头及其使用方法 |
CN114667729B (zh) * | 2020-01-08 | 2024-04-19 | 核心光电有限公司 | 多孔变焦数码摄像头及其使用方法 |
CN114581297A (zh) * | 2020-12-01 | 2022-06-03 | 财团法人工业技术研究院 | 用于环景影像的影像处理方法及装置 |
CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI567693B (zh) | 2017-01-21 |
TW201741999A (zh) | 2017-12-01 |
US20170337703A1 (en) | 2017-11-23 |
CN107396080B (zh) | 2019-04-09 |
US10460460B2 (en) | 2019-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107396080B (zh) | 产生深度信息的方法及系统 | |
US20210358154A1 (en) | Systems and Methods for Depth Estimation Using Generative Models | |
JP6355052B2 (ja) | 撮像装置、画像処理装置、撮像方法および記録媒体 | |
KR101657039B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
CN109615652A (zh) | 一种深度信息获取方法及装置 | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
US10841558B2 (en) | Aligning two images by matching their feature points | |
CN108510540B (zh) | 立体视觉摄像机及其高度获取方法 | |
CN107113415A (zh) | 用于多技术深度图获取和融合的方法和设备 | |
WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
CN109840922B (zh) | 基于双目光场相机的深度获取方法和系统 | |
CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
AU2012350230B2 (en) | Method of 3D reconstruction of a scene calling upon asynchronous sensors | |
CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
CN103379267A (zh) | 三维空间图像的获取系统及方法 | |
CN103475886A (zh) | 立体深度影像建立系统及其方法 | |
WO2016029465A1 (zh) | 一种图像处理方法、装置及电子设备 | |
CN111107337A (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
CN106952247A (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
Praveen | Efficient depth estimation using sparse stereo-vision with other perception techniques | |
CN112470189B (zh) | 光场系统的遮挡消除 | |
Hamzah et al. | An obstacle detection and avoidance of a mobile robot with stereo vision camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |