CN107396080B - 产生深度信息的方法及系统 - Google Patents

产生深度信息的方法及系统 Download PDF

Info

Publication number
CN107396080B
CN107396080B CN201610396512.3A CN201610396512A CN107396080B CN 107396080 B CN107396080 B CN 107396080B CN 201610396512 A CN201610396512 A CN 201610396512A CN 107396080 B CN107396080 B CN 107396080B
Authority
CN
China
Prior art keywords
pixel
depth
image capture
capture unit
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610396512.3A
Other languages
English (en)
Other versions
CN107396080A (zh
Inventor
吴柏毅
陈裕彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN107396080A publication Critical patent/CN107396080A/zh
Application granted granted Critical
Publication of CN107396080B publication Critical patent/CN107396080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

一种产生深度信息的方法及系统。所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:取得关联于特定场景并且对应于不同装置组合的多个深度图,其中各个所述深度图对应于该特定场景的不同估测区域;针对该特定场景所对应的每一个像素点,判断其所位于的该估测区域是否为共同重叠区域;若否,根据该像素点在该估测区域中的非共同重叠区域所对应的深度图的深度值,设定该像素点的深度信息;若是,根据该像素点在共同重叠区域所对应的多个深度图的多个深度值以及物距,设定该像素点的该深度信息;以及利用所有像素点的所述深度信息,产生已整合深度图。本发明可增加深度估测的有效范围,还可提高深度估测的准确度。

Description

产生深度信息的方法及系统
技术领域
本发明涉及一种影像处理的方法及其系统,且特别涉及一种产生深度信息的方法及系统。
背景技术
随着影像处理技术的发展,立体视觉的应用领域极为广泛,举凡结构光、立体影像、距离检测、安全监控等皆常见其应用。一般而言,立体视觉可包括两个阶段,第一阶段先利用深度摄影机、立体摄影机或是利用相关算法来产生深度信息,而第二阶段再利用深度信息来产生立体影像。由此可知,为了产生立体视觉体验较佳的影像,准确的深度信息极为重要。
立体视觉的原理主要是模拟人类的双眼视差(binocular disparity),将左右两个镜头之间的距离设置为约等于人类两眼间平均距离,通过场景中每一个点在左右影像的像素偏移量产生立体深度信息,进而形成场景的深度图。通过深度图可利用公式(1)推算出所有物体与镜头之间的真实距离D:
其中d为深度图中的深度值,F为两个镜头的焦距,B为两个镜头光轴之间的距离(即基线长度)。然而,两个镜头的可视范围与基线长度相关联,并且不同基线长度针对不同距离的深度信息的估测准确度亦有所差异。基于此,对于仅具有单一基线的两个镜头可进行深度估测的区域以及深度信息的准确度会因而受限。
因此,需要提供一种产生深度信息的方法及系统来解决上述问题。
发明内容
有鉴于此,本发明提供一种产生深度信息的方法及其系统,其可增加深度估测的有效范围以及准确度,以助于提升后续立体视觉应用的效能。
本发明的一实施例提供一种产生深度信息的方法,所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:取得关联于特定场景并且对应于多个不同装置组合的多个深度图,其中所述装置组合为两两所述影像撷取装置所组成的多个不同组合,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;针对该特定场景所对应的每一像素点:判断该像素点所位于的该估测区域是否对应于该共同重叠区域;若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
本发明的另一实施例提供一种产生深度信息的系统,此系统包括至少三个影像撷取装置以及影像处理装置。此些影像撷取装置分别用以撷取特定场景的影像,其中两两影像撷取装置组成多个不同装置组合。影像处理装置连接于各个影像撷取装置,并且先用以根据各个影像撷取装置所撷取的影像,取得关联于特定场景并且对应于所有装置组合的多个深度图,再针对特定场景所对应的每一像素点,判断像素点所位于的估测区域是否对应于共同重叠区域。若否,影像处理装置则根据像素点在估测区域中的非共同重叠区域所对应的深度图中的深度值,设定像素点的深度信息,而若是,影像处理装置则根据像素点在共同重叠区域所对应的多个深度图中的多个深度值以及像素点所对应的物距,设定像素点的深度信息。之后,影像处理装置再利用所有像素点的深度信息来产生特定场景的已整合深度图。
本发明的另一实施例提供一种产生深度信息的系统,所述系统包括:至少三个影像撷取装置,所述影像撷取装置分别用以撷取特定场景的影像,其中两两所述影像撷取装置组成多个不同装置组合;以及影像处理装置,所述影像处理装置连接于各所述影像撷取装置,所述影像处理装置用以:根据各所述影像撷取装置所撷取的所述影像,取得关联于该特定场景并且对应于所述装置组合的多个深度图,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;针对该特定场景所对应的每一像素点:判断该像素点所位于的该估测区域是否对应于该共同重叠区域;若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距,设定该像素点的该深度信息;以及利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
基于上述,本发明所提出的产生深度信息的方法及其系统,其结合对应于不同基线长度的影像撷取装置组合来产生特定场景的深度信息,不仅可增加深度估测的有效范围,还可提高深度估测的准确度。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附附图作详细说明如下。
附图说明
图1是根据本发明一实施例所绘示的产生深度信息的系统的框图。
图2为根据本发明的一实施例所绘示的产生深度信息的方法流程图。
图3为根据本发明的一实施例所绘示利用影像撷取装置共同拍摄特定场景的示意图。
图4A、图4B以及图4C为根据本发明的一实施例所绘示对应于步骤S208、步骤S210、步骤S211的区域示意图。
图4D为根据本发明的一实施例所绘示的步骤S214的示意图。
图4E为根据本发明的一实施例所绘示对应于步骤S216~S222的区域示意图。
图5为根据本发明的另一实施例所绘示的产生深度信息的方法流程图。
主要组件符号说明:
100 系统
110 第一影像撷取装置
120 第二影像撷取装置
130 第三影像撷取装置
140 影像处理装置
S202~S224、S502~S510 产生深度信息的方法流程
R1、R2、C、B 区域
具体实施方式
由于立体影像撷取系统的可视范围与两个影像撷取装置之间的基线长度相关联,并且不同基线长度针对不同距离的深度估测的准确度亦有所差异。举例而言,基线长度为5厘米时,对于位于3米以上的拍摄物体的深度信息将会有很大的误差。基线长度为10厘米以及15厘米时,拍摄物体的深度信息的有效范围可分别提升至5米以及9米。本发明的概念是采用至少三个影像撷取装置,以结合不同基线长度所产生的深度图,通过条件判断来设定拍摄场景所对应的各个像素的深度值,以增加深度估测的有效范围以及准确度。
本发明的部分实施例接下来将会配合附图来详细描述,以下的描述所引用的组件符号,当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部分,并未揭示所有本发明的可实施方式。更确切地说,这些实施例只是本发明的权利要求书中的方法与系统的范例。
图1是根据本发明一实施例所绘示的产生深度信息的系统的框图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍系统中的所有构件以及配置关系,详细功能将配合图2一并公开。
请参照图1,系统100包括第一影像撷取装置110、第二影像撷取装置120、第三影像撷取装置130以及影像处理装置140。
在本实施例中,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130可以是采用电荷耦合器件(Charge Coupled Device,CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor,CMOS)或其他组件镜头的数码相机、单眼相机、数码摄像机等影像撷取装置。在本实施例中,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130将依序共线并且等距地设置,并且以相同的视角范围(fieldof view,FOV)以及相机参数来拍摄特定场景,然而本发明不在此设限。
在本实施例中,影像处理装置140可以为个人计算机、笔记本型计算机、智能型手机、平板计算机等具有影像处理功能的电子装置。影像处理装置140包括存储器、处理器以及传输模块。传输模块用以通过有线传输或是无线传输的方式取得第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130所撷取的影像。存储器用以储存所撷取的影像,而处理器用于处理存储器中所储存的影像,藉以产生所拍摄的特定场景的深度信息。以下即列举实施例说明针对系统100产生深度信息的方法的详细步骤。
图2为根据本发明的一实施例所绘示的产生深度信息的方法流程图,而图2的方法可以图1的系统100的各装置实现。
请同时参照图1以及图2,首先,影像处理装置140将取得关联于特定场景并且对应于不同装置组合的多个深度图(步骤S202)。在此的装置组合为第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130之中两两装置所组成的不同组合。为了方便说明,以下将第一影像撷取装置110与第二影像撷取装置120定义为“第一装置组合”,第二影像撷取装置120与第三影像撷取装置130定义为“第二装置组合”,第一影像撷取装置110与第三影像撷取装置130定义为“第三装置组合”。本领域普通技术人员应明了,任何两个影像撷取装置针对同一特定场景拍摄所产生的两张影像中,仅有重叠区域具有深度值。在此,第一装置组合所拍摄到的重叠区域将定义为“第一估测区域”,第一估测区域的各个深度值所构成的深度图将定义为“第一深度图”;第二装置组合所拍摄到的重叠区域将定义为“第二估测区域”,第二估测区域的各个深度值所构成的深度图将定义为“第二深度图”;第三装置组合所拍摄到的重叠区域将定义为“第三估测区域”,第三估测区域的各个深度值所构成的深度图将定义为“第三深度图”。根据本实施例中的装置配置,第一估测区域、第二估测区域以及第三估测区域将具有一个共同重叠区域。
具体来说,图3为根据本发明的一实施例所绘示的利用影像撷取装置共同拍摄特定场景的示意图。
请参照图3,第一影像撷取装置110、第二影像撷取装置120以及第三影像撷取装置130以相隔5厘米等距地配置于同一假想直线上,并且皆以105度的视角范围拍摄其前方的影像。第一影像撷取装置110与第二影像撷取装置120(即,第一装置组合)以及第二影像撷取装置120与第三影像撷取装置130(即,第二装置组合)的基线长度皆为5厘米,而第一影像撷取装置110与第三影像撷取装置130(即,第三装置组合)的基线长度为10厘米。区域R1以及区域C为对应于第一装置组合的第一估测区域,并且将产生第一深度图。区域R2以及区域C为对应于第二装置组合的第二估测区域,并且将产生第二深度图。区域C为对应于第三装置组合的第三估测区域,并且将产生第三深度图。必须注意的是,区域C亦称为第一估测区域、第二估测区域以及第三估测区域的共同重叠区域,而区域R1以及区域R2亦称为非共同重叠区域。由于第一估测区域、第二估测区域以及第三估测区域仅为特定场景的局部区域,在以下的步骤中,影像处理装置140将根据前述三个深度图,以整合出区域R1、R2以及区域C的深度信息,以产生涵盖较大范围的估测区域的单一深度图。
因此,请回到图2,影像处理装置140将先针对特定场景所对应的每一个像素点进行分析,以计算出其分别所对应的深度信息。以下仅以其中一个像素点来进行说明深度信息的计算方式,而其他像素点将以迭代(iterative)的方式来取得。影像处理装置140将判断目前正在处理的像素点所位于的估测区域是否对应于共同重叠区域(步骤S204)。若否,影像处理装置140将判断像素点是位于第一估测区域的非共同重叠区域、第二估测区域的非共同重叠区域或是以上两者皆非(步骤S206)。当像素点位于第一估测区域的非共同重叠区域时,影像处理装置140会将像素点在第一深度图所对应的深度值设定为其深度信息(步骤S208)。当像素点位于第二估测区域的非共同重叠区域时,影像处理装置140会将像素点在第二深度图所对应的深度值设定为其深度信息(步骤S210)。另一方面,当像素点不属于任何估测区域时,影像处理装置140会将像素点设定为不具有深度信息的坏像素(步骤S211)。
具体来说,图4A、图4B以及图4C为根据本发明的一实施例所绘示对应于步骤S208、步骤S210、步骤S211的区域示意图。
请先参照图4A,当影像处理装置140判断像素点位于第一估测区域的非共同重叠区域(即,区域R1)时,会根据像素点在第一深度图的画素坐标来取得对应的深度值。
请再参照图4B,当影像处理装置140判断像素点位于第二估测区域的非共同重叠区域(即,区域R2)时,会根据像素点在第二深度图的画素坐标来取得对应的深度值。
接着,请再参照图4C,当影像处理装置140判断像素点位于区域R1、区域R2以及区域C以外的区域B时,代表其位于仅为单一个影像撷取装置所撷取到的区域,因此会将此像素点视为不具有深度信息的坏像素(bad pixel)。
请再回到图2,当影像处理装置140判断像素点所位于的估测区域对应于共同重叠区域时,将更进一步地判断像素点所对应的物距是否大于距离阈值(步骤S212)。在此的物距可以是利用像素点在第一深度图所对应的深度值或是在第二深度图所对应的深度值来计算,而此步骤是对应不同基线长度针对不同物距的深度信息存在不同的准确度。举例来说,当采用基线长度为5厘米所对应的深度图时,对于距离3米以上的拍摄物体的深度估测准确度将会大幅地下降,因此若改用基线长度为15厘米所对应的深度图时,深度估测的有效范围可提升至9米左右。基于此,当像素点所对应的物距大于距离阈值时,影像处理装置140会采用基线长度较长的组合所产生的深度图来设定深度信息。换句话说,影像处理装置140会将像素点在第三深度图所对应的深度值设定为其深度信息(步骤S214)。
具体来说,图4D为根据本发明的一实施例所绘示的对应于步骤S214的区域示意图。在此一并说明的是,图4E为根据本发明的一实施例所绘示的对应于稍后步骤S216~S222的区域示意图。
请先参照图4D,假设距离阈值为3米。当影像处理装置140判断像素点位于共同重叠区域C中距离基线3米以上的远距离区域C1时,会根据对应于较长基线长度的第三深度图来取得像素点对应的深度值。
另一方面,请参照图4E,当影像处理装置140判断像素点位于共同重叠区域C中距离基线3米以内的近距离区域C2时,由于此区域为场景的正中央近距离处,其通常为影像的焦点。因此,影像处理装置140将会考虑到像素点的所在位置、第一深度图以及第二深度图,以较为严谨的方式取得像素点的深度信息。
详细来说,根据立体影像撷取的特性,当物体在同一位置时,基线长度越短者具有较小的视差,而基线长度越长者具有较大的视差。基于此,请回到图2,当像素点位于共同重叠区域并且所对应的物距不大于距离阈值时(例如是图4E的区域C2),影像处理装置140将取得第二影像撷取装置120的光轴在第一影像撷取装置110的相对位置(步骤S216),并且判断像素点是否位于第一影像撷取装置110的相对位置(步骤S218)。一般而言,当像素点位于第一影像撷取装置110的相对位置时,即代表其并未偏离光轴,影像处理装置140即会将像素点在第一深度图所对应的深度值设定为其深度信息(步骤S220)。换句话说,当物体并未偏离光轴时,基线长度较短的第一装置组合所拍摄到的物体大小差异不大,在此可直接以第一深度图来取得物体的深度信息。然而,在另一实施例中,若要进行双向确认,影像处理装置140将判断像素点分别在第一深度图的深度值与第二深度图的深度值是否相同。若相同时,影像处理装置140即可确认像素点的深度值,而若不相同时,影像处理装置140会将像素点设定为不具有深度信息的坏像素。
另一方面,当像素点不位于第一影像撷取装置110的相对位置时,影像处理装置140会将像素点在第一深度图所对应的深度值与在第二深度图所对应的深度值的加权平均值(weighted average)设定为像素点的深度信息(步骤S222)。详细来说,当物体偏离光轴时,第一装置组合与第二装置组合所拍摄到的物体大小以及远近将有所差异,因此影像处理装置140可以例如是将像素点在第一深度图所对应的深度值与在第二深度图所对应的深度值的平均值设定为像素点的深度信息。然而,在其他实施例中,影像处理装置140可以是根据所欲达到的效果来调整两个深度值之间的权重,本发明不在此设限。
当影像处理装置140以迭代的方式取得对应于特定场景的所有像素点的深度信息时,即可产生已整合的深度图(步骤S224)。相较于两两组合而成的影像撷取装置所分别取得到的深度图,此已整合的深度图将涵盖较大的范围以及具有较高的准确度。除此之外,在另一实施例中,影像处理装置140可利用中值滤波器(median filter)等方式来平滑已整合的深度图,以填补其中的坏像素或是去除噪声。
图2所提出的方法可以图5根据本发明的一实施例所绘示的产生深度信息的方法流程图来进行总结。然而,图5的方法流程适用于至少三个影像撷取装置,并且将不限于其配置方式以及相机参数的设定。
请参照图5,首先,影像处理装置140将取得关联于特定场景并且对应于多个不同装置组合的多个深度图(步骤S502)。在此的装置组合为所有影像撷取装置中两两所组成的不同组合,各个深度图对应于特定场景的不同估测区域,各个估测区域与其他估测区域具有共同重叠区域。接着,影像处理装置140将先针对特定场景所对应的每一个像素点进行分析,以计算出其分别所对应的深度信息。以下仅以其中一个像素点来进行说明深度信息的计算方式,而其他像素点将以迭代的方式来取得。影像处理装置140将判断像素点所位于的估测区域是否对应于共同重叠区域(步骤S504)。若否,影像处理装置140将根据像素点在估测区域中的非共同重叠区域所对应的深度图中的深度值,设定像素点的深度信息(步骤S506)。若是,影像处理装置140将根据像素点在共同重叠区域所对应的多个深度图中的多个深度值以及像素点所对应的物距,设定像素点的深度信息(步骤S508)。当影像处理装置140以迭代的方式取得对应于特定场景的所有像素点的深度信息时,即可产生已整合的深度图(步骤S510)。步骤S502~步骤S510的详细步骤请参照图2的相关说明,在此不再赘述。
综上所述,本发明所提出的产生深度信息的方法及其系统,其结合对应于不同基线长度的影像撷取装置组合来产生特定场景的深度信息,不仅可增加深度估测的有效范围,还可提高深度估测的准确度,以助于提升后续例如是结构光、立体影像、距离检测、安全监控等立体视觉应用的效能。
虽然本发明已以实施例公开如上,然而其并非用以限定本发明,任何所属技术领域中的普通技术人员,在不脱离本发明的精神和范围的情况下,应当可作些许的更动与润饰,故本发明的保护范围应当视所附的权利要求书所界定者为准。

Claims (16)

1.一种产生深度信息的方法,所述方法适用于具有至少三个影像撷取装置的系统,所述方法包括下列步骤:
取得关联于特定场景并且对应于多个不同装置组合的多个深度图,其中所述装置组合为两两所述影像撷取装置所组成的多个不同组合,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;
针对该特定场景所对应的每一像素点:
判断该像素点所位于的该估测区域是否对应于该共同重叠区域;
若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及
若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距与一距离阈值的关系,设定该像素点的该深度信息;以及
利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
2.如权利要求1所述的方法,其中所述影像撷取装置为共线并且等距地配置。
3.如权利要求2所述的方法,其中所述影像撷取装置具有相同的视角范围并且包括第一影像撷取装置、第二影像撷取装置以及第三影像撷取装置,该第二影像撷取装置设置于该第一影像撷取装置与该第三影像撷取装置之间,该第一影像撷取装置与该第二影像撷取装置为所述组合中的第一装置组合,该第二影像撷取装置与该第三影像撷取装置为所述组合中的第二装置组合,该第一影像撷取装置与该第三影像撷取装置为所述组合中的第三装置组合,该第一装置组合、该第二装置组合以及该第三装置组合分别对应所述估测区域的第一估测区域、第二估测区域以及第三估测区域并且分别对应所述深度图中的第一深度图、第二深度图以及第三深度图。
4.如权利要求3所述的方法,其中对于各所述像素点,当该像素点所位于的该估测区域不对应于该共同重叠区域时,根据该像素点在该估测区域中该共同重叠区域以外的该非共同重叠区域所对应的该深度图中的该深度值,设定该像素点的该深度信息的步骤包括:
当该像素点位于该第一估测区域的该非共同重叠区域时,设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
当该像素点位于该第二估测区域的该非共同重叠区域时,设定该像素点在该第二深度图所对应的该深度值为该像素点的该深度信息。
5.如权利要求3所述的方法,其中对于各所述像素点,当该像素点所位于的该估测区域对应于该共同重叠区域时,根据该像素点在该共同重叠区域所对应的所述深度图中的所述深度值以及该像素点所对应的该物距,设定该像素点的该深度信息的步骤包括:
利用该像素点在该第一深度图所对应的该深度值或是在该第二深度图所对应的该深度值,计算该像素点所对应的该物距;
判断该像素点所对应的该物距是否大于该距离阈值;
若是,设定该像素点在该第三深度图所对应的该深度值为该像素点的该深度信息;
若否,根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息。
6.如权利要求5所述的方法,其中对于各所述像素点,当该像素点所对应的该物距不大于该距离阈值时,根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息的步骤包括:
取得该第二影像撷取装置的光轴在该第一影像撷取装置的相对位置;
判断该像素点是否位于该第一影像撷取装置的该相对位置;
若是,设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
若否,设定该像素点在该第一深度图所对应的该深度值与在该第二深度图所对应的该深度值的加权平均值为该像素点的该深度信息。
7.如权利要求6所述的方法,其中对于各所述像素点,当该像素点位于该第一影像撷取装置的该相对位置时,该方法还包括:
判断该像素点分别在该第一深度图的该深度值与该第二深度图的该深度值是否相同;
若否,设定该像素点为不具有深度信息的坏像素。
8.如权利要求1所述的方法,其中对于各所述像素点,当该像素点不位于任何所述估测区域时,该方法还包括:
设定该像素点为不具有深度信息的坏像素。
9.一种产生深度信息的系统,所述系统包括:
至少三个影像撷取装置,所述影像撷取装置分别用以撷取特定场景的影像,其中两两所述影像撷取装置组成多个不同装置组合;以及
影像处理装置,所述影像处理装置连接于各所述影像撷取装置,所述影像处理装置用以:
根据各所述影像撷取装置所撷取的所述影像,取得关联于该特定场景并且对应于所述装置组合的多个深度图,各所述深度图具有多个深度值并且对应于该特定场景的不同估测区域,各所述估测区域与其他所述估测区域具有共同重叠区域;
针对该特定场景所对应的每一像素点:
判断该像素点所位于的该估测区域是否对应于该共同重叠区域;
若否,根据该像素点在该估测区域中该共同重叠区域以外的非共同重叠区域所对应的深度图中的深度值,设定该像素点的深度信息;以及
若是,根据该像素点在该共同重叠区域所对应的多个深度图中的多个深度值以及该像素点所对应的物距与一距离阈值的关系,设定该像素点的该深度信息;以及
利用所述像素点的所述深度信息,产生该特定场景的已整合深度图。
10.如权利要求9所述的系统,其中所述影像撷取装置为共线并且等距地配置。
11.如权利要求10所述的系统,其中所述影像撷取装置具有相同的视角范围并且包括第一影像撷取装置、第二影像撷取装置以及第三影像撷取装置,该第二影像撷取装置设置于该第一影像撷取装置与该第三影像撷取装置之间,该第一影像撷取装置与该第二影像撷取装置为所述组合中的第一装置组合,该第二影像撷取装置与该第三影像撷取装置为所述组合中的第二装置组合,该第一影像撷取装置与该第三影像撷取装置为所述组合中的第三装置组合,该第一装置组合、该第二装置组合以及该第三装置组合分别对应所述估测区域的第一估测区域、第二估测区域以及第三估测区域并且分别对应所述深度图中的第一深度图、第二深度图以及第三深度图。
12.如权利要求11所述的系统,其中对于各所述像素点:
当该影像处理装置判断该像素点位于该第一估测区域的该非共同重叠区域时,该影像处理装置设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
当该影像处理装置判断该像素点位于该第二估测区域的该非共同重叠区域时,该影像处理装置设定该像素点在该第二深度图所对应的该深度值为该像素点的该深度信息。
13.如权利要求11所述的系统,其中对于各所述像素点,当该影像处理装置判断该像素点所位于的该估测区域对应于该共同重叠区域时:
该影像处理装置利用该像素点在该第一深度图所对应的该深度值或是在该第二深度图所对应的该深度值,计算该像素点所对应的该物距,并且判断该像素点所对应的该物距是否大于该距离阈值;
若否,则该影像处理装置设定该像素点在该第三深度图所对应的该深度值为该像素点的该深度信息;以及
若是,则该影像处理装置根据该像素点在该第一深度图所对应的该深度值以及在该第二深度图所对应的该深度值的至少之一,设定该像素点的该深度信息。
14.如权利要求13所述的系统,其中对于各所述像素点,当该像素点所对应的该物距不大于该距离阈值时:
该影像处理装置取得该第二影像撷取装置的光轴在该第一影像撷取装置的相对位置,并且判断该像素点是否位于该第一影像撷取装置的该相对位置;
若是,该影像处理装置设定该像素点在该第一深度图所对应的该深度值为该像素点的该深度信息;以及
若否,该影像处理装置设定该像素点在该第一深度图所对应的该深度值与在该第二深度图所对应的该深度值的加权平均值为该像素点的该深度信息。
15.如权利要求14所述的系统,其中对于各所述像素点,当该像素点位于该第一影像撷取装置的该相对位置时,
该影像处理装置还判断该像素点分别在该第一深度图的该深度值与该第二深度图的该深度值是否相同;以及
若否,该影像处理装置设定该像素点为不具有深度信息的坏像素。
16.如权利要求9所述的系统,其中对于各所述像素点,当该像素点不位于任何所述估测区域时,该影像处理装置还设定该像素点为不具有深度信息的坏像素。
CN201610396512.3A 2016-05-17 2016-06-06 产生深度信息的方法及系统 Active CN107396080B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105115210A TWI567693B (zh) 2016-05-17 2016-05-17 產生深度資訊的方法及其系統
TW105115210 2016-05-17

Publications (2)

Publication Number Publication Date
CN107396080A CN107396080A (zh) 2017-11-24
CN107396080B true CN107396080B (zh) 2019-04-09

Family

ID=58408201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610396512.3A Active CN107396080B (zh) 2016-05-17 2016-06-06 产生深度信息的方法及系统

Country Status (3)

Country Link
US (1) US10460460B2 (zh)
CN (1) CN107396080B (zh)
TW (1) TWI567693B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
IL302577A (en) 2017-02-23 2023-07-01 Corephotonics Ltd Lens designs for a folded camera
TWI672677B (zh) 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
TWI672938B (zh) 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
CN108777784B (zh) * 2018-06-06 2019-09-06 Oppo广东移动通信有限公司 深度获取方法和装置、电子装置、计算机设备和存储介质
CN108830785B (zh) * 2018-06-06 2021-01-15 Oppo广东移动通信有限公司 背景虚化方法及装置、电子装置、计算机设备和存储介质
JP7297891B2 (ja) * 2018-07-19 2023-06-26 アクティブ サージカル, インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技(成都)有限公司 结构光深度感测器及感测方法
KR20240110073A (ko) 2019-01-03 2024-07-12 코어포토닉스 리미티드 적어도 하나의 2 상태 줌 카메라를 갖는 멀티-애퍼처 카메라
WO2021033047A1 (en) 2019-08-21 2021-02-25 Corephotonics Ltd. Low total track length for large sensor format
CN112540494B (zh) * 2019-09-06 2022-05-03 浙江舜宇光学有限公司 成像装置和成像方法
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
CN114667729B (zh) * 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法
KR20240001277A (ko) 2020-05-30 2024-01-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
WO2022023855A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Folded macro-tele camera lens designs
US11803106B2 (en) 2020-12-01 2023-10-31 Corephotonics Ltd. Folded camera with continuously adaptive zoom factor
TWI756956B (zh) * 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置
US20240087094A1 (en) * 2021-01-28 2024-03-14 Visionary Machines Pty Ltd Systems And Methods For Combining Multiple Depth Maps
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
JP2023544219A (ja) 2021-09-23 2023-10-20 コアフォトニクス リミテッド 大口径連続ズーム屈曲テレカメラ
KR20240009432A (ko) 2021-11-02 2024-01-22 코어포토닉스 리미티드 컴팩트형 더블 폴디드 텔레 카메라
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101936731A (zh) * 2009-06-29 2011-01-05 (株)赛丽康 获取3d距离信息和图像的装置
CN102879994A (zh) * 2012-07-17 2013-01-16 财团法人交大思源基金会 摄影装置
CN103716560A (zh) * 2012-09-28 2014-04-09 Lg伊诺特有限公司 电视机装置
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI383666B (zh) * 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
CN101673395B (zh) * 2008-09-10 2012-09-05 华为终端有限公司 图像拼接方法及装置
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US20130027548A1 (en) 2011-07-28 2013-01-31 Apple Inc. Depth perception device and system
TWI456526B (zh) * 2011-11-03 2014-10-11 Au Optronics Corp 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
TWI508027B (zh) * 2013-08-08 2015-11-11 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101936731A (zh) * 2009-06-29 2011-01-05 (株)赛丽康 获取3d距离信息和图像的装置
CN102879994A (zh) * 2012-07-17 2013-01-16 财团法人交大思源基金会 摄影装置
CN103716560A (zh) * 2012-09-28 2014-04-09 Lg伊诺特有限公司 电视机装置
CN105409212A (zh) * 2013-02-28 2016-03-16 谷歌技术控股有限责任公司 具有多视图图像捕捉和深度感测的电子设备
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Also Published As

Publication number Publication date
US20170337703A1 (en) 2017-11-23
US10460460B2 (en) 2019-10-29
TWI567693B (zh) 2017-01-21
CN107396080A (zh) 2017-11-24
TW201741999A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107396080B (zh) 产生深度信息的方法及系统
US12056886B2 (en) Systems and methods for depth estimation using generative models
KR101657039B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
JP6355052B2 (ja) 撮像装置、画像処理装置、撮像方法および記録媒体
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
JP5762211B2 (ja) 画像処理装置および画像処理方法、プログラム
US20160173869A1 (en) Multi-Camera System Consisting Of Variably Calibrated Cameras
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN104363377B (zh) 对焦框的显示方法、装置及终端
KR20170056698A (ko) 자동 포커싱 방법, 장치 및 전자 장치
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
JP6087947B2 (ja) 非同期センサに依存するシーンの3d再構成の方法
CN103379267A (zh) 三维空间图像的获取系统及方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
WO2016029465A1 (zh) 一种图像处理方法、装置及电子设备
CN110800020A (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN116051916A (zh) 训练数据获取方法、模型训练方法以及视差图像获取方法
EP3624050B1 (en) Method and module for refocusing at least one plenoptic video
JP2018205008A (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
CN117710467B (zh) 无人机定位方法、设备及飞行器
KR102061017B1 (ko) 스테레오 영상 정합 장치 및 그 방법
KR20150144185A (ko) 안구 중심점 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant