CN108765480A - 深度处理设备 - Google Patents

深度处理设备 Download PDF

Info

Publication number
CN108765480A
CN108765480A CN201810317327.XA CN201810317327A CN108765480A CN 108765480 A CN108765480 A CN 108765480A CN 201810317327 A CN201810317327 A CN 201810317327A CN 108765480 A CN108765480 A CN 108765480A
Authority
CN
China
Prior art keywords
block
target block
target
image capturing
advanced treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810317327.XA
Other languages
English (en)
Other versions
CN108765480B (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eys 3d Co Ltd
Original Assignee
Eys 3d Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eys 3d Co Ltd filed Critical Eys 3d Co Ltd
Publication of CN108765480A publication Critical patent/CN108765480A/zh
Application granted granted Critical
Publication of CN108765480B publication Critical patent/CN108765480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of Optical Distance (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种深度处理设备。深度处理设备包括两个影像捕获设备及处理器。两个影像捕获设备分别捕捉参考影像及目标影像。处理器自参考影像中选取参考区块，并根据多个相异的取样周期自目标影像中选取对应于参考区块的多个目标区块，并根据参考区块和多个目标区块中的选定目标区块以产生深度信息。

Description

深度处理设备
技术领域
本发明是有关于一种深度处理设备，特别是一种能够在不增加搜寻次数的情况下，提高深度特定区域精确度或是在可接受的精确度下，降低搜寻次数的深度处理设备。
背景技术
随着用户对于电子设备的各种应用需求增加，能够取得外部物体的深度信息也成为了许多电子设备所需的功能。举例来说，在电子设备取得了外部物体的深度信息，亦即外部物体与电子设备之间的距离后，就能够进一步根据深度信息达到物体辨识、影像合成等各种不同的应用。目前通过电子设备取得深度信息的常见方法包括通过双眼视觉、侦测结构光及飞时测距法(Time of Flight，ToF)。
图1是现有技术的深度处理设备100的示意图。在图1中，经过校正后，深度处理设备100可通过第一影像捕获设备110及第二影像捕获设备120来捕捉影像。由于影像捕获设备110及120是位于相异的位置，因此两者所捕捉到的影像也会有些许差异，而可视为左眼视觉和右眼视觉。举例来说，当利用影像捕获设备110及120捕捉物体A及B的影像时，由于物体A及B到影像捕获设备110及120的距离不同，因此物体A及B在影像捕获设备110及120所捕捉的影像中也会位于不同的位置。在图1中，物体A相较于物体B的深度更浅，也就是说，物体A比物体B更靠近于影像捕获设备110及120。在此情况下，在影像捕获设备110所捕捉的影像中，物体A可能会位于影像画面中偏左的位置，而在影像捕获设备120所捕捉的影像中，物体A则可能会位于影像画面中偏右的位置。相较之下，在影像捕获设备110所捕捉的影像中，物体B可能会位于影像画面靠中间的位置，而在影像捕获设备120所捕捉的影像中，物体B也可能会位于影像画面靠中间的位置。
也就是说，当物体的深度越浅时，其在影像捕获设备110及120所捕捉的两张影像画面中会位在距离较远的相对位置，亦即视差较大，而当物体的深度越深时，则其在影像捕获设备110及120所捕捉的两张影像画面中则会位于较近的相对位置，亦即视差较小。深度处理设备100通过在影像捕获设备110及120所捕捉的影像中搜寻物体A及B所在的位置及视差，并根据影像捕获设备110及120之间的距离，亦即基线(baseline)长短，视角(FOV)大小以及其他相关参数，就能够以数学方法，例如三角定位法，计算出物体A及B的深度信息。
然而一般而言，在使用三角定位法时，随着物体实际的深度越大，其所能够计算出来的准确度也越低。图2是物体实际深度与物体在两张捕捉影像中的视差大小的关系图。在图2中，视差d1与视差d2会对应到的实际距离z1及z2，而视差d3及d4则会对应到实际距离z3及z4。根据图2可知，当视差越小时(例如d1、d2)，其所对应的物体距离越远，深度越深(例如z1、z2)，且其所对应的物体误差距离范围也越大，因此越不精确。相反地，当视差越大时(例如d3、d4)，其所对应的物体距离越近，深度越浅(例如z3、z4)，且其所对应的物体误差距离范围也越小，因此越加精确。
在现有技术中，为了能够提升深度信息的精确度，就需要提升分辨率以比对出更精准的视差、增加影像捕获设备110及120之间的距离或缩小影像捕获设备110及120的视野角度。然而这些方式将大幅提升系统的运算负担，或限缩深度信息的有效范围。
发明内容
本发明的一实施例提供一种深度处理设备，深度处理设备包括第一影像捕获设备、第二影像捕获设备及处理器。
第一影像捕获设备于捕捉参考影像。第二影像捕获设备捕捉目标影像。处理器根据多个相异的取样周期自目标影像中选取对应于参考区块的多个目标区块，以及根据参考区块和多个目标区块中的选定目标区块产生深度信息。
本发明的另一实施例提供一种深度处理设备。深度处理设备包括第一影像捕获设备、第二影像捕获设备及处理器。
第一影像捕获设备捕捉参考影像，而第二影像捕获设备捕捉目标影像。处理器自参考影像中选取参考区块，以及自目标影像中选取对应于参考区块的多个目标区块，及根据参考区块和多个目标区块中的选定目标区块产生深度信息。其中多个目标区块中的第一组目标区块的第一取样周期与多个目标区块中的第二组目标区块的第二取样周期相异。
本发明的另一实施例提供一种深度处理设备。深度处理设备包括第一影像捕获设备、第二影像捕获设备及处理器。
第一影像捕获设备捕捉参考影像，而第二影像捕获设备捕捉目标影像。处理器自参考影像中选取参考区块，自目标影像选取对应于参考区块的多个目标区块，以及根据参考区块和多个目标区块中的选定目标区块产生深度信息。其中多个目标区块中的默认组目标区块的取样周期小于多个目标区块中其他每一组目标区块的取样周期。
附图说明
图1是现有技术的深度处理设备的示意图。
图2是物体实际深度与物体在两张捕捉影像中的视差大小的关系图。
图3是本发明一实施例的深度处理设备的示意图。
图4是本发明一实施例的参考影像的示意图。
图5是本发明一实施例的目标影像的示意图。
图6是图1及图3的深度处理设备的物体深度与误差的关系图。
图7是操作图3的深度处理设备的方法流程图。
其中，附图标记说明如下：
100、200 深度处理设备
110、210 第一影像捕获设备
120、220 第二影像捕获设备
A、B、C 物体
d1、d2、d3、d4 视差
z1、z2、z3、z4 深度
230 处理器
240 低通滤波器
IMGR 参考影像
IMGT 目标影像
RB 参考区块
TB1至TBq 目标区块
C1、CQ 中心画素
A1 比对方向
300 方法
S310至S370 步骤
具体实施方式
图3是本发明一实施例的深度处理设备200的示意图。深度处理设备200包括第一影像捕获设备210、第二影像捕获设备220及处理器230。
第一影像捕获设备210可用于捕捉参考影像，而第二影像捕获设备220可用于捕捉目标影像。图4是本发明一实施例的参考影像IMGR的示意图，而图5是本发明一实施例的目标影像IMGT的示意图。在本发明的部分实施例中，目标影像IMGT及参考影像IMGR可具有相同的单位，以利处理器230比对目标影像IMGT及参考影像IMGR中的相同物体。
举例来说，处理器230可自参考影像IMGR中选取参考区块RB以计算参考区块RB的中心画素所代表的物体C的深度。接着，对应于参考区块RB，处理器230可以在目标影像IMGT中沿着比对方向A1选取多个目标区块TB1至TBq。举例来说，处理器230可以先根据参考区块RB在参考影像IMGR中的相对位置于目标影像IMGT的一相对位置中选取与参考区块RB具有相同大小的第一目标区块TB1，再沿着比对方向A1平移以选取出目标区块TB2至TBq。
在图5的实施例中，在经过校正之后，第一影像捕获设备210及第二影像捕获设备220所捕捉的影像会落于相同的平面上，而在第一影像捕获设备210及第二影像捕获设备220之间的联机，亦即基线，与水平线平行的情况下，比对方向A1即会平行于水平方向，且目标区块TB1在目标影像IMGT中的相对位置会与参考区块RB在参考影像IMGR中的相对位置相同。在图5中，比对方向A1虽然是由右至左，然而本发明并不以此为限，在本发明的其他实施例中，比对方向A1也可能是由左至右。此外，依据第一影像捕获设备210及第二影像捕获设备220的设置方向，比对方向A1也可能是垂直方向或其他方向而并不限定于水平方向。
在本发明的部分实施例中，在比对参考区块RB与每一个目标区块时，处理器230可根据系统的需求计算区块内的特征，例如色彩分布、边界分布…等等以作为比对的依据。处理器230可将目标区块TB1至TBq中与参考区块RB的特征差异最小的目标区块判断为与参考区块RB相符的选定目标区块。当处理器230取得与参考区块RB相符的选定目标区块，例如为目标区块TBq时，表示物体C可能位于目标区块TBq，此时处理器230便可根据参考区块RB和选定目标区块产生深度信息。举例来说，处理器230可将目标区块TBq的中心画素CQ与目标区块TB1的中心画素C1之间的距离，亦即两者之间相距的画素数量，视为第一影像捕获设备210及第二影像捕获设备220对物体C的视差。如此一来，处理器230就可以根据第一影像捕获设备210及第二影像捕获设备220对物体C的视差、以及第一影像捕获设备210及第二影像捕获设备220的多个相关参数(例如基线长度，视角大小，以及各自的焦距等参数)计算物体C的深度信息。
图6是深度处理设备100及200所计算的物体深度与误差的关系图，其中深度的数值仅为相对而言的距离而并未限定单位，而虚线B1可表示现有技术的深度处理设备100所计算的深度与误差关系。在有些实施例中，由于误差值过大的深度信息可能会影响到后续应用的效果，因此系统可以限定误差小于默认值的深度信息为有效的深度信息，并可供后续应用使用，而误差过大的深度信息则可能仅供参考。在此情况下，假设系统所要求的误差值的上限是7％，则在图6B1曲线中，由于深度超过30的物体其深度信息的误差值都大于7％，因此深度处理设备100实际上仅能提供深度是30以内物体的有效深度信息。
此外，在图6中，当物体的深度较浅，例如在深度0到20的区间内的情况下，深度处理设备100所能够计算出的深度会相对较为准确，在此情况下，深度处理设备100实际上无须做进一步的处理就能够符合系统需求的误差值。然而当物体的深度较深，例如在深度60到100的区间内的情况下，深度处理设备100所能够计算出的深度会相对较不准确。在此情况下，由于误差过大，因此即便提升分辨率并增加比对次数也可能无法将深度信息的误差值缩小到系统所要求的7％以内。
也就是说，对于深度区间在0到20的物体以及深度区间在60到100的物体而言，是否通过提升分辨率并增加比对次数(提高取样频率或缩短取样周期)实际上并无助于达到误差值小于7％的目标，因此深度处理设备200可以在提升影像的分辨率之后，通过增加比对取样频率来提升深度范围在25到50的物体的深度精确度，并可减少深度区间在0到25及50到100的物体的比对次数。如此一来，就能够在整体比对次数并未增加或低于理论值的情况下，有效提升深度区间在25到50的物体的深度精确度，使得深度处理设备200能够提供深度为50的物体的有效深度信息。此处的理论值所指的是在分辨率提高后，取样周期也对应提高的情况下，进行取样时所需的比对次数。
在图6中，实线B2可表示深度处理设备200所计算的深度与误差关系。为了提升深度处理设备200的精确度，在此实施例中，深度处理设备200可选用具有较高分辨率的影像捕获设备210及220以提高参考影像IMGR的分辨率，并提高参考影像IMGR的分辨率至与参考影像IMGR相同的分辨率。在现有技术中，当分辨率提高时，深度处理设备100的精确度虽然能够提高，然而其所需比对的次数也会随着提高才能维持相同工作范围。举例来说，当参考影像IMGR及目标影像IMGT在水平方向上的分辨率相较于现有技术提高两倍时，表示水平方向的画素数量也增为两倍，因此若深度处理设备100每次选取目标区块时，都是沿着水平方向并相隔固定数量的画素选取，则在水平方向的分辨率提高为两倍之后，深度处理设备100所需比对的次数也需增加为两倍以维持相同工作范围，如此将造成整个系统的负担，也大大拖延了计算深度信息所需的时间或成本。
然而，在图5的实施例中，处理器230在选取目标区块时，可以依据目前对应的视差大小调整下次选取的目标区块与目前比对的目标区块之间的取样周期大小。也就是说，在处理器230所选取的一系列目标区块TB1至TBq中，两个相邻的目标区块的中心画素之间的取样画素步长(pixel step length)可能会与另两个相邻的目标区块的中心画素之间的取样画素步长相异。
举例来说，目标区块TB1至TBq中可包括第一组目标区块TB_A及第二组目标区块TB_B。第一组目标区块TB_A可包括第一目标区块TB1至第(n+1)目标区块TB(n+1)，由于第一目标区块TB1至第(n+1)目标区块TB(n+1)所对应到的视差较小，因此可能会例如对应到较大的深度值，例如深度区间在50到100的物体，在此情况下，由于第一目标区块TB1至第(n+1)目标区块所对应的物体深度较深，深度处理设备200所计算出来的误差很大，此时即便以较为精细的方式(亦即取样周期较小的方式)取样以选取目标区块TB1至TB(n+1)，仍然难以满足系统要求的误差值7％。因此处理器230在选取第一目标区块TB1至第(n+1)目标区块TB(n+1)时，是以取样周期为x个画素的方式来进行取样，亦即在第一组目标区块TB_A中，任两个相邻的目标区块之间的取样画素步长为x个画素，x可例如是2。举例来说，处理器230会沿着比对方向A1，选取第一目标区块TB1的中心画素C1旁的第2个画素作为第二目标区块TB2的中心画素，并会沿着比对方向A1，选取第n目标区块TBn的中心画素旁的第2个画素作为第(n+1)目标区块TB(n+1)的中心画素，其中n是大于1的数值。
也就是说，虽然参考影像IMGR与目标影像IMGT在水平方向上的分辨率提升了两倍，然而由于处理器230在选取目标区块的时候，取样周期是2个画素，因此在图6中，对于深度区间50至100的物体，深度处理设备100及200所计算出的所计算出的深度误差值实质上会十分相近，也因此在图6中，深度在50到100的区间内，虚线B1与实线B2会重合。
相较之下，第二组目标区块TB_B可包括第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)，由于第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)所对应到的视差稍大，因此会对应到比第一组目标区块TB_A所对应的深度值还小的深度，例如对应到深度区间在25到50的物体，其中m是大于(n+2)的数值。在此情况下，由于深度处理设备200在计算深度超过30的物体时所计算出来的误差可能会超出7％，因此处理器230可以在选取第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)时，以取样周期是y个画素的方式来进行取样，亦即在第二组目标区块TB_B中，任两个相邻的目标区块之间的取样画素步长是y个画素，y可例如是1。举例来说，处理器230会沿着比对方向A1，选取第(n+2)目标区块TB(n+2)的中心画素旁的第1个画素作为第(n+3)目标区块TB(n+3)的中心画素，并且会沿着比对方向A1，选取第m目标区块TBm的中心画素旁的第1个画素作是第(m+1)目标区块TB(m+1)的中心画素。
也就是说，由于处理器230在选取第二组目标区块TB_B的第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)目标区块时，一次仅以取样周期为1个画素来进行取样，因此可以提升深度计算的精确度。在图6中，深度处理设备200所对应的实线B2上，在深度区间25至50的物体其所计算出的深度误差值实质上会较深度处理设备100所计算出的深度误差值来得小，甚至会小于系统要求的7％，因此仍可满足需求。
也就是说，深度处理设备200可以在误差过大的深度区间内以较为粗略的方式(亦即取样周期较大)取样选择目标区块TB1至TB(n+1)，并在误差可能略为超过需求的深度区间内以较为精细的方式来对目标区块TB(n+2)至TB(m+1)进行取样。如此一来，在不增加整体比较次数或低于理论值的情况下，深度处理设备200就能够提供深度是50的物体的有效深度信息。相较之下，深度处理设备100则仅能提供深度是30以内的物体的有效深度信息。
此外，目标区块TB1至TBq中还可包括第三组目标区块TB_C。第三组目标区块TB_C可包括第(m+2)目标区块TB(m+2)至第q目标区块TBq，由于第(m+2)目标区块TB(m+2)至第q目标区块TBq所对应到的视差较大，因此会对应到比第二组目标区块TB_B所对应的深度值还小的深度，例如对应到深度小于25的物体。在此情况下，由于深度处理设备200在计算深度小于25的物体时所计算出来的误差甚小于7％，因此即便以较为粗略的方式取样以选取目标区块TB(m+2)至TBq，仍然可以满足系统要求的误差值7％，因此处理器230实际上并无须以精细的方式取样，而可以在选取第(m+2)目标区块TB(m+2)至第q目标区块TBq时，以取样周期是z个画素的方式来进行取样，亦即在第三组目标区块TB_C中，任两个相邻的目标区块之间的取样画素步长是z个画素，z可例如是4。举例来说，处理器230可沿着比对方向A1，选取第(m+2)目标区块TB(m+2)的中心画素旁的第4个画素作为第(m+3)目标区块TB(m+3)的中心画素。
也就是说，虽然参考影像IMGR与目标影像IMGT在水平方向上的分辨率被提升了两倍，然而由于处理器230在选取第三组目标区块TB_C的目标区块TB(m+2)至TBq的时候是以取样周期是4个画素来进行取样，因此在图6中，深度处理设备200所对应的实线B2上，在深度区间0至25的物体其所计算出的深度误差值实质上会大于深度处理设备100所计算出的深度误差值。
在本发明的部分实施例中，深度处理设备200还可根据系统的需求和分辨率来选择取样周期的值x、y及z，而并不限定以线性或幂次的方式选择取样周期x、y及z的值，甚至在允许内插的情况下，取样周期x、y及z的值亦可为非整数。然而整体而言，为了能有效增加深度处理设备200所能提供的有效深度范围，同时也不至于增加比对次数，深度处理设备200可以根据目标区块所对应的深度范围精确度来决定取样周期x、y及z的值。
例如深度处理设备200可将目标区块分为多组目标区块，并将对应于需要提升精确度的深度范围的一组目标区块设定为默认组目标区块，例如前述实施例中的第二组目标区块TB_B，并以较小的取样周期来进行取样。而对应于无须提升精确度的深度范围的其他组目标区块，例如前述实施例中的第一组目标区块TB_A及第三组目标区块TB_B则可以较大的取样周期来进行取样。
虽然在上述的实施例中，深度处理设备200是将物体分布的深度分为三个区间，并以三种不同的取样周期来选取目标区块，然而在本发明的其他实施例中，深度处理设备200还可将物体分布的深度区分为其他数量的区间。举例来说，深度处理设备200可以在深度是15至30的区间内另以取样周期是2个画素的方式进行取样，亦即以四种不同的取样周期来进行取样。又或者可以改在深度是0至50的区间内，都以取样周期是1个画素的方式进行取样，并在深度是50以上的区间内都以取样周期是2个画素的方式进行取样，亦即仅以两种不同的取样周期来进行取样。
也就是说，深度处理设备200可以根据系统实际上的运作状况和应用需求，设定适当的区段数量和取样周期，使得深度处理设备200能够在系统允许的比对次数内，增加所能提供的低误差深度信息的深度范围。
此外，当深度处理设备200以较为精细的方式进行取样时，为避免在比对的过程中找到局部最小值(local minimum)而造成误判，在图3的实施例中，深度处理设备200还可包括低通滤波器240，使得区块内的画素表现较为平滑。低通滤波器240可以在比对目标区块TB1至TBq与参考区块RB之前，根据目标区块TB1至TBq的取样周期以不同程度的方式对目标区块TB1至TBq及参考区块RB进行低通滤波，以将参考区块RB及目标区块TB1至TBq中的高频信号滤除。在上述的实施例中，处理器230在选取目标区块时是沿着水平的比对方向A1选取，在此情况下，低通滤波器240也可以仅在水平方向上进行低通滤波。
再者，在上述的实施例中，参考影像IMGR及目标影像IMGT的分辨率会高于深度处理设备100所取得的影像分辨率，在此情况下，深度处理设备200就可能需要处理更多画素所对应的深度信息，亦即深度处理设备200所需要处理的深度信息也会具有较高的分辨率。然而在有些实施例中，由于深度处理设备200的硬件可能会限定其能够处理的深度信息的分辨率，亦即仅能计算固定数量的深度信息。在此情况下，深度处理设备200也可以配合分辨率的提升，而对输入计算深度的画素进行取样，例如只取偶数行或奇数行的画素来计算深度信息，如此一来，深度处理设备200所产生的深度信息的大小就不会改变，然而其精确度仍然能够增加。
图7是本发明一实施例的操作深度处理设备200的方法300流程图，方法300包括步骤S310至S370，但并不限于图7所示的顺序。
S310：第一影像捕获设备210捕捉参考影像IMGR；
S320：第二影像捕获设备220捕捉目标影像IMGT；
S330：自参考影像IMGR中选取参考区块RB；
S340：对应于参考区块RB，自目标影像IMGT中选取多个目标区块；
S350：在比对目标区块TB1至TBq与参考区块之前，对目标区块TB1至TBq及参考区块RB进行低通滤波；
S360：依序比对目标区块TB1至TBq与参考区块RB以取得与参考区块RB相符的选定目标区块；及
S370：根据参考区块RB及选定目标区块产生深度信息。
在步骤S310及S320取得参考影像IMGR及目标影像IMGT之后，在步骤S330中，深度处理设备200会自参考影像IMGR中选取参考区块RB，并在步骤S340中选取对应的多个目标区块TB1至TBq。在深度处理设备200取得与参考区块RB相符的选定目标区块后，深度处理设备200便可根据第一目标区块TB1的中心画素及选定目标区块的中心画素相隔的画素数量得出对应的视差大小，并在步骤S370中，根据视差大小、第一影像捕获设备210及第二影像捕获设备220的相关参数计算参考区块RB的中心画素所代表的物体的深度信息。此外，步骤S350则会在步骤S360进行比对之前，先对即将进行比对的目标区块进行低通滤波。
在本发明的有些实施例中，当深度处理设备200在选取目标区块时，可以根据物体分布的深度及所允许的误差限制，以对应的取样周期来选取目标区块，使得深度处理设备200能够提升特定深度区间的准确度，增加深度处理设备200所能提供的有效深度范围，或者是在可接受的精确度下,降低比对搜寻的次数。
举例来说，深度处理设备200所选取的目标区块可如图5所示。在图5中，目标区块TB1至TBq可包括第一组目标区块TB_A、第二组目标区块TB_B及第三组目标区块TB_C。在第一组目标区块TB_A中的第一目标区块TB1至第(n+1)目标区块TB(n+1)中，任两个相邻的目标区块的取样画素步长可为x个画素，在第二组目标区块TB_B中的第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)中，任两个相邻的目标区块的取样画素步长可为y个画素，而在第三组目标区块TB_C中的第(m+2)目标区块TB(m+2)至第q目标区块TBq中，任两个相邻的目标区块的取样画素步长可为z个画素。
在图5的实施例中，x可例如是4，y可例如是1，而z可例如是2。也就是说，由于第一组目标区块TB_A中的目标区块会对应到深度值较大的物体，而具有较大的误差值，在此情况下，深度处理设备200即使以取样周期较小的方式取样也无法满足需求，因此可以利用一般的取样周期来取样选取第一组目标区块TB_A中的第一目标区块TB1至第(n+1)目标区块TB(n+1)。
此外，第二组目标区块TB_B中目标区块会对应到深度值为中间的物体，而其误差值可能落在系统需求的边缘，因此深度处理设备200可以利用较为取样周期较小的方式来取样选取第二组目标区块TB_B中的第(n+2)目标区块TB(n+2)至第(m+1)目标区块TB(m+1)，以提高精确度。
再者，第三组目标区块TB_C中的目标区块会对应到深度值较大的物体，而具有较小的误差值，因此深度处理设备200可以利用取样周期较大的方式来取样选取第三组目标区块TB_C中的第(m+2)目标区块TB(m+2)至第q目标区块TBq，而仍然能够满足系统需求，同时避免不必要地增加系统负担。
通过方法300，深度处理设备200就能够根据系统的需求，以适当的取样周期来选取目标区块以配合深度不同的物体，使得深度处理设备200在整体而言，无需增加额外的比对次数就能够提供较大的有效深度范围。
综上所述，本发明的实施例所提供的深度处理设备以及操作深度处理设备的方法可以根据对应的深度范围来选择适当的取样周期以选取目标区块，因此可以在无需增加比对次数的情况下，提升部分深度区间的精确度，使得深度处理设备能够提供较大的有效深度范围。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种深度处理设备，其特征在于，包括：
第一影像捕获设备，用以捕捉参考影像；
第二影像捕获设备，用以捕捉目标影像；及
处理器，耦接于所述第一影像捕获设备及所述第二影像捕获设备，用以自所述参考影像中选取参考区块，根据多个相异的取样周期自所述目标影像中选取对应于所述参考区块的多个目标区块，以及根据所述参考区块和所述多个目标区块中的选定目标区块产生深度信息。
2.如权利要求1所述的深度处理设备，其特征在于所述多个相异的取样周期是根据所述多个目标区块所对应的深度范围精确度来决定。
3.如权利要求1所述的深度处理设备，其特征在于在所述多个目标区块中，两相邻的目标区块之间的取样周期与另两个相邻的目标区块之间的取样周期相异。
4.如权利要求1所述的深度处理设备，其特征在于所述参考区块对应物体，所述处理器沿比对方向，依序比对所述多个目标区块与所述参考区块以取得与所述参考区块相符的所述选定目标区块，根据所述参考区块以及所述选定目标区块取得所述第一影像捕获设备及所述第二影像捕获设备对所述物体的视差，以及根据所述视差、所述第一影像捕获设备及所述第二影像捕获设备的多个相关参数计算所述物体的所述深度信息。
5.如权利要求1所述的深度处理设备，其特征在于，还包括低通滤波器，用以在比对所述多个目标区块与所述参考区块之前，根据所述多个目标区块的取样周期对所述多个目标区块及所述参考区块进行低通滤波。
6.一种深度处理设备，其特征在于，包括：
第一影像捕获设备，用以捕捉参考影像；
第二影像捕获设备，用以捕捉目标影像；及
处理器，耦接于所述第一影像捕获设备及所述第二影像捕获设备，用以自所述参考影像中选取参考区块，自所述目标影像中选取对应于所述参考区块的多个目标区块，以及根据所述参考区块和所述多个目标区块中的选定目标区块产生深度信息；
其中所述多个目标区块中的第一组目标区块的第一取样周期与所述多个目标区块中的第二组目标区块的第二取样周期相异。
7.如权利要求6所述的深度处理设备，其特征在于所述第一取样周期及所述第二取样周期是根据所述第一组目标区块及所述第二组目标区块所对应的深度范围精确度来决定。
8.如权利要求6所述的深度处理设备，其特征在于：
所述第一组目标区块所对应的多个深度值小于所述第二组目标区块所对应的多个深度值；及
所述第一取样周期大于所述第二取样周期。
9.如权利要求8所述的深度处理设备，其特征在于：
所述多个目标区块中的第三组目标区块所对应的多个深度值大于所述第二组目标区块所对应的所述多个深度值；及
所述第三组目标区块的第三取样周期大于所述第二取样周期。
10.如权利要求6所述的深度处理设备，其特征在于：
所述第一组目标区块所对应的多个深度值小于所述第二组目标区块所对应的多个深度值；及
所述第一取样周期小于所述第二取样周期。
11.如权利要求6所述的深度处理设备，其特征在于所述参考区块对应物体，所述处理器沿比对方向，依序比对所述多个目标区块与所述参考区块以取得与所述参考区块相符的所述选定目标区块，根据所述参考区块以及所述选定目标区块取得所述第一影像捕获设备及所述第二影像捕获设备对所述物体的视差，以及根据所述视差、所述第一影像捕获设备及所述第二影像捕获设备的多个相关参数计算所述物体的所述深度信息。
12.如权利要求6所述的深度处理设备，其特征在于，还包括低通滤波器，用以在比对所述多个目标区块与所述参考区块之前，根据所述多个目标区块的取样周期对所述多个目标区块及所述参考区块进行低通滤波。
13.一种深度处理设备，其特征在于，包括：
第一影像捕获设备，用以捕捉参考影像；
第二影像捕获设备，用以捕捉目标影像；及
处理器，耦接于所述第一影像捕获设备及所述第二影像捕获设备，用以自所述参考影像中选取参考区块，自所述目标影像选取对应于所述参考区块的多个目标区块，以及根据所述参考区块和所述多个目标区块中的选定目标区块产生深度信息；
其中所述多个目标区块中默认组目标区块的取样周期小于所述多个目标区块中其他每一组目标区块的取样周期。
14.如权利要求13所述的深度处理设备，其特征在于所述默认组目标区块的所述取样周期及其他每一组目标区块的所述取样周期是根据所述默认组目标区块及其他每一组目标区块所对应的深度范围精确度来决定。
15.如权利要求13所述的深度处理设备，其特征在于所述参考区块对应物体，所述处理器沿比对方向，依序比对所述多个目标区块与所述参考区块以取得与所述参考区块相符的所述选定目标区块，根据所述参考区块以及所述选定目标区块取得所述第一影像捕获设备及所述第二影像捕获设备对所述物体的视差，以及根据所述视差、所述第一影像捕获设备及所述第二影像捕获设备的多个相关参数计算所述物体的所述深度信息。
16.如权利要求13所述的深度处理设备，其特征在于，还包括低通滤波器，用以在比对所述多个目标区块与所述参考区块之前，根据所述多个目标区块的取样周期对所述多个目标区块及所述参考区块进行低通滤波。
CN201810317327.XA 2017-04-10 2018-04-10 深度处理设备 Active CN108765480B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762483472P 2017-04-10 2017-04-10
US62/483,472 2017-04-10

Publications (2)

Publication Number Publication Date
CN108765480A true CN108765480A (zh) 2018-11-06
CN108765480B CN108765480B (zh) 2022-03-15

Family

ID=63711363

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810316674.0A Active CN108900829B (zh) 2017-04-10 2018-04-10 动态显示系统
CN201810317327.XA Active CN108765480B (zh) 2017-04-10 2018-04-10 深度处理设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810316674.0A Active CN108900829B (zh) 2017-04-10 2018-04-10 动态显示系统

Country Status (3)

Country Link
US (2) US11050997B2 (zh)
CN (2) CN108900829B (zh)
TW (2) TWI672675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102503976B1 (ko) * 2018-07-02 2023-02-28 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
CN110822649B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN111311687B (zh) * 2020-01-21 2022-12-02 上海万物新生环保科技集团有限公司 一种手机屏幕像素点的空间位置检测方法及设备
TWI731715B (zh) * 2020-06-12 2021-06-21 宏碁股份有限公司 顯示器調整系統及顯示器調整方法
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN114979613A (zh) * 2021-02-25 2022-08-30 吴松阳 立体图像显示方法及用于显示立体图像的携带式设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN102364524A (zh) * 2011-10-26 2012-02-29 清华大学 一种基于变光照多视角间差采样的三维重建方法和装置
TW201227602A (en) * 2010-12-22 2012-07-01 Service & Quality Technology Co Ltd Method and computer-readable medium for calculating depth of image
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102595187A (zh) * 2012-02-27 2012-07-18 天津大学 一种影响立体图像舒适度的色度范围的测定方法
US20120274747A1 (en) * 2011-04-27 2012-11-01 Goki Yasuda Stereoscopic video display device and stereoscopic video display method
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
TW201328314A (zh) * 2011-12-22 2013-07-01 Teco Elec & Machinery Co Ltd 深度估測方法及其裝置
CN103379255A (zh) * 2012-04-24 2013-10-30 华晶科技股份有限公司 影像处理装置及其处理方法
WO2014048242A1 (zh) * 2012-09-29 2014-04-03 中兴通讯股份有限公司 预测图像生成方法和装置
US20150098509A1 (en) * 2012-05-10 2015-04-09 Lg Electronics Inc. Method and apparatus for processing video signals
CN104656683A (zh) * 2015-01-15 2015-05-27 西安交通大学 双目视觉区域目标的深度信息提取及剖面分析系统及方法
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751209B (zh) * 2008-11-28 2012-10-10 联想(北京)有限公司 一种调整屏幕呈现元素的方法及计算机
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
CN101894538B (zh) * 2010-07-15 2012-09-05 优视科技有限公司 屏幕显示画面控制方法和装置
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
CN102075776B (zh) * 2011-01-18 2014-03-26 青岛海信电器股份有限公司 一种立体显示的控制方法及装置
US20120246223A1 (en) * 2011-03-02 2012-09-27 Benjamin Zeis Newhouse System and method for distributing virtual and augmented reality scenes through a social network
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
JP6102944B2 (ja) * 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
CN103903262B (zh) * 2014-03-25 2017-01-18 苏州科技学院 基于图像分割的深度不连续区域立体匹配算法
WO2015186054A1 (en) * 2014-06-02 2015-12-10 Xlabs Pty Ltd Pose-invariant eye-gaze tracking using a single commodity camera
CN106664397B (zh) * 2014-06-19 2018-11-16 皇家飞利浦有限公司 用于生成三维图像的方法和装置
JP6839656B2 (ja) * 2015-03-23 2021-03-10 コントローラッド システムズ、インコーポレイテッドＣｏｎｔｒｏｌｒａｄ Ｓｙｓｔｅｍｓ，Ｉｎｃ． 視標追跡システム
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
TWI557708B (zh) 2015-11-05 2016-11-11 宏碁股份有限公司 顯示裝置和顯示方法
US9996744B2 (en) * 2016-06-29 2018-06-12 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
TWM535848U (zh) * 2016-07-11 2017-01-21 Lunghwa Univ Of Science And Tech 結合小波轉換及邊緣偵測建立單張影像深度圖的裝置
US10353535B2 (en) * 2016-10-21 2019-07-16 Misapplied Sciences, Inc. Multi-view display viewing zone layout and content assignment
CN106384365B (zh) 2016-11-22 2024-03-08 经易文化科技集团有限公司 一种包含深度信息获取的扩增实境系统及其方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
TW201227602A (en) * 2010-12-22 2012-07-01 Service & Quality Technology Co Ltd Method and computer-readable medium for calculating depth of image
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
US20120274747A1 (en) * 2011-04-27 2012-11-01 Goki Yasuda Stereoscopic video display device and stereoscopic video display method
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
CN102364524A (zh) * 2011-10-26 2012-02-29 清华大学 一种基于变光照多视角间差采样的三维重建方法和装置
TW201328314A (zh) * 2011-12-22 2013-07-01 Teco Elec & Machinery Co Ltd 深度估測方法及其裝置
CN102595187A (zh) * 2012-02-27 2012-07-18 天津大学 一种影响立体图像舒适度的色度范围的测定方法
CN103379255A (zh) * 2012-04-24 2013-10-30 华晶科技股份有限公司 影像处理装置及其处理方法
US20150098509A1 (en) * 2012-05-10 2015-04-09 Lg Electronics Inc. Method and apparatus for processing video signals
WO2014048242A1 (zh) * 2012-09-29 2014-04-03 中兴通讯股份有限公司 预测图像生成方法和装置
CN104656683A (zh) * 2015-01-15 2015-05-27 西安交通大学 双目视觉区域目标的深度信息提取及剖面分析系统及方法
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付建勋 等: "《立体画原理及算法》", 《焦作大学学报》 *

Also Published As

Publication number Publication date
CN108900829A (zh) 2018-11-27
CN108765480B (zh) 2022-03-15
TW201837893A (zh) 2018-10-16
CN108900829B (zh) 2022-02-22
US11050997B2 (en) 2021-06-29
US10567737B2 (en) 2020-02-18
US20180295353A1 (en) 2018-10-11
TWI672675B (zh) 2019-09-21
US20180295345A1 (en) 2018-10-11
TW201837862A (zh) 2018-10-16
TWI657431B (zh) 2019-04-21

Similar Documents

Publication Publication Date Title
CN108765480A (zh) 深度处理设备
JP6142611B2 (ja) ステレオマッチングのための方法及びステレオマッチングのためのシステム
CN104574419B (zh) 镜头畸变参数标定方法及系统
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
TW201724026A (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN103033132B (zh) 基于单目视觉的平面测量方法及装置
WO2018194747A1 (en) Ladar range rate estimation using pulse frequency shift
JP2008241355A (ja) 物体の距離導出装置
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN103546665A (zh) 基于多摄像头的图像清晰度增强方法
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN105931210B (zh) 一种高分辨率图像重建方法
CN102096899B (zh) 一种线阵相机图像的校正方法
CN106780633B (zh) 一种图像校正方法、装置及双目视觉系统
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
JP6121746B2 (ja) 撮影位置決定装置、プログラム、および方法
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2016156702A (ja) 撮像装置および撮像方法
CN107958226A (zh) 一种道路曲线检测方法、装置和终端
CN113065503A (zh) 基于单目摄像头的苗线识别方法、装置和农机
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP6127399B2 (ja) ステレオカメラ装置及びプログラム
CN111833370A (zh) 一种飞行像素滤除方法及系统
CN103927757B (zh) 基于分级采样的目标物体立体视觉三维分析处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant