CN103179414A - 深度控制方法和装置 - Google Patents

深度控制方法和装置 Download PDF

Info

Publication number
CN103179414A
CN103179414A CN2012105302846A CN201210530284A CN103179414A CN 103179414 A CN103179414 A CN 103179414A CN 2012105302846 A CN2012105302846 A CN 2012105302846A CN 201210530284 A CN201210530284 A CN 201210530284A CN 103179414 A CN103179414 A CN 103179414A
Authority
CN
China
Prior art keywords
depth
correlation
degree
related information
weight factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105302846A
Other languages
English (en)
Other versions
CN103179414B (zh
Inventor
郑朝钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103179414A publication Critical patent/CN103179414A/zh
Application granted granted Critical
Publication of CN103179414B publication Critical patent/CN103179414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明提供一种深度控制方法，包括：接收对应于不同视图的多个输入图像；根据所述输入图像生成至少一个深度相关信息图；通过测量所述至少一个深度相关信息图的质量，评估出置信水平；以及根据所述置信水平调整所述至少一个深度相关信息图。通过利用本发明，观看者可获得更好的3D观看体验。

Description

深度控制方法和装置
技术领域
本发明有关于立体显示(stereoscopic display)，且尤其有关于根据深度相关(depth-related)信息图(information map)的质量测量结果，调整深度相关信息图(如视差图(disparity map)或深度图(depth map))的深度控制方法和相关装置。
背景技术
随着科技的不断发展，高清图像已无法满足需求，用户开始追求立体和更真实的图像显示。目前立体显示有两种技术，一种技术采用视频显示装置并附带眼镜，其中眼镜如红蓝/红绿眼镜(anaglyph glasses)、偏光眼镜(polarization glasses)或快门眼镜(shutter glasses)；而另一种技术仅采用视频显示装置，并不需要附带眼镜。无论采用哪种技术，立体显示的主要原理在于使左眼和右眼看到不同的图像，如此一来，观看者的大脑就会将两只眼睛观察到的不同图像视为立体图像。
在一般的二维(two-dimensional,2D)显示中，焦距(focal distance)/焦面(focal plane)与会聚距离(convergence distance)/会聚面(convergence plane)相同。而在三维(three-dimensional,3D)显示中，焦面位于显示屏上，会聚面可能与焦面存在偏差。若存在不恰当的失配，可能会给观看者带来不舒适的立体体验。举例来说，若显示的3D物体太远或者太近，观看者可能会有不舒适的立体体验。此外，若3D物体添加过多或过少的立体效应(stereo effect)，观看者可能也会有不舒适的立体体验。
因此，为了改进立体显示质量，需要一种自适应深度调整方法和装置，用来动态改变在3D环境中显示的图像的深度/时差设置。
发明内容
有鉴于此，本发明提供一种深度控制方法和深度控制装置。
本发明一实施例提供一种深度控制方法，包括：接收对应于不同视图的多个输入图像；根据所述输入图像生成至少一个深度相关信息图；通过测量所述至少一个深度相关信息图的质量，评估出置信水平；以及根据所述置信水平调整所述至少一个深度相关信息图。通过利用本发明，观看者可获得更好的3D观看体验。
本发明另一实施例提供一种深度控制装置，包括：深度相关信息图生成电路，用来对应不同视图接收多个输入图像，并根据所述输入图像生成至少一个深度相关信息图；质量测量电路，用来通过测量所述至少一个深度相关信息图的质量，评估出置信水平；以及调整电路，用来根据所述置信水平，调整所述至少一个深度相关信息图。
通过利用本发明，观看者可获得更好的3D观看体验。
附图说明
图1是根据本发明第一实施例的深度控制装置100的方块示意图。
图2是根据本发明的第一示范性质量测量电路的方块示意图。
图3是质量测量电路200进行的置信水平确定的示范性示意图。
图4是根据本发明的第二示范性质量测量电路的方块示意图。
图5是质量测量电路400进行的置信水平确定的示范性示意图。
图6是根据本发明的第一示范性调整电路的示意图。
图7是根据本发明的第二示范性调整电路的示意图。
图8是置信水平和第二深度控制权重因子之间示范性映射关系的示意图。
图9是原始深度相关值、局部深度相关值和全局深度相关值之间示范性关系的示意图。
图10是根据本发明一实施例的深度控制方法的流程图。
图11是根据本发明第二实施例的深度控制装置的方块示意图。
具体实施方式
在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。
图1是根据本发明第一实施例的深度控制装置100的方块示意图。深度控制装置包含深度相关信息图生成电路102、质量测量电路104和调整电路106，其中调整电路106包含调整值决定单元112和调整单元114。深度相关信息图生成电路102用来对应不同的视图接收多个输入图像F1-FN，并根据输入图像F1-FN生成一个或多个深度相关信息图MAP1-MAPN(如视差图或深度图)。举例来说，输入图像F1-FN可包含成对的左视图图像(left-view image)和右视图(right-view image)图像，而深度相关信息图MAP1-MAPN可包含为左视图图像生成的一个视差图和为右视图图像生成的另一视差图。
在一实施例中，输入图像F1-FN可从多视图(multi-view)视频流中获取，而具有相邻视角(viewing angle)的两个输入图像可只生成一个视差图。质量测量电路104用来通过测量深度相关信息图(由深度相关信息图生成电路102所生成)的质量，来评估出置信水平(Confidence Level,CL)。换句话说，置信水平指示被评估视差图/深度图的质量。调整电路106耦接至深度相关信息图生成电路102、质量测量电路104和图像插值(interpolation)单元101，用来根据置信水平调整深度相关信息图MAP1-MAPN，并将调整后的深度相关信息图MAP1’-MAPN’(如调整后的视差图或调整后的深度图)相应输出到图像插值单元101。
更明确来说，调整电路106的调整值决定单元112用来根据置信水平，决定出深度相关信息图(如MAP1-MAPN之一)中包含的每个深度相关值的调整值ADJi，而调整单元114用来将调整值ADJi应用到深度相关信息图(如MAP1-MAPN之一)中所包含的深度相关值上。图像插值单元101用来根据调整后的深度相关信息图MAP1’-MAPN’，对输入图像F1-FN进行插值，从而产生对应不同视图的输出图像F1’FN’。换句话说，基于深度控制装置100所提供的调整后的深度相关信息图MAP1’-MAPN’，图像插值单元101用来调整输入图像F1-FN的深度效应(如输入图像F1-FN的立体效应)，从而经过插值产生对应调整后视图的输出图像F1’-FN’。因此，由于输出图像F1’-FN’经过了自适应深度调整，观看者可获得更好的3D观看体验。
简单来说，由于输出图像从输入图像和被调整的深度相关信息图中获取，对深度相关信息图的调整可获得深度效应的调整。因此，可通过调整初始时生成的深度相关信息图MAP1-MAPN的至少一部分(如一部分或全部)，对显示的输入图像F1-FN进行自适应深度控制。通过对深度相关信息图MAP1-MAPN的适当调整，输入图像F1-FN可被恰当调整，使得最后的输出图像F1’-FN’可给观看者带来更舒适的3D体验。由于本发明的重点在于深度控制装置100所进行的自适应深度调整，为简便起见，在此省略图像插值单元101的进一步描述。
如上面所述，质量测量电路104用来生成指示被评估视差图/深度图质量的置信水平。请参照图2，图2是根据本发明的第一示范性质量测量电路的方块示意图。在一实施例中，图1中所示的质量测量电路104可由图2中所示的质量测量电路200实现。质量测量电路200包括比较单元202和质量评估单元204。比较单元202用来对从输入图像F1-FN中选择的图像进行比较，并产生相应的比较结果(Comparison Result,CR)。质量评估单元204耦接至比较单元202，用来通过参照比较结果，评估出置信水平。
图3是质量测量电路200进行的置信水平确定的示范性示意图。在一实施例中，输入图像F1-FN包含一对图像：左视图图像IMG_L和右视图图像IMG_R。比较单元202通过比较左视图图像IMG_L和右视图图像IMG_R的像素值，检查左视图图像IMG_L和右视图图像IMG_R中完美匹配区域(perfect matchedregion)所占的百分比，并生成比较结果，以指示完美匹配区域所占的百分比。若完美匹配区域所占的百分比较低，则表示存在大块闭塞区域(occlusionregion)或存在多块闭塞/不匹配区域。也就是说，视差/深度评估此时并不可靠。接下来，质量评估单元204参照完美匹配区域所占的百分比(即比较结果)，设定置信水平。举例来说，置信水平可与完美匹配区域所占的百分比正相关(positively correlated)。换句话说，若完美匹配区域所占的百分比较高，则将置信水平设置为较大值；若完美匹配区域所占的百分比较低，则将置信水平设置为较小值。
请参照图4，图4是根据本发明的第二示范性质量测量电路的方块示意图。在另一实施例中，图1中所示的质量测量电路104可由图4中所示的质量测量电路400实现。质量测量电路400包含重建单元402、比较单元404和质量评估单元406。重建单元402用来根据至少一个深度相关信息图MAP1-MAPN和从输入图像F1-FN中所选择的至少一个图像，生成至少一个重建图像FR1-FRN。比较单元404耦接至重建单元402，用来对至少一个重建图像FR1-FRN和从输入图像F1-FN中所选择的至少一个图像进行比较，从而生成相应的比较结果CR’。质量评估单元406耦接至比较单元404，用来通过参照比较结果CR’，评估出置信水平。
图5是质量测量电路400进行的置信水平确定的示范性示意图。在一实施例中，输入图像F1-FN包含一对图像：左视图图像IMG_L和右视图图像IMG_R。如图5所示，两个输入图像IMG_1和IMG_2中的一个为左视图图像IMG_L，另一个为右视图图像IMG_R。若输入图像IMG_1为左视图图像IMG_L，重建单元402根据左视图图像IMG_L和左视图图像IMGL的相应视差图/深度图MAP_L，生成重建图像IMG_2’(如重建右视图图像IMG_R’)。比较单元404通过比较原始右视图图像和重建右视图图像的像素值，检查初始图像IMG_2(即右视图图像IMG_R)和重建图像IMG_2’(即重建右视图图像IMG_R’)中有效重建(well reconstructed)区域所占的百分比，生成比较结果CR’，用来指示有效重建区域所占的百分比。若有效重建区域所占的百分比较低，则表示存在大块闭塞区域或存在多块闭塞区域。也就是说，视差/深度评估此时并不可靠。接下来，质量评估单元406参照有效重建区域所占的百分比(即比较结果CR’)，设定置信水平。举例来说，置信水平可与有效重建区域所占的百分比正相关。换句话说，若有效重建区域所占的百分比较高，则将置信水平设置为较大值；若有效重建区域所占的百分比较低，则将置信水平设置为较小值。
若输入图像IMG_1为右视图图像IMG_R，重建单元402根据右视图图像IMG_R和右视图图像IMG_R的相应视差图/深度图MAP_R，生成重建图像IMG_2’(如重建左视图图像IMG_L’)。比较单元404通过比较原始左视图图像和重建左视图图像的像素值，检查初始图像IMG_2(即左视图图像IMG_L)和重建图像IMG_2’(即重建左视图图像IMG_L’)中有效重建区域所占的百分比，生成比较结果CR’，用来指示有效重建区域所占的百分比。接下来，质量评估单元406参照有效重建区域所占的百分比(即比较结果CR’)，设定置信水平。可如上所述，对应有效重建区域所占的百分比设置置信水平。
接收到质量测量电路提供的置信水平后，调整电路106参照接收到的置信水平，对深度相关信息图MAP1-MAPN进行自适应深度调整，以对显示的输入图像F1-FN进行自适应深度控制。请参照图6，图6是根据本发明的第一示范性调整电路的示意图。在一实施例中，图1中所示的调整电路106可由图6中所示的调整电路600实现。调整电路600包含调整值决定单元602和调整单元604，其中图1中所示的调整值决定单元112和调整单元114可分别由调整值决定单元602和调整单元604实现。
在本实施例中，调整值决定单元602包含深度控制器606和调整值决定器608。深度控制器606用来对应置信水平，为不同的深度相关信息图(如视差图或深度图)MAP1-MAPN设置多个深度控制权重因子(weighting factor)WD1-WDN。在一示范例中，深度控制权重因子WD1-WDN可彼此相同。也就是说，深度控制器606可将深度控制权重因子WD1-WDN设置为相同值。在另一示范例中，某些或全部深度控制权重因子WD1-WDN彼此之间可并不相同。也就是说，深度控制器606可分别对深度控制权重因子WD1-WDN进行设置。对于每个深度控制权重因子WD1-WDN来说，深度控制权重因子可与置信水平正相关。举例来说，若置信水平较高，则将深度控制权重因子设置为较大值；若置信水平较低，则将深度控制权重因子设置为较小值。
调整值决定器608耦接至深度控制器606，包含多个乘法器(multiplier)609_1-609_N，乘法器609_1-609_N分别接收深度控制权重因子WD1-WDN。每个乘法器用来将深度控制权重因子和对应的深度相关信息图中包含的每个深度相关值(如视差值或深度值)相乘。换句话说，调整值决定器608为基于像素(pixel-based)的处理电路，用来决定出每个深度相关值的调整值。
调整电路604耦接至调整值决定器608，包含多个加法器605_1-605_N，加法器605_1-605_N用来将深度相关信息图的深度相关值减去对应的调整值，从而生成调整后的深度相关信息图，其中调整后的深度相关信息图包含有调整后的深度相关值。如此一来，调整单元604输出具有经所需视差/深度设置的调整后的深度相关信息图MAP1’-MAPN’。因此，图像插值单元101可参照调整后的深度相关信息图MAP1’-MAPN’，对输入图像F1-FN进行深度控制，并相应生成具有调整后的深度效应的输出图像F1’FN’。调整电路600基于像素的操作可按照下列等式进行。
DAdjusted＝DEstimated-α·DEstimated          (1)
在上述等式(1)中，DAdjusted表示调整后的视差/深度图中包含的调整后的视差/深度值，DEstimate表示被评估视差/深度图中包含的初始视差/深度值，α·DEstimate表示调整后的值，α而表示深度控制权重因子。需注意，同一评估视差/深度图中包含的所有视差/深度值可应用相同的深度控制权重因子。
若存在大块闭塞区域(或存在多块闭塞区域)，以及/或者评估视差/深度图的可靠性较差，可减小深度控制权重因子，以减少不必要的边效应(sideeffect)，从而允许3D显示调整到舒适的收敛深度。如此一来，3D显示的质量可得到改进。
请参照图7，图7是根据本发明的第二示范性调整电路的示意图。在另一实施例中，图1中所示的调整电路可由图7中所示的调整电路700实现。调整电路700包含调整值决定单元702和调整单元704，其中图1中所示的调整值决定单元112和调整单元114可分别由调整值决定单元702和调整单元704实现。在本实施例中，调整值决定单元702包含深度控制器706、调整值决定器708、多个全局(global)深度相关值提取器(extractor)711_1-711_N和多个局部(local)深度相关值提取器712_1-712_N。深度控制器706用来为不同的深度相关信息图(如视差图或深度图)MAP1-MAPN设置多个第一深度控制权重因子WG1-WGN，并进一步为不同的深度相关信息图(如视差图或深度图)MAP1-MAPN设置多个第二深度控制权重因子WL1-WLN。
在本实施例中，第二深度控制权重因子WL1-WLN可对应置信水平进行动态设定，而第一深度控制权重因子WG1-WGN在决定每个深度相关值的调整值时保持不变。或者，第一深度控制权重因子WG1-WGN和第二深度控制权重因子WL1-WLN可各自进行调整。
第二深度控制权重因子WL1-WLN可与置信水平正相关。举例来说，若置信水平较高，则将第二深度控制权重因子设置为较大值；若置信水平较低，则将第二深度控制权重因子设置为较小值。在一实施例中，置信水平和第二深度控制权重因子(如局部权重因子)之间的映射关系可如图8所示。上述实施例仅为说明目的，并无意图限制本发明。需注意，根据实际的设计需求/考虑，第一深度控制权重因子WG1-WGN可彼此相同，也可彼此不同；以及/或者第二深度控制权重因子WL1-WLN可彼此相通，也可彼此不同。
全局深度相关值提取器711_1-711_N用来根据相应的深度相关信息图中所包含的所有深度相关值，决定出全局深度相关值(如全局视差/深度值)。换句话说，每个深度相关信息图可仅具有一个全局深度相关值。因此，全局深度相关值提取器711_1-711_N可各自生成全局深度相关值。局部深度相关值提取器712_1-712_N用来根据相应的深度相关信息图中所获取的全局深度相关值，决定出深度相关信息图中所包含的每个深度相关值的局部深度相关值(如局部视差/深度值)。换句话说，若深度相关图MAP1-MAPN中的某深度相关图所包含的深度相关值的个数为N，则该深度相关图可具有N个局部深度相关值。
在一示范例中，每个全局深度相关值提取器根据对应的深度相关信息图中所包含的所有深度相关值的平均值DAVG设定全局深度相关值。明确来说，全局深度相关值可根据以下等式获得。
D AVG = Σ i = 1 N D i N - - - ( 2 )
在上述等式(2)中，Di表示被评估深度相关信息图(如MAP1-MAPN之一)所包含的第i个深度相关值，N表示被评估深度相关信息图(如MAP1-MAPN之一)中所包含的深度相关值的个数。
在另一示范例中，每个全局深度相关值提取器根据对应的深度相关信息图中所包含的所有深度相关值的权重和DWS设定全局深度相关值。其中，若第一深度相关值与第二深度相关值不同，则第一深度相关值的权重因子与第二深度相关值的权重因子不同。明确来说，全局深度相关值可根据以下等式获得。
D WS = Σ i = 1 N W i · D i Σ i = 1 N W i - - - ( 3 )
在上述等式(3)中，Di表示被评估深度相关信息图(如MAP1-MAPN之一)所包含的第i个深度相关值，N表示被评估深度相关信息图(如MAP1-MAPN之一)所包含的深度相关值的个数，而
Figure BDA00002557736700083
表示第i个深度相关值的权重因子。
对于局部深度相关值的获取来说，本实施例中的每个局部深度相关值提取器可如图9所示，通过将深度相关值减去全局深度相关值(如DAVG或DWS)，为相应的深度相关信息图中所包含的每个深度相关值设定局部深度相关值。
请再次参照图7。调整值决定器708耦接至全局深度相关值提取器711_1-711_N和局部深度相关值提取器712_1-712_N，包含多个第一乘法器709_1-709_N、多个第二乘法器710_1-710_N和多个加法器713_1-713_N。第一乘法器709_1-709_N用来将相应的第一深度控制权重因子WG1-WGN和每个全局深度相关值(如DAVG或DWS)相乘，第二乘法器710_1-710_N用来将相应的第二深度控制权重因子和局部深度相关值相乘，加法器713_1-713_N用来对前面第一乘法器的输出和第二乘法器的输出进行加法操作，以决定出对应的深度相关信息图的调整值。换句话说，本实施例中的调整值决定器708用来决定每个深度相关值的调整值。
调整单元704耦接至调整值决定器708，包含多个加法器705_1-705_N。加法器705_1-705_N用来将深度相关值减去相应的调整值，以生成包含调整后的深度相关值的调整后的深度相关信息图。如此一来，调整电路704可输出经所需视差/深度设置的调整后的深度相关信息图MAP1’MAPN’。调整电路700基于像素的操作可通过以下等式表示。
DAdjusted＝DEstimated-α·DLocal-β·DGlobal     (4)
在上述等式(4)中，DAdjusted表示调整视差/深度图中所包含的调整视差/深度值，DEstimated表示被评估视差/深度图中所包含的原始视差/深度值，α·Destimated表示调整值的局部部分，β·DGlobal表示调整值的全局部分，α表示第二深度控制权重因子，β表示第一深度控制权重因子。需注意，在同一深度相关信息图中，所有的局部深度相关值可应用相同的第二深度控制权重因子(即相同的局部深度控制权重因子)，且无论第二深度控制权重因子是否随置信水平进行调整，第一深度控制权重因子(即全局深度控制权重因子)并不发生改变。
若存在大块闭塞区域(或存在多块闭塞区域)以及/或者评估视差/深度图的可靠性较差，则可通过减小第二深度控制权重因子来减小不必要的边效应，从而将3D显示调整到舒适的收敛深度。如此一来，3D显示质量可得到改进。
图10是根据本发明一实施例的深度控制方法的流程图。若结果大致相同，则深度控制方法并不需要完全按照图10所示的顺序执行。本示范性深度控制方法可由图1所示的装置执行，可简单总结为以下步骤。
步骤1002：接收对应于不同视图的多个输入图像。
步骤1004：根据输入图像生成至少一个深度相关信息图。
步骤1006：通过测量上述至少一个深度相关信息图的质量，评估出置信水平。
步骤1008：根据置信水平对上述至少一个深度相关信息图进行调整。
步骤1010：根据调整后的深度相关信息图和输入图像，对输出图像进行插值，使得输出图像按照调整后的深度相关信息图自适应控制深度效应。
步骤1002和1004可由上述深度相关信息图生成电路102执行，步骤1006可由上述质量测量电路104执行，步骤1008可由上述调整电路106执行，步骤1010可由上述图像插值单元101执行。本领域普通技术人员在阅读上述有关深度控制装置100的描述后，可轻易理解每个步骤，因此为简便起见，不再做进一步描述。
深度控制装置100可采用基于硬件的方案实现自适应深度调整功能，但这只是为了说明目的，并无意图限制本发明。在一实施例中，可采用基于软件的方案实现自适应深度调整功能。请参照图11，图11是根据本发明第二实施例的深度控制装置的方块示意图。深度控制装置1100包含处理器(如微控制单元或中央处理单元)1102和机器可读媒介(如非易失性存储器)1104。机器可读媒介1104耦接至处理器1102，用来储存程序码(program code)，如深度控制装置1100的韧件。处理器1102加载并执行程序码时，程序码可引起处理器1102执行图10中所示的步骤。如此一来，可实现自适应深度调整。
虽然本发明已就较佳实施例揭露如上，然其并非用以限制本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。因此，本发明的保护范围当视之前的权利要求书所界定为准。

Claims (24)

1.一种深度控制方法，其特征在于，包括：
接收对应于不同视图的多个输入图像；
根据所述输入图像生成至少一个深度相关信息图；
通过测量所述至少一个深度相关信息图的质量，评估出置信水平；以及
根据所述置信水平调整所述至少一个深度相关信息图。
2.如权利要求1所述的深度控制方法，其特征在于，评估出所述置信水平的步骤包括：对从所述输入图像中选择出的图像进行比较，相应生成比较结果；以及通过参照所述比较结果，评估出所述置信水平。
3.如权利要求1所述的深度控制方法，其特征在于，评估出所述置信水平的步骤包括：根据所述至少一个深度相关信息图和从所述输入图像中选择出的至少一个图像，生成至少一个重建图像；对所述至少一个重建图像和从所述输入图像中选择出的至少一个图像进行比较，相应生成比较结果；以及通过参照所述比较结果，评估出所述置信水平。
4.如权利要求1所述的深度控制方法，其特征在于，调整所述至少一个深度相关信息图的步骤包括：根据所述置信水平决定出深度相关信息图中所包含的每个深度相关值的调整值；以及将所述调整值应用到所述深度相关信息图中所包含的每个深度相关值上。
5.如权利要求4所述的深度控制方法，其特征在于，决定每个深度相关值的所述调整值的步骤包括：对应所述置信水平设定深度控制权重因子；以及将所述深度控制权重因子和每个深度相关值相乘，以决定出每个深度相关值的所述调整值。
6.如权利要求5所述的深度控制方法，其特征在于，所述深度控制权重因子与所述置信水平正相关。
7.如权利要求4所述的深度控制方法，其特征在于，决定每个深度相关值的所述调整值的步骤包括：根据所述深度相关信息图中所包含的所有深度相关值决定出全局深度相关值；根据所述全局深度相关值决定出所述深度相关信息图中所包含的每个深度相关值的局部深度相关值；设定第一深度控制权重因子；对应所述置信水平设定第二深度控制权重因子；以及将所述第二深度控制权重因子与每个局部深度相关值相乘，将所述第一深度控制权重因子与所述全局深度相关值相乘，以决定出每个深度相关值的所述调整值。
8.如权利要求7所述的深度控制方法，其特征在于，决定出所述全局深度相关值的步骤包括：根据所述深度相关信息图中所包含的所有深度相关值的平均值，设定所述全局深度相关值。
9.如权利要求7所述的深度控制方法，其特征在于，决定出所述全局深度相关值的步骤包括：根据所述深度相关信息图中所包含的所有深度相关值的权重和，设定所述全局深度相关值，其中若第一深度相关值与第二深度相关值不同，则所述第一深度相关值的权重因子与所述第二深度相关值的权重因子不同。
10.如权利要求7所述的深度控制方法，其特征在于，决定出每个深度相关值的所述局部深度相关值的步骤包括：通过将所述深度相关值减去所述全局深度相关值，决定出每个深度相关值的所述局部深度相关值。
11.如权利要求7所述的深度控制方法，其特征在于，所述第二深度控制权重因子与所述置信水平正相关。
12.如权利要求7所述的深度控制方法，其特征在于，每次决定每个深度相关值的所述调整值时，所述第一深度控制权重因子不发生改变；或者所述第一深度控制权重因子和所述第二深度控制权重因子各自进行调整。
13.一种深度控制装置，其特征在于，包括：
深度相关信息图生成电路，用来对应不同视图接收多个输入图像，并根据所述输入图像生成至少一个深度相关信息图；
质量测量电路，用来通过测量所述至少一个深度相关信息图的质量，评估出置信水平；以及
调整电路，用来根据所述置信水平，调整所述至少一个深度相关信息图。
14.如权利要求13所述的深度控制装置，其特征在于，所述质量测量电路包括：比较单元，用来对所述输入图像中选择出的图像进行比较，相应生成比较结果；以及质量评估单元，用来参照所述比较结果，评估出所述置信水平。
15.如权利要求13所述的深度控制装置，其特征在于，所述质量测量电路包括：重建单元，用来根据所述至少一个深度相关图和从所述输入图像中选择出的至少一个图像，生成时少一个重建图像；比较单元，用来对所述至少一个重建图像和从所述输入图像中选择出的至少一个图像进行比较，生成比较结果；以及质量评估单元，用来参照所述比较结果，评估出所述置信水平。
16.如权利要求13所述的深度控制装置，其特征在于，所述调整电路包括：调整值决定单元，用来根据所述置信水平，决定出深度相关信息图中所包含的每个深度相关值的调整值；以及调整单元，用来将所述调整值应用到所述深度相关信息图中所包含的深度相关值上。
17.如权利要求16所述的深度控制装置，其特征在于，所述调整值决定单元包括：深度控制器，用来对应所述置信水平设定深度控制权重因子；以及调整值决定器，用来将所述深度控制权重因子和每个深度相关值相乘，以决定出每个深度相关值的所述调整值。
18.如权利要求17所述的深度控制装置，其特征在于，所述深度控制权重因子与所述置信水平正相关。
19.如权利要求16所述的深度控制装置，其特征在于，所述调整值决定器单元包括：深度控制器，用来对应所述置信水平设定第一深度控制权重因子和第二深度控制权重因子；全局深度相关值提取器，用来根据所述深度相关信息图中所包含的所有深度相关值，决定出全局深度相关值；局部深度相关值提取器，用来根据所述全局深度相关值，决定出所述深度相关信息图中所包含的每个深度相关值的局部深度相关值；以及调整值决定器，用来将所述第二深度控制权重因子和每个局部深度相关值相乘，将所述第一深度控制权重因子和所述全局深度相关值相乘，以决定出每个深度相关值的所述调整值。
20.如权利要求19所述的深度控制装置，其特征在于，所述全局深度相关值提取器根据所述深度相关信息图中所包含的所有深度相关值的平均值，设定所述全局深度相关值。
21.如权利要求19所述的深度控制装置，其特征在于，所述全局深度相关值提取器根据所述深度相关信息图中所包含的所有深度相关值的权重和，设定所述全局深度相关值，其中若第一深度相关值与第二深度相关值不同，则所述第一深度相关值的权重因子与所述第二深度相关值的权重因子不同。
22.如权利要求19所述的深度控制装置，其特征在于，所述局部深度相关值提取器通过将所述深度相关值减去所述全局深度相关值，设定每个深度相关值的所述局部深度相关值。
23.如权利要求19所述的深度控制装置，其特征在于，所述第二深度控制权重因子与所述置信水平正相关。
24.如权利要求19所述的深度控制装置，其特征在于，每次决定深度相关值的所述调整值时，所述第一深度控制权重因子保持不变；或者所述第一深度控制权重因子与所述第二深度控制权重因子各自进行调整。
CN201210530284.6A 2011-12-23 2012-12-10 深度控制方法和装置 Active CN103179414B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161579669P 2011-12-23 2011-12-23
US61/579,669 2011-12-23
US13/570,256 2012-08-09
US13/570,256 US20130162763A1 (en) 2011-12-23 2012-08-09 Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map

Publications (2)

Publication Number Publication Date
CN103179414A true CN103179414A (zh) 2013-06-26
CN103179414B CN103179414B (zh) 2015-08-19

Family

ID=47602716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210530284.6A Active CN103179414B (zh) 2011-12-23 2012-12-10 深度控制方法和装置

Country Status (3)

Country Link
US (1) US20130162763A1 (zh)
EP (1) EP2608549B1 (zh)
CN (1) CN103179414B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077725A (zh) * 2014-10-27 2017-08-18 佳能株式会社 数据处理装置、成像装置和数据处理方法
CN108986154A (zh) * 2017-05-31 2018-12-11 钰立微电子股份有限公司 对应图像获取装置的深度图质量的验证方法及其验证系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2860975A1 (en) * 2013-10-09 2015-04-15 Thomson Licensing Method for processing at least one disparity map, corresponding electronic device and computer program product
CN104318525B (zh) * 2014-10-17 2017-02-15 合肥工业大学 基于空间引导滤波的图像细节增强方法
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues
CN111193918B (zh) * 2018-11-14 2021-12-28 宏达国际电子股份有限公司 影像处理系统及影像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置
CN102104786A (zh) * 2009-12-14 2011-06-22 索尼公司 图像处理装置、图像处理方法和程序
CN102117486A (zh) * 2009-12-30 2011-07-06 三星电子株式会社 生成三维图像数据的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
WO2011104151A1 (en) * 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104786A (zh) * 2009-12-14 2011-06-22 索尼公司 图像处理装置、图像处理方法和程序
CN102117486A (zh) * 2009-12-30 2011-07-06 三星电子株式会社 生成三维图像数据的方法和装置
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077725A (zh) * 2014-10-27 2017-08-18 佳能株式会社 数据处理装置、成像装置和数据处理方法
US10547824B2 (en) 2014-10-27 2020-01-28 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
CN107077725B (zh) * 2014-10-27 2021-06-08 佳能株式会社 数据处理装置、成像装置和数据处理方法
US11044453B2 (en) 2014-10-27 2021-06-22 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
CN108986154A (zh) * 2017-05-31 2018-12-11 钰立微电子股份有限公司 对应图像获取装置的深度图质量的验证方法及其验证系统

Also Published As

Publication number Publication date
EP2608549A2 (en) 2013-06-26
EP2608549A3 (en) 2015-06-03
EP2608549B1 (en) 2017-09-06
CN103179414B (zh) 2015-08-19
US20130162763A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103179414B (zh) 深度控制方法和装置
US8817073B2 (en) System and method of processing 3D stereoscopic image
Johnson et al. Dynamic lens and monovision 3D displays to improve viewer comfort
KR100667810B1 (ko) ３ｄ 영상의 깊이감 조정 장치 및 방법
JP2013038602A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Du et al. A metric of visual comfort for stereoscopic motion
Zannoli et al. Blur and the perception of depth at occlusions
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
KR20080076628A (ko) 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
TW201242335A (en) Image processing device, image processing method, and program
Kim et al. Effect of vergence–accommodation conflict and parallax difference on binocular fusion for random dot stereogram
CN103238337B (zh) 立体图像获取系统及方法
CN103595988A (zh) 立体图像显示装置、图像处理装置及图像处理方法
KR20130125777A (ko) 적응 시차를 갖는 3d 디스플레이를 위한 방법 및 시스템
EP3001681B1 (en) Device, method and computer program for 3d rendering
Wang et al. Perceptual depth quality in distorted stereoscopic images
KR20150121127A (ko) 양안 응시 이미징 방법 및 장치
CN102469332A (zh) 修改立体图像对的方法和系统
Guan et al. Stereoscopic depth constancy
KR20120099976A (ko) 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법
US9838672B2 (en) Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview
WO2014038476A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP2012109725A (ja) 立体映像処理装置および立体映像処理方法
US20140085434A1 (en) Image signal processing device and image signal processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant