CN103260039A - 图像处理设备、图像处理方法以及程序 - Google Patents

图像处理设备、图像处理方法以及程序 Download PDF

Info

Publication number
CN103260039A
CN103260039A CN2013100507685A CN201310050768A CN103260039A CN 103260039 A CN103260039 A CN 103260039A CN 2013100507685 A CN2013100507685 A CN 2013100507685A CN 201310050768 A CN201310050768 A CN 201310050768A CN 103260039 A CN103260039 A CN 103260039A
Authority
CN
China
Prior art keywords
map information
depth map
reliability
depth
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100507685A
Other languages
English (en)
Inventor
木村青司
小林刚也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103260039A publication Critical patent/CN103260039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了图像处理设备、图像处理方法以及程序。其中图像处理设备包括：深度图信息估计单元，其被配置成估计二维图像的区域单位的深度，并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；可靠度信息生成单元，其被配置成通过确定深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；深度图信息校正单元，其被配置成通过基于深度图信息可靠度而校正深度图信息，生成校正后的深度图信息；以及3D图像生成单元，其被配置成通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。

Description

图像处理设备、图像处理方法以及程序
技术领域
本公开涉及一种图像处理设备、图像处理方法以及程序。更具体地，本公开涉及生成要被立体观看（三维观看）的三维图像（3D图像）的图像处理设备、图像处理方法以及程序。
背景技术
可作为具有深度的三维图像观看的立体图像（三维图像）由作为来自不同视点的图像的用于左眼的图像（L图像）和用于右眼的图像（R图像）的两个图像的组合构成。为了从两个视点获得图像（即，双眼视差图像），两个成像设备要彼此分开布置在左侧和右侧并且捕获图像。
使用包括用于左眼的图像（L图像）和用于右眼的图像（R图像）的一对图像构成捕获的一对立体图像，其中，用于左眼的图像（L图像）要通过左成像设备捕获并且由左眼观察，用于右眼的图像（R图像）要通过右成像设备捕获并且由右眼观察。
使用包括用于左眼的图像（L图像）和用于右眼的图像（R图像）的一对图像构成的一对立体图像显示在可以分离要由观察者的左眼和右眼观看的用于左眼的图像和用于右眼的图像的显示设备上，使得观察者可以将图像识别为三维图像。
另一方面，关于如下配置已经提出了各种建议：该配置用于利用从单个视点捕获的通常二维（2D）图像生成与立体图像（三维图像）相对应的、作为由用于左眼的图像和用于右眼的图像构成的双眼视差图像的三维（3D）图像。
响应于如下当前情况提出了这些建议：虽然液晶显示器和等离子显示器（PDP）近来普及作为能够进行三维（3D）显示的显示装置，但是缺少用于显示在这样的3D显示装置上的3D内容，并且期望基于将通常二维（2D）图像信号伪转换成三维（3D）图像信号（在下文中，“2D至3D转换”）的技术而弥补3D内容的缺少。
在2D至3D转换中，需要根据普通2D图像信号估计深度信息。例如，在JP10-051812A中，作为关于深度的线索，除了亮度对比度、亮度合并值、以及饱和度合并值，还基于高频分量的合并值而估计深度信息。
例如，对于利用高频分量的合并值的深度估计，执行高频分量能量越高、估计深度越浅的处理。因此，不可避免地出现：包括高频分量的区域的对比度越高，估计的深度越近。因此，具有较大对比度的边缘部分（诸如夜景霓虹灯（nightscape neon））趋于过度地飞出。另一方面，由照相机对焦的具有相对低对比度的部分（诸如动物皮毛和人皮肤上的皱纹）被估计为深侧，使得当以3D观看时，会感觉不自然的深度感。
此外，当通过与其他线索进行组合来估计深度时，执行用于基于关于亮度、饱和度等的信息而执行多个深度估计值的加权相加的处理。然而，在这样的处理中，当前，加权确定依赖于经验，使得不能实现例如基于图像信息的性质的精确控制。
在基于这样的处理的深度估计处理中，取决于场景，可能出现诸如深度感不协调的感觉的副作用。
另外，在“2D to 3D conversion based on edge defocus andsegmentation”,Ge Guo,Nan Zhang,Longshe Huo,Wen Gao:ICASSP2008中，虽然基于使用小波的边缘部分的去焦分析而成功地确定具有浅的景深（depth of field）的场景的深度图信息，但是根本没有提到其他类型的场景。
发明内容
根据本公开的实施例，提供了实现如下图像转换的图像处理设备、图像处理方法以及程序，在该图像转换中，在用于将普通二维（2D）图像信号伪转换成三维（3D）图像信号的处理中抑制不自然的深度感。
例如，根据本公开的实施例，实现了基于图像的频率分析的深度估计的更精确的深度估计。
在先前的基于频率分析的深度估计技术中，如上所述，由于高频分量越大（即，包括高频的区域的对比度越高）区域被估计为越浅，因此夜景霓虹灯等的部分趋于过度地飞出。
另一方面，由照相机对焦的具有相对低对比度的部分（诸如动物皮毛和人皮肤上的皱纹）被估计为深侧，使得当以3D观看时，会感觉不自然的深度感。
在先前的基于频率分析的深度估计技术中，通常可以对于具有浅的景深的场景（其中前景对象对焦（in focus）而背景失焦（out of focus）的场景）获得良好的估计结果。然而，对于其他场景（具有深的景深的泛焦场景），错误地估计深度的可能性增大。使用该结果生成的3D图像经受产生不自然的深度感的问题。
例如，根据本公开的实施例的配置实现如下2D至3D图像转换处理，该2D至3D图像转换处理通过使用不容易受对比度影响的频率分析来执行深度估计处理、确定是否是估计结果具有高可靠度的场景（例如，具有浅的景深的场景）、以及基于确定结果而执行处理，抑制不自然的深度感。
根据本公开的第一方面，提供了一种图像处理设备，包括：深度图信息估计单元，其被配置成估计二维图像的区域单位的深度，并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；可靠度信息生成单元，其被配置成通过确定深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；深度图信息校正单元，其被配置成通过基于深度图信息可靠度而校正深度图信息，生成校正后的深度图信息；以及3D图像生成单元，其被配置成通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。深度图信息估计单元可被配置成通过执行二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
此外，根据本公开的实施例，深度图信息估计单元可被配置成生成深度图信息，其中对于其中中低区域分量能量占有率较大的区域设置指示深（远）位置的深度估计值，并且对于其中中低区域分量能量占有率较小的区域设置指示浅（近）位置的深度估计值。
此外，根据本公开的实施例，深度图信息估计单元可被配置通过基于以下公式根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息：中低区域分量能量占有率=（中低区域分量能量）/（交流分量能量）。
此外，根据本公开的实施例，可靠度信息生成单元可被配置成通过应用作为关于深度图信息中的深度值的频率分布信息的深度信息直方图中的峰值位置信息，生成所计算的统计信息可靠度。
此外，根据本公开的实施例，可靠度信息生成单元可被配置成计算深度信息直方图中的峰值的频率（PF）与深度信息直方图中的局部最小的频率（MF）之间的频率比（MF/PF），并且生成基于频率比（MF/PF）的统计信息可靠度，其中，深度信息直方图是关于深度图信息中的深度值的频率分布信息。
此外，根据本公开的实施例，可靠度信息生成单元可被配置成通过应用关于深度图信息的预定区域单位的深度值的差分信息，生成所计算的空间分布可靠度。
此外，根据本公开的实施例，可靠度信息生成单元可被配置成生成亮度可靠度，其是基于二维图像的亮度的可靠度。
此外，根据本公开的实施例，可靠度信息生成单元可被配置成通过应用外部输入的外部块检测信号，生成外部块对应可靠度。
此外，根据本公开的实施例，外部块检测信号可以是噪声量测量结果、信号频带测量结果、面部检测结果、反射式字幕检测结果、EPG（电子节目指南）信息、摄像装置拍摄信息、或运动检测结果中的至少一个，并且，可靠度信息生成单元被配置成通过应用任意所述检测信号来生成外部块对应可靠度。
此外，根据本公开的实施例，深度图信息校正单元可被配置成通过基于深度图信息可靠度而确定深度图信息和具有固定值作为深度值的固定深度图之间的混合比、并且通过应用所确定的混合比在深度图信息和固定深度图之间执行混合处理，生成校正后的深度图信息。
此外，根据本公开的实施例，深度图信息校正单元可被配置成通过执行如下混合处理来生成校正后的深度图信息，该混合处理在深度图信息可靠度较高时增大深度图信息的混合比，而在深度图信息可靠度较低时降低深度图信息的混合比。
此外，根据本公开的实施例，深度图信息校正单元可被配置成生成校正后的深度图信息，在校正后的深度图信息中，基于深度图信息可靠度而控制深度图信息中设置的深度值范围。
此外，根据本公开的实施例，深度图信息校正单元可被配置成通过执行如下控制来生成校正后的深度图信息，该控制在深度图信息可靠度较高时降低深度图信息中设置的深度值范围的收缩宽度，而在深度图信息可靠度较低时增大深度图信息中设置的深度值范围的收缩宽度。
此外，根据本公开的第二方面，提供了一种在图像处理设备中执行的图像处理方法，该方法包括：利用深度图信息估计单元，估计二维图像的区域单位的深度并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；利用可靠度信息生成单元，通过确定深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；利用深度图信息校正单元，通过基于深度图信息可靠度而校正深度图信息，生成校正后的深度图信息；以及利用3D图像生成单元，通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。在深度图信息估计中，通过执行二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
此外，根据本公开的第三方面，提供了一种使得图像处理设备执行图像处理的程序。该程序被配置成：在深度图信息估计单元中，估计二维图像的区域单位的深度并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；在可靠度信息生成单元中，通过确定深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；在深度图信息校正单元中，通过基于深度图信息可靠度而校正深度图信息，生成校正后的深度图信息；以及在三维图像生成单元中，通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。在深度图信息估计中，通过执行二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
根据本公开的程序记录在记录介质中并设置于可以执行各种程序代码的信息处理设备或计算机系统。通过信息处理设备或计算机系统上的程序执行单元来执行程序，实现根据该程序的处理。
根据以下结合实施例和附图进行的描述，本公开的其他目的、特征以及优点将更明显。在本公开中，系统具有多个设备的逻辑组配置并且每个设备可不设置在同一机箱中。
根据本公开的实施例的配置，实现了用于通过执行根据二维图像的高精度深度估计来生成应用高精度深度值的3D图像的设备和方法。
具体地，深度图信息估计单元生成其中设置二维图像的区域单位的深度估计值的深度图信息。确定深度图信息中设置的深度值的可靠度。基于可靠度而校正深度图信息以生成校正后的深度图信息。通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。深度图信息估计单元根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
根据该配置，实现了用于通过执行根据二维图像的高精度深度估计来生成应用高精度深度值的3D图像的设备和方法。
附图说明
图1是示出根据本公开的图像处理设备的配置示例的图；
图2是示出根据本公开的图像处理设备中的深度图信息估计单元的配置示例的图；
图3是示出根据本公开的图像处理设备中的深度图信息估计单元执行的处理的图；
图4是示出根据本公开的图像处理设备中的深度图信息估计单元执行的处理的图；
图5是示出根据本公开的图像处理设备中的可靠度信息生成单元的配置示例的图；
图6是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图7是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图8是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图9是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图10是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图11是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图12是示出根据本公开的图像处理设备中的可靠度信息生成单元执行的处理的示例的图；
图13是示出根据本公开的图像处理设备中的深度图信息校正单元的配置示例的图；
图14是示出根据本公开的图像处理设备中的深度图信息校正单元的配置示例的图；以及
图15是示出根据本公开的图像处理设备中的深度图信息校正单元的配置示例的图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明和附图中，具有基本相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。
现在将参照附图详细描述根据本公开的图像处理设备、图像处理方法以及程序。将基于以下项目进行描述。
1.根据本公开的图像处理设备的整体配置和处理的概要
2.深度图信息估计单元的配置和处理的详情
3.可靠度信息生成单元的配置和处理
3-1.统计信息可靠度计算单元的处理
3-2.空间分布可靠度计算单元的处理
3-3.亮度可靠度计算单元的处理
3-4.外部块可靠度计算单元的处理
3-5.可靠度合并单元的处理
4.深度图信息校正单元的配置和处理
5.3D图像生成单元的处理
6.图像处理设备的整体处理的流程和效果
7.本公开的配置的总结
1.根据本公开的图像处理设备的整体配置和处理的概要
图1是示出根据本公开的图像处理设备的实施例的框图。
图1中示出的图像处理设备100具有深度图信息估计单元101、可靠度信息生成单元102、深度图信息校正单元103以及3D图像生成单元104。
图1中示出的图像处理设备100输入二维（2D）图像信号50，并且基于输入的单个二维（2D）图像信号50，生成并输出由作为用于三维（3D）图像显示的图像的、用于左眼的图像（L图像）和用于右眼的图像（R图像）构成的3D图像信号70。
根据本实施例的图像处理设备100基于单个二维（2D）图像信号50的图像转换，执行生成伪3D图像信号70的图像信号处理。
首先，深度图信息估计单元101对输入的2D图像信号50执行使用不易受对比度影响的频率分析的深度估计处理，以生成深度图信息61。
可靠度信息生成单元102生成指示所生成的深度图信息61的可靠度的信息可靠度62。
此外，深度图信息校正单元103通过基于信息可靠度62而校正深度图信息61，生成校正后的深度图信息63。
3D图像生成单元104基于校正后的深度图信息63，根据输入的2D图像信号50生成3D图像信号。
现在将更加详细地描述图像处理设备100中的每个构成单元执行的处理。
2.深度图信息估计单元的配置和处理的详情
首先，将参照图2更加详细地描述图1中示出的图像处理设备100中的深度图信息估计单元101的配置和处理。
注意，以下描述基于深度图信息值越大、深度越浅并且深度图信息值越小、深度越深的假设。
例如，当生成其中深度值表示为亮度信息的深度图信息（有时也称为深度图）时，基于根据像素单位的深度，设置例如从0到255的亮度值。
基于深度是否是浅（近）到深（远），像素值被设置为在255（亮）到0（暗）之间的值。
因此，深度图信息具有根据构成图像的像素单位指示深度的值。
图2示出根据本公开的图像处理设备100中的深度图信息估计单元101的配置示例。
对于输入至深度图信息估计单元101的2D图像信号50，中低区域分量能量计算单元111使用具有如图2（a）中斜线部分示出的中低区域是通带的滤波器特性的带通滤波器，计算与图2（a）中斜线部分相对应的中低区域分量能量121。
基于输入的2D图像信号50的预定区域单位例如像素单位或者n×n像素的像素区域单位，执行该中低区域分量能量121的计算处理。值n可以是例如3、5、7、9等。
在图2（a）中，水平轴表示频率（归一化为0至π），并且竖直轴表示输出强度（功率）。
中低区域分量能量计算单元111通过应用让图2（a）中斜线部分的中低区域通过的滤波器，仅抽取2D图像信号50中的中区域分量。该中低区域分量是例如归一化频率0至π中π/2或者更小的频率区域。例如，在执行处理的用户观察图像的同时，还可由他/她设置滤波器设置。
2D图像信号50中的中低区域分量经常被假定为失焦区域。
例如，对象边界对焦的边缘区域主要是高区域分量。相反地，中低区域分量经常是诸如没有对焦的背景对象的失焦区域。
另一方面，交流分量能量计算单元112对具有与以上中低区域分量能量计算单元111的滤波器分析窗口相同范围的信号数据（即，输入的2D图像信号50的预定区域单位例如像素单位或n×n像素的像素区域单位的信号数据），通过从总能量中去除直流分量能量来计算与图2（b）的虚线部分相对应的交流分量能量122。
还可使用包含具有与图2（b）中的虚线部分相对应的滤波器特性的宽通带的高通滤波器生成该交流分量能量122。
此外，该能量可以是滤波器输出的平方和或绝对值和。
接下来，中低区域分量能量占有率计算单元113确定中低区域分量能量121与交流分量能量122的比率，并且输出结果作为中低区域分量能量占有率123。具体地，中低区域分量能量占有率计算单元113基于以下公式计算中低区域分量能量占有率。
中低区域分量能量占有率=（中低区域分量能量）/（交流分量能量）
深度图信息转换单元114随着输入的中低区域分量能量占有率123越大（越接近1），将深度图信息61的值设置为指示位置越远（深侧）的值。
另一方面，中低区域分量能量占有率123越小（越接近0），深度图信息61的值被设置为指示位置越近（越浅）的值。
将参照图3描述深度图信息转换单元114执行的深度图信息转换处理。
图3示出了以下两个示例。
（a）中低区域分量能量占有率较大的图像的中低区域分量能量占有率。
（b）中低区域分量能量占有率较小的图像的中低区域分量能量占有率。
在图3（a）中，示出了对具有较大的中低区域分量能量占有率的图像的处理的以下示例。
（a1）中低区域分量能量提取处理
（a2）交流分量能量提取处理
（a3）中低区域分量能量占有率
（a1）和（a2）中示出的粗线对应于图像中的处理目标区域的频率分布。
如图（a1）和（a2）所示，表示图像的频率分布的粗线和各个滤波器区域之间的重叠区域几乎相同。（a1）中执行的中低区域分量能量提取处理和（a2）中执行的交流分量能量提取处理都以大致相同的强度（能量级）被执行。
因此，如图（a3）所示，在中低区域分量能量占有率的计算处理中以下成立。
（中低区域分量能量）/（交流分量能量）≈1
因此，中低区域分量能量占有率约为1。
具体地，如图3（a）所示，中低区域分量能量占有率123越大（越接近1），由信号频带中的中低区域分量展现的比率越高。即，由于示出了失焦区域，因此该区域被确定为背景失焦部分，使得深度图信息61的值被设置为指示远位置（深侧）的值。
另一方面，在图3（b）中，示出了对具有较小中低区域分量能量占有率的图像的处理的以下示例。
（b1）中低区域分量能量提取处理
（b2）交流分量能量提取处理；以及
（b3）中低区域分量能量占有率。
（b1）和（b2）中示出的粗线对应于图像中处理目标区域的频率分布。
如图（b1）和（b2）所示，表示图像的频率分布的粗线和各个滤波器区域之间的重叠区域相差很多。（b1）中执行的中低区域分量能量提取处理和（b2）中执行的交流分量能量提取处理以相差很多的强度（能量级）被执行。
因此，如图（b3）所示，在中低区域分量能量占有率的计算处理中以下成立。
（中低区域分量能量）/（交流分量能量）≈0
因此，中低区域分量能量占有率是接近0的值。
如图3（b）所示，中低区域分量能量占有率123越小（越接近0），由信号频带中的中低区域分量展现的比率越低。即，由于示出了包括高频分量的对焦区域，因此该区域被确定为前景对象部分，使得深度图信息61的值被设置为指示更近位置（浅）的值。
现有技术方法的示例是计算如图4（a）所示的高通滤波器的输出能量，将确定为具有较大的高通滤波器输出能量的区域估计为浅区域，并且将深度图信息的值被设置为浅侧。
然而，依赖高通滤波器的方法可经受以下缺点。
例如，对于具有高对比度的高区域分量（例如，夜景电灯（霓虹灯）等），例如如图4（b）所示，高通滤波器输出能量增加。如果对这样的图像执行依赖高通滤波器的处理，则该图像区域被确定为在过度浅的位置，使得过度浅的位置信息可被设置为深度图信息61的值。
另一方面，对于具有低对比度的高区域分量（例如，动物的皮毛、人皮肤上的皱纹等），如图4（c）所示，高通滤波器输出能量减少。如果对这样的图像执行依赖高通滤波器的处理，则该图像区域被确定为在过度远的位置，使得过度远的位置信息可被设置为深度图信息61的值。
相反地，在根据本公开的方法中，基于以下来执行深度估计。
（1）中低区域分量，以及
（2）交流分量。
通过应用该方法，例如，即使对于如图4（b）中示出的具有高对比度的高分量区域、或者如图4（c）示出的具有高对比的低分量区域，在任何情况下，所计算的中低区域分量能量占有率的值，即（中低区域分量能量）/（交流分量能量）大致相同。因此，如同可发生在依靠高通滤波器的处理中的错误的深度信息被设置的可能性被降低。具体地，由于根据本公开的方法已经不易受到2D图像图片的影响，因此如那些在现有技术中的问题不会发生。
深度图信息转换单元114生成并输出其中深度信息已经基于以上中低区域分量能量占有率被转换的深度图信息61。例如，深度图信息61可以被输出作为亮度图像，其是基于每个像素的深度而设置亮度值的图像，其中：
深度近（浅侧）=高亮度（高像素值），以及
深度远（深侧）=低亮度（低像素值）。
3.可靠度信息生成单元的配置和处理
接下来，以下将参照图5描述图1中示出的图像处理设备100中的可靠度信息生成单元102的配置和处理。
图5示出了可靠度信息生成单元102的配置示例。
如图5所示，可靠度信息生成单元102具有统计信息可靠度计算单元131、空间分布可靠度计算单元132、亮度可靠度计算单元133、外部块可靠度计算单元134以及可靠度合并单元135。
3-1.统计信息可靠度计算单元的处理
首先，将描述图5中示出的可靠度信息生成单元102中的统计信息可靠度计算单元131执行的处理。
统计信息可靠度计算单元131输入深度图信息估计单元101生成的深度图信息61，获取关于深度图信息61中设置的每个像素的位置的深度信息，生成例如如图6中示出的深度信息直方图，并且确定频率峰值PF和局部最小值MF。
在图6中示出的深度信息直方图中，水平轴表示深度图信息61中设置的像素值，并且竖直轴表示频率（像素数）。
如上所述，作为深度图信息61中设置的像素值，可利用按如下方式设置的亮度图像（=深度图）。
深度近（浅侧）=高亮度（高像素值），并且
深度远（深侧）=低亮度（低像素值）。
例如，对于以诸如通常的人物摄影的肖像的浅的景深捕获的场景，背景失焦并且明确地限定了前景对象。对于这样的肖像场景，如果直方图采用深度图信息估计单元101输出的深度图信息61，则如图6所示，从与背景失焦部分相对应的数据中形成山。该山的顶部通常是整个直方图中的峰值。
深度信息直方图中的峰值的频率被称为PF。
另一方面，明确限定的前景对象部分在深度信息直方图中形成另一个山。在这两座山之间设置了一个谷，即，局部最小。
该局部最小的频率被称为MF，并且作为局部最小的等级的位置被称为MP。
统计信息可靠度计算单元131计算直方图峰值频率（PF）和直方图局部最小频率（MF）之间的比率（MF/PF）。
基于直方图中峰值和局部最小之间的该比率（MF/PF），计算用于计算统计信息可靠度141的参数（R_shape）。
具体地，如图7（a）中示出的图形特性，（MF/PF）的值越小，设置的基于峰值的陡度的可靠度（R_shape）越大（越接近1.0）。
此外，统计信息可靠度计算单元131使用指示直方图中局部最小的深度值的相对位置（MP），计算用于计算统计信息可靠度141的参数（R_pos）。
具体地，如图7（b）中示出的图形特性，MF越小，设置的基于局部最小位置的可靠度（R_pos）越大。
使用以上两个可靠度计算参数（R_shape和R_pos），计算并输出统计信息可靠度141。
作为用于统计信息可靠度141具体的计算处理，这两个可靠度计算参数（R_shape和R_pos）的任何一个可被设置为统计信息可靠度141，或者如果这两者都被使用，则可使用两者乘积、加权平均等进行计算。
此外，如果在深度信息直方图中的峰值PF的山的右侧不存在局部最小，则统计信息可靠度141的值被设置为诸如0的较小值。
3-2.空间分布可靠度计算单元的处理
接下来，将描述图5中示出的可靠度信息生成单元102中的空间分布可靠度计算单元132执行的处理。
空间分布可靠度计算单元132从统计信息可靠度计算单元131输入深度分布信息140。深度分布信息140是例如关于深度信息图的分析信息。具体地，深度分布信息140是参照图6描述的深度信息直方图。
空间分布可靠度计算单元132确定基于深度图信息61生成的深度信息直方图中的数据对于如图8中示出的两个分布，是属于低亮度侧的左侧的山（斜线部分）还是属于右侧的山（虚线部分）。
首先，属于深度信息直方图的低亮度侧（即，左侧的山（斜线部分））的数据条的数量被计数（该值被称为NumLowDpth）。接下来，对于属于左侧的山（斜线部分）的每条像素数据，如图8的右上的深度图信息61的图像所示，以属于左侧的山（斜线部分）的每条像素数据作为目标像素，在目标像素附近的周围像素区域（例如，5×5像素的周围区域）中，类似于目标像素，其中属于深度信息直方图中的低亮度侧的左侧的山（斜线部分）的像素比率是预定比率以上的像素的数量被计数。该值被称为NumUfmDpth。
具体地，如果属于左侧的山（斜线部分）的状态表示为LDP，则在作为LDP的所有的像素X中，包括在该周围像素区域中作为LDP的像素的比率的预定比率以上的像素X的数量作为NumUfmDpth。
此外，计算NumLowDpth和NumUfmDpth这两个值之间的比率（UFM_R），其中，NumLowDpth是属于深度信息直方图的低亮度侧的山（斜线部分）的像素的数量，而NumUfmDpth是包括周围像素的、以预定比率以上属于低亮度侧的山（斜线部分）的像素的数量。即，
UFM_R=NumUfmDpth/NumLowDpth
基于该像素数量比（UFM_R）而计算空间分布可靠度142。
具体地，如图9中示出的图形特性，UFM_R越大，设置的空间分布可靠度142越大。
该空间分布可靠度142基于如图8中示出的属于失焦区域的分布和属于明确限定的区域的分布是否存在空间偏差或者这些分布是否作为空间离群（outlier）存在而具有不同值。
如果属于失焦区域的分布和属于明确限定的区域的分布作为空间离群存在，则做出数据不是如肖像的图像并且它已经受噪音影响的确定。在这样的区域，空间分布可靠度142的值被设置为较低值。基于该值，可执行如下处理：该处理使得已经被转换这样的场景的3D图像的副作用难以突出。
3-3.亮度可靠度计算单元的处理
接下来，将描述图5中示出的可靠度信息生成单元102中的亮度可靠度计算单元133执行的处理。
如图5所示，亮度可靠度计算单元133输入2D图像信号50、深度图信息61以及来自统计信息可靠度计算单元131的深度分布信息140。
如上所述，深度分布信息140是例如关于深度信息图的分析信息。具体地，深度分布信息140是参照图6描述的深度信息直方图。
亮度可靠度计算单元133根据深度分布信息140确定深度图信息61中的每条数据对于如图8中示出的两个分布，是属于左侧的山（斜线部分）还是右侧的山（虚线部分），并且计算以下各个值。
（1）属于左侧的山（斜线部分）的像素的2D图像的平均亮度值（LeftAve）。
（2）属于右侧的山（虚线部分）的像素的2D图像的平均亮度值（RightAve）。
（3）属于左侧的山（斜线部分）和右侧的山（虚线部分）的像素之间的2D图像的平均亮度差（DiffAve）。
接下来，执行如图10中示出的图形（1）到（3）中示出的特性的可靠度设置。
（1）属于左侧的山（斜线部分）的像素的2D图像的平均亮度值（LeftAve）的值越小，基于黑暗的可靠度（R_dark）被设置为越小（越接近0.0）。
（2）属于右侧的山（虚线部分）的像素的2D图像的平均亮度值（RightAve）的值越大，基于明亮的可靠度（R_bright）被设置为越小（越接近0.0）。
（3）如果属于左侧的山（斜线部分）和右侧的山（虚线部分）的像素之间的2D图像的平均亮度差（DiffAve）的值非常大，则基于明亮差的可靠度（R_diffave）被设置为越小（越接近0.0）。
亮度可靠度计算单元133将以上三个可靠度（R_dark、R_bright或R_diffave）中的一个被设置为亮度可靠度143。可替选地，如果要使用这三个可靠度中的多个可靠度，则还可使用它们的乘积、加权平均等计算并输出亮度可靠度143。
当属于深度信息直方图的每个山的像素的2D图像的平均亮度极端地低或高时，以低可靠度设置亮度可靠度143。
如果2D图像的亮度分布指示特定场景（黑暗场景、由于照明导致的过度曝光的场景，逆光场景等）则以低水平设置该亮度信赖度143，并且基于该低可靠度，向3D图象的转换处理的程度被抑制。因此，降低了在转换后的3D图像中设置给出不协调感的深度的可能性，使得可以尽可能多地防止副作用太突出。
在以上处理示例中，深度信息直方图的左侧的山（斜线部分）太暗的情况和右侧的山（虚线部分）太亮的情况被评估为可靠度指标。然而，还可通过评估左侧的山（斜线部分）太亮和右侧的山（虚线部分）太暗的情况作为指标、或者评估所有这些的情况作为指标来设置可靠度。
3-4.外部块可靠度计算单元的处理
接下来，将描述图5中示出的可靠度信息生成单元102中的外部块可靠度计算单元134执行的处理。
如图5所示，外部块检测信号55被输入至外部块可靠度计算单元134。该外部块检测信号55的示例可包括以下：
噪声量测量结果
信号频带测量结果
面部检测结果
反射式字幕检测结果
EPG信息
摄像装置拍摄信息
运动检测结果
例如，外部块检测信号55可以是外部输入的检测信号。
此外，外部块检测信号55由这些信号中的至少一个或更多个构成。
外部块可靠度计算单元134基于这些外部块检测信号生成并输出外部块对应可靠度144。
例如，如果噪声量测量结果输入作为外部块检测信号55，则如图11(1)所示，外部块可靠度计算单元134随着噪声量越大将外部块对应可靠度144设置得越低。
即，如果存在大量噪声，则由于诸如基于2D图像向3D图像转换中错误深度设置的副作用趋于突出，因此可靠度被设置为低水平，以便抑制在向3D图像的转换中深度信息反映的程度。
如果信号频带测量结果输入作为外部块检测信号55，则例如如图11(2)所示，外部块可靠度计算单元134随着频带分布区域越高，将可靠度设置得越高。
由于当场景频带分布延伸到高区域时更容易估计基于频率分析的深度图信息，因此这被执行以增加可靠度。
此外，如果面部检测结果输入作为外部块检测信号55，则如图11(3)所示，外部块可靠度计算单元134生成并输出其中随着面部区域的表面面积越大、可靠度被设置得越低的外部块对应可靠度114。
另外，如果反射式字幕检测结果输入作为外部块检测信号55，则如图11(4)所示，外部块可靠度计算单元134生成并输出其中随着反射式字幕的表面面积越大、可靠度被设置得越低的外部块对应可靠度144。
对于面部区域和反射式字幕区域，由于很难估计基于频率分析的深度图信息，因此如果这些区域较大，则通过将可靠度设置为低水平以减少在向3D图像转换中深度信息的反映程度，来抑制副作用的发生。
还有，如果EPG信息输入作为外部块检测信号55，则外部块可靠度计算单元134确定视频场景是否是基于频率分析的深度图信息的估计趋于正确的节目类别（电视剧、电影、动物、自然），并且如果视频场景是深度图信息的估计趋于正确的节目类别（电视剧、电影、动物、自然），则控制使得可靠度被设置得更高。
另外，如果摄像装置拍摄信息输入作为外部块检测信号55，则外部块可靠度计算单元134输出外部块对应可靠度144，其中，如果如图12(5)所示从与景深有关的信息（镜头焦距、对象距离、F值、容许模糊圈等）计算（估计）的景深较浅，则可靠度被设置为高水平。
这是因为如果景深较浅，则更容易估计基于频率分析的深度图信息，并且更容易感觉3D图像中的深度感。
此外，如果运动检测结果输入作为外部块检测信号55，则如图12(6)所示，外部块可靠度计算单元134输出随着运动量越大、可靠度被设置得越低的外部块对应可靠度144，。
这是由于诸如难于获得模糊的或者正在快速移动的移动对象的深度感的原因，因此要控制使得可靠度在低水平。
在上述多个可靠度当中，外部块可靠度计算单元134可以输出它们的任何一个作为外部块对应可靠度144，并且甚至可以对它们中的多个进行组合。
当对多个这些可靠度进行组合时，可以使用多个可靠度的乘积、加权平均等计算并输出外部块对应可靠度144。
因此，图5中示出的外部块可靠度计算单元134基于各种外部块检测信号55而控制诸如2D至3D转换中出现的深度的不协调感的发生的副作用，并且计算并输出用于提升3D图像的自然深度感的外部块对应可靠度144。
3-5.可靠度合并单元的处理
接下来，将描述图5中示出的可靠度合并单元135执行的处理。
图5中示出的可靠度合并单元135输入多个信息可靠度，其包括统计信息可靠度计算单元131生成的统计信息可靠度141、空间分布可靠度计算单元132生成的空间分布可靠度142、亮度可靠度计算单元133生成的亮度可靠度143以及外部块可靠度计算单元134生成的外部块可靠度144。
可靠度合并单元135选择多个输入的可靠度中的一个，将所选可靠度设置为要输出的深度图信息可靠度62，并且输出所设置的可靠度。
可替选地，可靠度合并单元135通过对多个这些可靠度进行组合，计算并输出深度图信息可靠度62。
当对多个可靠度进行组合以计算深度图信息可靠度62时，可使用多个可靠度的乘积、加权平均等计算深度图信息可靠度62。
4.深度图信息校正单元的配置和处理
接下来，将描述图1中示出的图像处理设备100中的深度图信息校正单元103的配置和处理。
图13示出了深度图信息校正单元103的配置示例。
深度图信息校正单元103具有深度图混合比控制单元151、固定深度图值设置单元152以及两个加法器和乘法器。
如图1所示，深度图信息校正单元103输入诸如深度图信息估计单元101生成的深度图信息61、和深度图信息可靠度62的各种信息。
图13中示出的深度图信息校正单元103中的深度图混合比控制单元151基于输入的深度图信息可靠度62而生成并输出深度图混合比（α）161。
深度图混合比（α）161是用于执行以下两个图的加权平均处理的图混合比。
（1）输入的深度图信息61(Freq_Depth)，以及
（2）从固定深度图值设置单元152输出的固定深度图值162(Fix_Depth)。
从固定深度图值设置单元152输出的固定深度图值162(Fix_Depth)是深度值被设置为固定值的深度图。
深度图混合比控制单元151计算并输出例如作为各个像素单位的混合比的预定像素区域单位的图混合比。
深度图混合比控制单元151以如图13的下面部分中的图形的方式设置深度图混合比（α）161。
在图13的下面部分的图形中，水平轴表示深度图信息可靠度62设置，并且竖直轴表示深度图混合比（α）161设置。
基于深度图信息可靠度的值（0到1）设置图混合比（α=0到1）。
深度图信息可靠度的值越大（越接近1），设置的图混合比（α）的值越大（越接近1），并且深度图信息可靠度的值越小（越接近0），设置的图混合比（α）的值越小（越接近0）。
深度图混合比控制单元151基于图13的下面部分中的图形，设置并输出每个像素单位的深度图混合比（α）161。
深度图信息校正单元103基于该图混合比（α），通过执行下面公式中示出的加权平均处理，确定并输出校正后的深度图信息63（Rev_Depth）。
Rev_Depth=α×(Freq_Depth)+(1.0-α)×(Fix_Depth)
即，在深度图信息可靠度的值较大（接近1）的区域，图混合比（α）被设置为较大值（接近1），并且基于其中输入的深度图信息61（Freq_Depth）的设置值的权重被设置为大于固定深度图值（Fix_Depth）的加权平均，计算很大程度上反映输入的深度图信息61（Freq_Depth）的校正后的深度图信息63（Rev_Depth）。
另一方面，在深度图信息可靠度的值较小（接近0）的区域，图混合比（α）被设置为较小值（接近0），并且基于其中输入的深度图信息61（Freq_Depth）的设置值的权重被设置为小于固定深度图值（Fix_Depth）的加权平均，计算很大程度上反映固定深度图值（Fix_Depth）的校正后的深度图信息63（Rev_Depth）。
因此，基于该加权平均处理，如果深度图信息可靠度62是较小的可靠度，则固定深度图值162（Fix_Depth）的权重增加，其意味着校正后的深度图信息（Rev_Depth）63中的深度值的动态范围降低。由于这还导致随后的3D图像生成单元104生成的3D图像中的视差分布的范围变窄，因此存在深度感削弱的效果（抑制副作用）。
另一方面，如果深度图信息可靠度62是较大的可靠度，则相反地，随后的3D图像生成单元104生成的3D图像中的视差分布的范围变宽，使得存在深度感加强的效果。
图14示出了深度图信息校正单元103的内部配置的另一配置示例。
图14中示出的深度图信息校正单元103具有LUT选择单元171和LUT图转换单元172。
LUT选择单元171生成并输出LUT识别信息181，该LUT识别信息181用于从图14的下面部分中示出的具有不同的输入/输出特性的（A）、（B）以及（C）的多个LUT当中、基于输入的深度图信息可靠度62，选择输入/输出对应表。
图14的下面部分中示出的（A）、（B）以及（C）的LUT是具有以下输入/输出对应关系的表。
在图14的下面部分中示出的（A）、（B）以及（C）的LUT中，水平轴表示作为深度图信息估计单元101生成的深度图信息61的设置值的深度值，并且竖直轴表示作为基于深度图信息校正单元103中执行的校正处理而输出的校正后的深度图信息63的设置值的深度值。
例如，图14(A)中的LUT是如下LUT：输入值和输出值相同，并且深度图信息估计单元101生成的深度图信息61的设置值在没有改变的情况下输出作为校正后的深度图信息63的设置值。
图14(B)中的LUT是如下LUT：输出值的宽度被设置为小于输入值的宽度，并且深度图信息估计单元101生成的深度图信息61的设置值的范围减少并输出作为校正后的深度图信息63的设置值。
图14(C)中的LUT是如下LUT：与输入值无关地设置固定输出值，使得在不依赖深度图信息估计单元101生成的深度图信息61的设置值的情况下，固定值输出作为校正后的深度图信息63的设置值。
LUT选择单元171生成并输出LUT识别信息181，该LUT识别信息181用于在由输入的深度图信息可靠度62指示的可靠度较大时选择（A）中示出的LUT、在可靠度较小时选择（C）中示出的LUT、以及在可靠度是中间水平时选择（B）中示出的LUT。
因此，如果由输入的深度图信息可靠度62指示的可靠度较小，则由于输出动态范围减小，因此在图14的下面部分中示出的具有不同输入/输出特性的（A）、（B）以及（C）的多个LUT当中，选择（B）或者（C）。另一方面，如果由输入的深度图信息可靠度62指示的可靠度较大，则由于输出的动态范围增大，因此选择与（B）相比更接近（A）的LUT。
LUT图转换单元172基于根据LUT识别信息181而确定的LUT的输入/输出特性，对输入的深度图信息61进行转换，并且输出校正后的深度图信息63。
LUT的特性不限定于如图14的（A）、（B）以及（C）所示的直线。只要展现随着由深度图信息可靠度62指示的可靠度变得越小、校正后的深度图信息63的动态范围减少的效果，则该特性还可由虚线或者曲线来表示。
现将参照图15描述深度信息校正单元103的另一配置示例。
图15中示出的深度图信息校正单元103具有输入/输出特性设置单元191和图转换单元192。
输入/输出特性设置单元191基于由输入的深度图信息可靠度62指示的可靠度，设置并输出包括定义如图15的下面部分中示出的输入/输出特性的参数（a,b）的输入/输出特性信息（a,b）。
具体地，如图15的下面部分中的图形（2）所示，由输入的深度图信息可靠度62指示的可靠度越大，图15的下面部分中的图形（1）的特性直线的斜率a变得越大。在这种情况下，设置b的方法是任意的。例如，b可以是固定值，或者是由用户设置的可调参数。
因此，如果由输入的深度图信息可靠度62指示的可靠度较大，则输出的动态范围增加。
相反地，如果由深度图信息可靠度62指示的可靠度较小，则如图15的下面部分中的图形（2）所示，参数减小，并且图15的下面部分中的图形（1）的特性直线的斜率a减小。因此，输出的校正后的深度图信息63的动态范围减小。
以这种方式，在图转换单元192中，包括由输入/输出特性设置单元191设置的参数（a,b）的输入/输出特性信息（a,b）201被输入，并且基于以下转换公式，输入的深度图信息（Freq_Depth）61被转换成然后被输出的校正后的深度图信息（Rev_Depth）63。
Rev_Depth=a×(Freq_Depth)+b
由输入/输出特性设置单元191生成的参数（a,b）不限于如图15中的图形的直线。只要展现随着由深度图信息可靠度62指示的可靠度变得越小、校正后的深度图信息63的动态范围减小的效果，则该特性还可由虚线或者曲线来表示。
5.3D图像生成单元的处理
最后，将描述图1中示出的图像处理设备100的3D生成单元104执行的处理。
在3D图像生成单元104中，深度图信息校正单元103生成的校正后的深度图信息63、和2D图像信号50被输入。对输入的2D图像信号50执行采用校正后的深度图信息63的2D至3D转换处理，以生成由作为用于三维（3D）图像显示的图像的、用于左眼的图像（L图像）和用于右眼的图像（R图像）构成的3D图像信号70。
例如可以如使用在Y.J.Jeong,Y.Kawk,Y.Han,Y.J.Jun,以及D.Park的“Depth-image-based rendering(DIBR)using disocclusion arearestoration”Proc.of SID,2009等中描述的方法的处理执行该2D至3D转换处理。
具体地，校正后的深度图信息被转换成视差信息，以生成由基于深度在2D图像信号50中设置视差的用于左眼的图像（L图像）和用于右眼的图像（R图像）构成的3D图像信号70。
通过应用深度图信息从2D图像生成3D图像的方法不限于以上文献中描述的方法。已经提出了各种方法。此外，3D图像生成单元104不限于以上文献中描述的方法，并且可应用各种方法。
6.图像处理设备的整体处理的流程和效果
如上所述，首先，根据本公开的图像处理设备利用如参照图2描述的深度图信息估计单元101来分析图像区域的频率，并且然后基于中低区域分量的占有率而设置深度信息。
即，通过基于中低区域分量的占有率而设置深度值来生成深度图信息61，其中深度值在中低区域分量占有率较高时指示深（远）值，并且在中低区域分量占有率较低时指示浅（近）值。
基于该方法，例如可以获得以下效果。
例如，存在抑制诸如夜景霓虹灯的具有高对比度的边缘部分过度地飞出的副作用的效果。
此外，存在抑制当由照相机对焦的具有相对低对比度的区域（动物皮毛、人皮肤上的皱纹等）错误地被估计为深侧时所生成的3D图像不自然的深度感的效果。
另外，对于具有浅的景深的场景（前景对象对焦而背景失焦的场景），可以生成具有深度感的3D图像，而对于产生错误估计的诸如具有深的景深的泛焦场景的场景，可以抑制3D图像中不自然的深度感。因此，在保持有效场景的立体效果的同时，存在减少观察者眼睛负担的效果。
根据本公开的图像处理设备中的可靠度信息生成单元102被配置成通过应用诸如关于深度信息图的设置值的统计信息、关于深度信息图的设置值的空间分布信息、关于2D图像的亮度分布信息以及从外部块获得的各种信息的信息，计算深度图信息61的可靠度。
此外，深度图信息校正单元103基于可靠度信息生成单元102生成的深度图信息可靠度62，执行深度图信息估计单元101生成的深度图信息61的校正处理。
具体地，例如，通过应用以下任何一个来执行深度图信息61的校正处理：
（1）基于可靠度而应用混合比（α）的深度图信息61和固定深度图值的混合处理（加权平均），
（2）基于可靠度从限定输入/输出对应关系的多个LUT当中选择LUT、并且应用所选LUT的校正处理，以及
（3）基于可靠度而设置限定输入/输出特性的参数（a,b）、并且应用所设置的参数的校正处理。
通过基于这样的各种要素执行深度图信息的可靠度计算来计算可靠度，基于计算出的可靠度，执行深度图信息61的校正处理。
基于这些处理，可以更加可靠地把握深度图信息的设置值的可靠度，并且实现基于该可靠度的精确校正。
7.本公开的配置的总结
本领域的技术人员应该理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。
此外，本技术还可被配置如下。
（1）一种图像处理设备，包括：
深度图信息估计单元，其被配置成估计二维图像的区域单位的深度，并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；
可靠度信息生成单元，其被配置成通过确定深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；
深度图信息校正单元，其被配置成通过基于深度图信息可靠度而校正深度图信息，生成校正后的深度图信息；以及
3D图像生成单元，其被配置成通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像），
其中，深度图信息估计单元被配置成
通过执行二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且
生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
（2）根据（1）的图像处理设备，其中，深度图信息估计单元被配置成生成深度图信息，其中
对于其中中低区域分量能量占有率较大的区域设置指示深（远）位置的深度估计值，并且
对于其中中低区域分量能量占有率较小的区域设置指示浅（近）位置的深度估计值。
（3）根据（1）或（2）的图像处理设备，其中，深度图信息估计单元被配置成通过基于以下公式根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息：
中低区域分量能量占有率=（中低区域分量能量）/（交流分量能量）
（4）根据（1）至（3）中任一个的图像处理设备，其中，可靠度信息生成单元被配置成通过应用作为关于深度图信息中的深度值的频率分布信息的深度信息直方图中的峰值位置信息，生成所计算的统计信息可靠度。
（5）根据（1）至（4）中任一个的图像处理设备，其中，可靠度信息生成单元被配置成计算深度信息直方图中的峰值的频率（PF）与深度信息直方图中的局部最小的频率（MF）之间的频率比（MF/PF），并且生成基于频率比（MF/PF）的统计信息可靠度，其中，深度信息直方图是关于深度图信息中的深度值的频率分布信息。
（6）根据（1）至（5）中任一个的图像处理设备，其中，可靠度信息生成单元被配置成通过应用关于深度图信息的预定区域单位的深度值的差分信息，生成所计算的空间分布可靠度。
（7）根据（1）至（6）中任一个的图像处理设备，其中，可靠度信息生成单元被配置成生成亮度可靠度，其是基于二维图像的亮度的可靠度。
（8）根据（1）至（7）中任一个的图像处理设备，其中，可靠度信息生成单元被配置成通过应用外部输入的外部块检测信号，生成外部块对应可靠度。
（9）根据（8）的图像处理设备，
其中，外部块检测信号是噪声量测量结果、信号频带测量结果、面部检测结果、反射式字幕检测结果、EPG信息、摄像装置拍摄信息、或运动检测结果中的至少一个，并且
其中，可靠度信息生成单元被配置成通过应用任意所述检测信号来生成外部块对应可靠度。
（10）根据（1）至（9）中任一个的图像处理设备，其中，深度图信息校正单元被配置成通过基于深度图信息可靠度而确定深度图信息和具有固定值作为深度值的固定深度图之间的混合比、并且通过应用所确定的混合比在深度图信息和固定深度图之间执行混合处理，生成校正后的深度图信息。
（11）根据（10）的图像处理设备，其中，深度图信息校正单元被配置成通过执行如下混合处理来生成校正后的深度图信息，该混合处理在深度图信息可靠度较高时增大深度图信息的混合比，而在深度图信息可靠度较低时降低深度图信息的混合比。
（12）根据（1）至（11）中任一个的图像处理设备，其中，深度图信息校正单元被配置成生成校正后的深度图信息，在校正后的深度图信息中，基于深度图信息可靠度而控制在深度图信息中设置的深度值范围。
（13）根据（12）的图像处理设备，其中，深度图信息校正单元被配置成通过执行如下控制来生成校正后的深度图信息，该控制在深度图信息可靠度较高时降低深度图信息中设置的深度值范围的收缩宽度，而在深度图信息可靠度较低时增大深度图信息中设置的深度值范围的收缩宽度。
该设备中执行的处理方法和用于执行处理的程序包括在本公开的配置中。
可以通过硬件、软件或者硬件和软件的组合执行本公开中描述的系列处理。当通过软件执行系列处理时，具有记录的处理序列的程序可被安装在嵌入在专用硬件中的计算机的存储器中并且可被执行、或者可被安装在可以执行各种处理的通用计算机中并且可被执行。例如，程序可预先记录在记录介质中。程序可从记录介质安装到计算机、或者可通过诸如局域网（LAN）和互联网的网络来接收程序，并且该程序可以安装在诸如嵌入式硬盘的记录介质中。
可根据描述的顺序按时间执行本公开中描述的各种处理，或者可根据执行处理的设备的处理能力或需要并行或者独自地执行本公开中描述的各种处理。在本公开中，系统具有多个设备的逻辑组配置并且每个设备可不设置在同一机箱内。
根据本公开的实施例的配置，实现了用于通过执行根据二维图像的高精度深度估计来生成应用高精度的深度值的3D图像的设备和方法。
具体地，深度图信息估计单元生成其中设置二维图像的区域单位的深度估计值的深度图信息。确定深度图信息中设置的深度值的可靠度。基于可靠度而校正深度图信息以生成校正后的深度图信息。通过应用校正后的深度图信息，根据二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像）。深度图信息估计单元根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
根据该配置，实现了用于通过执行根据二维图像的高精度深度估计来生成应用高精度的深度值的3D图像的设备和方法。
本申请包含与2012年2月17日向日本专利局提交的日本优先权专利申请JP2012-033125中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

Claims (15)

1.一种图像处理设备，包括：
深度图信息估计单元，其被配置成估计二维图像的区域单位的深度，并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；
可靠度信息生成单元，其被配置成通过确定所述深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；
深度图信息校正单元，其被配置成通过基于所述深度图信息可靠度而校正所述深度图信息，生成校正后的深度图信息；以及
三维图像生成单元，其被配置成通过应用所述校正后的深度图信息，根据所述二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像），
其中，所述深度图信息估计单元被配置成
通过执行所述二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且
生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
2.根据权利要求1所述的图像处理设备，其中，所述深度图信息估计单元被配置成生成深度图信息，其中
对于其中所述中低区域分量能量占有率较大的区域设置指示深（远）位置的深度估计值，并且
对于其中所述中低区域分量能量占有率较小的区域设置指示浅（近）位置的深度估计值。
3.根据权利要求1所述的图像处理设备，其中，所述深度图信息估计单元被配置通过基于以下公式根据区域单位的所述中低区域分量能量和所述交流分量能量计算所述中低区域分量能量占有率，生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息：
中低区域分量能量占有率=（中低区域分量能量）/（交流分量能量）。
4.根据权利要求1所述的图像处理设备，其中，所述可靠度信息生成单元被配置成通过应用作为关于所述深度图信息中的深度值的频率分布信息的深度信息直方图中的峰值位置信息，生成所计算的统计信息可靠度。
5.根据权利要求1所述的图像处理设备，其中，所述可靠度信息生成单元被配置成计算深度信息直方图中的峰值的频率（PF）与所述深度信息直方图中的局部最小的频率（MF）之间的频率比（MF/PF），并且生成基于所述频率比（MF/PF）的统计信息可靠度，其中，所述深度信息直方图是关于所述深度图信息中的深度值的频率分布信息。
6.根据权利要求1所述的图像处理设备，其中，所述可靠度信息生成单元被配置成通过应用关于所述深度图信息的预定区域单位的深度值的差分信息，生成所计算的空间分布可靠度。
7.根据权利要求1所述的图像处理设备，其中，所述可靠度信息生成单元被配置成生成亮度可靠度，其是基于所述二维图像的亮度的可靠度。
8.根据权利要求1所述的图像处理设备，其中，所述可靠度信息生成单元被配置成通过应用外部输入的外部块检测信号，生成外部块对应可靠度。
9.根据权利要求8所述的图像处理设备，
其中，所述外部块检测信号是噪声量测量结果、信号频带测量结果、面部检测结果、反射式字幕检测结果、电子节目指南信息、摄像装置拍摄信息、或运动检测结果中的至少一个，并且
其中，所述可靠度信息生成单元被配置成通过应用任意所述检测信号来生成所述外部块对应可靠度。
10.根据权利要求1所述的图像处理设备，其中，所述深度图信息校正单元被配置成通过基于所述深度图信息可靠度而确定所述深度图信息和具有固定值作为深度值的固定深度图之间的混合比、并且通过应用所确定的混合比在所述深度图信息和所述固定深度图之间执行混合处理，生成校正后的深度图信息。
11.根据权利要求10所述的图像处理设备，其中，所述深度图信息校正单元被配置成通过执行如下混合处理来生成校正后的深度图信息，所述混合处理在所述深度图信息可靠度较高时增大所述深度图信息的混合比，而在所述深度图信息可靠度较低时降低所述深度图信息的混合比。
12.根据权利要求1所述的图像处理设备，其中，所述深度图信息校正单元被配置成生成校正后的深度图信息，在所述校正后的深度图信息中，基于所述深度图信息可靠度而控制所述深度图信息中设置的深度值范围。
13.根据权利要求12所述的图像处理设备，其中，所述深度图信息校正单元被配置成通过执行如下控制来生成校正后的深度图信息，所述控制在所述深度图信息可靠度较高时降低所述深度图信息中设置的深度值范围的收缩宽度，而在所述深度图信息可靠度较低时增大所述深度图信息中设置的深度值范围的收缩宽度。
14.一种在图像处理设备中执行的图像处理方法，所述方法包括：
利用深度图信息估计单元，估计二维图像的区域单位的深度并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；
利用可靠度信息生成单元，通过确定所述深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；
利用深度图信息校正单元，通过基于所述深度图信息可靠度而校正所述深度图信息，生成校正后的深度图信息；以及
利用三维图像生成单元，通过应用所述校正后的深度图信息，根据所述二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像），
其中，在所述深度图信息估计中，
通过执行所述二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且
生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
15.一种使得图像处理设备执行图像处理的程序，其中，所述程序被配置成：
在深度图信息估计单元中，估计二维图像的区域单位的深度并且生成其中设置二维图像的区域单位的深度估计值的深度图信息；
在可靠度信息生成单元中，通过确定所述深度图信息中设置的深度值的可靠度来生成深度图信息可靠度；
在深度图信息校正单元中，通过基于所述深度图信息可靠度而校正所述深度图信息，生成校正后的深度图信息；以及
在三维图像生成单元中，通过应用所述校正后的深度图信息，根据所述二维图像生成要应用在三维图像显示中的用于左眼的图像（L图像）和用于右眼的图像（R图像），
其中，在深度图信息估计中，
通过执行所述二维图像的区域单位的频率分量分析，根据区域单位的中低区域分量能量和交流分量能量计算中低区域分量能量占有率，并且
生成其中基于所计算的中低区域分量能量占有率的值而设置深度估计值的深度图信息。
CN2013100507685A 2012-02-17 2013-02-08 图像处理设备、图像处理方法以及程序 Pending CN103260039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012033125A JP2013172190A (ja) 2012-02-17 2012-02-17 画像処理装置、および画像処理方法、並びにプログラム
JP2012-033125 2012-02-17

Publications (1)

Publication Number Publication Date
CN103260039A true CN103260039A (zh) 2013-08-21

Family

ID=48963698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100507685A Pending CN103260039A (zh) 2012-02-17 2013-02-08 图像处理设备、图像处理方法以及程序

Country Status (3)

Country Link
US (1) US20130215107A1 (zh)
JP (1) JP2013172190A (zh)
CN (1) CN103260039A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077725A (zh) * 2014-10-27 2017-08-18 佳能株式会社 数据处理装置、成像装置和数据处理方法
CN108052814A (zh) * 2017-12-07 2018-05-18 四川大学 一种3d身份验证系统
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112561793A (zh) * 2021-01-18 2021-03-26 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统
CN114073067A (zh) * 2019-07-17 2022-02-18 索尼集团公司 图像处理装置、成像装置、图像处理方法和程序

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145554A1 (ja) * 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9897792B2 (en) * 2012-11-30 2018-02-20 L&T Technology Services Limited Method and system for extended depth of field calculation for microscopic images
JP6308748B2 (ja) * 2013-10-29 2018-04-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
WO2019067134A1 (en) * 2017-08-27 2019-04-04 Mine One Gmbh METHODS, SYSTEMS AND SOFTWARE OF VISUAL COMMUNICATIONS
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
JP6643122B2 (ja) * 2016-02-03 2020-02-12 キヤノン株式会社 距離画像装置、撮像装置、および距離画像補正方法
CN105957053B (zh) * 2016-04-19 2019-01-01 深圳创维－Rgb电子有限公司 二维图像景深生成方法和装置
WO2021006191A1 (ja) * 2019-07-10 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像表示装置、画像表示システムおよび画像表示方法
US11647261B2 (en) * 2019-11-22 2023-05-09 Sony Corporation Electrical devices control based on media-content context
US10902607B1 (en) * 2019-12-06 2021-01-26 Black Sesame International Holding Limited Fast instance segmentation
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20080303894A1 (en) * 2005-12-02 2008-12-11 Fabian Edgar Ernst Stereoscopic Image Display Method and Apparatus, Method for Generating 3D Image Data From a 2D Image Data Input and an Apparatus for Generating 3D Image Data From a 2D Image Data Input
CN101496413A (zh) * 2006-08-01 2009-07-29 高通股份有限公司 用单视场低功率移动装置实时捕获及产生立体图像及视频
WO2011052172A1 (ja) * 2009-10-27 2011-05-05 パナソニック株式会社 撮像装置およびそれを用いた測距装置
CN102082954A (zh) * 2009-11-27 2011-06-01 索尼公司 图像处理装置、图像处理方法和程序
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479765B (zh) * 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
CN103776392B (zh) * 2006-11-21 2017-03-01 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
WO2011135760A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
WO2011138472A1 (es) * 2010-05-07 2011-11-10 Telefonica, S.A. Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
US9014462B2 (en) * 2010-11-10 2015-04-21 Panasonic Intellectual Property Management Co., Ltd. Depth information generating device, depth information generating method, and stereo image converter
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8666146B1 (en) * 2011-01-18 2014-03-04 Disney Enterprises, Inc. Discontinuous warping for 2D-to-3D conversions
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US9414048B2 (en) * 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
US8897542B2 (en) * 2011-12-15 2014-11-25 Sony Corporation Depth map generation based on soft classification
US20130162763A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map
US9349169B2 (en) * 2012-05-17 2016-05-24 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
US9098911B2 (en) * 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20080303894A1 (en) * 2005-12-02 2008-12-11 Fabian Edgar Ernst Stereoscopic Image Display Method and Apparatus, Method for Generating 3D Image Data From a 2D Image Data Input and an Apparatus for Generating 3D Image Data From a 2D Image Data Input
CN101496413A (zh) * 2006-08-01 2009-07-29 高通股份有限公司 用单视场低功率移动装置实时捕获及产生立体图像及视频
WO2011052172A1 (ja) * 2009-10-27 2011-05-05 パナソニック株式会社 撮像装置およびそれを用いた測距装置
CN102082954A (zh) * 2009-11-27 2011-06-01 索尼公司 图像处理装置、图像处理方法和程序
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077725A (zh) * 2014-10-27 2017-08-18 佳能株式会社 数据处理装置、成像装置和数据处理方法
CN107077725B (zh) * 2014-10-27 2021-06-08 佳能株式会社 数据处理装置、成像装置和数据处理方法
US11044453B2 (en) 2014-10-27 2021-06-22 Canon Kabushiki Kaisha Data processing apparatus, imaging apparatus and data processing method
CN108052814A (zh) * 2017-12-07 2018-05-18 四川大学 一种3d身份验证系统
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112102386A (zh) * 2019-01-22 2020-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114073067A (zh) * 2019-07-17 2022-02-18 索尼集团公司 图像处理装置、成像装置、图像处理方法和程序
US11979670B2 (en) 2019-07-17 2024-05-07 Sony Group Corporation Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
CN112561793A (zh) * 2021-01-18 2021-03-26 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统
CN112561793B (zh) * 2021-01-18 2021-07-06 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统

Also Published As

Publication number Publication date
US20130215107A1 (en) 2013-08-22
JP2013172190A (ja) 2013-09-02

Similar Documents

Publication Publication Date Title
CN103260039A (zh) 图像处理设备、图像处理方法以及程序
EP1807806B1 (en) Disparity map
US8405708B2 (en) Blur enhancement of stereoscopic images
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
US8588514B2 (en) Method, apparatus and system for processing depth-related information
EP3350989B1 (en) 3d display apparatus and control method thereof
EP2323416A2 (en) Stereoscopic editing for video production, post-production and display adaptation
CN100565589C (zh) 用于深度感知的装置和方法
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
CN102474644A (zh) 立体图像显示系统、视差转换装置、视差转换方法以及程序
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Choi et al. Visual fatigue modeling and analysis for stereoscopic video
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
US20140035918A1 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
US10110872B2 (en) Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
CN104601979A (zh) 多视点图像显示设备及其控制方法
EP3298578B1 (en) Method and apparatus for determining a depth map for an image
US20160180514A1 (en) Image processing method and electronic device thereof
Shao et al. Visual discomfort relaxation for stereoscopic 3D images by adjusting zero-disparity plane for projection
Kim et al. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
Hanhart et al. Subjective evaluation of two stereoscopic imaging systems exploiting visual attention to improve 3D quality of experience
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130821