CN103119947A - 用于校正立体图像中的误差的方法和设备 - Google Patents

Abstract

本发明的实施方式涉及用于校正立体图像中的误差的方法和设备。根据本发明的实施方式的用于校正立体图像中的误差的设备包括：空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的2D图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来确定所述输入图像数据的各个帧中的误差；深度图误差校正单元，其校正所述深度图信息，以减小误差；以及渲染处理单元，其利用经校正的深度图信息来生成作为立体图像的左眼图像和右眼图像。根据本发明的实施方式，可以确定并减小深度图信息中的误差，从而从提供深度图信息被应用于输入2D图像内容的立体图像内容的处理中减小由于深度图信息中的误差所导致的立体感知。

Description

用于校正立体图像中的误差的方法和设备

技术领域

本发明的实施方式涉及用于校正三维（3D）图像中的误差的方法和设备。更具体地，本发明涉及用于校正3D图像中的误差的方法和设备，该方法和设备检测深度图信息中的误差，并在提供通过将深度图信息应用于输入二维（2D）图像内容所产生的3D图像内容的处理中校正所述误差，从而防止由于深度图信息中的误差而降低3D效果。

背景技术

随着数字技术的快速发展并且随着由于广播和通信的聚合导致的广播媒体的多样化，最近出现了与广播相关的增值业务。目前，尽管诸如TV广播的视频业务的开发致力于高清晰和大屏幕技术，但迄今为止仅提供2D图像内容，因此观看者无法从当前的2D图像内容感知3D效果。

因此，对3D图像的需求逐渐增加，但迄今为止明显缺乏3D图像内容。3D图像处理是下一代信息技术业务领域中的关键技术，并且随着信息工业社会的发展还是一种具有增加的竞争力的最先进的技术。3D图像处理技术是提供高质量视频业务的基本要素，并且被应用于诸如广播、医疗、教育、军事、游戏和虚拟现实的多个领域以及信息技术领域。

因此，需要从2D图像内容提供3D图像内容的技术。然而，在利用当前技术从2D图像内容提供3D图像内容的处理期间出现误差，这是个问题。

发明内容

技术问题

因此，本发明致力于解决上述问题，本发明的实施方式的目的在于一种用于校正三维（3D）图像中的误差的方法和设备，该方法和设备能够防止在输出3D图像内容的处理中由于深度图信息中的误差而导致降低3D效果。

技术方案

用于实现以上目的的本发明的实施方式提供了一种用于校正三维（3D）图像中的误差的设备，该设备包括：空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的二维（2D）图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。

根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法包括以下步骤：空间直方图生成步骤，利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成步骤，利用所述输入图像数据的2D图像数据生成峰值频率；对象分析步骤，基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正步骤，如果确定所述帧中存在误差，则校正所述深度图信息，使得所述误差被校正；以及渲染处理步骤，利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。

根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差，该方法包括以下步骤：确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值在第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超出所述第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率在所述正（+）方向或负（-）方向上超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；以及如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差。

根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中校正所述深度图信息中的误差，该方法包括以下步骤：确定超出被确定为所述深度图信息中具有误差的误差包含区域的空间直方图信息的标准差的特定值；确定所述特定值是否在纵（Y）轴的正（+）方向或负（-）方向上超出第一阈值；以及如果确定所述特定值超出所述第一阈值，则通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。

根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差并校正所述误差，该方法包括以下步骤：确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值超出第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差；以及通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。

有益效果

如上所述，根据本发明的实施方式，能够在提供通过将深度图信息应用于输入2D图像内容所产生3D图像内容的处理中检测深度图信息中的误差并校正所述误差，从而防止深度图信息中的误差降低3D效果。

此外，根据本发明的实施方式，能够检测与2D图像数据一起接收的或者从2D图像数据估计的单独的深度图信息中的所有误差，并校正所述误差。即，能够在输出3D图像内容时校正误差，从而使得观看者能够感知经改进的3D效果。

附图说明

图1是示意性示出根据本发明的实施方式的用于校正3D图像中的误差的设备的框图。

图2是示出根据本发明的实施方式的用于校正3D图像中的误差的方法的流程图。

图3是示出根据本发明的实施方式的空间直方图的说明性示图。

图4是示出本发明的实施方式的输入2D图像数据的说明性示图。

图5是示出根据本发明的实施方式的特定帧的正常深度图信息的说明性示图。

图6是示出根据本发明的实施方式的特定帧的误差倾向区域的说明性示图。

图7是示出根据本发明的实施方式的特定对象的误差倾向区域的说明性示图。

图8是示出根据本发明的实施方式的根据快速傅里叶变换（FFT）的应用的峰值频率的说明性示图。

<标号说明>

100：用于校正3D图像中的误差的设备  112：图像接收单元

120：深度图接收单元  122：空间直方图生成单元

130：2D图像接收单元  132：峰值频率生成单元

140：对象分析单元  150：深度图误差校正单元

160：渲染处理单元

具体实施方式

下文中，将参照附图描述本发明的示例性实施方式。在以下描述中，尽管元件在不同的附图中示出，但相同的元件用相同的标号来表示。此外，在本发明的以下描述中，当对合并于此的已知功能和结构的详细描述可能使得本发明的主题不清晰时，将省略该详细描述。

另外，当描述本发明的部件时，这里可能使用诸如第一、第二、A、B、（a）、（b）等术语。这些术语中的每一个不用于限定对应部件的本质、顺序或次序，而仅用于将对应的部件与其它部件区分开。应该注意，如果在说明书中描述了一个部件“连接”、“耦接”或“结合”到另一部件，则尽管第一部件可直接“连接”、“耦接”或“结合”到第二部件，但是第三部件可“连接”、“耦接”和“结合”在第一部件和第二部件之间。

图1是示意性示出根据本发明的实施方式的用于校正3D图像中的误差的设备的框图。

根据本发明的实施方式的用于校正3D图像中的误差的设备100包括图像接收单元112、深度图估计单元114、深度图接收单元120、空间直方图生成单元122、2D图像接收单元130、峰值频率生成单元132、对象分析单元140、深度图误差校正单元150和渲染处理单元160。尽管在本发明的实施方式中描述了用于校正3D图像中的误差的设备100包括图像接收单元112、深度图估计单元114、深度图接收单元120、空间直方图生成单元122、2D图像接收单元130、峰值频率生成单元132、对象分析单元140、深度图误差校正单元150和渲染处理单元160，但是这仅旨在示出本发明的实施方式的技术构思，本发明所属领域的技术人员将理解，在不脱离本发明的实施方式的基本特征的情况下可对用于校正3D图像中的误差的设备100的部件做出各种修改和改变。

根据本发明的实施方式的用于校正3D图像中的误差的设备是指将输入图像数据转换成3D图像数据，在将输入图像数据转换成3D图像数据的处理中检测误差，并且校正所述误差的设备。即，用于校正3D图像中的误差的设备100是指可从图像内容供应方接收2D图像数据并在显示所述2D图像数据之前将所接收到的2D图像数据转换成3D图像的设备。此外，用于校正3D图像中的误差的设备100可从诸如广播公司的图像内容供应方接收独立于2D图像数据提供的深度图信息。即，用于校正3D图像中的误差的设备100可以检测从图像内容供应方接收的或者从2D图像数据估计的深度图信息中的误差，并校正所检测到的误差。这里，用于校正3D图像中的误差的设备100可安装在诸如TV、监视器等的显示装置中，或者可实现为诸如机顶盒的独立装置并连接到显示装置。因此，在本发明中将仅描述由用于校正3D图像中的误差的设备100执行的输入图像数据到用于3D图像的左眼图像和右眼图像的转换，而不单独描述由显示装置执行的按照立体或自动立体方式对3D图像的显示。

可按照两个方面定义本发明所述的3D图像。首先，3D图像可被定义为应用了深度图信息使得用户能够感觉到图像的一部分从画面凸出的图像。其次，3D图像可被定义为向用户提供多个视点使得用户能够从图像感知真实感的图像。即，本发明所述的3D图像是指使得观看者能够感知听觉-视觉3D效果从而提供生动感和真实感的图像。可以基于获取方法、深度印象和显示方法来将3D图像分类成立体类型、多视点类型、集成成像（IP）类型、多视点（omni）类型、全景类型和全息图类型。用于显示3D图像的方法可包括基于图像的重建和基于网格（mesh）的呈现。

与人眼类似，需要从左侧和右侧这二者拍摄的两个图像来呈现3D图像。即，通过左眼观看从左侧拍摄的图像，并且通过右眼观看从右侧拍摄的图像，使得观看者感知3D效果。用于拍摄3D图像的广播相机具有两个相机彼此并排放置或者其中设置有两个镜头的结构。3D图像需要左图像和右图像，因此，图像数据的尺寸是普通广播数据的尺寸的两倍。结果，作为广播信号发送的3D图像占据双频带。

可通过分别将左图像和右图像的尺寸减小一半并类似于“并排”方法将左图像和右图像组合来按照普通广播数据的尺寸传送3D图像。然而，数据量在水平方向被压缩，从而出现数据损失。为了在保持与普通图像数据的量相等的数据量的同时发送3D图像数据，可将与普通图像对应的2D图像数据与包含关于3D图像数据的信息的深度图信息一起发送。深度图信息的量对应于2D图像数据量的大约10%，因此，如果添加大约10%的信息，则可显示3D图像。此外，当作为接收2D图像的接收单元的用于校正3D图像中的误差的设备100可将2D图像数据转换成3D图像数据时，需要与普通图像数据相同的信息量，进而无需附加数据就可显示3D图像。

可以按照这种方式来处理用于提供3D图像的信号数据：发送左图像和右图像这两者，左图像和右图像在水平方向上被压缩并被发送，2D图像数据和深度图信息被一起发送，或者由作为接收单元的用于校正3D图像中的误差的设备100将2D图像数据转换成3D图像数据。此外，当图像内容供应方按照发送左图像和右图像这二者或者左图像和右图像在水平方向上被压缩并被发送的这种方式来发送图像数据时，3D图像数据被发送，并且在这种情况下，无法修改3D图像的3D效果。然而，当2D图像数据和深度图信息被一起发送时，或者当作为接收单元的用于校正3D图像中的误差的设备100将2D图像数据转换成3D图像数据时，用于校正3D图像中的误差的设备100可以控制深度图信息，这可以修改3D效果。因此，根据本发明的实施方式的用于校正3D图像中的误差的设备100可以通过检测深度图信息中的误差以创建3D效果来向观看者提供更加改进的3D图像。

3D效果对应于根据观看者的年龄、标准等显著改变的主观判断，但是感知3D效果中的差异可通过以下客观项来确定。即，当在一个图像中同时存在深度图信息具有大的差异的多个对象时，当从人眼的角度左图像和右图像具有大的差异时，当自然存在的3D效果和应用于图像的3D效果在特定对象或特定区域中被不同地感知时，或者当有意增加3D效果以强调3D效果时，差异是明显的。

如上所述，一个图像中同时存在深度图信息具有大的差异的多个对象的情况，或者从人眼的角度左图像和右图像具有大的差异的情况主要是通过3D相机拍摄图像时导致的，这主要取决于摄影师的技术。此外，可通过利用作为接收对应图像的接收单元的用于校正3D图像中的误差的设备100检测深度图信息中的误差并校正所述误差来将自然存在的3D效果和应用于图像的3D效果在特定对象或特定区域中被不同地感知的情况或者有意增加3D效果以强调3D效果的情况减轻到一定程度。具体地，当作为接收单元的用于校正3D图像中的误差的设备100从2D图像数据估计深度图信息，并基于所估计出的深度图信息将2D图像数据转换成用于3D图像的左眼图像和右眼图像时，执行诸如图像的识别和分析、对象的分离、对象的距离透视的确定等的各种处理。因此，在3D图像转换期间出现误差，进而在深度图信息中可能包括该误差。由于该误差，导致3D图像的观看者感觉眩晕。即，当从图像内容供应方接收单独的深度图信息或者从2D图像数据估计深度图信息时，用于校正3D图像中的误差的设备100可从深度图信息检测误差。例如，当位于短距离的对象被示出远离位于长距离的对象时，无法将其恢复为其原始形式，但是可以利用用于校正3D图像中的误差的设备100来检测深度图信息中包含的误差并校正该误差。

此外，可通过基于深度图像的渲染（DIBR）来显示3D图像。基于深度图像的渲染是指利用具有与各个相关像素中的深度、角度差等有关的信息的基准图像在不同的视点创建帧的方法。基于深度图像的渲染能够容易地渲染3D模型的难以描述且复杂的形状，并使得能够应用诸如普通图像滤波的信号处理，从而产生高质量的3D图像。基于深度图像的渲染使用由深度相机和多视点相机拍摄的深度图像和纹理图像。

此外，深度图像是以黑和白为单位显示位于3D空间中的对象与拍摄该对象的相机之间的距离的图像。通过深度图信息和相机参数在3D恢复或3D折叠变换（warping）中使用深度图像。此外，深度图像被应用于自由视点TV或3D TV。自由视点TV是指使得用户能够根据用户的选择不是从预定视点而是从任何视点观看图像的TV。3D TV提供通过将深度图像与2D图像相加所获得的图像。针对自由视点TV和3D TV中的平稳视点转换，必须生成中间图像，因此必须估计准确的深度图信息。此外，在本发明中，稍后将参照深度图估计单元114来详细描述用于估计深度图信息的方法。

图像接收单元112确定是否单独输入了与输入图像数据相关的深度图信息，如果确定单独输入了深度图信息，则将深度图信息发送到深度图接收单元120。

如果没有单独输入与输入图像数据相关的深度图信息，则深度图估计单元114针对输入图像数据的各个帧估计深度图信息，并将所估计出的深度图信息发送到深度图接收单元120。即，深度图估计单元114针对输入图像数据的各个帧中存在的各个像素估计深度图信息。这里，各个像素可包括R、G和B子像素。此外，输入图像数据是指2D图像数据。此外，深度图估计单元114可使用立体匹配算法作为用于估计深度图信息的通常方法。立体匹配算法仅在水平方向上搜索周围图像，以获得变化值，并且仅输入利用平行相机构造拍摄的图像或经过了校正的图像。本发明中描述的深度图信息是指指示深度感知的信息，并可称为Z缓冲器。

此外，深度图估计单元114利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧，以估计深度图信息。例如，深度图估计单元114可通过基于帧中的倾斜确定在帧中位于画面的底部的对象在近处并且位于顶部的对象在远处来估计深度图信息。此外，深度图估计单元114可通过基于对象的阴影确定帧中的对象的暗色部分在远处并且该对象的亮色部分在近处来估计深度图信息。即，该方法使用阴影总在对象后面的原理。此外，深度图估计单元114可通过基于画面的焦点确定清晰对象在前面并且模糊对象在后面来估计深度图信息。此外，如果存在同一类型的多个连续图案，则深度图估计单元114可通过基于对象图案确定大尺寸图案在小尺寸图案的前面来估计深度图信息。

深度图接收单元120从图像接收单元112或深度图估计单元114接收与输入的图像数据相关的深度图信息。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了图像数据之外，深度图接收单元120通过图像接收单元112单独接收深度图信息。此外，当除了深度图信息之外还从图像内容供应方接收图像数据时，深度图接收单元120从输入图像数据接收由深度图估计单元114估计的深度图信息。

空间直方图生成单元122利用与输入图像数据相关的深度图信息来生成空间直方图信息。空间直方图生成单元122通过针对输入图像数据的各个帧中的根据深度图信息分类的各个对象在横轴（X）和纵轴（Y）上对深度图信息进行直方图分析（histogramming）来生成空间直方图信息。空间直方图生成单元122通过针对各个对象对深度图信息进行直方图分析来生成空间直方图表。即，本发明中描述的空间直方图信息是指通过在横轴（X）和纵轴（Y）上对根据深度图信息分类的对象进行直方图分析所获得的信息。

2D图像接收单元130接收从图像接收单元112或深度图估计单元114输入的图像数据的2D图像数据。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了深度图信息之外，2D图像接收单元130通过图像接收单元112接收2D图像数据。此外，当除了深度图信息之外，还从图像内容供应方接收图像数据时，2D图像接收单元130通过深度图估计单元114仅接收2D图像数据。

峰值频率生成单元132利用输入图像数据的2D图像数据生成峰值频率。峰值频率生成单元132通过按照预定宏块为单位对输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算峰值频率。为了计算峰值频率，峰值频率生成单元132利用快速傅里叶变换（FFT）将各个帧的频率分量划分成高频分量和低频分量，并将高频分量的系数的比确定为峰值频率。峰值频率生成单元132基于针对各个区域计算出的峰值频率生成峰值频率表。本发明中描述的宏块可具有诸如8×8、16×16、32×32、8×16、16×8、16×32、32×16等的各种尺寸，并可具有根据对应帧中的对象的各种尺寸。然而，可按照具有子块的宏块为单位对帧进行扫描。

对象分析单元140基于从空间直方图生成单元122接收的空间直方图和从峰值频率生成单元132接收的峰值频率来检测输入图像数据的各个帧中的误差。如果对象中包括的空间直方图信息超过第一阈值，则对象分析单元140将该对象的对应区域分类为误差倾向区域410。然而，如果超出对象中包括的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超过第一阈值，则对象分析单元140将与所述特定值对应的区域分类为误差倾向区域410。此外，对象分析单元140从通过按照预定宏块为单位对输入图像数据的各个帧进行扫描所划分的多个区域中选择与误差倾向区域410对应的区域，并且如果所选择的区域的峰值频率超出第二阈值，则确定误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。此外，如果与误差倾向区域410对应的峰值频率在所述正（+）方向或负（-）方向上超出第二阈值，并且如果峰值频率超出第一阈值的正（+）方向或负（-）方向的结果与峰值频率超出第二阈值的正（+）方向或负（-）方向的结果彼此不一致，则对象分析单元140确定误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。

当确定帧中存在误差时，深度图误差校正单元150对深度图信息进行校正，使得所述误差被校正。此外，深度图误差校正单元150对误差包含区域的深度图信息中的误差进行校正。例如，在深度图误差校正单元150可被实现为对整个帧的深度图信息中的误差进行校正的同时，如果由对象分析单元140确定了误差包含区域，则深度图误差校正单元150可被实现为对误差包含区域的深度图像信息进行校正。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向上超出第一阈值，则深度图误差校正单元150用于将在正（+）方向上超出第一阈值的所述特定值减小到空间直方图信息的标准差。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的负（-）方向上超出第一阈值，则深度图误差校正单元150用于将在负（-）方向上超出第一阈值的所述特定值增加到空间直方图信息的标准差。

现在将描述图1中示出的用于校正3D图像中的误差的设备100的另一实施方式。空间直方图生成单元122缺省生成与一个帧相关的整个空间直方图信息，并且如果所生成的空间直方图大于特定区域，则创建空间直方图表。这里，所创建的空间直方图表的各个元素可作为一个对象被分开。对象分析单元140通过针对由峰值频率生成单元132分开的各个对象对2D图像数据的对应区域中的峰值频率进行分析来计算对应对象的峰值频率。即，对象分析单元140通过空间直方图生成单元122和峰值频率生成单元132而具有针对各个对象的空间直方图信息和峰值频率。这里，在下表1中示出了对象分析单元140获得的空间直方图表和峰值频率表。

[表1]

第一对象	坐标(x,y)&区域、空间直方图信息、峰值频率值
		第二对象	坐标(x,y)&区域、空间直方图信息、峰值频率值
…	…
		第N对象	坐标(x,y)&区域、空间直方图信息、峰值频率值

此外，对象分析单元140可利用通过空间直方图生成单元122和峰值频率生成单元132获得的空间直方图表和峰值频率表的变量来确定满足表2中阐述的条件的对象，这可以表示为表2所示的C程序。

[表2]

即，如表2所示，尽管期望存在在正（+）方向（短距离）上具有大的空间直方图信息的对象，但是如果峰值频率分量值较小，则对应对象最可能是在短距离处不存在的对象，因此，用于校正3D图像中的误差的设备100的深度图误差校正单元150确定在对应的深度图信息中存在误差并减小对应区域的深度图信息。此外，尽管期望存在在负（-）方向（长距离）上具有大的空间直方图信息的对象，但是如果峰值频率分量值较大，则对应对象最可能是在长距离处不存在的对象，因此，用于校正3D图像中的误差的设备100的深度图误差校正单元150确定在对应的深度图信息中存在误差并增加对应区域的深度图信息。即，基于这些变量来控制对应对象的深度图信息。当然，上述示例不能在所有条件下都满足，但是如果检测出的误差被校正了大约80%，则在平均图像中可以校正许多误差。

渲染处理单元160利用经校正的深度图信息来生成用于3D图像的左眼图像和右眼图像。即，渲染处理单元160通过将经校正的深度图信息应用于2D图像数据来生成用于3D图像的左眼图像和右眼图像。

图2是示出根据本发明的实施方式的用于校正3D图像中的误差的方法的流程图。

用于校正3D图像中的误差的设备100从图像内容供应方接收图像数据（S210）。即，用于校正3D图像中的误差的设备100的图像接收单元112确定是否单独输入了与输入图像数据相关的深度图信息，如果确定单独输入了深度图信息，则图像接收单元112将深度图信息发送到深度图接收单元120。此外，如果没有单独输入与输入图像数据相关的深度图信息，则用于校正3D图像中的误差的设备100的深度图估计单元114针对输入图像数据的各个帧估计深度图信息，并将所估计出的深度图信息发送到深度图接收单元120。这里，深度图估计单元114可利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧以估计深度图信息。

用于校正3D图像中的误差的设备100的深度图接收单元120从图像接收单元112或深度图估计单元114接收与输入的图像数据相关的深度图信息（S212）。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了图像数据之外，用于校正3D图像中的误差的设备100的深度图接收单元120还通过图像接收单元112单独接收深度图信息。此外，当除了深度图信息之外，还从图像内容供应方接收图像数据时，用于校正3D图像中的误差的设备100的深度图接收单元120从输入图像数据接收由深度图估计单元114估计出的深度图信息。

用于校正3D图像中的误差的设备100的空间直方图生成单元122利用与输入图像数据相关的深度图信息来生成空间直方图信息（S220）。用于校正3D图像中的误差的设备100的空间直方图生成单元122通过针对输入图像数据的各个帧中的根据深度图信息分类的各个对象在横（X）轴和纵（Y）轴上对深度图信息进行直方图分析来生成空间直方图信息。用于校正3D图像中的误差的设备100的空间直方图生成单元122通过针对各个对象对深度图信息进行直方图分析来生成空间直方图表（S222）。

用于校正3D图像中的误差的设备100的2D图像接收单元130从图像接收单元112或深度图估计单元114接收输入的图像数据的2D图像数据（S230）。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了深度图信息之外，用于校正3D图像中的误差的设备100的2D图像接收单元130还通过图像接收单元112接收2D图像数据。此外，当除了深度图信息之外，还从图像内容供应方接收图像数据时，用于校正3D图像中的误差的设备100的2D图像接收单元130通过深度图估计单元114仅接收2D图像数据。

用于校正3D图像中的误差的设备100的峰值频率生成单元132利用输入图像数据的2D图像数据来生成峰值频率（S232）。即，用于校正3D图像中的误差的设备100的峰值频率生成单元132通过按照预定宏块为单位对输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算峰值频率。为了计算峰值频率，峰值频率生成单元132利用FFT将各个帧的频率分量划分成高频分量和低频分量，并将高频分量的系数的比确定为峰值频率。峰值频率生成单元132基于针对各个区域计算出的峰值频率生成峰值频率表（S234）。

用于校正3D图像中的误差的设备100的对象分析单元140确定是否关于输入图像数据中包括的整个帧生成了空间直方图信息和峰值频率（S240）。如果在步骤S240确定关于输入图像数据中包括的整个帧生成了空间直方图信息和峰值频率，则用于校正3D图像中的误差的设备100的对象分析单元140确定包括在根据深度图信息分类的对象中的空间直方图信息是否超出第一阈值（S250）。此外，如果在步骤S240确定没有关于输入图像数据中包括的整个帧生成空间直方图信息和峰值频率，则用于校正3D图像中的误差的设备100重复步骤S220至S234。

如果在步骤S250确定包括在根据深度图信息分类的对象中的空间直方图信息超出了第一阈值，则用于校正3D图像中的误差的设备100的对象分析单元140将超出了第一阈值的对象的对应区域分类为误差倾向区域410（S252）。即，如果超出包括在对象中的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超过第一阈值，则用于校正3D图像中的误差的设备100的对象分析单元140将与所述特定值对应的区域分类为误差倾向区域410。

用于校正3D图像中的误差的设备100的对象分析单元140从通过按照预定宏块为单位对输入图像数据的各个帧进行扫描所划分的多个区域中选择与误差倾向区域410对应的区域（S254）。用于校正3D图像中的误差的设备100的对象分析单元140确定在步骤S254选择的区域的峰值频率是否超出第二阈值（S256）。

如果在步骤S256确定所选择的区域的峰值频率超出第二阈值，则用于校正3D图像中的误差的设备100的对象分析单元140确定在误差倾向区域410的深度图信息中存在误差，并且将误差倾向区域410识别为误差包含区域（S258）。即，如果与误差倾向区域410对应的峰值频率在所述正（+）方向或负（-）方向上超出第二阈值，并且如果峰值频率超出第一阈值的正（+）方向或负（-）方向的结果与峰值频率超出第二阈值的正（+）方向或负（-）方向的结果彼此不一致，则用于校正3D图像中的误差的设备100的对象分析单元140确定在误差倾向区域410的深度图信息中存在误差，并且将误差倾向区域410识别为误差包含区域。

用于校正3D图像中的误差的设备100的深度图误差校正单元150对误差包含区域的深度图信息中的误差进行校正（S260）。即，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向上超出第一阈值，则用于校正3D图像中的误差的设备100的深度图误差校正单元150将在正（+）方向上超出第一阈值的所述特定值减小到空间直方图信息的标准差。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的负（-）方向上超出第一阈值，则用于校正3D图像中的误差的设备100的深度图误差校正单元150将在负（-）方向上超出第一阈值的所述特定值增加到空间直方图信息的标准差。

用于校正3D图像中的误差的设备100的深度图误差校正单元150确定所有误差包含区域的深度图信息中的误差是否都被校正（S270）。如果在步骤S270确定由用于校正3D图像中的误差的设备100的深度图误差校正单元150对所有误差包含区域的深度图信息中的误差进行了校正，则用于校正3D图像中的误差的设备100的渲染处理单元160利用经校正的深度图信息产生用于3D图像的左眼图像和右眼图像（S280）。即，渲染处理单元160通过将经校正的深度图信息应用于2D图像数据来产生用于3D图像的左眼图像和右眼图像。

尽管在图2中描述了步骤S210至S280被顺序地执行，但是这仅旨在示出本发明的实施方式的技术构思，本发明所属领域的技术人员将理解，可以按照改变图2中示出的顺序或者并行执行步骤S210至S280中的至少两个步骤的方式来对图2中示出的用于校正3D图像中的误差的方法做出各种修改和改变，因此，图2不限于时间序列顺序。

如上所述，图2中示出的根据本发明的实施方式的用于校正3D图像中的误差的方法可被实现为程序，并被记录在计算机可读记录介质中。记录有用于实现根据本发明的实施方式的用于校正3D图像中的误差的方法的程序的计算机可读记录介质包括存储有计算机系统可读的数据的所有类型的记录装置。所述计算机可读记录介质的示例可包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。此外，计算机可读记录介质可以按照载波（例如，通过互联网的传输）的形式来实现。此外，计算机可读记录介质可分布于通过网络连接的计算机系统中，使得计算机可读代码可以按照分布式方式来存储和执行。另外，本发明所属领域的程序员可以容易地理解用于实现本发明的实施方式的功能程序、代码和代码段。

图3是示出根据本发明的实施方式的空间直方图的说明性示图。

存在当对普通图像数据进行分析时难以出现的深度图信息的特性，并且当通过统计方式对这些特性进行检查时，由于图像分析导致很可能出现误差。根据深度图信息，非常小的对象很少位于在自然状态下远离周围区域的长距离处或短距离处。此外，深度图信息具有低空间频率特性（所述低空间频率特性是图像分辨率的大约一半），并在单个信道（即，按照黑图像和白图像）显示距离的程度。因此，当图像内容供应方单独发送深度图信息时，深度图信息对应于考虑到压缩的2D图像数据量的大约10%。如上所述，可通过将深度图信息的普通特性认为是前提条件来检测与误差对应的区域。

如图3的（A）和（B）所示，横（X）轴是通过在水平空间切割画面的2D空间所获得的横截面，纵（Y）轴表示与由于值较大而位于更短距离处的对象相关的深度图信息。用于校正3D图像中的误差的设备100的对象分析单元140基于从空间直方图生成单元122接收的空间直方图和从峰值频率生成单元132接收的峰值频率来检测输入图像数据的各个帧中的误差。如图3的（A）和（B）所示，如果对象中包括的空间直方图信息超出第一阈值（即，中间的虚线），则用于校正3D图像中的误差的设备100的对象分析单元140将该对象的对应区域分类为误差倾向区域410。

更详细地，从图3的（A）所示的左边的曲线图可以看出，如果中间的虚线假定为第一阈值，则在正（+）方向上超出第一阈值的区域的深度图信息值分布广泛。相反，从图3的（A）所示的右边的曲线图可以看出，如果中间的虚线假定为第一阈值，则在负（-）方向上超出第一阈值的区域的深度图信息值分布广泛。此外，从图3的（B）所示的左边的曲线图可以看出，如果中间的虚线假定为第一阈值，则在正（+）方向上超出第一阈值的区域的深度图信息值分布狭窄。相反，从图3的（B）所示的右边的曲线图可以看出，如果中间的虚线假定为第一阈值，则在负（-）方向上超出第一阈值的区域的深度图信息值分布狭窄。

即，如果图3的（A）中所示的曲线图的值假定为y1/x1，并且如果图3的（B）中所示的曲线图的值假定为y2/x2，则图3的（B）中所示的曲线图的值y2/x2大于图3的（A）中所示的曲线图的值y1/x1。当如上在空间上进行表示时，可通过将在正（+）或负（-）方向上超出第一阈值的区域作为一个对象分开，并获得关于所分开的区域的（对应于X的）区域以及与来自对应区域的深度图信息的（对应于Y的）标准差，来针对各个对象创建空间直方图信息表。

图4是示出根据本发明的实施方式的输入2D图像数据的说明性示图。可通过2D图像接收单元130从自图像接收单元112或深度图估计单元114输入的图像数据接收图4中示出的2D图像数据。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了深度图信息之外，2D图像接收单元130还通过图像接收单元112接收2D图像数据。此外，当除了深度图信息之外，还从图像内容供应方接收图像数据时，2D图像接收单元130通过深度图估计单元114仅接收2D图像数据。

图5是示出根据本发明的实施方式的特定帧的正常深度图信息的说明性示图。即，图5示出了应用于图4的图像数据的深度图信息。即，用于校正3D图像中的误差的设备100的空间直方图生成单元122通过针对输入图像数据的各个帧中的根据深度图信息分类的各个对象在横（X）轴和纵（Y）轴上对深度图信息进行直方图分析来生成空间直方图信息。

图6是示出根据本发明的实施方式的特定帧的误差倾向区域的说明性示图。如图6所示，用于校正3D图像中的误差的设备100的对象分析单元140基于从空间直方图生成单元122接收的空间直方图和从峰值频率生成单元132接收的峰值频率来检测输入图像数据的各个帧中的误差。如果对象中包括的空间直方图信息超过第一阈值，则对象分析单元140将该对象的对应区域分类为误差倾向区域410，如图6所示。即，如图6所示，如果从人的视点确定了前面（负（-）方向上）的企鹅的帽子的边界以及后面（正（+）方向上）的企鹅的脸，则这是明显的误差。可通过对空间直方图信息进行分析来提取这些误差。原因在于，由于企鹅的前面或身体的列在相对宽的空间上是近的，所以空间直方图信息可能较小，并且图6中的误差倾向区域410的误差可能具有非常大的空间直方图信息。

图7是示出根据本发明的实施方式的特定对象的误差倾向区域的说明性示图。当如图6所示确定了误差倾向区域410时，如果超出对象中包括的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超过第一阈值，则对象分析单元140将与所述特定值对应的区域分类为误差倾向区域410。此外，对象分析单元140从通过按照预定宏块为单位对输入图像数据的各个帧进行扫描所划分的多个区域中选择与误差倾向区域410对应的区域，并且如果所选择的区域的峰值频率超出第二阈值，则确定在误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。此外，如果与误差倾向区域410对应的峰值频率在所述正（+）方向或负（-）方向上超出第二阈值，并且如果峰值频率超出第一阈值的正（+）方向或负（-）方向的结果与峰值频率超出第二阈值的正（+）方向或负（-）方向的结果彼此不一致，则对象分析单元140确定在误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。

如图7所示，在企鹅的脸的误差倾向区域410被识别为误差包含区域之后，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的正（+）方向上超出第一阈值，则用于校正3D图像中的误差的设备100的深度图误差校正单元150用于将在正（+）方向上超出第一阈值的所述特定值减小到空间直方图信息的标准差。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵（Y）轴的负（-）方向上超出第一阈值，则用于校正3D图像中的误差的设备100的深度图误差校正单元150用于将在负（-）方向上超出第一阈值的所述特定值增加到空间直方图信息的标准差。

图8是示出根据本发明的实施方式的根据快速傅里叶变换（FFT）的应用的峰值频率的说明性示图，其中，关于企鹅的脸的误差倾向区域410获得所述峰值频率。用于校正3D图像中的误差的设备100的峰值频率生成单元132按照预定宏块为单位对输入图像数据的各个帧进行扫描，以将所述帧划分成多个区域，并计算所划分的多个区域中的每一个的像素值（如图8的（A）所示）。

为了计算峰值频率，用于校正3D图像中的误差的设备100的峰值频率生成单元132可通过将FFT应用于图8的（A）来将各个帧的频率分量划分成如图8的（B）所示的高频分量和低频分量，并将高频分量的系数的比确定为峰值频率。此外，用于校正3D图像中的误差的设备100的峰值频率生成单元132基于针对各个区域计算出的峰值频率来生成峰值频率表。这里，宏块可以具有诸如8×8、16×16、32×32、8×16、16×8、16×32、32×16等的各种尺寸，并可以具有根据对应帧中的对象的各种尺寸。此外，可以按照具有子块的宏块为单位对帧进行扫描。

如图8的（B）所示，与8×8块的左上侧对应的区域表示低频分量的区域，靠近右下侧的区域对应于高频分量的区域。因此，所选择的区域的比例之和可被定义为如图8的（B）所示的峰值频率分量。这里，高峰值频率值表示清晰部分，其指示由于图像的属性导致对象位于相对短距离。高峰值频率值是用于确定具有较大的值的对象是否实际上位于短距离处的标准。此外，误差倾向区域410具有如图7所示的任意形式，因此能够按照预定宏块为单位对输入图像数据的各个帧进行扫描，以将所述帧划分成多个区域，计算所划分的多个区域中的每一个的峰值频率值，并将各个区域的峰值频率的平均值确定为对应对象的代表性值。

此外，可使用式1和式2来将FFT应用于图8的（A）。

[式1]

$F\left(x\right)=\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{f\left(n\right)e}^{-j2\mathrm{\&pi;}\left(x\frac{n}{N}\right)}$

[式2]

$f\left(n\right)=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{F\left(x\right)e}^{j2\mathrm{\&pi;}\left(x\frac{n}{N}\right)}$

这里，式1和式2描述时间函数f(n)的变换和频率函数F(x)的变换之间的关系。此外，式1和式2是一维的，但是可以表示2D图像的情况下的空间的图像和该图像的空域频率分量之间的变换。此外，式1和式2示出FFT的典型示例，必要值可被应用于式1和式2中包括的常数，以计算高频分量。例如，如果在空间像素坐标f(m,n)中表示f(n)，并且如果像素的位置被假定为(m,n)，则F(x,y)是空间频率分量。

即使以上描述了本发明的实施方式的所有部件耦接为单个单元或者耦接为作为单个单元操作，但是本发明不必限于这种实施方式。即，在这些部件当中，一个或更多个部件可选择性地耦接为作为一个或更多个单元操作。另外，尽管各个部件可被实现为单独的硬件，但是一些或所有部件可以选择性地彼此组合，使得所述部件可被实现为具有用于执行在一个或更多个硬件中组合的一些或所有功能的一个或更多个程序模块的计算机程序。本发明的技术领域的普通技术人员将容易地构思形成所述计算机程序的代码和代码段。这种计算机程序可通过存储在计算机可读存储介质中并且由计算机读取和执行来实现本发明的实施方式。磁性记录介质、光学记录介质、载波介质等可被采用作为所述存储介质。

另外，由于诸如“包括”、“包含”和“具有”的术语表示可存在一个或更多个对应的部件（除非所述术语被相反地特定描述），这将被解释为可包括所述一个或更多个其它部件。包含一个或更多个技术或科技术语的所有术语具有与本领域技术人员通常的理解相同的含义，除非另行定义。如字典定义的通常使用的术语将被解释为该术语具有与相关描述的上下文中等同的含义，并且将不以理想或极端形式的含义被解释，除非在本说明书中清楚地定义。

尽管为了说明性目的描述了本发明的优选实施方式，但是本领域技术人员将理解，在不脱离所附权利要求公开的本发明的范围和精神的情况下，可进行各种修改、添加和替换。因此，本发明中公开的实施方式旨在示出本发明的技术构思的范围，本发明的范围不由实施方式限定。将按照与权利要求等同的范围内包括的所有技术构思属于本发明的方式来基于所附权利要求解释本发明的范围。

工业实用性

如上所述，本发明能够在提供通过将深度图信息应用于输入2D图像内容所产生的3D图像内容的处理中检测深度图信息中的误差并校正所述误差，从而防止深度图信息中的误差降低3D效果。因此，本发明对于多个领域是有用并且可应用的。

相关申请的相关引用

本申请要求于2010年6月8日提交的韩国专利申请No.10-2010-0053971在35U.S.C.§119(a)下的优先权和权益，针对各种目的，通过引用将其并入本文，如同在此进行了完整阐述。此外，本申请要求在除了美国之外的其它国家的优先权权益，从而通过引用并入本文。

Claims (24)

1.一种用于校正三维3D图像中的误差的设备，该设备包括：

空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；

峰值频率生成单元，其利用所述输入图像数据的二维2D图像数据生成峰值频率；

对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；

深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及

渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。

2.根据权利要求1所述的设备，其中，所述空间直方图生成单元通过针对所述输入图像数据的各个帧中的根据所述深度图信息分类的各个对象在横（X）轴和纵（Y）轴上对所述深度图信息进行直方图分析来生成所述空间直方图信息。

3.根据权利要求2所述的设备，其中，所述空间直方图生成单元通过针对各个对象对所述深度图信息进行直方图分析来生成空间直方图表。

4.根据权利要求1所述的设备，其中，所述峰值频率生成单元通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算所述峰值频率。

5.根据权利要求4所述的设备，其中，所述峰值频率生成单元利用快速傅里叶变换FFT将各个帧的频率分量划分成高频分量和低频分量，并将所述高频分量的系数的比确定为所述峰值频率。

6.根据权利要求5所述的设备，其中，所述峰值频率生成单元基于针对各个区域计算出的所述峰值频率来生成峰值频率表。

7.根据权利要求2所述的设备，其中，如果所述对象中包括的所述空间直方图信息超出第一阈值，则所述对象分析单元将所述对象的对应区域分类为误差倾向区域。

8.根据权利要求7所述的设备，其中，如果超出所述对象中包括的所述空间直方图信息的标准差的特定值在所述第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超出所述第一阈值，则所述对象分析单元将与所述特定值对应的区域分类为所述误差倾向区域。

9.根据权利要求7所述的设备，其中，所述对象分析单元从通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描所划分的所述多个区域中选择与所述误差倾向区域对应的区域，如果所选择的区域的所述峰值频率超出第二阈值，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为误差包含区域。

10.根据权利要求9所述的设备，其中，如果与所述误差倾向区域对应的所述峰值频率在所述正（+）方向或负（-）方向上超出所述第二阈值，并且如果所述峰值频率超出所述第一阈值的所述正（+）方向或负（-）方向的结果与所述峰值频率超出所述第二阈值的所述正（+）方向或负（-）方向的结果彼此不一致，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为所述误差包含区域。

11.根据权利要求9所述的设备，其中，所述深度图误差校正单元校正所述误差包含区域的所述深度图信息中的所述误差。

12.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的纵（Y）轴的所述正（+）方向上超出所述第一阈值，则所述深度图误差校正单元将在所述正（+）方向上超出所述第一阈值的所述特定值减小到所述空间直方图信息的所述标准差。

13.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的所述纵（Y）轴的所述负（-）方向上超出所述第一阈值，则所述深度图误差校正单元将在所述负（-）方向上超出所述第一阈值的所述特定值增加到所述空间直方图信息的所述标准差。

14.根据权利要求1所述的设备，该设备还包括：

深度图接收单元，其接收与所述图像数据相关的所述深度图信息；以及

2D图像接收单元，其接收所述输入图像数据的2D图像数据。

15.根据权利要求14所述的设备，该设备还包括：

图像接收单元，其确定与所述输入图像数据相关的所述深度图信息是否被单独输入，如果确定所述深度图信息被单独输入，则该图像接收单元将所述深度图信息发送到所述深度图接收单元；以及

深度图估计单元，如果与所述输入图像数据相关的所述深度图信息没有被单独输入，则该深度图估计单元针对所述输入图像数据的各个帧估计所述深度图信息，并且将所估计出的深度图信息发送到所述深度图信息接收单元。

16.根据权利要求15所述的设备，其中，所述深度图估计单元利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧，以估计所述深度图信息。

17.一种用于校正3D图像中的误差的方法，该方法包括以下步骤：

空间直方图生成步骤，利用与输入图像数据相关的深度图信息生成空间直方图信息；

峰值频率生成步骤，利用所述输入图像数据的2D图像数据生成峰值频率；

对象分析步骤，基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；

深度图误差校正步骤，如果确定所述帧中存在误差，则校正所述深度图信息，使得所述误差被校正；以及

渲染处理步骤，利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。

18.根据权利要求17所述的方法，其中，所述空间直方图生成步骤包括以下步骤：通过针对所述输入图像数据的各个帧中的根据所述深度图信息分类的各个对象在横（X）轴和纵（Y）轴上对所述深度图信息进行直方图分析来生成所述空间直方图信息。

19.根据权利要求17所述的方法，其中，所述峰值频率生成步骤包括以下步骤：

通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描来将所述帧划分成多个区域；

利用快速傅里叶变换FFT将所划分的多个区域中的每一个区域中存在的像素的频率分量划分成高频分量和低频分量；以及

将所述高频分量的系数的比确定为所述峰值频率。

20.根据权利要求17所述的方法，其中，所述对象分析步骤包括以下步骤：

如果所述对象中包括的所述空间直方图信息超出第一阈值，则将所述对象的对应区域分类为误差倾向区域；

从通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描所划分的所述多个区域中选择与所述误差倾向区域对应的区域；以及

如果所选择的区域的所述峰值频率超出第二阈值，则确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为误差包含区域。

21.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差，该方法包括以下步骤：

确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；

如果所述特定值在第一阈值的纵（Y）轴的正（+）方向或负（-）方向上超出所述第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；

如果所述误差倾向区域的峰值频率在所述正（+）方向或负（-）方向上超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；以及

如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差。

22.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中校正所述深度图信息中的误差，该方法包括以下步骤：

确定超出被确定为所述深度图信息中具有误差的误差包含区域的空间直方图信息的标准差的特定值；

确定所述特定值是否在纵（Y）轴的正（+）方向或负（-）方向上超出第一阈值；以及

如果确定所述特定值超出所述第一阈值，则通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。

23.根据权利要求22所述的方法，其中，所述校正所述误差的步骤包括以下步骤：如果确定所述特定值在所述纵（Y）轴的所述正（+）方向上超出所述第一阈值，则将所述特定值减小到所述空间直方图信息的所述标准差，如果确定所述特定值在所述纵（Y）轴的所述负（-）方向上超出所述第一阈值，则将所述特定值增加到所述空间直方图信息的所述标准差。

24.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差并校正所述误差，该方法包括以下步骤：

确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；

如果所述特定值超出第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；

如果所述误差倾向区域的峰值频率超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；

如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差；以及

通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。

Images