CN103226810A - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN103226810A CN103226810A CN201310018642XA CN201310018642A CN103226810A CN 103226810 A CN103226810 A CN 103226810A CN 201310018642X A CN201310018642X A CN 201310018642XA CN 201310018642 A CN201310018642 A CN 201310018642A CN 103226810 A CN103226810 A CN 103226810A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- depth information
- image processing
- processing equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 128
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000012986 modification Methods 0.000 claims description 44
- 230000004048 modification Effects 0.000 claims description 44
- 230000001815 facial effect Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 26
- 238000000605 extraction Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000005728 strengthening Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理设备和图像处理方法。所述图像处理设备包括：修改单元，其被配置来根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；以及增强单元，其被配置来执行立体效果增强处理，所述立体效果增强处理通过使用由所述修改单元产生的所述修改的深度信息来增强所述图像的立体效果。
Description
技术领域
本公开涉及图像处理设备和图像处理方法。
背景技术
已经提出了用于以伪方式来增强二维图像的立体效果的一些方法。这些方法涉及提高诸如照片、电影和电视图像的各种类型的图像内容的主观图像质量。例如，日本未审查专利申请公布No.10-126708提出了一种用于通过使用图像信号的二阶微分将图像划分为背景区域和前景区域并且对于这些区域执行使用不同水平的边缘增强的技术。日本未审查专利申请公布No.2010-206362提出了一种用于通过使用立体方法将图像划分为背景区域和前景区域并且向在前景区域中的对象加上阴影的技术。
发明内容
在上述现有方法两者中，都不考虑图像的内容。用户体验的立体效果可以根据与图像的内容相关的因素而变化，该因素例如是在图像中是否出现室外场景或室内场景或在图像中是否出现人或城市风光。
根据本公开的一个实施例，提供了一种图像处理设备，其包括：修改单元，其被配置来根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；以及增强单元，其被配置来执行立体效果增强处理，所述立体效果增强处理通过使用由所述修改单元产生的所述修改的深度信息来增强所述图像的立体效果。
根据本公开的一个实施例，提供了一种图像处理方法，其包括：根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；并且执行立体效果增强处理，所述立体效果增强处理通过使用所述修改的深度信息来增强所述图像的立体效果。
根据本公开的一个实施例，提供了一种图像处理设备，其包括：图像获得单元，其被配置来获得要处理的目标图像；发送单元，其被配置来向另一个图像处理设备发送所述目标图像，所述另一个图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及接收单元，其被配置来从所述另一个图像处理设备接收具有由所述另一个图像处理设备增强的立体效果的所述目标图像。
根据本公开的一个实施例，提供了一种图像处理方法，其包括：获得要处理的目标图像；向图像处理设备发送所述目标图像，所述图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及从所述图像处理设备接收具有由所述图像处理设备增强的立体效果的所述目标图像。
利用根据本公开的技术，可以根据在图像中包括的内容来有效地提高主观图像质量。
附图说明
图1是图示根据第一实施例的图像处理设备的配置的示例的框图；
图2是描述对于每种类型的场景定义的辅助深度信息的示例的第一说明图；
图3是描述对于每种类型的场景定义的辅助深度信息的示例的第二说明图；
图4是描述使用辅助深度信息的深度信息的修改的说明图；
图5是描述使用关于区域的确定结果的深度信息的修改的说明图；
图6是图示根据一个实施例的增强单元的具体配置的示例的框图；
图7是图示根据一个实施例的图像处理的流程的示例的流程图；
图8是图示在图7中图示的立体效果增强处理的具体流程的示例的流程图；
图9是图示根据第二实施例的图像处理设备的配置的示例的框图；
图10是作为示例描述用于立体效果增强处理的滤波器系数的学习的说明图；
图11是图示电视设备的示意配置的示例的框图；
图12是图示移动电话的示意配置的示例的框图；
图13是图示记录/再现设备的示意配置的示例的框图；以及
图14是图示图像捕获设备的示意配置的示例的框图。
具体实施方式
根据本公开的示例性实施例提供了一种图像处理设备，其包括：修改单元，其被配置来根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；以及增强单元，其被配置来执行立体效果增强处理，所述立体效果增强处理通过使用由所述修改单元产生的所述修改的深度信息来增强所述图像的立体效果。
根据本公开的示例性实施例提供了一种图像处理方法，其包括：根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；并且执行立体效果增强处理，所述立体效果增强处理通过使用所述修改的深度信息来增强所述图像的立体效果。
根据本公开的示例性实施例提供了一种图像处理设备，其包括：图像获得单元，其被配置来获得要处理的目标图像；发送单元，其被配置来向另一个图像处理设备发送所述目标图像，所述另一个图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及接收单元，其被配置来从所述另一个图像处理设备接收具有由所述另一个图像处理设备增强的立体效果的所述目标图像。
根据本公开的示例性实施例提供了一种图像处理方法，其包括：获得要处理的目标图像；向图像处理设备发送所述目标图像，所述图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及从所述图像处理设备接收具有由所述图像处理设备增强的立体效果的所述目标图像。
以下，将参考附图详细描述本公开的实施例。在说明书和附图中，通过相同的附图标号来表示具有基本上相同的功能配置的元件，并且省略重复的说明。以下面的顺序来给出说明。
1.第一实施例
1-1．图像获得单元
1-2．深度信息获得单元
1-3．确定单元
1-4．辅助深度数据库
1-5．修改单元
1-6．增强单元
1-7．处理流程
2．第二实施例
3．滤波器系数的学习
4．应用示例
5．结论
1.第一实施例
首先，将参考图1至8来描述根据本公开的技术的第一实施例。根据第一实施例的图像处理设备100获得输入图像，对于所获得的输入图像执行立体效果增强处理，并且产生输出图像。输入图像可以是静止图像或可以是构成运动图像的每个帧。输出图像可以被显示在显示器上，或者可以被存储在存储介质中。图像处理设备100可以是任何类型的设备，诸如电视设备、个人计算机（PC）、智能电话、内容记录器、内容播放器、数字照像机或数字摄像机。可替代地，图像处理设备100可以是在这样的设备上安装的图像处理模块。
图1是图示根据第一实施例的图像处理设备100的配置的示例的框图。参见图1，图像处理设备100包括图像获得单元110、深度信息获得单元120、确定单元130、辅助深度数据库（DB）140、修改单元150和增强单元160。
1-1.图像获得单元
图像获得单元110获得输入图像。由图像获得单元110获得的输入图像可以例如是由包括诸如电荷耦合装置（CCD）或互补金属氧化物半导体（CMOS）传感器的图像捕获装置的相机模块捕获的图像。可替代地，由图像获得单元110获得的输入图像可以是在存储介质中存储的图像或从外部数据源接收的图像。图像获得单元110向深度信息获得单元120、确定单元130和增强单元160输出所获得的输入图像。
1-2.深度信息获得单元
深度信息获得单元120获得用于表示输入图像的各个像素的深度的深度信息。可以以所谓的深度图的形式来表示深度信息。深度信息获得单元120可以通过向输入图像应用根据现有技术的分析技术来产生深度信息。例如，深度信息获得单元120以二维方式对于输入图像的图像信号执行频率转换（例如，执行离散傅立叶变换或离散余弦变换），并且由此计算在高频带至低频带中的频率分量的变换系数。深度信息获得单元120能够对于其中检测到更高频分量的像素产生用于表示更小深度的深度信息。当从另一个设备提供关于输入图像的深度信息时，深度信息获得单元120可以获得所提供的深度信息。深度信息获得单元120向修改单元150输出以这种方式获得的深度信息。在深度信息获得单元120对于输入图像执行频率分析的情况下，深度信息获得单元120可以向确定单元130输出频率分析结果。
1-3.确定单元
确定单元130确定在输入图像中包括的内容。在这个实施例中，确定单元130包括四个确定模块：场景确定模块132、面部确定模块134、对象确定模块136和边缘确定模块138。实际上，可以省略这些模块的一个或一些。
场景确定模块132确定输入图像的场景的类型。在这个实施例中，存在四种类型的场景：“风景”、“城市”、“室内”和“肖像”。当输入图像具有较小数量的高频分量和强的蓝色或绿色时，场景确定模块132能够确定输入图像的场景的类型是“风景”。当输入图像具有主题的边缘的消失点（vanishing point）的特征分布时，场景确定模块132能够确定输入图像的场景的类型是“城市”。当输入图像具有较大数量的高频分量和许多线性边缘时，场景确定模块132能够确定输入图像的场景的类型是“室内”。当输入图像具有被聚焦的特定主题（例如，人）时，场景确定模块132能够确定输入图像的场景的类型是“肖像”。场景确定模块132向修改单元150输出标识以上述方式确定的输入图像的场景的类型的场景标识符。由场景确定模块132使用的场景的分类和用于确定场景的类型的方法不限于如上所述的那些。
面部确定模块134通过使用在现有技术中可获得的面部区域检测技术而确定在输入图像中的人的面部区域。面部确定模块134可以根据对于肉色区域的检测结果来确定在输入图像中的哪个区域形成人的面部。可替代地，面部确定模块134可以通过将现有面部图像与输入图像的部分图像相比较来确定在输入图像中的哪个区域形成人的面部。在检测到在输入图像中的面部区域时，面部确定模块134向修改单元150输出用于指示所检测的面部区域的位置的面部区域信息。
对象确定模块136确定在输入图像中的形成目标对象的区域。在本说明书中，“目标对象”是当显示图像时对于其期望更精确的表达的对象。目标对象可以例如是移动对象。在该情况下，对象确定模块136能够根据在背景图像或前一个帧的图像和输入图像之间的差来确定移动对象。目标对象可以是预先对其给出特征量数据的对象。在该情况下，对象确定模块136能够通过将从输入图像提取的特征量和目标对象的特征量相比较来确定在输入图像中的哪个区域形成目标对象。在检测到在输入图像中的目标对象时，对象确定模块136向修改单元150输出用于指示所检测的目标对象的位置的目标对象信息。
边缘确定模块138确定包括在输入图像中的主要边缘的边缘区域和形成其他部分的纹理区域。边缘区域是包括所谓的结构线的区域，并且例如包括在对象和另一个对象（或背景）之间的边界。边缘确定模块138能够通过下述方式来检测在输入图像中的边缘：使用例如在现有技术中可用的边缘检测方法，并且根据在检测的边缘的长度上或在边缘两侧的纹理上的差别来将与结构线对应的边缘与其他边缘区分。然后，边缘确定模块138向修改单元150输出用于指示边缘区域的位置的边缘区域信息（或者用于指示纹理区域的位置的纹理区域信息）。
1-4.辅助深度数据库
辅助深度数据库140是通过使用存储介质存储对于每种类型的场景预定义的辅助深度信息的数据库。辅助深度信息用于修改由深度信息获得单元120获得的基本深度信息，并且可以像深度信息那样以深度图的形式被表示。图2和3是描述对于每种类型的场景定义的辅助深度信息的示例的说明图。
在图2的上部，图示图像Im01和图像Im02。图像Im01是其场景类型是“风景”的图像的示例，并且图像Im02是其场景类型是“城市”的图像的示例。在每个图像中，水平轴是X轴，垂直轴是Y轴，并且深度轴是Z轴。在图2的下部，图示定义“风景”的辅助深度信息SD01和定义“城市”的辅助深度信息SD02。辅助深度信息SD01指示位于较高位置处的像素具有较大的深度。辅助深度信息SD02指示位于较高位置处的像素具有较大的深度，并且位于X轴的中心处的像素具有比位于其端部处的像素更大的深度。
在图3的上部，图示图像Im03和图像Im04。图像Im03是其场景类型是“室内”的图像的示例，并且图像Im04是其场景类型是“肖像”的图像的示例。在图3的下部，图示定义“室内”的辅助深度信息SD03和定义“肖像”的辅助深度信息SD04。辅助深度信息SD03指示在X和Y轴的中心处的深度比在其端部的深度更大。辅助深度信息SD04指示深度在所有的像素位置处是均匀的。
1-5.修改单元
修改单元150根据由确定单元130产生的确定结果来修改从深度信息获得单元120接收的深度信息（以下称为基本深度信息），由此产生修改的深度信息。
例如，在接收到由场景确定模块132确定的输入图像的场景标识符时，修改单元150从辅助深度数据库140获得与由场景标识符标识的场景的类型相关联的辅助深度信息。然后，修改单元150组合所获得的辅助深度信息和基本深度信息，由此产生修改的深度信息。
图4是描述使用辅助深度信息来修改深度信息的说明图。在图4的左上部，图示作为示例的输入图像Im11。输入图像Im11的场景的类型是“风景”。在图4的中上部分，图示对于输入图像Im11获得的基本深度信息BD11。在基本深度信息BD11中，区域R11的深度小于区域R12和R13的深度。区域R12的深度小于区域R13的深度。在图4的中下部，图示了与“风景”相关联的在图2中图示的辅助深度信息SD01。修改单元150对于每个像素组合由基本深度信息BD11表示的深度和由辅助深度信息SD01表示的深度，由此计算修改的深度信息MD11的各个像素的深度值。在此，该组合可以是平均值的简单计算或者可以是使用特定权重的加权相加。在图4的右部，图示从基本深度信息BD11和辅助深度信息SD01产生的修改的深度信息MD11。
例如，在接收到用于指示面部区域的位置的面部区域信息时，修改单元150修改在由基本深度信息（或使用辅助深度信息修改的深度信息）表示的深度中的在面部区域中包括的像素的深度。修改单元150可以通过从在面部区域中包括的像素的深度减去特定的偏移值来修改深度以减小面部区域的深度。当不期望面部皮肤例如看起来粗糙时，修改单元150可以通过向在面部区域中包括的像素的深度加上特定偏移值来修改深度以增大面部区域的深度。
例如，在接收到用于指示目标对象的位置的目标对象信息时，修改单元150修改在由基本深度信息（或使用其他信息修改的深度信息）表示的深度中的在目标对象的位置处的像素的深度。通常，修改单元150从在目标对象的位置处的像素的深度减去特定偏移值。可以根据目标对象的类型来使用不同的偏移值。
图5是描述根据确定区域的结果而执行的深度信息的修改的说明图。在图5的上部，图示作为示例的输入图像Im21。输入图像Im21包括人和作为移动对象的车辆。在图5的下部，图示了要被输入到修改单元150的对于输入图像Im21的确定结果SD21。在确定结果SD21中，区域R21是面部区域。修改单元150从由在区域R21中包括的像素的深度信息表示的深度减去偏移值d1。区域R22是其中检测到移动对象的区域。修改单元150从由在区域R22中包括的像素的深度信息表示的深度减去偏移值d2。偏移值d1和d2可以彼此相等或不同。
例如，在接收到边缘区域信息或纹理区域信息时，修改单元150修改在由基本深度信息（或使用其他信息修改的深度信息）表示的深度中的在边缘区域或纹理区域中包括的像素的深度。例如，修改单元150可以从在边缘区域中包括的像素的深度减去特定偏移值。可替代地或额外地，修改单元150可以向在纹理区域中包括的像素的深度加上特定的偏移值。
修改单元150向增强单元160输出以这种方式产生的修改的深度信息。
1-6.增强单元
增强单元160执行立体效果增强处理，用于通过使用从修改单元150接收的修改的深度信息来增强输入图像的立体效果。在这个实施例中执行的立体效果增强处理是通过使用与大气透视方法或空气透视方法相关的视觉特性来增强立体效果的处理。例如，当对比度在前景中高并且在背景中低时，可以根据人的视觉特性来感知透视（立体效果）。除了对比度，可以根据大气透视方法调整诸如锐度、亮度、饱和度和分辨率的参数以表达透视。
增强单元160可以增强输入图像的立体效果，使得上述参数的至少一个对于具有由修改的深度信息表示的较小的深度的像素增大。可替代地或额外地，增强单元160可以增强输入图像的立体效果，使得上述参数的至少一个对于具有由修改的深度信息表示的较大深度的像素减小。可以通过使用具有可变滤波强度的滤波器来调整参数值。可替代地，可以通过增大或减小各个像素的颜色分量来调整亮度或饱和度等的参数值。在这个实施例中，增强单元160通过下述方式来自适应地调整上述参数值：应用在日本未审查专利申请公布No.2011-217010和No.2011-217140中描述的、被称为分类自适应处理的方法。
图6是图示根据这个实施例的增强单元160的具体配置的示例的框图。参见图6，增强单元160包括类别抽头提取单元161、分类单元162、预测抽头提取单元163、系数表164和预测计算单元165。
类别抽头提取单元161从输入图像提取用于分类各个像素的类别抽头。类别抽头是在根据像素值的模式将目标像素分类为多个类别中的任何一个时参考的目标像素和周围像素的集合。类别抽头可以例如是由5个水平像素和5个垂直像素构成的目标像素在中心的以十字形状布置的9个像素。类别抽头不限于这个示例，并且可以是目标像素和周围像素的任何集合。类别抽头提取单元161在扫描作为在输入图像中的目标像素的各个像素的同时依序向分类单元162输出对于各个目标像素提取的类别抽头。
分类单元162根据从类别抽头提取单元161接收的类别抽头的像素值的模式和由修改的深度信息表示的深度来将各个目标像素分类为多个类别中的任何一个。分类单元162可以通过使用例如自适应动态范围编码（ADRC）方法来确定每个目标像素的类别。可替代地，分类单元162可以通过量化由类别抽头的像素值和目标像素的深度构成的向量来确定每个目标像素的类别。分类单元162向预测抽头提取单元163和预测计算单元165输出用于表示对于各个目标像素确定的类别的类别代码。
预测抽头提取单元163对于每个目标像素从输入图像提取作为滤波器抽头的预测抽头，要在预测计算单元165中对该滤波器抽头执行滤波。预测抽头可以例如是以菱形形状布置的13个像素，其中，在对角线上布置5个像素，并且目标像素在中心。预测抽头不限于该示例，并且可以是目标像素和周围像素的任何集合。预测抽头提取单元163向预测计算单元165输出对于各个目标像素提取的预测抽头。
系数表164是存储预先确定的各个类别的滤波器系数的集合的表格。通过使用用于使用类别抽头和深度执行的分类的各个类别的教师图像和学生图像，可以在下述的初步学习处理中学习滤波器系数。
预测计算单元165从系数表164获得与由从分类单元162接收的类别代码指示的类别对应的滤波器系数。此外，预测计算单元165通过使用所获得的滤波器系数来对于从预测抽头提取单元163接收的预测抽头执行滤波，由此产生每个目标像素的预测像素值。
与输入图像的扫描一起依序从预测计算单元165输出的预测像素值构成来自图像处理设备100的输出图像。预先学习由预测计算单元165使用的滤波器系数，使得学生图像变得类似于通过下述方式产生的教师图像：使用与大气透视方法相关的视觉特性来增强学生图像的立体效果。因此，从通过使用滤波器系数的滤波产生的输出图像主观感知的立体效果大于从输入图像感知的立体效果。下面进一步描述用于分类自适应处理的学习处理。
增强单元160可以通过根据由修改的深度信息表示的深度调整诸如对比度、锐度、亮度、饱和度和分辨率的参数来增强立体效果，并且也可以通过去除噪声和模糊来改善图像质量。
1-7.处理的流程
（1）整体处理
图7是图示根据这个实施例的由图像处理设备100执行的图像处理的流程的示例的流程图。
参见图7，图像获得单元110在步骤110获得输入图像。然后，图像获得单元110向深度信息获得单元120、确定单元130和增强单元160输出所获得的输入图像。
在步骤S120中，深度信息获得单元120获得用于表示输入图像的各个像素的深度的深度信息。然后，深度信息获得单元120向修改单元150输出所获得的深度信息。
在步骤S130中，确定单元130确定输入图像的场景的类型以及输入图像的面部区域、形成目标对象的区域和边缘区域等。然后，确定单元130向修改单元150输出用于表示确定结果的信息（例如，场景标识符等）。
在步骤S140，修改单元150根据从确定单元130接收的确定结果来修改从深度信息获得单元120接收的深度信息，由此产生修改的深度信息。然后，修改单元150向增强单元160输出修改的深度信息。
在步骤S150中，增强单元160通过使用从修改单元150接收的修改的深度信息来执行用于增强输入图像的立体效果的立体效果增强处理。从增强单元160输出并且具有增强的立体效果的输出图像可以被显示在显示器上或者可以被存储在存储介质中。
（2）立体效果增强处理
图8是图示在图7中的步骤S150中执行的立体效果增强处理的特定流程的示例的流程图。通过将输入图像的每个像素看作目标像素来重复地执行在图8中所示的立体效果增强处理。
参见图8，在步骤S151中，类别抽头提取单元161提取由目标像素和目标像素的周围像素形成的类别抽头。然后，类别抽头提取单元161向分类单元162输出所提取的类别抽头。
在步骤S152中，分类单元162根据从类别抽头提取单元161接收的类别抽头和由修改的深度信息表示的深度来确定目标像素的类别。然后，分类单元162向预测抽头提取单元163和预测计算单元165输出用于表示所确定的类别的类别代码。
在步骤S153中，预测抽头提取单元163提取由目标像素和目标像素的周围像素形成的预测抽头。可以根据目标像素的类别来改变预测抽头的位置。预测抽头提取单元163向预测计算单元165输出所提取的预测抽头。
在步骤S154中，预测计算单元165从系数表164获得与目标像素的类别对应的滤波器系数。然后，在步骤S155中，预测计算单元165通过使用所获得的滤波器系数对于从预测抽头提取单元163接收的预测抽头执行滤波，由此产生目标像素的预测像素值。
在步骤S156中，如果在输入图像中存在未处理的像素，则通过将下一个像素看作目标像素来重复上述的处理。另一方面，如果没有未处理的像素，则在图8中的立体效果增强处理结束。
2.第二实施例
在第二实施例中，通过使用与在第一实施例中上述的方法类似的方法，在用于再现立体图像的设备中增强图像的立体效果。
图9是图示根据第二实施例的图像处理设备200的配置的示例的框图。参见图9，图像处理设备200包括图像获得单元210、深度信息获得单元220、确定单元230、辅助深度数据库140、修改单元250和增强单元260。
图像获得单元210获得包括左眼图像和右眼图像的多视角流，并且从所获得的流分离左眼图像和右眼图像。图像获得单元210向深度信息获得单元220、确定单元230和增强单元260输出左眼图像和右眼图像。
深度信息获得单元220获得用于表示立体图像的各个像素的深度的深度信息。像根据第一实施例的深度信息获得单元120那样，深度信息获得单元220可以通过使用诸如频率分析的方法来产生深度信息，或者可以从另一个设备获得深度信息。可替代地，深度信息获得单元220可以计算在左眼图像和右眼图像之间的视差，并且根据该视差来产生深度信息。深度信息获得单元220向修改单元250输出深度信息。
确定单元230通过使用左眼图像和右眼图像的至少一个来确定立体图像的内容。像根据第一实施例的确定单元130那样，确定单元230可以确定立体图像的场景的类型以及该立体图像的人的面部区域、形成目标对象的区域和边缘区域或纹理区域。确定单元230向修改单元250输出确定结果。
像根据第一实施例的修改单元150那样，修改单元250根据由确定单元230产生的确定结果来修改从深度信息获得单元220接收的基本深度信息，由此产生修改的深度信息。然后，修改单元250向增强单元260输出所产生的修改的深度信息。
增强单元260通过使用从修改单元250接收的修改的深度信息来执行立体效果增强处理，用于增强构成立体图像的右眼图像和左眼图像之一或两者的立体效果。在这个实施例中执行的立体效果增强处理是使用与大气透视方法相关的视觉特性的处理，并且类似于根据第一实施例的立体效果增强处理。即，可以根据由修改的深度信息表示的深度来调整右眼图像和左眼图像之一或两者的参数，诸如对比度、锐度、亮度、饱和度和分辨率。
在显示器上显示从增强单元260输出的右眼图像和左眼图像，并且由此再现立体图像。
一般地，当基于双眼视差感知的立体图像的视差被极度增强时，可能引起诸如眼睛疲劳的用户的不健康情况。然而，根据这个实施例的方法，使用与大气透视方法相关的视觉特性来增强右眼和左眼图像两者的立体效果，而不改变双眼视差。因此，可以提供具有增强的立体效果的立体图像，而不增大引起用户的不健康情况的风险。
3.滤波器系数的学习
以下，将给出学习处理的说明，该学习处理用于学习在向其应用了分类自适应处理的立体效果增强处理中使用的滤波器系数。
图10是描述用于立体效果增强处理的滤波器系数的学习的说明图。
参见图10，图像处理设备100和学习设备300被图示为示例。学习设备300通过使用学生图像和与学生图像对应的教师图像的多个集合来执行所谓的监督式学习处理。在此使用的教师图像是通过使用大气透视方法根据每个像素的深度来调整对应的学生图像的诸如对比度、锐度、亮度、饱和度和分辨率的参数的值而产生的图像。除了这些参数值的调整之外，可以执行噪声和模糊的去除。关于各个学生图像的深度信息也被输入到学习设备300。学习设备300根据学生图像的深度和像素值来确定各个像素的分类，并且对于分类的每一个学习最佳的滤波器系数的集合，以使得学生图像的像素值近似于对应的教师图像的像素值。在图10中所示的示例中，对于包括类别C1和C2的多个类别的每一个确定滤波器系数的集合。
图像处理设备100通过使用由学习设备300确定的各个类别的滤波器系数的集合从输入图像预测具有增强的立体效果的输出图像。即，图像处理设备100可以作为预测设备。图像处理设备100在图6中所示的系数表164中存储通过如上所述由学习设备300执行的初步学习处理确定的滤波器系数的集合。此外，图像处理设备100通过使用根据关于输入图像的内容的确定结果修改的深度信息来确定各个像素的类别，并且通过使用与确定的类别对应的滤波器系数对于各个像素的预测抽头执行滤波。
利用上述的分类自适应处理，可以通过使用用于各个像素的最佳滤波器系数的一个滤波处理来同时调整与大气透视方法相关的各个参数值。因此，与依序使用对于各个参数（例如，对比度调整滤波器、锐度调整滤波器和噪声去除滤波器）准备的多个滤波器的方法相比较，可以减小由立体效果增强处理引起的延迟。此外，可以防止在多个滤波器之间的滤波效果的相互抵消。
4.应用示例
根据本公开的技术可以被应用到各种电子设备，诸如：发送器，其广播或分发图像；接收器，其接收图像；记录设备，其在诸如光盘或磁盘的介质上记录图像；或者再现设备，其再现所接收或记录的图像。以下，将描述四个应用示例。
4-1.第一应用示例
图11图示应用了根据本公开的技术的电视设备的示意配置的示例。电视设备900包括天线901、调谐器902、去复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取期望频道的信号，并且解调所提取的信号。然后，调谐器902向去复用器903输出通过解调获得的编码比特流。即，调谐器902作为在电视设备900中的通信单元，用于接收包括编码图像的编码流。
去复用器903从编码比特流分离要观看和收听的目标节目的视频流和音频流，并且向解码器904输出所分离的流。此外，去复用器903从编码比特流提取诸如电子节目指南（EPG）的辅助数据，并且向控制单元910供应所提取的数据。如果编码比特流被加扰，则去复用器903可以执行解扰。
解码器904解码从去复用器903接收的视频流和音频流。然后，解码器904向视频信号处理单元905输出通过解码处理产生的视频数据。此外，解码器904向音频信号处理单元907输出通过解码处理产生的音频数据。
视频信号处理单元905再现从解码器904接收的视频数据，并且使得显示单元906显示视频。视频信号处理单元905可以使得显示单元906显示经由网络供应的应用画面。此外，视频信号处理单元905可以根据设置执行另外的处理，诸如噪声去除。此外，视频信号处理单元905可以产生图形用户接口（GUI）的图像，诸如菜单、按钮或光标，并且可以在输出图像上叠加所产生的图像。
显示单元906被从视频信号处理单元905供应的驱动信号驱动，并且在显示装置（例如，液晶显示器、等离子体显示器或有机发光二极管（OLED）显示器）的视频屏幕上显示视频或图像。
音频信号处理单元907对于从解码器904接收的音频数据执行包括D/A转换和放大的再现处理，并且使得扬声器908输出声音。音频信号处理单元907可以对于音频数据执行另外的处理，诸如噪声去除。
外部接口909是用于将电视设备900连接到外部设备或网络的接口。例如，解码器904可以解码经由外部接口909接收的视频流或音频流。即，外部接口909作为在电视设备900中的通信单元，用于接收包括编码图像的编码流。
控制单元910包括：处理器，诸如中央处理单元（CPU）；以及存储器，诸如随机存取存储器（RAM）和只读存储器（ROM）。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获得的数据。在存储器中存储的程序例如被CPU在电视设备900的启动时读取和执行。CPU执行程序，并且由此响应于例如从用户接口911接收的操作信号而控制电视设备900的操作。
用户接口911连接到控制单元910。用户接口911例如包括用户使用来操作电视设备900的按钮和开关以及用于接收遥控信号的接收单元。用户接口911经由这些元件来检测用户操作，以产生操作信号，并且向控制单元910输出所产生的操作信号。
总线912将调谐器902、去复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。
在具有上述配置的电视设备900中，视频信号处理单元905具有图像处理设备100或200的功能。因此，在电视设备900中显示图像的情况下，可以通过增强立体效果来提高主观图像质量。
4-2.第二应用示例
图12图示应用了根据本公开的技术的移动电话的示意配置的示例。移动电话920包括天线921、通信单元922、音频编码解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/去复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编码解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编码解码器923、相机单元926、图像处理单元927、复用/去复用单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。
移动电话920以包括语音呼叫模式、数据通信模式、拍摄模式和视频电话模式的各种模式执行各种操作，诸如音频信号的发送和接收、电子邮件（e-mail）或图像数据的发送和接收、图像捕获和数据记录。
在语音呼叫模式中，由麦克风915产生的模拟音频信号被供应到音频编码解码器923。音频编码解码器923将模拟音频信号转换为音频数据，模数转换音频数据，并且压缩音频数据。然后，音频编码解码器923向通信单元922输出所压缩的音频数据。通信单元922编码和调制音频数据以产生发送信号。然后，通信单元922经由天线921向基站（未示出）发送所产生的发送信号。此外，通信单元922放大经由天线921接收的无线电信号，并且对于其执行频率转换，由此获得接收信号。然后，通信单元922解调和解码接收信号以产生音频数据，并且向音频编码解码器923输出所产生的音频数据。音频编码解码器923解压缩和数模转换音频数据以产生模拟音频信号。然后，音频编码解码器923向扬声器924供应所产生的音频信号以输出语音。
在数据通信模式中，例如，控制单元931根据经由操作单元932执行的用户操作来产生构成电子邮件的字符数据。控制单元931使得显示单元930显示字符。此外，控制单元931响应于从用户经由操作单元932提供的发送指令来产生电子邮件数据，并且向通信单元922输出所产生的电子邮件数据。通信单元922编码和调制电子邮件数据以产生发送信号。然后，通信单元922经由天线921向基站（未示出）发送所产生的发送信号。此外，通信单元922放大经由天线921接收的无线电信号，并且对于其执行频率转换，由此获得接收信号。然后，通信单元922解调和解码接收信号以恢复电子邮件数据，并且向控制单元931输出所恢复的电子邮件数据。控制单元931使得显示单元930显示电子邮件的内容，并且在记录/再现单元929的存储介质中存储电子邮件数据。
记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是内置的存储介质，诸如RAM或快闪存储器，或者可以是外部存储介质，诸如硬盘、磁盘、磁光盘、光盘、通用串行总线（USB）存储器或存储卡。
在拍摄模式中，例如，相机单元926捕获主题的图像以产生图像数据，并且向图像处理单元927输出所产生的图像数据。图像处理单元927编码从相机单元926接收的图像数据，以产生编码流，并且在记录/再现单元929的存储介质中存储编码流。
在视频电话模式中，例如，复用/去复用单元928复用由图像处理单元927编码的视频流和从音频编码解码器923接收的音频流，并且向通信单元922输出复用流。通信单元922编码和调制复用流，以产生发送信号。然后，通信单元922经由天线921向基站（未示出）发送所产生的发送信号。此外，通信单元922放大经由天线921接收的无线电信号，并且对于其执行频率转换，由此获得接收信号。发送信号和接收信号可以包括编码比特流。通信单元922解调和解码接收信号以恢复流，并且向复用/去复用单元928输出恢复的流。复用/去复用单元928从接收的流分离视频流和音频流，并且向图像处理单元927输出视频流并且向音频编码解码器923输出音频流。图像处理单元927解码视频流以产生视频数据。视频数据被供应到显示单元930，并且在显示单元930上显示一系列图像。音频编码解码器923解压缩和数模转换音频流，由此产生模拟音频信号。然后，音频编码解码器923向扬声器924供应所产生的音频信号，以输出语音。
在具有上述配置的移动电话920中，图像处理单元927具有图像处理设备100或200的功能，因此，在移动电话920中记录或再现图像的情况下，可以通过增强立体效果来提高主观图像质量。
4-3.第三应用示例
图13图示应用了本公开的技术的记录/再现设备的示意配置的示例。记录/再现设备940编码所接收的广播节目的音频数据和视频数据，并且将它们记录在记录介质上。记录/再现设备940可以编码从另一个设备获得的音频数据和视频数据，并且将它们记录在记录介质上。此外，记录/再现设备940响应于从用户提供的指令在监视器和扬声器上再现在记录介质上记录的数据。此时，记录/再现设备940解码音频数据和视频数据。
记录/再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器（HDD）944、盘驱动器945、选择器946、解码器947、屏上显示（OSD）948、控制单元949和用户接口950。
调谐器941从经由天线（未示出）接收的广播信号提取期望的频道的信号，并且解调所提取的信号。然后，调谐器941向选择器946输出通过解调获得的编码比特流。即，调谐器941作为在记录/再现设备940中的通信单元。
外部接口942是用于连接记录/再现设备940和外部设备或网络的接口。外部接口942可以例如是IEEE1394接口、网络接口、USB接口或快闪存储器接口。例如，经由外部接口942接收的视频数据和音频数据被输入到编码器943。即，外部接口942作为在记录/再现设备940中的通信单元。
当从外部接口942接收的视频数据和音频数据未被编码时，编码器943编码视频数据和音频数据。然后，编码器943向选择器946输出编码比特流。
HDD944在其中设置的硬盘中记录包括压缩的视频和音频内容数据、各种程序和其他数据的编码比特流。此外，HDD944在再现图像和声音时从硬盘读出这些数据。
盘驱动器945在加载到其中的记录介质上记录数据并且从其读出数据。加载到盘驱动器945中的记录介质可以例如是数字通用盘（DVD），诸如DVD-视频（DVD-video）、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW或蓝光（Blu-ray）（注册商标）盘。
在视频和语音的记录期间，选择器946选择从调谐器941或编码器943接收的编码比特流，并且向HDD 944或盘驱动器945输出所选择的编码比特流。在视频和语音的再现期间，选择器946向解码器947输出从HDD 944或盘驱动器945接收的编码比特流。
解码器947解码编码比特流，以产生视频数据和音频数据。然后，解码器947向OSD 948输出所产生的视频数据。此外，解码器947向外部扬声器输出所产生的音频数据。
OSD 948再现从解码器947接收的视频数据，并且显示视频。OSD 948可以在所显示的视频上叠加GUI图像，诸如菜单、按钮或光标。
控制单元949包括：处理器，诸如CPU；以及存储器，诸如RAM和ROM。存储器存储由CPU执行的程序和程序数据。在存储器中存储的程序例如被CPU在记录/再现设备940的启动时读取和执行。CPU执行程序，并且由此响应于例如从用户接口950接收的操作信号而控制记录/再现设备940的操作。
用户接口950连接到控制单元949。用户接口950例如包括用户使用来操作记录/再现设备940的按钮和开关以及用于接收遥控信号的接收单元。用户接口950经由这些元件来检测由用户执行的操作，以产生操作信号，并且向控制单元949输出所产生的操作信号。
在具有上述配置的记录/再现设备940中，编码器943和解码器947具有图像处理设备100或200的功能。因此，在记录/再现设备940中记录或再现图像的情况下，可以通过增强立体效果来提高主观图像质量。
4-4.第四应用示例
图14图示应用了本公开的技术的图像捕获设备的示意配置的示例。图像捕获设备960捕获和产生主题的图像，编码图像的数据，并且在记录介质上记录数据。
图像捕获设备960包括光学块961、图像捕获单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接到图像捕获单元962。图像捕获单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970彼此连接。
光学块961包括聚焦透镜和光圈机构。光学块961在图像捕获单元962的图像捕获表面上形成主题的光学图像。图像捕获单元962包括诸如CCD或CMOS传感器的图像传感器，并且使用光电转换将在图像捕获表面上形成的光学图像转换为作为电子信号的图像信号。然后，图像捕获单元962向信号处理单元963输出图像信号。
信号处理单元963对于从图像捕获单元962接收的图像信号执行各种相机信号处理操作，诸如拐点校正、伽马校正和颜色校正。信号处理单元963向图像处理单元964输出已经被执行相机信号处理操作的图像数据。
图像处理单元964编码从信号处理单元963接收的图像数据以产生编码数据。然后，图像处理单元964向外部接口966或介质驱动器968输出所产生的编码数据。此外，图像处理单元964解码从外部接口966或介质驱动器968接收的编码数据，以产生图像数据。然后，图像处理单元964向显示单元965输出所产生的图像数据。图像处理单元964可以向显示单元965输出从信号处理单元963接收的图像数据以显示图像。此外，图像处理单元964可以在要向显示单元965输出的图像上叠加从OSD 969获得的用于显示的数据。
OSD 969产生GUI的图像，诸如菜单、按钮或光标，并且向图像处理单元964输出所产生的图像。
外部接口966被配置为例如USB输入/输出端子。外部接口966在例如打印图像时将图像捕获设备960连接到打印机。此外，如果需要，则将驱动器连接到外部接口966。例如，在驱动器中加载诸如磁盘或光盘的可移除介质，并且可以向图像捕获设备960内安装从可移除介质读出的程序。此外，外部接口966可以被配置为连接到诸如局域网（LAN）或因特网的网络的网络接口。即，外部接口966作为在图像捕获设备960中的通信单元。
加载到介质驱动器968中的记录介质可以是可读/可写存储介质，诸如磁盘、磁光盘、光盘或半导体存储器。可替代地，可以以固定方式在介质驱动器968中加载记录介质，使得可以配置非便携存储单元，诸如内置硬盘驱动器或固态驱动器（SSD）。
控制单元970包括：处理器，诸如CPU；以及存储器，诸如RAM和ROM。存储器存储由CPU执行的程序和程序数据。在存储器中存储的程序例如被CPU在图像捕获设备960的启动时读取和执行。CPU执行程序，并且由此响应于例如从用户接口971接收的操作信号而控制图像捕获设备960的操作。
用户接口971连接到控制单元970。用户接口971例如包括用户使用来操作图像捕获设备960的按钮和开关。用户接口971经由这些元件来检测由用户执行的操作，以产生操作信号，并且向控制单元970输出所产生的操作信号。
在具有上述配置的图像捕获设备960中，图像处理单元964具有图像处理设备100或200的功能。因此，在图像捕获设备960中记录或再现图像的情况下，可以通过增强立体效果来提高主观图像质量。
5.结论
已经参考图1至14详细描述了根据本公开的技术的两个实施例和它们的应用示例。根据上述实施例，根据关于输入图像的内容的确定结果来修改用于表示输入图像的各个像素的深度的深度信息，并且通过使用修改的深度信息来执行用于增强输入图像的立体效果的立体效果增强处理。因此，可以考虑可能取决于图像的内容的立体效果的感知来增强图像内容的立体效果。例如，根据使用在日本未审查专利申请公布No.2010-206362中提出的立体方法的技术，可以获得用于表示在相机和主题之间的距离的深度信息。然而，这样的深度信息不增大深度，虽然它在一定程度上再现深度。另一方面，根据上述的实施例，根据图像的内容来增大深度。即，例如，在风景图像中加强风景的程度，或者，在建筑物内部的图像中加强在建筑物中的身临其境的感觉。结果，可以有效地增大由用户体验的图像内容的主观图像质量。
根据上述实施例，确定输入图像的场景的类型，并且根据所确定的场景的类型来修改深度信息。因此，可以使用关于对于每种类型的场景体验的立体效果的感知的知识来修改深度信息，并且可以适当地增强立体效果。
根据上述实施例，确定在输入图像中的面部区域、形成目标对象的区域和边缘区域或纹理区域，并且修改这些区域的深度。因此，可以以区域为单位来选择性地增强或减小立体效果。
根据上述实施例，通过使用与大气透视方法相关的视觉特性来增强图像的立体效果。因此，不像在增强双眼视差的方法中那样，可以主观地增强立体效果，而不在用户上施加很多的身体负担。
可以通过使用软件、硬件与软件和硬件的组合的任何一个来实现在本说明书中描述的各个设备执行的一系列控制处理。构成软件的程序被预先例如存储于在每个设备内部或外部设置的存储介质中。程序的每个在执行时被读入RAM内，并且被诸如CPU的处理器执行。
图像处理设备100或200的功能可以被加载在云计算环境中。在该情况下，记录或再现图像的终端设备经由通信单元向具有与图像处理设备100或200的功能等同的功能的设备发送通过图像获得单元获得的要处理的目标图像，并且接收已经由该设备增强其立体效果的目标图像。这样的终端设备和图像处理设备100或200可以构成图像处理系统。
已经参考附图描述了本公开的实施例。本公开的技术范围不限于如上所述的实施例。对于本领域内的技术人员显然，本公开可以实现在所附的权利要求中描述的技术精神内的各种改变或修改，并且可以明白，这些改变或修改当然被包括在本公开的技术范围中。
本公开包含与在2012年1月26日在日本专利局中提交的日本在先专利申请JP 2012-014488中公开的主题相关的主题，其整体内容通过引用被包含在此。
Claims (18)
1.一种图像处理设备，包括：
修改单元，其被配置来根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；以及
增强单元，其被配置来执行立体效果增强处理，所述立体效果增强处理通过使用由所述修改单元产生的所述修改的深度信息来增强所述图像的立体效果。
2.根据权利要求1所述的图像处理设备，进一步包括：
确定单元，其被配置来确定在所述图像中包括的所述内容。
3.根据权利要求1所述的图像处理设备，
其中，所述确定单元确定所述图像的场景的类型，并且
其中，所述修改单元根据由所述确定单元确定的所述场景的类型来修改所述深度信息。
4.根据权利要求3所述的图像处理设备，
其中，所述修改单元通过组合所述深度信息和对于每种类型的场景预定义的辅助深度信息而修改所述深度信息。
5.根据权利要求1所述的图像处理设备，
其中，所述确定单元确定在所述图像中的人的面部区域，并且
其中，所述修改单元修改由所述确定单元确定的所述面部区域的深度。
6.根据权利要求1所述的图像处理设备，
其中，所述确定单元确定在所述图像中的形成目标对象的区域，并且
其中，所述修改单元修改由所述确定单元确定的形成所述目标对象的所述区域的深度。
7.根据权利要求1所述的图像处理设备，
其中，所述确定单元确定在所述图像中的边缘和纹理，并且
其中，所述修改单元修改形成由所述确定单元确定的所述边缘的区域的深度或形成由所述确定单元确定的所述纹理的区域的深度。
8.根据权利要求1所述的图像处理设备，
其中，所述增强单元通过使用与大气透视方法相关的视觉特性来增强所述图像的所述立体效果。
9.根据权利要求8所述的图像处理设备，
其中，所述增强单元增强所述图像的所述立体效果，使得包括对比度、锐度、亮度、饱和度和分辨率的参数的至少一个对于具有由所述修改的深度信息表示的较小深度的像素增大。
10.根据权利要求8所述的图像处理设备，
其中，所述增强单元增强所述图像的所述立体效果，使得包括对比度、锐度、亮度、饱和度和分辨率的参数的至少一个对于具有由所述修改的深度信息表示的较大深度的像素减小。
11.根据权利要求8所述的图像处理设备，
其中，所述增强单元通过下述方式来增强所述图像的所述立体效果：通过使用在初步学习处理中根据深度确定的滤波器系数来对于所述图像执行滤波。
12.根据权利要求11所述的图像处理设备，
其中，所述增强单元根据像素值和由所述修改的深度信息表示的深度来将每个像素分类为多个类别之一，并且通过使用在所述学习处理中对于每个类别确定的所述滤波器系数来对于包括所述像素和周围像素的滤波器抽头执行滤波。
13.根据权利要求12所述的图像处理设备，
其中，在通过使用多个集合执行的所述学习处理中对于每个类别确定所述滤波器系数，所述集合的每个包括学生图像和与所述学生图像对应的教师图像，所述教师图像具有通过使用所述大气透视方法增强的立体效果。
14.根据权利要求1所述的图像处理设备，
其中，所述图像对应于构成立体图像的右眼图像和左眼图像之一或两者，并且
其中，所述图像处理设备通过使得显示装置显示包括具有由所述增强单元增强的立体效果的所述图像在内的所述右眼图像和所述左眼图像来再现所述立体图像。
15.根据权利要求1所述的图像处理设备，进一步包括：
深度信息获得单元，其被配置来通过对于所述图像执行频率分析获得所述图像的所述深度信息，或者从另一个设备接收所述图像的所述深度信息，并且将所获得的深度信息提供给所述修改单元。
16.一种图像处理方法，包括：
根据在图像中包括的内容来修改用于表示所述图像的各个像素的深度的深度信息，由此产生修改的深度信息；并且
执行立体效果增强处理，所述立体效果增强处理通过使用所述修改的深度信息来增强所述图像的立体效果。
17.一种图像处理设备，包括：
图像获得单元，其被配置来获得要处理的目标图像；
发送单元，其被配置来向另一个图像处理设备发送所述目标图像，所述另一个图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及
接收单元，其被配置来从所述另一个图像处理设备接收具有由所述另一个图像处理设备增强的立体效果的所述目标图像。
18.一种图像处理方法，包括：
获得要处理的目标图像；
向图像处理设备发送所述目标图像，所述图像处理设备获得用于表示图像的各个像素的深度的深度信息，确定在所述图像中包括的内容，根据关于所述内容的确定结果来修改所述深度信息以产生修改的深度信息，并且执行通过使用所述修改的深度信息来增强所述图像的立体效果的立体效果增强处理；以及
从所述图像处理设备接收具有由所述图像处理设备增强的立体效果的所述目标图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-014488 | 2012-01-26 | ||
| JP2012014488A JP6024110B2 (ja) | 2012-01-26 | 2012-01-26 | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103226810A true CN103226810A (zh) | 2013-07-31 |
| CN103226810B CN103226810B (zh) | 2017-11-07 |
Family
ID=48837245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310018642.XA Expired - Fee Related CN103226810B (zh) | 2012-01-26 | 2013-01-18 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9317957B2 (zh) |
| JP (1) | JP6024110B2 (zh) |
| CN (1) | CN103226810B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902875A (zh) * | 2014-03-04 | 2014-07-02 | 百度在线网络技术（北京）有限公司 | 验证码图片的生成方法和装置及验证方法和装置 |
| CN106062781A (zh) * | 2014-04-30 | 2016-10-26 | 英派尔科技开发有限公司 | 图像分辨率修改 |
| CN106170084A (zh) * | 2015-05-21 | 2016-11-30 | 三星电子株式会社 | 多视点图像显示设备及其控制方法及多视点图像产生方法 |
| CN107040710A (zh) * | 2015-11-04 | 2017-08-11 | 联发科技股份有限公司 | 执行深度信息管理的方法和装置 |
| CN107660338A (zh) * | 2015-04-27 | 2018-02-02 | 微软技术许可有限责任公司 | 对象的立体显示 |
| CN107680064A (zh) * | 2017-10-31 | 2018-02-09 | 长沙准光里电子科技有限公司 | 计算机可读存储介质 |
| CN108776959A (zh) * | 2018-07-10 | 2018-11-09 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及终端设备 |
| US10223771B2 (en) | 2014-04-30 | 2019-03-05 | Empire Technology Development Llc | Image resolution modification |
| CN109816602A (zh) * | 2018-12-29 | 2019-05-28 | 维沃移动通信有限公司 | 一种图像的处理方法和终端 |
| CN110088799A (zh) * | 2016-11-09 | 2019-08-02 | 三星电子株式会社 | 图像处理设备和图像处理方法 |
| CN110352596A (zh) * | 2017-03-24 | 2019-10-18 | 株式会社半导体能源研究所 | 半导体装置、显示系统及电子设备 |
| CN110378945A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置和电子设备 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012249038A (ja) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | 画像信号処理装置、画像信号処理方法 |
| WO2013146066A1 (ja) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
| WO2013168667A1 (ja) * | 2012-05-09 | 2013-11-14 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
| US9152858B2 (en) | 2013-06-30 | 2015-10-06 | Google Inc. | Extracting card data from multiple cards |
| US8837833B1 (en) | 2013-06-30 | 2014-09-16 | Google Inc. | Payment card OCR with relaxed alignment |
| CN110326284B (zh) | 2017-03-27 | 2021-11-30 | 株式会社尼康 | 摄像装置及摄像元件 |
| CN109785843B (zh) * | 2017-11-14 | 2024-03-26 | 上海寒武纪信息科技有限公司 | 图像处理装置和方法 |
| JP7191514B2 (ja) * | 2018-01-09 | 2022-12-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7453948B2 (ja) | 2021-09-27 | 2024-03-21 | Ｔｖｓ Ｒｅｇｚａ株式会社 | 放送受信装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060061569A1 (en) * | 2004-09-21 | 2006-03-23 | Kunio Yamada | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
| US20090116732A1 (en) * | 2006-06-23 | 2009-05-07 | Samuel Zhou | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| CN101783024A (zh) * | 2009-01-21 | 2010-07-21 | 三星电子株式会社 | 利用深度信息对深度噪声进行滤波的方法及设备 |
| WO2010113859A1 (ja) * | 2009-03-31 | 2010-10-07 | シャープ株式会社 | 映像処理装置、映像処理方法及びコンピュータプログラム |
| CN102209248A (zh) * | 2010-03-31 | 2011-10-05 | 株式会社东芝 | 视差图像生成装置和方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2951291B2 (ja) * | 1997-06-17 | 1999-09-20 | 三洋電機株式会社 | ２次元映像を３次元映像に変換する装置および方法 |
| JPH10126708A (ja) | 1996-10-23 | 1998-05-15 | Hitachi Ltd | 画像信号の遠近感強調回路 |
| JPH10191397A (ja) * | 1996-12-27 | 1998-07-21 | Sanyo Electric Co Ltd | 意図適応型の２次元映像を３次元映像に変換する装置 |
| JPH11127456A (ja) * | 1997-10-23 | 1999-05-11 | Sony Corp | 映像表示装置および方法 |
| JP3540626B2 (ja) * | 1998-09-17 | 2004-07-07 | 三洋電機株式会社 | ２次元映像を３次元映像に変換する装置および方法 |
| JP2001157229A (ja) * | 1999-11-25 | 2001-06-08 | Olympus Optical Co Ltd | 映像表示装置 |
| JP4590134B2 (ja) * | 2001-07-18 | 2010-12-01 | オリンパス株式会社 | ３次元カメラ |
| JP2004200784A (ja) * | 2002-12-16 | 2004-07-15 | Nippon Telegr & Teleph Corp <Ntt> | ３次元映像端末装置、プログラムおよび記録媒体 |
| JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
| JP4214528B2 (ja) * | 2004-12-27 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
| JP4419139B2 (ja) * | 2004-12-27 | 2010-02-24 | 日本ビクター株式会社 | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム |
| JP2007264722A (ja) * | 2006-03-27 | 2007-10-11 | Victor Co Of Japan Ltd | 画像処理装置 |
| JP5147287B2 (ja) * | 2006-05-23 | 2013-02-20 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
| JP4952657B2 (ja) * | 2007-07-19 | 2012-06-13 | 株式会社Ｊｖｃケンウッド | 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法 |
| JP2009053748A (ja) * | 2007-08-23 | 2009-03-12 | Nikon Corp | 画像処理装置、画像処理プログラムおよびカメラ |
| JP2010154422A (ja) * | 2008-12-26 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置 |
| JP4963124B2 (ja) * | 2009-03-02 | 2012-06-27 | シャープ株式会社 | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
| JP5397190B2 (ja) * | 2009-11-27 | 2014-01-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5304714B2 (ja) * | 2010-04-09 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | 擬似立体画像生成装置及びカメラ |
| KR20120000485A (ko) * | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
| JP5087684B2 (ja) * | 2011-02-07 | 2012-12-05 | 株式会社東芝 | 画像処理装置、画像処理方法および画像表示装置 |
-
2012
- 2012-01-26 JP JP2012014488A patent/JP6024110B2/ja not_active Expired - Fee Related
-
2013
- 2013-01-18 US US13/744,508 patent/US9317957B2/en active Active
- 2013-01-18 CN CN201310018642.XA patent/CN103226810B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060061569A1 (en) * | 2004-09-21 | 2006-03-23 | Kunio Yamada | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
| US20090116732A1 (en) * | 2006-06-23 | 2009-05-07 | Samuel Zhou | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| CN101783024A (zh) * | 2009-01-21 | 2010-07-21 | 三星电子株式会社 | 利用深度信息对深度噪声进行滤波的方法及设备 |
| WO2010113859A1 (ja) * | 2009-03-31 | 2010-10-07 | シャープ株式会社 | 映像処理装置、映像処理方法及びコンピュータプログラム |
| CN102209248A (zh) * | 2010-03-31 | 2011-10-05 | 株式会社东芝 | 视差图像生成装置和方法 |
| US20110242280A1 (en) * | 2010-03-31 | 2011-10-06 | Nao Mishima | Parallax image generating apparatus and method |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902875B (zh) * | 2014-03-04 | 2017-06-20 | 百度在线网络技术（北京）有限公司 | 验证码图片的生成方法和装置及验证方法和装置 |
| CN103902875A (zh) * | 2014-03-04 | 2014-07-02 | 百度在线网络技术（北京）有限公司 | 验证码图片的生成方法和装置及验证方法和装置 |
| CN106062781A (zh) * | 2014-04-30 | 2016-10-26 | 英派尔科技开发有限公司 | 图像分辨率修改 |
| US10223771B2 (en) | 2014-04-30 | 2019-03-05 | Empire Technology Development Llc | Image resolution modification |
| CN107660338A (zh) * | 2015-04-27 | 2018-02-02 | 微软技术许可有限责任公司 | 对象的立体显示 |
| US11076147B2 (en) | 2015-04-27 | 2021-07-27 | Microsoft Technology Licensing, Llc | Stereoscopic display of objects |
| CN107660338B (zh) * | 2015-04-27 | 2020-08-04 | 微软技术许可有限责任公司 | 对象的立体显示 |
| CN106170084B (zh) * | 2015-05-21 | 2020-05-26 | 三星电子株式会社 | 多视点图像显示设备及其控制方法及多视点图像产生方法 |
| CN106170084A (zh) * | 2015-05-21 | 2016-11-30 | 三星电子株式会社 | 多视点图像显示设备及其控制方法及多视点图像产生方法 |
| CN107040710A (zh) * | 2015-11-04 | 2017-08-11 | 联发科技股份有限公司 | 执行深度信息管理的方法和装置 |
| CN110088799A (zh) * | 2016-11-09 | 2019-08-02 | 三星电子株式会社 | 图像处理设备和图像处理方法 |
| CN110088799B (zh) * | 2016-11-09 | 2023-10-27 | 三星电子株式会社 | 图像处理设备和图像处理方法 |
| CN110352596A (zh) * | 2017-03-24 | 2019-10-18 | 株式会社半导体能源研究所 | 半导体装置、显示系统及电子设备 |
| US10984703B2 (en) | 2017-03-24 | 2021-04-20 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device, display system which corrects image data, and electronic device |
| CN110352596B (zh) * | 2017-03-24 | 2023-04-25 | 株式会社半导体能源研究所 | 半导体装置、显示系统及电子设备 |
| CN107680064A (zh) * | 2017-10-31 | 2018-02-09 | 长沙准光里电子科技有限公司 | 计算机可读存储介质 |
| CN108776959A (zh) * | 2018-07-10 | 2018-11-09 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及终端设备 |
| CN109816602A (zh) * | 2018-12-29 | 2019-05-28 | 维沃移动通信有限公司 | 一种图像的处理方法和终端 |
| CN110378945A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130195347A1 (en) | 2013-08-01 |
| JP2013157671A (ja) | 2013-08-15 |
| US9317957B2 (en) | 2016-04-19 |
| JP6024110B2 (ja) | 2016-11-09 |
| CN103226810B (zh) | 2017-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103226810A (zh) | 图像处理设备和图像处理方法 | |
| JP5492087B2 (ja) | コンテンツベースの画像調整 | |
| CN102741879B (zh) | 由单眼图像产生深度图的方法及其系统 | |
| JP2011525746A (ja) | 三次元ビデオ映像処理方法及びその装置 | |
| KR101198320B1 (ko) | 2차원에서 3차원으로의 영상 변환 방법 및 장치 | |
| KR20150127070A (ko) | 비디오를 위한 픽토리얼 요약 | |
| CN102612697A (zh) | 用于视频图像的检测和增强的方法及系统 | |
| JP2014222874A (ja) | 視覚的関心に基づいた２次元映像の３次元映像変換器および変換方法 | |
| CN110463206B (zh) | 图像滤波方法、装置及计算机可读介质 | |
| CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
| CN102111634A (zh) | 图像处理设备和图像处理方法 | |
| CN103404156A (zh) | 图像处理装置和图像处理方法 | |
| CN103354997A (zh) | 图像处理设备和图像处理方法 | |
| CN103348685A (zh) | 图像处理装置和图像处理方法 | |
| CN103946871A (zh) | 图像处理装置、图像识别装置、图像识别方法以及程序 | |
| CN110310231B (zh) | 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法 | |
| CN101969557B (zh) | 图像记录设备、图像记录方法 | |
| CN102196279A (zh) | 图像处理装置、图像处理方法及程序 | |
| CN104067615A (zh) | 编码装置和编码方法以及解码装置和解码方法 | |
| CN105100895A (zh) | 无视频分辨率信息的视频与屏幕分辨率的匹配方法及装置 | |
| CN102883170B (zh) | 图像处理装置及图像处理方法 | |
| JP2013168739A (ja) | 画像処理システム、及び、画像処理方法 | |
| CN105007524A (zh) | 一种视频处理方法及装置 | |
| JP2008141749A (ja) | 画像表示装置、画像表示方法、プログラム、及び記録媒体 | |
| KR20130001635A (ko) | 깊이 맵 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171107 |