CN102349304A - 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质 - Google Patents

Abstract

根据本发明一个方面的图像显示装置能够提供在抑制数据传送量的同时高效地实现2D/3D混合表现的图像显示装置。该图像显示装置参考形状信息(1002)和关注区域图像信号(1001)来将第一视点的图像信号(1000)中的关注区域改变为作为与第一视点不同的视点的第二视点的图像信号，以利用第一视点的图像信号(1000)和获得的第二视点的图像信号来实现3D图像显示。

Description

图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质

技术领域

本发明涉及实现三维(3D)表现的图像显示技术，更具体地涉及在一幅图像中混合了二维(2D)表现和3D表现的图像显示技术。

背景技术

由于3D图像比2D图像具有更高的图像表现能力，因此对于图像显示技术的新近进展，更多的注意力被引导至3D图像。3D表现利用了人类通过右眼与左眼之间的视差将空间识别为三维的现象。

图8是示出实现3D表现的图像显示装置的配置的框图。3D图像显示单元102在考虑视差的情况下调整与一只眼的输入相对应的图像信号1000和与另一只眼的输入相对应的图像信号1003，使得这些信号被分别输入到右眼和左眼，从而实现人工的3D表现。

专利文献1公开了最立体效果出现在关注点附近区域的立体图像处理装置。在专利文献1中，关注点视差检测单元获得关注点附近的平均视差量与整个区域中的视差量之间的差分。平均视差量是从作为左眼图像与右眼图像之间的差分的视差信息获得的。滤波系数生成器基于该差分来计算用于每个区域的滤波系数。

利用由滤波系数生成器计算出的滤波系数，对显示出左眼图像信号和利用左眼图像信号和视差信息计算出的右眼图像信号的立体图像执行滤波处理，从而控制如下图像：被拍体和深度在关注点处偏离成模糊状态的图像。

引用列表

专利文献

专利文献1：日本未审查专利申请公开No.11-155154

发明内容

技术问题

在3D表现中要求要传送的图像数据量的减少。当图像显示装置通过传送路径接收图像信号以实现3D表现时，与每个视点相对应的图像信号需要被传送。此外，在专利文献1中，左眼图像信号和用于生成右眼图像信号的视差信息被传送。这样，与2D图像数据相比，3D图像数据中的数据量增多。

此外，在3D表现中，要求显示器功耗的降低。显示与单个视点的图像具有相同光量的多个视点的图像的显示器消耗更高的电力。一种在抑制数据传送量和功耗的同时实现高表现能力的方法包括2D/3D混合表现，在这种混合表现中，只有一幅图像中的关注区域被立体地表现。

本发明是考虑到这些情形而做出的。本发明意在提供如下的图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质：其能够高效地实现在抑制数据传送量的同时具有高表现能力的2D/3D混合表现。

问题的解决方案

根据本发明第一示例性方面的图像显示装置包括：用于对第二图像信号和接收的第一图像信号进行组合以获得第三图像信号的装置，第二图像信号是第一图像信号的关注区域中的图像信号并且具有视差；以及用于利用第三视频信号和第一视频信号来执行立体显示的装置。

根据本发明的第二示例性方面的图像显示装置包括：视差图像生成器，用于接收第一视点的图像信号、关注区域图像信号和关注区域形状信息，将第一视点的图像信号中的关注区域改变为作为不同视点的图像的关注区域视差图像信号，以生成第二视点的图像信号，所述关注区域图像信号是关注区域中的图像信号；以及三维图像显示单元，用于利用第一视点的图像信号和第二视点的图像信号执行三维图像显示。

根据本发明的第三示例性方面的图像生成装置生成：第一视点的图像信号；关注区域图像信号，该关注区域图像信号是关注区域中的图像信号；以及关注区域形状信息。

根据本发明的第四示例性方面的图像显示方法包括：对第二图像信号和接收的第一图像信号进行组合以生成第三图像信号，第二图像信号是第一图像信号的关注区域中的图像信号并且具有视差；以及利用第三图像信号和第一图像信号来执行立体显示。

根据本发明的第五示例性方面的图像显示方法包括：接收第一视点的图像信号、关注区域图像信号和关注区域形状信息，将第一视点的图像信号中的关注区域改变为作为不同视点的图像的关注区域视差图像信号，以生成第二视点的图像信号，所述关注区域图像信号是关注区域中的图像信号；以及利用第一视点的图像信号和第二视点的图像信号执行三维图像显示。

根据本发明的第六示例性方面的图像生成方法生成：第一视点的图像信号；关注区域图像信号，该关注区域图像信号是关注区域中的图像信号；以及关注区域形状信息，该关注区域形状信息表明关注区域的位置和/或形状。

根据本发明的第七示例性方面的存储图像显示装置的程序的非暂时计算机可读介质使得计算机执行以下处理：对第二图像信号和接收的第一图像信号进行组合以生成第三图像信号，第二图像信号是第一图像信号的关注区域中的图像信号并且具有视差；以及利用第三图像信号和第一图像信号来执行立体显示。

根据本发明的第八示例性方面的存储图像显示装置的程序的非暂时计算机可读介质使得计算机执行以下处理：接收第一视点的图像信号、关注区域图像信号和关注区域形状信息，将第一视点的图像信号中的关注区域改变为作为不同视点的图像的关注区域视差图像信号，以生成第二视点的图像信号，所述关注区域图像信号是关注区域中的图像信号，所述关注区域形状信息表明关注区域的位置和/或形状；以及利用第一视点的图像信号和第二视点的图像信号执行三维图像显示。

根据本发明的第九示例性方面的存储图像生成装置的程序的非暂时计算机可读介质使得计算机执行生成以下各项的处理：第一视点的图像信号；关注区域图像信号，该关注区域图像信号是关注区域中的图像信号；以及关注区域形状信息，该关注区域形状信息表明关注区域的位置和/或形状。

发明的有利效果

根据本发明，可以提供图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质，其能够高效地实现在抑制数据传送量的同时具有高的图像表现能力的2D/3D混合表现。

附图说明

图1是示出根据第一示例性实施例的图像显示装置的配置的框图；

图2是示出根据第一示例性实施例的图像显示装置中的视差图像生成器的一个配置示例的框图；

图3是示出根据第一示例性实施例的图像显示装置中的视差图像生成器的配置的另一示例的框图；

图4是示出根据第二示例性实施例的图像显示装置的配置的框图；

图5是示出根据第三示例性实施例的图像显示装置的配置的框图；

图6是示出根据第四示例性实施例的图像显示装置的配置的框图；

图7是示出根据第四示例性实施例的图像显示装置中的视差图像生成器的一个配置示例的框图；并且

图8是示出实现3D表现的图像显示装置的配置的框图。

具体实施方式

第一示例性实施例

参考图1，将描述根据本发明第一示例性实施例的图像显示装置的配置。图1是示出根据第一示例性实施例的图像显示装置100的配置的框图。如图1所示，图像显示装置100包括视差图像生成器101和3D图像显示单元102。图像显示装置100执行仅立体地表现图像中的关注区域的2D/3D混合显示，以抑制数据传送量和功耗。

图像显示装置100接收图像信号1000、关注区域图像信号1001和关注区域形状信息。图像信号1000是以3D形式显示的一个视点的图像信号。关注区域图像信号1001是用于生成以3D形式显示的关注区域的另一视点的图像的信号。在第一示例性实施例中，关注区域形状信息包括形状信息1002，形状信息1002是表明关注区域的位置和/或形状的信号。

视差图像生成器101参考图像信号1000、关注区域图像信号1001和形状信息1002来将关注区域图像信号1000替换为来自不同视点的图像，以生成视差图像信号1003。3D图像显示单元102接收图像信号1000和视差图像信号1003以显示3D图像。

现在参考图2和图3，将描述视差图像生成器101的配置示例。图2和图3是各自示出视差图像生成器101的配置示例的框图。在图2所示的示例中，视差图像生成器101包括关注区域图像变换器103和关注区域图像组合单元104。

在图2所示的示例中，关注区域图像变换器103接收关注区域图像信号1001和形状信息1002。关注区域图像变换器103参考形状信息1002对关注区域图像信号1001执行变换处理，以生成关注区域视差图像信号1004。关注区域视差图像信号1004是通过将第一视点图像信号中的关注区域变换成不同视点图像而获得的图像信号。

将详细描述图2所示的视差图像生成器101中的处理。作为变换处理的示例，图2所示的视差图像生成器101执行几何变换。执行几何变换以将关注区域图像信号1001变换成来自特定视点的图像。特别地，当根据包括观看者位置在内的状况的变化来交互式地改变3D表现时，几何变换是重要的。

关注区域图像变换器103参考形状信息1002中包括的几何信息参数以实现几何变换，该几何变换生成来自特定视点的图像。几何变换的具体示例包括仿射变换和透明变换。几何变换的一种技术包括由关注区域图像变换器103根据视点位置来改变关注区域图像信号1001的水平位置。

关注区域图像组合单元104接收图像信号1000、形状信息1002和关注区域视差图像信号1004。关注区域图像合成单元104参考形状信息1002来组合关注区域视差图像信号1004和关注区域的图像信号1000，以生成视差图像信号1003。

在图3所示的示例中，关注区域图像变换器103除了接收关注区域图像信号1001和形状信息1002之外还接收图像信号1000。图3所示的关注区域图像变换器103与图2所示示例的不同之处在于其除了参考形状信息1002之外还参考图像信号1000。

将详细描述图3所示的视差图像生成器101中的处理。关注区域图像变换器103基于关注区域图像信号1001和图像信号1000的信号分布来计算变换程度，对关注区域图像信号1001执行变换处理，以生成关注区域视差图像信号1004。图3所示的关注区域图像变换器103中执行的变换处理的示例包括诸如亮度和饱和度之类的灰度变换以及频域中的滤波。

当执行灰度变换时，关注区域图像变换器103参考关注区域图像信号1001和图像信号1000，以基于与这些图像信号的灰度有关的分布信息来计算灰度变换参数。关注区域图像变换器103根据计算出的灰度变换参数对关注区域图像信号1001执行灰度变换。

灰度变换的具体示例包括灰度补偿处理和灰度增强处理。灰度补偿处理是用于在图像信号1000的灰度和关注区域图像信号1001的灰度不同时变换关注区域图像信号1001的灰度以便在其与图像信号1000相组合时产生自然视图的处理。

灰度增强处理是用于提高关注区域图像信号1001的灰度以提高关注区域的刺激从而减轻3D不适感的处理，该3D不适感是由于称为辐辏调节冲突的生理现象引起的。

在这两种情况下，关注区域图像变换器103基于图像信号1000的灰度分布信息和关注区域图像信号1001的灰度分布信息来计算不会使得观看者感到不适的灰度变换程度来实现处理。灰度分布信息的一个示例包括亮度平均。

执行频域中的滤波以使得关注区域图像信号1001锐利。当执行频域中的滤波时，关注区域图像变换器103参考关注区域图像信号1001和图像信号1000来基于这些频域的分布信息计算滤波处理参数。关注区域图像变换器103然后根据所计算的滤波处理参数执行滤波处理，以便使得关注区域图像信号1001锐利。

滤波处理的具体示例包括边缘增强。关注区域图像变换器103基于图像信号1000的频率分量的分布信息和关注区域图像信号1001的频率分量的分布信息来计算不使得观看者感到不适的关注区域锐度，从而实现处理。灰度分布信息的一个示例包括高频分量的功率。

关注区域图像组合单元104中执行的组合处理包括将图像信号1000中的关注区域替换为关注区域视差图像信号1004的逻辑加法处理，以及将图像信号1000与关注区域视差图像信号1004相混合(加权相加)的算术加法处理。算术加法处理进一步包括在关注区域中以同一比率混合图像信号1000和关注区域视差图像信号1004的情况和针对关注区域中的每个要素来改变图像信号1000与关注区域视差图像信号1004的比率的情况。关注区域具有矩形形状或者任意形状。

当组合处理是逻辑加法处理时，在关注区域是矩形的情况下，形状信息1002是表明顶点的坐标信息。当关注区域是任意形状时，形状信息1002是具有表明图像中的各个像素是否包括在关注区域中的两个值的图像信号。当组合处理是算术加法处理并且混合比率恒定时，关注区域形状信息还包括混合比率。当混合比率不恒定时，关注区域形状信息包括具有多个值的图像信号，这多个值表明关注区域中的像素的各自混合比率。

虽然在第一示例性实施例中描述的是视差图像生成器101包括关注区域图像变换器103和关注区域图像组合单元104的示例，但是其不限于该示例。本发明也可应用于视差图像生成器101仅包括关注区域图像组合单元104的情况。在这样的情况中，关注区域图像信号1001可被作为关注区域视差图像信号1004来执行处理。

输入到关注区域图像变换器103和关注区域图像组合单元104的形状信息1002随时间变化的情况也包括在本发明的范围内。如上所述，根据第一示例性实施例，可以仅为关注区域生成另一视点的图像，这允许了视差图像的高效生成。

第二示例性实施例

参考图4，将描述根据本发明第二示例性实施例的图像显示装置的配置。图4是示出根据第二示例性实施例的图像显示装置200的配置的框图。在图4中，与图1所示相同的组件用相同标号表示，并将适当省略对其的描述。

如图4所示，图像显示装置200除了包括视差图像生成器101和3D图像显示单元102之外还包括图像变换器110。与第一示例性实施例相似，图像显示装置200执行仅立体地表现图像的关注区域的2D/3D混合显示，以抑制数据传送量和功耗。

图像变换器110接收图像信号1000和关注区域图像信号1001。图像变换器110参考关注区域图像信号1001来执行降低图像信号1000的可见度的变换处理，以生成图像信号1010。在下面的处理中，图像信号1010被作为图1所示的图像信号1000，并且与第一示例性实施例中相同的处理被执行。

图像变换器110中的变换处理包括灰度变换、频域中的滤波等等。灰度变换降低关注区域外部的灰度以便实现关注区域的相对增强或者降低3D图像显示单元102中的功耗。当执行灰度变换时，图像变换器110参考关注区域图像信号1001和图像信号1000来基于与这些图像信号的灰度有关的分布信息计算灰度变换参数。图像变换器110然后根据计算出的灰度变换参数执行降低图像信号1000的灰度的处理。

更具体地，图像变换器110基于图像信号1000和关注区域图像信号1001这两者的灰度分布信息，在考虑用于观看者的自然图像和功耗的降低程度这两者的情况下计算灰度降低程度，以执行灰度变换。

频域的滤波包括诸如羽化处理之类的降低关注区域外部的锐度以实现关注区域的相对增强的处理。当执行滤波处理时，图像变换器110参考关注区域图像信号1001和图像信号1000来基于这些图像信号的频域分布信息计算滤波处理参数。图像变换器110然后根据计算出的滤波处理参数来执行降低图像信号1000的图像锐度的滤波处理。

具体地，图像变换器110基于图像信号1000和关注区域图像信号1001的频率分量的分布信息来确定不使得观看者感到不适的关注区域外部的锐度，从而执行处理。

虽然在图4所示的示例性实施例中，图像变换器110参考关注区域图像信号1001来执行变换处理，但是本发明可应用于如下情况：图像变换器110参考关注区域图像信号1001和形状信息1002这两者，或者仅参考形状信息1002。

当图像变换器110参考关注区域图像信号1001和形状信息1002这两者时，图像变换器110参考形状信息1002仅对图像信号1000的关注区域外部的信号执行变换处理。

当图像变换器110仅参考形状信息1002时，图像变换器110通过参考整个图像信号1000的信号分布和图像信号1000的关注区域中的信号分布来确定变换程度，从而实现处理。

如上所述，根据第二示例性实施例，图像变换器110可以对关注区域外部的信号执行变换处理。这实现了对关注区域的具有高表现能力的2D/3D混合显示。

第三示例性实施例

参考图5，将描述根据本发明第三示例性实施例的图像显示装置的配置。图5是示出根据第三示例性实施例的图像显示装置300的配置的框图。在图5中，与图1所示相同的组件用相同标号表示，并将适当省略对其的描述。

如图5所示，图像显示装置300除了包括视差图像生成器101和3D图像显示单元102之外还包括图像解码器105、关注区域图像解码器106和关注区域形状信息解码器107。与上述示例性实施例相似，图像显示装置300执行仅立体地表现图像的关注区域的2D/3D混合显示，以抑制数据传送量和功耗。

图像解码器105对第一编码数据1005解码以生成图像信号1000，对第二编码数据1006解码以生成关注区域图像信号1001，并且对第三编码数据1007解码以生成形状信息1002。在对各个编码数据解码之后，可以执行与第一示例性实施例中所述处理相同的处理。

第三示例性实施例还在图5所示的图像显示装置包括图4所示的图像变换器110时是有效的。在这种情况下，图像变换器110对由图像解码器105解码的图像信号1000执行变换处理。这样获得的图像信号1010可被作为图5所示的图像信号1000，以执行与第二示例性实施例相似的处理。

当实现3D表现的两个视点的图像中的一幅图像被以另一图像的差分形式传送时，除了关注区域之外的所有部分被编码为“0”。在第三示例性实施例中，仅针对关注区域来编码另一视点的图像，从而高效地执行编码。当关注区域是任意形状的，当一个视点的图像被给定了透明度并且另一视点的图像在显示时与这一个视点的图像重叠时，或者当3D表现被根据观看状况而改变时，本发明是特别有效的。

虽然在第三示例性实施例中描述了作为接收侧的图像显示装置，但是本发明可应用于向本发明的图像显示装置输出数据的图像生成装置。当图像显示装置具有图1所示的配置时，图像生成装置输出图像信号1000、关注区域图像信号1001和形状信息1002。

当图像显示装置是图5所示的示例性实施例时，图像生成装置输出图像信号1000的编码数据1005、关注区域图像信号1001的编码数据1006和形状信息1002的编码数据1007。具体地，这种情况下的图像生成装置包括对图像信号1000编码以生成第一编码数据的图像编码单元、对关注区域图像信号1001编码以生成第二编码数据的关注区域图像编码单元以及对形状信息1002编码以生成第三编码数据的关注区域形状信息编码单元。

第四示例性实施例

参考图6和图7，将描述根据本发明第四示例性实施例的图像显示装置的配置。图6是示出根据第四示例性实施例的图像显示装置400的配置的框图。在图6中，与图1所示相同的组件用相同标号表示，并将适当省略对其的描述。在第四示例性实施例中，关注区域形状信息包括形状信息1002和深度图像信号1008，形状信息1002是表明关注区域的位置和/或形状的信号，深度图像信号1008是表明在三维空间中图像中的被拍体与视点之间的距离的信号。

图像显示装置400包括视差图像生成器111和3D图像显示单元102。图像显示装置400接收图像信号1000、深度图像信号1008和形状信息1002。与第一示例性实施例相比，根据第四示例性实施例的图像装置400不接收关注区域图像信号1001。第四示例性实施例与第一示例性实施例的不同之处还在于：输入深度图像信号1008作为关注区域形状信息。与第一和第二示例性实施例相似，根据第三示例性实施例的图像装置400执行仅立体地显示图像中的关注区域的2D/3D混合显示。

现在将描述深度图像信号1008。深度图像信号1008是表明在三维空间中图像中的被拍体与视点之间的距离的信号。从视点到被拍体的距离可以由用于深度图像信号1008的一个像素的八个比特来表达。在第四示例性实施例中，深度图像信号1008被描述为表明与图像信号1000相对应的深度的信号。

根据第四示例性实施例的图像显示装置400参考形状信息1002来从图像信号1000中提取关注区域图像信号1001。图像显示装置400参考形状信息1002和深度图像信号1008将关注区域图像信号1001变换成关注区域视差图像信号1004，以生成视差图像信号1003。

接下来，将描述根据第四示例性实施例的视差图像生成器111。图7是示出根据第四示例性实施例的视差图像生成器111的示图。视差图像生成器111包括关注区域图像提取单元120、关注区域图像变换器108和关注区域图像组合单元104。

关注区域图像提取单元120接收图像信号1000和形状信息1002。关注区域图像提取单元120参考形状信息1002从图像信号1000中取出关注区域图像信号1001，从而输出关注区域图像信号1001。

关注区域图像变换器108基于形状信息1002、深度图像信号1008和从关注区域图像提取单元120输出的关注区域图像信号1001来生成关注区域视差图像信号1004。

关注区域图像组合单元104基于图像信号1000、形状信息1002和关注区域视差图像信号1004生成视差图像信号1003，并将视差图像信号1003输出到3D图像显示单元102。

现在将对关注区域图像变换器108进行描述。关注区域图像变换器108参考关注区域形状信息1002和深度图像信号1008，以将从关注区域图像提取单元120输出的关注区域图像信号1001变换成关注区域视差图像信号1004。

关注区域图像变换器108基于从深度图像信号1008获得的视差量对关注区域图像信号1001的每个像素执行移位处理。关注区域图像信号1001中的像素(u，v)的移位量Δu(u，v)由式(1)给出。

$u(u,v)=\frac{\mathrm{IOD}}{z(u,v)}\·\frac{1}{\tan (\mathrm{Fov}/2)}\·\·\·\·\left(1\right)$

在式(1)中，z(u，v)表示与关注区域图像信号1001中的像素(u，v)相对应的三维空间中的点与视点之间的距离，并且可以从深度图像信号1008来计算。注意，IOD是不同视点之间的距离，Fov表示视角。

关注区域图像变换器108利用计算出的移位量将关注区域图像信号1001的(u，v)像素值置于关注区域视差图像信号的坐标(u+Δu，v)。这样，生成了关注区域视差图像信号1004。

在第四示例性实施例中，通过参考形状信息1002从图像信号1000生成关注区域图像信号1001。然后，通过参考形状信息1002和深度图像信号1008从关注区域图像信号1001生成关注区域视差图像信号1004。此外，通过参考形状信息1002从图像信号1000和关注区域视差图像信号1004生成视差图像信号1003。利用图像信号1000和视差图像信号1003实现了仅立体地表现图像中的关注区域的2D/3D混合显示。根据第四示例性实施例，可以通过参考深度图像信号来显示对于观看者的视点具有适当视差的图像。

当图像显示装置是图6所示的示例性实施例时，图像生成装置输出图像信号1000、形状信息1002和深度图像信号1008。具体地，这种情况下的图像生成装置包括输出图像信号1000的图像信号输出单元、输出形状信息1002的关注区域形状信息输出单元以及输出深度图像信号1008的深度图像信号输出单元。

虽然在第四示例性实施例中，关注区域图像信号1001是由图像信号1000和形状信息1002生成的，但是这也可以应用于第一至第三示例性实施例。

虽然在上述示例性实施例中将本发明描述为硬件配置，但是本发明不限于此。本发明可以通过使中央处理单元(CPU)执行计算机程序来实现任何处理。

程序可被利用任何类型的非暂时计算机可读介质来存储并提供给计算机。非暂时计算机可读介质包括任何类型的有形存储介质。非暂时计算机可读介质的示例包括磁存储介质(例如磁盘、磁带、硬盘驱动器等等)、光磁存储介质(例如磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W和半导体存储器(例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM(随机存取存储器)等等)。程序可被利用任何类型的暂时计算机可读介质提供给计算机。暂时计算机可读介质的示例包括电信号、光信号和电磁波。暂时计算机可读介质可以将程序经由有线通信线路(例如点线或光纤)或者无线通信线路提供给计算机。

产业上的适应性

本发明适用于包括可执行3D表现的显示器的图像接收终端或者向图像接收终端传送图像的图像传送系统。注意，本发明不限于上述示例性实施例，而是可在不脱离本发明精神的情况下适当改变。

虽然参考示例性实施例描述了本发明，但是本发明不受上述示例性实施例的限制。本发明的配置和细节可在本发明的范围内按照本领域技术人员能够理解的方式来不同地改变。

本申请要求2009年3月20日提交的日本专利申请No.2009-081969的优先权并通过引用将其全部结合于此。

标号

100    图像显示装置

101    视差图像生成器

102    3D图像显示单元

103    关注区域图像变换器

104    关注区域图像组合单元

105    图像解码器

106    关注区域图像解码器

107    关注区域形状解码器

108    关注区域图像变换器

110    图像变换器

111    视差图像生成器

120    关注区域图像提取单元

1000   图像信号

1001   关注区域图像信号

1002   形状信息

1003   视差图像信号

1004   关注区域视差图像信号

1005   第一编码数据

1006   第二编码数据

1007   第三编码数据

1008   深度图像信号

1010   图像信号

Claims (52)

1.一种图像显示装置，包括：

视差图像生成装置，用于接收第一视点图像信号、关注区域图像信号和关注区域形状信息，将所述第一视点图像信号中的关注区域改变为作为不同视点图像的关注区域视差图像信号，以生成第二视点图像信号，所述关注区域图像信号是所述第一视点图像信号的关注区域中的图像信号；以及

三维图像显示装置，用于利用所述第一视点图像信号和所述第二视点图像信号执行三维图像显示。

2.根据权利要求1所述的图像显示装置，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

3.根据权利要求2所述的图像显示装置，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

4.根据权利要求2或3所述的图像显示装置，还包括关注区域图像提取单元，用于参考所述第一视点图像信号和所述关注区域形状信息来生成所述关注区域图像信号。

5.根据权利要求1所述的图像显示装置，还包括：

图像解码装置，用于对第一编码数据进行解码以生成所述第一视点图像信号；

关注区域图像解码装置，用于对第二编码数据进行解码以生成所述关注区域图像信号；以及

关注区域形状信息解码装置，用于对第三编码数据进行解码以生成所述关注区域形状信息。

6.根据权利要求1所述的图像显示装置，还包括图像变换装置，用于参考所述关注区域图像信号对输入图像信号执行降低可见度的信号处理，以生成所述第一视点图像信号。

7.根据权利要求6所述的图像显示装置，还包括：

图像解码装置，用于对第一编码数据进行解码以生成所述输入图像信号；

关注区域图像解码装置，用于对第二编码数据进行解码以生成所述关注区域图像信号；以及

关注区域形状信息解码装置，用于对第三编码数据进行解码以生成所述关注区域形状信息。

8.根据权利要求1至7中任一项所述的图像显示装置，其中，所述视差图像生成装置还包括：

关注区域图像变换装置，用于参考所述第一视点图像信号和所述关注区域形状信息对所述关注区域图像信号执行变换处理，以生成所述关注区域视差图像信号；以及

关注区域图像组合装置，用于参考所述关注区域形状信息对所述关注区域视差图像信号和所述第一视点图像信号进行组合，以生成所述第二视点图像信号。

9.根据权利要求8所述的图像显示装置，其中，所述关注区域图像变换装置参考所述关注区域形状信息中包括的几何信息参数来执行几何变换，该几何变换生成来自指定视点的图像。

10.根据权利要求8所述的图像显示装置，其中，所述关注区域图像变换装置参考所述关注区域图像信号和所述第一视点图像信号来基于与这些图像信号的灰度有关的分布信息计算灰度变换参数，以根据所述灰度变换参数对所述关注区域图像信号执行灰度变换。

11.根据权利要求8所述的图像显示装置，其中，所述关注区域图像变换装置参考所述关注区域图像信号和所述第一视点图像信号来基于这些图像信号的频域分布信息计算滤波处理参数，以根据所述滤波处理参数对所述关注区域图像信号执行使图像锐利的滤波处理。

12.根据权利要求6或7所述的图像显示装置，其中，所述图像变换装置参考所述关注区域图像信号和所述输入图像信号来基于与这些图像信号的灰度有关的分布信息计算灰度变换参数，以根据所述灰度变换参数对所述输入图像信号执行降低灰度的处理。

13.根据权利要求6或7所述的图像显示装置，其中，所述图像变换装置参考所述关注区域图像信号和所述输入图像信号来基于这些图像信号的频域分布信息计算滤波处理参数，以根据所述滤波处理参数对所述输入图像信号执行降低图像锐度的滤波处理。

14.一种图像显示方法，包括：

接收第一视点图像信号、关注区域图像信号和关注区域形状信息，将所述第一视点图像信号中的关注区域改变为作为不同视点图像的关注区域视差图像信号，以生成第二视点图像信号，所述关注区域图像信号是所述第一视点图像信号的关注区域中的图像信号；以及

利用所述第一视点图像信号和所述第二视点图像信号执行三维图像显示。

15.根据权利要求14所述的图像显示方法，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

16.根据权利要求15所述的图像显示方法，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

17.根据权利要求15或16所述的图像显示方法，还包括参考所述第一视点图像信号和所述关注区域形状信息来生成所述关注区域图像信号。

18.根据权利要求15所述的图像显示方法，还包括：

对第一编码数据进行解码以生成所述第一视点图像信号；

对第二编码数据进行解码以生成所述关注区域图像信号；以及

对第三编码数据进行解码以生成所述关注区域形状信息。

19.根据权利要求14所述的图像显示方法，还包括参考所述关注区域图像信号对输入图像信号执行降低可见度的信号处理，以生成所述第一视点图像信号。

20.根据权利要求19所述的图像显示方法，还包括：

对第一编码数据进行解码以生成所述输入图像信号；

对第二编码数据进行解码以生成所述关注区域图像信号；以及

对第三编码数据进行解码以生成所述关注区域形状信息。

21.根据权利要求14至20中任一项所述的图像显示方法，包括：当生成所述视差图像时，

参考所述第一视点图像信号和所述关注区域形状信息对所述关注区域图像信号执行变换处理，以生成所述关注区域视差图像信号；以及

参考所述关注区域形状信息对所述关注区域视差图像信号和所述第一视点图像信号进行组合，以生成所述第二视点图像信号。

22.根据权利要求21所述的图像显示方法，包括：当生成所述关注区域视差图像信号时，参考所述关注区域形状信息中包括的几何信息参数来执行几何变换，该几何变换生成来自指定视点的图像。

23.根据权利要求21所述的图像显示方法，包括：当生成所述关注区域视差图像信号时，参考所述关注区域图像信号和所述第一视点图像信号来基于与这些图像信号的灰度有关的分布信息计算灰度变换参数，以根据所述灰度变换参数对所述关注区域图像信号执行灰度变换。

24.根据权利要求21所述的图像显示方法，包括：当生成所述关注区域视差图像信号时，参考所述关注区域图像信号和所述第一视点图像信号来基于这些图像信号的频域分布信息计算滤波处理参数，以根据所述滤波处理参数对所述关注区域图像信号执行使图像锐利的滤波处理。

25.根据权利要求19或20所述的图像显示方法，包括：当生成所述第一视点图像信号时，参考所述关注区域图像信号和所述输入图像信号来基于与这些图像信号的灰度有关的分布信息计算灰度变换参数，以根据所述灰度变换参数对所述输入图像信号执行降低灰度的处理。

26.根据权利要求19或20所述的图像显示方法，包括：当生成所述第一视点图像信号时，参考所述关注区域图像信号和所述输入图像信号来基于这些图像信号的频域分布信息计算滤波处理参数，以根据所述滤波处理参数对所述输入图像信号执行降低图像锐度的滤波处理。

27.一种存储图像显示装置的程序的非暂时计算机可读介质，该非暂时计算机可读介质使得执行以下处理：

接收第一视点图像信号、关注区域图像信号和关注区域形状信息，将所述第一视点图像信号中的关注区域改变为作为不同视点图像的关注区域视差图像信号，以生成第二视点图像信号，所述关注区域图像信号是作为图像的部分区域的关注区域中的图像信号；以及

利用所述第一视点图像信号和所述第二视点图像信号执行三维图像显示。

28.根据权利要求27所述的存储图像显示装置的程序的非暂时计算机可读介质，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

29.根据权利要求28所述的存储图像显示装置的程序的非暂时计算机可读介质，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

30.根据权利要求28或29所述的存储图像显示装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质使得参考所述第一视点图像信号和所述关注区域形状信息来生成所述关注区域图像信号。

31.根据权利要求27所述的存储图像显示装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质使得执行以下处理：

图像解码处理，用于对第一编码数据进行解码以生成所述第一视点图像信号；

关注区域图像解码处理，用于对第二编码数据进行解码以生成所述关注区域图像信号；以及

关注区域形状信息解码处理，用于对第三编码数据进行解码以生成所述关注区域形状信息。

32.根据权利要求27所述存储图像显示装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质使得参考所述关注区域图像信号对输入图像信号执行降低可见度的信号处理，以生成所述第一视点图像信号。

33.根据权利要求32所述的存储图像显示装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质还使得执行以下处理：

对第一编码数据进行解码以生成所述输入图像信号；

对第二编码数据进行解码以生成所述关注区域图像信号；以及

对第三编码数据进行解码以生成所述关注区域形状信息。

34.根据权利要求27至33中任一项所述的存储图像显示装置的程序的非暂时计算机可读介质，其中，生成所述第二视点图像信号的处理执行以下处理：

参考所述第一视点图像信号和所述关注区域形状信息对所述关注区域图像信号执行变换处理，以生成所述关注区域视差图像信号；以及

参考所述关注区域形状信息对所述关注区域视差图像信号和所述第一视点图像信号进行组合，以生成所述第二视点图像信号。

35.一种图像显示装置，包括：

用于对第二图像信号和接收的第一图像信号进行组合以获得第三图像信号的装置，所述第二图像信号是所述第一图像信号的关注区域中的图像信号并且具有视差；以及

用于利用所述第三视频信号和所述第一视频信号来执行立体显示的装置。

36.根据权利要求35所述的图像显示装置，还包括：用于参考所述第二图像信号来执行降低第四图像信号的可见度的变换处理以生成所述第一图像信号的装置。

37.一种图像生成装置，该装置生成：

第一视点图像信号；

关注区域图像信号，该关注区域图像信号是所述第一视点图像信号的关注区域中的图像信号；以及

关注区域形状信息。

38.根据权利要求37所述的图像生成装置，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

39.根据权利要求38所述的图像生成装置，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

40.根据权利要求37至39中任一项所述的图像生成装置，包括：

图像编码装置，用于对所述第一视点图像信号进行编码以生成第一编码数据；

关注区域图像编码装置，用于对所述关注区域图像信号进行编码以生成第二编码数据；以及

关注区域形状信息编码装置，用于对所述关注区域形状信息进行编码以生成第三编码数据。

41.一种图像显示方法，包括：

对第二图像信号和接收的第一图像信号进行组合以生成第三图像信号，所述第二图像信号是所述第一图像信号的关注区域中的图像信号并且具有视差；以及

利用所述第三图像信号和所述第一图像信号来执行立体显示。

42.根据权利要求41所述的图像显示方法，包括：参考所述第二图像信号来执行降低第四图像信号的可见度的变换处理，以生成所述第一图像信号。

43.一种图像生成方法，该方法生成：

第一视点图像信号；

关注区域图像信号，该关注区域图像信号是关注区域中的图像信号；以及

关注区域形状信息。

44.根据权利要求43所述的图像生成方法，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

45.根据权利要求44所述的图像生成方法，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

46.根据权利要求43至45中任一项所述的图像生成方法，包括：

对所述第一视点图像信号进行编码以生成第一编码数据；

对所述关注区域图像信号进行编码以生成第二编码数据；以及

对所述关注区域形状信息进行编码以生成第三编码数据。

47.一种存储图像显示装置的程序的非暂时计算机可读介质，该非暂时计算机可读介质使得执行以下处理：

对第二图像信号和接收的第一图像信号进行组合以生成第三图像信号，所述第二图像信号是所述第一图像信号的关注区域中的图像信号并且具有视差；以及

利用所述第三图像信号和所述第一图像信号来执行立体显示。

48.根据权利要求47所述的存储图像显示装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质使得：参考所述第二图像信号来执行降低第四图像信号的可见度的变换处理，以生成所述第一图像信号。

49.一种存储图像生成装置的程序的非暂时计算机可读介质，该非暂时计算机可读介质使得执行生成以下各项的处理：

第一视点图像信号；

关注区域图像信号，该关注区域图像信号是关注区域中的图像信号；以及

关注区域形状信息。

50.根据权利要求49所述的存储图像生成装置的程序的非暂时计算机可读介质，其中，所述关注区域形状信息是表明所述关注区域的位置和/或形状的信号。

51.根据权利要求50所述的存储图像生成装置的程序的非暂时计算机可读介质，其中，所述关注区域形状信息还包括深度图像信号，该深度图像信号表明在三维空间中，所述关注区域中的视点与图像中的被拍体之间的距离。

52.根据权利要求49至51中任一项所述的存储图像生成装置的程序的非暂时计算机可读介质，所述非暂时计算机可读介质使得执行以下处理：

对所述第一视点图像信号进行编码以生成第一编码数据；

对所述关注区域图像信号进行编码以生成第二编码数据；以及

对所述关注区域形状信息进行编码以生成第三编码数据。

Images