CN102438157B - 图像处理装置和方法 - Google Patents
图像处理装置和方法 Download PDFInfo
- Publication number
- CN102438157B CN102438157B CN201110235797.XA CN201110235797A CN102438157B CN 102438157 B CN102438157 B CN 102438157B CN 201110235797 A CN201110235797 A CN 201110235797A CN 102438157 B CN102438157 B CN 102438157B
- Authority
- CN
- China
- Prior art keywords
- data
- left eye
- right eye
- image
- display pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims description 84
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 68
- 238000003384 imaging method Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 5
- 238000004513 sizing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供了图像处理装置和方法。一种处理装置可包括左眼和右眼内容数据处理单元,所述左眼和右眼内容数据处理单元可被配置为分别接收用于表示左眼内容显示图案的左眼内容数据和用于表示右眼内容显示图案的右眼内容数据。所述内容数据处理单元还可被配置为分别设置左眼和右眼内容显示图案的内容显示位置。所述设置可分别基于包括在由左眼和右眼背景数据表示的背景显示图案中的虚拟屏幕显示图案的位置。所述装置还可包括输出单元,该输出单元可被配置为通过分别将左眼内容数据与左眼背景数据组合并且将右眼内容数据与右眼背景数据组合来创建输出数据。所述组合可分别基于左眼和右眼内容显示位置。输出数据可表示左眼和右眼输出显示图案。
Description
对于相关申请的交叉引用
本申请要求2010年8月18日提交的申请号为2010-183179的日本专利申请的优先权,其整体内容通过引用被包含在此。
技术领域
本公开涉及图像处理装置、方法和程序,更具体地,涉及当在大屏幕上显示小尺寸图像时能够更有效地显示该图像而不会使图像质量变差的图像处理装置、方法和程序。
背景技术
当例如以放大的方式在大屏幕HDTV(高清晰度电视)上观看使用模拟时代的摄像机记录的图像时,主体的轮廓可能太重,并且头转换部分和手部模糊可能不够悦目。然而,在没有任何改变地显示尺寸比显示屏幕小的图像的情况下,不会出现图像质量的变差,并且可以看到具有高分辨率的图像,但是围绕该图像的黑带变大,并且观众会奇怪为什么不能全屏地观看该图像。
现在,关于与图像的显示相关的技术,提出了一种技术,其中,当播放光盘中的内容时实现画中画功能(例如,参见公开号为2005-123775的日本未审查的专利申请)。
发明内容
然而,利用上面的相关技术,不能在不使图像质量变差的情况下以有效的方式将小尺寸的图像显示在比该图像大的屏幕上。例如,利用实现画中画功能的技术,两个内容仅被并行显示,因此不能说这有效地显示了图像。而且,在被并行显示的内容中,在要被显示得更大的内容的图像的尺寸小于显示屏幕的情况下,必须放大显示该图像,从而使得图像质量变差。
已经发现,所期望的是,当在大屏幕上显示小尺寸图像时能够更有效地显示该图像,而不使图像质量变差。
因此,公开了一种处理装置,用于将内容数据与背景数据组合。所述处理装置可包括左眼内容数据处理单元,该左眼内容数据处理单元可被配置为接收用于表示左眼内容显示图案的左眼内容数据。该左眼内容数据处理单元还可被配置为基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置。所述处理装置还可包括右眼内容数据处理单元,该右眼内容数据处理单元可被配置为接收用于表示右眼内容显示图案的右眼内容数据。该右眼内容数据处理单元还可被配置为基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置。此外,所述处理装置还可包括输出单元,该输出单元可被配置为:基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据。该输出单元还可被配置为基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
还公开了一种用于将内容数据与背景数据组合的方法。处理器可以执行程序以使得处理装置执行所述方法。所述程序可以被存储在非易失性的计算机可读存储介质上。所述方法可以包括:接收用于表示左眼内容显示图案的左眼内容数据。所述方法还可以包括:基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置。另外,所述方法还可以包括:接收用于表示右眼内容显示图案的右眼内容数据。所述方法还可以包括:基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置。所述方法还可以包括:基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据。此外,所述方法还可以包括:基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
根据上述配置,当在大屏幕上显示小尺寸的图像时,可以更有效地显示该图像,而不使图像质量变差。
附图说明
图1是示出应应用本公开的图像处理装置的一个实施例的一个配置示例的图;
图2是示出背景图像的一个示例的图;
图3是用于描述背景图像产生处理的流程图;
图4是用于描述内容播放处理的流程图;
图5是示出图像处理装置的另一配置示例的图;
图6是用于描述内容播放处理的流程图;
图7是示出图像处理装置的一个外部配置示例的图;
图8是示出图像处理装置的一个功能配置示例的图;
图9是用于描述内容播放处理的流程图;以及
图10是示出计算机的一个配置示例的框图。
具体实施方式
将参考附图来描述已应用本公开的实施例。
本公开的一个实施例提供了一种处理装置。该处理装置可用于将内容数据与背景数据组合并且可以包括:左眼内容数据处理单元,该左眼内容数据处理单元被配置为:接收用于表示左眼内容显示图案的左眼内容数据,并基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置;右眼内容数据处理单元,该右眼内容数据处理单元被配置为:接收用于表示右眼内容显示图案的右眼内容数据,并基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置;以及输出单元,该输出单元被配置为:基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据;并基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
本公开的一个实施例提供了一种处理方法。该方法可以将内容数据与 背景数据组合在一起并且可包括:接收用于表示左眼内容显示图案的左眼内容数据;基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置;接收用于表示右眼内容显示图案的右眼内容数据;基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置;基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据;以及基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
本公开的实施例还提供了一种非易失性的计算机可读存储介质,用于存储程序,当所述程序被处理器执行时使得处理装置执行上述处理方法。下面将描述本公开的一些具体实施例。
第一实施例
图像处理装置的配置
图1是示出已应用本公开的图像处理装置的一个实施例的一个配置示例的图。图像处理装置11包括下述部分:时钟产生单元(即软件模块、硬件模块或者软件模块和硬件模块的组合)21、转动单元22、成像单元23、背景图像产生单元24、记录单元25、视频输出单元26(即原始内容数据处理单元)、I/P(Interlace/Progressive,隔行/逐行)转换单元27-1(即内容数据转换单元)、I/P转换单元27-2(即内容数据转换单元)、主图像处理单元28-1(即,左眼内容数据处理单元)、主图像处理单元28-2(即右眼内容数据处理单元)、几何变形单元29-1(Geometric Deforming Unit,即内容数据变形单元)、几何变形单元29-2(即内容数据变形单元)、背景图像处理单元30-1(即背景数据处理单元)、背景图像处理单元30-2(即背景数据处理单元)、输出切换单元31(即输出单元)、转换单元32-1(即输出数据转换单元)、转换单元32-2(即输出数据转换单元)和显示单元33。
图像处理装置11在例如HDTV尺寸的显示屏幕上显示诸如SDTV(标准清晰度电视)等内容的图像(以下称为“主图像”(即,左眼和/或右眼内容显示图案)),并且进一步显示作为围绕该主图像的背景的图像(以下称为“背景图像”(即左眼和/或右眼背景显示图案))。
时钟产生单元21产生时钟,作为用于整个图像处理装置11的操作定时的参考,并且将其提供给图像处理装置11中的每一部分。图像处理装置11的各部分与从时钟产生单元21提供的时钟同步地操作。
转动单元22支撑成像单元23,并且还以成像单元23的成像装置的光接收面的中心作为旋转中心,沿着预定方向来转动成像单元23。成像单元23接收从主体输入的光,并且对其进行光电转换,由此形成所述主体的图像。例如,在要产生背景图像的情况下,成像单元23将要在背景图像中显示的剧院等作为主体来成像。
背景图像产生单元24基于从成像单元23提供的多个图像来产生背景图像,并且将其提供到记录单元25。这里,背景图像是与主图像一起合成和显示时可以获得与主图像为一体的感觉的图像,如,该背景图像为已经被提供屏幕的剧院、已经被提供电视接收机或屏幕的诸如起居室等房间等。
而且,背景图像的大小,即构成背景图像的像素的数量,与例如显示单元33的显示屏幕的大小(构成显示屏幕的像素的数量)相同,并且背景图像包括用于左眼的背景图像和用于右眼的背景图像,以便显示立体图像。这里,用于左眼的图像是向用户提供以使用其左眼观看的图像,并且用于右眼的图像是向用户提供以使用其右眼观察的图像,用于执行图像的立体显示的情形。
记录单元25存储从背景图像产生单元24提供的多个背景图像和从外部获取的主图像,并且根据用户指令向视频输出单元26提供主图像和背景图像。
视频输出单元26根据从记录单元25提供的图像的使用来切换图像的输出目的地。例如,在主图像是立体图像的情况下,视频输出单元26分别向IP转换单元27-1和IP转换单元27-2提供用于左眼的主图像和用于右眼的主图像。在主图像是二维图像而不用于立体显示的情况下,视频输出单元26向IP转换单元27-1和IP转换单元27-2提供相同的主图像,作为用于左眼和用于右眼的主图像。而且,视频输出单元26分别向背景图像处理单元30-1和背景图像处理单元30-2提供用于左眼的背景图像和用于右眼的背景图像。
IP转换单元27-1和IP转换单元27-2适当地对从视频输出单元26提供的主图像进行I/P转换,并且将其提供到主图像处理单元28-1和主图像 处理单元28-2。由于这种I/P转换,主图像从隔行格式图像转换(即,重新格式化)为逐行格式图像。注意,在主图像是使用逐行扫描来获得的情况下,将跳过该I/P转换处理。
主图像处理单元28-1和主图像处理单元28-2对从IP转换单元27-1和IP转换单元27-2提供的主图像进行各种类型的图像处理和色彩矩阵转换,以调整对比度和亮度(brightness)等,并且将其提供到几何变形单元29-1和几何变形单元29-2。几何变形单元29-1和几何变形单元29-2对从主图像处理单元28-1和主图像处理单元28-2提供的主图像进行几何变形,并且提供到输出切换单元31。
注意,下文中,在不必对IP转换单元27-1和IP转换单元27-2进行单独区分的情况下,也将其简称为IP转换单元27,并且在不必对主图像处理单元28-1和主图像处理单元28-2进行单独区分的情况下,也将其简称为主图像处理单元28。而且,下文中,在不必对几何变形单元29-1和几何变形单元29-2进行单独区分的情况下,也将其简称为几何变形单元29。
背景图像处理单元30-1和背景图像处理单元30-2对从视频输出单元26提供的用于左眼和用于右眼的背景图像进行诸如辉度(luminance)调整等图像处理,并且提供到输出切换单元31。注意,下文中,在不必对背景图像处理单元30-1和背景图像处理单元30-2进行单独区分的情况下,也将其简称为背景图像处理单元30。
输出切换单元31向转换单元32-1或转换单元32-2提供来自几何变形单元29的主图像和来自背景图像处理单元30的背景图像中的一个或另一个。例如,在显示单元33的显示屏幕上显示图像(即,左眼和/或右眼输出显示图案)的情况下,输出切换单元31以光栅扫描顺序(raster scan order)来选择构成显示屏幕的像素,并且向转换单元32-1或转换单元32-2输出要显示的图像的在所选像素处的像素的数据(即,左眼和/或右眼输出数据)。因此,如果要例如在所选像素处来显示主图像,则主图像的与这些像素对应的像素的数据(即,左眼和/或右眼内容数据)被输出到转换单元32-1或转换单元32-2,并且在要在所选像素处来显示背景图像的情况下,背景图像的与这些像素对应的像素的数据(即,左眼和/或右眼背景数据)被输出到转换单元32-1或转换单元32-2。具体地说,用于左眼的图像被提供到转换单元32-1,并且用于右眼的图像被提供到转换单元32-2。
转换单元32-1和转换单元32-2对从输出切换单元31提供的图像的色 系进行转换,并且提供到显示单元33。具体地说,利用转换单元32-1和转换单元32-2,将图像的色系从YCbCr(4:2:2)转换为YCbCr(4:4:4)。注意,下文中,在不必对转换单元32-1该转换单元32-2进行单独区分的情况下,其也被简称为转换单元32。
显示单元33执行对从转换单元32提供的图像的立体显示。注意,显示单元33的图像的立体显示格式可以是任何格式,如透镜格式(Lenticular format)或场序遮挡格式(field-sequential shutter format)等。
显示模式的描述
这里,在对显示单元33的图像进行显示的情况下,图像处理装置11被设置为使得可以选择剧院背景模式或放大尺寸模式中的一个,作为显示模式。剧院背景模式是将背景图像和主图像合成并且显示通过合成而获得的图像的模式。而放大尺寸模式是将图像适当放大以匹配显示单元33的显示屏幕并且显示该图像的模式。
例如,如图2中所示,在要在剧院背景模式下显示主图像的情况下,已经被获供有屏幕SC11的剧院的背景图像被显示在显示单元33的整个显示屏幕H11上,并且在屏幕SC11的中间部分处显示主图像P11。在剧院背景模式下,预先准备的背景图像和主图像P11以一体的感觉而被有效地显示,由此,观看主图像P11的用户会感到好象正在剧院中观看内容一样。
在图2的示例中,主图像P11是SDTV尺寸的图像,其中,在垂直方向和水平方向上的像素的数量小于构成附图中的显示屏幕H11的像素在垂直方向和水平方向上的数量,并且以原始尺寸来显示主图像P11,既不放大也不缩小。而且,在显示屏幕H11的中间显示主图像P11,并且背景图像的屏幕SC11位于与主图像P11相同高度的位置处。
在背景图像中,屏幕SC11(即,左眼和/或右眼虚拟屏幕显示图案)位于中间,而用于进入和退出剧院的门被设置在屏幕SC11附近。而且,在附图中,背景图像中的底部(对于用户来说,看起来更靠近用户的位置处)设置有多个座椅,并且在附图上部的天花板上设置有用于在剧院内照明的灯。
这种背景图像被渲染为使得主图像P11看起来更大。例如,当在显示单元33中进行对背景图像的立体显示时,屏幕SC11的视差(disparity)增大,而附图中更靠近的座椅的视差变小,从而表现出背景图像的深度。
而且,可以进行设置,以通过将诸如更靠近的座椅显示得更大以及通 过将诸如剧院顶部的墙壁等朝着显示屏幕H11的中心升起以具有深度感等各种效果,使得用户感觉到显示主图像P11的屏幕SC11位于远端,等等。
人脑具有下述习惯:即使远处物体在视网膜上的投影小,也会认为其实际上是大的。因此,通过表现出深度从而使用户能够感觉到背景图像中的屏幕SC11位于远端,可以使用户感觉到正在以大尺寸显示主图像P11。
具体地说,通过将人能够在心理上识别其大小的物体(如人、座椅和门灯等,即用户熟悉的物体)定位于背景图像的屏幕SC11近处,可以使用户容易地认为屏幕SC11位于附图中的远端。而且,人脑以尺寸为用户所熟悉的物体作为参考来估计位于物体附近的屏幕SC11的尺寸,因此以小尺寸来显示用户熟悉的物体会使得屏幕SC11看起来较大。
而且,人眼以模糊的方式来观看比正被聚焦的物体近的物体。在正在观看主图像P11的同时,用户应当聚焦于显示主图像P11的屏幕SC11上,因此可以通过下述方式来使用户感觉到更进一步的深度感:以模糊的方式来显示座椅,座椅越靠近,则使它们看起来越模糊。
注意,虽然将继续以提供有屏幕的剧院内的图像作为背景图像来进行说明,但是背景图像并不限于这个示例,而可以是布置有要显示主图像的位置的任何地点的图像。
对背景图像产生处理的描述
接下来,将描述图像处理装置11的操作。例如,在图像处理装置11被设置为在剧院等中作为背景图像的主体并且通过用户操作来指示背景图像的产生的情况下,图像处理装置11执行背景图像产生处理,以产生背景图像。现在参考图3中的流程图来描述由图像处理装置11执行的背景图像产生处理。
在步骤S11中,成像单元23以剧院等作为主体,在改变成像角度的同时执行多次成像,例如所述多次成像包括重叠部分,并且成像单元23向背景图像产生单元24提供通过成像而获得的图像。即,转动单元22以成像单元23的成像装置的光接收面的中心作为旋转中心、在预定方向上转动成像单元23。成像单元23在被转动单元22转动的同时在时间上连续地形成多个图像。因此,同一主体会包含于连续形成的图像中的几个图像中。
在步骤S12中,背景图像产生单元24使用从成像单元23提供的多个图像来执行转换处理,以产生用于左眼的背景图像。
即,背景图像产生单元24将图像排列在虚拟平面上,使得在来自成 像单元23的多个图像中的同一主体的部分重叠。然后,背景图像产生单元24基于作为每一图像上的预设参考的参考位置来切除每一图像中的一部分,作为带状图像,例如,从平面上的某一图像中的参考位置到与该图像相邻的另一图像中的与所述参考位置相同的位置处的特定图像区域被切除,作为带状图像。在将从图像中的每一个中切除的带状图像排列于平面上的状态下,背景图像产生单元24将这些带状图像合成为一个图像,由此产生用于左眼的背景图像。
在以这种方式获得用于左眼的背景图像时,转动单元22在预定方向上将成像单元23平行移动与预定的视差对应的距离,使得用于左眼的背景图像和用于右眼的背景图像具有预定的视差。
随后,执行步骤S13和步骤S14的处理,以产生用于右眼的背景图像,但是这些处理是与步骤S11和步骤S12相同的处理,所以将省略对其的说明。即,在产生用于左眼的背景图像的时间从不同的视角形成多个图像,并且通过使用对所形成的图像的缝合处理来产生用于右眼的背景图像。
在步骤S15中,背景图像产生单元24执行对已经产生的用于右眼和左眼的背景图像的投影变换。更具体地,例如,在获得如图2中所示的背景图像的情况下,背景图像产生单元24从该背景图像中检测方形屏幕SC11的四个顶点,并且执行对背景图像的投影变换,使得连接所述顶点的方形在形状上是矩形的。由此,进行对屏幕SC11的投影,以使其与显示单元33的显示表面平行。
在步骤S16中,背景图像产生单元24执行对用于右眼和用于左眼的背景图像的视差调整。
例如,背景图像产生单元24放大或缩小用于左眼和右眼的背景图像,或移动(平移)背景图像,使得在用于左右眼的背景图像中,屏幕SC11为相同的大小和相同的位置。在以这种状态执行对背景图像的立体显示的情况下,屏幕SC11被定位在显示单元33的显示屏幕的位置处,并且座椅越靠近,则从观察显示单元33的用户来看,比屏幕SC11更靠近用户的座椅看起来比显示单元33的显示屏幕更近。
背景图像产生单元24然后移位用于左右眼的背景图像,使得图2中的最靠近的座椅的靠背被定位在显示单元33的显示屏幕的位置处,且从用户来看,屏幕SC11被定位得被显示单元33的显示屏幕远,并且对背景图像的视差进行调整。在通过视差调整而获得最终的背景图像时,背景图像 产生单元24向记录单元25提供所获得的用于左右眼的背景图像,以记录所述背景图像,从而结束背景图像产生处理。
注意,为背景图像准备了屏幕SC11的多个不同的位置,以匹配主图像的尺寸。而且,可以进行设置,以准备具有不同的主体的多个背景图像。因此,图像处理装置11在转动的状态下形成多个图像,并且通过缝合处理来合成所获得的图像,从而产生背景图像。
因此,通过利用缝合处理来产生背景图像,可以将具有较高分辨率的图像用作背景图像。例如,在使用剧院作为背景图像的主体的情况下,由于剧院内较暗,因此成像单元23的光圈应当打开得宽以用于成像。因此,使用通过在剧院中成像而获得的一个图像作为背景图像会导致主体模糊以及主体分辨率低。另一方面,执行对要被用作一个图像的多个图像的缝合处理会使得能够获得具有较高分辨率的背景图像。
对内容播放处理的描述
而且,在用户操作图像处理装置11以执行对作为内容的主图像的播放时,图像处理装置11执行内容播放处理,并且播放所指示的主图像。现在参考图4中的流程图来说明根据图像处理装置11的内容播放处理。
在步骤S41中,视频输出单元26确定剧院背景模式是否被选择为显示模式。
在步骤S41中,在确定剧院背景模式作为显示模式的情况下,视频输出单元26从记录单元25中读出指定的主图像(即,用于表示包括左眼和/或右眼原始内容显示图案的原始内容显示图案的原始内容数据)和背景图像,并且处理进行到步骤S42。
在步骤S42中,视频输出单元26适当地对从记录单元25读出的主图像执行放大/缩小处理。
例如,在主图像是所谓的因特网内容等并且小于VGA(视频图形阵列)图像的情况下,视频输出单元26执行对主图像的放大,使得主图像是VGA所指定的大小。在主图像是SDTV图像或720p图像的情况下,既不放大和也不缩小主图像。
而且,在主图像是1080i图像或1080p图像的情况下,将主图像缩小为720p图像的大小。此时,在主图像中存在黑带(黑屏)(即,黑带显示图案)的情况下,视频输出单元26从主图像中去除黑带,并且进一步地,在黑带部分中存在字幕(即,字幕显示图案)的情况下,将字幕重新插入 于主图像的显示内容的部分中,即重新插入于不是黑带的部分中。例如,利用图2中的图像,缩小后的图像在垂直方向上为720像素,并且在水平方向上为958像素、1332像素或1692像素。
而且,更详细而言,视频输出单元26执行修剪(即,裁剪),以将主图像的边缘部分区域去除例如与过扫描的数量对应的、主图像的整个尺寸的5%至15%的宽度。例如,在主图像是SDTV图像并且没有放大或缩小的情况下,仅执行对主图像的修剪,并且在主图像是1080p且主图像中包括黑带的情况下,从主图像中去除黑带图像,并且执行进一步的修剪,其后,缩小主图像。
在适当地执行了对主图像的放大和缩小(即,改变大小)后,视频输出单元26向IP转换单元27提供主图像,并且还向背景图像处理单元30提供背景图像。注意,从记录单元25中读取与适当的修剪、放大或缩小后的主图像的尺寸匹配的背景图像。
在步骤S43中,IP转换单元27适当地执行对从视频输出单元26提供的主图像的I/P转换,并且将主图像转换为逐行格式的图像。
而且,IP转换单元27适当地对主图像执行帧速率转换,使得主图像的帧速率是24Hz。将主图像的帧速率从60Hz转换为24Hz(例如电影中经常使用的)使得观看主图像的用户能够体验到如同他/她在剧院中的现场感。
在执行I/P转换和帧转换后,IP转换单元27向主图像处理单元28提供作为其结果而获得的主图像。
在步骤S44中,主图像处理单元28对从IP转换单元27提供的主图像执行图像处理。例如,主图像处理单元28将主图像进行图像处理,使得主图像的图像质量改善,并且使得主图像看起来象电影一样。
具体地说,主图像处理单元28减低主图像的辉度值使得整个主图像的辉度被降低10%或更多,并且减少主图像的边缘周围的光使得主图像边缘周围的辉度值小于主图像中间的辉度值。此时,在主图像的边缘周围,执行辉度调整,使得主图像中越靠近边缘的区域,辉度越低。
例如,在观看主图像时,如果背景图像是暗图像,则主图像的亮度将看起来明显,并且会感觉太亮,因此抑制整个主图像的辉度使得能够更舒适地观看主图像。而且,抑制整个主图像的辉度会使得抖动和噪声更不显著,即使在主图像的帧速率是24Hz的情况下也是如此。
注意,根据背景图像的辉度来调整整个主图像的辉度。调整背景图像的辉度,例如在正在播放主图像的同时使得提供到背景图像中的剧院的天花板的灯变暗,并且在停止主图像时使得剧院天花板上的灯变亮。即,调整整个图像的辉度,使得播放主图像时的背景图像的辉度比停止播放主图像时的背景图像的辉度低。
在该情况下,在停止主图像的播放时提高整个主图像的辉度以模拟灯在屏幕上照亮的情况并且在播放主图像时降低主图像的整体辉度会使得用户能够体验到如同他/她正在剧院中观看主图像的现场感。
而且,例如,主图像处理单元28通过图像处理为主图像添加由于电影投影机的属性而导致的效果(即电影效果),诸图像的水平晃动、图像边缘附近的模糊、灰度噪声、胶片划痕以及电影开始时的影片索引等。通过增加这样的灰度噪声和胶片划痕,可以使主图像看起来更像电影。而且,通过下述方式可以使主图像看起来更像电影:通过图像处理,在主图像中插入叠加的材料,并且为主图像上的字幕添加模糊和噪声。
而且,主图像处理单元28可以通过图像处理来执行对主图像的诸如对比度、亮度、锐度和色彩饱和度等的校正,或进行降噪等。具体地说,在显示单元33上显示的主图像是诸如SDTV等的小尺寸,因此,即使使得主图像的颜色更深或通过调整锐度来增强边缘,混色和噪声也不会变得显著,因此,能够容易获得较好的图像质量改善效果。因此,可以显示具有较高分辨率的主图像。
注意,根据所选择的显示模式,针对主图像的诸如对比度、亮度和锐度等执行的图像处理可以为不同的处理。例如,在已经将剧院背景模式选择为显示模式的情况下,可以预先进行设置,诸如降低整个主图像的辉度和色温,使得能够执行适合于每一显示模式的校正,因此,可以提供具有较高图像质量的主图像。
而且,主图像处理单元28适当地执行对主图像的视差调整。例如,主图像处理单元28通过调整主图像的显示位置而将主图像定位在与屏幕SC11相同深度的位置处,使得用于左眼和用于右眼的主图像被显示在用于左眼和用于右眼的背景图像的屏幕SC11上的相同位置处。
通常,在显示单元33上执行对主图像的立体显示的情况下,如果与在剧院中的屏幕SC11相比主图像被定位得更接近用户,则将是不自然的,并且用户将不会有观看电影的感觉。而且,将主图像定位得比屏幕SC11 更深是不自然的,同时,如果立体图像中有位于不同定位位置的许多物体,则用户眼睛会疲倦。
因此,主图像处理单元28设置主图像的显示位置,使得主图像位于与背景图像的屏幕SC11相同的位置处,从而提供主图像与背景图像之间的一体感,以便看起来更自然。而且,在诸如字幕的文本信息被包括在主图像的黑带部分中的情况下,文本信息被重新插入到主图像内,因此文本信息也被定位在与屏幕SC11相同的位置处,因此,看起来不会不自然。还要注意,可以执行对主图像的视差调整,使得从用户来看时,主图像定位得比背景图像的SC11更深。
在主图像处理单元28对主图像执行图像处理后,主图像处理单元28向几何变形单元29提供经过图像处理的主图像,并且处理从步骤S44进行到步骤S45。
在步骤S45,几何变形单元29执行对从主图像处理单元28提供的主图像的几何变形,并且将其提供到输出切换单元31。
例如,在诸如电影等图像投影在剧院的屏幕上的情况下,由于投影仪的镜头的属性,屏幕上显示的图像中会出现光学畸变。因此,通过进行对主图像的几何转换,几何变形单元29将特定的光学畸变(如筒状、线轴形或梯形等)添加到主图像。因此,可以使主图像看起来更像电影。
在步骤S46中,背景图像处理单元30对从视频输出单元26提供的背景图像执行图像处理,并且提供到输出切换单元31。
具体地说,背景图像处理单元30调整背景图像的辉度值使得在主图像的播放期间整个背景图像的辉度值小于预定值,并且调整背景图像的辉度值使得在停止主图像的播放时整个背景图像的辉度值大于预定值。因此,可以表现出诸如在播放主图像时背景图像中的剧院灯关闭且变暗以及在不播放主图像时剧院灯被打开且变亮的效果,从而提高现场感。
这样,在背景图像中提供虚拟照明装置并且在播放主图像的状态下(诸如在播放或停止时)执行对背景图像和主图像的辉度调整以表现出虚拟照明装置被关闭和打开,可以实现下述效果。即,在用户指令播放主图像时,图像处理装置11使蜂鸣器发出声音,以宣告演出的开始。在该状态下,在显示单元33上显示背景图像,但是背景图像中的剧院灯打开,并且背景图像整体发亮。而且,屏幕是白色的,并且不显示主图像。
从这个状态开始,背景图像中的剧院灯逐渐变得昏暗,剧院内逐渐变 黑,并且最后基本上不能看到座椅灯。此时,剧院的屏幕上显示黑框,该框逐渐变亮,并且显示主图像。随后,在屏幕上播放主图像。
而且,在通过用户对图像处理装置11的操作来指令主图像的播放的暂停或停止的情况下,背景图像中的剧院灯打开,并且整个背景图像变亮。如果重新开始播放主图像,则剧院再次变暗。
因此,通过根据主图像的播放操作来执行对背景图像和整个主图像的辉度控制,可以进一步改善播放主图像时的剧院似的效果。
在背景图像处理单元30执行对背景图像的图像处理并且向输出切换单元31提供背景图像后,处理从步骤S46进行到步骤S47。
在步骤S47,输出切换单元31切换要以像素的递增而输出的、要显示在显示单元33上的图像的像素的数据。即,输出切换单元31以像素的递增向转换单元32提供来自背景图像处理单元30-1的用于左眼的背景图像、来自背景图像处理单元30-2的用于右眼的背景图像、来自几何变形单元29-1的用于左眼的主图像或来自几何变形单元29-2的用于右眼的主图像中的一个。
在步骤S48中,转换单元32转换(即,重新格式化)从输出切换单元31提供的图像的色系,即其中主图像和背景图像已经合成的图像,并且提供到显示单元33。因此,从转换单元32-1向显示单元33提供其中主图像和背景图像已经被合成在一起的用于左眼的图像,并且从转换单元32-2向显示单元33提供其中主图像和背景图像已经被合成在一起的用于右眼的图像。
然后,在步骤S49中,显示单元33执行由从转换单元32提供的主图像和背景图像构成的内容的图像的立体显示,并且结束内容播放处理。例如,在显示模式是剧院背景模式的情况下,在显示单元33上执行对图2中所示的图像的立体显示。
注意,在主图像是移动图像的情况下,可以向伴随主图像的音频应用剧院似的效果。
具体地说,例如,音频播放单元(未示出)基于2声道音频、根据声道的位置关系来产生5.1声道音频,并且将其输出,由此表现出从剧院的后部反射的声音,对该音频进行滤波处理以扩展该音频的混响,等等。因此,可以进一步改善播放主图像时的剧院似的效果。
而且,还可以根据显示模式来改变诸如被应用到伴随主图像的音频的 混响和环绕声和音量的调整等效果。
而且,在步骤S41中确定了显示模式不是剧院背景模式的情况下,即在显示模式是放大尺寸模式的情况下,视频输出单元26从记录单元25中读出指定的主图像,并且将其提供到IP转换单元27,并且处理进行到步骤S50。
在步骤S50中,IP转换单元27对从视频输出单元26提供的主图像执行I/P转换,以将主图像转换为逐行格式图像,并且将其提供到主图像处理单元28。
在步骤S51中,主图像处理单元28对从IP转换单元27提供的主图像执行图像处理。例如,主图像处理单元28根据预先针对放大尺寸模式设置的校正值、通过图像处理来执行对主图像的对比度、亮度、锐度和色彩饱和度等的校正,并且进行降噪等。
在步骤S52中,主图像处理单元28适当地对主图像执行放大处理。例如,在垂直方向和水平方向上放大主图像,使得主图像在垂直方向上的像素的数量与显示单元33的显示屏幕在垂直方向上的像素的数量相同。主图像处理单元28通过几何变形单元29向输出切换单元31提供已适当放大的主图像。
在步骤S53中,输出切换单元31切换要以像素的递增输出的、要显示在显示单元33上的图像的像素的数据。即,输出切换单元31向转换单元32提供来自几何变形单元29-1或几何变形单元29-2的主图像中的一个。在步骤S53中,在以像素的递增来切换输出的同时输出主图像后,执行步骤S48和步骤S49的处理,并且内容播放处理结束。
因此,在选择剧院背景模式的情况下,图像处理装置11合成并显示主图像和背景图像。通过将主图像作为主体的一部分粘贴在背景图像中并且显示主图像和背景图像,可以在图像质量不变差的情况下更有效地显示主图像,即使在主图像小于显示单元33的显示屏幕的尺寸的情况下也是如此。
即,通过在背景图像中的剧院的屏幕的位置处显示主图像并且在该屏幕附近显示用户熟悉的物体以使用户感觉主图像在远处的位置,能够使用户在心理上感觉他/她正在观看大屏幕。
具体地说,对由主图像和背景图像构成的图像的立体显示可以有效地使用户感觉到主图像在远处位置。而且,对背景图像的立体显示实现了以 类似三维的方式来显示主图像,即使用于左眼和用于右眼的主图像是没有差视差的图像也是如此。
而且,利用图像处理装置11,主图像不必被放大到较大的尺寸,因此可以显示高分辨率的主图像。通过图像处理装置11的这种图像呈现方法还可以被适当地应用于对因特网内容以及在水平方向上长的宽屏幕电影内容和全景内容的呈现。
而且,使用具有高分辨率的图像作为背景图像使得由主图像和背景图像构成的图像能够被感觉为整体是高级别和高分辨率的图像,并且可以更有效地使主图像成像。而且,在主图像是SDTV或720p图像的情况下,对主图像进行修剪以及将主图像与背景图像合成就足够了,因此能够利用更容易的处理来有效地显示主图像。
注意,可以进行布置,使得即使在使用用于左眼和用于右眼的主图像来执行对主图像的立体显示的情况下也不利用立体显示来显示背景图像。在该情况下,例如,仅在显示单元33上显示用于左眼和用于右眼的背景图像中的一个。
而且,本公开并不限于利用播放系统的处理,并且还可以被应用到利用记录系统的处理。即,通过合成主图像和背景图像而获得的图像可以被记录在记录单元25中。
第二实施例
图像处理装置的配置
而且,虽然上文已经描述了对主图像和背景图像中的至少一个进行立体显示,但是主图像和背景图像二者均可以是二维图像。在该情况下,如图5中所示的那样来配置图像处理装置11。
即,图5中所示的图像处理装置11包括:时钟产生单元21、记录单元25、视频输出单元26、I/P转换单元61、主图像处理单元62、几何变形单元63、背景图像处理单元64、输出切换单元31、转换单元65和显示单元66。在图5中,使用相同的附图标记来表示与图1的情况相同的部分,并且将适当地省略对其的说明。
记录单元25已经记录了已从外部获得的多个二维主图像和背景图像,并且根据用户指令将主图像和背景图像提供到视频输出单元26。而且,I/P转换单元61、主图像处理单元62、几何变形单元63、背景图像处理单元64和转换单元65执行与图1中的IP转换单元27、主图像处理单元28、 几何变形单元29、背景图像处理单元30和转换单元32相同的处理。显示单元66显示从转换单元65提供的二维图像。
内容播放处理的描述
接下来,将参考图6中的流程图来描述由图5中的图像处理装置11执行的内容播放处理。
在步骤S81中,视频输出单元26确定是否将剧院背景模式选择为显示模式。
在步骤S81中确定了选择剧院背景模式的情况下,视频输出单元26从记录单元25中读出指定的二维主图像和背景图像。随后,执行步骤S82至步骤S88的处理,但是该处理与图4中的步骤S42至步骤S48的处理相同,因此将省略对其的描述。
然而,注意,利用步骤S42至步骤S48对用于左眼和用于右眼的背景图像以及主图像进行处理,而利用步骤S82至步骤S88对二维主图像和背景图像执行处理。
在执行步骤S88的处理并且将经过色系转换的图像(即主图像和背景图像已经被合成的图像)从转换单元65提供到显示单元66后,执行步骤S89的处理。
即,在步骤S89中,显示单元66显示从转换单元65提供的由主图像和背景图像构成的内容的图像,并且内容播放处理结束。
另一方面,在步骤S81中确定模式不是剧院背景模式(即模式是放大尺寸模式)的情况下,视频输出单元26从记录单元25中读出指定的主图像,并且将其提供到I/P转换单元61。随后,执行步骤S90至步骤S92的处理,但是该处理与图4中的步骤S50至步骤S52的处理相同,因此将省略对其的说明。
在步骤S93中,输出切换单元31向转换单元65输出从几何变形单元63提供的主图像。其后,执行步骤S88和步骤S89的处理,在显示单元66上显示主图像,并且内容播放处理结束。
因此,在已经选择了剧院背景模式的情况下,图像处理装置11合成并且显示主图像和背景图像。通过将主图像作为主体的一部分粘贴在背景图像中并且显示主图像和背景图像,可以更有效地显示主图像,而图像质量不会变差,即使在主图像小于显示单元66的显示屏幕的尺寸的情况下也是 如此。
第三实施例
图像处理装置的外部视图的配置
而且,例如,通过使用图7中所示的图像处理装置91也可以有效地显示上述主图像。
图7中所示的图像处理装置91是要安装在用户面部(头部)上的、眼镜式的头戴式显示器,其中有耳机92-1和耳机92-2被设置于眼镜腿,以播放用于伴随用作内容的主图像的音频。这些耳机92-1和耳机92-2被安装于用户的耳部。
而且,用于显示用于左眼的主图像的显示单元93-1和用于显示用于右眼的主图像的显示单元93-2被设置于图像处理装置91的与眼镜上设置有透镜的位置对应的部分。即,显示单元93-1和显示单元93-2被设置于图像处理装置91,以便分别由支撑单元94-1和支撑单元94-2来支撑,这样当佩戴时其位于用户的左右眼之前。
具体地说,支撑单元94-1和支撑单元94-2的围绕显示单元93-1和显示单元93-2的表面部分(附图中的阴影部分)被布置为具有相同的高度。在此使用的术语“高度”表示垂直于显示单元93-1和显示单元93-2的显示屏幕的方向上的位置。即,显示单元93-1和显示单元93-2的显示屏幕以及支撑单元94-1和支撑单元94-2的表面部分被设置为大体齐平。
注意,下文中,在不比对显示单元93-1和显示单元93-2进行单独区分的情况下,也将其简称为显示单元93,并且在不必对支撑单元94-1和支撑单元94-2进行单独区分的情况下,也将其简称为支撑单元94。
例如,诸如图2中所示的背景图像被作为印花(decal)等施加到支撑单元94的表面部分。具体地说,剧院内的照片印花(其中具有提供于其屏幕部分的与显示屏幕尺寸相同的开口)等被应用,使得与图2中的主图像P11对应的部分为显示单元93的显示屏幕。
更详细而言,显示单元93的显示屏幕和支撑单元94的表面部分的布局被布置为:使得当用户佩戴图像处理装置91时,对于用户来说,被应用到表面部分的照片印花中的剧院内部的屏幕看起来位于相对于显示屏幕的远端。
而且,还使用不具有设置于显示屏幕的周边外的输出框的显示单元 93。在显示屏幕上存在输出框的情况下,当在显示单元93上显示主图像时,对于观看主图像的用户来说,看起来好象在背景图像中的剧院屏幕与主图像之间存在等效于约1m的框一样,由此降低背景图像的影响。
而且,如上所述,显示单元93的显示屏幕和支撑单元94的表面部分(即添加到表面部分的背景图像)被布置为使得在深度方向上的高度为相同的高度。这样,这防止出现当在显示单元93上显示主图像时用户不能聚焦于背景图像上从而导致背景图像看起来不聚焦的情形。
被加到支撑单元94的表面部分的背景图像优选地是可分离的,从而可以与多个不同的背景图像中的期望的一个交换。而且,可以为图像处理装置91提供用于在用户正在佩戴图像处理装置91时使外部光不进入用户的眼睛的机制。例如,可以将由黑色织物形成的构件附接到图像处理装置91,以屏蔽外部光。
图像处理装置的配置
接下来,将描述图7中所示的图像处理装置91的功能配置。图8是示出图像处理装置91的配置示例的框图。
在图8的示例中,图像处理装置91包括:时钟产生单元21、记录单元25、视频输出单元26、IP转换单元27-1、IP转换单元27-2、主图像处理单元28-1、主图像处理单元28-2、几何变形单元29-1、几何变形单元29-2、显示单元93-1、显示单元93-2、安装检测单元121、照明控制单元122和照明单元123。
在图8中,使用相同的附图标记来表示与图1或图7的情况相同的部分,并且适当地省略对其的说明。
利用图像处理装置91,由视频输出单元26从记录单元25中读出的主图像通过IP转换单元27、主图像处理单元28和几何变形单元29而被提供到显示单元93,并且在显示单元93上显示主图像。
而且,安装检测单元121由传感器等构成,用于检测用户对图像处理装置91的安装,并且向照明控制单元122提供其检测结果。照明控制单元122根据安装检测单元121的检测结果和用户操作来控制由照明单元123在图像处理装置91内的照明。照明单元123由光源等构成,并且在照明控制单元122的控制下在图像处理装置91内(即在用户的眼睛和显示单元93周围)照明。
内容播放处理的说明
这里,当用户未安装图像处理装置91时,照明单元123处于关断状态。当用户安装图像处理装置91并且通过安装检测单元121检测到用户安装图像处理装置91时,图像处理装置91根据用户操作来执行内容播放处理,以播放内容。
以下将参考图9中的流程图来描述由图像处理装置91进行的内容播放处理。
在步骤S121中,照明控制单元122基于从安装检测单元121提供的、已经检测到用户的安装的检测结果来接通照明单元123。当照明单元123在照明控制单元122的控制下在图像处理装置91内照明后,佩戴图像处理装置91的用户可以看到被加到支撑单元94的背景图像。
在步骤S122中,图像处理装置91确定用户是否已指示进行内容播放。例如,在用户操作图像处理装置91并指令播放期望内容(主图像)的情况下,确定已经指示了播放。
在步骤S122中确定还没有指示播放的情况下,处理返回到步骤S122,并且重复上述处理,直到指示了播放。
另一方面,在步骤S122中确定已经指示了播放的情况下,在步骤S123中,照明控制单元122控制照明单元123将图像处理装置91内的照明变暗。此时,照明可以被完全关闭,或可保持于几乎不照明的状态。
而且,在指定主图像并且指示播放主图像后,视频输出单元26从记录单元25中读出指定的主图像。其后,执行步骤S124至S127的处理。即,从视频输出单元26经由IP转换单元27-1、主图像处理单元28-1和几何变形单元29-1向显示单元93-1提供用于左眼的主图像。而且,从视频输出单元26经由IP转换单元27-2、主图像处理单元28-2和几何变形单元29-2向显示单元93-2提供用于右眼的主图像。
注意,步骤S124至步骤S127的处理与图4中的步骤S42至步骤S45相同的处理,因此将省略对其的说明。
在步骤S128中,显示单元93执行对从几何变形单元29提供的主图像(即内容的图像)的立体显示,并且,内容播放处理结束。
具体地说,显示单元93-1显示用于左眼的主图像,并且显示单元93-2显示用于右眼的主图像。因此,用户的左眼和右眼分别观看用于左眼和用于右眼的主图像,从而以立体的方式感觉到主图像。
而且,在用户操作图像处理装置91以指示停止播放或暂停内容时,图像处理装置91停止主图像的播放,并且照明单元123在照明控制单元122的控制下接通照明。
因此,图像处理装置91根据用户操作来执行对主图像的立体显示。
迄今已可设计头戴式显示器以显示等效于视觉上大的屏幕的图像,但是用户在佩戴头戴式显示器之前已经知道显示屏幕小。因此,对于头戴式显示器而言,用户已经难以在心理上将被显示的图像感觉为大图像。
相反地,利用图像处理装置91,通过向支撑单元94的围绕显示单元93的显示屏幕的表面部分应用背景图像,主图像可以被显示为背景图像中的主体的一部分,并且可使用户能够感觉到好象正在享受大屏幕上的内容一样。因此,利用图像处理装置91,能够更有效地显示主图像,并且图像质量不会变差。
上述的系列处理可以通过硬件来执行,或可以通过软件俩执行。在通过软件来执行该系列处理的情况下,将构成软件的程序从程序记录介质安装到例如能够通过其所安装的各种类型的程序来执行各种功能的、以专用硬件设置的计算机或通用的个人计算机。
图10是示出用于根据程序来执行上述系列处理的计算机的硬件的一个配置示例的框图。
利用该计算机,CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203通过总线204而彼此连接。
输入/输出接口205进一步连接到总线204。下述部分连接到输入/输出接口205:输入单元206,该输入单元包括键盘、鼠标和麦克风等;输出单元207,该输出单元包括显示器和扬声器等;记录单元208,该记录单元包括硬盘和非易失性存储器等;通信单元209,该通信单元包括网络接口等;以及驱动器210,用于驱动可拆卸介质211,如磁盘、光盘、磁光盘和半导体存储器等。
使用如上所述构造的计算机,CPU 201经由输入/输出接口205和总线204向例如RAM 203安装记录单元208中所记录的程序,并且执行该程序,由此执行上述系列处理。
计算机(CPU 201)执行的程序被记录在可拆卸介质211(即非暂时的、计算机可读存储介质),可拆卸介质211例如包括磁盘(包括软盘)、光盘(CD-ROM(致密盘只读存储器)和DVD(数字通用盘)等)、传感 器和半导体存储器等,它们是封装介质,并且经由诸如局域网、因特网和数字卫星广播等有线或无线传输介质来提供。
程序可以通过安装到驱动器210的控制的可拆卸介质211经由输入/输出接口205而被安装到记录单元208。而且,程序可以通过使用通信单元209经由有线或无线传输介质而被接收,从而被安装在记录单元208中。作为另一设置,程序可以预先被安装在ROM 202或记录单元208中。
注意,计算机执行的程序可以是按照本说明书中描述的顺序的时序来进行处理的程序,或该程序可以是并行地或在适当定时(如被调用时)来执行处理的程序。
注意,本公开的实施例不限于上述实施例,并且可以在不偏离本公开的实质的情况下进行各种修改。
本领域的技术人员应当明白,可以根据设计要求和其他因素来进行各种修改、组合、子组合和改变,只要它们在所附的权利要求或其等同内容的范围内即可。
Claims (17)
1.一种处理装置,用于将内容数据与背景数据组合,所述处理装置包括:
左眼内容数据处理单元,该左眼内容数据处理单元被配置为:
接收用于表示左眼内容显示图案的左眼内容数据;以及
基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置;
右眼内容数据处理单元,该右眼内容数据处理单元被配置为:
接收用于表示右眼内容显示图案的右眼内容数据;以及
基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置;以及
输出单元,该输出单元被配置为:
基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据;以及
基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
2.根据权利要求1所述的处理装置,还包括原始内容数据处理单元,所述原始内容数据处理单元被配置为:
接收用于表示原始内容显示图案的原始内容数据;
修改所述原始内容数据;以及
将所述原始内容数据作为所述左眼内容数据和所述右眼内容数据来输出。
3.根据权利要求2所述的处理装置,其中,所述原始内容数据处理单元被配置为修改所述原始内容数据,以重新定位所述原始内容显示图案中包括的字幕显示图案。
4.根据权利要求2所述的处理装置,其中,所述原始内容数据处理单元被配置为修改所述原始内容数据,以去除所述原始内容显示图案中包括的黑带显示图案。
5.根据权利要求2所述的处理装置,其中,所述原始内容数据处理单元被配置为修改所述原始内容数据,以裁剪所述原始内容显示图案。
6.根据权利要求2所述的处理装置,其中,所述原始内容数据处理单元被配置为修改所述原始内容数据以改变所述原始内容显示图案的大小。
7.根据权利要求2所述的处理装置,其中,所述原始内容显示图案包括左眼原始内容显示图案和右眼原始内容显示图案。
8.根据权利要求2所述的处理装置,还包括内容数据转换单元,所述内容数据转换单元被配置为:
接收所述左眼内容数据或所述右眼内容数据中的至少一个;
重新格式化所述左眼内容数据或所述右眼内容数据中的所述至少一个;以及
向所述左眼内容数据处理单元或所述右眼内容数据处理单元中的至少一个输出所述左眼内容数据或所述右眼内容数据中的所述至少一个。
9.根据权利要求1所述的处理装置,还包括背景数据处理单元,所述背景数据处理单元被配置为:
接收所述左眼背景数据或所述右眼背景数据中的至少一个;
修改所述左眼内容数据或所述右眼内容数据中的所述至少一个,以调整所述左眼背景显示图案或所述右眼背景显示图案中的至少一个的辉度;以及
向所述输出单元输出所述左眼背景数据或所述右眼背景数据中的所述至少一个。
10.根据权利要求1所述的处理装置,其中:
所述左眼内容数据处理单元进一步被配置为修改所述左眼内容数据,以调整所述左眼内容显示图案的辉度;以及
所述右眼内容数据处理单元进一步被配置为修改所述右眼内容数据,以调整所述右眼内容显示图案的辉度。
11.根据权利要求1所述的处理装置,其中:
所述左眼内容数据处理单元进一步被配置为修改所述左眼内容数据,以向所述左眼内容显示图案添加电影效果的显示图案;以及
所述右眼内容数据处理单元进一步被配置为修改所述右眼内容数据,以向所述右眼内容显示图案添加电影效果的显示图案。
12.根据权利要求1所述的处理装置,其中:
所述左眼内容数据处理单元进一步被配置为修改所述左眼内容数据,以校正所述左眼内容显示图案的对比度、亮度、锐度或色彩饱和度中的至少一个;以及
所述右眼内容数据处理单元进一步被配置为修改所述右眼内容数据,以校正所述右眼内容显示图案的对比度、亮度、锐度或色彩饱和度中的至少一个。
13.根据权利要求1所述的处理装置,还包括内容数据变形单元,所述内容数据变形单元被配置为:
接收所述左眼内容数据或所述右眼内容数据中的至少一个;
修改所述左眼内容数据或所述右眼内容数据中的所述至少一个,以将所述左眼内容显示图案或所述右眼内容显示图案中的至少一个变形;以及
向所述输出单元输出所述左眼内容数据或所述右眼内容数据中的所述至少一个。
14.根据权利要求1所述的处理装置,还包括显示单元,所述显示单元被配置为显示所述左眼输出显示图案和所述右眼输出显示图案。
15.根据权利要求14所述的处理装置,还包括输出数据转换单元,所述输出数据转换单元被配置为:
接收所述左眼输出数据或所述右眼输出数据中的至少一个;
重新格式化所述左眼输出数据或所述右眼输出数据中的所述至少一个;以及
向所述显示单元输出所述左眼输出数据或所述右眼输出数据中的所述至少一个。
16.根据权利要求1所述的处理装置,还包括背景数据产生单元,该背景数据产生单元被配置为:
生成用于表示包括左眼虚拟屏幕显示图案的左眼背景显示图案的左眼背景数据;以及
生成用于表示包括右眼虚拟屏幕显示图案的右眼背景显示图案的右眼背景数据。
17.一种用于将内容数据与背景数据组合的方法,包括:
接收用于表示左眼内容显示图案的左眼内容数据;
基于通过左眼背景数据来表示的左眼背景显示图案中包括的左眼虚拟屏幕显示图案的位置来设置所述左眼内容显示图案的左眼内容显示位置;
接收用于表示右眼内容显示图案的右眼内容数据;
基于通过右眼背景数据来表示的右眼背景显示图案中包括的右眼虚拟屏幕显示图案的位置来设置所述右眼内容显示图案的右眼内容显示位置;
基于所述左眼内容显示位置,将所述左眼内容数据与所述左眼背景数据组合,以创建用于表示左眼输出显示图案的左眼输出数据;以及
基于所述右眼内容显示位置,将所述右眼内容数据与所述右眼背景数据组合,以创建用于表示右眼输出显示图案的右眼输出数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-183179 | 2010-08-18 | ||
JP2010183179A JP2012044407A (ja) | 2010-08-18 | 2010-08-18 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102438157A CN102438157A (zh) | 2012-05-02 |
CN102438157B true CN102438157B (zh) | 2015-06-17 |
Family
ID=45593699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110235797.XA Expired - Fee Related CN102438157B (zh) | 2010-08-18 | 2011-08-11 | 图像处理装置和方法 |
Country Status (3)
Country | Link |
---|---|
US (3) | US20120044260A1 (zh) |
JP (1) | JP2012044407A (zh) |
CN (1) | CN102438157B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9344643B2 (en) * | 2012-03-30 | 2016-05-17 | Sony Corporation | Image processing apparatus, method and program |
JP6102181B2 (ja) * | 2012-10-29 | 2017-03-29 | カシオ計算機株式会社 | 画像処理装置、プログラム及び画像処理方法 |
WO2014203440A1 (ja) * | 2013-06-19 | 2014-12-24 | パナソニックIpマネジメント株式会社 | 画像表示装置および画像表示方法 |
CN104581119B (zh) * | 2014-12-31 | 2017-06-13 | 青岛歌尔声学科技有限公司 | 一种3d图像的显示方法和一种头戴设备 |
CN107995955A (zh) * | 2016-09-14 | 2018-05-04 | 深圳市柔宇科技有限公司 | 头戴式显示装置及控制方法 |
KR102656059B1 (ko) * | 2016-10-07 | 2024-04-12 | 삼성디스플레이 주식회사 | 머리 장착형 표시장치 |
EP3494458B1 (en) * | 2016-12-14 | 2021-12-01 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the display apparatus |
CN106486081B (zh) * | 2017-01-03 | 2019-06-07 | 京东方科技集团股份有限公司 | 显示器件及显示屏的控制电路、显示方法 |
WO2019041035A1 (en) * | 2017-08-30 | 2019-03-07 | Innovations Mindtrick Inc. | STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR |
US20210065659A1 (en) * | 2018-01-25 | 2021-03-04 | Sony Corporation | Image processing apparatus, image processing method, program, and projection system |
US11388378B2 (en) | 2018-01-25 | 2022-07-12 | Sony Corporation | Image processing apparatus, image processing method and projection system |
US11831854B2 (en) | 2018-12-17 | 2023-11-28 | Sony Interactive Entertainment Inc. | Information processing system, information processing method, and computer program |
CN109672841B (zh) * | 2019-01-25 | 2020-07-10 | 珠海亿智电子科技有限公司 | 一种低成本de-interlace处理方法 |
CN109859100A (zh) * | 2019-01-30 | 2019-06-07 | 深圳安泰创新科技股份有限公司 | 虚拟背景的显示方法、电子设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1344109A (zh) * | 2000-06-29 | 2002-04-10 | 松下电器产业株式会社 | 视频信号再现设备 |
CN1465196A (zh) * | 2001-06-27 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
CN1774937A (zh) * | 2003-04-17 | 2006-05-17 | 夏普株式会社 | 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质 |
CN1795682A (zh) * | 2003-05-27 | 2006-06-28 | 三洋电机株式会社 | 图像显示装置及程序 |
CN101557475A (zh) * | 2008-04-11 | 2009-10-14 | 索尼株式会社 | 信息处理设备和方法,以及程序 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121084B2 (ja) * | 1987-11-06 | 1995-12-20 | 日本電気株式会社 | テレビジョン映像信号特殊効果装置 |
US6252707B1 (en) * | 1996-01-22 | 2001-06-26 | 3Ality, Inc. | Systems for three-dimensional viewing and projection |
JP3771964B2 (ja) * | 1996-03-12 | 2006-05-10 | オリンパス株式会社 | 立体映像ディスプレイ装置 |
US5767921A (en) * | 1996-05-06 | 1998-06-16 | Winbond Electronics Corp. | Method and apparatus for gradually adjusting color components of digital video data |
JP3944458B2 (ja) * | 2003-03-12 | 2007-07-11 | 株式会社ソフィア | 画像表示装置及び遊技機 |
US7092768B1 (en) * | 2004-03-09 | 2006-08-15 | Liquid Sky Studios, Inc. | Distributed control system |
JP5162928B2 (ja) * | 2007-03-12 | 2013-03-13 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理システム |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
CN102067591B (zh) * | 2008-06-26 | 2014-03-19 | 松下电器产业株式会社 | 再现装置、记录装置、再现方法及记录方法 |
KR101639053B1 (ko) * | 2009-02-17 | 2016-07-13 | 코닌클리케 필립스 엔.브이. | 3d 이미지 및 그래픽 데이터의 조합 |
GB2471137B (en) * | 2009-06-19 | 2011-11-30 | Sony Comp Entertainment Europe | 3D image processing method and apparatus |
JP5620651B2 (ja) * | 2009-06-26 | 2014-11-05 | キヤノン株式会社 | 再生装置、撮像装置、及びその制御方法 |
US8704877B2 (en) * | 2010-02-01 | 2014-04-22 | Eldon Technology Limited | Systems and methods for presenting three-dimensional content using apertures |
-
2010
- 2010-08-18 JP JP2010183179A patent/JP2012044407A/ja not_active Withdrawn
-
2011
- 2011-08-02 US US13/196,378 patent/US20120044260A1/en not_active Abandoned
- 2011-08-11 CN CN201110235797.XA patent/CN102438157B/zh not_active Expired - Fee Related
-
2016
- 2016-04-21 US US15/134,697 patent/US20160234483A1/en not_active Abandoned
-
2017
- 2017-12-05 US US15/832,116 patent/US20180098055A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1344109A (zh) * | 2000-06-29 | 2002-04-10 | 松下电器产业株式会社 | 视频信号再现设备 |
CN1465196A (zh) * | 2001-06-27 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
CN1774937A (zh) * | 2003-04-17 | 2006-05-17 | 夏普株式会社 | 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质 |
CN1795682A (zh) * | 2003-05-27 | 2006-06-28 | 三洋电机株式会社 | 图像显示装置及程序 |
CN101557475A (zh) * | 2008-04-11 | 2009-10-14 | 索尼株式会社 | 信息处理设备和方法,以及程序 |
Also Published As
Publication number | Publication date |
---|---|
US20180098055A1 (en) | 2018-04-05 |
US20160234483A1 (en) | 2016-08-11 |
JP2012044407A (ja) | 2012-03-01 |
US20120044260A1 (en) | 2012-02-23 |
CN102438157A (zh) | 2012-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102438157B (zh) | 图像处理装置和方法 | |
JP5039182B2 (ja) | 立体映像出力装置およびバックライト制御方法 | |
JP7133772B2 (ja) | 映像表示システム及び映像表示方法 | |
CN102918859B (zh) | 三维影像再现方法和三维影像再现装置 | |
US20120102435A1 (en) | Stereoscopic image reproduction device and method for providing 3d user interface | |
WO2011135857A1 (ja) | 画像変換装置 | |
JP5851625B2 (ja) | 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム | |
JP2015111833A (ja) | 3dビデオ上に3dグラフィックスをオーバレイするための方法及び装置 | |
CN112449229B (zh) | 一种音画同步处理方法及显示设备 | |
US8922622B2 (en) | Image processing device, image processing method, and program | |
JP2012516069A (ja) | 3dビデオ及び3dオーバレイをビデオインタフェース上で送信し、合成する方法及びシステム | |
US20120120207A1 (en) | Image playback device and display device | |
CN102209249A (zh) | 立体图像显示装置 | |
KR20110140087A (ko) | 입체 표시 장치 및 입체 표시 장치의 표시 방법 | |
JP4769122B2 (ja) | 映像呈示システム | |
JP6803463B2 (ja) | ディスプレイ装置及びその制御方法 | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2016152574A (ja) | 番組出力装置、番組と補助情報の出力方法、およびプログラム | |
JP2005223495A (ja) | 立体映像表示装置及び方法 | |
JP5050094B2 (ja) | 映像処理装置及び映像処理方法 | |
JP2015039063A (ja) | 映像処理装置及び映像処理方法 | |
JP5355758B2 (ja) | 映像処理装置及び映像処理方法 | |
JP2011139262A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2014122798A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP2012249295A (ja) | 映像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150617 |