CN102725789A - 立体显示装置、用于产生用于立体显示的图像数据的方法及程序 - Google Patents

立体显示装置、用于产生用于立体显示的图像数据的方法及程序 Download PDF

Info

Publication number
CN102725789A
CN102725789A CN201080054674XA CN201080054674A CN102725789A CN 102725789 A CN102725789 A CN 102725789A CN 201080054674X A CN201080054674X A CN 201080054674XA CN 201080054674 A CN201080054674 A CN 201080054674A CN 102725789 A CN102725789 A CN 102725789A
Authority
CN
China
Prior art keywords
data
view data
temperature difference
depth
display panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201080054674XA
Other languages
English (en)
Other versions
CN102725789B (zh
Inventor
重村幸治
吴萩
坂本道昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianma Japan Ltd
Original Assignee
NLT Technologeies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NLT Technologeies Ltd filed Critical NLT Technologeies Ltd
Publication of CN102725789A publication Critical patent/CN102725789A/zh
Application granted granted Critical
Publication of CN102725789B publication Critical patent/CN102725789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/023Display panel composed of stacked panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/041Temperature compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本申请提供了一种使用由树脂材料制成的透镜的立体显示装置及其方法,其中即使在温度导致透镜收缩或膨胀时也能够确保预定的立体视觉识别范围。具体地,提供一种立体显示装置,设置有立体显示面板(11)和显示控制器(12),立体显示面板(11)包括双凸透镜(1)、滤色器基板(2)、TFT基板(3)等等。沿着与观看者的两只眼睛(7a,7b)设置的方向平行的水平方向设置的单元像素交替地用作左眼像素(4a)和右眼像素(4b)。显示控制器(12)根据来自温度传感器(21)的温度信息通过立体图像产生装置(22)确定透镜的收缩/膨胀,并产生3D图像数据用于驱动显示面板,其中基于由立体显示面板等中固有的有效线性膨胀系数等和温度的幅值限定的参数信息修正沿特定视差方向的视差量,从而即使在透镜收缩/膨胀时也能够确保预定的立体视觉识别范围。

Description

立体显示装置、用于产生用于立体显示的图像数据的方法及程序
技术领域
本发明涉及立体显示装置、用于产生立体显示图像数据的方法及程序。更具体地,本发明涉及能够对应于使用环境的温度变化的立体显示装置、用于产生立体显示图像数据的方法及程序。
背景技术
根据对当前显示装置具有复杂功能的需求,已经开始使用特殊显示装置,其通过将诸如双凸透镜、棱镜片、漫射片之类的光学元件阵列与采用诸如液晶之类的电光元件的显示面板结合而能够进行立体图像显示、视角控制等。这种显示装置的示例在图75至图92中示出。
其中,图75示出了通过将立体图像显示装置中使用的双凸透镜形成为片型而形成的双凸透镜片109的示例。进一步,图92示意性地示出了采用双凸透镜片109的显示装置的结构示例和用于提供对应于该结构示例的图像的立体显示的方法的示例。
如图75,双凸透镜片109的一面用平面构造而成,具有柱形段的多个凸型柱面透镜101以同一方式平行地设置在另一面上。这被顺序地扩展以形成片。
如图92所示,在显示面板114中,左眼像素115a和右眼像素115b通过对应于每个上述柱面透镜101的焦点而交替地设置。每个柱面透镜101以如上述双凸透镜片109相同的方式以同一方式设置,以作为外部的光学分配模块。
进一步,当左眼像素115a和右眼像素115b由驱动电路(未示出)根据指定信号驱动时,分别地,左眼图像由柱面透镜101形成在左眼区域120a中,右眼图像由柱面透镜101形成在右眼区域120b中。从而,观看者可以识别立体图像。但左眼像素115a和右眼像素115b由相同的信号驱动时,可以典型的二维图像显示,以便它为也能够实现二维图像显示的结构。
作为双凸透镜片109的材料,可以使用诸如玻璃之类的无机材料或诸如塑料之类的有机材料。然而,通常,常常使用塑料。作为塑料,使用的是工程塑料,如聚甲基丙烯酸甲酯(PMMA)、环聚烯烃(COP)、聚碳酸酯(PC)等等。
进一步,通常,玻璃基板用于显示面板。因此,在如图92所示的结构中,在塑料的双凸透镜片之间产生的线性膨胀系数差。因此,当存在使用温度变化时,立体图像显示的状态由于双凸透镜片109的收缩而变化。因此,变得不能够在最坏情况中实现立体视觉识别。
对于关于使用温度变化的一系列问题,专利文献1提出了光学分配模块和上述显示面板的组合。
图93示出了专利文献1中公开的技术内容。在图93中,当输入显示多视点显示装置的周围温度的温度信号时,它被描述为可以修正对应于周围温度的遮光板208的被屏蔽位置的失真量,并且使得可以实现更精度的视角和视场范围调整。
图94示意性地示出专利文献2中公开的发明的基本结构,其为另一种相关技术。在专利文献2中公开如图94A和94B中示出的发明中,构成透镜阵列260和原始图像270的主要材料的线性膨胀系数设定为几乎相等。
图95和图96示出专利文献3中提出的技术的基本内容。如图95所示,指定信号从控制器322发送至图像偏移部304,图像偏移部304的用作光学分配模块的折射部318通过由控制器322采用诸如方解石之类的晶体激励而根据温度信息控制电场,该晶体的折射率可以由电场改变,如图96所示。
进一步,专利文献4公开了一种关于显示装置的技术,用于测量发光元件的周围大气温度,并基于周围大气温度设定发光元件的驱动条件(未示出)。该技术是考虑到下述事实而设计的,即当发光二极管用作发光元件时大气温度的波动影响发光二极管的发光特性,并且通过对应于该温度而设定和使用发光二极管的驱动条件。
专利文献1:日本未审查专利公开2006-184900
专利文献2:日本未审查专利公开2005-189864
专利文献3:JP 3816813B
专利文献4:日本未审查专利公开2009-16384
然而,上述相关技术存在下述不便利的问题。
在专利文献1中公开的显示装置(图93)中,由温度变化引起的失真量相当小,即,数ppm至数十ppm。因此,为了仅修正遮光板208的被屏蔽位置,要求遮光板208的分辨率为TFT-LCD(液晶显示元件)221的分辨率的至少十倍至数百倍或更高。因此,装置成本变得极其高。
在专利文献2中公开的显示装置(图94)的情况中,存在为使构成透镜阵列260和原始图像270的主要材料的线性膨胀系数大致相等而选择材料所产生的大的限制。特别地,当玻璃用作用于形成原始图像的部件的主要材料时,难以将基于塑料的材料用于透镜阵列。这在成本降低、重量降低、灵活性等方面引起诸多不便,这对开发成产品来说是大的缺点。
在专利文献3中公开的显示装置(图95至图96)中,要求为光学分配模块采用电场可控的材料。因此,装置成本增加的相当多。
专利文献4中公开的显示装置是其中改善发光二极管的温度相关性的装置,不存在关于与3D相关的透镜阵列的温度特性的公开内容。
发明内容
本发明的目的是提供在生产率和成本出色的透镜眼(lens eye)时通过对应于使用温度变化的环境条件而能够有效地显示立体图像的立体显示装置、用于产生立体显示图像数据的方法及程序。
为了实现上述目的,如图1和图2所示,例如,根据本发明的立体显示装置包括:一种立体显示装置,包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块控制显示面板驱动部的动作和基于包括预先指定的z轴方向的景深信息的三维数据产生3D图像数据用于驱动显示面板。
其中,立体图像产生模块设置有:检测图像分配部的温度的温度传感器;和数据存储部,该数据存储部存储关于在图像分配部和显示面板部都处于固定状态时图像分配部和显示面板部之间的有效线性膨胀系数差的信息、显示面板部的尺寸、单元像素的分辨率和参考温度,作为关于立体显示面板的固有立体观看区域的参数信息。
进一步,立体图像产生模块包括:变形量计算部,该变形量计算部计算参考温度和由温度传感器检测温度信息之间的温度差ΔT,并基于温度差ΔT和数据存储部中存储的信息计算由于图像分配部的周围环境温度的变化而变化的变形量,该变形量为收缩量或膨胀量;和主算术运算控制器,当由变形量计算部计算关于收缩或膨胀的变形量时,主算术运算控制器产生与变形量对应的3D图像数据,并将所产生的数据输出至显示面板驱动部用于驱动显示面板。
为了实现上述目的,如图2和图6所示,例如,根据本发明的立体显示图像数据产生方法用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,该主算术运算控制器控制显示面板驱动部的动作和基于包括预先指定的z轴方向的景深信息的三维数据产生3D图像数据用于驱动显示面板,该方法包括下述步骤:
由温度传感器检测图像分配部的温度,并计算相对于预先设定的参考温度温度差ΔT(温度差计算步骤);将计算出的温度差ΔT的绝对值和预先单独设定的参考值ΔTth的绝对值进行比较,并且在|ΔT|>|ΔTth|的情况中,判断需要对3D图像数据进行关于x轴上指定的视差量的修正(修正必要性判断步骤);在修正必要性的判断中判断为|ΔT|≤|ΔTth|且修正不必要时,实际上对三维数据进行渲染处理(图像处理步骤);并且基于通过渲染处理获得的结果产生3D图像数据用于驱动显示面板(3D图像数据产生步骤)。
为了实现上述目的,如图26和图27所示,例如,根据本发明的立体显示图像数据产生方法用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,该主算术运算控制器控制显示面板驱动部的动作和基于包括预先指定的z轴方向的景深信息的三维数据产生3D图像数据用于驱动显示面板,其中:
当产生3D图像数据时,温度传感器预先测量显示面板部的温度,并且变形量计算部基于测量值计算相对于预先设定的参考温度的温度差ΔT(温度差计算步骤);随后,通过对三维数据进行渲染处理获得的3D图像数据被存储用于景深图(景深图信息指定步骤);温度差判断部将计算出的温度差ΔT的绝对值与预先单独设置的参考值ΔTth的绝对值进行比较,并且在在|ΔT|>|ΔTth|的情况中,判断需要进行关于对应于3D图像数据的视差量的修正(修正必要性判断步骤);并且当在修正必要性判断步骤中判断温度差ΔT为|ΔT|<|ΔTth|且处于不需要对所述视差量进行修正的温度环境时,数据存储部中存储的景深图作为二维3D景深图图像数据输出,该二维3D景深图图像数据具有对应于三维数据的视差量的景深信息(3D图像数据产生步骤)。
为了实现上述目的,如图35所示,例如,根据本发明的立体显示图像数据产生方法用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,该主算术运算控制器控制显示面板驱动部的动作和基于包括景深信息的三维数据产生3D图像数据用于驱动显示面板,其中:
当输入用于右眼和左眼的预先渲染处理的一对视差图像数据A时,主算术运算控制器将该数据累积至预先设置的数据存储部,用于产生3D图像数据(目标图像数据设定步骤);随后,基于在收集视差图像数据A时由温度传感器测量的图像分配部的温度计算相对于预先设定的参考温度的温度差ΔT(温度差计算步骤);单独地进行关于温度差计算步骤中指定的温度差|ΔT|是否等于或小于预先设定的参考值|ΔTth|的算术运算,并判断是否处于需要为每个物体在作为显示面的xy平面上的x轴上指定的视差量进行修正的温度环境(温度差判断);并且当通过温度差判断步骤判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时,基于数据存储部中存储的该对视差图像数据A产生和输出二维3D图像数据用于驱动显示面板,该二维3D图像数据具有对应于所述视差量的景深信息。
为了实现上述目的,根据本发明的立体显示图像数据产生程序用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,该主算术运算控制器控制显示面板驱动部的动作和基于包含单独捕获的景深信息的三维数据产生3D图像数据用于驱动显示面板,该程序使得计算机执行:
温度差计算功能,当从预先设置的温度传感器输入图像分配部的温度时,该温度差计算功能单独计算相对于预先设定的参考温度的温度差ΔT;修正必要性判断功能,该修正必要性判断功能比较计算出的温度差ΔT的绝对值和单独地预先设定的参考值ΔTth的绝对值,在|ΔT|>|ΔTth|的情况中判断是否需要对3D图像数据进行关于x轴上指定的视差量的修正,并在|ΔT|≤|ΔTth|的情况中判断不需要进行关于视差量的修正;图像处理功能,当通过修正必要性判断功能判断为|ΔT|≤|ΔTth|且所述修正不必要时对所述三维数据进行渲染处理;和3D图像数据产生功能,该3D图像数据产生功能基于通过渲染处理获得的结果产生3D图像数据用于驱动显示面板。
为了实现上述目的,一种立体显示信息产生程序用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部和图像分配部,显示面板部由多个单元像素构成,图像分配部用于向外部分配和输出从显示面板部输出的视觉识别3D图像数据作为视觉识别立体图像信息;驱动立体显示面板的显示面板部的显示面板驱动部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,该主算术运算控制器控制显示面板驱动部的动作和基于单独捕获的包含景深信息的三维数据产生3D图像数据用于驱动显示面板,该程序使得计算机执行:
温度差计算功能,当产生3D图像数据时,该温度差计算功能基于由温度传感器侧测量的立体显示面板部的温度计算相对于预先设定的参考温度的温度差ΔT;景深图信息指定功能,该景深图信息指定功能将通过对捕获的三维数据进行渲染处理获得的3D图像数据存储至存储器,用于景深图图像;修正必要性判断功能,该修正必要性判断功能将计算出的温度差ΔT的绝对值与预先设定的参考值ΔTth的绝对值进行比较,并且在|ΔT|>|ΔTth|的情况中,判断需要进行关于3D图像数据的视差量的修正;和3D图像数据产生功能,该3D图像数据产生功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,将存储器中存储的图像数据作为二维3D景深图图像数据输出,该二维3D景深图图像数据具有对应于三维数据的视差量的景深信息。
为了实现上述目的,立体显示图像数据产生程序用于立体显示装置,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块控制显示面板驱动部的动作和基于包含景深信息的三维数据产生3D图像数据用于驱动显示面板,该程序使得计算机执行:
目标图像数据设定功能,该目标图像数据设定功能通过立体图像产生模块输入用于右眼和左眼的预先渲染处理的一对视差图像数据A,用于产生3D图像数据,并将3D图像数据累积至预先设置的数据存储部;温度差计算功能,该温度差计算功能基于在收集视差图像数据A时由温度传感器测量的图像分配部的温度的测量值计算相对于预先设定的参考温度的温度差ΔT;修正必要性判断功能,该修正必要性判断功能单独地进行关于通过温度差计算功能计算的温度差ΔT是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要为在xy平面上的x轴上指定的每个物体的视差量进行修正的温度环境,该xy平面为作为显示面的屏幕面,包含作为景深信息的z轴信息;和3D图像数据产生功能,该3D图像数据产生功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,以基于数据存储部中存储的该对视差图像数据A产生和输出二维3D图像数据用于驱动显示面板,该二维3D图像数据具有对应于所述视差量的景深信息。
本发明被构造为通过正好对应于立体显示装置的周围环境的温度变化产生3D图像数据而驱动立体显示装置面板。因此,即使在存在环境温度变化时,也能够通过与此对应以稳定的状态显示3D图像。因此,可以改善立体可见性,而不会给观看者不舒服的感觉。
附图说明
图1为示出根据本发明的第一示例性实施例的立体显示装置的示例的说明图;
图2A-2C示出图1中公开的立体显示装置的示例,其中图2A为示出整体结构示例的框图,图2B为示出作为其主要部分的主算术运算控制器的框图,图2C为示出图2A中公开的第一示例性实施例的修改例的主要部分(主算术运算控制器)的框图;
图3为示出在图1中公开的第一示例性实施例中的三维数据上执行渲染处理之后的3D图像数据的示例的说明图;
图4为示意图,示出显示图1的第一示例性实施例中的3D图像数据时处于透镜收缩状态的光学模型,并示出其中图3的图像数据的弹出侧(popup side)的视差图像(A)和景深侧(depth side)的视差图像(B)以对应方式显示的情况的示例;
图5为示意图,示出显示图1的第一示例性实施例中的3D图像数据时处于透镜膨胀状态的光学模型,并示出其中图3的图像数据的弹出侧的视差图像(A)和景深侧的视差图像(B)以对应方式显示的情况的示例;
图6为示出图2A和2B中公开的第一示例性实施例的3D图像数据产生动作的示例的流程图;
图7为说明图,示出在一对相机的预先指定的设定条件下进行的渲染处理,该设定条件用于获得关于物体示例(在两个物体的情况中)的、包括景深信息的视差图像;
图8为说明图,示出在图6的图像处理动作中不需要视差量修正的3D图像数据的示例;
图9为说明图,示出在图6的图像处理动作中的透镜收缩状态下在三维数据上执行渲染处理之后的3D图像数据的示例;
图10为说明图,示出在图6的图像处理动作中的透镜膨胀状态下在三维数据上执行渲染处理之后的3D图像数据的示例;
图11为说明图,示出在一对相机的预先指定的设定条件下进行的渲染处理,该设定条件用于获得关于物体示例(在四个物体的情况中)的、包括景深信息的视差图像;
图12为说明图,示出具有通过在图11的条件下在图6中示出的程序中根据透镜收缩/膨胀状态执行渲染处理获得的视差的3D图像数据的示例;
图13为说明图,示出具有通过在图11的条件下在图6中示出的程序中根据透镜收缩/膨胀状态执行渲染处理获得的景深(depth)的3D图像数据的示例;
图14为示出当在采用第一示例性实施例的情况中使用环境温度变化时的立体观看区域评估结果的曲线图;
图15为截面图,示出在其中观看者的视点为N个视点(N=4)的情况中根据第一示例性实施例的立体显示装置的动作示例;
图16A-16C示出根据第二示例性实施例立体显示装置的示例,其中图16A为示出整体结构示例的框图,图16B为示出作为其主要部分的主算术运算控制器的框图,图16C为示出图16A中公开的第二示例性实施例的修改例的主要部分(主算术运算控制器)的框图;
图17为示出根据图16中公开的第二示例性实施例的3D图像数据产生动作的示例的流程图;
图18为说明图,示出通过根据图17的流程图执行产生动作而根据透镜收缩/膨胀状态执行渲染处理获得的具有景深的3D图像数据的示例;
图19A和19B为示出根据本发明的第三示例性实施例的立体显示装置的示例(第一示例)的框图,其中图19A为示出包括2D渲染处理的整体结构示例的框图,图19B为示出作为其主要部分的主算术运算控制器的框图;
图20为示出根据图19中公开的第三示例性实施例的包括2D渲染处理的3D图像数据产生动作的示例的流程图;
图21为说明图,示出在部分地在图20中示出的3D图像数据产生动作中执行的2D渲染处理中的2D图像数据产生结构;
图22为说明图,示出通过在根据图20的第三示例性实施例的3D图像数据产生动作中根据透镜收缩/膨胀状态执行渲染处理获得的具有景深的3D图像数据的示例;
图23A和23B为示出构成根据本发明的第三示例性实施例的立体显示装置的一部分的主算术运算控制器的修改例的框图,其中图23A示出修改例(1)的情况,图23B示出修改例(2)的情况;
图24为示出由图23B中示出的修改例(2)的主算术控制器执行的3D图像数据产生动作(对于判断收缩/膨胀来说不必要)的流程图;
图25为说明图,示出通过图24中公开的3D图像数据产生动作获得的具有视差的3D图像数据的示例;
图26A和26B为示出根据本发明的第四示例性实施例的立体显示装置的示例,其中图26A为示出其中基于预先设定的景深图A产生3D图像数据的情况的整体结构示例的框图,图26B为示出作为其主要单元的主算术运算控制器的结构的框图;
图27为流程图,示出当基于图26中公开的第四示例性实施例中的预先设定的景深图A产生3D图像数据时的3D图像数据产生动作的示例;
图28为说明图,示出通过执行图27中公开的第四示例性实施例的3D图像数据产生动作(流程)产生的具有景深的3D图像数据的示例;
图29为说明图,示出通过在执行图27的3D图像数据产生动作时根据物体在x轴上的位置对于三维信息执行3D处理获得的具有景深的3D图像数据的示例;
图30为说明图,示出通过在执行图27的3D图像数据产生动作时根据物体在x轴上的位置对于三维信息执行2D处理获得的具有景深的3D图像数据的示例;
图31为示出构成根据本发明的第四示例性实施例的立体显示装置的一部分的主算术运算控制器的修改例的框图;
图32为示出基于预先指定的景深图A由图31中示出的主算术运算控制器(修改例)执行的3D图像数据产生动作的示例的流程图;
图33为说明图,示出通过图32中公开的3D图像数据产生动作获得的具有景深的3D图像数据的示例;
图34A和35B示出根据本发明的第五示例性实施例的立体显示装置的示例,其中图34A为示出其中通过根据环境温度、后来基于预先渲染处理过的视差图像A执行偏移处理产生3D图像数据的情况的整体结构示例的框图,图34B为示出作为其主要单元的主算术运算控制器的结构的框图;
图35为示出其中基于在图34中公开的第五示例性实施例中预先设定的视差图像A产生的根据环境温度的3D图像数据的情况的3D图像数据产生动作的示例的流程图;
图36为说明图,示出在透镜收缩状态中执行的偏移处理的状态以及通过根据图35中示出的流体图的3D图像数据产生动作中的偏移处理获得的3D图像数据的示例;
图37为说明图,示出在透镜膨胀状态中执行的偏移处理的状态以及通过根据图35中示出的流体图的3D图像数据产生动作中的偏移处理获得的3D图像数据的示例;
图38为示出在图36和37中示出的偏移处理之后的缩放处理的示例的说明图;
图39A和39B示出根据第六示例性实施例的立体显示装置的示例,其中图39A为示出整体结构示例的框图,图39B为示出作为其主要部分的主算术运算控制器的框图;
图40为示出作为根据图39中公开的根据第六示例性实施例的立体显示装置的主要部分的主算术运算控制器的结构的框图;
图41为示出根据图39中公开的第六示例性实施例的3D图像数据产生动作的示例的流程图;
图42为示出视差量Δu的说明图;
图43A和43B示出具有景深信息的图像的示例,其中图43A为中心图像数据,图43B为景深图像数据;
图44示出在其中不需要温度修正的情况中根据图43的图像产生的视差图像;
图45为示出每个温度处的视差量调整LUT信号的示例的表格;
图46示出在进行温度修正处理之后根据图43的图像产生的视差图像;
图47为示出关于具有指定视差量的3D物体的针对温度的立体观看区域(评估结果)的表格;
图48为示出基于图47产生的LUT信号的示例的表格;
图49为示出当立体显示装置的使用环境温度从25℃变化至60℃时针对具有18个像素的视差量的物体的评估结果的曲线图;
图50示出放置在本发明的第六示例性实施例的修改例(1)中的显示屏的x轴上的3D物体;
图51为示出根据用于图50中公开的处于p0位置的物体的立体观看区域的评估结果获得的LUT0信号的表格;
图52为示出根据用于图50中公开的处于p1位置的物体的立体观看区域的评估结果获得的LUT1信号的表格;
图53为示出根据第六示例性实施例的修改例(1)的主算术控制器122的每个结构元件的框图;
图54为示出根据第六示例性实施例的修改例(1)的3D图像数据产生动作的示例的流程图;
图55为示出根据第六示例性实施例的修改例(2)的3D图像数据产生动作的示例的流程图;
图56示出通过使用块匹配技术的对应的像素搜索方法的示例;
图57为示出当显示屏上的在正常温度处2D背景和3D物体之间的对比度差从0%改变至70%时的立体观看区域评估结果的曲线图;
图58为示出作为根据本发明的第七示例性实施例的立体显示装置的示例的整体结构示例的框图;
图59为示出作为图58中公开的第七示例性实施例的主要部分的主算术运算控制器的结构的框图;
图60为示出根据图58中公开的第七示例性实施例的3D图像数据产生动作的示例的流程图;
图61为说明图,示出具有通过在图11的条件下在图58中示出的程序中根据透镜收缩/膨胀状态执行渲染处理获得的视差的3D图像数据的示例;
图62为示出根据第七示例性实施例的修改例的主算术运算控制器的每个结构元件的框图;
图63为示出根据第七示例性实施例的修改例的3D图像数据产生动作的流程图;
图64示出在图1至图38中公开的第一至第五示例性实施例中的每一个中共同使用的一对相机的设置条件,以及示出由此获得的3D内容产生方法的示例;
图65为示出在图64中公开的相机设置下获得的3D内容图像的示例的说明图;
图66为示出其中采用透镜阵列将显示图像投射在立体显示装置中的观看者的左眼和右眼二者上的说明图;
图67为示出用于图66中示出的光学模型的两只眼睛的中心点的范围,以及同时示出基于瞳孔间IPD限定的立体观看区域的最大范围的说明图;
图68为示出其中图65中公开的景深位置和弹出位置处的各个视差图像被显示用于图66的光学模型的情况的说明图;
图69为示出由双凸透镜和显示面板之间的有效线性膨胀系数在显示装置的温度变化时产生的透镜收缩/膨胀状态(A)、(B)和(C)的说明图;
图70为对应于图69的说明图,其示出当双凸透镜的温度存在变化时其中视差图像投射至观看者的左眼和右眼二者的光学模型的变化的示例;
图71为示出其中在处于图70中的透镜收缩状态时显示光学模型的视差图像的情况的状态的说明图;
图72为示出其中在处于图70中的透镜膨胀状态时显示光学模型的视差图像的情况的状态的说明图;
图73示出当立体显示装置的使用环境温度从-20℃改变到60℃时立体观看区域的变化(评估结果)的状态的曲线图;
图74为图73的相关曲线图,其为示出在25℃的温度处针对视差量的立体观看区域的波动的曲线图;
图75为示出根据相关技术的双凸透镜片的示例的说明图;
图76为示出其中存在像素混合区域M的情况中的3D面板的像素布局;
图77为考虑3D串扰(crosstalk)的光学模型;
图78示出从左右像素发射的光线的视角的3D串扰;
图79为示出在正常温度处弹出图像和景深图像的示意性图示;
图80为在示出在正常温度处弹出图像和景深图像的情况中的立体观看区域的说明图;
图81为在示出在正常温度处弹出图像和景深图像的情况中的无幻视(pseudoscopy free)区域的说明图;
图82为在高温时不考虑3D串扰区域的光学模型;
图83为在高温时考虑3D串扰区域的光学模型;
图84为示出在高温时弹出图像和景深图像的情况中的立体观看区域的说明图;
图85为示出在高温时弹出图像和景深图像的情况中的无幻视区域的说明图;
图86示出当立体显示装置的使用环境温度从25℃变化至60℃时立体观看区域的评估结果的曲线图;
图87示出当立体显示装置的使用环境温度从25℃变化至60℃时无幻视区域的评估结果的曲线图;
图88为在高温时不考虑3D串扰区域的光学模型;
图88为在低温时不考虑3D串扰区域的光学模型;
图90为示出在低温时弹出图像和景深图像的情况中的立体观看区域的说明图;
图91为示出在低温时弹出图像和景深图像的情况中的无幻视区域的说明图;
图92为示出采用图75中公开的双凸透镜片的显示装置的结构的示例以及示出于此对应的立体显示的示例的说明图;
图93为示出作为相关技术的专利文献1中公开的基本结构的说明图;
图94为示出作为相关技术的专利文献2中公开的基本结构的说明图;
图95为示出作为相关技术的专利文献3中公开的基本结构的说明图;以及
图96为示出在图95中示出的专利文献3内公开的像素偏移部的具体示例的说明图。
具体实施方式
以下,将参照图1至图38按顺序描述根据本发明的第一至第五示例性实施例中的每一个。
首先,在说明第一至第五示例性实施例中的每一个之前,将参照图64至图74描述在第一至第五示例性实施例中的每一个中共同执行的立体图像内容(3D内容)产生方法的具体示例。随后,将以具体方式描述第一至第五示例性实施例中的每一个。
首先,3D内容产生方法的示例在图64至图65中示出。在此注意,图64为称为交叉法(cross method)的图像捕获方法,采用该图像捕获方法,将左眼相机35a和右眼相机35b的光轴的每一个之间的交叉点34设定在正常屏幕上的重现点,即,设定在屏幕面(图像显示面)40上的重现点。
随后,定义屏幕面40的水平方向为x轴,垂直于x轴的方向为y轴,垂直于由x轴和y轴提供的xy平面的方向为z轴,交叉点34为原点,x轴、y轴和z轴的正方向和负方向如图64所示。图64中的屏幕面40示出从相机35a和35b侧的上方倾斜捕获的状态。
在这种状态中,针对其z轴沿正方向放置的物体82产生65A中一样的弹出图像视差图像,针对其z轴沿负方向(景深方向)放置的物体83产生如65B中一样的景深图像视差图像。
例如,在物体放置在屏幕中心中的情况中,关于图65A的弹出图像视差图像,在左眼图像中物体82位于离屏幕中心视差量A的右侧,而在右眼图像中物体82位于离屏幕中心视差量A的左侧。相反地,关于图65B的景深图像视差图像,在左眼图像中物体83位于离屏幕中心视差量B的左侧,而在右眼图像中物体83位于离屏幕中心视差量B的右侧。在此注意,根据相机位置、相机之间的距离、物体位置等确定视差量A和B。
在采用图66中示出的透镜阵列的立体显示装置中,首先,示出将视差图像投射至观看者的左眼和右眼二者的光学模型的示例。该立体显示装置由双凸透镜1、显示面板部11A和控制器单元(未示出)构成。进一步,在图66的情况中,观看者的两只眼睛(左眼7a和右眼7b)以其中两只眼睛之间的距离和显示面板的中心彼此匹配的位置关系位于离立体显示装置11的显示面的指定观看距离处。
显示面板部11A由多个像素构成,所述多个像素通过将光调制器设置成用于成对的一个或另一个基板2和3的矩阵而获得。在图66中,示出的是位于面板两端处的每个像素以及交替设置的左眼像素4a和右眼像素4b之间的中心。双凸透镜1用作用于将从每个像素发射的光线分配至两只眼睛的装置。左眼区域5a由来自面板的两端和中心的左眼像素4a的光线形成,右眼区域5b由来自右眼像素4b的光线形成。
随后,在左眼7a位于左眼区域5a内且右眼7b位于右眼区域7a内时,观看者可以观看指定立体图像。
图67示出其中可以识别立体图像的图66的观看者的两只眼睛之间的中心点的范围。由表示两只眼睛之间的距离的范围IPD指定的该范围被定义为立体观看区域8。
图68示出其中图65中示出的弹出视差图像和景深视差图像被显示至图66的光学模型的情况的示意图。图68A示出观看弹出图像的情况。物体82的右眼图像的位置相对于屏幕中心位于左侧,而物体82的左眼图像相对于屏幕中心位于右侧。因此,从物体视频的显示面向观看平面的光线的方向为P-方向。
进一步,图68B示出观看景深图像的情况。与弹出图像的情况一样,物体83的右眼图像的位置相对于屏幕中心位于右侧,而物体83的左眼图像相对于屏幕中心位于左侧。因此,从物体视频的显示面向观看平面的光线的方向为Q-方向。
通常,塑料常常用于上述双凸透镜1。进一步,通常,玻璃材料用于显示面板部11A。在采用这种典型材料的结构的情况中,当存在使用环境温度变化时,由于塑料和玻璃材料的热膨胀系数之间的差异,对于像素4a和4b,图69B中示出的透镜间距L波动。
例如,在低温侧,存在所产生的收缩,在这种收缩情况下,透镜间距变为“L-ΔL”,如图69A所示。在高温侧,存在所产生的膨胀,在这种膨胀情况下,透镜间距变为“L+ΔL”,如图69C所示。这种线性膨胀系数的差异不仅取决于材料固有的线性膨胀系数差,而且实际上在很大程度上取决于用于固定显示面板部11A和双凸透镜1的方法。
当其中显示面板部11A和双凸透镜1两者都固定的状态被定义为有效线性膨胀系数差时,有效线性膨胀系数差在局部地固定双凸透镜1的情况中比在整个面上固定双凸透镜1的情况中大。进一步,即使在将它固定在整个面上的情况中,有效线性膨胀系数取决于固定材料机械性能值。
而且,还能将偏振板(未示出)插入显示面板部11A和双凸透镜1之间。在这种情况中,除了上述固定方法之外,有效线性膨胀系数差还取决于偏振板材料的机械性能值。
关于具有这种温度变化的情况,将视差图像投射至观看者的左眼和右眼二者的光学模型的变化在图70A、70B和70C中示出。
图70A示出透镜收缩状态的左眼区域和右眼区域,图7B示出正常状态的左眼区域和右眼区域,以及图70C示出透镜膨胀状态的左眼区域和右眼区域。在此注意,当透镜间距变小时,光线在面板外端中的折射变大,即,在观看距离变短的方向上存在变化。同时,左眼区域和右眼区域的尺寸也变化。
关于图70A中示出的透镜收缩状态的光学模型,图71A和71B为图65中示出的弹出视差图像和景深视差图像中的每一个的情况的示意图。
图71A示出观看弹出图像时的情况。从物体视频的显示面向图70A中描述的观看平面的P-方向的光线入射在左眼区域5a和右眼区域5b内。
同时,图71B示出观看景深图像时的情况。从物体视频的显示面向图70a中描述的观看平面的Q-方向的光线入射在左眼区域5a和右眼区域5b内。这意味着观看者可以识别处于透镜收缩状态的弹出图像,但不能观看景深图像。
关于图70C中示出的透镜收缩状态的光学模型,图72A和72B为图65中示出的弹出视差图像和景深视差图像中的每一个的情况的示意图。
图72A示出观看弹出图像时的情况。从物体视频的显示面向图70C中描述的观看平面的P-方向的光线未入射在左眼区域5a和右眼区域5b内。
同时,图72B示出观看景深图像时的情况。从物体视频的显示面向图70C中描述的观看平面的Q-方向的光线入射在左眼区域5a和右眼区域5b内。这意味着观看者可以识别处于透镜膨胀状态的景深图像,但不能观看弹出图像。
本发明人进行关于这种现象是否实际上主观地出现的试验。接下来,以下将描述其结果。
首先,图73示出当立体显示装置的使用环境温度从-20℃改变到60℃时的立体观看区域评估结果。显示面板部11A和双凸透镜1的有效线性膨胀系数差为30ppm。
在此注意,该评估在在下述条件下进行的,即视差图像的尺寸对于图64中定义的x轴方向相对于整个屏幕的比例被认为是立体观看区域(3D区域),并且从屏幕中心准备具有10%、40%、85%3D图像的视差图像。也就是说,“10%3D图像”意味着在屏幕中心中存在视差图像,“85%3D图像”意味着在几乎整个屏幕上存在视差图像。图73A为观看弹出图像时的立体观看区域,图73B为观看景深图像时的立体观看区域。进一步,三个测试物体的平均值用于立体观看区域。
根据该结果,观看弹出图像时的立体观看区域在高温侧极大地减少,而观看景深图像时的立体观看区域在低温侧极大地减少。这是不与图71和图72的说明相矛盾的结果。
进一步,还证实,当3D区域变小时,针对温度变化的立体观看区域的波动变小。这意味着当3D区域变小时,视差图像存在于屏幕中心附近,以便存在更少的透镜间距波动的影响。
进一步,图74示出在25℃的温度处的针对视差量的立体观看区域的波动。关于视差量的正方向和负方向,正方向定位为弹出视差量A,负方向定义为景深视差量B。
基本上,立体观看区域在弹出视差量和景深视差量相同的情况中几乎相等。在不存在如上所述的由于温度波动引起的透镜间距波动的情况中,针对视差方向的立体观看区域的差异极其小。可以看到,对于如图73所示的弹出和景深视差方向的视觉可识别范围的变化是使用环境温度变化的情况的固有现象。
同时,还能通过采用3D串扰的概念描述针对温度变化的立体观看区域的波动。在此注意,3D串扰是另一个视点视频在给定视点视频中的混合或泄漏。作为确定3D串扰的因素,包括显示面板的像素结构,图像分配部的性能(在透镜情况中的成像性能、在遮光板情况中的缝隙孔径比等)等。
图70至图91示出其中基于理想光学模型显示视差图像的情况。然而,在其中如在图76中存在与显示面板的像素结构一样的像素混合区域M的情况中,从左侧像素和右侧像素产生的光在左、右观看区域之间的边界中混合,如图77所示。结果,产生其中3D串扰小于指定值的区域WCT1和其中3D串扰大于指定值的区域WCT2。在此注意,所述指定值为基于主观地获得的立体观看区域确定的值,3D串扰区域WCT1和所述主观立体观看区域几乎一致。3D串扰的量化数值取决于测量方法和评估装置。因此,所述指定值据此波动。然而,它几乎在10%内。
图77A为用于描述其中考虑3D串扰区域WCT2的影响的情况中的立体光学模型的无幻视区域的图示,图77B为用于描述与图77A中示出的模型相同的光学模型的立体观看区域的图示。在图77A中,L0、L5和L6为其中从相邻的左侧像素和右侧像素发射的光的亮度为相同值的位置,即,其中3D串扰变为100%的位置。
以下,将描述从具有L0作为中心的区域内的左侧像素和右侧像素发射的光的亮度分布状态。当从L0向左侧方向离开时,从右侧像素发射的光的亮度变低,而从左侧像素发射的光的亮度变高。当从L0向右侧方向离开时,从左侧像素发射的光的亮度变低,而从右侧像素发射的光的亮度变高。图77B中的L1示出其中从左侧像素发射的光的亮度等于或小于指定值的位置,即,3D串扰区域WCT1和WCT2之间的边界位置。L2示出其中从右侧像素发射的光的亮度等于或小于指定值的位置,即,3D串扰区域WCT1和WCT2之间的边界位置。
为了验证至今为止提供的说明,图78示出了通过根据针对从显示面板的左侧像素和右侧像素发射的光线的视角的亮度分布的实际测量值计算3D串扰获得的结果。在此注意,曲线R为左眼视频与右眼视频的混合比例,曲线L为右眼视频与左眼视频的混合比例。曲线R的3D串扰等于或小于指定值Q所处的位置对应于图77b的L1。曲线L的3D串扰等于或小于指定值Q所处的位置对应于图77b的L1。进一步,其中3D串扰等于100%的位置对应于图77a的L0、L5和L6。在图78中,从L2至L4的3D串扰区域WCT1被定义为左眼观看区域,从L1至L3的3D串扰区域3D WCT1被定义为右眼观看区域。进一步,从L1至L2的3D串扰区域WCT2被定义为3D串扰区域。
当两只眼睛从面板中心移向右侧方向(-X方向)时,在左眼到达L2的点处开始观看到右眼图像,并且重像开始出现。当进一步移向右侧方向(-X方向)时,进入左眼的右眼视频的亮度增加。因此,当左眼处于L0的位置时,进入左眼的右眼视频的亮度变为几乎等于左眼视频的亮度,从而开始失效作为3D视频。当左眼进一步移向右侧方向(-X方向)时,右眼视频的亮度变得高于进入左眼的左眼视频的亮度,从而开始进入幻视区域。
在该示例性实施例中,如图77a所示,从左眼移向L0的位置时位于两只眼睛的中心处的位置C11到右眼移向L0时位于两只眼睛的中心处的位置Cr1的距离被定义为无幻视区域。在其中两只眼睛的中心位于Cl1和Cr1之间的无幻视区域中,重像至少进入一只眼睛。然而,作为3D图像,它并未失效,并且可以提供立体影象。进一步,如图77b所示,从左眼移向L2的位置时位于两只眼睛的中心处的位置C12到右眼移向L1时位于两只眼睛的中心处的位置Cr2的距离被定义为立体观看区域。在其中两只眼睛的中心位于Cl2和Cr2之间的立体观看区域,可以实现不具有重像的优选立体观看。示出两只眼睛之间的距离的区域IPD恒定的,以便立体观看区域在串扰区域变大时变小。
在图77和图78中,通过采用最简单的立体光学模型描述关于观看区域的参数。以下,将采用其中显示弹出视差图像的情况和其中显示景深视差图像的情况的光学模型描述关于观看区域的每个参数的分别在正常温度、低温和高温的条件下的变化的状态。
图79示出了示意图,其示出了当在将3D物体放置在处于正常温度的屏幕中心时通过考虑3D串扰的影响显示弹出视差图像和景深视差图像的情况。在此注意,左侧像素和右侧像素重复设置的方向为X方向,从设置左侧像素和右侧像素的平面向透镜的方向为Y方向。符号的方向如图79所示。如图79a所示,在观看弹出图像时,右眼图像物体(下文表示为右眼聚焦像素)的位置被放置为比屏幕中心靠+X侧,而左眼图像物体(下文表示为左眼聚焦像素)的位置被放置为比屏幕中心靠-X侧。进一步,如图79b,在观看景深图像时,右眼图像物体(右眼聚焦像素)的位置被被放置为比屏幕中心靠-X侧,而左眼图像物体(左眼聚焦像素)的位置被放置为比屏幕中心靠+X侧。
如图79所示,当弹出物体的视差量和景深物体的视差量以及其在显示屏上的位置相同时,从左眼聚焦像素的+X侧发射的光线Lr和从右眼聚焦像素的-X侧发射的光线Rl之间的交叉点L0在显示弹出图像的示意图中和沿X方向和Y方向二者显示景深图像的图示中处于相同的位置。
进一步,从用于显示弹出图像的右眼聚焦像素的-X侧发射的光线Rl的出射方向与用于显示景深图像的左眼聚焦像素的+X侧发射的光线Lr的出射方向一致,从用于显示景深图像的右眼聚焦像素的-X侧发射的光线Rl的出射方向与用于显示弹出图像的左眼聚焦像素的+X侧发射的光线Lr的出射方向一致。因此,在正常温度处,以Lr作为中心的的3D串扰区域L_crst和以Rl作为中心的3D串扰区域R_crst等同。
在正常温度处,当从面板表面到+Y侧的交叉点L0的距离设为最佳观看距离时,在图79a中示出的弹出的情况中处于最佳观看距离的3D串扰区域宽度被定义为d1,在图79b中示出的景深的情况中处于最佳观看距离的3D串扰区域宽度被定义为d2,d1和d2为相同的宽度。进一步,如图77中所描述的那样,3D串扰为100%的位置被表示为L0,从来自左眼聚焦像素的左眼视频混合到右眼视频中的混合比例变为等于或大于指定值的位置被表示为L1,从来自右眼聚焦像素的右眼视频混合到左眼视频中的混合比例变为等于或大于指定值的位置被表示为L2。
图80为在示出在正常温度处弹出图像和景深图像的情况中的立体观看区域的说明图。如图80所示,从左眼从屏幕中心移向-X侧上的L2时两只眼睛的中心位置Cl2到右眼从屏幕中心移向+X侧上的L1时两只眼睛的位置Cl2的距离为处于最佳观看距离的立体观看区域宽度。参考图79,显示处于正常温度的弹出图像和景深图像时的3D串扰区域宽度相同,使得显示弹出图像和景深图像时的立体观看区域宽度等同。进一步,如图81所示,从左眼从屏幕中心移向-X侧的L0时处于两只眼睛的中心的位置Cr1到右眼从屏幕中心移向+X侧的L1时处于两只眼睛的中心的位置Cl1的距离为处于最佳观看距离的无幻视区域宽度。由于两只眼睛之间的距离IPD为恒定值,因此显示弹出图像和景深图像时的无幻视区域等同。
接下来,将参照图82至图87描述显示高温侧的弹出图像和景深图像时关于观看区域的每个参数的变化的状态。如图70b所示,存在当温度增加时透镜间距变大且光线在面板的外端上的折射变小的趋势。图82示出在不考虑串扰的影响的情况显示高温侧的弹出视差图像和景深视差图像的示意图。
在图82a中,右眼观看区域a1示出仅观看到示出处于最佳观看距离的弹出物体的右眼聚焦像素的范围,左眼观看区域b1示出仅观看到示出处于最佳观看距离的弹出物体的左眼聚焦像素的范围。类似地,在图82a中,右眼观看区域a2示出仅观看到示出处于最佳观看距离的景深物体的右眼聚焦像素的范围,左眼观看区域b2示出仅观看到示出处于最佳观看距离的景深物体的左眼聚焦像素的范围。
如图82a所示,当显示弹出图像时,在处于最佳观看距离的右眼观看区域a1和左眼观看区域b1区域c1之间产生其中从左眼聚焦像素发射的光和从右眼聚焦像素发射的光混合的区域c1。在此注意,c1称为光线混合宽度。当显示景深图像时,在处于最佳观看距离的右眼观看区域a2和左眼观看区域b2之间产生其中从左眼聚焦像素发射的光和从右眼聚焦像素发射的光都不通过的区域c2。在此注意,c2称为无光线宽度。
如上所述,从聚焦的左侧像素的+X侧发射的光线Lr和从聚焦的右侧像素的-X侧发射的光线Rl关于面板中心对称,而不管它是弹出图像还是景深图像,以便光线混合宽度c1和无光线宽度c2相同。
然而,当用如图76所示的3D面板观看景深图像时,不存在可以观看显示物体的聚焦像素的位置。因此,需要考虑由上述聚焦像素的串扰区域引起的对观看区域的影响。图83示出其中考虑由类似于图79的左侧像素和右侧像素混合区域产生的串扰区域的情况的光学模型。在显示弹出图像的情况中,除了初始光线混合宽度c1之外,由于3D串扰区域L_crst,R_crst的影响,从左眼聚焦像素发射的光通过以光线Lr和Rl作为中心混合成类似于图80a的右眼观看区域a1。进一步,从右眼聚焦像素发射的光也混合到左眼观看区域b1中。因此,如图83a所示,实际3D串扰区域宽度d1变为大于理想光学模型的情况的光线混合区域宽度c1。
当显示景深图像时,无光线宽度的+X侧由左眼聚焦像素的光填充,-X侧由右眼聚焦像素的光填充。因此,如图83b所示,来自左眼聚焦像素的光和来自右眼聚焦像素的光在其中混合的3D串扰区域d2在最佳观看距离处产生。景深图像中的3D串扰区域d2小于弹出图像中的3D串扰区域d1。
图84为在高温时观看弹出图像和景深图像的情况中的立体观看区域的图示。图85为示出在高温时观看弹出图像和景深图像的情况中的无幻视区域。在图84和图85中,其中从左眼聚焦像素发射的光的亮度和从右眼聚焦像素发射的亮度为相同值的位置,即,其中3D串扰为100%的位置被表示为L0,其中来自左眼聚焦像素的左眼视频混合到右眼视频中的混合比例等于或大于指定值的位置被表示为L1,其中来自右眼聚焦像素的右眼视频混合到左眼视频中的混合比例等于或大于指定值的位置被表示为L2。如上所述,从左眼从屏幕中心移向-X侧的L2时两只眼睛的中心位置Cr2到右眼从屏幕中心移向+X侧的L1时两只眼睛的中心位置Cl2的距离为处于最佳观看距离的立体观看区域宽度。参考图84,显示高温侧的弹出图像时的3D串扰区域宽度大于景深图像的3D串扰区域宽度。因此,显示弹出图像时的立体观看区域小于景深图像的立体观看区域。
同时,如在图77b中的说明一样,图85a示出观看弹出图像时的无幻视区域,图85b示出观看景深图像时的无幻视区域。将图85的A与B进行比较,发现在观看弹出图像和景深图像时无幻视区域等同。
为了验证上述说明,由本发明人进行了评估实验。参照图86至图87描述其结果。在此注意,评估是在视差图像的尺寸沿图88中定义的x轴方向相对于整个屏幕的比例被认为是立体观看区域且其中准备3D区域被限定为离屏幕中心10%的情况的视差图像的条件下进行的。图86示出立体显示装置的使用环境温度从25℃变化至60℃时的立体观看区域的评估结果。图87示出立体显示装置的使用环境温度从25℃变化至60℃时的立体观看区域的评估结果。根据图86中示出的结果,观看弹出图像时的立体观看区域在高温侧极大地减小,并且当观看景深图像时几乎不存在立体观看区域变化。根据图87中示出的结果,观看弹出图像和景深图像时的无幻视区域几乎相同,与温度的增加无关。
虽然上文描述了示出在高温时弹出图像和景深图像的情况中的立体观看区域和无幻视区域的变化,也可以在低温的情况中描述所述变化。
如图70a所示,存在当温度降低时透镜间距变小且光线在面板的外端上的折射变大的趋势。图87示出在不考虑串扰的影响的情况显示在低温时的弹出视差图像和景深视差图像的示意图。
如图88所示,当显示弹出图像时,在处于最佳观看距离的右眼观看区域a3和左眼观看区域b3之间产生从左眼聚焦像素发射的光和从右眼聚焦像素发射的光都不从中通过的区域c3。在此注意,c3称为无光线宽度。当显示景深图像时,在处于最佳观看距离的右眼观看区域a4和左眼观看区域b4之间产生从左眼聚焦像素发射的光和从右眼聚焦像素发射的光在其中混合的区域c4。在此注意,c4称为光线混合宽度。
如上所述,从聚焦的左侧像素的+X侧的光线Lr和从聚焦的右侧像素的-X侧发射的光线Rl关于面板中心对称,而不管它是弹出图像还是景深图像,以便光线混合宽度c4和无光线宽度c3相同。
图14示出其中考虑通过左侧像素和右侧像素混合区域实际产生的串扰区域的情况的光学模型。在显示景深图像的情况中,除了图88所示的初始光线混合宽度c4之外,由于由于3D串扰区域L_crst,R_crst的影响,从左眼聚焦像素发射的光混合到图13中示出的右眼观看区域a4中。进一步,从右眼聚焦像素发射的光也混合到左眼观看区域b4中。因此,如图89b所示,实际3D串扰区域宽度d4变为大于理想光学模型的情况的光线混合区域宽度c4。
当显示弹出图像时,无光线宽度的+X侧由左眼聚焦像素的光填充,-X侧由右眼聚焦像素的光填充。因此,如图89a所示,来自左眼聚焦像素的光和来自右眼聚焦像素的光在其中混合的3D串扰区域d3在最佳观看距离处产生。弹出图像中的3D串扰区域d3小于景深图像中的3D串扰区域d4。
图90为在低温显示弹出图像和景深图像时的立体观看区域的图示。图91为示出在低温显示弹出图像和景深图像时的无幻视区域。在图90和图91中,其中从左眼聚焦像素发射的光的亮度和从右眼聚焦像素发射的亮度为相同值的位置,即,其中3D串扰为100%的位置被表示为L0,其中来自左眼聚焦像素的左眼视频混合到右眼视频中的混合比例等于或大于指定值的位置被表示为L1,其中来自右眼聚焦像素的右眼视频混合到左眼视频中的混合比例等于或大于指定值的位置被表示为L2。如上所述,从左眼从屏幕中心移向-X侧的L2时两只眼睛的中心位置Cr2到右眼从屏幕中心移向+X侧的L1时两只眼睛的中心位置Cl2的距离为处于最佳观看距离的立体观看区域宽度。参考图90,显示低温侧的景深图像时的3D串扰区域宽度大于弹出图像的3D串扰区域宽度。因此,显示景深图像时的立体观看区域小于弹出图像的立体观看区域。
与在高温的情况中一样,从左眼位于L0时两只眼睛的中心Cl1到右眼位于L0时两只眼睛的中心Cr1的距离被定义为无幻视区域。图91a示出观看弹出图像时的无幻视区域,图91b时处观看景深图像的无幻视区域。将图91的A与B进行比较,发现在观看弹出图像和景深图像时无幻视区域等同。
因此,虽然弹出图像和景深图像的无幻视区域不存在变化,但在存在温度变化时,弹出图像和景深图像的立体观看区域存在变化。
接下来,将参照附图按顺序描述根据本发明的第一至第五示例性实施例中的每一个。
(第一示例性实施例)
以下,将参照图1至图15描述根据本发明的第一至第五示例性实施例。
首先,以下,将描述第一示例性实施例的整个内容,并将描述第一示例性实施例的修改例。
图1为示出根据本发明的立体显示装置的示例的截面图。在图1的截面图中增加示意性地示出该截面图内的图像的立体显示的状态的说明图。进一步,图2A和图2B为用于体现图1中示出的立体显示的内容的具体结构示例的框图,图2C为示出随后将描述的修改例的主要部分(主算术运算控制器)的框图。
(基本结构)
在图1至图2中,立体显示装置10包括将三维图像显示到外部的立体显示面板11,和驱动控制立体显示面板11的显示动作的显示控制器12。显示控制器12包括直接驱动立体显示面板11的显示面板驱动部23,和立体图像产生模块22,立体图像产生模块22控制显示面板驱动部23的动作并基于由xyz三轴指定的包括预先设定的z轴方向的景深信息的三维数据产生3D图像数据用于驱动显示面板。
如图1所示,立体显示面板11被构造为具有:基板2,3;显示面板部11A,由设置为基板2和3之间的层形式的多个单元像素4a,4b构成;和作为图像分配部的双凸透镜1,该图像分配部分配和输出从立体显示面板11输出的视觉识别立体图像数据到外部作为视觉识别立体图像信息。这些如附图中说明的那样设置。其中,在第一示例性实施例中用作双凸透镜1的是整体形成片形的透镜阵列类型。
立体显示装置10还包括检测双凸透镜(图像分配部)1的温度的温度传感器21,并包括数据存储部25,该数据存储部25存储基于双凸透镜1和显示面板部11A之间的有效线性膨胀系数差、显示面板部11A的尺寸,单元像素的分辨率、参考温度Tth、3D串扰性质等限定的立体观看区域,双凸透镜1和显示面板部11A之间的有效线性膨胀系数差、显示面板部11A的尺寸,单元像素的分辨率、参考温度Tth、3D串扰性质等限定关于立体显示面板11A固有的立体观看区域的参数信息。
进一步,立体图像产生模块22被构造为包括:变形量计算部28,其计算从温度传感器21检测的温度信息T和参考温度Tth之间的温度差ΔT,并基于温度差ΔT计算变形量为由于双凸透镜(图像分配部)1的周围环境温度变化而改变的收缩量或膨胀量变形量;和主算术运算控制器31,在输入三维数据时,主算术运算控制器31对三维数据进行累积处理,作为为显示目标的物体到数据存储部25的信息,当由变形量计算部28计算关于收缩和膨胀的变形量时,主算术运算控制器31产生与此对应的显示面板驱动3D图像数据。
在此注意,参考数字24为用于将来自外部的命令、必要数据等输入到主算术运算控制器31的输入部。
这提供了一种结构,在双凸透镜1和显示面板部11A的周围环境温度存在变化时,该结构能够通过有效地对应于温度变化而产生3D图像数据。
立体图像产生模块22还包括:相机设置信息指示部22A,其预先存储确定一对相机的设定位置的参数的多条相机设置信息,作为用于渲染处理数据存储部25中累积的三维数据的条件;和温度差判断部30,其进行关于检测温度相对于参考温度Tth的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否是需要为视差量进行修正的温度环境,该视差量是在xy平面上的x轴上指定的,该xy平面为包含作为景深信息的z轴信息的三维图像的显示面(屏幕面)。在此注意,关于图7A,7B和7C中示出的第一至第三相机设置A,B,C中的每一个的设定参数或关于与此对应的第四至第五相机设置D,E中的每一个的设定参数分别存储在相机设置信息存储部22A中。
从而,当存在上述周围环境温度变化时,能够通过与其对应而立即进行关于修正上述视差量的必要性的判断。
在该情况中,主算术运算控制器31包括3D图像数据产生功能31G,3D图像数据产生功能31G:在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要修正视差量的温度环境时运行;在第一相机设置A下对包含景深信息的三维数据进行渲染处理;以及基于具有通过三维数据和相机设置A确定的视差量的二维视差图像产生和输出3D图像数据用于驱动显示面板(参见图2B)。
进一步,上述主算术运算控制器31设置有修正环境判断部29,该修正环境判断部29在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要修正视差量的温度环境时运行,以进行双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断(参见图2A)。
进一步,如图2B,主算术运算控制器31包括:收缩状态修正控制器31A,其在由修正环境判断部29判断温度差ΔT处于ΔT<0的状态(双凸透镜1收缩的状态)时运行;和膨胀状态修正控制器31B,其在由修正环境判断部29判断温度差ΔT处于ΔT>0的状态(双凸透镜1膨胀的状态)时运行。
收缩状态修正控制器31A包括弹出侧图像数据处理功能31a,其在由修正环境判断部29判断双凸透镜1处于收缩状态(ΔT<0)时运行以判断物体的景深是否位于弹出侧的z≥0的位置,并且在判断处于z≥0的位置时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理。
进一步,类似地,收缩状态修正控制器31A包括非弹出侧图像数据处理功能31b,其在判断双凸透镜1处于收缩状态(ΔT<0)时运行以判断物体的景深是否位于弹出侧的z≥0的位置,并且在判断处于非弹出侧的z<0的位置时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理(参见图7),第二相机设置B具有比在第一相机设置A中每个相机的光轴和z轴之间形成的夹角小的夹角。
进一步,收缩状态修正控制器31A包括:图像数据合成功能31c,其对由弹出侧图像数据处理功能31a和非弹出侧图像数据处理功能31b分别对其进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能31d(收缩状态),其基于合成的图像数据产生和输出3D图像数据用于驱动显示面板。
从而,即使在双凸透镜1处于收缩状态时,也可以有效地为位于弹出侧(z≥0)和非弹出侧(z<0)的物体产生3D图像数据,如随后将描述的那样。
同时,主算术运算控制器31的膨胀状态修正控制器31B包括非弹出侧图像数据处理功能31e,其在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时运行以判断物体是否位于非弹出侧的z<0的位置,在判断处于z<0的位置时,在第一相机设置A的条件下对z<0的三维数据进行渲染处理。
进一步,类似地,膨胀状态修正控制器31B包括弹出侧图像数据处理功能31f,其在判断双凸透镜1处于膨胀状态(ΔT>0)时运行以判断物体的景深是否位于非弹出侧的z<0的位置,并且在判断位于z≥0的位置时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理(参见图7),第三相机设置C具有比在第一相机设置A中每个相机的光轴之间形成的夹角大的夹角。
进一步,膨胀状态修正控制器31B包括:图像数据合成功能31g,其对由弹出侧图像数据处理功能31a和非弹出侧图像数据处理功能31b分别对其进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能31h(膨胀状态),其基于合成的图像数据产生和输出3D图像数据用于驱动显示面板。
从而,即使在双凸透镜1处于膨胀状态时,也可以有效地为位于弹出侧和非弹出侧的物体产生3D图像数据,如随后将描述的那样。
进一步,上述主算术运算控制器31设置有景深图像展开处理部22B,对于发送到主算术运算控制器31中的关于物体的三维数据,景深图像展开处理部22B展开(develop)二维图像信息作为物体图像,并展开其景深信息(景深位置)作为景深图像。进一步,景深图像展开处理部22B包括灰度级值指定功能,其由像素单元通过针对三维数据对应于景深信息(景深位置)设定灰度级值,并通过对应于x轴上指定的二维图像信息的视差量指定设定灰度级值的值。
在此注意,由像素单元将景深图像基本上指定为具有基于景深信息的灰度级值。
以下,将以更具体的方式对此进行描述。
(具体结构)
参考图1,如上所述,立体显示装置10被构造为包括立体显示面板11和显示控制器12。立体显示面板11被构造为具有:双凸透镜(图像分配部)1;和显示面板部11A,其被构造为具有保持双凸透镜1并包括放置为层形式的多个单元像素4a,4b的基板(相对基板)2,以及进行基板2的所述多个单元像素的开关操作的另一个基板(主基板)3。在此注意,偏振板(未示出)可以插入双凸透镜1和显示面板部11A之间。
其中,显示面板部11A为液晶面板,多个单元像素在液晶面板上总体上形成矩阵。当进行立体显示时,沿着与观看者的两只眼睛7a,7b放置的方向平行的水平方向设置的单元像素交替地用作左眼像素4a和右眼像素4b。在图1中,位于面板的两端及其中心的每个像素用阴影图示。
如第一示例性实施例中一样,上述示例性实施例中的每一个说明了其中双凸透镜1用作图像分配部的情况。然而,图像分配部不仅限于双凸透镜1。例如,能够广泛地使用包括其上形成指定图案的棱镜片、反射片、漫射片、阻挡片等等的光学元件。进一步,作为透镜片和阻挡片,还能采用能够通过采用液晶等进行折射率控制和光屏蔽控制的电光元件。
进一步,虽然每个示例性实施例被描述为其中液晶面板被安装为显示面板部11A的情况的示例,但本发明不仅限于此。能够广泛地使用为包括有机EL面板、无机EL面板、PDP,FED,CRT等等的光调制器的显示装置。进一步,虽然以举例的方式描述了关于视点的数量的2-视点的情况,但本发明不仅限于此。本发明也可以应用于任意N-视点的情况。
顺便提及,第一示例性实施例的双凸透镜1由如图1所示的多个柱面透镜9以单个柱面透镜对应于一对像素(即,右眼像素4a和左眼像素4b)的方式构造而成。
双凸透镜1还用作将从每个像素发射的光线分配至观看者的两只眼睛的分配模块。左眼区域5a由来自位于立体显示面板11的两端和中心处的左眼像素4a的光线形成,右眼区域5b由来自右眼像素4b的光线形成。
进一步,当左眼7a位于左眼区域7a且右眼7b位于右眼区域7b内时,观看者可以观看到指定立体图像。
如上所述,显示控制器12包括驱动立体显示面板11的显示面板部11A的功能,和通过对应于由温度传感器21检测到的使用环境温度产生立体视差图像的功能。
也就是说,如图2A所示,显示控制器12具体地包括:立体图像产生模块(图像产生模块)22,其通过对应于由温度传感器21检测到的使用环境温度输出3D图像数据作为用于驱动立体显示面板的立体图像数据;和显示面板驱动部23,其基于从立体图像产生模块22输出的3D图像数据驱动立体显示面板11。
在此注意,温度传感器21为用于检测装置温度(特别是双凸透镜1的周围环境温度)的传感器。作为温度传感器21,能够采用诸如铂温度电阻器、热敏电阻器或热电偶之类的接触型传感器,以及诸如红外线传感器之类的非接触型传感器。装置温度极大地依赖于使用环境温度和来自装置内的电光元件等的焦耳热的大小。
如上所述,设置到立体图像产生模块22的数据存储部25保持关于立体观看区域的参数信息等,该立体观看区域是基于从温度传感器21获得的温度信息、立体显示面板固有的有效线性膨胀系数差、面板尺寸、面板分辨率、参考温度Tth、3D串扰性质等限定的。
如上所述,立体图像产生模块22包括产生用于驱动显示面板的图像数据的功能。如上所述,立体图像产生模块22被构造为包括:主算术运算控制器31、预先存储用于限制主算术运算控制器31的动作和算术运算功能的各种命令信息的存储器(命令信息存储部26);作为数据累积部的上述数据存储部25;和变形量计算部28,其基于来自温度传感器21的温度信息计算双凸透镜1的变形状态(收缩或膨胀)和变形量。
进一步,立体图像产生模块22具有下述多种功能:基于参数信息和来自温度传感器21的信号产生具有视差和景深的3D图像数据;产生不具有视差的图像数据(2D图像数据);合成3D图像数据和2D图像数据;转换景深数据的灰度级;偏移处理视差数据;等等。立体图像产生模块22的主要功能被构造为由主算术运算控制器31执行,如随后将描述的那样。
由立体图像产生模块22进行的图像数据的产生通过由主算术运算控制器31读出数据存储部(数据累积部)25的显示目标数据和通过进行图像处理而进行。该显示目标数据为包含景深信息的三维数据,并且通过主算术运算控制器31对该显示目标数据进行渲染处理,以产生由视差图像构成的二维图像数据。
在这种情况中,用于立体显示的3D数据,即,用于具有视差的左眼和右眼二者的二维图像数据,分别通过通过设置对应于观看者的左眼和右眼的两个虚视点而进行渲染处理而产生。图3A和图3B示出所产生的图像数据的示例。
当产生图像数据时,通过基于由温度传感器21检测到的信息设定两个虚视点和通过根据温度信息进行渲染处理而执行,如随后将描述的那样。
当将其中视差仅提供至平面显示上的特定物体的2D图像数据与3D图像数据合并时,通过设定对应于观看者的两只眼睛的中心的单个视点和预先进行渲染处理而产生用于平面显示的2D图像数据,并且通过设定两个虚视点和根据温度信息进行渲染处理,可以产生3D图像数据。将在第二示例性实施例中公开这种情况的具体处理。
进一步,还能通过基于温度信息进行渲染处理而产生如图3C所示的景深数据。
景深数据为对应于二维图像的灰度图像,其中基于景深信息的灰度级值应用于像素单元。在这种情况中,景深图的灰度级值根据由温度传感器21检测的温度信息变化。运算处理全部由主算术运算控制器31控制的景深图像展开处理部22B执行,如随后将描述的那样。
当通过采用这些图像数据提供立体显示时,显示面板11的单元像素沿水平方向交替地用作右眼像素和左眼像素。
在此注意,用于产生包含景深信息的三维数据的方法优选用于产生图像数据。然而,还能预先将其上基于对应于透镜的收缩和膨胀进行渲染处理的显示目标数据累积至数据存储部25,并基于来自温度传感器的温度信息选择性地读出显示目标数据。也就是说,如上所述,图3A或图3B为通过设定两个虚视点和进行渲染处理产生的图像。还能预先累积对应于透镜的收缩和膨胀的二维数据形式的那些图像,并读出那些图像。
当以这种方式预先累积二维数据形式的图像数据时,渲染处理变得不必要。因此,主算术运算控制器31的负载变得比需要渲染的方法减轻很多。因此,能够甚至采用具有低处理能力和算术运算速度的装置也能有效地响应,以便可以低的成本构造立体图像产生模块(图像产生部)22。在将2D图像数据与3D图像数据合并的情况中,也可以以相同的方式预先累积2D图像数据。
立体图像产生模块22具有以上述方式根据来自温度传感器21的信号产生2D/3D图像数据和将它输出至显示面板驱动部23的功能。
在此注意,作为2D/3D图像数据,立体图像产生模块22可以输出多种形式的数据,如通过如逐侧地(side by side)、逐线地、逐点地合成每个视点的图像获得数据、通过合并中心图像和景深图像获得的数据、以及通过以时间序列方式传递每个视点的视频获得的数据。
进一步,显示面板驱动部23具有产生用于驱动3D显示面板11所需要的信号(合成信号等)的功能。在这种情况中,当构成3D显示面板11的双凸透镜(图像分配部)1为诸如液晶屏障或液晶透镜之类的电光元件时,能够采用包括根据2D/3D数据从显示面板驱动部23输出指定信号到双凸透镜的功能的结构。
关于图2A中示出的主算术运算控制器31,在另一个处理器中可以设置处理将采用的移动显示装置的另一种功能(如,通信控制)或处理功能的一部分的功能。
(关于图像数据修正(修改处理))
接下来,将描述根据双凸透镜1的温度变化执行的3D图像数据的修正(修改处理)。
图4A和4B为其中针对处于上述图71中公开的透镜收缩状态的光学模型而示出第一示例性实施例的弹出视差图像和景深视差图像的情况的示意图。
在图4中,图4A示出观看弹出图像时的状态。进一步,沿P-方向的光线根据在上述显示平面40的x轴上指定的视差量A入射在左眼区域5a和右眼区域5b内,如在上述图71A中示出的情况一样。
进一步,图4B示出观看景深图像时的状态。沿Q-方向的光线根据图71B中示出的视差量A不入射在左眼区域5a和右眼区域5b的范围内。因此,通过由主算术运算控制器31根据通过从视差量A中减去β获得的视差量A-β进行算术运算和形成沿Q-方向的光线,光线可以入射在左眼区域5a和右眼区域5b的范围内。这种修正(修改处理)由上述图2B中公开的主算术运算控制器31的收缩状态修正控制器31A执行。
从而,在透镜收缩状态下,第一示例性实施例使得能够从观看者仅可以识别弹出图像但不能识别景深图像的状态转向能够可靠地识别景深图像的状态。
图5A和5B为示出根据第一示例性实施例的关于图72中示出的透镜膨胀状态中的光学模型的弹出视差图像和景深图像的情况的示意图。
图5A示出观看弹出图像时的状态。沿P-方向的光线根据图72A中示出的视差量A不入射在左眼区域5a和右眼区域5b的范围内。因此,通过根据从视差量A中减去α获得的视差量A-α形成沿P-方向的光线,光线开始入射到左眼区域5a和右眼区域5b的范围内。
进一步,图5B示出观看景深图像时的状态。沿Q-方向的光线根据视差量A入射在左眼区域5a和右眼区域5b的范围内,如在图72B中示出的情况一样。这种修正(修改处理)由主算术运算控制器31的收缩状态修正控制器31B执行,如上所述。
从而,在透镜膨胀状态下,第一示例性实施例使得能够从观看者仅可以识别景深图像但不能识别弹出图像的状态转向能够可靠地识别弹出图像的状态。
(图像数据产生动作)
为了实现图4和图5中公开的光学模型,以下将详细地描述其图像数据的产生动作。
为了简化图4和图5的说明,弹出图像或景深图像局限于用作视差图像。然而,作为实际图像,存在弹出图像和景深图像以混合方式存在的情况。因此,关于下述图像数据产生动作,采用其中弹出图像和景深图像混合的情况进行说明。
图6为示出根据第一示例性实施例的3D图像数据产生动作的示例的流程图。
首先,开始立体显示,同时,用于检测显示装置(特别是双凸透镜1)的温度的温度传感器21启动。
随后,由变形量计算部28计算由温度传感器21检测到的双凸透镜1的温度T和预先设定的参考温度Tth之间的差异ΔT(图6:步骤S101/温度差计算步骤)。在此注意,参考温度Tth是根据图像显示装置的应用任意设置的。在第一示例性实施例中,它被设置到正常温度。随后,设定用于渲染处理条件(z轴上的z=0,用于显示景深)所需要的屏幕面(显示面)40和相机设置A(图6:步骤S102)。
图7A示出相机设置A(第一相机设置A)的示例。在第一相机设置A中,如已经在上述图64中公开的那样,通过采用上述交叉法,以左眼相机35a和右眼相机35b的光轴之间的交叉点41位于规则屏幕(即,位于屏幕面40的重现位置)的方式放置相机。定义屏幕面40的水平方向为x轴,垂直于x轴的方向为y轴,垂直于xy平面的方向为z轴,交叉点41取为原点,xyz轴的正方向和负方向(用于收集立体信息的位置的设定)如图7A所示。在这种状态中,相机位置ZC、相机间距离XC、相机视角(未示出)可以被视为相机设置参数的示例。
在此注意,相机位置ZC是相机沿着屏幕面(z=0)40的z轴的方向的位置,相机间距离XC是该对相机35a和35b沿x轴方向的间距,在这种状态中z轴和相机35a和35b中的每一个的光轴之间的角度,即,夹角,被定义为θ。
在第一示例性实施例中,分别地,苹果物体42放置在屏幕面40的远侧(z<0),葡萄物体43放置在前侧(z≥0)。相机设置A(第一相机设置A)是根据参数信息中的面板尺寸、面板分辨率等设定的。然而,还能采用以下结构:采用该结构可以根据需要或根据面板观看者的喜好任意地设置相机设置A。
随后,对差异ΔT(检测温度T和参考温度Tth之间的差)和判断阈值ΔTth的绝对值中的每一个进行比较,以判断是否需要修正(修改)(图6:步骤S103/修正必要性判断步骤)。这种判断由立体图像产生模块22的温度差判断部30执行,如上所述。
当在步骤S103的修正必要性判断步骤中判断为|ΔT|≤|ΔTth|时,认为由温度变化引起的双凸透镜1的变形量小并且视差量修正是不必要的。因此,三维数据在第一相机设置A的条件下立即被渲染处理(图6:步骤S104/图像处理步骤)。随后,基于渲染处理过的视差图像,它被转换成如图8所示的用于驱动显示面板的3D图像数据,随后被输出(图6:步骤S105/3D图像数据产生步骤)。
同时,在|ΔT|>|ΔTth|的情况中,认为由温度变化引起的双凸透镜1的变形量大且视差量修正是必要的。因此,为了检测双凸透镜1是处于收缩方向还是处于膨胀方向,转为执行对ΔT的符号的判断(图6:步骤S107/修正环境判断)。ΔT符号判断步骤由如上所述的立体图像产生模块22的修正环境判断部29执行。
进一步,在图6的步骤S107中ΔT<0的情况中,认为双凸透镜1相对于参考状态处于收缩状态并且如上所述转向步骤S108。同时,在ΔT>0的情况中,认为双凸透镜1相对于参考状态处于膨胀状态并且如上所述转向步骤S113。在这两种情况中,研究物体的景深位置,作为接下来的处理。
在ΔT<0的前一种情况中,即,当判断双凸透镜1处于收缩状态时,在图6的步骤S108中判断相对于z轴的具有景深信息的物体位置是否比屏幕面40位于前侧(即,z≥0)。如上所述,这个判断动作由主算术运算控制器31的收缩状态修正控制器31A执行。
进一步,当z≥0时,在第一相机设置A的条件下对物体43的三维数据执行渲染处理(图6:步骤S109/弹出侧图像数据处理步骤)。从而,可以获得如图9A所示的3D图像数据。
同时,在z<0的情况中,即,当物体相对于z轴的位置是相对于屏幕面40的远侧时,选择图7B中示出的相机设置B(第二相机设置B)的条件(图6:步骤S110),并在对应的物体42的三维数据上执行渲染处理(图6:步骤S111/非弹出侧图像数据处理步骤)。从而,可以获得如图9B所示的3D图像数据。
在此注意,如图7B所示,在图7B中所示的第二相机设置B中相机35a和35b中的每一个的光轴和z轴之间的角度θ1被设置为小于图7A中示出的第一相机设置A的θ。用于确定θ1的参数为差异ΔT,以及存储在数据存储部25中的内容(即,构成显示面板的材料的有效线性膨胀系数差、面板尺寸、面板分辨率和3D行程)。
除ΔT之外的参数通常可以被处理为常数,使得仅ΔT是可变的。θ1随着ΔT变大而变小。然而,θ1和ΔT之间的关系不仅限于线性形式,而是也可以为非线性形式。
从而,物体42在x轴坐标上的视差量在左眼图像中从尺寸B变小为B-β,在右眼图像中从尺寸B变小为B-β,从而即使在如上文在图4中描述的透镜收缩状态中也提供可以观看到的图像。在这种情况中,用于确定角度θ1的相机间距离XC1和相机间距离ZC1针对相机设置A可以任意设置。例如,在图7中,能够设置为XC1=XC,ZC1>ZC,设置为ZC1=ZC,XC1<XC,或者设置为XC1<XC,ZC1>ZC。
随后,通过图6的步骤S109中的渲染处理获得的图9A的图像数据和通过步骤S111中的渲染处理获得的图9B的图像数据由图像数据合成功能31c合成(图6:步骤S112)。基于合成的图像数据,通过3D图像数据产生功能31d产生如图9C所示的3D图像数据(图6:步骤S105/3D图像数据产生步骤)。
虽然在图6的步骤S109中在第一相机设置A的条件下对作为目标的三维数据执行渲染处理,但条件不仅限于此。也可以通过采用通过针对相机设置A的那些参数稍微改变图7A的θ,XC和ZC获得的条件作为相机设置(相机设置A),对作为目标的三维数据执行渲染处理。
同时,在ΔT>0的状态的情况中(即,其中双凸透镜1相对于参考状态膨胀的状态),它被设置为转到步骤S113(研究物体的景深位置)。
在步骤S113中,执行的是关于相对于z轴的具有景深信息的物体位置是否相对于屏幕面40位于远侧的判断,即是否z<0。
进一步,当z≥0时,在第一相机设置A的条件下对物体42的三维数据执行渲染处理(图6:步骤S114/弹出侧图像数据处理步骤)。从而,可以获得如图10A所示的3D图像数据。
进一步,在z<0的情况中,即,当物体相对于z轴的位置是相对于屏幕面40的远侧时,选择图7C中示出的第三相机设置C的条件(图6:步骤S115),并在对应的物体43的三维数据上执行渲染处理(图6:步骤S116/弹出侧图像数据处理步骤)。从而,获得如图10B所示的3D图像数据。
在此注意,在图7C中所示的第二相机设置B中相机35a和35b中的每一个的光轴和z轴之间的角度θ2被设置为大于图7A中示出的第一相机设置A的θ。如在θ1的情况中一样,θ2也是关于上述ΔT和存储在数据存储部25中的内容的函数,并且θ2随着ΔT变大而变大。然而,θ2和ΔT之间的关系不仅限于线性形式,而是也可以为非线性形式。
从而,物体43的视差量从A变小为A-α,从而甚至在如图5中描述的透镜膨胀状态中也提供可以观看到的图像。
如图7C所示,用于确定角度θ2的相机间距离XC2和相机间距离ZC2对于相机设置A可以任意设置。例如,能够设置为XC2=XC,ZC2<ZC,设置为ZC2=ZC,XC2>XC,或设置为XC2>XC,ZC2<ZC。
随后,以上述方式合成通过步骤S114中的渲染处理获得的图10A的图像数据和通过步骤S116中的渲染处理获得的图10B的图像数据(图6:步骤S117)。基于合成的图像数据,产生如图10C所示的3D图像数据(图6:步骤S105/3D图像数据产生步骤)。这些都由主算术运算控制器31执行。
虽然在图6的步骤S114中在第一相机设置A的条件下对作为目标的三维数据执行渲染处理,但条件不仅限于此。也可以在通过采用通过稍微改变相机设置A的θ、XC和ZC获得的相机设置条件A(未示出)下对作为目标的三维数据执行渲染处理。
虽然在步骤S108和S113中判断相对于z轴的具有景深信息的物体位置为屏幕面40的前侧z≥0和远侧z<0,但该位置不仅限于这种情况。还能判断为前侧z>0和远侧z≤0,或者判断为前侧z≥0和远侧z≤0。这在随后将描述的第二和第三示例性实施例中也适用。
如已经描述的那样,根据温度差ΔT的值进行渲染处理,并且在步骤S105中获得的3D图像数据作为图2A中示出的2D/3D图像数据(显示面板驱动数据)经由显示面板驱动部23传递至立体显示面板11。从而,观看者可以观看指定立体图像。
随后,执行关于ΔT的更新的判断(图6:步骤S106)。当判断需要更新时,程序返回步骤S101。当判断不需要更新时,程序返回至步骤S102以返回至相机设置A。
在此注意,图6的步骤S106是针对观看者的功能,以对应于立体显示装置10的使用温度环境变化。例如,假设移动装置从外部进入进入建筑物内的情况,假设固定型装置在启动空气调节器之前和之后的情况。
因此,没有必要每次通过都执行图6中示出的步骤S106的判断。能够采用一种结构,采用该结构对通过次数进行计数,并且当它达到合适的计数值时观看者从立体显示装置10的操作开关等给出命令以执行判断动作,或者能够采用在达到预定计数值时自动执行判断动作的结构。
虽然已经描述了具有图7中描述的景深信息的物体42和43中的每一个存在于屏幕面(z=0)40的前侧和远侧的情况,但也可以在存在两个或更多个物体(物体42,43,43)的情况中进行同样的处理。其示例在图11A,11B和11C中示出。
同时,针对图11的该示例的图像数据的产生在图12中示出。在这种情况中,根据如图12A-12C所示的ΔT的图像数据可以通过图6中示出的流程图以与图8至图10完全相同的方式获得。
进一步,虽然已经通过主要涉及其中对三维数据进行渲染处理以展开视差图像的示例在第一示例性实施例中描述了本发明的内容,但本发明不仅限于此。例如,通过渲染处理获得的结果也可以被展开成示出二维图像和示出景深信息的景深图像,如图13所示。以下,将对此进行详细描述。
也就是说,第一示例性实施例的主算术运算控制器31设置有景深图像展开处理部22B,其将发送到主算术运算控制器31中的关于物体的三维数据的二维图像信息展开为物体图像并将景深信息(z轴上的景深位置)展开为景深图像。进一步,景深图像展开处理部22B具有下述功能:通过像素单元针对三维数据对应于景深信息设定灰度级值,并通过对应于在x轴上指定的二维图像信息的视差量指定设定的灰度级值。
在这种情况中,景深图像通过景深图像展开处理部22B的灰度级值指定功能经历指定处理,以基本上通过像素单元具有基于景深信息的灰度级值,如上所述。
该情况的景深图像展开处理部22B的处理内容在图13A、13B和13C中示出。在下文的说明中,用作景深图像的是其中大于屏幕面的灰度级值的灰度级值被定义为弹出侧且小于屏幕面的灰度级值的灰度级值被定义为景深侧的图像。
在图13A中,首先,当假设最大灰度宽度为256时,例如,为其一半的灰度级值128被定义为屏幕面40上的灰度级值。根据上述定义,大于灰度级值128的值应用于用于屏幕面40的弹出物体46c,46d,小于灰度级值128的值应用于景深物体46a,46b。
通过将背景46e的灰度级值设为128,能够将背景形成为与屏幕面40相同的平面。还能通过采用大于或小于灰度级值128的灰度级值将背景设为弹出或景深平面。景深图像展开处理由主算术运算控制器31的景深图像展开处理部22B执行。
图13B示出对应于图12B的视差图像的景深图像,其中分别地,弹出物体47d处于对应于图12B的A-α的灰度级值A-α,弹出物体47c处于对应于D-δ的灰度级值D-δ。也就是说,比图13A的弹出物体46c,46d更小的灰度级值应用于弹出物体47c,47d。
类似地,图13C示出对应于图12C的视差图像的景深图像,其中分别地,弹出物体48b处于对应于图12C的B-β的灰度级值B-β,弹出物体47a处于对应于C-χ的灰度级值C-χ。也就是说,比图13A的弹出物体46c,46d更大的灰度级值应用于弹出物体47a,47b。
进一步,虽然交叉法用于说明获得视差图像或景深图像的图像捕获方法,但还能采用平行法执行类似的处理。
对于第一示例性实施例中公开的立体显示装置10,已经详细地描述用于驱动立体显示面板的图6中公开的3D图像数据产生方法。关于3D图像数据产生动作,从双凸透镜温度测量处理开始的一系列数据处理步骤中的信息处理内容中的每一个可以放入程序中,以由设置到立体图像产生模块22的计算机实现它。这对于随后将描述的修改例和除第二示例性实施例之外的所有示例性实施例及其修改例都是如此。
进一步,关于程序的发明,可以将已编程的内容记录到非临时记录介质,如DVD、CD、闪存等。在这种情况中,记录的程序由计算机读出并执行。
据此,还能有效地实现本发明的上述目的。
接下来,将描述通过使用第一示例性实施例的方法对处于使用环境温度的立体观看区域执行的评估的内容。
图14示出当立体显示装置11的使用环境温度从-20℃改变到60℃时立体观看区域的评估结果。当双凸透镜1和显示面板部11固定时二者之间的有效线性膨胀系数差为30ppm。
在此注意,该评估在在下述条件下进行的,即视差图像的尺寸对于图7中定义的x轴方向相对于整个屏幕的比例被认为是3D区域,并且从屏幕中心准备具有10%、40%、85%3D图像的视差图像。也就是说,“10%3D区域”意味着在屏幕的中心部分中存在相对的视差图像,如图8所示,“85%3D区域”意味着在几乎整个屏幕上存在视差图像,如图12所示。
具有如图8和图12所示的弹出图像和景深图像的混合的数据用于在评估中使用的图像数据。三个测试物体的平均值用于立体观看区域。
参考图14,即使有效线性膨胀系数差为如上所述的30ppm,从-20℃到60℃在40%3D区域中确保指定的立体观看区域。这是因为根据使用环境温度控制特定视差方向的视差量。证实与图73的情况相比,使用温度范围被极大地改善。
在实际内容中,很少在整个屏幕上提供具有大的视差的3D区域。更常见的是在关于屏幕中心的约40-60%的区域中提供具有大的视差的3D区域。
将图14与图73进行比较,关于用于40%3D区域的立体观看区域的变化,可以发现第一示例性实施例在关于25℃的±15℃范围内的点处非常有效。
进一步,根据该结果,在关于60%3D区域的±15℃范围内的点处变得有效的有效线性膨胀系数差为约15ppm。因此发现第一示例性实施例在有效线性膨胀系数差变为15ppm或更大时非常有效。
如上所述,采用第一示例性实施例,可以由温度差判断部30快速地判断是否对在双凸透镜1的收缩状态和膨胀状态中的每一种输出的图像数据进行修正控制。设计为通过分别地对应于双凸透镜1的收缩状态或膨胀状态而随后操作收缩状态修正控制器31A或膨胀状态修正控制器31B,以便可以通过快速地对应于环境温度的变化有效地实现图像数据的修正控制。这使得能够获得出色的立体图像显示装置,甚至在周围的环境温度存在变化时,该立体图像显示装置也可以有效地通过双凸透镜1连续地显示立体图像显示。
进一步,立体图像显示装置可以采用其线性膨胀系数不同于显示面板的材料,即,典型的塑料基板可以用作双凸透镜,典型的玻璃基板可以用作显示面板,以便存在可以以低的成本供应大量显示装置的优点。
进一步,作为对应于周围的环境温度的变化的2D/3D数据,立体图像显示装置可以输出多种形式的数据,如通过如逐侧地、逐线地、逐点地合成每个视点的图像获得的数据、通过合并中心图像和景深图像获得的数据、以及通过以时间序列方式从立体图像产生模块传递每个视点的视频获得的数据。因此,立体图像显示装置展现出针对显示面板驱动部的接口规范的灵活性,以便它可以应用于宽范围的显示装置。这导致实现显示面板的高性能和降低成本。
虽然已经在第一示例性实施例中两视点的情况,但本发明不仅限于此。本发明也可以以相同的方式应用于N个视点。图15示出了N=4的情况,其中第一视点像素51a、第二视点像素51b、第三视点像素51c和第四视点像素51d沿着与观看者的两只眼睛7a,7b所处的方向平行的水平方向设置为立体显示面板11的单元像素,并且第一视点区域52a至第四视点区域42d经由作为光分配模块的双凸透镜1形成。通过采用四个相机执行渲染处理,用于产生在每个视点处投射的图像数据。然而,也可以以与上述两视点的情况相同的方式执行处理。
(修改例)
接下来,将参照图2C描述第一示例性实施例的修改例。
在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
图2C为示出根据第一示例性实施例的修改例的主算术运算控制器32的每个结构元件的框图。
在上述第一示例性实施例中,如图2B所示,主算术运算控制器31的收缩状态修正控制器31a在第一相机设置A下执行关于弹出侧图像数据处理功能31a的渲染处理,在第二相机设置B下执行关于非弹出图像数据处理功能31b的渲染处理,在第二相机设置B中,夹角夹角小于第一相机设置A中相机光轴和z轴之间形成的夹角(参见图6:步骤S110,S111)。
同时,在第一示例性实施例的修改例中,如图2C,主算术运算控制器32的收缩状态修正控制器32A特征在于非弹出侧z值转换处理功能32b,其通过将修正系数α乘以z<0的物体的z(绝对值)而进行z值的转换(沿着变得小于初始z值的方向),以代替上述非弹出侧图像数据处理功能31b。
通过在第一相机设置A时基于处于第二相机设置B的一对相机的夹角信息,通过采用处于第一相机设置A的景深坐标上的z轴作为参考,对三维数据进行z值转换处理,非弹出侧z值转换处理功能32b可以获得类似于第一示例性实施例的3D图像数据。
上述修正系数α小于数值“1”,并且如上所述,它可以基于第一相机设置A的夹角信息和第二相机设置B的夹角信息而被确定。进一步,修正系数α不仅限于此。能够将该系数限定为恒定值,而不管z值的大小,只要它在立体可见性不会由于温度变化而恶化的范围内。替代地,还能根据z值的大小线性地或非线性地改变该系数。
进一步,代替第一示例性实施例的在图2B中公开的图像数据合成功能31c,该修改例设置有整个区域图像数据集中数据处理功能32c,对于通过使用相同的相机设置(如,第一相机设置A)转换其z值的弹出侧和非弹出侧,执行渲染处理。因此,第一示例性实施例的在图2B中示出的图像数据合成功能31c变得不必要。
进一步,在该修改例中,同样采用上述第一示例性实施例的膨胀状态修正控制器31B。代替膨胀状态修正控制器31B,设置膨胀状态修正控制器32B。
也就是说,在该修改例中,如图2C,主算术运算控制器32的膨胀状态修正控制器32B的特征在于包括弹出侧z值转换处理功能32f,其通过将修正系数β乘以z≥0的物体的z(绝对值)而进行z值转换(沿着变得小于初始z值的方向),以代替上述弹出侧图像数据处理功能31f。
通过在第一相机设置A时基于处于第三相机设置C的一对相机的夹角信息,通过采用处于第一相机设置A的景深坐标上的z轴作为参考,对三维数据进行z值转换处理,非弹出侧z值转换处理功能32f可以获得类似于第一示例性实施例的3D图像数据。
在此注意,可以以与上述修正系数α的情况相同的方式设置修正系数β。
进一步,代替第一示例性实施例的在图2B中公开的3D图像数据合成功能31g,该修改例设置有整个区域图像数据集中数据处理功能32g,对于通过使用相同的相机设置(如,第一相机设置A)转换其z值的弹出侧和非弹出侧,执行渲染处理。因此,第一示例性实施例的在图2B中示出的图像数据合成功能31g变得不必要。
从而,没有必要分别地在收缩状态修正控制器32A的弹出侧图像数据处理功能31a和非弹出侧z值转换处理功能32b之间以及膨胀状态修正控制器32B的非弹出侧图像数据处理功能31e和弹出侧z值转换处理功能32f之间改变相机设置。进一步,图像数据合成功能变得不必要。因此,系统侧(特别地,主算术运算控制器)的负载可以被极大地减轻,并且还可以增加图像处理的速度。
该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
(第二示例性实施例)
接下来,将参照图16至图18描述本发明的第二示例性实施例。
图16A和图16B为示出根据第二示例性实施例的立体显示装置的控制器50和形成控制器的主要部分的算术运算控制器51的结构内容的框图。
进一步,图16C为示出第二示例性实施例的修改例的主要部分(主算术运算控制器)52的框图。
在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
第二示例性实施例特征在于在对第一示例性实施例中使用的具有景深信息的物体的三维数据进行渲染处理时,将相机设置限制到根据差异ΔT的大小设定的关于x轴上的视差的阈值(参考值)xth的大小。
以下,这将通过以在第一示例性实施例中描述的内容为前提而提供。
(结构)
首先,与在第一示例性实施例的情况一样,根据第二示例性实施例的立体显示装置包括驱动控制立体显示面板11的显示控制器50。显示控制器50设置有立体图像产生模块50A,其具有用于限制随后将描述的全部结构元件中的每一个的动作的主算术运算控制器51。
与在第一示例性实施例的情况一样,主算术运算控制器51设置有x位置阈值设定部50B,在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时,该x位置阈值设定部50B设置直接与视差量的修正相关的x轴上的阈值xth在差异ΔT的值变大时较小,因为阈值xth使得能够固定根据温度差ΔT的大小改变的立体观看区域。
进一步,为了快速且精确地执行视差量的修正,上述主算术运算控制器51设置有修正环境判断部29,其判断作为图像分配模块的双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态。
进一步,与在上述第一示例性实施例的情况一样,主算术运算控制器51包括:收缩状态修正控制器51A,其在满足|ΔT|>|ΔTth|且温度差ΔT为ΔT<0的情况中(当双凸透镜1收缩时)运行;和膨胀状态修正控制器51B,其在满足|ΔT|>|ΔTth|且温度差ΔT为ΔT>0的情况中(当双凸透镜1膨胀时)运行。
其中,收缩状态修正控制器51A执行下文示出的不同于第一示例性实施例的情况的三种数据处理功能,并将它们合成以输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,构成主算术运算控制器51的一部分的收缩状态修正控制器51A包括x轴阈值外图像数据处理功能51j,其在由温度环境判断部28判断温度差ΔT为ΔT<0且双凸透镜1(图像分配模块)处于收缩状态时运行,以指定物体在x轴上的坐标位置x,并在第四相机设置D的条件下对物体的满足|x|>|xth|的三维数据进行渲染处理,第四相机设置D具有窄于第一相机设置A的夹角的夹角。
进一步,收缩状态修正控制器51A包括弹出侧图像数据处理功能51a,关于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况的物体,弹出侧图像数据处理功能51a进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理。
而且,收缩状态修正控制器51A包括非弹出侧图像数据处理功能51b,关于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况的物体,非弹出侧图像数据处理功能51b进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理。
进一步,收缩状态修正控制器51A包括:图像数据合成功能51c,其对其上由x轴阈值外图像数据处理功能51h、弹出侧图像数据处理功能51a和非弹出侧图像数据处理功能51b进行渲染处理的每个图像数据进行合成处理;和3D图像数据产生功能51d,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
从而,与在上述第一示例性实施例的情况一样,当双凸透镜1处于收缩状态时,可以通过跟随温度的变化进行修正控制,因为设计为通过将物体的景深位置z分类为弹出侧和非弹出侧而设定指定的相机设置而获得的图像数据增加合成处理,对由此获得的图像数据进行合成处理,并操作x轴阈值外图像数据处理功能51j。这使得能够进一步降低温度变化的影响,以便可以比上述第一示例性实施例的情况更有效地实现显示控制。
进一步,构成主算术运算控制器51的一部分的膨胀状态输出控制器51B在双凸透镜1处于膨胀状态时执行下文示出的三种数据处理功能并合成它们以有效地输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,膨胀状态输出控制器51B包括x轴阈值外图像数据处理功能51k,其在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1(图像分配模块)处于膨胀状态时运行,以指定物体在x轴上的坐标位置x,并在第五相机设置E的条件下对物体的满足|x|>|xth|的三维数据进行渲染处理,第五相机设置E具有窄于第一相机设置A的夹角的夹角。
进一步,膨胀状态输出控制器51B包括非弹出侧图像数据处理功能51e,关于其中温度差ΔT为ΔT>0且满足|x|≤|xth|的情况的物体,该非弹出侧图像数据处理功能51e进一步判断物体的景深位置z在非弹出侧是否为z<0,并且当判断为z<0时,在第一相机设置A的条件下对z<0的三维数据进行渲染处理。
而且,膨胀状态输出控制器51B包括弹出侧图像数据处理功能51f,关于在其中温度差ΔT为ΔT>0且满足|x|≤|xth|的情况中的物体,进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理。
进一步,构成主算术运算控制器51的一部分的收缩状态修正控制器51B包括:图像数据合成功能51g,其对其上由x轴阈值外图像数据处理功能、非弹出侧图像数据处理功能和弹出侧图像数据处理功能进行渲染处理的每个图像数据进行合成处理;和3D图像数据产生功能51h,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
从而,与在上述第一示例性实施例的情况一样,即使在双凸透镜1处于膨胀状态时,可以通过跟随温度的变化进行修正控制,因为设计为通过将物体的景深位置z分类为弹出侧和非弹出侧而设定指定的相机设置而获得的图像数据进一步增加合成处理,对由此获得的图像数据进行合成处理,并操作x轴阈值外图像数据处理功能51k。这使得能够进一步降低温度变化的影响,以便可以比上述第一示例性实施例的情况更有效地实现显示控制。
在此注意,上述主算术运算控制器51还设置有景深图像展开处理部22B,其将发送到主算术运算控制器51中的关于物体的三维数据的二维图像信息展开为物体图像,并将景深信息(景深位置)展开为景深图像。
进一步,景深图像展开处理部22B包括灰度级值指定功能,其由像素单元通过对应于景深信息(景深位置)而设定用于三维数据的灰度级值,并通过对应于x轴上指定的二维图像信息的视差量指定设定灰度级值的值。
从而,可以根据实际情况将景深图像的景深信息有效地显示为3D图像。
其它结构与上述第一示例性实施例相同。
(全部动作)
接下来,将参照图17至图18描述第二示例性实施例的全部动作。
在此注意,图17为示出第二示例性实施例的3D图像数据产生动作的示例的流程图。
在图17中,从步骤S201到ST204的动作与在图6中描述的步骤S101至S104的动作相同。
也就是说,首先,温度传感器21启动,并且由变形量计算部28计算双凸透镜1的检测温度T和预先设定的参考温度Tth(第一示例性实施例中的正常温度)之间的差异ΔT(图17:步骤S201/温度差计算步骤)。随后,选择屏幕面40和相机设置(第一相机设置A)作为渲染处理所要求的条件(图17:步骤S202)。
随后,由温度差判断部30比较温度差ΔT和预先设定的判断阈值ΔTth的绝对值中的每一个,以判断视差量的修正是否必要(图17:步骤S203/修正必要性判断步骤)。
当判断为|ΔT|<|ΔTth|时,3D图像数据产生功能51G运行,与在上述第一示例性实施例的情况一样,并且认为由温度变化引起的双凸透镜1的变形量小并且视差量修正是不必要的。因此,三维数据在第一相机设置A的条件下立即被渲染处理(图17:步骤S204/图像处理步骤)。随后,它被转换成用于驱动显示面板的视差图像,并产生和输出如图18A的3D图像数据(图17:步骤S205/3D图像数据产生步骤)。
同时,在步骤S203的修正必要性判断步骤中判断为|ΔT|>|ΔTth|的情况中,视差量修正是必要的。因此,为了修正视差量,在第二示例性实施例中,以对应于上述温度差ΔT的大小的形式设置与视差量的修正直接相关的x轴上的阈值xth。
也就是说,x轴上的阈值xth为限定三维数据(3D信息)在x轴上的第一渲染处理范围的阈值,并被设置为在温度差ΔT的值变大时变小(图17:步骤S207/x位置阈值设定步骤)。x轴上的阈值xth的设定由x位置阈值设定部52基于来自主算术运算控制器51的命令执行。
在此注意,关于使用环境温度的立体观看区域根据3D区域的尺寸改变,如在上述第一示例性实施例的评估结果(参见图14)中示出的一样。
例如,在参考温度为25℃和使用环境温度为0℃(ΔT=-25℃)的情况中,85%3D区域中的立体观看区域为零。同时,在40%3D区域中确保60%的立体观看区域。
如已经描述的那样,可以以LUT(查找表)、指定函数等形式限定其中根据温度差ΔT的大小,即,阈值xth区域预先固定立体观看区域的3D区域。在其中作为目标的物体的位置位于x轴上的大于阈值xth的位置处的情况中,使用的相机设置使得视差尽可能地变小。这种相机设置被定义为相机设置D和相机设置E。可以根据关于基于立体显示面板固有的有效线性膨胀系数差、面板尺寸、面板分辨率、参考温度、3D串扰性质等限定的立体观看区域的参数来确定该阈值xth。当面板尺寸特别大时,有效地降低阈值xth相对于面板尺寸的比例。
接下来,如在图6的步骤S107中一样,在视差量的修正之前,转为对ΔT的符号执行判断(图17:步骤S208/修正环境判断)以检查双凸透镜1是处于收缩方向还是处于膨胀方向。ΔT符号判断步骤由修正环境判断部29执行。
随后,首先,在处于ΔT<0的透镜收缩状态的情况中,转为执行关于物体在x轴上的位置|x|和|xth|的值的判断(图17:步骤S209)。随后,在双凸透镜1处于收缩状态时,相机设置D被选择为用于对三维数据进行渲染处理的条件的相机设置(图17:步骤S210)。
现在,以举例的方式,分别为图18的物体42,43,43’和42’的各个x轴位置x1,x2,x3和x4假设其中|x1|和|x2|小于|xth|的情况和其中|x3|和|x4|大于|xth|的情况。
在这种情况中,当在上述步骤S209中判断满足|x|>|xth|时,即在图18的物体43’和42’的情况中,程序进展至图17的步骤S210。
随后,在步骤S210中选择相机设置D,进行渲染处理(图17:步骤S211)以获得关于物体43和42的3D图像数据。
也就是说,当在修正环境判断步骤(图17:步骤S208)中判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时,指定物体在x轴上的坐标位置x,并在第四相机设置D的条件下对物体的满足|x|>|xth|的三维数据进行渲染处理,第四相机设置D具有窄于第一相机设置A的夹角的夹角(图17:步骤S211/x轴阈值外图像数据处理步骤)。从而,可以获得如图18所示的关于物体43’和42’的3D图像数据。
随后,采用图17的步骤S209的判断,检查和指定其中温度差ΔT为ΔT<0为满足|x|≤|xth|的情况的物体42和43。关于物体42和43中的每一个,进一步判断物体的景深位置z在弹出侧是否为z≥0(图17:步骤S212)。
当判断为z≥0时,在第一相机设置A的情况下对物体43的满足z≥0的三维数据进行渲染处理(图17:步骤S213/弹出侧图像数据处理步骤)。从而,可以获得如图18所示的关于物体43的3D图像数据。
而且,关于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况的物体42和43,进一步判断物体的景深位置z在弹出侧是否为z≥0(图17:步骤S212)。当在步骤S212中判断物体42的景深位置z在非弹出侧为z<0时,在第二相机设置B的条件下对物体42的满足z<0的三维数据进行渲染处理(图17:步骤S214,S215/非弹出侧图像数据处理步骤)。从而,可以获得如图18所示的关于物体42的3D图像数据。
随后,合成通过在x轴阈值外图像数据处理步骤、弹出侧图像数据处理步骤和非弹出侧图像数据处理步骤中进行渲染处理获得的图像数据43,42,43和42中的每一部分(图17:步骤S216/图像数据合成步骤),并且基于合成的图像数据的产生如图18B所示的用于驱动显示面板的3D图像数据(图17:步骤S205/3D图像数据产生步骤)。
在z值(z轴上的景深)在物体42和42之间以及物体43和43之间分别相同的情况中,在|x|>|xth|下的视差C-η,C’-η’和D-λ,D’-λ’小于在|x|≤|xth|下的A-α,A’-α’。
随后,当在图17的步骤S208判断为处于ΔT>0的透镜膨胀状态时,转为执行关于物体在x轴上的位置|x|和|xth|的值的判断(步骤S217)。虽然相机设置的一部分不同,但在步骤S217-S219中执行与透镜收缩状态的情况(步骤S207-步骤S209)相同的处理。
也就是说,当在修正环境判断步骤(图17:步骤S208)判断温度差ΔT为ΔT>0且处于膨胀状态时,指定物体在x轴上的坐标位置x,并且对于判断满足|x|>|xth|的物体42’和43’(图17:S217),设定第四相机设置E(图17:步骤S218),第四相机设置E具有窄于第一相机设置A的夹角的夹角。随后,对与此对应的三维数据进行渲染处理(图17:步骤S219/x轴阈值外图像数据处理步骤)。从而,可以获得如图18C所示的关于物体42’和43’的3D图像数据。
随后,关于其中温度差ΔT为ΔT>0且满足|x|≤|xth|的情况的物体42和43,判断物体的景深位置z在非弹出侧是否为z<0(图17:步骤S220)。当判断为z<0时,在第一相机设置A的条件下对物体的满足z<0的三维数据进行渲染处理(图17:步骤S221/非弹出侧图像数据处理步骤)。从而,可以获得如图18C所示的关于物体42的3D图像数据。
类似地,关于其中温度差ΔT为ΔT≥0且满足|x|≤|xth|的情况的物体42和43,判断物体的景深位置z在弹出侧是否为z≥0(图17:步骤S220)。对于判断满足z≥0的物体43,设置与此对应的第三相机设置C(图17:步骤S222),并在第三相机设置C的条件下对物体43的三维数据进行渲染处理(图17:步骤S223/弹出侧图像数据处理步骤)。从而,可以获得如图18C所示的关于物体43的3D图像数据。
随后,合成通过在x轴阈值外图像数据处理步骤、非弹出侧图像数据处理步骤和弹出侧图像数据处理步骤中进行渲染处理获得的图像数据43,42,43和42中的每一部分(图17:步骤S224/图像数据合成处理步骤),并且基于合成的图像数据的产生如图18C所示的用于驱动显示面板的3D图像数据(图17:步骤S205/3D图像数据产生步骤)。
在上述第二示例性实施例的全部动作中,当z值在物体42和42之间以及物体43和43之间分别相同的情况中,|x|>|xth|下的视差C-η,C’-η’和D-λ,D’-λ’小于|x|≤|xth|下的B-β,B’-β’。
上述第二示例性实施例的全部动作中的从步骤S201到步骤S224和S305的数据处理、比较判断等中的每一个的动作可以放入程序中,以由设置至立体图像产生模块50A的计算机实现。
该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
第二示例性实施例被以上述方式构造和起作用,以便它具有等同于第一示例性实施例的操作效果。进一步,由于提供了x轴上的视差阈值(参考值)xth,能够快速地响应特别是沿左侧方向和右侧方向的视差量的变化。这使得能够以更精细的方式通过对应于实际情况而进行温度的修正。
进一步,虽然在第二示例性实施例中公开了通过渲染处理进行变成视差图像的展开的情况,但本发明不仅限于此。与在上述第一示例性实施例的情况一样,还能进行变成景深图像的展开。
进一步,在第二示例性实施例的情况中,限定为不通过对应于用于视角的外侧的ΔT增加视差量。因此,存在即使在使用环境温度T非常大地变化时也能够一直确保立体观看区域的效果。特别地,当面板尺寸大时,面板宽度与瞳孔间距离IPD相比变大。因此,面板的外端中的温度变化仍然变大。然而,在该情况中,非常有效的是减小面板尺寸用于确保立体观看区域的阈值xth的比例。进一步,由于根据使用环境温度T为特定视差方向执行视差量控制,因此存在使得能够在不丧失周围环境的情况下确保立体观看区域的效果。
进一步,虽然在第二示例性实施例中公开了关于视点的数量的2-视点,但本发明不仅限于此。本发明也可以以相同的方式应用于N个视点的情况。
(修改例)
接下来,将参照图16C描述第二示例性实施例的修改例。
在此注意,相同的附图标记用于与第二示例性实施例相同的结构部件。
图16C为示出根据第二示例性实施例的修改例的主算术运算控制器52的每个结构元件的框图。
在上述第二示例性实施例中,如图16B所示,主算术运算控制器51的收缩状态修正控制器51A在具有比第一相机设置A中的相机光轴和z轴之间的夹角窄的夹角的第四相机设置D下执行关于x轴阈值外图像数据处理功能51j的渲染处理(参见图17:步骤S210,S211),在第一相机设置A下执行关于弹出侧图像数据处理功能31a的渲染处理(参见图17:步骤S213),并在其中夹角小于第一相机设置A中的相机光轴和z轴之间的夹角的第二相机设置B执行关于非弹出图像数据处理功能51b的渲染处理(参见图17:步骤S214,S215)。
同时,在修改例中,如图16C所示,主算术运算控制器52的收缩状态修正控制器52A特征在于包括x轴阈值外z值转换处理功能52j,以代替x轴阈值外图像数据处理功能51j,以及包括非弹出侧z值转换处理功能52b,以代替上述非弹出侧图像数据处理功能51b。
关于这些z值转换处理功能,前一种x轴阈值外z值转换处理功能52j通过将修正系数γ乘以|z|进行z值转换(沿该值变为小于初始z值的方向),而不管满足|x|>|xth|的物体的z值的符号如何。进一步,后一种非弹出侧图像数据处理功能52b通过将修正系数δ乘以满足|x|≤|xth|且z<0的物体的|z|而进行z值转换(沿该值变为小于初始z值的方向)。
x轴阈值外z值转换处理功能52j中的修正系数γ小于数值“1”,并且可以基于第一相机设置A的夹角信息和第二相机设置D的夹角信息确定。进一步,非弹出侧图像数据处理功能52b中的修正系数δ也小于数值“1”,并且可以基于第一相机设置A的夹角信息和第二相机设置B的夹角信息确定。而且,修正系数γ和δ的值不仅限于这些。能够不管z值的大小将所述系数限定为恒定值,只要这些值在立体可见性不会由于温度变化而恶化的范围内。替代地,还能根据z值的大小线性地或非线性地改变所述系数。
进一步,代替第二示例性实施例的在图16B中公开的图像数据合成功能51c,该修改例设置有整个区域图像数据集中数据处理功能52c和x轴阈值外z值转换处理功能52j,整个区域图像数据集中数据处理功能52c对于满足|x|≤|xth|的弹出侧、其z值被转换的非弹出侧执行渲染处理,x轴阈值外z值转换处理功能52j通过使用如图16C所示的相同的相机设置(如,第一相机设置A)而满足|x|>|xth|。因此,第一示例性实施例的在图16B中示出的图像数据合成功能51c变得不必要。
进一步,在该修改例中,同样采用上述第二示例性实施例的膨胀状态修正控制器51B。代替膨胀状态修正控制器51B,设置膨胀状态修正控制器52B。
也就是说,在该修改例中,如图16C所示,主算术运算控制器32的膨胀状态修正控制器52B的特征在于包括x轴阈值外z值转换处理功能52k,以代替x轴阈值外图像数据处理功能51k,以及包括弹出侧z值转换处理功能52f,以代替上述弹出侧图像数据处理功能51f。与收缩状态修正控制器51A相比,除了弹出侧的z值转换处理功能52f的目标物体满足z≥0之外,z值转换处理功能是相同的。
也就是说,所采用的是这样一种结构,该结构包括x轴阈值外z值转换处理功能52k,以代替x轴阈值外图像数据处理功能51k,x轴阈值外z值转换处理功能52k通过沿使|z|值小于初始z值的方向将修正系数ε乘以|z|值而对满足|x|<|xth|的物体进行z值转换,该结构还包括弹出侧z值转换处理功能52f,以代替上述弹出侧图像数据处理功能51f,弹出侧z值转换处理功能52f通过沿使|z|值小于初始z值的方向将修正系数ζ乘以|z|值而对满足|x|≥|xth|且z≥0的物体进行z值转换。
进一步,代替第二示例性实施例的在图16B中公开的3D图像数据合成功能51g,该修改例的膨胀状态修正控制器51B设置有整个区域图像数据集中数据处理功能52g,其通过使用相同的相机设置(如,第一相机设置A)进行渲染处理,如图16C所示。
从而,没有必要在收缩状态修正控制器52A的x轴阈值外z值转换处理功能52j、弹出侧图像数据处理功能51a和非弹出侧z值转换处理功能52b中、以及膨胀状态修正控制器52B的x轴阈值外z值转换处理功能52k、非弹出侧图像数据处理功能51e和弹出侧z值转换处理功能52f中分别地改变相机设置。进一步,图像数据合成功能变得不必要。因此,系统侧(特别地,主算术运算控制器)的负载可以被极大地减轻,并且还可以增加图像处理的速度。
该修改例的其它结构及其操作效果与上述第二示例性实施例的情况相同。
(第三示例性实施例)
接下来,将参照图19至图25描述本发明的第三示例性实施例及其修改示例(1)和(2)。
在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
第三示例性实施例特征在于在对第一示例性实施例中使用的具有景深信息的物体的三维数据进行渲染处理时,将相机设置限制到根据差异ΔT的大小设定的关于x轴上的视差的阈值(参考值)xth的大小,并在超过阈值时进行2D渲染处理以合成这些数据中的每一部分。
以下,将通过以在第一示例性实施例中描述的内容为前提对此进行描述。
将首先描述第三示例性实施例的整个内容,随后将描述第三示例性实施例的两个修改例。
(结构)
与在第一示例性实施例的情况一样,根据第三示例性实施例的立体显示装置包括驱动控制立体显示面板11的显示控制器60。显示控制器60设置有立体图像产生模块60A,其具有用于限制随后将描述的全部结构元件中的每一个的动作的主算术运算控制器61(参见图19A)。
与在第二示例性实施例的情况中一样,主算术运算控制器61设置有x位置阈值设定部50B,其设置用于修正的x轴上的阈值xth。
x位置阈值设定部50B用来在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时设置x轴上的阈值(修正参考值)xth。阈值(修正参考值)xth为使得能够确保根据温度差ΔT的大小改变的立体观看区域的x轴上的阈值xth,并被设置为随着差异ΔT的值变大而变小。
进一步,与在第一和第二示例性实施例中的每一个的情况中一样,上述主算术运算控制器61设置有修正环境判断部29,其在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时运行,以进行双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断,从而根据情况快速且精确地执行视差量的修正。
进一步,与在第一和第二示例性实施例中的每一个的情况中一样,主算术运算控制器61包括:收缩状态修正控制器61A,其在双凸透镜1收缩时(其中ΔT<0的状态)被执行;和膨胀状态修正控制器61B,其在双凸透镜1膨胀时(其中ΔT>0的状态)被执行。
其中,收缩状态修正控制器61A执行下文示出的不同于第一和第二示例性实施例的每一种情况的三种数据处理功能,并将它们合成以输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,构成主算术运算控制器61的一部分的收缩状态修正控制器61A包括2D图像数据处理功能61j,该2D图像数据处理功能61j在由温度环境判断部29判断温度差ΔT为ΔT<0(双凸透镜1处于收缩状态)时运行以指定物体在x轴上的坐标位置x;并且,关于满足|x|>|xth|的物体,在单个相机重新沿着z轴设置的的二维相机设置下对二维数据进行渲染处理,以代替三维数据。
进一步,收缩状态修正控制器61A包括弹出侧图像数据处理功能61a,关于其中温度差ΔT为ΔT<0(其中透镜1收缩的状态)和满足|x|≤|xth|的情况的物体,该弹出侧图像数据处理功能61a进一步判断物体的景深位置z在弹出侧是否为z≥0;并且当判断为z≥0时,立即启动以在第一相机设置A的条件下对三维数据进行渲染处理。
而且,收缩状态修正控制器61A包括非弹出侧图像数据处理功能61b,关于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况的物体,非弹出侧图像数据处理功能51b进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理。
进一步,构成主算术运算控制器61的一部分的收缩状态修正控制器61A包括:图像数据合成功能61c,其对由2D图像数据处理功能61j、弹出侧图像数据处理功能61a和非弹出侧图像数据处理功能61b对其进行渲染处理的每个图像数据进行合成处理;和3D图像数据产生功能61d,其基于合成的图像数据产生3D图像数据并输出用于驱动显示面板。
从而,即使在双凸透镜1处于收缩状态时,也能够对应于位于弹出侧和非弹出侧的物体的三维数据的温度的变化并有效地修正它。这使得能够由包含2D图像数据的3D图像数据有效地驱动显示面板11,如随后将描述的那样。
进一步,收缩状态修正控制器61B也被构造为采用与收缩状态修正控制器61A的情况相同的标记进行详细说明,以执行下文示出的三种数据处理功能,并合成它们以输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,构成主算术运算控制器61的一部分的收缩状态修正控制器61B包括2D图像数据处理功能61k,该2D图像数据处理功能61k在由温度环境判断部29判断温度差ΔT为ΔT>0且处于时膨胀状态运行以指定物体在x轴上的坐标位置x;并且,关于满足|x|>|xth|的物体,在对应于沿着z轴设置的单个相机的二维相机设置下对三维数据进行2D渲染处理,以代替三维数据。
进一步,膨胀状态修正控制器61B包括非弹出侧图像数据处理功能61e,关于在其中温度差ΔT为ΔT>0且满足|x|≤|xth|的情况中的物体,该非弹出侧图像数据处理功能61e进一步判断物体的景深位置z在非弹出侧是否为z<0;并且当判断为z<0时,在第一相机设置A的条件下对三维数据进行渲染处理。
而且,膨胀状态修正控制器61B包括弹出侧图像数据处理功能61f,关于在其中温度差ΔT为ΔT>0且满足|x|≤|xth|的情况中的物体,该弹出侧图像数据处理功能61f进一步判断物体的景深位置z在弹出侧是否为z≥0;并且当判断为z≥0时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理。
进一步,膨胀状态修正控制器61B包括:图像数据合成处理功能61g,其对由2D图像数据处理功能61k、非弹出侧图像数据处理功能61e和弹出侧图像数据处理功能61f对其进行渲染处理的每个图像数据进行合成处理;和3D图像数据产生功能61h,其基于合成的图像数据产生3D图像数据并输出用于驱动显示面板。
从而,即使在双凸透镜1处于膨胀状态时,也能够对应于位于弹出侧和非弹出侧的物体的三维数据的温度的变化并有效地修正它。这使得能够由包含2D图像数据的3D图像数据有效地驱动显示面板11,如随后将描述的那样。
进一步,第三示例性实施例的主算术运算控制器61还设置有景深图像展开处理部22B,其将发送到主算术运算控制器61中的关于物体的三维数据的二维图像信息展开为物体图像并将景深信息(景深位置)展开为景深图像。进一步,与在第一示例性实施例的情况一样,景深图像展开处理部22B具有灰度级值指定功能,其通过像素单元设置对应于景深信息(景深位置)的灰度级值,并通过对应于x轴上指定的视差量而指定设定的灰度级值,并且安装为有效地用于收缩状态修正控制器61A和膨胀状态修正控制器61B二者。
其它结构与上述第一示例性实施例的情况相同。
(全部动作)
接下来,将参照图20至图22描述第三示例性实施例的全部动作。
在此注意,图20为示出第三示例性实施例的3D图像数据产生动作的示例的流程图。
在图20中,从步骤S301到S305与上述第一示例性实施例的在图6中公开的步骤S101至S105相同。
也就是说,首先,温度传感器21启动,并且由变形量计算部28计算双凸透镜1的检测温度T和预先设定的参考温度Tth(第一示例性实施例中的正常温度)之间的差异ΔT(图20:步骤S301/温度差计算步骤)。随后,指定屏幕面40和相机设置(第一相机设置A)作为渲染处理所要求的条件(图20:步骤S302)。
随后,由温度差判断部30比较温度差ΔT和预先设定的判断阈值ΔTth的绝对值中的每一个,以判断视差量的修正是否必要(图20:步骤S303/修正必要性判断步骤)。
当判断为|ΔT|≤|ΔTth|时,3D图像数据产生功能51G运行,并且认为由温度变化引起的双凸透镜1的变形量小并且视差量修正是不必要的。因此,三维数据在第一相机设置A的条件下立即被渲染处理(图20:步骤S304/图像处理步骤)。随后,它被转换成用于驱动显示面板的视差图像,并产生和输出如图22A的3D图像数据(图20:步骤S305/3D图像数据产生步骤)。
同时,在图20中步骤S303的修正必要性判断步骤中判断为|ΔT|>|ΔTth|的情况中,视差量修正是必要的。因此,根据上述温度差ΔT的大小设置阈值xth(图20:步骤S307)。与同样在第二示例性实施例中公开的一样,阈值xth为限定x轴上的3D渲染处理的范围的阈值。
在此注意,关于使用环境温度的立体观看区域根据3D区域的尺寸改变,如在上述第一示例性实施例的图14中示出的一样。例如,在参考温度为25℃和使用环境温度为0℃(ΔT=-25℃)的情况中,85%3D区域中的立体观看区域为零。同时,在40%3D区域中确保60%的立体观看区域。
如已经描述的那样,可以以LUT(查找表)、指定函数等形式预先限定其中根据温度差ΔT的大小,即,阈值xth的立体观看区域的3D区域。
接下来,如在图6的步骤S107中一样,转为对ΔT的符号执行判断(图20:步骤S308/修正环境判断)以检查双凸透镜1是处于收缩方向还是处于膨胀方向。温度差ΔT的符号的判断由修正环境判断部29执行。
在ΔT<0的情况中,透镜处于收缩状态。因此,立即转为进行关于物体在x轴上的位置|x|和|xth|的值的判断(图20:步骤S309)。
在第三示例性实施例中,以举例的方式,对于图21的物体42,43,43’和42’的各个x轴位置x1,x2,x3和x4,定义|x1|和|x2|小于|xth|,|x3|和|x4|大于|xth|。
在这种情况中,当在上述步骤S309中判断满足|x|>|xth|时,即在物体43’和42’的情况中,将相机设置到2D(针对二维数据)作为相机设置条件(图20:步骤S310)。步骤S310中的相机设置2D被设置为使得相机光轴变为平行于z轴,如图21所示,并在由此指定的二维数据上进行渲染处理(图20:步骤S311),以获得物体42’和43’的2D图像数据。
可以将上述内容总结如下。
也就是说,当在修正必要性判断步骤(图20:步骤S303)中判断温度差ΔT为|ΔT|>|ΔTth|并且处于需要对视差量进行修正的温度环境时,接下来在第三示例性实施例中设置使得能够确保根据温度差ΔT的大小改变的立体观看区域的x轴上的阈值xth。
阈值xth被设置为当上述ΔT的绝对值变大时变小(图20:步骤S307/x位置阈值设定步骤)。
随后,当设定修正视差量所需要的阈值xth时,首先,修正环境判断部29判断双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是呈现膨胀状态的ΔT>0的状态(图20:步骤S308/修正环境判断),以体现视差量及其修正。
当在步骤S308的修正环境判断步骤中判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时,指定物体在x轴上的坐标位置x。
随后,所指定的物体在x轴上的坐标位置x与参考值xth进行比较(图20:步骤S309)。关于满足|x|>|xth|的物体42’和43’,通过对应于沿着z轴设置的单个相机的二维相机设置2D指定二维数据,以代替三维数据(图20:步骤S310)。同时,对指定的二维数据进行渲染处理,以获得关于物体42’和43’的2D图像数据(图20:步骤S311/2D图像数据处理步骤)。
随后,通过将物体在x轴上的坐标位置x与参考值xth进行比较而判断满足|x|≤|xth|的物体经受z轴的位置的判断(图20:步骤S312)。在这种情况中,物体42和43为目标。
对于以后的处理(图20:步骤S312至步骤S315),总体上执行第一示例性实施例的在图6中示出的步骤S108至步骤S111的相同处理,即使用于指定信息的相机设置条件的一部分是不同的。
也就是说,对于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况的物体,进一步判断物体的景深位置z是否为z≥0(图20:S312)。随后,关于通过第一相机设置A指定的三维数据,对判断为z≥0的物体43进行渲染处理(图20:步骤S313/弹出侧图像数据处理步骤)。
随后,当在其中温度差ΔT为ΔT<0且满足|x|≤|xth|的相同条件下通过关于物体的景深位置z是否为z≥0的判断,判断物体的景深位置z在非弹出侧为z<0时(图20:步骤S312),通过第二相机设置B指定物体42的三维数据(图20:步骤S314)。同时,在第二相机设置B的条件下对三维数据进行渲染处理(图20:步骤S315/非弹出侧图像数据处理步骤)。
随后,合成通过在2D图像数据处理步骤、弹出侧图像数据处理步骤和非弹出侧图像数据处理步骤中进行渲染处理获得的图像数据的每一部分(图20:步骤S314),并基于合成的图像数据3D产生用于驱动显示面板的图像数据(图20:步骤S305/3D图像数据产生步骤)。
图22B示出在3D图像数据产生步骤中产生的物体42,43,42和43的3D图像数据。
接下来,返回至图20的步骤S308,将描述用于在处于ΔT>0的透镜膨胀状态的情况中产生修正3D图像数据的方法。
在这种情况中,通过关于物体在x轴上的位置|x|和阈值|xth|的值的判断,在透镜收缩状态的情况中将渲染目标分类成三种(图20:步骤S317)。为该情况的处理执行与透镜收缩状态的情况相同的处理。然而,由于根据物体在x轴上的位置|x|对视差的修正,采用不同于透镜收缩状态的情况的相机设置。
也就是说,当判断温度差ΔT为ΔT>0且处于透镜膨胀状态时,指定物体在x轴上的坐标位置x,并判断是否满足|x|>|xth|(图20:步骤S317)。对于满足|x|>|xth|的物体42’和43’,采用对应于沿着z轴的单个相机的二维相机设置(图20:步骤S318),并且,对于所指定的物体42’和43’的二维数据进行渲染处理(图20:步骤S319/2D图像数据处理步骤)。
进一步,关于其中温度差ΔT为ΔT>0且应用|x|≤|xth|的情况的物体42和43,进一步判断物体的景深位置z在非弹出侧是否为z<0(图20:步骤S320)。关于判断处于z<0的位置的物体42,通过第一相机设置A指定三维数据,并对指定物体42的三维数据进行渲染处理(图20:步骤S321/非弹出侧图像数据处理步骤)。
进一步,关于其中温度差ΔT为ΔT>0且应用|x|≤|xth|的情况的物体,进一步判断物体的景深位置z在弹出侧是否为z≥0。
随后,对于判断处于z≥0的位置的物体43,通过第三相机设置C指定三维数据(图20:步骤S322),并对指定物体43的三维数据进行渲染处理(图20:步骤S323/弹出侧图像数据处理步骤)。
随后,合成通过在2D图像数据处理步骤、非弹出侧图像数据处理步骤和弹出侧图像数据处理步骤中进行渲染处理获得的图像数据的每一部分(图20:步骤S324/图像数据合成处理步骤),并基于合成的图像数据3D产生用于驱动显示面板的3D图像数据(图20:步骤S305/3D图像数据产生步骤)。图22C示出在3D图像数据产生步骤中产生的物体42,43,42和43的3D图像数据。
在第三示例性实施例中,详细了描述了其全部动作。然而,显示面板驱动3D数据产生动作,即,在从双凸透镜温度测量处理开始的一系列数据处理步骤中的信息处理内容中的每一个可以放入程序,以由设置到立体图像产生模块60A的计算机实现它。也可以采用这种结构有效地实现本发明的目的。
采用如上所述的第三示例性实施例,可以实现与第一示例性实施例相同的操作效果。此外,能够获得其中混合2D和3D图像的图像数据。进一步,通过对应于温度差ΔT限定3D区域,使得存在即使在使用环境温度非常大地变化时也能够一直确保立体观看区域的效果。进一步,由于根据使用环境温度为特定视差方向执行视差量控制,因此存在使得能够在不丧失周围环境的情况下确保立体观看区域的效果。
在其中物体在x轴上的位置越过阈值(修正参考值)xth而存在的情况中,通过采用步骤S314或步骤S322中的合成处理的线性或非线性函数,根据|xth|-|x|的值,能够增加用于使z位置在为2D和3D图像之间的更靠近屏幕面(z=0)的边界的xth附近的处理。从而,可以获得其中混合2D和3D图像的自然图像数据。
(修改例(1))
接下来,将参照图23A描述第三示例性实施例的修改例(1)。
在第三示例性实施例中,还能以与第一示例性实施例相同的方式进行z值转换处理,以处理示出景深的z轴信息。这在图23A中示出。
在此注意,与图19A和19B中示出的第三示例性实施例相同的附图标记用于相同的结构部件。
图23A为示出根据第三示例性实施例的修改例(1)的主算术运算控制器61的每个结构元件的框图。在第三示例性实施例的修改例(1)中,代替第三示例性实施例的主算术运算处理部61,采用主算术运算处理部62,如图23A所示。
如图23A所示,分别地,主算术运算处理部62的收缩状态修正控制器62A的特征在于包括x轴阈值外z=0处理功能62j,以代替图19B的二维图像数据处理功能61j,并包括非弹出侧z值转换处理功能62b,以代替非弹出侧图像数据处理功能61b。
关于那些z值转换处理功能,x轴阈值外z=0转换处理功能62j对满足|x|>|xth|的物体进行处理以满足z=0。进一步,非弹出侧z值转换处理功能62b通过将修正系数η乘以满足|x|≤|xth|且z<0的物体的|z|进行z值转换(沿该值变为小于初始z值的方向)。
非弹出侧z值转换处理功能62b中的修正系数η小于数值“1”,并且它可以被限定为常数,而不管z值的大小。还能根据z值的大小线性地或非线性地改变修正系数。
进一步,代替图19B中公开的图像数据合成功能61c,该修改例的特征在于包括整个区域图像数据集中数据处理功能,其通过使用相同的相机设置(如,第一相机设置A),对于满足|x|≤|xth|的弹出侧图像数据处理功能61a、转换其z值的非弹出侧z值转换处理功能62b和满足|x|>|xth|的x轴阈值外z=0转换处理功能62j,执行渲染处理。
进一步,在该修改例(1)中,也采用上述第三示例性实施例的膨胀状态修正控制器61B。代替膨胀状态修正控制器61B,设置膨胀状态修正控制器62B。
也就是说,在该修改例(1)中,如图23A所示,分别地,主算术运算控制器62的膨胀状态修正控制器62B的特征在于包括x轴阈值外z=0转换处理功能62k,以代替二维图像数据处理功能61k,并包括弹出侧z值转换处理功能62f,以代替弹出侧图像数据处理功能61f。
与收缩状态修正控制器62A的情况相比,除了弹出侧的z值转换处理功能62f的目标物体满足z≥0之外,z值转换处理功能是相同的。
进一步,代替在图19B中公开的3D图像数据合成功能61g,该修改例(1)的膨胀状态修正控制器62B特征在于包括整个区域图像数据集中数据处理功能62g,其通过使用相同的相机设置(如,第一相机设置A)进行渲染处理,如图23A所示。
也就是说,在这种情况中,其特征在于包括x轴阈值外z=0转换处理功能62k,以代替二维图像数据处理功能61k,x轴阈值外z=0转换处理功能62k进行处理以使满足|x|≤|xth|的物体上z=0,并且特征在于包括弹出侧z值转换处理功能62f,以代替上述弹出侧图像数据处理功能61f,弹出侧z值转换处理功能62f通过沿着使得z值小于初始z值的方向将修正系数κ乘以满足|x|>|xth|且z≥0的物体的|z|而进行z值转换。
从而,没有必要分别地在收缩状态修正控制器62A的x轴阈值外z=0转换处理功能62j、弹出侧图像数据处理功能61a和非弹出侧z值转换处理功能62b之间以及膨胀状态修正控制器62B的x轴阈值外z=0转换处理功能62k、非弹出侧图像数据处理功能61e和弹出侧z值转换处理功能62f之间改变相机设置。进一步,图像数据合成功能61c和61g变得不必要。因此,系统侧(特别地,主算术运算控制器)的负载可以被极大地减轻,并且还可以增加图像处理的速度。
该修改例的其它结构及其操作效果与上述第二示例性实施例的情况相同。
(修改例(2))
接下来,将参照图23B至图25描述第三示例性实施例的修改例(2)。
第三示例性实施例的修改例(2)与在上述图19至图22中公开的相同,由此省略物体在z轴上的位置引起的相机位置设定值的变化。因此,其特征在于透镜收缩/膨胀的判断变得不必要。
因此,在其中双凸透镜1收缩和膨胀的两种情况中,全部动作的内容相应地变得简单,如图24的步骤S351至步骤S356中所示。
以下,将对此进行描述。
首先,在第三示例性实施例的修改例(2)中,图23B中示出的主算术运算控制器63用来代替图19A的主算术运算控制器61。
与在第三示例性实施例的情况中一样,主算术运算控制器63设置有x位置阈值设定部52,在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时,该x位置阈值设定部52设置根据温度差ΔT的大小变化的x轴上的阈值xth,并使得能够确保立体观看区域。在这种情况中,x轴上的阈值xth被设置为在差异ΔT的值变大时较小,与在上述图19A和图19B的第三示例性实施例的情况中一样。
也就是说,主算术运算控制器63包括2D图像数据处理功能63a,其指定物体在x轴上的坐标位置x,并且关于满足|x|>|xth|的物体,其在对应于沿着z轴设置的单个相机的二维相机设置下对二维数据进行渲染处理,以代替三维数据。
进一步,主算术运算控制器63包括3D图像数据处理功能62b,其立即启动,关于其中x轴上的坐标位置x满足温度差|x|≤|xth|的情况的物体,在第一相机设置A的条件下对三维数据进行渲染处理。
进一步,主算术运算控制器63包括:图像数据合成功能63c,其对由2D图像数据处理功能63a和3D图像数据处理功能63b在其上进行渲染处理的每个图像数据进行合成处理;和3D图像数据产生功能63d,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。其它结构与图19A中示出的上述第三示例性实施例相同。
接下来,将描述结构内容的全部动作。
首先,在图24中,对应步骤S301至步骤S306,照样设置图20(第三示例性实施例)中的步骤301至步骤306,并且这些步骤以相同的方式起作用。图25A示出通过图24的步骤S304获得的3D图像数据。
随后,与在第三示例性实施例的情况中一样,在步骤S503的修正必要性判断步骤中由温度判断部30判断温度差ΔT是否满足|ΔT|≤|ΔTth|。在“是”的情况中,视差量的修正是不必要的。在“否”的情况中,视差量的修正是必要的。
当温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|并处于需要对视差量进行修正的温度环境时,上述x位置阈值设定部52设置使得能够确保根据温度差ΔT变化的立体观看区域的x轴上的阈值xth(图24:步骤S351/x位置阈值设定步骤)。在这种情况中,阈值xth被设置为在ΔT的绝对值变大时较小。
随后,指定图24中示出的每个物体(如,42,43,42,43)的x轴上的坐标位置x,并且判断是否满足|x|>|xth|(图24:步骤S352)。
判断满足|x|>|xth|的物体42’和43’的数据通过沿着z轴设置的单个相机(参见图21)的二维相机2D指定,以代替三维数据(图24:步骤S353)。二维相机2D的设定条件存储在相机设置信息存储部22A中,并且由此由算术运算控制器63设置它。
随后,对基于二维相机设置2D获得的二维数据进行渲染处理(图24:步骤S354/2D图像数据处理步骤)。
随后,对于x轴上的坐标位置x满足|x|≤|xth|的物体42和43,在第一相机设置A的条件下对物体42和43的三维数据进行渲染处理(图24:步骤S354/3D图像数据处理步骤)。
随后,合成在2D图像数据处理步骤和3D图像数据处理步骤中渲染处理的每个图像数据(图24:步骤S357),并且由此产生3D图像数据用于驱动显示面板(图24:步骤S306/3D图像数据产生步骤)。图25B示出在图24的步骤357中获得的3D图像数据。
其中温度差ΔT被判断为|ΔT|≤|ΔTth|且不需要视差的修正的情况的图像产生处理(图24:步骤S301至步骤S305)具有与上述第三示例性实施例的图像产生处理(图20:步骤S301至步骤S305)相同的内容,并且在执行图24的步骤S351至步骤S354之前预先执行。其它结构及其操作效果与上述第三示例性实施例相同。
在此注意,从上述第三示例性实施例的修改例(2)的全部动作的图24的步骤S301至S304的每个数据处理、比较判断等的每一个动作以及从步骤S351至S359的每个数据处理、比较判断等的每一个动作(即,每个步骤中的执行内容)可以放入程序中,以由设置至立体图像产生模块60A的计算机实现。
进一步,虽然已经主要涉及其中进行渲染处理以展开成视差图像的示例描述了第三示例性实施例的修改例(2),但本发明不仅限于此。还能展开成景深图像,与在上述第一示例性实施例的情况中一样。
进一步,如图19A所示,上述主算术运算控制器61,62和63设置有景深图像展开处理部22B,其将发送到主算术运算控制器61,62,63的关于物体的三维数据展开成具有二维图像信息和其景深信息z(景深位置)的景深图像。而且,景深图像展开处理部22B包括灰度级值指定功能,其由像素单元通过对应于景深信息(景深位置)设置灰度级值,并通过对应于x轴上指定的二维图像信息的视差量指定设定灰度级值的值。
因此,通过将景深图像展开处理部22B的灰度级值指定功能应用于物体42,43,42和43中的每一个,主算术运算控制器61,62和63中的每一个可以将这些展开为景深图像。
在第三示例性实施例的修改例(2)中,不需要如上文所述的那样进行双凸透镜1的收缩和膨胀的判断动作,以便具有通过图24的步骤S351至步骤S357的简化数据处理在两种情况中产生3D图像数据用于驱动显示面板的优点。
进一步,在第三示例性实施例的情况中,如上所述,通过对应于温度差ΔT限定3D区域。因此,存在即使在使用环境温度非常大地变化时也能够一直确保立体观看区域的效果。特别地,当面板尺寸大时,面板宽度与瞳孔间IPD相比变大。因此,面板的外端中的温度变化仍然变大。然而,在该情况中,非常有效的是减小面板尺寸用于确保立体观看区域的阈值xth的比例。进一步,由于根据使用环境温度T为特定视差方向执行视差量控制,因此存在使得能够在不丧失周围环境的情况下确保立体观看区域的效果。而且,在第三示例性实施例中,当物体位置x大于xth时,进行2D处理。因此,存在能够降低系统负载的优点。此外,关于透镜收缩和碰撞的每次判断的动作在修改例中集成在一起。结果,还存在使得能够简化动作的优点,以便可以极大地降低系统负载。
进一步,虽然在第三示例性实施例和修改示例(1)、(2)中公开了关于视点的数量的2-视点,但本发明不仅限于此。本发明也可以以相同的方式应用于N个视点的情况。
(第四示例性实施例)
接下来,将参照图26至图33描述本发明的第四示例性实施例及其修改例。在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
在第四示例性实施例中,景深图用作3D图像数据,根据使用环境温度执行景深图的灰度级转换(灰度级值修正),以通过对应于双凸透镜1的膨胀和收缩有效地确保立体观看区域。
以下,这将通过以在第一示例性实施例中描述的内容为前提而提供。
将首先描述第四示例性实施例的整个内容,随后将描述第四示例性实施例的修改例。
(结构)
与在第一示例性实施例的情况一样,根据第四示例性实施例的立体显示装置包括驱动控制立体显示面板11的显示控制器70。显示控制器70设置有立体图像产生模块70A,其具有单独地限制随后将描述的全部结构元件(参见图26A)中的每一个的动作的主算术运算控制器71。
如图26A,立体图像产生模块70A包括:目标图像数据设定部77,其将由具有预先渲染处理过的景深信息的景深图构成的3D图像数据存储值数据存储部25;温度差判断部30,其进行关于由温度传感器21检测到的检测温度相对于参考温度Tth的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要对在包含作为景深信息的z轴信息的景深图显示面(屏幕面/xy平面)上的x轴上指定的每个物体的视差量进行修正的温度环境;以及用于限制这些部分中的每一个的动作的上述主算术运算控制器71。在此注意,景深图是由作为二维图像信息的物体图像和具有其景深信息(景深位置)z的景深图像构成的3D图像数据,如图28A所示。
其中,主算术运算控制器71包括3D图像数据产生功能71G,其在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以输出具有数据存储部25中存储的图像数据中的景深信息的二维3D图像数据用于驱动显示面板(参见图26B)。
与在上述第一示例性实施例的情况一样,主算术运算控制器71设置有修正环境判断部29,其在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时运行,以进行双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断。
进一步,与在上述第一示例性实施例的情况一样,主算术运算控制器71包括在双凸透镜1处于收缩状态(ΔT<0)的情况中运行的收缩状态修正控制器71A,以及在双凸透镜1处于膨胀状态(ΔT>0)的情况中运行的膨胀状态修正控制器71B。
其中,收缩状态修正控制器71A被构造为执行与每个上述示例性实施例的情况不同的两个下述数据处理功能,以合成其结果并输出用于驱动显示面板的3D图像景深图(合成的景深图)。
也就是说,构成如图26B所示的主算术运算控制器70的一部分的收缩状态修正控制器71A包括灰度级值非转换处理功能71a,该灰度级值非转换处理功能71a在由修正环境判断部29判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时起作用,以判断物体的景深在弹出侧是否位于z≥0的位置且景深灰度级是否等于或大于整体灰度级的中间值;并且当判断位于z≥0的位置且景深灰度级等于或大于整体灰度级的中间值时,保持物体的景深而不进行灰度级转换。
进一步,类似地,收缩状态修正控制器71A包括灰度级值转换处理功能71b,其在由修正环境判断部29判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时起作用,并且当判断物体的景深在与z轴上的弹出侧相反的一侧位于z<0的位置且景深灰度级等于或小于整体灰度级的中间值时,通过第一灰度级转换进行灰度级转换并保持由此获得的结果,采用第一灰度级转换可以获得比初始景深信息大的灰度级值。
进一步,构成主算术运算控制器71的一部分的收缩状态修正控制器71A包括:景深图像数据合成功能71c,其对分别由灰度级值非转换处理功能71a和灰度级值转换处理功能71b保持的景深图像数据进行合成处理;和合成景深图像数据产生功能71d,其基于合成景深图像数据产生具有景深的二维3D景深图像数据,并输出用于驱动显示面板。
从而,即使在双凸透镜1处于收缩状态时,也能够通过对应于温度变化有效地修正弹出侧和非弹出侧的物体的收集景深信息,并将它用作3D景深图像数据以有效地驱动显示面板。
进一步,构成主算术运算控制器71的一部分的膨胀状态修正控制器71B也被构造为在与收缩状态修正控制器71的情况相同的判据下执行两个下述数据处理功能并合成其结果,以及输出用于驱动显示面板的3D景深图像数据(合成景深图像数据)。
也就是说,膨胀状态修正控制器71B包括灰度级值非转换处理功能71e,该灰度级值非转换处理功能71e在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时起作用,以判断物体的景深在非弹出侧是否位于z<0的位置且景深灰度级是否等于或小于整体灰度级的中间值;并且当判断位于z<0的位置且景深灰度级等于或小于整体灰度级的中间值时,保持物体的景深而不进行灰度级转换。
进一步,类似地,膨胀状态修正控制器71B包括灰度级值转换处理功能71f,该灰度级值转换处理功能71f在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时起作用,以判断物体的景深在弹出侧是否位于z<0的位置且景深灰度级是否等于或小于整体灰度级的中间值;并且当判断物体的景深位于z≥0的位置且景深灰度级等于或大于整体灰度级的中间值时,通过第二灰度级转换进行灰度级转换并保持由此获得的结果,采用第二灰度级转换可以获得比初始景深信息小的灰度级值。
进一步,构成主算术运算控制器71的一部分的膨胀状态修正控制器71B包括:景深图像数据合成功能71g,其对分别由灰度级值非转换处理功能71e和灰度级值转换处理功能71f保持的景深图像数据进行合成处理;和合成景深图像数据产生功能71h,其基于合成景深图像数据产生二维3D景深图像数据,并输出用于驱动显示面板。
从而,即使在双凸透镜1处于膨胀状态时,也能够通过对应于温度变化有效地修正弹出侧和非弹出侧的物体的收集景深信息,并将它用作3D景深图像数据以有效地驱动显示面板。
其它结构与上述第一示例性实施例的情况相同。
(全部动作)
接下来,将参照图27至图30描述第四示例性实施例的全部动作。
在此注意,图27为示出第四示例性实施例的3D图像数据产生动作的示例的流程图。
如图27所示,在第四示例性实施例,首先中,包括双凸透镜1的环境温度T由温度传感器21测量,并且由变形量计算部28计算相对于参考温度Tth的温度差ΔT(图27:步骤S401/温度差指定步骤)。
随后,设置作为修正目标的景深图A,并将它存储至数据存储部25作为3D图像数据(图27:步骤S402)。
在景深图中,定义最大灰度宽度为256灰度级,位于其中心部分的128灰度级被定义为屏幕面40(z轴原点0的位置),小于128灰度级的方向侧被定义为后侧(z轴对应于负),大于128灰度级的方向侧被定义为前侧(z轴对应于正)。这种定义信息预先存储至数据存储部25。
随后,执行用于温度差ΔT的景深修正的判断。当判断该修正不必要时,如同3D图像数据一样使用景深图A。
也就是说,由温度差判断部30比较由变形量计算部28计算的温度差ΔT和预先设定的判断阈值ΔTth的绝对值,并且判断在|ΔT|>|ΔTth|的情况中3D图像数据的视差量的修正,即,景深的修正,是必要的(图27:步骤S403/修正必要性判断步骤)。
同时,当在步骤S403(修正必要性判断步骤)中判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时,数据存储部中存储的3D图像数据输出为具有景深信息的二维3D景深图图像数据(图27:步骤S404/3D景深图像数据产生步骤)。图28A示出这种情况的景深图A的示例。
同时,如上所述,在其中在步骤S403的修正必要性判断步骤中判断为ΔT|>|ΔTth|且景深的修正是必要的情况中,随后判断双凸透镜1是处于收缩状态还是处于膨胀状态(图27:步骤S406/修正环境判断)。
也就是说,当在步骤S403的修正必要性判断步骤中判断为ΔT|>|ΔTth|且处于需要对景深进行修正的温度环境时,判断双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态。随后,当双凸透镜1处于呈现收缩状态的ΔT<0的情况时,需要对透镜收缩状态的修正作为其修正。
透镜收缩状态(ΔT<0)的修正通过下述程序执行。
进一步,在其中在修正环境判断步骤(图27:步骤S406)中判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态的情况中,判断物体的景深是否位于z≥0的位置且景深灰度级是否等于或大于整体灰度级的中间值,并且当判断位于z≥0的位置且景深灰度级是否等于或大于整体灰度级的中间值时,保持至数据存储部25而不进行灰度级转换(图27:步骤S407/灰度级值非转换处理步骤)。
进一步,类似地,在其中温度差ΔT为ΔT<0且双凸透镜1处于收缩状态的状态下判断物体的景深在弹出侧的z位于与z轴上弹出侧相反的一侧z<0的位置且景深灰度级等于或小于整体灰度级的中间值的情况中(图27:步骤S406/修正环境判断),通过第一灰度级转换对此进行灰度级转换,采用第一灰度级转换获得大于初始景深信息的灰度级值,并且保持由此获得的结果(图27:步骤S408/灰度级值转换处理步骤)。
具体地,可以将这些动作描述为如下。
也就是说,在其中需要修正的情况中,在步骤S406中执行透镜收缩/膨胀的判断。当透镜处于收缩状态(ΔT<0)时,程序转向步骤S407。在步骤S407中,判断物体在z轴上的位置是否为正(即,景深灰度级值为128或更大)。在其中该值为128或更大的情况中,实际上采用景深图A的信息。
同时,判断物体在z轴上的位置是否为负(即,景深灰度级值为128或更小)。在其景深灰度级值小于128的物体81a和82b上进行灰度级转换A(参见图27:步骤S408),以将其灰度级修正成对应于图28B的物体82a和82b的灰度级。
在这种状态中,与物体81a,81b的灰度级值相比,物体82a,82b具有较大的灰度级值。用于灰度级转换A的参数的示例可以为ΔT以及保持至数据存储部25的内容(即,构成显示面板的材料的有效线性膨胀系数差、面板尺寸、面板分辨率和3D行程)。其中,除温度差ΔT之外的参数可以被处理为常数,变量仅为ΔT。
在灰度级转换A中,根据ΔT的大小执行用于增加灰度级值的修正处理。然而,还能根据初始灰度级值采用修正处理,以在初始景深图A的灰度级值较小时增加灰度级修正值。
随后,景深图像合成处理功能71c合成分别在灰度级值非转换处理步骤和灰度级值转换处理步骤中保持的景深图像数据(图27:步骤S409/景深图B的产生)。随后,3D景深图像产生功能71d基于合成景深图像数据产生二维3D图像数据,并输出作为用于驱动显示面板的立体景深图像数据(图27:步骤S404/3D景深图像数据产生步骤)。
从上述步骤S407至S409的处理被定义为灰度级产生处理C部。灰度级处理C部的动作控制由收缩状态修正控制器71A执行。
接下来,在其中温度差ΔT为ΔT>0的透镜收缩状态的情况中,执行下述处理。
首先,在其中在修正环境判断步骤中判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态的情况中,判断物体的景深是否位于z<0的位置且景深灰度级是否等于或小于整体灰度级的中间值。当判断位于z<0的位置且景深灰度级等于或小于整体灰度级的中间值时,保持而不进行灰度级转换(图27:步骤S410/灰度级值非转换处理步骤)。
进一步,在其中在修正环境判断步骤中判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态的情况中,同时,在关于物体的景深在非弹出侧是否位于z<0的位置或其景深灰度级值是否等于或小于整体灰度级的中间值的判断(步骤S410)中,判断物体的景深位于z≥0的位置且景深灰度级等于或小于整体灰度级的中间值,通过第二灰度级转换(灰度级转换B)对此进行灰度级转换,采用第二灰度级转换获得比初始景深信息小的灰度级值,并且保持其结果(图27:步骤S411/灰度级值转换处理步骤)。
随后,景深图像合成处理功能71c合成分别在灰度级值非转换处理步骤和灰度级值转换处理步骤中保持的景深图像数据(图27:步骤S409/景深图B的产生)。随后,3D景深图像产生功能71h基于合成景深图像数据产生二维3D图像数据,并输出作为用于驱动显示面板的立体景深图像数据(图27:步骤S404/3D景深图像数据产生步骤)。
从上述步骤S410至S412的处理被定义为灰度级产生D部。灰度级产生D部的控制由膨胀状态修正控制器71B执行。
具体地,可以将这些动作描述为如下。
也就是说,当透镜处于ΔT>0的膨胀状态时,首先,转向上述图27的步骤S410。在此,判断(步骤S410)物体在z轴上的位置是否为负(即,景深灰度级值为128或更小)。在该值为128或更小的情况中,实际上采用景深图A的信息。
进一步,在其在z轴上的位置为正(z≥0,即,景深灰度级值为128或更大)的物体81c和81d上进行灰度级转换B(步骤S411),例如,从而将其灰度级修正为对应于图28C的物体83c和83d的灰度级。
在这种情况中,物体83c,83d具有比物体81c,81d小的灰度级值。用于灰度级转换B的参数与上述转换A的情况相同。
在灰度级转换B中,根据ΔT的大小执行用于减小灰度级值的修正处理。然而,还能根据初始灰度级值采用修正处理,以在初始景深图A的灰度级值较大时增加灰度级修正值。
随后,通过合成处理获得如图28C所示的景深图C(图27:步骤S412)。
从上述步骤S410至S412的处理被定义为灰度级产生D部。灰度级产生D部的运作控制由膨胀状态修正控制器71B执行。
关于图27的流程图中示出的灰度级处理C部和灰度级产生D部,除了上述处理,也可以分别地根据ΔT的大小和物体在x轴上的位置的大小执行灰度级修正。图29和图30示出其示例。
其中,图29示出其中通过由LUT(查找表)、指定函数等形式限定针对物体在x轴上的位置的灰度级值修正量而执行处理的示例。
关于图29A的景深图A,在图29B的景深图B上应用以下处理:位于更靠近屏幕边缘的x4处的物体85a的灰度级值修正量大于位于更靠近屏幕中心的x1处的物体85b的灰度级值修正量。
类似地,在图29C的景深图C上应用以下处理:位于更靠近屏幕边缘的x3处的物体86c的灰度级值修正量大于位于更靠近屏幕中心的x2处的物体86d的灰度级值修正量。
进一步,图30示出一示例,其中根据ΔT的大小设置参考值xth,并且灰度级值设置为128,这与物体在x轴上的位置为|x|>|xth|时的2D的情况相同。
在这种情况中,关于物体在x轴上的位置x1至x4,当假设|x1|和|x2|小于|xth|且|x3|和|x4|大于|xth|时,在图29B中示出的相对于图29A的景深图A的景深图B中,位于x轴上的x3处的物体88a和位于x4处的物体88c的灰度级分别为128。
类似地,在图29C中示出的景深图C中,位于x轴上的x3处的物体89a和位于x4处的物体89c的灰度级分别为128。
在此注意,上述第四示例性实施例的全部动作的每个步骤的执行内容可以放入程序中,以由设置至立体图像产生模块70A的计算机实现。
如上所述,关于在第四示例性实施例中描述的图27的流程图中示出的灰度级处理C部和灰度级产生D部,可以分别根据ΔT的大小和物体在x轴上的位置的大小以上述方式进行灰度级值修正。
该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
(修改例)
接下来,将参照图31至图33描述第四示例性实施例的修改例。
第四示例性实施例的修改例的特征在于在景深图A上均匀地进行灰度级转换,不管物体在z轴上的符号如何,即,不管该值相对于图27至图30(第四示例性实施例)中的z=0的平面上的灰度级值128的大小。因此,该修改例不采用进行根据物体z≥0或z<0的景深变化的灰度级值修正和合成其结果的方法。
以下将对此进行描述。
首先,代替图26A的主算术运算控制器71,第四示例性实施例的修改例采用具有相同功能的主算术运算控制器72(参见图31)。
如图31所示,其中主算术运算控制器72包括3D图像数据产生功能72G,其在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以输出作为数据存储部25中存储的用于驱动显示面板的3D图像数据的二维3D图像数据,该二维3D图像数据具有对应于视差量的景深信息。
与在上述第四示例性实施例的情况一样,主算术运算控制器72设置有修正环境判断部29,其在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时运行,以进行双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断。
进一步,主算术运算控制器72包括灰度级值修正控制功能72A,其通过对应于由修正环境判断部29进行的判断结果增加控制或减小控制灰度级值。
灰度级值修正控制功能72A包括灰度级值增加转换处理功能72a,其在由修正环境判断部29判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时运行,以通过第三灰度级值转换(灰度级转换C)在整个景深图上进行灰度级转换并保持,而不管每个物体的景深位置,采用第三灰度级值转换可以获得大于初始景深图的灰度级值。
进一步,主算术运算控制器72的灰度级值修正控制功能72A包括灰度级值减小转换处理功能72b,其在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时运行,以通过第四灰度级值转换(灰度级转换D)在整个景深图上进行灰度级转换并保持,而不管每个物体的景深位置,采用第四灰度级值转换可以获得小于初始景深图的灰度级值。
进一步,主算术运算控制器72的灰度级值修正控制功能72A包括3D图像数据产生功能72c,其在分别地通过灰度级值增加转换处理功能72a和灰度级值减小转换处理功能72b处理的景深图像数据上进行3D景深图像处理,输出作为用于驱动显示面板的3D景深图像处理数据。
其它结构与上述图26A中示出的第四示例性实施例的情况相同。
接下来,将描述关于上述结构内容的全部动作。
首先,如图32所示,温度传感器21与整个装置的操作开始一起启动,以开始双凸透镜1的温度的测量,同时,与在上述第四示例性实施例的情况中一样,计算该温度相对于参考值的温度差ΔT(图32:步骤S401)。
从步骤S401至步骤S404(3D图像数据产生步骤)和步骤S405(ΔT的更新)的一系列步骤与上述第四示例性实施例的情况相同。
随后,与在第三示例性实施例的情况中一样,在步骤S503的修正必要性判断步骤中由温度判断部30判断温度差ΔT是否满足|ΔT|≤|ΔTth|。当判断为满足时,与在第四示例性实施例的情况中一样,视差量的修正变得不必要,并且程序转向步骤S404。
同时,当由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时,随后由修正环境判断步骤29判断双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态(图32:步骤S451/修正环境判断)。
当在修正环境判断步骤(图32:步骤S451)中判断温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时,灰度级值增加转换处理功能72a立即运行,以通过作为第三灰度级值转换的灰度级转换C在整个景深图上进行灰度级转换,而不管每个物体的景深位置,采用第三灰度级值转换可以获得比初始景深图信息大的灰度级值(图32:步骤S452/景深灰度级增加转换步骤)。随后,3D景深图像数据产生功能72c进行景深图像处理,并将其结果输出为用于驱动立体显示面板的3D景深图像数据(图32:步骤S404/3D景深图像数据产生步骤)。
同时,当在步骤S451中温度的判断中判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时,灰度级值减小转换处理功能72b立即运行,以通过作为第四灰度级值转换的灰度级转换D在整个景深图上进行灰度级转换,而不管每个物体的景深位置,采用第四灰度级值转换可以获得比初始景深图信息小的灰度级值(图32:步骤S453/景深灰度级减小转换步骤)。随后,3D景深图像数据产生功能72c进行景深图像处理,并将其结果输出为用于驱动立体显示面板的3D景深图像数据(图32:步骤S404/3D景深图像产生步骤)。
也就是说,在该修改例中,在图32的步骤S452中在图33B中示出的透镜收缩状态中执行灰度级转换C,并在步骤S453中在图33C中示出的透镜膨胀状态中执行灰度级转换D。
与之前描述的情况不同,在图33B和图33C中,根据这些灰度级转换中透镜收缩/膨胀的状态也在图33A中具有灰度级值128的部分(背景部分)中进行灰度级值修正。
其它结构及其操作效果与上述第四示例性实施例的情况一样。
在此注意,上述第四示例性实施例的修改例的全部动作的每个步骤的执行内容可以放入程序中,以由设置至立体图像产生模块70A的计算机实现。
进一步,在包括其修改例的第四示例性实施例的情况中,通过对应于温度差ΔT在景深图中限定3D区域,如上所述。因此,存在即使在使用环境温度非常大地变化时也能够一直确保立体观看区域的效果。进一步,由于根据使用环境温度为特定景深方向执行景深量控制,因此存在使得能够在不丧失周围环境的情况下确保立体观看区域的效果。而且,第四示例性实施例以景深的灰度级转换为基础。因此,与其中需要由相机进行渲染处理的上述示例性实施例的情况相比,能够采用其关于处理能力和因此要求的算术运算速度的性能低的算术运算装置。因此,存在可以以低的成本构造控制器110的优点。
进一步,虽然在第四示例性实施例中公开了关于视点的数量的2-视点,但本发明不仅限于此。本发明也可以以相同的方式应用于N个视点的情况。
(第五示例性实施例)
接下来,将参照图34至图38描述本发明的第五示例性实施例。
在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
在第五示例性实施例中,为具有景深信息的物体设置两个虚视点,并且以二维数据的形式累积通过对物体的三维数据进行渲染处理预先产生的视差图像和由立体相机捕获的视差图像。随后,其特征在于根据使用环境温度为视差图像的视差方向进行偏移处理,并在读出累积的视差图像时输出。
以下,将通过以在第一示例性实施例中描述的内容为前提对此进行描述。
(结构)
与在第一示例性实施例的情况一样,根据第五示例性实施例的立体显示装置包括驱动控制立体显示面板11的显示控制器110。显示控制器110设置有立体图像产生模块110A,其具有用于限制随后将描述的全部结构元件中的每一个的动作的主算术运算控制器111(参见图34A)。
立体图像产生模块110A包括:目标图像数据设定部77,其示出用于右眼和左眼的、预先渲染处理的、用于产生3D图像数据的一对视差图像数据A并将该对视差图像数据A累积至数据存储部25;温度差判断部30,其单独地进行关于每个视差图像数据A的由温度传感器21检测到的检测温度相对于参考温度的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要为在xy平面上的x轴上指定的每个物体的视差量进行修正的温度环境;和用于限制这些部分中的每一个的动作的上述主算术运算控制器111。
其中,主算术运算控制器111包括3D图像数据产生功能111G,其在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以基于数据存储部25中存储的该对视差图像数据A产生二维3D图像数据,并输出用于驱动显示面板(参见图34B)。
与在上述第一示例性实施例的情况一样,主算术运算控制器111设置有修正环境判断部29,其在由温度差判断部30判断关于视差图像数据A的温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时运行,以进行双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断。
进一步,与在上述第一示例性实施例的情况一样,主算术运算控制器111包括:收缩状态修正控制器(收缩状态偏移图像产生部)111A,其在由修正环境判断部29判断双凸透镜1处于呈现收缩状态的ΔT<0的状态时运行;和膨胀状态修正控制器(膨胀状态偏移图像产生部)111B,其在由修正环境判断部29判断双凸透镜1处于呈现膨胀状态的ΔT>0的状态时运行。
其中,具体地,收缩状态修正控制器(收缩状态偏移图像产生部)111A包括:图像数据偏移处理功能111a,其以对应视差水平的指定偏移量沿左侧方向对视差图像数据A的左眼图像数据进行轻微偏移处理和沿右侧方向对右眼图像数据进行轻微偏移处理;视差图像数据产生功能111b,其通过将通过图像偏移处理获得的图像数据与在偏移处理之前的对应图像数据叠加而产生视差图像数据B;和3D图像数据产生功能111c,其基于由视差图像数据产生功能111b产生的视差图像数据B产生和输出其中温度差ΔT为ΔT<0的情况的二维3D图像数据。
从而,当双凸透镜1处于收缩状态(ΔT<0)时,执行修正控制,以通过对应于温度差ΔT的大小,以对应视差水平的指定偏移量沿左侧方向对左眼图像数据进行轻微偏移处理和沿右侧方向对右眼图像数据进行轻微偏移处理。因此,双凸透镜1的收缩状态被修正为即使在立体显示面板11的双凸透镜1处于收缩状态时,也能够以与收缩之前的状态相同的输出状态驱动立体显示面板11。
随后,当双凸透镜1处于呈现膨胀状态的ΔT>0时,与在收缩状态的情况中一样,进行可以以与膨胀之前的状态相同的输出状态驱动立体显示面板11的修正控制。
也就是说,膨胀状态偏移图像数据产生部(膨胀状态修正控制器)111B在判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时运行,以通过在视差图像数据A上应用第二视差偏移处理C而产生视差图像数据。
具体地,膨胀状态偏移图像产生部(膨胀状态修正控制器)111B包括:图像数据偏移处理功能111d,其以对应视差水平的指定偏移量沿右侧方向对视差图像数据A的左眼图像数据进行轻微偏移处理和沿左侧方向对右眼图像数据进行轻微偏移处理;视差图像数据产生功能111e,其通过将通过图像偏移处理获得的图像数据与偏移处理之前的对应图像数据进行叠加而产生视差图像数据;和3D图像数据产生功能111f,其基于由视差图像数据产生功能111e产生的视差图像数据产生和输出二维3D图像数据。
从而,当双凸透镜1处于膨胀状态(ΔT>0)时,执行修正控制,以通过对应于温度差ΔT的大小,以对应视差水平的指定偏移量沿右侧方向对左眼图像数据进行轻微偏移处理和沿左侧方向对右眼图像数据进行轻微偏移处理。因此,双凸透镜1的膨胀状态被修正为即使在立体显示面板11的双凸透镜1处于膨胀状态时,也能够以与膨胀之前的状态相同的输出状态驱动立体显示面板11。
其它结构与上述第一示例性实施例相同。
(全部动作)
接下来,将参照图34至图38描述第五示例性实施例的全部动作。
在此注意,图35为示出第五示例性实施例的3D图像数据产生动作的示例的流程图。
如图35所示,在第五示例性实施例,首先中,包括双凸透镜1的环境温度T由温度传感器21测量,并且由变形量计算部28计算相对于参考温度Tth的温度差ΔT(图35:步骤S501/温度差指定步骤)。
随后,作为修正目标,预先设置渲染处理过或由立体相机捕获的用于右眼和左眼的一对视差图像数据A。
具体地,几乎与由变形量计算部28进行的温度差ΔT的计算同时,通过来自外部的命令,将由数据存储部中存储的用于产生3D图像数据的视差图像构成的3D图像数据指定为修正目标(视差图像数据A)(图35:步骤S502/目标图像数据设定步骤)。
随后,由温度差判断部30执行温度差ΔT的视差量修正的判断。当判断该修正不必要时,主算术运算控制器111的3D图像数据产生功能111G立即开始对作为目标的视差图像数据A进行3D图像数据产生处理(图35:步骤S503,S504)。
进一步,当判断修正不必要时,在下一步骤中判断修正环境的状态,执行适合修正环境的最佳修正控制(图35:步骤S506和以后)。
将更详细地对此进行描述。
首先,关于针对温度差ΔT的视差量修正的判断,由变形量计算部28计算的温度差ΔT和预先设定的参考值ΔTth的绝对值由温度差判断部30比较,以判断关于在x轴上指定的每个物体的视差量的修正是否必要(图35:步骤S503/修正必要性判断步骤)。
当在修正必要性判断步骤中判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时,3D图像数据产生功能111G如上文描述的那样运行,以在实际上基于数据存储部中存储的该对视差图像数据A产生二维3D图像数据并输出用于驱动显示面板(图35:步骤S504/3D图像数据产生步骤)。图36A示出视差图像数据A的情况的示例。
同时,当在步骤S503的修正必要性判断步骤中判断温度差ΔT为|ΔT|≤|ΔTth|且处于需要对视差量进行修正的温度环境时,随后由修正环境判断部29判断双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态(图35:步骤S506/修正环境判断)。
当在步骤S506的修正环境判断步骤判断关于视差图像数据A的温度差ΔT为ΔT<0且双凸透镜1处于收缩状态时,主算术运算控制器111的收缩状态修正控制器111A立即运行以对视差图像数据A执行第一视差偏移处理B,以产生视差图像数据B(图35:步骤S507/偏移图像产生步骤)。
在步骤S507的偏移图像产生步骤中,具体地,执行的是图像数据偏移处理步骤和视差图像数据产生步骤,在图像数据偏移处理步骤中,主算术运算控制器111的图像数据偏移处理功能111a以各自的指定偏移量沿左侧方向对视差图像数据A的左眼图像数据进行偏移处理和沿右侧方向对右眼图像数据进行偏移处理,在视差图像数据产生步骤中,视差图像数据产生功能111b运行,以通过将每次图像偏移处理获得的图像数据叠加在偏移处理之前的对应图像数据上而产生视差图像数据B。
现在,关于视差图像数据B,将以具体方式描述其处理内容。
关于在判断修正必要时执行的偏移处理B,例如,分别地,左眼图像相对于图36a中示出的视差图像A向左移动,右眼图像向右移动移位量e,如图36B所示。这些动作由收缩状态修正控制器111A的图像数据偏移处理功能111a执行。
用于确定移位量e的参数是ΔT和保持至图像产生部22的存储器的内容(即,构成显示面板11的材料的有效线性膨胀系数差、面板尺寸、面板分辨率和3D行程)。在构成显示面板11的材料中,除ΔT之外的参数可以被处理为常数,变量仅为ΔT。
可以根据温度差ΔT的大小设置移位量e。然而,优选的是将移位量e设置为在ΔT变大时变化。当应用偏移处理时,左眼图像的左端和右眼图像的右端的宽度e的量不能用作图像数据。因此,例如,这部分的图像数据被设置为黑。
相应地,将左眼图像的右端和右眼图像的左端的宽度e的量的图像数据设置为黑。
因此,在进行偏移处理B之后获得的视差图像为其两端的宽度e的黑像的视差图像B形式,如图30C所示。
随后,基于在步骤S507的偏移图像产生步骤中产生的视差图像数据B,收缩状态修正控制器111A的3D图像数据产生功能111c产生和输出二维3D图像数据(图35:步骤S504/3D图像数据产生步骤)。
随后,当在图35的步骤S506(修正环境判断)中判断温度差ΔT为ΔT>0且双凸透镜1处于膨胀状态时,主算术运算控制器111的膨胀状态修正控制器111B立即运行,以对视差图像数据A执行第二视差偏移处理C,以产生视差图像数据C(图35:步骤S508/偏移图像产生步骤)。图37示出了用于产生这种情况的视差图像数据C的程序。
在步骤S508的偏移图像产生步骤中,具体地,执行的是图像数据偏移处理步骤和视差图像数据产生步骤,在图像数据偏移处理步骤中,图像数据偏移处理功能111d以各自的指定偏移量沿右侧方向对视差图像数据A的左眼图像数据进行偏移处理和沿左侧方向对右眼图像数据进行偏移处理,在视差图像数据产生步骤中,视差图像数据产生功能111e运行,以通过将每次图像偏移处理获得的图像数据叠加在偏移处理之前的对应图像数据上而产生视差图像数据B。
随后,基于在步骤S508的偏移图像产生步骤中产生的视差图像数据C,收缩状态修正控制器111B的3D图像数据产生功能111f产生和输出二维3D图像数据(图35:步骤S504/3D图像数据产生步骤)。
现在,关于视差图像数据B,将以具体方式描述其处理内容。
在透镜膨胀状态的情况中,处理程序转向图35中示出的步骤S508的偏移处理C,其中分别地,左眼图像相对于图37A中示出的视差图像A向右移动视差水平的少量的移位量f,右眼图像向左移动视差水平的少量的移位量f,如图37B所示。
用于确定移位量f的参数与图36的移位量e的情况相同,并且它可以根据ΔT的大小设定。然而,优选的是将移位量f设置为在ΔT变大时变大。
如已经描述的那样,当应用偏移处理时,左眼图像的右端和右眼图像的左端的宽度f的量不能用作图像数据。因此,例如,这部分的图像数据被设置为黑。相应地,将左眼图像的左端和右眼图像的右端的宽度f的量的图像数据设置为黑。因此,在进行偏移处理C之后获得的视差图像为其两端的宽度f的黑像的视差图像C形式,如图31C所示。
虽然在第五示例性实施例中将黑像插入图像的两端,但本发明不仅限于此。例如,图像的背景色可以被提取并用于图像的两端。进一步,还能一次取消图像两端的黑像部分,并可以应用如图38将w-2e扩展至w的缩放处理。采用这种处理,在所产生的图像的两端不显示黑像。
在此注意,上述第五示例性实施例的全部动作的每个步骤的执行内容可以放入程序中,以由设置至立体图像产生模块110A的计算机实现。
该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
进一步,如上所述,在第五示例性实施例中不需要渲染处理。因此,与其中需要进行渲染处理的上述示例性实施例的情况相比,能够采用其关于处理能力和因此要求的算术运算速度的性能低的算术运算装置。因此,存在可以以低的成本构造控制器110的优点。进一步,对其中使用通过使用双透镜反射相机获得的照相内容的情况来说是非常有效的。
进一步,虽然在第五示例性实施例中描述了关于视点的数量的2-视点,但本发明不仅限于此。本发明也可以以相同的方式应用于N个视点的情况。也可以为对于使用四透镜反射相机获得的照相内容进行相同的处理。
(第六示例性实施例)
接下来,将参照图39至图56描述本发明的第六示例性实施例。在此注意,相同的附图标记用于与第一示例性实施例相同的结构部件。
第六示例性实施例的特征在于:通过采用相机设置参数将具有景深信息的3D物体的景深信息转换成二维图像信息的视差量;预先累积视差量调整LUT信号,根据使用环境温度的变化在显示弹出物体和景深物体时的立体观看区域的不同变化特性反映至该差量调整LUT信号;以及根据温度传感器检测的温度和视差量调整LUT信号为二维图像信息的视差量执行修正处理。
(结构)
图39示出根据第六示例性实施例的立体显示装置。与在所有上述示例性实施例的情况中一样,立体显示装置包括驱动控制立体显示面板11的显示控制器120。显示控制器120设置有立体图像产生模块120A,其具有用于限制随后将描述的全部结构元件中的每一个的动作的主算术运算控制器121。
立体图像产生模块120A包括:目标图像数据设定部77,其输出具有景深信息或预先渲染处理过的二维图像数据(中心图像数据)的物体的3D图像数据和与此对应的景深图数据,并将这些数据累积至数据存储部25;视差量调整信号存储部33,其根据使用环境温度累积用于进行视差量修正处理的LUT信号;温度差判断部30,其单独地进行关于温度传感器21检测到的检测温度相对于参考温度的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要为在xy平面上的x轴上指定的每个物体的视差量进行修正的温度环境;和用于控制这些部分中的每一个的动作的上述主算术运算部121。
其中,算术运算控制器121在图40中示出。主算术运算控制器包括3D图像数据产生功能121G,其在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以通过采用相机信息存储部中存储的相机设置信息或二维图像景深图将数据存储部25中累积的3D物体的景深信息转换成二维图像信息的视差量,基于具有视差量的二维视差图像产生3D图像数据,并输出用于驱动显示面板。
进一步,主算术运算控制器121包括:功能121a,其在由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以根据对应于温度传感器21检测的温度的视差量调整LUT信号调整二维图像信息的视差量;功能121b,其根据修正的视差量产生视差图像;和功能121c,其根据产生的视差图像产生3D图像数据,并输出用于驱动显示面板。在此注意,通过使用基于来自立体显示面板的发射光线的计算值、实际主观评估值等,也可以产生视差量调整LUT信号,根据使用环境温度的变化在显示弹出物体和景深物体时的立体观看区域的不同变化特性反映至该视差量调整LUT信号。
在第六示例性实施例中,用于在可以根据所有可用环境温度观看到立体图像的范围内的视差量的修正量被放入单个LUT信号,使得没有必要执行基于ΔT的符号判断双凸透镜是处于膨胀状态还是处于收缩状态的判断、以及通过比较景深信息和屏幕距离进行的关于弹出和景深的判断。因此,可以进一步增加处理速度。
(全部动作)
接下来,将参照图41描述第六示例性实施例的全部动作。
在此注意,图41为示出该示例性实施例的3D图像数据产生动作的示例的流程图。
如图41所示,在第六示例性实施例,首先中,包括双凸透镜1的环境温度T由温度传感器21测量,并且由变形量计算部28计算相对于参考温度Tth的温度差ΔT(图41:步骤S601)。
随后,进行渲染处理条件所需要的屏幕面(显示面)设置和相机设置(图41:步骤S602)。相机设置参数的示例为相机位置ZC、相机间距离XC、相机视角FOV等,如在第一示例性实施例中描述的一样。
随后,通过采用设定的相机信息A和屏幕面40,将对应于输入的3D物体景深信息和预先渲染处理过的二维图像数据的景深图图像转换成二维图像信息的视差量(图41:步骤S603/二维图像信息视差量计算)。二维图像信息视差量计算步骤通过仅采用z轴的景深信息计算以像素单元计的二维图像信息的视差量Δu,与上述通过由x、y和z三轴指定的三维数据的投影转换产生二维图像的渲染处理的情况不一样。虽然其计算方法根据立体相机的图像捕获方法而变化,但下述表达式用于交叉捕获方法的情况。
[表达式1]
Δu = XC · ( 1 ZC - 1 z ) · 1 tan ( FOV / 2 ) 等式(1)
在此注意,Δu为以像素单元计的2D图像信息视差量,XC为相机间距离,FOV为相机的视角,z为3D物体和相机之间沿z轴方向的距离,ZC为相机和屏幕之间沿z轴方向的距离。
虽然在此描述了交叉捕获方法的情况,但可以根据相应的等式以相同的方式处理采用其它捕获方法的情况,如平行捕获方法、移位传感器方法等。
以下,将采用图42详细描述Δu的定义。关于视差量Δu,右眼图像内的示出给定3D物体的像素的x轴坐标值XR和左眼图像内的示出同一3D物体并对应于右眼像素的像素的x轴坐标值XL之间的差(XR-XL)被定义为2D图像信息视差量Δu。
根据等式(1)中包括的(1/ZC-1/z),对应于屏幕面的前侧的物体(z<ZC)的像素的视差量Δu为负值,对应于屏幕面的更远侧的物体(z>ZC)的视差量Δu为正值,对应于屏幕面上的物体(z=ZC)的像素的视差量Δu为0。
随后,温度差判断部30判断针对温度差ΔT的视差量修正(图41:S604/修正必要性判断步骤)。在|ΔT|≤|ΔTth|的情况中,即,当判断修正不必要时,根据二维图像信息产生视差图像,并且基于保持二维图像信息的视差量的二维视差图像顺序地执行3D图像数据产生处理(图41:S606/视差图像产生处理)。
同时,当判断|ΔT|>|ΔTth|且修正必要时,由像素单元根据视差量调整LUT信号将二维图像信息的视差量转换为对于温度传感器21检测的温度来说最优的视差量(图41:S605/视差量调整处理)。随后,根据二维图像信息的调整视差量产生视差图像(图41:S606/视差图像产生处理),并基于修正的视差图像执行3D图像数据产生处理(图41:S607/3D图像数据产生)。
以下,将采用图43详细描述基于视差量调整LUT信号执行的视差量修正的示例。作为输入数据的示例,将描述示出预先渲染处理过的二维图像数据(中心图像数据)及其景深信息的景深图像数据的情况。然而,同样可以应用于输入三维数据的情况。在该情况中,通过仅采用z轴方向的景深信息,可以为输入的三维数据直接计算Δu。随后,执行接下来的处理。
首先,由温度传感器21测量包括双凸透镜1的环境温度T,并由变形量计算部28计算相对于参考温度Tth的温度差ΔT(图41:S601)。
随后,在相机设置信息存储部中累积的相机参数被读出至主算术运算控制器121(图41:S602)。读出至主算术运算控制器121的相机设置参数和图43中示出的景深图像数据代入等式(1),以进算输入2D图像内的每个像素的视差量(图41:S603)。也就是说,可以基于视差量的符号对示出弹出物体的像素和示出景深物体的像素进行区分。进一步,根据等式(1),当物体和相机之间的距离变小时,视差量Δu向负方向变小。可以由此产生LUT信号。图43中示出的四个物体(42’,43,42,43’)的视差量的值按顺序表示为Δu1,Δu2,Δu3和Δu4。如在图43中示出的景深图像的灰度级中所示,相机和物体之间的距离以43,43’,42’,42的顺序变化。因此,关于四个物体的视差量的关系表示为Δu2<Δu4<Δu1<Δu3。在此注意,Δu2和Δu4为负值,Δu1和Δu3为正值。
随后,当在修正必要性判断步骤(图41:S604)中判断|ΔT|≤|ΔTth|,即,当判断处于不需要对视差量进行修正的温度环境时,每个物体分别地向左侧方向和右侧方向移动视差量绝对值|Δu|的一半,以产生图44中示出的视差图像(图41:S606)。随后,基于保持二维图像信息的视差量的二维视差图像执行3D图像数据产生处理(图43)(图41:S607)。
同时,当判断修正必要时,根据视差量调整LUT信号由像素单元将二维图像信息的视差量转换成对于温度传感器21检测的温度来说最优的视差量(图41:S605)。例如,当从温度传感器输出的温度值为T3时,图43A中示出的四个物体的视差量(Δu1,Δu2,Δu3,Δu4)被转换成在T3温度下最优的视差值(Δu19,Δu20,Δu21,Δu22),并根据调整的二维图像信息视差量产生图46中示出的视差图像(图41:S606),基于修正的视差图像执行3D图像数据产生处理(图41:S607)。
(产生LUT信号的示例)
如上所述,可以根据从关于立体观看区域对温度的相关性的评估测试获得的主观评估、关于来自立体显示面板的显示光线的理论计算值等产生视差量调整LUT信号。
作为示例,将采用图47描述用于根据关于立体观看区域对温度的相关性的评估测试产生LUT信号的方法。图47示出当立体显示装置11的使用环境温度从25℃增加至60℃且3D区域限于在给定温度处从屏幕中心开始屏幕整个区域的10%时,其视差量Δu为(-15,-10,-5,5,10,15)的物体的立体观看区域的评估结果。图47示出在25℃,45℃,50℃,55℃的温度处的数据。根据图47,可以发现观看具有正视差量的物体时的立体范围不随温度增加而改变,但观看具有负视差量的物体时的立体范围变得较窄。如上所述,具有负视差量的物体为弹出物体,具有正视差量的物体为景深物体。因此,该结果不与上述内容冲突。
随后,由温度变化引起的立体观看区域的预期值被确定的修正目标。虽然该修正目标是根据立体显示装置的使用环境、其应用等任意设置的,但处于正常温度的立体观看区域在此被设置为修正目标。也就是说,为了在即使存在使用环境温度变化时也能确保正常温度的立体观看区域,二维图像信息的视差量被调整到最佳视差量。
当视差量在图47中为正时,即使温度增加立体观看区域也不变化。因此,最佳视差量被设置为与修正之前的量相同的视差量。进一步,当视差量为负时,随着温度增加,立体观看区域减小。为了保持正常温度的立体观看区域,需要在参考图47中示出的实际测量数据的同时减小视差量的绝对值。例如,在25℃,立体观看区域的实际测量值对于其视差量为-15个像素的物体来说为70%。当使用环境温度转向50℃时,其视差量为-10个像素的物体的立体观看区域的实际测量值为精确的70%。因此为了保持其视差量为-15个像素的物体的正常温度的测量值,需要将视差量转换成-10个像素。
进一步,当不存在对应于立体观看区域的视差量完全匹配在给定使用环境温度下从实际测量数据发现的正常温度的立体观看区域时,通过参考对应于最靠近正常温度的立体观看区域的值的视差量,通过执行平均值处理、舍入处理等计算最佳视差量。例如,当使用环境温度处于45℃时,对于其视差量在实际测量数据中发现为-15个像素的物体,不存在对应于70%立体观看区域的视差量。然而,其视差量为-15个像素的物体的立体观看区域的评估结果为80%,以便通过将其视差量为-15个像素的物体调整为-12个像素的物体,可以使立体观看区域返回正常温度的数据。所产生的LUT信号在图48中示出。
接下来,将描述通过采用第六示例性实施例的方法执行的针对使用环境温度的立体观看区域的评估内容。图49示出当立体显示装置11的使用环境温度从25℃变化至60℃时,其视差量为18个像素的物体的评估结果。在此注意,该评估是在下述条件下进行的,即视差图像的尺寸沿图7中定义的x轴方向相对于整个屏幕的比例被取为3D区域,并准备其中3D区域被定义为从屏幕中心开始的10%的视差图像。根据图49中示出的结构,证实通过采用视差量调整值LUT信号,物体的在高温时靠近屏幕中心的立体观看区域返回到正常温度时的相同值。
在此注意,上述第六示例性实施例的全部动作的每个步骤的执行内容可以放入程序中,以由设置至立体图像产生模块120A的计算机实现。该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
进一步,在第六示例性实施例中不需要弹出和景深物体的判断步骤。与上述示例性实施例的情况相比,能够采用其关于处理能力和因此要求的算术运算速度的性能低的算术运算装置。因此,存在可以以低的成本构造控制器120的优点。
该修改例的其它结构及其操作效果与上述第一示例性实施例的情况相同。
(修改例(1))
接下来,将描述第六示例性实施例的修改例(1)。图48中示出的LUT信号是基于其中3D图像限于从屏幕中心开始整个屏幕的10%的情况的实际测量数据产生的。如图73所示,不能采用下述性质:在用于评估的3D图像从屏幕中心移位时,在高温侧观看弹出图像时比观看景深图像时立体观看区域的减小显著;在低温侧观看景深图像时比观看弹出图像时立体观看区域的减小显著。这是因为透镜间距的波动的影响程度对其中3D图像位于屏幕中心和位于屏幕外侧的情况是不同的。特别地,透镜总间距的波动量在屏幕的外侧大,使得影响大。因此,所预期的是,在通过采用根据位于显示面板上的具体位置处的3D物体的针对温度的立体观看区域的评估结果产生的LUT信号进行位于显示面板内的任意位置处的3D物体的立体观看区域的修正时产生大的修正误差。
为了防止这种修正误差,两个最小的测量位置(p0,p1)沿着显示面板上的x轴设置,如图50所示,并且用于评估的3D物体位于这些测量位置。随后,将温度调整至(T1,T2,---),在每个温度处为位于测量位置(p0,p1,---)的物体执行立体观看区域的评估。从而,可以产生对应于每个测量位置(p0,p1,---)的LUT信号(LUT0,LUT1,---)。在此注意,这些信号被定义为LUT0和LUT1。LUT0信号是基于用于位于p0位置的物体的立体观看区域的评估结果产生,并且它在图51中示出。LUT1信号是基于用于位于p1位置的物体的立体观看区域的评估结果产生,并且它在图52中示出。
随后,基于所获得的LUT0信号和LUT信号1插入最适合显示面板的x轴上的任意位置pi的修正量。作为修正方法,能够采用线性、N阶(N为2或更大的自然数)、高斯函数等。作为示例,以下描述采用线性函数的修正。在其中具有视差量Δu1的物体在使用环境温度为T2(℃)时位于图50中示出的p0位置的情况中,根据视差调整信号LUT0修正后的最佳视差量为Δu’13。在具有视差量Δu1的物体位于图50中示出的p1位置的情况中,根据视差调整信号LUT1修正后的最佳视差量为Δu”13。在相同的使用环境温度T2下,可以通过下述等式计算物体移位至pi位置时的修正后的最佳视差量Δui。
[表达式2]
Δ u i - Δ u ′ ′ 13 pi - p 0 = Δ u ′ 13 - Δ u ′ ′ 13 p 1 - p 0 等式(2)
图53为示出第六示例性实施例的修改例(1)的主算术运算控制器122的每个结构元件的框图。主算术运算控制器122包括3D图像数据产生功能122G,其在由温度差判断部30判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对视差量进行修正的温度环境时运行,以通过采用相机信息存储部中存储的相机设置信息或二维图像景深图将数据存储部25中累积的3D物体的景深信息转换成二维图像信息的视差量,基于具有视差量的二维视差图像产生3D图像数据,并输出用于驱动显示面板。
图54为示出第六示例性实施例的修改例(1)的3D图像数据产生动作的流程图。如图53所示,步骤611至步骤614与第六示例性实施例中描述的步骤S601至步骤S604相同,由此省略其说明。
温度差判断部30判断针对温度差ΔT的视差量修正(图54:S614/修正必要性判断步骤)。当判断修正不必要时,根据二维图像信息产生视差图像(图54:S616/视差图像产生处理)。随后,基于保持二维图像信息的视差量的二维视差图像执行3D图像数据产生处理(图54:S617/3D图像数据产生)。
同时,当判断修正必要时,预先累积至视差量调整LUT信号存储部的多个视差量调整信号,即,LUT0信号,LUT1信号,---和显示屏上对应于每个LUT信号的x轴坐标p0,p1,---代入等式(2),以计算给定像素在显示屏内的任意x轴坐标处的最佳视差量(图54:S615/视差量调整功能)。根据二维图像信息的计算出的最佳视差量产生视差图像(图54:S616/视差图像产生处理),并执行3D图像数据产生处理(图54:S617/3D图像数据产生)。该修改例的其它结构及其操作效果与上述第六示例性实施例的情况相同。
在其中除线性函数之外的函数用作修正方法的情况中,能够产生对应两个或更多个测量位置的LUT信号,以改善修正精确度。采用修改例(1),在LUT信号增加时,除了确保位于显示屏内的任意位置处的3D物体的立体观看区域之外,还存在即使在显示屏是大尺度时也可以确保指定的立体观看区域的优点。
(修改例(2))
接下来,将参照图55至图56描述第六示例性实施例的修改例(2)。针对其中具有景深信息的2D图像数据或3D数据用作输入数据的情况描述了第六示例性实施例。然而,如在第五示例性实施例中示出的一样,也可以应用于通过进行渲染处理而预先产生的视差图像和应用于不具有景深信息的二维数据(如由立体相机捕获的视差图像)。以下将描述采用二维数据的情况。
图55为示出第六示例性实施例的修改例(2)的3D图像数据产生动作的示例的流程图。首先,温度传感器21启动,并且由变形量计算部28计算双凸透镜1的检测温度T和预先设定的参考温度Tth(在第一示例性实施例中为正常温度)之间的差异的ΔT(图55:步骤S621/温度检测步骤)。
随后,对于通过进行渲染处理而预先产生的视差图像和应用于不具有景深信息的二维数据(如由立体相机捕获的视差图像),采用图像处理技术,如块匹配、SIFT(比例不变特征转换:Scale-invariant featuretransform)、图像分割等搜索左眼图像和右眼图像中的对应像素。
以下将描述借助于块匹配技术的对应像素搜索方法的示例。图56为用于描述用于通过采用块匹配搜索左眼图像和右眼图像中的对应像素的方法的图示。在此注意,图56中示出的左眼图像被定义为参考图像,右眼图像被定义为搜索图像。当在右眼图像中搜索左眼图像的给定的像素PoL的对应像素时,首先,设置以像素PoL为中心的n×m块窗口。随后,将在右眼图像中具有与PoL相同y轴坐标的像素取为搜索目标。通过以这些搜索目标像素为中心设置上述尺寸(n×m)的块窗口。随后,计算在搜索图像中设置的每个块窗口和参考图像内的具有像素PoL的块窗口的像素之间的差异。当该差异变为最小时,搜索图像内的块窗口的中心像素PoR被搜索为PoL的对应像素。如上所述,对应像素的坐标相对于x轴的差异被计算为该像素的视差量(图55:S622/对应像素计算步骤)。
图55中示出的步骤S623至步骤S628与第六示例性实施例的修改例(1)中描述的图54的步骤S613至S618相同。对于视差量调整功能,能够采用与第六示例性实施例中描述的图41的S605相同的处理(不采用x轴坐标的视差量调整)。该修改例的其它结构及其操作效果与第六示例性实施例的情况相同。
采用修改例(2),可以利用不具有景深信息的图像数据。因此,图42中示出的相机设置变得不必要。当使用通过使用双透镜反射相机获得的照相内容时是非常有效的。
(第七示例性实施例)
接下来,将参照图57至图63描述本发明的第七示例性实施例。
第七示例性实施例的特征在于,与在所有上述示例性实施例中描述的一样根据温度差ΔT调整3D图像数据的视差量,以及在2D背景中进行3D物体的渲染处理时根据2D背景和3D物体之间的对比度差调整3D图像数据的视差量(参见图57)。
根据采用图83至图84和图89至图90中的3D串扰概念描述的光线几何图形,2D背景和3D物体之间的对比度差Δcrst被认为在以2D观看3D物体时不依赖于立体观看区域。然而,本发明人进行的热切的评估发现借助于主观评估结果,在其中根据2D背景和3D物体之间的对比度差产生双图像的区域中实际上存在差异。该评估结果在图57中,其中立体观看区域在2D背景和3D图像数据之间的对比度差Δcrst变大时变窄。这是因为眼睛对3D物体的敏感度在2D背景和3D图像之间的对比度差Δcrst大时增加,使得其中由一只眼睛观看到示出3D物体的左侧和右侧聚焦像素的区域(即,其中产生双图像的区域)变宽。利用2D背景和3D图像之间的对比度差Δcrst对立体观看区域的影响以及立体显示装置11的使用环境温度差ΔT的影响的修正可以提供精细的效果,用于确保立体观看区域。
以下,将通过以在第一示例性实施例中描述的内容为前提对此进行描述。首先,与在第一示例性实施例的情况一样,根据第七示例性实施例的立体显示装置包括驱动控制立体显示面板11的显示控制器130。显示控制器130设置有立体图像产生模块130A,其具有用于限制随后将描述的全部结构元件中的每一个的动作的主算术运算控制器131(参见图58至图59)。
主算术运算控制器131设置有2D/3D图像预处理部34,当由温度差判断部30判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时,该2D/3D图像预处理部34根据2D背景和3D物体之间的对比度差的大小计算用于修正视差量的2D/3D对比度差。作为用于计算2D/3D对比度差的2D对比度,能够计算与通过对3D物体进行渲染处理获得的图像重叠的2D图像区域,以及采用诸如灰度级最小值、灰度级平均值等之类的值用于该区域。进一步,作为2D对比度,还能简单地采用2D背景的整个图像的诸如灰度级最小值、灰度级平均值等之类的值。
与在第一示例性实施例的情况一样,主算术运算控制器131设置有修正环境判断部29,其判断作为图像分配模块的双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态。
进一步,与在上述第一示例性实施例的情况一样,主算术运算控制器131包括在判断|ΔT|>|ΔTth|且温度差ΔT为ΔT<0时(当双凸透镜1收缩时)运行的收缩状态修正控制器131A,以及在判断|ΔT|>|ΔTth|且温度差ΔT为ΔT>0时(当双凸透镜1膨胀时)运行的膨胀状态修正控制器131B。
其中,收缩状态修正控制器131A被构造为根据2D/3D对比度差执行弹出图像处理功能131a和非弹出图像处理功能131b,合成这些功能,并输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,构成主算术运算控制器131的一部分的收缩状态修正控制器131A包括弹出侧图像数据处理功能131a,其在由温度环境判断部28判断温度差ΔT为ΔT<0且双凸透镜1(图像分配模块)处于收缩状态时运行,以进一步判断物体的景深位置z在弹出侧是否为z≥0,并在第一相机设置A的条件下对满足z≥0的物体的三维数据进行渲染处理。
收缩状态修正控制器131A包括非弹出图像数据处理功能131b,其在温度差ΔT为ΔT<0的情况中运行,以判断物体的景深位置z在弹出侧是否为z≥0,并在第六相机设置G的条件下根据2D/3D对比度差对三维数据进行渲染处理,第六相机设置G具有从2D/3D图像预处理部34输出的2D背景和3D物体之间的对比度差Δcrst作为参数。
进一步,收缩状态修正控制器131A包括:图像数据合成功能131c,其对由弹出侧图像数据处理功能131a和使用2D/3D对比度差阈值的非弹出侧图像数据处理功能131b在其上进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能131d,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
进一步,膨胀状态修正控制器131B被构造为在双凸透镜1膨胀的状态下通过执行两种下述数据处理功能并合成这两种数据处理功能而有效地输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,膨胀状态修正控制器131B包括非弹出侧图像数据处理功能131e,其在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1(图像分配模块)处于膨胀状态时运行,以进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,在第一相机设置A的条件下对满足z<0的物体的三维数据进行渲染处理。
进一步,膨胀状态修正控制器131B包括弹出图像数据处理功能131f,其在温度差ΔT为ΔT≥0的情况中运行,以判断物体的景深位置z在弹出侧是否为z≥0,并在第七相机设置G的条件下对三维数据进行渲染处理,第七相机设置G具有从2D/3D图像预处理部34输出的2D背景和3D物体之间的对比度差Δcrst作为参数。
进一步,构成主算术运算控制器131的一部分的膨胀状态修正控制器131B包括:图像数据合成功能131g,其对由非弹出侧图像数据处理功能131e和使用2D/3D对比度差阈值的弹出侧图像数据处理功能131f在其上进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能131h,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
从而,根据双凸透镜1的收缩/膨胀,与在第一示例性实施例的情况中一样,通过为弹出侧和非弹出侧单独地设置物体的景深位置z,进行指定相机设置,并且合成由此获得的图像数据。进一步,在合成处理中增加通过操作采用2D/3D对比度阈值的图像数据处理131b和131f而获得的图像数据。因此,可以获得仍然比上述第一示例性实施例更有效的修正。
接下来,将参照图60描述第七示例性实施例的全部动作。
在此注意,图60为示出第七示例性实施例的3D图像数据产生动作的示例的流程图。
在图60中,从步骤S701至S704的动作与第一示例性实施例中描述的步骤S101至S104的动作相同。
也就是说,首先,温度传感器21启动,并且由变形量计算部28计算双凸透镜1的检测温度T和预先设定的参考温度Tth(第一示例性实施例中的正常温度)之间的差异ΔT(图17:步骤S201/温度差计算步骤)。随后,选择屏幕面40和相机设置(第一相机设置A)作为渲染处理所要求的条件。
随后,由温度差判断部30比较温度差ΔT和预先设定的判断阈值ΔTth的绝对值中的每一个,以判断视差量的修正是否必要。
随后,当判断温度差为|ΔT|<|ΔTth|时,3D图像数据产生功能131G如在第一示例性实施例的情况中一样运行,并认为由温度变化引起的双凸透镜1的变形量小且视差量修正不必要。因此,三维数据在第一相机设置A的条件下立即被渲染处理。随后,它被转换为用于驱动显示面板的视差图像,并产生和输出如图61A所示的3D图像数据。
同时,在步骤S703的修正必要性判断步骤中判断为|ΔT|>|ΔTth|的情况中,视差量修正是必要的。因此,为了检测双凸透镜1是处于收缩方向还是处于膨胀方向,程序转向ΔT的符号的判断。ΔT符号判断动作由立体图像产生模块131A的修正环境判断部29执行,如上所述。
随后,在附图60的步骤S705,与参考状态相比较,判断双凸透镜1处于收缩状态。因此,程序转向步骤S706,如上所述。
进一步,在ΔT>0的情况中,与参考状态相比较,判断双凸透镜1处于膨胀状态。因此,程序转向步骤S711。在两种情况中,执行的是其中研究物体的景深位置的下一个处理。
其中,当判断为ΔT<0的前一种情况时,即,当判断双凸透镜1处于收缩状态时,在图60的步骤S706中判断具有景深信息的物体相对于z轴的位置是否位于屏幕面40的前侧(即,z≥0)。如上所述,这个判断动作由主算术运算控制器131的收缩状态修正控制器131A执行。
进一步,在z≥0的情况中,对图61中示出的物体43和43’的三维数据进行渲染处理,并且由此可以获得关于物体43和43’的3D图像数据,如图61B所示。
同时,在z<0的情况中,即,当物体相对于z轴的位置位于屏幕面40的更远的一侧时,需要考虑2D背景和3D物体之间的对比度差Δcrst对立体观看区域的影响。因此,通过具有2D背景和3D物体之间的对比度差Δcrst作为参数的相机设置G对z<0的物体进行渲染处理。从而,可以获得关于物体43’和43的3D图像数据,如图61B所示。
根据图57中的实际测量数据,存在随着2D背景和3D物体之间的对比度差Δcrst增加而立体观看区域减小的趋势。因此,其中2D背景和3D物体之间的对比度差Δcrst大的情况的夹角被设置为大于2D背景和3D物体之间的对比度差Δcrst小的情况的夹角。相机设置G的夹角θ_G可以通过满足下文描述的两个条件的下述函数获得,以相机设置A的夹角θ_A和2D/3D对比度差Δcrst为参数。
θ_G=f(θ_A,Δcrst)    等式(3)
作为条件(1),必要的是f(θ_A,Δcrst)的函数值θ_G比其中不需要修正的相机设置A的夹角θ_A小。进一步,作为条件(2),需要函数f(θ_A,Δcrst)在Δcrst增加时使函数值θ_G变窄。
为了计算θ_G,能够通过取如等式(4)中所示的第一相机设置A的夹角θ_A,采用与2D背景和3D物体的对比度的绝对值Δcrst成反比的函数。替代地,如等式(5)所示,还能采用θ_G与2D背景和3D物体的对比度的绝对值Δcrst成线性关系的函数。进一步,为了确保满足上述两个条件,自变量k可以用在函数(3)中,如在等式(4)和等式(5)中示出的情况一样。
[表达式3]
θ _ G = k · θ _ A | Δcrst | 等式(4)
[表达式4]
θ_G=θ_A-k·|Δcrst|
等式(5)
作为示例,上文描述了与2D背景和3D物体的对比度的绝对值Δcrst成反比例和具有作为线性函数的夹角θ_G的相机设置G。然而,本发明不限于此。还能通过采用以2D背景和3D物体的对比度差Δcrst为参数的高斯、二次函数或高阶函数获得相机设置G的θ_G。
虽然上文已经基于第一示例性实施例提供了说明,但同样在本发明的范围内的是,在第四示例性实施例中根据以2D背景和3D物体的对比度Δcrst为参数的景深函数计算最佳景深值,以及在第六示例性实施例中根据以2D背景和3D物体的对比度的对比度Δcrst的视差量函数计算最佳视差量。
随后,由图像数据合成功能131c合成通过在图60的步骤S708中进行渲染处理获得的关于物体43’,43的图像数据和通过在步骤S709中进行渲染处理获得的关于物体42’,42的图像数据,并基于合成的图像数据由3D图像数据产生功能131d产生3D图像数据,如图61B所示。
当假设在图61中示出的情况中物体42’,42和在其背侧中的2D背景之间的对比度差变为|Δcrst_42’|>|Δcrst_42|时,物体42的修正之后的视差量B-β小于物体42’的视差量C-x。
虽然描述了根据2D背景和3D物体的对比度差Δcrst在ΔT<0的条件下针对z<0的物体修正视差量的示例,但还能针对z>0的物体执行同样的处理。
在其中ΔT>0的后一种情况中,即,当双凸透镜1处于膨胀状态时,在图60的步骤S711中判断具有景深信息的物体相对于z轴的位置是否是相对于屏幕面40的远侧(即,z<0)。如上所述,该判断动作由膨胀状态修正控制器131A执行。
进一步,在z<0的情况中,在第一相机设置A的条件下在图11中示出的物体42,42’的三维数据上执行渲染处理。从而,可以获得关于物体42’,42的2D图像数据,如图61C所示。
同时,在z>0的情况中,即,当物体相对于z轴的位置位于屏幕面40的前侧时(参见图21),需要考虑2D背景和3D物体的对比度差对立体观看区域的影响。因此,通过具有2D背景和3D物体之间的对比度差Δcrst作为参数的相机设置H对z>0的物体进行渲染处理。相机设置H的夹角θ_H由与上文描述的函数相同的函数设定。从而,可以获得关于物体43’和43的3D图像数据,如图61C所示。
随后,由图像数据合成功能131g合成通过在图60的步骤S712中进行渲染处理获得的关于物体42’,42的图像数据和通过在步骤S714中进行渲染处理获得的关于物体43’,43的图像数据(图60:步骤S715),并基于合成的图像数据由3D图像数据产生功能131h产生3D图像数据,如图61C所示。
当假设在图61中示出的情况中物体42’,42和在其背侧中的2D背景之间的对比度差变为|Δcrst_43’|>|Δcrst_43|时,物体43’的修正之后的视差量D-β小于物体43的视差量A-α。
虽然描述了根据2D背景和3D物体的对比度差Δcrst在ΔT>0的条件下针对z>0的物体修正视差量的示例,但还能针对z<0的物体执行同样的处理。
(修改例)
虽然上文描述了通过采用以2D背景和3D物体的对比度差Δcrst为参数的函数获得最佳修正量的情况,还能仅在其中2D/3D对比度差大的物体上进行插值。在该情况中,2D/3D图像预处理34也包括计算2D/3D对比度差的函数,并设置用于判断是否需要为3D物体进行修正的阈值。
与在第一示例性实施例的情况一样,图62中所示的主算术运算控制器132设置有修正环境判断部29,其判断作为图像分配模块的双凸透镜1是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态。进一步,与在上述第一示例性实施例的情况一样,主算术运算控制器132包括在判断|ΔT|>|ΔTth|且温度差ΔT为ΔT<0时(当双凸透镜1收缩时)运行的收缩状态修正控制器132A,以及在判断|ΔT|>|ΔTth|且温度差ΔT为ΔT>0时(当双凸透镜1膨胀时)运行的膨胀状态修正控制器132B。
其中,收缩状态修正控制器132A被构造为执行弹出图像处理功能132a和使用2D/3D对比度差的非弹出图像处理功能132b,合成这些功能,并输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,构成主算术运算控制器132的一部分的收缩状态修正控制器132A包括弹出图像数据处理功能132a,其在由温度环境判断部28判断温度差ΔT为ΔT<0且双凸透镜1(图像分配模块)处于收缩状态时运行,以进一步判断物体的景深位置z在弹出侧是否为z≥0,并在第一相机设置A的条件下对满足z≥0的物体的三维数据进行渲染处理。
收缩状态修正控制器132A在温度差ΔT为ΔT<0的情况中运行以判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,将从2D/3D图像预预处理部34输出的2D背景和3D物体之间的对比度差Δcrst与指定的2D/3D对比度差阈值Δcrst_th进行比较。对于其中满足|Δcrst|<|Δcrst_th|的物体,在其夹角被设置为窄于第一相机设置A的夹角的第二相机设置B下对三维数据进行渲染处理。进一步,设置非弹出图像数据处理功能132a,其在夹角被设置为同样窄于第二相机设置B的夹角的第八相机设置J的条件下通过采用2D/3D对比度差阈值对满足|Δcrst|≥|Δcrst_th|的物体的物体的三维数据进行渲染处理。
进一步,收缩状态修正控制器132A包括:图像数据合成功能132c,其对由弹出侧图像数据处理功能132a和使用2D/3D对比度差阈值的非弹出侧图像数据处理功能132b在其上进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能132d,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
进一步,构成主算术运算控制器132的一部分的膨胀状态修正控制器132B被构造为在其中双凸透镜1膨胀的状态中通过执行两种下述数据处理功能并合成这些功能而输出3D图像数据(合成的图像数据)用于驱动显示面板。
也就是说,膨胀状态修正控制器132B包括非弹出侧图像数据处理功能132e,其在由修正环境判断部29判断温度差ΔT为ΔT>0且双凸透镜1(图像分配模块)处于膨胀状态时运行,以进一步判断物体的景深位置z在弹出侧是否为z≥0,并在第一相机设置A的条件下对满足z<0的物体的三维数据进行渲染处理。
进一步,收缩状态修正控制器132B在温度差ΔT为ΔT≥0的情况中运行以判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,将从2D/3D图像预处理部34输出的2D背景和3D物体之间的对比度差Δcrst与指定的2D/3D对比度差阈值Δcrst_th进行比较。对于其中满足|Δcrst|<|Δcrst_th|的物体,在其夹角被设置为大于第一相机设置A的夹角的第三相机设置C下对三维数据进行渲染处理。进一步,设置了非弹出图像数据处理功能132f,其在夹角被设置为大于第三相机设置C的夹角的第九相机设置K的条件下通过采用2D/3D对比度差阈值对满足|Δcrst|≥|Δcrst_th|的物体的物体的三维数据进行渲染处理。
进一步,构成主算术运算控制器132的一部分的膨胀状态修正控制器132B包括:图像数据合成功能132g,其对由非弹出侧图像数据处理功能132e和使用2D/3D对比度差阈值的弹出侧图像数据处理功能132f在其上进行渲染处理的图像数据进行合成处理;和3D图像数据产生功能132h,其基于合成的图像数据产生3D图像数据,并输出用于驱动显示面板。
从而,根据双凸透镜1的收缩/膨胀,与在第一示例性实施例的情况中一样,通过为弹出侧和非弹出侧单独地设置物体的景深位置z,进行指定相机设置,并且合成由此获得的图像数据。进一步,在合成处理中增加通过操作采用2D/3D对比度阈值的图像数据处理132b和132f而获得的图像数据。因此,可以实现仍然比上述第一示例性实施例更有效的修正。
接下来,将参照图63描述第七示例性实施例的全部动作。
在图63,从步骤S’701到S’704的动作与在第一示例性实施例中描述的步骤S101至S104的动作相同。
也就是说,首先,温度传感器21启动,并且由变形量计算部28计算双凸透镜1的检测温度T和预先设定的参考温度Tth(第一示例性实施例中的正常温度)之间的差异ΔT。随后,选择屏幕面40和相机设置(第一相机设置A)作为渲染处理所要求的条件。
随后,由温度差判断部30比较温度差ΔT和预先设定的判断阈值ΔTth的绝对值中的每一个,以判断视差量的修正是否必要。
随后,当判断温度差为|ΔT|<|ΔTth|时,3D图像数据产生功能132G如在第一示例性实施例的情况中一样运行,并认为由温度变化引起的双凸透镜1的变形量小且视差量修正不必要。因此,三维数据在第一相机设置A的条件下立即被渲染处理。随后,它被转换成用于驱动显示面板的视差图像,并产生和输出3D图像数据。
同时,在步骤S’703的修正必要性判断步骤中判断为|ΔT|>|ΔTth|的情况中,视差量修正是必要的。因此,为了检测双凸透镜是处于收缩方向还是处于膨胀方向,程序转向ΔT的符号的判断。ΔT符号判断步骤由上述修正环境判断部29执行。
随后,在图60的步骤S’705中,与参考状态相比,判断双凸透镜1处于收缩状态。因此,程序转向步骤步骤S’706,如上所述。
进一步,在ΔT>0的情况中,与参考状态相比较,判断双凸透镜1处于膨胀状态。因此,程序转向步骤S’714。在两种情况中,执行的是其中研究物体的景深位置的下一个处理。
其中,当判断为ΔT<0的前一种情况时,即,当判断双凸透镜1处于收缩状态时,在图63的步骤S’706中判断具有景深信息的物体相对于z轴的位置是否位于屏幕面40的前侧(即,z≥0)。如上所述,这种判断动作由主算术运算控制器131的收缩状态修正控制器132执行。
进一步,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理,并且可以获得3D图像数据。
同时,在z<0的情况中,通过采用其中2D背景和3D物体之间的对比度差大的物体上的Δcrst_th进一步进行修正。以下将描述其修正方法。
在其夹角被设置为窄于第一相机设置A的夹角的第二相机设置B的条件下对满足z<0且|Δcrst|<|Δcrst_th|的3D物体进行渲染处理。
在其夹角被设置为窄于第二相机设置B的夹角的第八相机设置J的条件下对满足z<0且|Δcrst|≥|Δcrst_th|的3D物体进行渲染处理。通过参考在每个环境温度处执行、在图57中示出的2D/3D对比度差和立体观看区域之间的相关性的实际测量,或者通过参考理论分析结果,可以通过LUT(查找表)、函数等形式定义阈值|Δcrst_th|。
在ΔT>0的后一种情况中,即,当双凸透镜1处于膨胀状态时,在图63的步骤S’714中判断具有景深信息的物体相对于z轴的位置是否是相对于屏幕面40的远侧(即,z<0)。
随后,在第一相机设置A的条件下对z<0的物体的三维数据进行渲染处理。从而,可以获得3D图像数据。
同时,在z>0的情况中,即,当物体相对于z轴的位置在屏幕面40的前侧时,需要考虑2D背景和3D物体之间的对比度差对立体观看区域的影响。
通过其夹角被设置为大于第一相机设置A的夹角的第三相机设置C,在满足z>0且|Δcrst|<|Δcrst_th|的物体上进行渲染处理。
相反地,通过其夹角被设置为大于第三相机设置C的夹角的第九相机设置K,在满足z<0且Δcrst|≥|Δcrst_th|的物体上进行渲染处理。
随后,由图像数据合成功能132g合成在图63的步骤S’716,步骤S’718,和步骤S’720中通过进行渲染处理获得的图像数据(图63:步骤S’712),并且基于合成的图像数据由3D图像数据产生功能132h产生3D图像数据。
第七示例性实施例的全部动作中的从步骤S’701至步骤S’723的数据处理、比较判断等中的每一个的动作可以放入程序中,以由设置至立体图像产生模块131的计算机实现它。
第七示例性实施例被以上述方式构造和起作用,以便它具有等同于第一示例性实施例的操作效果。进一步,它被设计为考虑2D背景和3D物体之间的对比度差对立体观看区域的影响,并提供2D背景和3D物体之间的对比度差的阈值,从而提供能够通过对应于实际情况以更加精细的方式进行温度的修正的优点。
其它结构及其操作效果与上述第一示例性实施例的情况相同。
虽然上文公开了通过对具有景深信息的3D数据进行渲染处理而展开成视差图像的情况,但本发明不仅限于此。与在上述第一示例性实施例的情况一样,还能将该数据展开成景深图像。进一步,如在第五示例性实施例中描述的一样,也可以应用于通过进行渲染处理而预先产生的视差图像和应用于二维数据(如由立体相机捕获的视差图像)。
上文已经描述了根据本发明的第一至第七示例性实施例中的每一个。所有这些示例性实施例提供了下述可能性,即,即使在构成立体显示面板11双凸透镜1和显示面板11A的热膨胀系数之间存在差异,通过组装和合并双凸透镜1和显示面板11A而能够采用它们构成立体显示面板11。因此,本发明极大地有助于降低整个组装的成本,降低重量,并增加灵活性,而不丧失周围环境。
虽然迄今为止已经通过参考实施例(和示例)描述了本发明,但本发明不仅限于所述实施例(和示例)。在不偏离本发明的范围的条件下,本领域技术人员容易想到的多种改变和修改可以应用于本发明的结构和细节。
本申请要求2009年12月4日递交的日本专利申请No.2009-276439的优先权,并且通过引用将其公开内容全部结合于此。
工业应用性
根据本发明的涉及双凸透镜片的显示装置可以有效地应用于所有立体显示装置,如液晶和其它电光元件。特别地,它对薄型立体显示装置是极其有效的,并且展现高的用途多样性。
附图标记
1    图像分配部(双凸透镜)
4a   左眼像素
4b   右眼像素
5a   左眼区域
5b   右眼区域
7a   观看者的左眼
7b   观看者的右眼
8    立体观看区域
10   立体显示装置
11   立体显示面板
11A  显示面板部
12,50,60,70,110    显示控制器
21   温度传感器
22,50A,60A,70A,110A    立体图像产生模块
22A   相机设置信息存储部
22B   景深图像展开处理部
23    显示面板驱动部
24    输入部
25    数据存储部
26    命令信息存储部
28    变形量计算部
29    修正环境判断部
30    温度差判断部
31,51,61,62,63,71,72,111,121,131   主算术运算控制器
31A,51A,61A,62A,63A,71A,72A,111A,121A,131A收缩状态修正控制器
31B,51B,61B,62B,63B,71B,72B,111B,121B,131B膨胀状态修正控制器
31a,31f,51a,51f,61a,61f,131a,131f,132a,132f  弹出侧图像数据处理功能
31b,31e,51b,51e,61b,61e,131e,131b,132e,132b非弹出侧图像数据处理功能
31c,31g,51c,51g,61c,61g,131c,131g    图像数据合成功能
31d,31h,31G,51d,51h,51G,61d,61h,61G,62d,62G,121G,121c,122G,122c,131G,131d,131h,132G,132d,132h   3D图像数据产生功能
32b,52b,62b    非弹出侧z值转换处理功能
32c,32g  整个区域图像数据集中处理功能
32f,52f,62f    弹出侧z值转换处理功能
33    视差量调整LIT信号存储部
342D/3D 图像预处理部
82    弹出物体
83    景深物体
35a   左眼相机
35b   右眼相机
40    屏幕面(显示屏)
42,42’景深侧(z<0)物体
43,43’前侧(z≥0)物体
46a-46d,47a-47d,48a-48d,81a-81d,82a-82d,83a-83d,84a-84d,85a-85d,86a-86d,87a-87d,88a-88d,89a-89d,91a-91d,92a-92d,93a-93d景深图上的物体
46e,47e,48e,81e,82e,83e,84e,85e,86e,87e,88e,89e,91e,92e,93e    景深图上的背景
50    控制器
50B   x位置阈值设定部
51a   第一视点像素
51b   第二视点像素
51c   第三视点像素
51d   第四视点像素
52a   第一视点区域
52b   第二视点区域
52c   第三视点区域
52d   第四视点区域
51j,51k x轴阈值外图像数据处理功能
52e,52g,62c,62g    整个区域图像数据集中处理功能
52j,52k x轴阈值外z值转换处理功能
61j,61k,62a    2D图像数据处理功能
62A   图像修正控制功能
62b    3D图像数据处理功能
62j,62k  x轴阈值外z=0处理功能
71a,71f  灰度级值非转换处理功能
71b,71e  灰度级值转换处理功能
71c,71g  景深图像数据合成功能
71d,71h,71G,72c,72G,111c,111f,111G  3D 景深图像数据产生功能
72A    灰度级值修正控制功能
72a    灰度级值增加转换处理功能
72b    灰度级值减小转换处理功能
77     目标图像数据设定部
111a,111d    图像数据偏移处理功能
111b,111e,121b,122e    视差图像数据产生功能
111s    偏移图像产生功能
121a    根据LUT信号的视差量调整功能
122d    根据LUT信号和x轴坐标的视差量调整功能

Claims (42)

1.一种立体显示装置,包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块控制显示面板驱动部的动作和基于包括预先指定的景深信息的三维数据产生3D图像数据用于驱动显示面板,其中
立体图像产生模块设置有:检测图像分配部的温度的温度传感器;和数据存储部,该数据存储部存储关于在图像分配部和显示面板部都处于固定状态时图像分配部和显示面板部之间的有效线性膨胀系数差的信息、显示面板部的尺寸、单元像素的分辨率和参考温度,作为关于立体显示面板的固有立体观看区域的参数信息,并且
立体图像产生模块包括:变形量计算部,该变形量计算部计算参考温度和由温度传感器检测温度信息之间的温度差ΔT,并基于温度差ΔT和数据存储部中存储的信息计算由于图像分配部的周围环境温度的变化而变化的变形量,该变形量为收缩量或膨胀量;和主算术运算控制器,当由变形量计算部计算关于收缩或膨胀的变形量时,主算术运算控制器产生与变形量对应的3D图像数据,并将所产生的数据输出至显示面板驱动部用于驱动显示面板。
2.根据权利要求1所述的立体显示装置,其中
立体显示面板的图像分配部由双凸透镜片形成,在双凸透镜片中多个柱面透镜以相同的透镜间距平行地设置,所述柱面透镜是具有柱状表面的凸透镜。
3.根据权利要求2所述的立体显示装置,其中
偏振装置设置在显示面板部和图像分配部之间。
4.根据权利要求1、2或3所述的立体显示装置,其中
对于立体显示面板的使用环境温度从-20℃到60℃的变化范围,在构成立体显示面板的图像分配部和显示面板部都固定的状态下,图像分配部和显示面板部的有效线性膨胀系数差被设置为30ppm或更大。
5.根据权利要求1所述的立体显示装置,其中
立体图像产生模块包括:相机设置信息存储部,该相机设置信息存储部存储关于渲染处理的相机设置的预定设定位置参数作为第一相机设置A,该渲染处理被执行用于从所述三维数据获得所述3D图像数据;和温度差判断部,该温度差判断部进行关于检测温度和参考温度之间的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并根据包含景深信息的所述三维数据,判断是否处于需要对作为屏幕面的xy平面上的x轴上指定的视差量进行修正的温度环境,并且
主算术运算控制器包括3D图像数据产生功能,该3D图像数据产生功能在由温度差判断部判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,以在第一相机设置A的条件下对所述三维数据进行渲染处理,并产生和输出二维3D图像数据用于驱动显示面板,该二维3D图像数据具有所述视差量和所述三维数据的景深信息。
6.根据权利要求5所述的立体显示装置,其中
主算术运算控制器设置有修正环境判断部,该修正环境判断部在由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;并且
主算术运算控制器包括
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在由温度环境判断部判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以判断物体的景深在弹出侧是否位于z≥0的位置,并且当判断物体的景深位于z≥0的位置时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理,
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以判断物体的景深在非弹出侧是否位于z<0的位置,并且当判断物体的景深位于z<0的位置时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理,该第二相机设置B具有小于第一相机设置A的夹角的夹角,所述夹角形成在每个相机的光轴和z轴条件之间,
图像数据合成功能,该图像数据合成功能对分别在弹出侧图像数据处理功能和非弹出侧图像数据处理功能中被渲染处理过的图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
7.根据权利要求6所述的立体显示装置,其中
主算术运算控制器包括:
代替非弹出侧图像数据处理功能的非弹出侧z值转换处理功能,该非弹出侧z值转换处理功能以处于第一相机设置A的所述三维数据的景深坐标的z轴为参考、通过将小于“1”的修正系数α乘以z<0的三维数据而进行z值转换处理;和
代替弹出侧图像数据处理功能、非弹出侧图像数据处理功能和图像数据合成功能的整个区域集中图像数据处理功能,该整个区域集中图像数据处理功能基于相同的相机设置信息,对被执行z值转换的弹出侧三维数据和非弹出侧三维数据进行图像处理。
8.根据权利要求6所述的立体显示装置,其中
主算术运算控制器包括:
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT>0且图像分配部处于膨胀状态时运行,以判断物体的景深在非弹出侧是否位于z<0的位置,并且当判断物体的景深位于z<0的位置时,在第一相机设置A的条件下对z<0的三维数据进行渲染处理;
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT>0且图像分配部处于膨胀状态时运行,以判断物体的景深在非弹出侧是否位于z<0的位置,并且当判断物体的景深位于z≥0的位置时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理,该第三相机设置C具有大于第一相机设置A的相机之间的夹角的夹角;
图像数据合成功能,该图像数据合成功能对在三维数据处理功能,即,在非弹出侧图像数据处理功能和弹出侧图像数据处理功能中的每一个中被渲染处理过的图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
9.根据权利要求8所述的立体显示装置,其中
主算术运算控制器包括:
代替弹出侧图像数据处理功能的弹出侧z值转换处理功能,该弹出侧z值转换处理功能以处于第一相机设置A的所述三维数据的景深坐标的z轴为参考、通过将小于“1”的修正系数β乘以z≥0的三维数据而进行z值转换处理;和
代替非弹出侧图像数据处理功能、弹出侧图像数据处理功能和图像数据合成功能的整个区域集中图像数据处理功能,该整个区域集中图像数据处理功能基于相同的相机设置信息,对被执行z值转换的非弹出侧三维数据和弹出侧三维数据进行图像处理。
10.根据权利要求5-9中任一项所述的立体显示装置,其中:
主算术运算控制器设置有景深图像展开处理部,该景深图像展开处理部将发送到主算术运算控制器的物体的三维数据展开成二维图像信息的物体图像及其景深信息的景深图像;并且
景深图像展开处理部包括灰度级值指定功能,该灰度级值指定功能通过像素单元设置对应于用于所述三维数据的所述景深信息的灰度级值,并通过对应于在x轴上指定的二维图像信息的视差量指定所设定的灰度级值。
11.根据权利要求5所述的立体显示装置,其中
主算术运算控制器设置有:修正环境判断部,该修正环境判断部在由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;和x位置阈值设定部,该x位置阈值设定部设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的值变大而变小,并且
主算术运算控制器包括
x轴阈值外图像数据处理功能,该x轴阈值外图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以指定物体在x轴上的坐标位置x,并在第四相机设置D的条件下对满足|x|>|xth|的物体的三维数据进行渲染处理,在第四相机设置D中夹角被设置为窄于第一相机设置A的夹角,
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断景深位置z在弹出侧满足z≥0时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理,
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断景深位置z在非弹出侧满足z<0时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理,
图像数据合成功能,该图像数据合成功能对在x轴阈值外图像数据处理功能、弹出侧图像数据处理功能和非弹出侧图像数据处理功能中被渲染处理过的每个图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
12.根据权利要求11所述的立体显示装置,其中
主算术运算控制器包括:
x轴阈值外图像数据处理功能,该x轴阈值外图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT>0且处于膨胀状态时运行,以指定物体在x轴上的坐标位置x,并在第五相机设置E的条件下对被认为满足|x|>|xth|的物体的三维数据进行渲染处理,在第五相机设置E中夹角被设置为窄于第一相机设置A的夹角;
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在温度差ΔT为ΔT>0且被认为满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z<0,并且当判断为z<0时,在第一相机设置A的条件下对z<0的三维数据进行渲染处理,
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在温度差ΔT为ΔT>0且被认为满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理,
图像数据合成功能,该图像数据合成功能对在x轴阈值外图像数据处理功能、非弹出侧图像数据处理功能和弹出侧图像数据处理功能中被渲染处理过的每个图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
13.根据权利要求5所述的立体显示装置,其中
主算术运算控制器设置有x位置阈值设定部和修正环境判断部,x位置阈值设定部设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的值变大而变小,修正环境判断部在由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;并且
主算术运算控制器包括
2D图像数据处理功能,该2D图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以指定物体在x轴上的坐标位置x,并由重新沿着z轴放置的单个相机在二维相机设置的条件下对满足|x|>|xth|的物体的所述三维数据进行渲染处理,以代替物体的三维数据,
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理,
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断景深位置z在非弹出侧为z<0时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理,
图像数据合成功能,该图像数据合成功能对在2D图像数据处理功能、弹出侧图像数据处理功能和非弹出侧图像数据处理功能中被渲染处理过的每个图像数据分别进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
14.根据权利要求13所述的立体显示装置,其中
主算术运算控制器包括:
2D图像数据处理功能,该2D图像数据处理功能在由修正环境判断部判断温度差ΔT为ΔT>0且处于膨胀状态时运行,以指定物体在x轴上的坐标位置x,并由重新沿着z轴放置的单个相机在二维相机设置的条件下对满足|x|>|xth|的物体的所述三维数据进行渲染处理,以代替物体的三维数据;
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在温度差ΔT为ΔT>0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在非弹出侧是否位于z<0,并且当判断位于z<0时,立即运行以在第一相机设置A的条件下对三维数据进行渲染处理,
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在温度差ΔT为ΔT>0且满足|x|≤|xth|的情况中进一步判断物体的景深位置z在弹出侧是否位于z≥0,并且当判断位于z≥0时,在第三相机设置C的条件下对z≥0的三维数据进行渲染处理;
图像数据合成功能,该图像数据合成功能对在2D图像数据处理功能、非弹出侧图像数据处理功能和弹出侧图像数据处理功能中被渲染处理过的每个图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
15.根据权利要求5所述的立体显示装置,其中
主算术运算控制器设置有x位置阈值设定部,该x位置阈值设定部在由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的绝对值的值变大而变小;并且
主算术运算控制器包括
2D图像数据处理功能,该2D图像数据处理功能指定物体在x轴上的坐标位置x,并由重新沿着z轴放置的单个相机在二维相机设置的条件下对满足|x|>|xth|的物体的所述三维数据进行渲染处理,以代替三维数据,
3D图像数据处理功能,对于x轴上的坐标位置x满足|x|≤|xth|的物体,该3D图像数据处理功能立即运行以在第一相机设置A的条件下对物体的所述三维数据进行渲染处理,
图像数据合成功能,该图像数据合成功能对在2D图像数据处理功能和3D图像数据处理功能中被渲染处理过的每个图像数据进行合成处理,和
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出3D图像数据用于驱动显示面板。
16.根据权利要求1所述的立体显示装置,其中
立体图像产生模块包括:目标图像数据设定部,该目标图像数据设定部将景深图预先存储在数据存储部中,景深图是被渲染处理过的3D图像;和温度差判断部,该温度差判断部进行关于来自温度传感器的检测温度和参考温度之间的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要对每个物体在作为屏幕面的xy平面上的x轴上指定的视差量进行修正的温度环境,用于显示包含作为景深信息的z轴信息的景深图,并且
主算术运算控制器包括3D图像数据产生功能,该3D图像数据产生功能在由温度差判断部判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,以输出具有对应于三维数据的视差量的景深信息的二维3D图像数据,用于驱动显示面板,该三维数据实际上为数据存储部中存储的图像数据。
17.根据权利要求16所述的立体显示装置,其中
主算术运算控制器设置有修正环境判断部,该修正环境判断部在由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;并且
主算术运算控制器包括
灰度级值非转换处理功能,该灰度级值非转换处理功能在由修正环境判断部判断温度差ΔT为ΔT>0为图像分配部处于膨胀状态时运行,以判断物体的景深在非弹出侧是否位于z<0的位置以及其景深灰度级是否等于或小于整体灰度级的中间值,并且当判断物体的景深在非弹出侧位于z<0的位置且景深灰度级等于或小于整体灰度级的中间值时,保持物体的景深而不进行灰度级转换,
灰度级值转换处理功能,该灰度级值转换处理功能在由修正环境判断部判断温度差ΔT为ΔT>0为图像分配部处于膨胀状态时运行,以判断物体的景深在弹出侧是否位于z<0的位置以及其景深灰度级是否等于或小于整体灰度级的中间值,并且当判断物体的景深位于z≥0的位置且景深灰度级等于或大于整体灰度级的中间值时,通过第二灰度级转换进行灰度级转换并保持,采用第二灰度级转换能够获得比初始景深信息小的灰度级值,
景深图像数据合成功能,该景深图像数据合成功能对分别地由灰度级值非转换保持功能和灰度级值转换处理功能保持的景深图像数据进行合成处理,
3D图像数据产生功能,该3D图像数据产生功能基于合成处理过的图像数据产生和输出二维3D图像数据用于驱动显示面板。
18.根据权利要求1所述的立体显示装置,其中
立体图像产生模块包括:
目标图像数据设定部,该目标图像数据设定部将用于右眼和左眼的一对视差图像数据A输入和累积至数据存储部,该一对视差图像数据A预先渲染处理过或由立体相机捕获,用于产生3D图像数据,和温度差判断部,该温度差判断部单独地进行关于每个视差图像数据A的来自温度传感器的检测温度相对于参考温度的绝对值的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要为每个物体在作为用于显示的屏幕面的xy平面上的x轴上指定的视差量进行修正的温度环境;和
3D图像数据产生功能,该3D图像数据产生功能在由温度差判断部判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,以基于数据存储部中存储的该对视差图像数据A产生和输出3D图像数据用于驱动显示面板。
19.根据权利要求18所述的立体显示装置,其中
主算术运算控制器设置有:修正环境判断部,该修正环境判断部在由温度差判断部判断关于视差图像数据A的温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;
主算术运算控制器包括偏移图像产生部,该偏移图像产生部在由修正环境判断部判断关于视差图像数据A的温度差ΔT为ΔT>0且图像分配部处于膨胀状态时运行,以通过对视差图像数据A进行第二视差偏移处理而产生视差图像数据C;
主算术运算控制器的3D图像数据产生功能基于由偏移图像产生部产生的视差图像数据C产生和输出二维3D图像数据;并且
偏移图像产生部包括图像数据偏移处理功能和视差图像数据产生功能,该图像数据偏移处理功能进行偏移处理,用于分别地将视差图像数据A内的左眼图像数据向右侧方向移动指定偏移量和将右眼图像数据向左侧方向移动指定偏移量,视差图像数据产生功能通过将通过执行各自的偏移处理获得的图像数据叠加至还未经过偏移处理的对应图像数据而产生视差图像数据C。
20.根据权利要求1所述的立体显示装置,其中
立体图像产生模块包括:
相机设置信息存储部,该相机设置信息存储部存储渲染处理的相机设置作为第一相机设置A,该渲染处理被执行用于从所述三维数据获得3D图像数据,在第一相机设置A中预先指定设定位置参数,
目标图像数据设定部,该目标图像数据设定部将具有景深信息的图像数据或具有视差信息的图像数据存储至数据存储部,
温度差判断部,该温度差判断部进行关于检测温度和参考温度之间的温度差ΔT的绝对值是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并根据包含景深信息的图像数据或具有视差信息的图像数据判断是否处于需要对作为屏幕面的xy平面上的x轴上指定的视差量进行修正的温度环境,和
视差量调整LUT信号存储部,该视差量调整LUT信号存储部累积用于视差量修正处理的LUT信号,该LUT信号对应于由温度传感器检测到的温度;并且
主算术运算控制器包括
视差量调整功能,该视差量调整功能在由温度差判断部判断关于视差图像数据A的温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以根据对应于由温度传感器检测到的温度的视差调整LUT信号调整二维图像信息的视差量,
根据修正后的视差量产生视差图像的功能,和
产生3D图像数据的功能,产生3D图像数据的功能基于所产生的视差图像产生和输出3D图像数据用于驱动显示面板。
21.根据权利要求18所述的立体显示装置,其中
视差量调整功能是进行调整以根据显示屏内的位置改变修正值的功能。
22.根据权利要求1-21中任一项所述的立体显示装置,其中:
立体图像产生模块设置有2D/3D图像处理部,2D/3D图像预处理部计算2D背景和3D物体之间的对比度差;并且
主算术运算控制器包括3D图像产生功能,该3D图像产生功能通过根据ΔT和2D/3D对比度差进行指定视差量修正处理而产生和输出3D图像数据用于驱动显示面板。
23.一种用于立体显示装置的立体显示图像数据产生方法,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于包括预先指定的景深信息的三维数据产生3D图像数据用于驱动显示面板,其中:
预先设置至立体图像产生模块的温度传感器检测图像分配部的温度,并且预先设置至主算术运算控制器的变形量计算部计算图像分配部的检测温度和预先设定的参考温度之间的温度差ΔT;
预先设置至主算术运算控制器的温度差判断部将计算出的温度差ΔT的绝对值和预先单独设定的参考值ΔTth的绝对值进行比较,并且在|ΔT|>|ΔTth|的情况中,判断需要对3D图像数据进行关于x轴上指定的视差量的修正;
主算术运算控制器实际上在通过修正必要性的判断判断为|ΔT|≤|ΔTth|且修正不必要时对三维数据进行渲染处理;并且
主算术运算控制器基于渲染处理过的视差图像产生3D图像数据用于驱动显示面板。
24.根据权利要求23所述的立体显示图像数据产生方法,其中:
当通过修正必要性的判断判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对视差量进行修正的温度环境时,设置至主算术运算控制器的修正环境判断部判断图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态;
当修正环境判断部判断ΔT为ΔT<0且图像分配部处于收缩状态时,主算术运算控制器判断物体的景深在弹出侧是否位于z≥0的位置,并且当判断物体的景深在弹出侧位于z≥0的位置时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理以形成弹出侧图像数据;
当判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时,主算术运算控制器进一步判断物体的景深在非弹出侧是否位于z<0的位置,并且当判断位于z<0的位置时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理以形成非弹出侧图像数据,第二相机设置B具有小于第一相机设置A的夹角的夹角,所述夹角形成每个相机的光轴和z轴条件之间;并且
主算术运算控制器,对所形成的非弹出侧图像数据和弹出侧图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
25.根据权利要求23所述的立体显示图像数据产生方法,其中:
当通过修正必要性判断步骤判断温度差ΔT为|ΔT|>|ΔTth|并且处于需要对所述视差量进行修正的温度环境时,主算术运算控制器设置x轴上的阈值xth,使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将x位置阈值xth设置为随着ΔT的值变大而变小;
在设置x位置阈值之后,设置至主算术运算控制器的修正环境判断部判断图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态;
当通过修正环境的判断判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时,主算术运算控制器立即运行,以指定物体在x轴上的坐标位置x,并执行x轴阈值外图像数据处理,该x轴阈值外图像数据处理在第四相机设置D的条件下对满足|x|>|xth|的物体的三维数据进行渲染处理,在第四相机设置D中夹角被设置为窄于第一相机设置A的夹角,
对于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,主算术运算控制器执行弹出侧图像数据处理,该弹出侧图像数据处理判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,立即运行以在第一相机设置A的条件下对物体的三维数据进行渲染处理;
对于其中在修正环境的判断中判断温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,主算术运算控制器执行非弹出侧图像数据处理,该非弹出侧图像数据处理进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,立即运行以在第二相机设置B的条件下对物体的三维数据进行渲染处理;并且
随后,主算术运算控制器对在x轴阈值外图像数据处理、弹出侧图像数据处理和非弹出侧图像数据处理中被渲染处理过的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
26.根据权利要求23所述的立体显示图像数据产生方法,其中:
当通过修正必要性判断步骤判断温度差ΔT为|ΔT|>|ΔTth|并且处于需要对所述视差量进行修正的温度环境时,主算术运算控制器设置x轴上的阈值xth,使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的绝对值变大而变小;
在执行该x位置阈值设定步骤之后,修正环境判断部判断图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态;
当在执行修正环境判断之后通过修正环境判断步骤判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时,主算术运算控制器指定物体在x轴上的坐标位置x并执行2D图像数据处理,该2D图像数据处理通过重新沿着z轴放置的单个相机在二维相机设置的条件下进行关于满足|x|>|xth|的物体的所述三维数据的渲染处理,以代替三维数据;
对于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,主算术运算控制器进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时,立即运行以执行弹出侧图像数据处理,该弹出侧图像数据处理在第一相机设置A的条件下对z≥0的三维数据进行渲染处理;
对于其中温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,主算术运算控制器进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,立即运行以执行非弹出侧图像数据处理,该非弹出侧图像数据处理在第二相机设置B的条件下对z<0的三维数据进行渲染处理;并且
随后,主算术运算控制器对在2D图像数据处理、弹出侧图像数据处理和非弹出侧图像数据处理中被渲染处理过的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
27.根据权利要求23所述的立体显示图像数据产生方法,其中:
当通过修正必要性判断步骤判断温度差ΔT为|ΔT|>|ΔTth|并且处于需要对所述视差量进行修正的温度环境时,主算术运算控制器设置x轴上的阈值xth,使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的绝对值变大而变小;
主算术运算控制器指定物体在x轴上的坐标位置x并执行2D图像数据处理,该2D图像数据处理通过重新沿着z轴放置的单个相机在二维相机设置的条件下进行关于满足|x|>|xth|的物体的所述三维数据的渲染处理,以代替三维数据;
对于其中x轴上的坐标位置x满足|x|≤|xth|的物体,主算术运算控制器立即运行以执行3D图像数据处理,该3D图像数据处理在第一相机设置A的条件下进行关于三维数据的渲染处理;并且
随后,主算术运算控制器对在2D图像数据处理和3D图像数据处理被渲染处理过的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
28.一种用于立体显示装置的立体显示图像数据产生方法,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于包括预先指定的景深信息的景深图产生3D图像数据用于驱动显示面板,其中:
当产生3D图像数据时,温度传感器预先测量显示面板部的温度,并且预先设置至主算术运算控制器的变形量计算部基于测量值计算相对于预先设定的参考温度的温度差ΔT;
随后,通过预先对三维数据进行渲染处理获得的景深图存储至数据存储部作为3D图像数据;
预先设置的温度差判断部将计算出的温度差ΔT的绝对值与预先单独设置的参考值ΔTth的绝对值进行比较,并且在判断修正必要性时在|ΔT|≥|ΔTth|的情况中,判断需要进行关于对应于3D图像数据的视差量的景深灰度级的修正;并且
当在修正必要性判断步骤中判断温度差ΔT为|ΔT|<|ΔTth|且处于不需要对所述视差量进行修正的温度环境时,数据存储部中存储的景深图作为二维3D图像数据输出。
29.一种用于立体显示装置的立体显示图像数据产生方法,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于用于右眼和左眼的预先渲染处理的或由立体相机捕获的一对视差图像产生3D图像数据用于驱动显示面板,其中:
当输入用于右眼和左眼的预先渲染处理的视差图像数据A时,主算术运算控制器将视差图像数据A累积至数据存储部,用于产生3D图像数据;
随后,设置至主算术运算控制器的变形量计算部基于在收集视差图像数据A时由温度传感器测量的图像分配部的温度计算相对于预先设定的参考温度的温度差|ΔT|;
设置至主算术运算控制器的温度差判断部单独地进行关于温度差计算步骤中计算的温度差|ΔT|是否等于或小于预先设定的参考值|ΔTth|的算术运算,并判断是否处于需要为每个物体在作为显示面的xy平面上的x轴上指定的视差量进行修正的温度环境;并且
当由温度差判断部判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时,主算术运算控制器基于数据存储部中存储的一对视差图像数据A产生并输出二维3D图像数据用于驱动显示面板,该二维3D图像数据具有对应于所述视差量的景深信息。
30.一种用于立体显示装置的立体显示图像数据产生方法,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于具有景深信息的图像数据或具有视差信息的图像数据产生3D图像数据用于驱动显示面板,其中:
当输入具有景深信息的图像数据或具有视差信息的图像数据时,主算术运算控制器将所述图像数据累积至预先设置的数据存储部,用于产生3D图像数据,并累积LUT信号用于进行对应于检测到的温度的视差量修正处理;
随后,设置至主算术运算控制器的变形量计算部基于由温度传感器测量的图像分配部的温度计算相对于预先设定的参考温度的温度差|ΔT|;
设置至主算术运算控制器的温度差判断部单独地进行关于温度差计算步骤中计算的温度差|ΔT|是否等于或小于预先设定的参考值|ΔTth|的算术运算,并判断是否处于需要为每个物体在作为显示面的xy平面上的x轴上指定的视差量进行修正的温度环境;并且
当由温度差判断部判断温度差ΔT为|ΔT|>|ΔTth|并且处于需要对所述视差量进行修正的温度环境时,主算术运算控制器通过进行视差量调整处理产生和输出3D图像数据用于驱动显示面板,该视差量调整处理基于LUT信号修正来自数据存储部中存储的具有景深信息的图像数据或具有视差信息的图像数据的视差量。
31.根据权利要求29所述的立体显示图像数据产生方法,其中:
视差量调整处理是执行调整以根据显示屏内的位置改变修正值的处理。
32.根据权利要求23-31中任一项所述的立体显示图像数据产生方法,其中:
通过根据ΔT以及2D背景和3D物体之间的对比度差进行指定视差量修正处理而产生和输出3D图像数据用于驱动显示面板。
33.一种用于立体显示装置的立体显示图像数据产生程序,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于包括预先指定的景深信息的三维数据产生用于驱动显示面板的3D图像数据,所述程序使得计算机执行:
温度差计算功能,当从预先设置至图像分配部的温度传感器输入图像分配部的温度时,该温度差计算功能单独计算相对于预先设定的参考温度的温度差ΔT;
修正必要性判断功能,该修正必要性判断功能比较计算出的温度差ΔT的绝对值和单独地预先设定的参考值ΔTth的绝对值,在|ΔT|>|ΔTth|的情况中判断需要对3D图像数据进行关于x轴上指定的视差量的修正,并在|ΔT|≤|ΔTth|的情况中判断不需要进行关于视差量的修正;
图像处理功能,当通过修正必要性判断功能判断为|ΔT|≤|ΔTth|且所述修正不必要时对所述三维数据进行渲染处理;和
3D图像数据产生功能,该3D图像数据产生功能基于渲染处理过的视差图像产生3D图像数据用于驱动显示面板。
34.根据权利要求33所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行:
修正环境判断功能,该修正环境判断功能通过修正必要性判断处理功能判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以进行图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态的判断;
弹出侧图像数据处理功能,该弹出侧图像数据处理功能在通过修正环境判断功能判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以判断物体的景深在弹出侧是否位于z≥0的位置,并且当判断物体的景深位于z≥0的位置时,在第一相机设置A的条件下对z≥0的三维数据进行渲染处理;
非弹出侧图像数据处理功能,该非弹出侧图像数据处理功能在通过修正环境判断功能判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以判断物体的景深在非弹出侧是否位于z<0的位置,并且当判断物体的景深位于z<0的位置时,在第二相机设置B的条件下对z<0的三维数据进行渲染处理,该第二相机设置B具有小于第一相机设置A的夹角的夹角,所述夹角形成在每个相机的光轴和z轴条件之间;以及
3D图像数据产生功能,该3D图像数据产生功能对分别通过非弹出侧图像数据处理功能和弹出侧图像数据处理功能渲染处理过的图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
35.根据权利要求33所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行:
x位置阈值设定功能,该x位置阈值设定功能在通过修正必要性判断处理功能判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的值变大而变小;
修正环境判断功能,该修正环境判断功能通过修正环境判断部判断图像分配部是处于呈现收缩状态的ΔT<0的状态还是处于呈现膨胀状态的ΔT>0的状态;
x阈值外图像数据处理功能,该x阈值外图像数据处理功能在通过修正环境判断功能判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以指定物体在x轴上的坐标位置x,并在第四相机设置D的条件下对满足|x|>|xth|的物体的三维数据进行渲染处理,在第四相机设置D中夹角被设置为窄于第一相机设置A的夹角;
弹出侧图像数据处理功能,对于温度差ΔT为ΔT<0且满足|x|>|xth|的情况中的物体,该弹出侧图像数据处理功能进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z≥0时运行,在第一相机设置A的条件下基于z≥0的三维数据进行渲染处理;
非弹出侧图像数据处理功能,对于在温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,该非弹出侧图像数据处理功能进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断为z<0时,在第二相机设置B的条件下基于z<0的三维数据立刻进行渲染处理;和
3D图像数据产生功能,该3D图像数据产生功能对通过x轴阈值外图像数据处理功能、弹出侧图像数据处理功能和非弹出侧图像数据处理功能渲染处理的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
36.根据权利要求33所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行:
修正环境判断功能,该修正环境判断功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以通过修正环境判断部判断图像分配部是处于呈现收缩状态的ΔT≤0的状态还是处于呈现膨胀状态的ΔT>0的状态;
x位置阈值设定功能,该x位置阈值设定功能通过修正环境判断功能设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的值变大而变小;
2D图像数据处理功能,该2D图像数据处理功能在通过修正环境判断功能判断温度差ΔT为ΔT<0且图像分配部处于收缩状态时运行,以指定物体在x轴上的坐标位置x,并且对于满足|x|>|xth|的物体,在二维相机设置的条件下进行关于三维数据的渲染处理,以代替三维数据,该二维相机设置等同于沿着z轴放置的单个相机的情况;
弹出侧图像数据处理功能,对于通过修正环境判断功能判断温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,该弹出侧图像数据处理功能进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断物体的景深位置z在弹出侧为z≥0时,立即运行以在第一相机设置A的条件下对z≥0的三维数据进行渲染处理;
非弹出侧图像数据处理功能,对于通过修正环境判断处理功能判断温度差ΔT为ΔT<0且满足|x|≤|xth|的情况中的物体,该非弹出侧图像数据处理功能进一步判断物体的景深位置z在弹出侧是否为z≥0,并且当判断物体的景深位置z为z<0时,立即运行以在第二相机设置B的条件下对z<0的三维数据进行渲染处理;和
3D图像数据产生功能,该3D图像数据产生功能对通过2D图像数据处理步骤、弹出侧图像数据处理步骤和非弹出侧图像数据处理步骤中渲染处理的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
37.根据权利要求33所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行:
x位置阈值设定功能,该x位置阈值设定功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以设置x轴上的阈值xth,用于使得能够确保根据温度差ΔT的大小变化的立体观看区域,并将阈值xth设置为随着ΔT的值变大而变小;
2D图像数据处理功能,该2D图像数据处理功能指定物体在x轴上的坐标位置x,并且对于满足|x|>|xth|的物体,由重新沿着z轴放置的单个相机在二维相机设置的条件下进行关于所述三维数据的渲染处理,以代替三维数据;
3D图像数据处理功能,对于x轴上的坐标位置x满足|x|≤|xth|的物体,该3D图像数据处理功能立即运行,以在第一相机设置A的条件下进行关于所述三维数据的渲染处理;和
3D图像数据产生功能,该3D图像数据产生功能对在2D图像数据处理功能和3D图像数据处理功能中被渲染处理过的每个图像数据进行合成处理,并由此产生3D图像数据用于驱动显示面板。
38.一种用于立体显示装置的立体显示图像数据产生程序,该立体显示装置包括:立体显示面板,该立体显示面板包括电光元件和图像分配部,电光元件由多个单元像素构成,图像分配部用于向外部分配和输出从电光元件输出的视觉识别3D图像数据作为视觉识别立体图像信息;驱动立体显示面板的显示面板驱动部;和立体图像产生模块,该立体图像产生模块控制显示面板驱动部的动作和基于单独捕获的包含景深信息的景深图产生3D图像数据用于驱动显示面板,该程序使得计算机执行:
温度差计算功能,当产生3D图像数据时,该温度差计算功能基于由温度传感器侧测量的立体显示面板部的温度计算相对于预先设定的参考温度的温度差ΔT;
景深图信息指定功能,该景深图信息指定功能将通过预先对三维数据进行渲染处理获得的景深图存储至存储器作为3D图像数据;
修正必要性判断功能,该修正必要性判断功能将计算出的温度差ΔT的绝对值与预先设定的参考值ΔTth的绝对值进行比较,并且在|ΔT|>|ΔTth|的情况中,判断需要进行关于对应于3D图像数据的视差量的景深灰度级的修正;和
3D图像数据产生功能,该3D图像数据产生功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时输出存储器中存储的景深图作为二维3D图像数据。
39.一种用于立体显示装置的立体显示图像数据产生程序,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部根据3D图像数据驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于用于右眼和左眼的预先渲染处理的或由立体相机捕获的一对视差图像产生3D图像数据用于驱动显示面板,所述程序使得计算机执行:
目标图像数据设定功能,该目标图像数据设定功能通过立体图像产生模块输入用于右眼和左眼的预先渲染处理的该对视差图像数据A,用于产生3D图像数据,并将3D图像数据累积至预先设置的数据存储部;
温度差计算功能,该温度差计算功能基于在收集视差图像数据A时由温度传感器测量的图像分配部的温度的测量值计算相对于预先设定的参考温度的温度差ΔT;
修正必要性判断功能,该修正必要性判断功能单独地进行关于通过温度差计算功能计算的温度差ΔT是否等于或小于预先设定的参考值ΔTth的绝对值的算术运算,并判断是否处于需要为在xy平面上的x轴上指定的每个物体的视差量进行修正的温度环境,该xy平面为作为显示面的屏幕面,包含作为景深信息的z轴信息;和
3D图像数据产生功能,该3D图像数据产生功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|≤|ΔTth|且处于不需要对所述视差量进行修正的温度环境时运行,以基于数据存储部中存储的该对视差图像数据A产生和输出二维3D图像数据用于驱动显示面板,该二维3D图像数据具有对应于所述视差量的景深信息。
40.一种用于立体显示装置的立体显示图像数据产生程序,该立体显示装置包括:立体显示面板,该立体显示面板包括显示面板部以及图像分配部,显示面板部具有多个单元像素,图像分配部用于向外部分配和输出从显示面板部发送出的视觉识别图像数据作为视觉识别立体图像信息;显示面板驱动部,该显示面板驱动部驱动立体显示面板的显示面板部;和立体图像产生模块,该立体图像产生模块包括主算术运算控制器,主算术运算控制器控制显示面板驱动部的动作和基于具有景深信息的图像数据或具有视差信息的图像数据产生3D图像数据用于驱动显示面板,所述程序使得计算机执行:
目标图像数据设定功能,当输入具有景深信息的图像数据或具有视差信息的图像数据时,该目标图像数据设定功能通过主算术运算控制器将所述图像数据累积至预先设置的数据存储部;
视差量调整LUT信号存储功能,该视差量调整LUT信号存储功能累积LUT信号用于进行对应于检测到的温度的视差量修正处理;
温度差计算功能,该温度差计算功能基于由温度传感器测量的图像分配部的温度计算相对于预先设定的参考温度的温度差ΔT;
修正必要性判断功能,该修正必要性判断功能单独地进行关于在温度差计算步骤中计算的温度差|ΔT|是否等于或小于预先设定的参考值|ΔTth|的算术运算,并判断是否处于需要为每个物体在作为显示面的xy平面上的x轴上指定的视差量进行修正的温度环境;和
3D图像数据产生功能,该3D图像数据产生功能在通过修正必要性判断功能判断温度差ΔT为|ΔT|>|ΔTth|且处于需要对所述视差量进行修正的温度环境时运行,以通过对来自数据存储部中存储的具有景深信息的图像数据或具有视差信息的图像数据的视差量进行视差量调整处理以基于LUT信号修正所述视差量,产生和输出3D图像数据用于驱动显示面板。
41.根据权利要求40所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行视差量调整处理,以通过根据显示屏内的位置改变修正值而执行调整。
42.根据权利要求33-41中任一项所述的立体显示图像数据产生程序,该立体显示图像数据产生程序使得计算机执行视差量调整处理,以通过根据ΔT以及2D背景和3D物体之间的对比度差进行指定视差量修正处理,产生和输出3D图像数据用于驱动显示面板。
CN201080054674.XA 2009-12-04 2010-12-03 立体显示装置、用于产生用于立体显示的图像数据的方法 Active CN102725789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-276439 2009-12-04
JP2009276439 2009-12-04
PCT/JP2010/071708 WO2011068210A1 (ja) 2009-12-04 2010-12-03 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム

Publications (2)

Publication Number Publication Date
CN102725789A true CN102725789A (zh) 2012-10-10
CN102725789B CN102725789B (zh) 2015-08-05

Family

ID=44115055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080054674.XA Active CN102725789B (zh) 2009-12-04 2010-12-03 立体显示装置、用于产生用于立体显示的图像数据的方法

Country Status (5)

Country Link
US (1) US9204133B2 (zh)
EP (1) EP2509065B1 (zh)
JP (1) JP5761522B2 (zh)
CN (1) CN102725789B (zh)
WO (1) WO2011068210A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314778A (zh) * 2016-06-06 2019-02-05 微软技术许可有限责任公司 自校准显示系统
CN109999491A (zh) * 2013-06-07 2019-07-12 索尼电脑娱乐公司 在头戴式显示器上渲染图像的方法和计算机可读存储介质
CN112639394A (zh) * 2018-08-21 2021-04-09 瓦锡兰芬兰有限公司 滑动轴承紧余量高度测量方法和装置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124877B1 (en) * 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
US10499029B2 (en) 2007-01-09 2019-12-03 Capso Vision Inc Methods to compensate manufacturing variations and design imperfections in a display device
JP5720684B2 (ja) * 2010-07-23 2015-05-20 日本電気株式会社 立体表示装置及び立体表示方法
KR101282957B1 (ko) * 2010-10-29 2013-07-08 엘지디스플레이 주식회사 입체 디스플레이의 광학 측정 장치 및 방법
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
WO2012176944A1 (ko) * 2011-06-22 2012-12-27 동국대학교 경주캠퍼스 산학협력단 신뢰성 있는 금속 표면 3차원 형상 추출 기법 및 시스템
US8937646B1 (en) 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
JP2013172292A (ja) * 2012-02-21 2013-09-02 Sony Corp 撮像装置及び撮像素子アレイ
WO2013190814A1 (ja) * 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
EP2699006A1 (en) * 2012-08-16 2014-02-19 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Pictures positioning on display elements
CN104641624B (zh) * 2012-09-19 2017-11-28 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2014045740A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN103018996A (zh) * 2012-11-27 2013-04-03 京东方科技集团股份有限公司 一种3d显示装置及其驱动方法
JP2014110568A (ja) * 2012-12-03 2014-06-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9405124B2 (en) * 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
KR102232621B1 (ko) * 2013-07-30 2021-03-29 삼성디스플레이 주식회사 광 테라피 표시 장치
KR102148206B1 (ko) * 2013-11-26 2020-08-27 삼성디스플레이 주식회사 입체영상표시장치와 이의 구동방법
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
KR102175813B1 (ko) * 2014-04-18 2020-11-09 삼성디스플레이 주식회사 입체 영상 표시 장치 및 영상 처리 방법
KR101954263B1 (ko) * 2014-06-11 2019-05-31 삼성전자주식회사 디스플레이 장치 및 그의 다시점 영상 제공 방법
US9696210B2 (en) 2014-06-16 2017-07-04 Honeywell International Inc. Extended temperature range mapping process of a furnace enclosure using various device settings
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
WO2016175037A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 装飾装置
US9609242B2 (en) * 2015-06-25 2017-03-28 Intel Corporation Auto-correction of depth-sensing camera data for planar target surfaces
EP3135189A1 (en) * 2015-08-25 2017-03-01 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a display device
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
CN108076338B (zh) 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
KR102607397B1 (ko) * 2016-12-06 2023-11-28 삼성디스플레이 주식회사 표시 장치의 전원 제어 회로
GB2561152B (en) * 2017-03-21 2021-01-13 Advanced Risc Mach Ltd Data processing systems
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
US10619107B2 (en) 2017-06-22 2020-04-14 Honeywell International Inc. Heater coil
CN107730561B (zh) * 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
CN110390681B (zh) * 2019-07-17 2023-04-11 海伯森技术(深圳)有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置
JP7338369B2 (ja) * 2019-09-27 2023-09-05 富士通株式会社 環境地図調整値算出方法および環境地図調整値算出プログラム
JP2023539835A (ja) * 2020-08-18 2023-09-20 アップル インコーポレイテッド ディスプレイにおける境界平滑化
WO2022060387A1 (en) * 2020-09-21 2022-03-24 Leia Inc. Multiview display system and method with adaptive background
CN112235561B (zh) * 2020-10-16 2022-07-22 深圳市时代华影科技股份有限公司 Led显示屏、显示方法及装置、计算机可读存储介质
CN112927619B (zh) * 2021-01-29 2022-08-30 厦门天马微电子有限公司 一种滑卷显示装置
EP4212946A1 (en) * 2022-01-12 2023-07-19 Samsung Electronics Co., Ltd. Device and method to calibrate parallax optical element for temperature change

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097502A1 (en) * 2005-10-27 2007-05-03 Lenny Lipton Temperature compensation for the differential expansion of an autostereoscopic lenticular array and display srceen
US20070109401A1 (en) * 2005-11-14 2007-05-17 Real D Monitor with integral interdigitation
JP2009157301A (ja) * 2007-12-28 2009-07-16 Seiko Epson Corp 電気光学装置
CN101554060A (zh) * 2006-09-07 2009-10-07 株式会社东芝 三维图像显示装置和三维图像显示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189883A (ja) * 1996-01-08 1997-07-22 Canon Inc 立体ディスプレイ
JP3816813B2 (ja) 2002-02-18 2006-08-30 富士写真フイルム株式会社 表示装置
GB2398130A (en) * 2003-02-05 2004-08-11 Ocuity Ltd Switchable active lens for display apparatus
JP2005189864A (ja) 2005-01-17 2005-07-14 Konica Minolta Holdings Inc 3次元画像表示装置
JP2006184900A (ja) 2005-12-12 2006-07-13 Fujitsu Ten Ltd マルチビュー表示装置
JP2009016384A (ja) 2007-06-29 2009-01-22 Sony Corp 照明装置の制御方法、及び、液晶表示装置組立体の駆動方法
JP2009276439A (ja) 2008-05-13 2009-11-26 Konica Minolta Business Technologies Inc 画像形成装置
JP5408099B2 (ja) 2010-10-07 2014-02-05 株式会社Jvcケンウッド 裸眼立体ディスプレイ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097502A1 (en) * 2005-10-27 2007-05-03 Lenny Lipton Temperature compensation for the differential expansion of an autostereoscopic lenticular array and display srceen
US20070109401A1 (en) * 2005-11-14 2007-05-17 Real D Monitor with integral interdigitation
CN101554060A (zh) * 2006-09-07 2009-10-07 株式会社东芝 三维图像显示装置和三维图像显示方法
JP2009157301A (ja) * 2007-12-28 2009-07-16 Seiko Epson Corp 電気光学装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109999491A (zh) * 2013-06-07 2019-07-12 索尼电脑娱乐公司 在头戴式显示器上渲染图像的方法和计算机可读存储介质
CN109999491B (zh) * 2013-06-07 2023-06-30 索尼电脑娱乐公司 在头戴式显示器上渲染图像的方法和计算机可读存储介质
CN109314778A (zh) * 2016-06-06 2019-02-05 微软技术许可有限责任公司 自校准显示系统
CN112639394A (zh) * 2018-08-21 2021-04-09 瓦锡兰芬兰有限公司 滑动轴承紧余量高度测量方法和装置

Also Published As

Publication number Publication date
WO2011068210A1 (ja) 2011-06-09
JPWO2011068210A1 (ja) 2013-04-18
EP2509065A4 (en) 2014-05-07
EP2509065B1 (en) 2016-11-23
US9204133B2 (en) 2015-12-01
EP2509065A1 (en) 2012-10-10
US20120257018A1 (en) 2012-10-11
CN102725789B (zh) 2015-08-05
JP5761522B2 (ja) 2015-08-12

Similar Documents

Publication Publication Date Title
CN102725789B (zh) 立体显示装置、用于产生用于立体显示的图像数据的方法
CN100515097C (zh) 显示三维图像的显示装置和显示三维图像的显示方法
CN103595987B (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN103984110B (zh) 多视域显示器
KR101497511B1 (ko) 평면 영상과 입체 영상을 동시에 표현하는 영상 표시 장치
CN104519344A (zh) 多视图图像显示设备及其控制方法
US20160021367A1 (en) Curved multi-view image display apparatus and control method thereof
KR102617948B1 (ko) 가상 및 증강 현실 시스템들 및 컴포넌트들을 위한 개선된 제조
EP2597880B1 (en) 3D display system
CN104469341A (zh) 显示装置及其控制方法
CN107430284A (zh) 具有改进的衍射光栅结构的虚拟和增强现实系统和方法
US20190353915A1 (en) Liquid crystal grating, 3d display device and driving method thereof
CN103838033B (zh) 包括线光源的显示装置及其驱动方法
CN103002303A (zh) 立体图像显示装置及其驱动方法
CN102625114A (zh) 显示3d图像的方法和设备以及区分3d图像的设备和方法
KR20070073807A (ko) 3차원 이미징에 적합한 복합 듀얼 lcd 패널 디스플레이
CN102726050A (zh) 显示三维图像的方法及设备
EP2296029A1 (en) Spatial image display apparatus
CN102957926A (zh) 三维图像显示装置及其驱动方法
KR20130037389A (ko) 3차원 영상표시장치 및 이것에서 수행되는 3차원 영상표시 방법
Wang et al. Demonstration of a low-crosstalk super multi-view light field display with natural depth cues and smooth motion parallax
US10412375B2 (en) Display device, electronic apparatus, and method for controlling display device
CN105372823A (zh) 立体显示装置
Li et al. Adaptive glasses-free 3D display with extended continuous viewing volume by dynamically configured directional backlight
KR102208308B1 (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant