CN105556373A - 图像显示装置、图像处理装置和图像处理方法 - Google Patents

图像显示装置、图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN105556373A
CN105556373A CN201480045476.5A CN201480045476A CN105556373A CN 105556373 A CN105556373 A CN 105556373A CN 201480045476 A CN201480045476 A CN 201480045476A CN 105556373 A CN105556373 A CN 105556373A
Authority
CN
China
Prior art keywords
image
conversion
display
input picture
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480045476.5A
Other languages
English (en)
Inventor
小林直树
加治洋祐
高桥巨成
广田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105556373A publication Critical patent/CN105556373A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T3/10
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/06Curved planar reformation of 3D line structures

Abstract

一种图像显示装置,其包括输入图像的图像输入单元;显示图像的显示单元;以及图像转换单元,其转换输入的图像,从而显示单元上的显示图像被当做以预定格式显示的图像来观看。

Description

图像显示装置、图像处理装置和图像处理方法
相关申请的交叉引用
本申请要求享有于2013年8月23日提交的日本优先专利申请JP2013-172905的优先权,其全部内容通过引用结合于此。
技术领域
本发明涉及允许观看者观看显示图像的投影图像的图像显示装置、处理投影的原始显示图像的图像处理装置及其图像处理方法。
背景技术
已知一种在被戴在头上观看图像时使用的头戴式图像显示装置,即,一种头戴式显示器。通常,头戴式图像显示装置包括用于左眼和右眼的图像显示单元,且被配置为通过与头戴式耳机一起使用来控制视觉和听觉。此外,对于头戴式图像显示装置,也有可能对左眼和右眼投影不同的图像,并且在具有视差的图像被显示给左眼和右眼时展示三维图像。
头戴式图像显示装置包括作为左眼和右眼的显示单元的显示面板,及投影其显示图像的光学系统,并向用户提供虚拟图像(即,使得虚拟图像形成在眼睛的视网膜上)。这里,虚拟图像是当物体出现在比焦距距离镜片更近的位置时在物体侧上形成的图像。此外,在显示面板中,例如,使用具有高分辨率的显示元件,诸如液晶,或有机电致发光(EL)元件。
当允许用户观看虚拟图像时,优选地所形成的虚拟图像离用户的距离可根据图像而改变。例如,已提出了一种显示装置,其提供适于图像的形式的虚拟图像(例如参考PTL1)。该显示装置包括放大光学系统,其在同一个平面上布置从用户的左眼到右眼来观看的相同的虚拟图像,并控制虚拟图像离用户的距离,以及根据图像的高宽比的虚拟图像的尺寸。
此外,提出了一种头戴式显示装置,其通过使用投影显示屏的光学镜片来设置合适的观看角度并使用头戴式耳机来复制多频道,来模拟真实感受可被获取的状态,诸如观看者在电影院观看电影(例如,参考PTL2)。头戴式显示器包括宽角度光学系统,其被布置在用户的瞳孔前,间隔25mm,以及显示面板,具有在宽角度光学系统前0.7英寸的有效像素范围,且宽角度光学系统在用户的瞳孔前20m处在用户的视网膜上形成大约750英寸的虚拟图像。这对应于复制大约45度的视角,其适于用户在电影院中在屏幕上观看图像。
引用列表
专利文献
PTL1:日本未经审查专利申请公开号2007-133415
PTL2:日本未经审查专利申请公开号2012-141461
发明内容
技术问题
期望提供一种优异的图像处理装置,其可以以用户想要的状态来展示图像。
还期望提供一种优异的图像处理装置,其可处理图像以便以用户想要的状态来展示图像,及其图像处理方法。
问题的解决方案
根据本发明的一个实施例,提供了一种图像显示装置,其包括输入图像的图像输入单元;显示图像的显示单元;以及图像转换单元,其转换输入的图像,以便显示单元上的显示图像被当做以预定格式显示的图像来观看。
在图像显示装置中,图像转换单元可转换输入图像,以便图像被当做使用投影仪投影到曲面屏幕上的图像来观看。
在图像显示装置中,图像转换单元可针对输入图像执行图像转换,从而当输入图像被从投影仪的投影中心投影到曲面屏幕时,每个点的图像信息被显示在观看图像信息的用户的注视所到达的显示单元的显示图像所在的点。
在图像显示装置中,图像转换单元可转换输入图像,以便输入图像被当做展示在曲面上的图像来观看。
在图像显示装置中,图像转换单元可针对输入图像执行图像转换,从而当输入图像被展示在曲面屏幕时,每个点的图像信息被显示在观看图像的用户所注视的显示单元的显示图像所在的点。
在图像显示装置中,图像转换单元可包括转换表,其维护转换向量,其中仅针对代表性点的像素来描述输入图像的像素位置和从显示单元输出的展示图像上的像素位置之间的相关性,以及表格插补单元,其插补除了来自转换表的代表性点以外的像素的转换向量,且可使用插补的转换向量来执行输入的转换。
在图像显示装置中,图像转换单元可通过将转换分为垂直方向和水平方向来执行输入图像的转换。
在图像显示装置中,图像转换单元还可包括V转换表和H转换表,其针对代表性点分别维护垂直方向上的V转换向量和水平方向的H转换向量;V表格插补单元,其插补除了来自V转换表的代表性点以外的像素的V转换向量;以及H表格插补单元,其插补除了来自H转换表的代表性点以外的像素的H转换向量。
在图像显示装置中,V表格插补单元和H表格插补单元可基于在转换表中维护的代表性点的转换向量的一维加权和来执行针对像素的垂直方向上的表格插补,然后基于在垂直方向上插补的像素的转换向量的一维加权和来执行针对像素的水平方向上的表格插补。
在图像显示装置中,在水平方向上针对像素来执行表格插补时,V表格插补单元和H表格插补单元可通过计算相邻代表性点的权重,使用加权和在以2的指数的像素间隔布置的代表性位置处插补像素的转换向量,并且可以以均匀间隔使用两抽头加权和来插补代表性位置之间的像素的转换向量。
在图像显示装置中,图像转换单元还可包括像素值V转换单元,其使用被V表格插补单元插补的V转换向量来执行针对输入图像的垂直方向的转换,以及像素值H转换单元,其使用被H表格插补单元插补的H转换向量来执行针对通过像素值V转换单元转换的图像的水平方向的转换。
在图像显示装置中,显示单元可在用户的左眼和右眼的每一个中显示图像,且图像转换单元可包括仅用于左眼和右眼的任一只的图像的转换表,且可以通过执行被表格插补单元插补的对于一只眼的转换向量的水平反转来获得对于另一只眼的转换向量。
在图像显示装置中,图像输入单元可输入用于左眼的图像和用于右眼的图像,且在将用于左眼和右眼的输入图像的格式转换为其中图像被逐行交替插入的格式后,图像转换单元可执行该转换。
在图像显示装置中,图像转换单元在执行针对图像的去伽马处理后,可执行针对输入图像的转换。
根据本发明的另一个实施例,提供了一种图像处理装置,其包括图像转换单元,其转换在显示单元上显示的图像,以便该图像被当做以预定格式显示的图像来观看。
根据本发明的又一个实施例,提供了一种图像处理方法,其包括转换在显示单元上显示的图像,以便该图像被当做以预定格式显示的图像来观看。
本发明的有益效果
根据在本说明书中公开的技术,有可能提供一种优异的图像显示装置,其可模拟以想要的格式来显示的图像被观看的状态。
此外,根据在本说明书中公开的技术,有可能提供一种优异的图像处理装置和图像处理方法,其可处理原始图像,从而显示图像的投影图像可被当做以想要的格式显示的图像来观看。
此外,在本说明书中公开的效果仅仅是示例,且本技术的效果不限于此。此外,存在其中技术展示了除了上述效果以外的进一步的额外效果的情况。
现在将基于稍后描述的实施例或附图来详细描述在说明书中公开的本技术的其他目标、特点或优势。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1是示出其中佩戴头戴式显示器的用户从前面观看的状态的图。
图2是示出其中佩戴头戴式显示器的用户从上方观看的状态的图。
图3是示出头戴式显示器的内部配置示例的图。
图4是用户被透视观看的状态的图,该用户观看模拟的图像就好像该图像是使用投影仪投影到曲面屏幕上的。
图5是示出图4中的状态从上方来观看的状态的图。
图6是示出图4中的状态从侧面来观看的状态的图。
图7是用户被透视观看的状态的图,该用户观看模拟的图像就好像该图像被展示在曲面板上。
图8是示出图7中的状态从上方来观看的状态的图。
图9是示出图7中的状态从侧面来观看的状态的图。
图10是示出输入图像和通过曲面板来展示的图像之间的关系的图。
图11是示出输入图像的示例的图。
图12是示出图像被转换从而模拟用户以左眼来观看图像的状态的图,该图像是通过使用投影仪将图11所示的输入图像投影到曲面屏幕上而形成的。
图13是示出图像被转换从而模拟观看者以右眼来观看图像的状态的图,该图像是通过将图11所示的输入图像投影到曲面屏幕上而形成的。
图14是示出图像被转换从而模拟观看者以左眼来观看图像的状态的图,该图像是通过将图11所示的输入图像投影到曲面板上而形成的。
图15是示出图像被转换从而模拟观看者以右眼来观看图像的状态的图,该图像是通过将图11所示的输入图像投影到曲面板上而形成的。
图16是用于执行图像转换以便输入图像被当做以另一形式显示的图像来观看的功能框图。
图17是示意性地示出其中转换表存储单元仅维护代表性点的转换向量的状态的图。
图18是示意性地示出其中使用插补处理来获取除了代表性点以外的显示像素的转换向量的状态的图。
图19是示出在没有被分为水平方向和垂直方向时转换表的插补处理的方法的图。
图20是描述在被分为水平方向和垂直方向时对转换表进行插补的方法的图。
图21是描述在被分为水平方向和垂直方向时对转换表进行插补的方法的图。
图22A是描述混合插补方法的图,其中,转换向量在水平方向的插补处理(H插补)被减少。
图22B是描述该混合插补方法的图,其中,转换向量在水平方向的插补处理(H插补)被减少。
图23是描述在图22A和22B中的方法未被采用时的H插补的方法的图。
图24是示意性地示出处理顺序的图,其中,通过分成垂直方向的转换处理和水平方向的转换处理来执行图像处理。
图25是示出执行二维图像转换处理的示例的图。
图26A是示出通过分成垂直方向的转换处理和水平方向的转换处理来执行图像处理的示例的图。
图26B是示出通过分成垂直方向的转换处理和水平方向的转换处理来执行该图像处理的示例的图。
图27是图像转换功能单元中的电路的框图。
图28是输入图像被格式转换单元转换格式的机制的图。
图29是示出进行了伽马校正的图像信号的信号值与亮度之间的关系的图。
具体实施方式
以下,将参考附图来描述当前技术的实施例。
图1示出了其中佩戴头戴式显示器的用户从前面观看的状态。
当用户在头部或脸部佩戴头戴式显示器时,头戴式显示器直接覆盖用户的眼睛,并且在观看图像时可以向用户提供专注的感官。此外,当提供有在用户的注视方向上对场景摄像的外部相机612并且显示其成像的图像时,用户能够间接地观看现实世界的场景(即,使用视频穿透来显示场景)。此外,可以通过将图像与视频穿透图像重叠来显示虚拟显示图像例如增强现实(AR)图像。此外,由于不能从外部(例如他人)来观看显示图像,在显示信息时很容易保持隐私。
所示头戴式显示器是和帽形类似的结构,并且被配置为直接覆盖佩戴该头戴式显示器的用户的双眼。用户观看的显示面板(在图1中未示出)被布置在头戴式显示器的主体内部面向左眼和右眼的位置。显示面板被配置成由二维屏幕构成的微显示器,基本上诸如有机EL元件、液晶显示器等。
如图所示,在主体的前面的大致中心处提供用于输入外围图像(用户的视觉场)的外部相机612。此外,靠近头戴式显示器的主体的左端和右端附近分别提供麦克风403L和403R。通过在左侧和右侧近似对称地提供麦克风403L和403R,并且通过仅识别中心的声音(用户的语音),可以将外围的噪声或其他人的语音与中心的声音分离,并避免例如使用声音输入操作时发生故障。但是,输入装置例如外部相机或麦克风不是在说明书中公开的技术的必要构成元件。
图2示出了其中图1所示的佩戴头戴式显示器的用户从上面观看的状态。所示头戴式显示器包括在面向用户脸部的侧面上的用于左眼和右眼的显示面板404L和404R。显示面板404L和404R被配置为例如微显示器诸如有机EL元件或液晶显示器。虚拟图像光学单元401L和401R通过放大来分别投影显示面板404L和404R上的显示图像,并在用户的左眼和右眼的视网膜上形成图像。相应地,显示面板404L和404R上的显示图像被用户当做经过虚拟图像光学单元401L和401R的放大虚拟图像来观看。此外,由于每个用户的眼睛的高度和宽度存在个体差异,需要执行左侧和右侧的每个显示系统以及佩戴头戴式显示器的用户的眼睛的位置对齐。在图2所示的示例中,在用于右眼的显示面板和用于左眼的显示面板之间提供眼睛宽度调整装置405。
此外,显示可被外面的人看到的外部图像的外部显示单元615被布置在头戴式显示器的主体的外部。在所示例子中,包含了一对左侧和右侧外部显示单元615,但是,可以提供单个外部显示单元615或者三个或多个外部显示单元615。外部图像可以是和显示单元609上相同的图像,或者与之不同的图像。但是,用于向外部输出信息的单元例如外部显示单元615不是本说明书中公开的技术的必要构成元件。
图3示出了头戴式显示器的内部配置示例。
控制单元601包括只读存储器(ROM)601A和随机存取存储器(RAM)601B。在控制单元601中执行的程序代码或者各条数据被存储在ROM601A中。控制单元601通过执行从RAM601B下载的程序来整体控制头戴式显示器的整体运行,包括图像的显示控制。作为在ROM601A中存储的程序或数据,存在图像显示控制程序,用于执行将在后面描述的图像转换的图像转换处理程序,在图像转换处理中使用的转换表等。
输入操作单元602包括一个或多个操作器例如键、按钮、开关等,用户可以用来执行输入操作、通过操作器来接收用户的指令,并将指令输出到控制单元601。此外,输入操作单元602接收由在远程控制接收单元603中接收的远程控制命令构成的用户指令,并将该指令输出到控制单元601。
状态信息获取单元604是获取头戴式显示器的主体或者佩戴头戴式显示器的用户的状态信息的功能模块。状态信息获取模块604获取例如头部位置、姿势或用户的姿势信息。为了获取位置和姿势的信息,状态信息获取单元604包括陀螺仪传感器、加速传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒传感器、红外传感器、无线电波强度传感器等。此外,状态信息获取单元604包括压力传感器、用于检测主体温度或温度的温度传感器、湿度传感器、脉冲传感器、肌电传感器、眼电势传感器、脑电传感器、呼吸率传感器等,以获取用户状态的信息。
环境信息获取单元616是获取与头戴式显示器的主体或佩戴头戴式显示的用户周围的环境相关的信息的功能模块。环境信息获取单元616可以包括各种环境传感器,包括声音传感器或风量传感器,以检测环境信息。在环境传感器中可以包括上述麦克风或外部相机612。
通信单元605执行与外部装置之间的通信处理、调制和解调处理、以及通信信号的编码和解码操作。作为外部装置,存在提供用户观看的内容例如运动图像的内容复制装置(蓝光光盘或DVD播放器),或者流式服务器。此外,控制单元601发出传输数据,该数据从通信单元605被发送到外部装置。
通信单元605的配置是任意的。例如,可以根据在与作为通信合作方的外部装置之间的收发操作中使用的通信方法来配置通信单元605。通信方法可以是有线方法或无线方法。这里,通信标准可以是超低功耗无线通信例如移动高清连接(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、Wi-Fi(注册商标)、蓝牙(注册商标)通信、蓝牙(注册商标)低能耗(BLE)通信或ANT,以及作为使用IEEE802.11s的标准的网状网络等。或者,通信单元605可以是根据标准规范例如宽带码分多址(W-CDMA)和长期演进(LTE)的蜂窝无线收发器。
存储单元606是大容量存储装置,其被配置为固态驱动(SSD)等。存储单元606存储在控制单元601中执行的应用程序和各类数据项。例如,用户观看的内容被存储在存储单元606中。此外,使用外部相机612来拍摄的图像被存储在存储单元606中。
图像处理单元607还执行信号处理例如针对从控制单元601输出的图像信号的图像质量校正,并将图像信号转换为与显示单元609的屏幕相对应的解析度。此外,显示驱动单元608在每条线中顺序选择显示单元609的像素,执行线顺序扫描,并基于经过信号处理的图像信号来提供像素信号。
显示单元609包括显示面板,其被配置为微显示器,其基本上由二维屏幕例如有机电发光(EL)元件或液晶显示器构成。虚拟图像光学单元610通过放大来投影显示单元609的显示图像,并允许用户将图像作为放大的虚拟图像来观看。此外,作为从显示单元609输出的显示图像,存在从内容复制装置(蓝光光盘或DVD播放器)或者流式服务器提供的商业内容,以及外部相机612的摄制图像等。
在外部显示单元615中,显示屏幕面向头戴式显示器的外部(与佩戴该装置的用户的脸部相反的方向),并且公开了与可为另一用户显示外部图像的外部显示单元615的详细配置相关的日本专利申请号2012-200902的说明书,其已被授权给本申请人。
声音处理单元613还针对从控制单元601输出的声音信号来执行音质校正或声音放大以及输入声音信号的信号处理等。此外,声音输入输出单元614将经过声音处理之后的声音输出到外部,并输入来自(上述)麦克风的声音。
头戴式显示器通过放大图像来投影显示单元609例如具有虚拟图像光学单元610的微显示器的显示图像,并在使用者眼睛的视网膜上形成图像。本实施例的特征点在于,在观看显示图像时,模拟其中以用户想要的形式显示的图像被观看的状态。该状态的模拟可通过执行针对输入图像的图像转换处理来执行。例如,图像转换处理可在控制单元601执行预定程序代码时被执行,但是,还可以将专用的硬件安装到控制单元601或图像处理单元607中。
作为用户想要的显示形式的图像的例子,存在使用投影仪来投影到曲面屏幕例如电影院中的屏幕上的图像。原始的输入图像被用户当做二维平面来观看,但是,根据本实施例,通过图像处理来模拟输入图像可被用户当做投影到曲面屏幕上的图像来观看的状态。
图4是用户被透视观看的状态图,该用户观看模拟的图像就好像该图像是使用投影仪投影到曲面屏幕上的。此外,图5示出了图4中的状态从上方来观看的状态,且图6示出了图4中的状态从侧面来观看的状态。这里,在每张图中,水平方向被设置为X方向,垂直方向被设置为Y方向,且远离通过被放大来投影的显示单元609中的显示图像的放大虚拟图像的距离方向被设置为Z方向。
虚拟图像光学单元610(在图4到6中未示出)通过将其放大来投影显示单元609的显示图像,并将图像在用户眼睛的视网膜上形成为在用户眼睛40前方距离L2处存在的、宽度为VW且高度为VH的放大虚拟图像41。此时显示单元609的显示像素的水平视角被设置为theta。这里,放大的虚拟图像41不是简单地通过放大用虚拟图像光学单元610来投影输入图像而形成的图像,而是成为经过图像转换之后的“虚拟显示面板”,从而图像被用户当做使用投影仪投射到曲面屏幕42上的图像来观看。即,用户观看的图像例如是在曲面屏幕或面板42上显示的曲面图像的模拟虚拟图像。在图5和6所示的例子中,在虚拟显示面板41上模拟投影到曲面屏幕42上的图像,该曲面屏幕42离开投影仪的投影中心(PC)L1的辐射距离,用户以离开曲面屏幕42距离L2(这里L2<L1)的观看位置来观看该图像。曲面屏幕42的曲率半径被设置为R。
在图5中,将关注从投影仪的投影中心PC发出的光线51与观看该曲面屏幕42的用户的注视52之间的关系。光线51经过虚拟显示面板41上的点,然后被投影到曲面屏幕42上的点B。另一方面,用左眼来观看曲面屏幕42上的点B的注视52经过虚拟显示面板41上的点C。因此,在与输入图像上的点A对应的显示像素的图像信息在X方向上移动时,或者在被转换从而被显示为与输出图像(显示单元609的显示像素的放大虚拟图像41)上的点C相对应的显示像素时,看起来就好像在用户左眼中观看从投影中心PC投影到曲面屏幕42上的图像。即,在输入图像经过图像转换从而输入图像从投影仪的投影中心PC投影在曲面屏幕42上所在的每个点(B)被显示在用左眼来观看图像信息的用户的注视到达虚拟显示面板41所在的点(C)时,可以模拟用户观看图像,就好像该图像是用投影仪(在X方向上)投影到曲面屏幕上的状态。在图5中,点A被设置为起点且点C被设置为终点的向量是水平方向上关于与点A对应的显示像素的“转换向量”(在这里,是在用二维转换向量来执行完整转换而不用执行V/H分离(这将在下面描述)时的水平分量)。
类似地,在图6中,将关注从投影仪的投影中心PC发出的光线61。光线61在经过虚拟显示面板41上的点A后被投影到曲面屏幕42上的点B。另一方面,在离开距离L2的位置观看曲面屏幕42上的点B的注视62经过虚拟显示面板41上的点C。因此,在与输入图像上的点A对应的显示像素的图像信息在Y方向上移动时,或者在被转换从而被显示为与输出图像(显示单元609的显示像素的放大虚拟图像41)上的点C相对应的显示像素时,看起来就好像在用户左眼中观看从投影中心PC投影到曲面屏幕42上的图像。即,在输入图像经过图像转换从而使用投影仪将输入图像投影到曲面屏幕时,每个点(B)的图像信息被显示在用左眼来观看图像信息的用户的注视到达虚拟显示面板41所在的点(C)时,可以模拟用户观看使用投影仪(也在Y方向上)投影到曲面屏幕上的图像的状态。在图6中,点A被设置为起点且点C被设置为终点的向量是垂直方向上关于与点A对应的显示像素的“转换向量”(在这里,是在用二维转换向量来执行完整转换而不用执行V/H分离(这将在下面描述)时的垂直分量)。
可以基于由光学模拟得到的光线跟踪数据来产生水平方向和垂直方向上的转换向量,该光学模拟例如跟踪从显示单元609的每个像素输出的光线。在转换向量中,描述了原始输入图像的像素位置和从显示单元609输出的展示图像之间的相关性。
此外,尽管未示出,通过移动图像信息,或者使用与图5和6类似的图像转换方法针对右眼来执行显示单元的每个像素中的图像信息的转换,可以模拟使用投影仪投影到曲面屏幕42上的图像被观看并且是水平对称的状态。
图12和13分别示出了各个图像,其中图11所示的输入图像被转换为使用投影仪投影到曲面屏幕42上的图像,并且可以用用户的左眼和右眼中的每只来观看。
图11中假设的输入图像由格子图案构成,其中,在水平方向和垂直方向上分别均匀布置的多条平行线被组合。在假设不存在由虚拟图像光学单元610中的光学扭曲引起的图像扭曲时,如果图11所示的输入图像按原样被显示在显示单元609中,输入图像的格子图案被显示为平行线而没有水平和垂直线的扭曲,并且以均匀的间隔被显示在虚拟显示面板41上。因此,用户的左眼和右眼处于正在观看虚拟显示面板41上的图11所示的原样输入图像的状态。
图12所示的图像是图11所示的输入图像经过图像转换的图像,从而在使用投影仪将图11所示的输入图像投影到曲面屏幕42上时,每个点中的图像信息被显示在以左眼来观看的用户的注视到达虚拟显示面板41所在的点。在图12所示的转换图像被显示在用于左眼的显示面板404L上时,可以模拟用户用左眼来观看在用投影仪将图11所示的输入图像投影到曲面屏幕42上时形成的图像的状态。
类似地,图13所示的图像是图11所示的输入图像经过图像转换的图像,从而在使用投影仪将图11所示的输入图像投影到曲面屏幕42上时,每个点中的图像信息被显示在以右眼来观看的用户的注视到达虚拟显示面板41所在的点。在图13所示的转换图像被显示在用于右眼的显示面板404R上时,可以模拟用户用右眼来观看在用投影仪将图11所示的输入图像投影到曲面屏幕42上时形成的图像的状态。图12和图13所示的转换图像被识别为水平对称的图像。
此外,作为具有用户想要的显示方式的图像的另一例子,存在在曲面板上展示的图像。原始图像被用户当做二维平面来观看,但是,根据实施例,模拟了输入图像可被用户当做由于图像转换处理而在曲面板上展示的图像来观看的状态。
图7是示出用户观看模拟的图像就好像图像被展示在曲面板上的状态的透视图。在曲面板72上展示的图像是通过在水平和垂直方向上放大输入图像并且展示而形成的图像(这将在后面参考图10来描述)。此外,图8示出了图7中所示的状态从上方来观看的状态。图9示出了图7中的状态从侧面来观看的状态。这里,水平方向被设置为X方向,垂直方向被设置为Y方向,且远离显示单元609中的显示图像的投影平面的距离方向被设置为Z方向。
虚拟图像光学单元610(在图8和9中未示出)通过放大将显示图像投影在显示单元609上,并将图像在用户眼睛的视网膜上形成为在用户眼睛70前方距离L3处存在的、宽度为VW且高度为VH的放大虚拟图像71。此时显示单元609的显示像素的水平视角被设置为theta。这里,放大的虚拟图像71不是简单地通过放大将输入图像投影到虚拟图像光学单元610上而形成的,而是成为经过图像转换之后的“虚拟显示面板”,从而图像被用户当成在曲面板72上展示的图像来观看。在图8和9所示的例子中,在虚拟显示面板71上模拟从离开曲面板72距离L3的观看位置来观看在曲率半径为r的曲面板72上展示图像的状态。
在图8中,将关注正在观看曲面板72的用户的左眼的注视81。注视81经过虚拟显示面板71上的点D,然后到达曲面板72上的点E。因此,在曲面板72的点E处显示的图像信息在X方向上移动时,或者在被转换从而作为与点D相对应的显示像素被显示在虚拟显示面板71上时,看起来就好像在用户的左眼中观看曲面板72上展示的图像。即,在输入图像经过图像转换从而在曲面板72上展示输入图像时,每个点(E)的图像信息被显示在用左眼来观看的用户的注视到达虚拟显示面板71所在的点(D)时,可以模拟用户(在X方向上)观看在曲面板72上展示的图像的状态。点E被设置为起点且点D被设置为终点的向量是水平方向上关于与点E对应的显示像素的“转换向量”(在这里,是在用二维转换向量来执行完整转换而不用执行V/H分离(这将在下面描述)时的水平分量)。
类似地,在图9中,将关注正在观看曲面板72的用户的注视91。注视91经过虚拟显示面板71上的点D,然后到达曲面板72上的点E。因此,将在曲面板72的点E处显示的图像信息在Y方向上移动时,或者在被转换从而作为与点D相对应的显示像素被显示在虚拟显示面板71上时,看起来就好像从用户的眼睛来观看曲面板72上展示的图像。即,在输入图像经过图像转换从而在曲面板72上展示输入图像时,每个点的图像信息被显示在用左眼来观看的用户的注视到达虚拟显示面板41所在的点时,可以模拟用户(也在Y方向上)观看在曲面板上展示的图像的状态。在图9中,点E被设置为起点且点D被设置为终点的向量是水平方向上关于与点E对应的显示像素的“转换向量”(在这里,是在用二维转换向量来执行完整转换而不用执行V/H分离(这将在下面描述)时的垂直分量)。
可以基于由光学模拟得到的光线跟踪数据来产生水平方向和垂直方向上的转换向量,该光学模拟例如跟踪从显示单元609的每个像素输出的光线。在转换向量中,描述了原始输入图像的像素位置和从显示单元609输出的展示图像之间的相关性。
此外,尽管未示出,通过移动图像信息,或者使用与图8和9类似的图像转换方法也针对右眼来执行显示单元609的每个显示像素中的图像信息的转换,可以模拟在曲面板72上展示的图像被观看并且是水平对称的状态。
将参考图10来描述输入图像和通过曲面板72来展示的图像之间的关系。在曲面板72上展示的图像是通过在X方向和Y方向上分别使用alpha和beta的放大率来放大输入图像而形成的图像。在X方向上的放大率alpha和Y方向上的放大率beta之间没有关联。例如,当输入图像是水平长屏幕类型的影院视角屏幕时,垂直方向上的放大率beta变得大于水平方向上的放大率alpha,从而以硬件方式将在曲面板72上展示图像时产生的上部和下部的黑带尽可能推到有效显示区域以外。另一方面,通过放大而在虚拟图像光学元件610上投影的放大虚拟图像(即虚拟显示面板)71是通过使用相同放大率在X和Y方向上上放大输入图像而形成的放大图像,并且具有和输入图像类似的形状(这里,为了描述简单,忽略了在虚拟图像光学元件610中发生的图像扭曲例如光学扭曲)。
在图10中,和输入图像具有类似形状的虚拟显示面板71的尺寸具有VW的宽度和VH的高度。与此相反,在曲面板72被设置成半径为r且中心角为gamma的圆弧时,横向宽度PW变成r*gamma,但是,可以清楚地理解横向宽度比图8的VW更长。输入图像在Y方向上被放大,但是,在所示例子中,图像被表示为PW=VW*alpha(这里,alpha>1)。另一方面,在Y方向上,输入图像被放大beta倍,从而在输入图像如上所述在水平方向上被放大alpha倍时,上部和下部的黑带被推到有效显示区域的高度VH以外。虚拟显示面板71的高度PH可以和虚拟显示面板71的高度VH相同,其中,上部和下部的黑带被推到外部。
图14和15分别示出了图像,其中由(如上所述的)格子图案构成的图11所示的输入图像被转换从而模拟在用户的左眼和右眼的每只中观看在曲面板上展示的图像的状态。
在图11所示的输入图像被显示在显示单元609上时,输入图像被原样显示在虚拟显示面板41上。因此,用户的左眼和右眼处于正在观看在(如上所述的)虚拟显示面板上展示的输入图像的状态。与此相反,图14所示的图像是针对图11所示的输入图像执行图像转换而形成的图像,从而在图11所示的输入图像被展示在曲面板72上时,每个点的图像信息被显示在以左眼观看的用户的注视到达虚拟显示面板41所在的点。在图14所示的转换图像被显示在用于左眼的显示单元609上时,可以模拟用户以左眼来观看在曲面板上72展示的图11所示的输入图像的状态。
类似地,图15所示的图像是针对图11所示的输入图像执行图像转换而形成的图像,从而在图11所示的输入图像被展示在曲面板72上时,每个点的图像信息被显示在以右眼观看的用户的注视到达虚拟显示面板41所在的点。在图15所示的转换图像被显示在用于右眼的显示单元609上时,可以模拟用户以右眼来观看在曲面板上72展示的图11所示的输入图像的状态。可以理解,图14所示的转换图像和图15所示的转换图像是水平对称的。
图16示出了用于执行图像转换从而输入图像被当做另一形式显示的图像来观看的功能框图。作为另一形式的显示,存在使用投影仪投影到曲面屏幕上的图像被观看的状态(参考图4到6)、在曲面板上展示的图像被观看的状态(参考图7到9),等等。
所示图像转换功能单元1600包括图像输入单元1610,其将图像(输入图像)输入作为处理目标;图像转换处理单元1620,其针对输入图像执行图像转换从该图像被当做以另一形式显示的图像来观看;转换表存储单元1630,其存储在图像转换中使用的转换表;以及图像输出单元1640,其输出被转换的图像。
图像输入单元1610对应于通信单元605,其例如从内容复制装置、流式服务器等或者提供摄制图像的外部相机612等接收内容例如用户观看的移动图像,并从内容供应源分别输入用于右眼的输入图像和用于左眼的输入图像。
图像转换处理单元1620针对来自图像输入单元1610的输入图像执行图像转换,从而图像被当做以另一形式显示的图像来观看。图像转换处理单元1620被配置为专用硬件,其例如被安装到控制单元601或图像处理单元607中。或者,图像处理单元1620还可被实现为由控制单元601执行的图像转换处理程序。以下,为了方便,图像转换处理单元1620将被描述为安装的专用硬件。
转换表存储单元1630是ROM601A或者图像处理单元607的内部ROM(未示出),并且存储转换表,其中描述了在执行图像转换以便输入图像被作为另一形式显示的图像来观看时使用的输入图像的每个显示像素的转换向量。在转换向量中,描述了原始输入图像上的像素位置与从显示单元609输出的展示图像上的像素位置之间的相关性。可以基于由光学模拟得到的光线跟踪数据来产生转换向量,该光学模拟例如跟踪从显示单元609的每个像素输出的光线。
此外,根据实施例,为了压缩转换表的存储容量,仅使用相邻代表性点的转换向量通过V表格插补单元1651和H表格插补单元1661来插补离散布置的代表性点的显示像素而不是所有显示像素的转换向量,以及除了代表性点以外的显示像素的转换向量。下面将描述通过V表格插补单元1651和H表格插补单元1661进行的详细的插补处理。此外,根据实施例,通过被分成垂直方向和水平方向,通过将转换向量分为水平方向和垂直方向(即V/H分离)而包含垂直方向转换表(V转换表)1631和水平方向转换表(H转换表)这两种转换表,来执行图像转换。
图像输出单元1640对应于显示单元609的显示面板,并且显示经图像转换后的输出图像(就好像是以另一形式显示的图像被观看)。本说明书中公开的技术还可被用于单眼头戴式显示器,但是,在下列描述中,该技术被用于双眼头戴式显示器,并且图像输出单元1640将输出图像1641和1642输出在左眼和右眼的每只中。
图像转换处理单元1620的功能配置将被更详细地描述。
图像转换处理单元1620针对来自图像输入单元1610的输入图像来执行图像转换,以被用户当做以另一形式显示的图像来观看。本实施例的一个特征点在于,图像转换处理单元被配置,从而使用V/H分离来执行垂直方向上的转换处理和水平方向的转换处理。为此,转换表存储单元1630维护在垂直方向上的转换表(V转换表)1631和水平方向上的转换表(H转换表)1632这两种类型。换句话说,在每种显示形式下维护了一对V转换表1631-1和H转换表1632-2,…(在引用上述例子时,在转换为使用投影仪投影到曲面屏幕上的图像的形式以及在曲面板上展示的图像的形式中的每种形式下维护一对V转换表1631-1和H转换表1632-1,…)。
此外,本实施例的另一特征点在于,注意到图像转换是以水平对称的方式进行这一事实,可以通过仅为用于右眼的一个图像(或用于左眼的图像)维护垂直方向和水平方向上的转换表1631和1632来降低。即,只维护用于右眼图像的转换表1631和1632,V表格插补单元1651和H表格插补单元1661插补除了代表性点以外的所有像素的转换信息,之后水平反转单元1655和1665使得用于右眼的所有像素的V转换向量和H转换向量分别被水平反转,由此得到用于左眼的转换信息。
在从转换表存储单元1630提取想要的显示形式的V转换表1631时,V表格插补单元1651插补除了代表性点以外的显示像素的垂直方向上的转换向量,并且获取由所有像素的用于右眼的V转换向量构成的V转换数据项1652。此外,在从转换表存储单元1630提取想要的显示形式下的H转换表1632时,H表格插补单元1661插补除了代表性点以外的显示像素的H转换向量,并获取由所有像素的用于右眼的H转换向量构成的H转换数据项1662。
此外,在从图像输入单元1610输入用于右眼的输入图像1611时,像素值V转换单元1653首先通过对每个像素顺序地应用V转换数据项1652中的相应V转换向量来执行垂直方向上的转换处理,并获取用于右眼的V转换图像数据1654。
随后,像素值H转换单元1663通过对V转换图像数据1654的每个像素顺序地应用H转换数据项1662中的相应H转换向量来执行垂直方向上的转换处理,并得到用于右眼的输出图像1641,其中已经完成了垂直方向和水平方向上的转换处理。输出图像1641被展示在显示单元609的用于右眼的显示面板上。
水平反转单元1655通过执行V转换数据项1652的水平反转来获取由所有像素的用于左眼的V转换向量构成的V转换数据项。此外,在从图像输入单元1610输出用于左眼的输入图像时,像素值V转换单元1656通过对每个像素顺序地应用用于左眼的相应V转换向量来执行垂直方向上的转换处理,并获取用于左眼1657的V转换图像数据。
此外,水平反转单元1665针对H转换数据项1662来执行水平反转,并获取所有像素的由用于左眼的H转换向量构成的H转换数据项。像素值H转换单元1666通过对V转换图像数据1657中的每个像素顺序地应用用于左眼的相应的H转换向量来执行水平方向上的转换处理,并获取用于左眼的输出图像1642,其中已经完成了垂直方向和水平方向上的转换处理。输出图像1642被展示在显示单元609的用于左眼的显示面板上。
图17示意性地示出了转换表存储单元1630仅维护代表性点的转换向量的状态。在图17中,用深灰色表示的部分对应于代表性点,但是,在所示例子中,代表性点在水平方向和垂直方向的每个方向上以均匀间隔来布置。V转换表1631仅维护了代表性点的像素在垂直方向上的转换向量,且H转换表H仅维护了代表性点的像素在水平方向上的转换向量。
如上所述,V表格插补单元1651和H表格插补单元1661从代表性点的转换向量来插补除了代表性点以外的显示像素的转换向量。图18示意性地示出了其中通过V表格插补单元1651和H表格插补单元1661的插补处理来获取除了代表性点以外的显示像素的转换向量的状态。在图18中,用浅灰色来表示转换向量被插补的像素。
随后,将描述在V表格插补单元1651和H表格插补单元1661中插补除了代表性点以外的显示像素的转换向量的过程。
如上所述,本实施例的一个特征在于,使用V/H分离来执行垂直方向上的转换处理和水平方向上的转换处理,并且为此,通过将垂直方向上的转换表(V转换表)1631和水平方向上的转换表(H转换表)1632相组合来配置转换表。
图19示出了在没有执行水平方向和垂直方向的分离时转换表的插补处理的方法。在图19中,在用灰色表示的每个代表性点1902到1907处的转换表中维护具有水平方向和垂直方向中每个方向的分量的二维转换表。例如可以使用四个相邻代表性点1902到1905,即使用四抽头的多条信息的二维加权和,来计算除了代表性点以外的像素1901的转换向量。当然,可以使用靠近的十六个代表性点1902到1917的十六抽头的多条信息的二维加权和来获取像素1901的转换向量。
另一方面,图20和21示出了在执行水平方向和垂直方向上的V/H分离时转换表的插补处理的方法。在图20和21的每个图中,用灰色表示的代表性点2002到2017的V转换向量被存储在V转换表1631中,且H转换向量被存储在H转换表1632中。
V表格插补单元1651和H表格插补单元1661在垂直方向插补(V插补)和水平方向插补(H插补)的两个步骤中分别执行转换表1631和1632中每个的插补处理。首先,将参考图20来描述V转换表1631的V插补。对于在垂直方向上的代表性点之间插入的像素2021到2024,计算在垂直方向上相邻的代表性点2007和2008、代表性点2002和2003、代表性点2005和2004以及代表性点2014和2013的权重,且因此,可以使用每个代表性点的V转换向量的一维加权和来插补V转换向量(当然,抽头的数量可以增加)。此外,对于在垂直方向上的代表性点之间插入的像素2001,如图21所示,执行在相同水平位置的被V插补的相邻像素2022和2023的权重的计算,且因此,可以使用V向量的一维加权和来插补V转换向量(当然,抽头的数量可以增加)。可以以该方式通过执行V插补和H插补这两个步骤的V/H分离,使用一维加权和来执行转换表的插补,并降低吞吐量。此外,如图20和21所示,H表格插补单元1661可以通过在垂直方向上的插补处理(V插补)和水平方向上的插补处理(H插补)这两个步骤中执行H转换表1632的插补处理来执行表格插补。
此外,图22A和22B示出了V表格插补单元1651和H表格插补单元1661在水平方向上(H插补)减少图21所示的转换向量的插补处理的方法。为了比较,图23中示出了通过在每个插补位置计算权重来插补转换向量的方法。在图23所示的例子中,通过每次计算与每个插补位置相对应的权重并计算加权和来计算在V插补的相邻像素2311和2312之间插入的代表性点2301到2304的转换向量。与此相反,在图22A和22B所示的例子中,首先如图22A所示,在以2的指数(2n)(在所示例子中n=3)的像素间隔来设置代表性点2201和2202时,根据针对代表性位置2201和2202的如图20和21所示的方法,使用垂直方向和水平方向的两个步骤的一维加权和来插补转换向量。此外,对于在代表性位置2201和2202之间的像素,使用均匀间隔的两抽头加权和来插补转换向量。即,如图22B所示,使用均匀间隔的两抽头加权和来插补代表性点2201和2202之间的像素的转换向量。可以仅使用位移来执行两抽头加权和。还可以通过应用被用于代表性位置的像素的如图20和21所示插补方法、并使用其中如图22A和22B所示的插补方法被用于代表性位置之间的像素的混合插补,来进一步降低吞吐量。
随后,将描述在像素值V转换单元1653中执行输入图像在垂直方向的转换之后,在像素值H转换单元1663中执行水平方向的图像转换的过程。这里,将仅描述用于右眼的图像,但是,可以理解,也可以由像素值V转换单元1656和像素值H转换单元1666针对用于左眼的图像来执行相同的过程。
图24示意性地示出了在针对输入图像执行图像转换时,在像素值V转换单元1653中执行输入图像在垂直方向的转换之后,在像素值H转换单元1663中执行水平方向的图像转换的处理顺序。通过使用V/H分离来执行垂直方向的转换处理和水平方向的转换处理,可以降低自处理变成一维处理后的处理负载。
首先,像素值V转换单元1653使用针对输入图像2401从V转换表1631插补(2402)的V转换数据1652来执行垂直方向的一维转换处理2403,并获取V转换的图像数据2404。对V转换的图像数据2404进行针对图像数据2401的垂直方向的转换2405。
随后,像素值H转换单元1663使用针对V转换图像数据2404从H转换表1632插补(2406)的H转换数据来执行水平方向的一维转换处理2407,并获取V/H转换的图像数据2408。V/H转换的图像数据2408是进一步经过针对V转换图像数据的水平方向的转换2409的数据。
图25示出了执行二维图像转换处理的例子。在通过将二维转换向量2511到2514分别应用于输入图像2500的每个像素2501到2504来获取像素位置2521到2524时,通过写入每个相应的像素2532到2534中的每个像素位置2521到2524中的图像信息来获取输出图像2530。此外,与连接像素位置2521到2524的曲线的水平方向上的像素位置相交叉的点的垂直方向上的位置对应于图6和9中所示的垂直方向上的“转换向量”。此外,交叉点到曲线的水平方向上的距离对应于图5和8中所示的水平方向上的“转换向量”。根据实施例,使用V/H分离来执行图像转换处理的H转换向量和V转换向量与完整执行二维转换处理而不用V/H分离时的水平方向上的转换向量和垂直方向上的转换向量不同。需要基于水平方向上的转换向量和垂直方向上的转换向量来为V/H分离重新计算H转换向量和V转换向量。
另一方面,图26A和26B示出了使用如图24所示的垂直方向和水平方向上的转换处理的V/H分离来执行一维转换处理的例子。
首先,如图26A所示,在针对输入图像2600的每个像素2601到2604通过分别应用V转换数据项1652中的相应的V转换向量来进行V转换之后,像素值V转换单元1653获取2611到2614的像素位置。此外,通过写入每个相应的像素2621到2624中的每个像素位置2611到2614中的图像信息,可以获取V转换的图像数据2620。
随后,如图26B所示,针对V转换图像数据2620的每个像素2621到224通过分别应用H转换数据项1662中的相应H转换向量,像素值H转换单元1663还获取2631到2634的H转换像素位置。此外,通过写入每个相应像素2641到2644中的像素位置2631到2634中的图像信息,可以获取输入图像2640。
图16示出了图像转换处理单元1620中的功能配置,主要关注处理算法。图27示出了用于执行处理算法的电路框图。
格式转换单元2701通过输入用于左眼的输入图像和用于右眼的输入图像的同步的每帧来执行格式转换。图28示出了输入图像受到格式转换单元2701的格式转换的机制。如图所示,在用于左眼的输入图像和用于右眼的输入图像被输入时,格式转换单元2701将格式转换为“逐行”格式的转换块,其中用于左眼的输入图像和用于右眼的输入图像被交替地逐行输入。通过该方式,在转换为用于左眼的输入图像2801和用于右眼的输入图像2802所转换成的合并的格式时,可以减小电路的尺寸,因为能够在处理用于左眼的图像2801和用于右眼的图像2802时使用相同的电路。
被格式转换单元2701转换格式的图像数据通过线存储控制器2720被临时存储在静态RAM(SRAM)2703中。
图像转换处理单元1620执行图像转换处理,其分成垂直方向上的转换处理和水平方向上的转换处理。垂直方向上的转换处理由SRAM2703、线存储控制器2702、去伽马处理单元2708、V校正单元2705、V向量插补单元2707和V向量存储单元2706在时序控制器2704的同步控制下执行。另一方面,水平方向上的转换处理由寄存器2711、像素存储控制器2710、H校正单元2712、H向量插补单元2713和H向量存储单元2714在时序控制器2709的同步控制下执行。
由于是通过分成垂直方向和水平方向来执行图像转换处理的,通过被分为垂直分量的V向量和水平分来的H向量,每个像素中的转换向量被分别存储在V向量存储单元2706和H向量存储单元2714中。此外,通过将表格配置为仅维护代表性点的转换向量(参考图17),而不用在V向量存储单元2706和H向量存储单元2714中存储所有像素的转换向量,可以降低存储器的量。使用V向量插补单元2707和H向量插补单元2713来进行插补,生成除了代表性点以外的像素的转换向量。图18示意性地示出了通过插补处理来获取除了代表性点以外的显示像素的转换向量的状态。在图18中,其转换向量被插补的像素用浅灰色来表示。已经参考图20到22B描述了使用V向量插补单元2707和H向量插补单元2713来进行插补的方法。
时序控制器2704控制使用表格插补单元2707来进行的转换向量的插补处理的时序,并且在通过线存储控制器2702从SRAM2703读取图像数据时,使用像素值V转换单元2705在垂直方向上进行的插补处理被执行。
假设输入图像经过伽马校正,其中,根据显示单元609的显示面板的特征来调整每种基础色的强度(亮度)。但是,由于受到伽马校正的图像信号的信号值和亮度不是线性的,亮度被改变。图29示出了经过伽马校正的图像信号的信号值和亮度之间的关系,但是,在所示例子中,相对于50%的信号值,亮度变成22%。在每种基础色的相位改变时,失去了亮度的平衡,并导致在执行图像转换时的不均匀色彩。因此,根据实施例,通过在去伽马处理单元2708中针对输入图像执行去伽马处理并使信号值和亮度回到线性形状,来执行图像转换。
通过将转换分为垂直方向和水平方向来执行图像转换处理的机制和图24所示的相同。V校正单元2705使用经过V向量插补单元2707的插补2402的V转换向量,针对经过去伽马处理的输入图像在垂直方向上执行一维转换处理2403,并获取V转换的图像数据2404。V转换的图像数据2404是通过在垂直方向上执行针对输入图像2401的转换2405而生成的数据。
随后,H校正单元2712使用经过H向量插补单元2713的插补2406的V转换数据,针对V转换图像数据2404在垂直方向上执行一维转换处理2407,并获取V/H转换的图像数据2408。V/H转换的图像数据是通过在水平方向上执行针对V转换图像数据2404的转换2409而生成的数据。
根据说明书中公开的技术,通过执行针对输入图像的图像转换,可以模拟使用投影仪投影到曲面屏幕上的图像被用户观看的状态,从而在将输入图像从投影仪的投影中心投影到曲面屏幕时,每个点的图像信息被显示在用左眼来观看图像信息的用户的注视到达放大虚拟图像所在的点(参考图4到6)。此外,根据说明书中公开的技术,可以模拟通过执行针对输入图像的图像转换而形成并且被展示在曲面板上的图像被用户观看的状态,从而在输入图像被展示在曲面板上时,每个点的图像信息被显示在用右眼来观看的用户的注视到达放大虚拟图像所在的点。
此外,使用如图27所示的电路配置通过执行上述图像转换处理,可以得到以下效果:降低存储器存储转换向量的数量、降低图像转换的处理负载、并压制图像失真的出现。
工业适用性
迄今,已经参考特定的实施例详细描述了说明书中公开的技术。但是,很明显本领域技术人员可以对实施例进行调整或替换而不偏离本技术的范围。
在说明书中公开的技术可被用于各种类型的图像显示装置,其中使用微显示器等来显示的图像通过包含头戴式显示器在内的光学系统被投影到用户的视网膜上。此外,在说明书中,主要描述了说明书中公开的技术被用于双眼头戴式显示器的实施例,但是,当然,也可以将该技术用于单眼头戴式显示器。
总之,使用了示例的形式描述了说明书中公开的技术,并且所述说明书的内容不应被理解为受限。为了确定说明书中公开的技术的范围,需要考虑权利要求书。
此外,说明书中公开的技术还可被如下配置。
(1)一种图像显示装置,其包括输入图像的图像输入单元;显示图像的显示单元;以及图像转换单元,其转换图像从而显示单元上的显示图像被当做以预定格式显示的图像来观看。
(2)如(1)中所述的图像显示装置,其中,所述图像转换单元转换输入图像,从而该图像被当做用投影仪投影到曲面屏幕上的图像来观看。
(3)如(2)中所述的图像显示装置,其中,所述图像转换单元针对输入图像来执行图像转换,从而在将输入图像从投影仪的投影中心投影到曲面屏幕上时,每个点的图像信息被显示在观看该图像信息的用户的注视到达显示单元的显示图像所在的点。
(4)如(1)中所述的图像显示装置,其中,所述图像转换单元转换输入图像,从而输入图像被当做在曲面板上展示的图像来观看。
(5)如(4)中所述的图像显示装置,其中,所述图像转换单元针对输入图像来执行图像转换,从而在输入图像被展示在曲面板上时,每个点的图像信息被显示在观看该图像信息的用户的注视到达显示单元的显示图像所在的点。
(6)如(1)中所述的图像显示装置,其中,所述图像转换单元包括转换表,其维护转换向量,其中仅针对代表性点的像素来描述输入图像的像素位置和从显示单元输出的展示图像的像素位置之间的相关性;以及表格插补单元,其插补除了来自转换表的代表性点以外的像素的转换向量,并使用插补的转换向量来执行输入图像的转换。
(7)如(1)中所述的图像显示装置,其中,所述图像转换单元通过将转换分为垂直方向和水平方向来执行输入图像的转换。
(8)如(6)中所述的图像显示装置,其中,所述图像转换单元还包括V转换表和H转换表,其针对代表性点分别维护垂直方向上的V转换向量和水平方向的H转换向量;V表格插补单元,其插补除了来自V转换表的代表性点以外的像素的V转换向量;以及H表格插补单元,其插补除了来自H转换表的代表性点以外的像素的H转换向量。
(9)如(8)中所述的图像显示装置,其中,所述V表格插补单元和H表格插补单元基于在转换表中维护的代表性点的转换向量的一维加权和来执行针对像素的垂直方向上的表格插补,然后基于在垂直方向上插补的像素的转换向量的一维加权和来执行针对像素的水平方向上的表格插补。
(10)如(8)中所述的图像显示装置,其中,在水平方向上针对像素来执行表格插补时,所述V表格插补单元和H表格插补单元通过计算相邻代表性点的权重,使用加权和在以2的指数的像素间隔布置的代表性位置处插补像素的转换向量,并且以均匀间隔使用两抽头加权和来插补所述代表性位置之间的像素的转换向量。
(11)如(8)中所述的图像显示装置,其中,所述图像转换单元还包括像素值V转换单元,其使用被V表格插补单元插补的V转换向量来执行针对输入图像的垂直方向的转换,并使用被H表格插补单元插补的H转换向量来执行针对被转换的图像的水平方向的转换。
(12)如(6)中所述的图像显示装置,其中,所述显示单元在用户的左眼和右眼的每只中显示图像,并且所述图像转换单元仅包含用于左眼和右眼中的任一只的图像的转换表,并通过执行对于所述一只眼的、通过所述电路插补的转换向量的水平反转来获得对于另一只眼的转换向量。
(13)如(1)中所述的图像显示装置,其中,所述图像输入单元输入用于左眼的图像和用于右眼的图像,并且所述图像转换单元在将用于左眼和右眼的输入图像的格式转换为图像被逐行交替插入的格式后执行转换。
(14)如(1)中所述的图像显示装置,其中,在执行针对输入图像的去伽马处理后,所述图像转换单元针对该输入图像来执行转换。
(15)一种图像处理系统,其包括图像转换单元,该图像转换单元转换在显示单元上显示的图像,从而该图像被当做以预定格式显示的图像来观看。
(16)一种图像处理方法,其包括转换在显示单元上显示的图像,从而该图像被当做以预定格式显示的图像来观看。
(17)一种图像显示装置,包括:电路,其被配置为以第一格式来输入图像;以第二格式来显示图像;以及将图像从第一格式转换为第二格式,从而显示图像被当做曲面图像来观看。
(18)如(17)中所述的图像显示装置,其中,所述电路转换输入图像,从而显示图像被当做曲面图像来观看,就好像它就是曲面显示的图像。
(19)如(17)或(18)中所述的图像显示装置,其中,所述曲面显示的图像是来自投影仪的投影图像,并且其中,所述电路转换输入图像,从而显示图像从投影仪的投影中心投影所在的每个点的图像信息被显示在观看该图像信息的用户的注视所到达的曲面图像的相应部分所在的点。
(20)如(17)中所述的图像显示装置,其中,所述电路转换输入图像,从而显示图像被当做曲面图像来观看,该曲面图像是曲面投影的图像的模拟。
(21)如(17)到(20)中任一个所述的图像显示装置,其中,所述电路转换输入图像,从而显示图像被观看的每个点的图像信息在观看该图像信息的用户的注视所到达的曲面图像的相应部分所在的点。
(22)如(17)到(21)中任一个所述的图像显示装置,其中,所述电路包括转换表,其维护转换向量,其中仅针对代表性点的像素来描述输入图像的像素位置和在显示器上所显示的显示图像上的像素位置之间的相关性,并且其中,所述电路被配置为插补除了来自转换表的代表性点以外的像素的转换向量,并使用插补的转换向量来执行输入图像的转换。
(23)如(17)到(22)中任一个所述的图像显示装置,其中,所述电路通过将其转换过程分为垂直方向转换过程和水平方向转换过程来转换输入图像。
(23)如(17)到(21)和(23)中任一个所述的图像显示装置,其中,所述电路包括V转换表和H转换表,其针对代表性点分别维护垂直方向上的V转换向量和水平方向的H转换向量,并且,其中,所述电路还被配置为插补除了来自V转换表的代表性点以外的像素的V转换向量,并插补除了来自H转换表的代表性点以外的像素的H转换向量。
(24)如(23)中所述的图像显示装置,其中,所述电路被配置为基于在转换表中维护的代表性点的转换向量的一维加权和来执行针对像素的垂直方向上的表格插补,然后基于在垂直方向上插补的像素的转换向量的一维加权和来执行针对像素的水平方向上的表格插补。
(25)如(23)中所述的图像显示装置,其中,所述电路被配置为,在水平方向上针对像素来执行表格插补时,通过计算相邻代表性点的权重,使用加权和在以2的指数的像素间隔布置的代表性位置处插补像素的转换向量,并且以均匀间隔使用两抽头加权和来插补所述代表性位置之间的像素的转换向量。
(26)如(23)中所述的图像显示装置,其中,所述电路被配置为使用被电路插补的V转换向量来执行针对输入图像的垂直方向的转换,并使用被电路插补的H转换向量来执行针对被转换的图像的水平方向的转换。
(27)如(17)到(22)中任一个所述的图像显示装置,其中,所述电路包括转换表,用于转换左眼和右眼中的仅一只的输入图像,并且其中,所述电路被配置为通过执行对于所述一只眼的、通过所述电路插补的转换向量的水平反转来获得对于另一只眼的转换向量。
(28)如(17)到(27)中任一个所述的图像显示装置,其中,所述电路被配置为输入用于左眼的图像和用于右眼的图像,并且在将用于左眼和右眼的输入图像的格式转换为图像被逐行交替插入的格式后执行输入图像的格式转换。
(29)如(17)到(28)中任一个所述的图像显示装置,其中,在执行针对输入图像的去伽马处理后,所述电路转换该输入图像。
(30)一种图像处理系统,包括:电路,其被配置为基于预定的曲面格式将图像转换为不同格式的图像来显示。
(31)如(30)中所述的图像处理系统,其中,所述被转换的图像被显示为三维图像。
(32)如(30)或(31)中所述的图像显示系统,其中,所述被转换的图像被显示在图像显示装置中。
(33)一种图像处理方法包括:接收第一格式的图像数据;使用处理器将该图像数据从第一格式转换为与第一格式不同的第二格式;以及输出该被转换的图像数据,以产生基于被转换的图像数据的曲面图像。
(34)一种头戴式显示装置,包括电路,该电路被配置为输入第一格式的图像,将输入图像从第一格式转换为第二格式,以及引起第二格式的被转换图像的显示,从而显示图像可被头戴式显示装置的佩戴者的左眼和右眼中的每只当做曲面图像来观看。
(35)如(34)中所述的头戴式显示装置,还包括:左眼显示器;以及右眼显示器,其中,所述电路被配置为引起第二格式的被转换图像在左眼显示器和右眼显示器上的显示。
参考标号列表
401L、401R:虚拟图像光学单元
403L、403R:麦克风
404L、404R:显示面板
405:眼睛宽度调整装置
601:控制单元
601A:ROM
601B:RAM
602:输入操作单元
603:远程控制接收单元
604:状态信息获取单元
605:通信单元
606:存储单元
607:图像处理单元
608:显示驱动单元
609:显示单元
610:虚拟图像光学单元
612:外部相机
613:声音处理单元
614:声音输入输出单元
615:外部显示单元
616:环境信息获取单元
1600:图像转换功能单元
1610:图像输入单元
1620:图像转换处理单元
1630:转换表存储单元
1631:V转换表
1632:H转换表
1640:图像输出单元
1651:V表格插补单元(垂直方向)
1653:像素值V转换单元
1655:水平反转单元
1656:像素值V转换单元
1661:H表格插补单元(水平方向)
1663:像素值H转换单元
1665:水平反转单元
1666:像素值H转换单元
2701:格式转换单元
2702:线存储控制器
2703:SRAM
2704:时序控制器
2705:V校正单元
2706:V向量存储单元
2707:V向量插补单元
2708:去伽马处理单元
2709:时序控制器
2710:像素存储控制器
2711:寄存器
2712:H校正单元
2713:H向量插补单元
2714:H向量存储单元

Claims (20)

1.一种图像显示装置,包括:
电路,其被配置为:
以第一格式输入图像;
以第二格式显示所述图像;以及
将输入图像从所述第一格式转换为所述第二格式,从而显示图像被当做曲面图像来观看。
2.如权利要求1所述的图像显示装置,其中,所述电路转换所述输入图像,以便所述显示图像被当做所述曲面图像来观看,就好像它就是曲面显示的图像。
3.如权利要求2所述的图像显示装置,
其中,所述曲面显示的图像是来自投影仪的投影图像,并且
其中,所述电路转换所述输入图像,以便所述显示图像从投影仪的投影中心投影所在的每个点的图像信息被显示在观看所述图像信息的用户的注视所到达的所述曲面图像的相应部分所在的点。
4.如权利要求1所述的图像显示装置,其中,所述电路转换所述输入图像,以便所述显示图像被当做所述曲面图像来观看,所述曲面图像是曲面投影图像的模拟。
5.如权利要求4所述的图像显示装置,其中,所述电路转换所述输入图像,以便所述显示图像被观看的每个点的图像信息被显示在观看所述图像信息的用户的注视所到达的所述曲面图像的相应部分所在的点。
6.如权利要求1所述的图像显示装置,
其中,所述电路包括转换表,其维护转换向量,其中仅针对代表性点的像素来描述所述输入图像上的像素位置和在显示器上显示的所述显示图像上的像素位置之间的相关性,并且
其中,所述电路被配置为插补除了来自所述转换表的所述代表性点的像素以外的像素的转换向量,并使用所插补的转换向量来执行所述输入图像的所述转换。
7.如权利要求1所述的图像显示装置,其中,所述电路通过将其转换过程分为垂直方向转换过程和水平方向转换过程来转换所述输入图像。
8.如权利要求6所述的图像显示装置,
其中,所述电路包括V转换表和H转换表,所述V转换表和H转换表针对所述代表性点分别维护垂直方向上的V转换向量和水平方向的H转换向量,并且,
其中,所述电路还被配置为插补除了来自所述V转换表的所述代表性点的像素以外的所述像素的所述V转换向量,并插补除了来自所述H转换表的所述代表性点的像素以外的所述像素的所述H转换向量。
9.如权利要求8所述的图像显示装置,其中,所述电路被配置为基于在所述转换表中维护的所述代表性点的转换向量的一维加权和来执行针对像素的垂直方向上的表格插补,然后基于在垂直方向上插补的所述像素的转换向量的一维加权和来执行针对像素的水平方向上的表格插补。
10.如权利要求8所述的图像显示装置,其中,所述电路被配置为,在水平方向上针对像素执行表格插补时,通过计算相邻代表性点的权重,使用加权和在以2的指数的像素间隔布置的代表性位置处插补像素的转换向量,并且以均匀间隔使用两抽头加权和来插补所述代表性位置之间的像素的转换向量。
11.如权利要求8所述的图像显示装置,其中,所述电路被配置为使用通过所述电路插补的V转换向量来执行针对所述输入图像的垂直方向的转换,并使用通过所述电路插补的H转换向量来执行针对所述输入图像的被所述电路转换的图像的水平方向的转换。
12.如权利要求6所述的图像显示装置,
其中,所述电路包括转换表,用于所述输入图像对于左眼和右眼中的仅一只眼的转换,并且
其中,所述电路被配置为通过执行对于所述一只眼的、通过所述电路插补的转换向量的水平反转来获得对于另一只眼的转换向量。
13.如权利要求1所述的图像显示装置,
其中,所述电路被配置为
输入用于左眼的图像和用于右眼的图像,并且
在将用于左眼和右眼的所述输入图像的格式转换为其中图像被逐行交替插入的格式后,执行所述输入图像的所述转换。
14.如权利要求1所述的图像显示装置,其中,在执行针对所述输入图像的去伽马处理后,所述电路转换所述输入图像。
15.一种图像处理系统,包括:
电路,其被配置为
基于预定的曲面格式将图像转换为不同格式的图像用于其显示。
16.如权利要求15所述的图像处理系统,其中,所述被转换的图像被显示为三维图像。
17.如权利要求15所述的图像显示系统,其中,所述被转换的图像被显示在图像显示装置中。
18.一种图像处理方法包括:
接收第一格式的图像数据;
使用处理器将所述图像数据从所述第一格式转换为与所述第一格式不同的第二格式;以及
输出所述被转换的图像数据,以产生基于所述被转换的图像数据的曲面图像。
19.一种头戴式显示装置,包括:
电路,其被配置为
输入第一格式的图像,
将所述输入图像从所述第一格式转换为第二格式,以及
使所述第二格式的被转换图像进行显示,使得所述显示图像可被所述头戴式显示装置的佩戴者的左眼和右眼中的每一只当做曲面图像来观看。
20.如权利要求19所述的头戴式显示装置,还包括:
左眼显示器;以及
右眼显示器,
其中,所述电路被配置为使所述第二格式的被转换图像在所述左眼显示器和所述右眼显示器上进行所述显示。
CN201480045476.5A 2013-08-23 2014-07-07 图像显示装置、图像处理装置和图像处理方法 Pending CN105556373A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013172905A JP2015041936A (ja) 2013-08-23 2013-08-23 画像表示装置、並びに画像処理装置及び画像処理方法
JP2013-172905 2013-08-23
PCT/JP2014/003582 WO2015025455A1 (en) 2013-08-23 2014-07-07 Imagedisplay device, image processing device, and image processing method

Publications (1)

Publication Number Publication Date
CN105556373A true CN105556373A (zh) 2016-05-04

Family

ID=51228464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480045476.5A Pending CN105556373A (zh) 2013-08-23 2014-07-07 图像显示装置、图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US20160180498A1 (zh)
EP (1) EP3036581A1 (zh)
JP (1) JP2015041936A (zh)
CN (1) CN105556373A (zh)
WO (1) WO2015025455A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167107A1 (zh) * 2016-03-28 2017-10-05 腾讯科技(深圳)有限公司 图像显示方法、异形曲面幕布的定制方法和头戴式显示设备
CN113316738A (zh) * 2019-08-06 2021-08-27 松下知识产权经营株式会社 显示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123137A (zh) * 2014-07-21 2014-10-29 联想(北京)有限公司 一种信息处理方法及电子设备
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
CN105304065B (zh) * 2015-11-21 2017-08-25 深圳市华星光电技术有限公司 曲面显示面板的制造方法及制造系统
CN105592306A (zh) * 2015-12-18 2016-05-18 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法和装置
CN105657378A (zh) * 2016-03-17 2016-06-08 深圳中航信息科技产业股份有限公司 远程视频装置
CN107306351A (zh) * 2016-04-20 2017-10-31 名硕电脑(苏州)有限公司 头戴式显示设备及其显示方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113754A1 (en) * 2001-02-21 2002-08-22 Hiroyuki Nakanishi Composite display apparatus and head mounted display system using the same
CN1391126A (zh) * 2001-06-11 2003-01-15 伊斯曼柯达公司 用于立体显示的头戴式光学装置
US20050264882A1 (en) * 2004-05-26 2005-12-01 Casio Computer Co., Ltd. Display device for displaying three-dimensional image
CN1846229A (zh) * 2003-11-19 2006-10-11 夏普株式会社 图像处理设备、图像处理程序和计算机可读记录介质
US20130002724A1 (en) * 2011-06-30 2013-01-03 Google Inc. Wearable computer with curved display and navigation tool

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
JPH0961750A (ja) * 1995-08-22 1997-03-07 Seiko Epson Corp 頭部装着型表示装置
JP4229398B2 (ja) * 2003-03-28 2009-02-25 財団法人北九州産業学術推進機構 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法
JP4214976B2 (ja) * 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP4547631B2 (ja) 2006-12-04 2010-09-22 ソニー株式会社 虚像提供システムおよび表示方法
JP2010092360A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理システム、画像処理装置、収差補正方法及びプログラム
EP2418865A3 (en) * 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP5758666B2 (ja) 2011-03-23 2015-08-05 ゼブラ株式会社 出没式筆記具
CN103034030B (zh) * 2011-09-30 2016-05-04 精工爱普生株式会社 投影仪以及投影仪的控制方法
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113754A1 (en) * 2001-02-21 2002-08-22 Hiroyuki Nakanishi Composite display apparatus and head mounted display system using the same
CN1391126A (zh) * 2001-06-11 2003-01-15 伊斯曼柯达公司 用于立体显示的头戴式光学装置
CN1846229A (zh) * 2003-11-19 2006-10-11 夏普株式会社 图像处理设备、图像处理程序和计算机可读记录介质
US20050264882A1 (en) * 2004-05-26 2005-12-01 Casio Computer Co., Ltd. Display device for displaying three-dimensional image
US20130002724A1 (en) * 2011-06-30 2013-01-03 Google Inc. Wearable computer with curved display and navigation tool

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167107A1 (zh) * 2016-03-28 2017-10-05 腾讯科技(深圳)有限公司 图像显示方法、异形曲面幕布的定制方法和头戴式显示设备
US10643300B2 (en) 2016-03-28 2020-05-05 Tencent Technology (Shenzhen) Company Limited Image display method, custom method of shaped cambered curtain, and head-mounted display device
CN113316738A (zh) * 2019-08-06 2021-08-27 松下知识产权经营株式会社 显示装置

Also Published As

Publication number Publication date
JP2015041936A (ja) 2015-03-02
EP3036581A1 (en) 2016-06-29
US20160180498A1 (en) 2016-06-23
WO2015025455A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
CN105556373A (zh) 图像显示装置、图像处理装置和图像处理方法
AU2022201611B2 (en) Virtual, augmented, and mixed reality systems and methods
US10356375B2 (en) Display device, image processing device and image processing method, and computer program
CN107610044A (zh) 图像处理方法、计算机可读存储介质及虚拟现实头戴设备
US11694352B1 (en) Scene camera retargeting
US10582184B2 (en) Instantaneous 180-degree 3D recording and playback systems
Riecke et al. Selected technical and perceptual aspects of virtual reality displays
KR101382058B1 (ko) 크로스토크 보정량 평가 장치 및 크로스토크 보정량 평가 방법
JP2012205132A (ja) 映像表示装置及び映像表示方法
CN204143073U (zh) 显示设备及显示系统
CN104007557A (zh) 显示设备及显示系统
US8482603B2 (en) Device and method for 3-D display control
US8913077B2 (en) Image processing apparatus and image processing method
JP5319728B2 (ja) 視差画像生成装置、表示装置、視差画像生成方法、視差画像生成プログラムおよびそれを記録した記録媒体
WO2017056597A1 (ja) 情報処理装置
JP2009237310A (ja) 疑似3次元表示方法および疑似3次元表示装置
CN104919443A (zh) 观看图像的方法和装置
CN103181176A (zh) 立体影像输出装置、立体影像输出方法、立体影像输出程序及计算机可读取的记录介质、以及立体影像显示装置
KR20140003299A (ko) 입체 영상 출력 장치, 및 그 출력 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160504

WD01 Invention patent application deemed withdrawn after publication