CN102387395A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

图像处理设备、图像处理方法和计算机程序 Download PDF

Info

Publication number
CN102387395A
CN102387395A CN2011102593582A CN201110259358A CN102387395A CN 102387395 A CN102387395 A CN 102387395A CN 2011102593582 A CN2011102593582 A CN 2011102593582A CN 201110259358 A CN201110259358 A CN 201110259358A CN 102387395 A CN102387395 A CN 102387395A
Authority
CN
China
Prior art keywords
image
screen
picture
stereo
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011102593582A
Other languages
English (en)
Inventor
深泽辽
工藤祐介
北尾崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102387395A publication Critical patent/CN102387395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)

Abstract

提供了一种图像处理设备、图像处理方法和计算机程序,该图像处理设备,包括:操作识别单元,用于识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及图像绘制单元,用于基于操作识别单元提供的识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。

Description

图像处理设备、图像处理方法和计算机程序
技术领域
本公开涉及图像处理设备、图像处理方法和计算机程序。
背景技术
时分驱动视频显示装置是输出多个视频流而同时以时分方式顺序地切换视频流的视频显示装置。这样的时分驱动视频显示装置的例子包括利用所谓的快门眼镜的时分立体视频显示系统(例如,参见日本专利申请特开第9-138384号、第2000-36969号和第2003-45343号)和利用快门眼镜以允许多个观看者观看不同视频而无需划分屏幕的多视频显示系统。
人们从右眼和左眼所获得的二维视网膜视频之间的差异(双眼视差)中提取多个深度线索(cue)并且合并多个深度线索,由此感知三维信息并将对象识别为像三维的立体视频。眼球的转动运动改变会聚角,即视线的交叉角,并且人们基于该会聚角来确定距对象的距离,从而以三维方式识别空间。利用该原理以立体方式示出图像被称为立体视觉。利用用于右眼和左眼的各图像所示出的图像被称作立体图像。通过准备用于右眼和左眼的多个图像并连续改变用于右眼和左眼的多个图像而示出的视频被称作立体视频。能够显示立体图像和视频的设备被称作立体视频显示装置。
时分立体视频显示系统是利用以下立体视频显示装置的视频显示系统,该立体视频显示装置以极短的周期在整个屏幕上交替显示左眼视频和右眼视频并同时与左眼视频和右眼视频的显示周期同步地单独提供右眼视频和左眼视频。例如,在快门眼镜方法中,在显示左眼视频的同时,快门眼镜的左眼单元使光通过,而右眼单元屏蔽光。另一方面,在显示右眼视频的同时,快门眼镜的右眼单元使光通过,而左眼单元屏蔽光。
一种用于生成立体图像的方法包括:准备两个摄像机,以水平移位的方式安装一个摄像机用于右眼而安装另一个摄像机用于左眼,并获取具有视差的图像的方法。在通过计算机图形制作的立体视频中,从屏幕到用户的距离以及右眼的位置和左眼的位置是虚拟限定的,并且被渲染为好像从右眼的位置观看要显示的对象的图像和被渲染为好像从左眼的位置观看要显示的对象的图像被生成为两个视差图像。
发明内容
然而,由于根据上述步骤生成利用上述双眼视差的立体图像,因而在图像生成期间的视点位置(上述摄像机位置和虚拟视点位置)限制为每个图像一个点作为可以被正确识别为立体图像的视点位置。由于上述原因,假定在显示这些立体图像时从视频显示装置的前方观看这些立体图像。
因此,当在同一屏幕上显示多个立体图像时,所显示的每个立体图像均在其自身的前方具有视点位置。这意味着在整个屏幕中对于一个屏幕有多个视点位置。这降低了整个屏幕的观看放松度,并且存在观看者的眼睛高度紧张的问题。
鉴于上述问题,期望提供一种能够在显示立体图像时改善观看者的观看放松度的新的改进的图像处理设备、图像处理方法和计算机程序。
根据本公开的实施例,提供了一种图像处理设备,包括:操作识别单元,用于识别操作信号,该操作信号用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像;以及图像绘制单元,用于基于操作识别单元提供的识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。
当图像绘制单元显示操作识别单元所标识的聚焦图像时,图像绘制单元可以在屏幕上绘制图像以在屏幕上将该图像显示为立体图像,而当图像绘制单元显示除了操作识别单元所标识的聚焦图像之外的图像时,图像绘制单元可以在屏幕上绘制图像以在屏幕上将该图像显示为平面图像。
当屏幕上的滚动速度等于或大于预定速度作为操作识别单元所执行的识别的结果时,图像绘制单元可以在屏幕上绘制图像以在屏幕上将该图像显示为平面图像。
当屏幕上的滚动速度不大于或不等于预定速度作为操作识别单元所执行的识别的结果时,图像绘制单元可以进行如下操作。当图像绘制单元显示操作识别单元所标识的聚焦图像时,图像绘制单元可以在屏幕上绘制图像以在屏幕上将该图像显示为立体图像,而当图像绘制单元显示除了操作识别单元所标识的聚焦图像之外的图像时,图像绘制单元可以在屏幕上绘制图像以在屏幕上将该图像显示为平面图像。
图像绘制单元可以基于图像在屏幕上占据的面积的尺寸在屏幕上绘制该图像以将该图像显示为立体图像或平面图像。
图像绘制单元可以基于从屏幕中的图像到屏幕的中心的距离在屏幕上绘制该图像以将该图像显示为立体图像或平面图像。
当图像绘制单元在屏幕上绘制图像以在屏幕上将图像显示为平面图像,并且图像将要被显示在相对于屏幕的中心的右侧时,图像绘制单元可以利用在用于将图像显示为立体图像的图像之中的用于左眼的图像来生成平面图像,而当图像将要被显示在相对于屏幕的中心的左侧时,图像绘制单元可以利用在用于将图像显示为立体图像的图像之中的用于右眼的图像来生成平面图像。
根据本公开的另一实施例,提供了一种图像处理方法,包括:识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及基于识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。
根据本公开的又一实施例,提供了一种计算机程序,用于使计算机执行:识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及基于识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。
如上所述,根据本公开,可以在显示立体图像时改善观看者的观看放松度。
附图说明
图1是图示了通过立体显示装置实现的立体视觉的原理的说明图;
图2是图示了通过立体显示装置实现的立体视觉的原理的说明图;
图3是图示了通过立体显示装置实现的立体视觉的原理的说明图;
图4是示意性图示了根据本公开的实施例的视频显示系统的配置的说明图;
图5是示意性图示了根据本实施例的显示装置的配置的说明图;
图6是图示了根据本实施例的显示装置中的视频信号控制单元的功能配置的框图;
图7是图示了根据本实施例的通过显示装置执行的图像绘制处理的流程图;
图8是图示了在显示装置的图像显示单元上显示多个立体图像的情况的说明图;
图9是图示了在显示装置的图像显示单元中只有给予聚焦(focus)的立体图像被显示为立体图像的情况的说明图;
图10是图示了从前面观看图像显示单元的屏幕的情况的说明图;
图11是用于图示从图像显示单元的上方观看立体图像的情况以说明显示在图像显示单元的屏幕上的立体图像的示意图;
图12是用于图示从图像显示单元的上方观看立体图像的情况以说明显示在图像显示单元的屏幕上的立体图像的示意图;
图13是用于图示从图像显示单元的上方观看立体图像的情况以说明显示在图像显示单元的屏幕上的立体图像的示意图;
图14是用于图示从图像显示单元的上方观看立体图像的情况以说明显示在图像显示单元的屏幕上的立体图像的示意图;
图15是用于图示从图像显示单元的上方观看立体图像的情况以阐述说明在图像显示单元的屏幕上的立体图像的示意图;
图16是图示了根据本实施例通过显示装置执行的另一图像绘制处理的流程图;
图17是图示了在显示装置的图像显示单元上显示场景搜索应用程序的屏幕的情况的说明图;以及
图18是图示了在显示装置的图像显示单元上显示场景搜索应用程序的屏幕的情况的说明图。
具体实施方式
一种图像处理设备,包括:操作识别单元,用于识别操作信号,该操作信号用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像;以及图像绘制单元,用于基于操作识别单元提供的识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。
一种图像处理方法,包括:识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及基于识别结果在屏幕上绘制图像,以在屏幕上将该图像显示为立体图像或平面图像。
下文中,将参照附图来详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同功能的结构元件和结构被标示为相同的参考标号,并且省略这些结构元件的重复说明。
以下阐述将按下列顺序做出。
1.立体视觉的原理
2.本公开的实施例
2-1.根据本公开的实施例的视频显示系统的配置
2-2.根据本公开的实施例的显示装置的配置
2-3.根据本公开的实施例的显示装置的操作
3.结论
<1.立体视觉的原理>
首先,将参照附图来阐述立体显示装置中所使用的立体视觉的原理。如图1所示,人们从右眼和左眼所获得的二维视网膜视频之间的差异(双眼视差)中提取多个深度线索(cue)并且合并多个深度线索,由此感知三维信息并将对象识别为像三维的立体视频。
眼球的转动运动改变会聚角,如图1中所示,并且人们基于该会聚角来确定距对象的距离,从而以三维方式识别空间。如图1中所示,会聚角是视线的交叉角。利用上述人类特性,准备被给定了针对右眼和左眼的视差的两个平面图像,如图2中所示,并且将这两个平面图像单独投射到右眼和左眼。这样基于会聚角产生了距对象的距离的幻觉,如图3中所示,从而人们可以以立体方式识别图像。视差是用于右眼的图像和用于左眼的图像之间的位移量,如图2中所示。利用该原理,可以以立体方式示出图像。
<2.本公开的实施例>
[2-1.根据本公开的实施例的视频显示系统的配置]
首先将阐述根据本公开的实施例的视频显示系统10的配置。图4是示意性图示了根据本实施例的视频显示系统10的配置的说明图。图4还示出了显示装置100和在观看者将显示在显示装置100上的图像感知为立体图像时所使用的快门眼镜200。视频显示系统10包括显示装置100和快门眼镜200。
图4中所示的显示装置100包括用于显示图像的图像显示单元110。显示装置100是不仅可以在图像显示单元110上显示正常图像还可以在图像显示单元110上显示被观看者感知为立体图像的立体图像的装置。
尽管稍后将详细阐述图像显示单元110的配置,但是这里仍简要阐述图像显示单元110的配置。图像显示单元110包括光源、液晶面板和中间夹着液晶面板的一对极化板。光源发射的光穿过液晶面板和极化板,以被转换为在预定方向上极化的光。
快门眼镜200包括右眼图像传输单元212和左眼图像传输单元214,右眼图像传输单元212和左眼图像传输单元214由例如液晶快门制成。快门眼镜200响应于从显示装置100传输的信号,对均由液晶快门制成的右眼图像传输单元212和左眼图像传输单元214执行开启操作和闭合操作。右眼图像传输单元212和左眼图像传输单元214所执行的开启操作和闭合操作由稍后阐述的快门控制单元130来执行。观看者可以通过观看从图像显示单元110发出的、穿过快门眼镜200的右眼图像传输单元212和左眼图像传输单元214的光,将显示在图像显示单元110上的图像感知为立体图像。
另一方面,当在图像显示单元110上显示正常图像时,观看者可以通过将从图像显示单元110输出的光看成它本来的样子而将该图像感知为正常图像。
在图4中,显示装置100被示出为电视接收机,但是应当理解到,显示装置的形态不限于本公开中的这样的例子。例如,根据本公开的显示装置可以是例如通过连接到诸如个人电脑等的另一电子装置来使用的监视器,或者显示装置可以是移动游戏机、移动电话或便携式音乐播放装置。
[2-2.根据本公开的实施例的显示装置的配置]
随后,将阐述根据本公开的实施例的显示装置100的配置。图5是示意性图示了根据本实施例的显示装置100的配置的说明图。
如图5中所示,根据本实施例的显示装置100包括图像显示单元110、视频信号控制单元120、快门控制单元130、定时控制单元140、存储器150和背光控制单元155。
图像显示单元110以上述方式显示图像,并且当从外部源施加信号时,根据所施加的信号来显示图像。图像显示单元110包括显示面板112、栅极驱动器113、数据驱动器114和背光115。
显示面板112根据从外部源施加的信号来显示图像。显示面板112通过顺序地扫描多个扫描线来显示图像。具有预定定向的液晶分子被填充在显示面板112的透明板之间的空间中,透明板由玻璃等制成。显示面板112的驱动系统可以是扭曲向列型(TN)系统、垂直定向(VA)系统或共面切换(in-plane-switching,简称IPS)系统。在以下阐述中,除非有其他说明,否则显示面板112的驱动系统就是VA系统,但是应当理解,本公开不限于该例子。应当注意,根据本实施例的显示面板112是可以以高速帧率(例如,120Hz或240Hz)对屏幕进行重写的显示面板。在本实施例中,用于右眼的图像和用于左眼的图像以预定定时交替显示在显示面板112上,从而使观看者感知立体图像。
栅极驱动器113是驱动显示面板112的栅极总线(在附图中未示出)的驱动器。信号从定时控制单元140传输到栅极驱动器113,并且栅极驱动器113根据从时序控制单元140传输的信号将信号输出到栅极总线。
数据驱动器114是生成被施加到显示面板112的数据线(在附图中未示出)的信号的驱动器。信号从定时控制单元140传输到数据驱动器114。数据驱动器114根据从定时控制单元140传输的信号来生成要被施加到数据线的信号,并输出所生成的信号。
背光115被设置在从观看者那侧看来的图像显示单元110的最远侧。当图像被显示在图像显示单元110上时,未被极化的白光(未极化的光)从背光115输出到位于观看者那侧的显示面板112。例如,背光115可以利用发光二极管,或者可以利用冷阴极管。应当注意,图5中所示的背光115是表面光源,但是本公开不限于这样的例子。例如,光源可以被布置在显示面板112的周围部分,并且可以通过利用漫射器板等漫射来自光源的光而将光输出到显示面板112。可替换地,例如,点光源和聚光透镜可以与表面光源结合使用,或者替代表面光源。
当视频信号控制单元120从视频信号控制单元120的外部源接收视频信号和用于标识聚焦图像的操作信号,视频信号控制单元120基于所接收到的操作信号的识别结果而对所接收到的视频信号执行各种信号处理,使得视频信号变得适合于在图像显示单元110中显示立体图像或平面图像,并输出处理后的视频信号。稍后将详细阐述用于标识聚焦图像的操作信号。视频信号控制单元120处理过的视频信号被传输到定时控制单元140。当视频信号控制单元120执行信号处理时,视频信号控制单元120根据该信号处理将预定信号传输到快门控制单元130。视频信号控制单元120所执行的信号处理的例子包括以下处理。
当视频信号控制单元120接收到用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)、用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)以及用于标识聚焦图像的操作信号时,基于所接收到的操作信号的识别结果来做出关于该图像是否将被显示为立体图像的确定。当该图像将要被显示为立体图像时,视频信号控制单元120根据所接收到的两个视频信号生成用于立体图像的视频信号。在本实施例中,视频信号控制单元120根据所接收到的右眼视频信号和左眼视频信号生成视频信号,以按照以下时分方式的顺序在显示面板112上显示图像:用于右眼的图像、用于左眼的图像、用于右眼的图像、用于左眼的图像,等等。在一些情况下,用于左眼的图像的多个帧和用于右眼的图像的多个帧被重复显示。在这样的情况下,例如,视频信号控制单元120生成视频信号以按照以下顺序显示图像:用于右眼的图像、用于右眼的图像、用于左眼的图像、用于左眼的图像、用于右眼的图像、用于右眼的图像,等等。
另一方面,当视频信号控制单元120接收到用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)、用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)以及用于标识聚焦图像的操作信号时,基于所接收到的操作信号的识别结果来做出关于该图像是否将被显示为立体图像的确定。当该图像将不被显示为立体图像时,即,当该图像将被显示为平面图像时,视频信号控制单元120根据所接收到的两个视频信号中的至少一个来生成稍后描述的用于平面图像的视频信号。
快门控制单元130接收根据视频信号控制单元120执行的信号处理所生成的预定信号,并根据该预定信号生成用于控制快门眼镜200的快门操作的快门控制信号。快门眼镜200基于快门控制单元130所生成的、并基于例如IEEE802.15.4无线传输的快门控制信号,来执行右眼图像传输单元212和左眼图像传输单元214的开启操作和闭合操作。背光控制单元155接收基于通过视频信号控制单元120执行的信号处理所生成的预定信号,并根据该信号来生成用于控制背光的发光操作的背光控制信号。
根据从视频信号控制单元120传输的信号,定时控制单元140生成用于操作栅极驱动器113和数据驱动器114的脉冲信号。当通过定时控制单元140生成脉冲信号,并且栅极驱动器113和数据驱动器114接收到定时控制单元140所生成的脉冲信号时,与从视频信号控制单元120传输来的信号对应的图像被显示在显示面板112上。
存储器150存储显示装置100的各种设置、用于操作显示装置100的计算机程序等等。
随后,将阐述根据本公开的实施例的显示装置100中的视频信号控制单元120的功能配置。图6是图示了根据本实施例的显示装置100中的视频信号控制单元120的功能配置的框图。
在图6中,视频信号控制单元120包括用于执行图像绘制处理的图像绘制处理单元122,以用于在图像显示单元110上显示立体图像或平面图像。此外,图像绘制处理单元122包括操作识别单元,124和图像绘制单元126。
操作识别单元124适用于识别用于标识聚焦图像的、传输到视频信号控制单元120的、从显示在图像显示单元110的屏幕上的图像中选择的操作信号。操作信号是表示当多个图像被显示在图像显示单元110上时由观看者执行的操作等的信号。操作信号的例子包括表示利用遥控器(未示出)等的箭头键进行选择的信号、表示利用鼠标(未示出)的指针进行选择(单击)的信号、以及表示在鼠标的指针的位置处做出选择(鼠标在对象之上)的信号等等。此外,操作信号的其他例子包括表示观看者的头跟踪和眼睛跟踪的信号。操作识别单元124识别操作信号并且标识从显示在图像显示单元110的屏幕上的图像中选择的聚焦图像。
图像绘制单元126基于操作识别单元124所识别的操作信号的识别结果,将要被显示在图像显示单元110上的图像绘制为立体图像或平面图像。
当图像绘制单元126接收到用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)和用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)时,基于操作识别单元124所给出的识别结果来做出是否对图像给予聚焦的确定。当对图像给予聚焦时,图像绘制单元126根据所接收到的两个视频信号来生成用于立体图像的视频信号。
另一方面,当图像绘制单元126接收到用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)和用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)时,基于操作识别单元124所给出的识别结果来做出是否对图像给予聚焦的确定。当未对图像给予聚焦时,图像绘制单元126根据所接收到的两个视频信号中的至少一个生成用于平面图像的视频信号。例如,当未对图像给予聚焦时,图像绘制单元126根据所接收到的两个视频信号中预先限定的那个(即右眼视频信号或左眼视频信号)生成用于平面图像的视频信号。例如,当未对图像给予聚焦作为操作识别单元124的识别结果,并且图像将被显示在相对于图像显示单元110的屏幕的中心的右侧时,图像绘制单元126根据所接收到的两个视频信号中的左眼视频信号生成用于平面图像的视频信号。另一方面,当未对图像给予聚焦作为操作识别单元124的识别结果,并且图像将要被显示在相对于图像显示单元110的屏幕的中心的左侧时,图像绘制单元126根据所接收到的两个视频信号中的右眼视频信号生成用于平面图像的视频信号。通过该处理,观看者可以观看到适当的平面图像。可替换地,例如,当未对图像给予聚焦作为操作识别单元124的识别结果,并且图像将被显示在相对于图像显示单元110的屏幕的中心的右侧时,图像绘制单元126根据所接收到的两个视频信号中的右眼视频信号生成用于平面图像的视频信号。另一方面,当未对图像给予聚焦作为操作识别单元124的识别结果,并且图像将被显示在相对于图像显示单元110的屏幕的中心的左侧时,图像绘制单元126根据所接收到的两个视频信号中的左眼视频信号生成用于平面图像的视频信号。
[2-3.根据本公开的实施例的显示装置的操作]
随后,将阐述根据本公开的实施例的显示装置100的操作。首先,将阐述根据本实施例的显示装置100所执行的图像绘制处理。图7是图示了根据本实施例的显示装置100所执行的图像绘制处理的流程图。
在图7中,首先,当视频信号控制单元120接收到用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)和用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)时,图像绘制处理单元122的操作识别单元124识别用于标识由视频信号控制单元120所接收到的聚焦图像的操作信号,并确定是否对图像给予聚焦(步骤S100)。
当对图像给予聚焦作为步骤S100中的确定结果时(步骤S100中为是),图像绘制处理单元122的图像绘制单元126绘制图像以在图像显示单元110上显示立体图像(步骤S102),然后该处理结束。
当未对图像给予聚焦作为步骤S100中的确定结果时(步骤S100中的否),图像绘制处理单元122的图像绘制单元126绘制图像以在图像显示单元110上显示平面图像(步骤S104),然后该处理结束。
根据图7的图像绘制处理,在图像显示单元110上将聚焦图像显示为立体图像而非聚焦图像被显示为平面图像。例如,如图8中所示,当多个立体图像160、161、162被显示在显示装置100的图像显示单元110上时,所显示的立体图像160、161、162中的每个都在其自身的前方具有视点位置。这意味着在整个屏幕中对于一个屏幕有多个视点位置。这降低了整个屏幕中的观看放松度,从而观看者的眼睛高度紧张。另一方面,例如,如图9中所示,当只有通过观看者执行的操作等所选择的具有框163的立体图像160(即,只有聚焦立体图像160)被作为立体图像显示在显示装置100的图像显示单元110上时,平面图像164、165被显示为平面图像而非立体图像161、162,对于一个屏幕不存在多个视点位置,而只有一个视点位置。这改善了观看者的观看放松度。
在图9中,例如,当通过观看者执行的操作等将框163移动到平面图像165使得平面图像165被选择(即,聚焦)时,显示立体图像162而非平面图像165,并且显示与立体图像160对应的平面图像(未示出)而非立体图像160。
图10至15是图示了在图像显示单元110的屏幕上显示多个立体图像166、167、168、169、170的情况的说明图。图10是图示了从前方观看图像显示单元110的屏幕的情况的说明图。图11-15是用于图示从图像显示单元110的上方观看立体图像的情况以阐述显示在图像显示单元110的屏幕上的立体图像的示意图。
在图10中,在图像显示单元110的屏幕上显示多个不同图像尺寸的立体图像166、167、168、169、170。如图10中所示,位于接近于屏幕的中心位置处的立体图像166的图像尺寸大于其他立体图像167、168、169、170的图像尺寸,而位于远离屏幕的中心位置处的立体图像169、170的图像尺寸小于其他立体图像166、167、168的图像尺寸。相应地,如图11中所示,观看者感觉好像立体图像166被显示在比其他立体图像167、168、169、170更接近于观看者的位置处,而立体图像169、170被显示在比其他立体图像166、167、168更远离观看者的位置处。
在图10和11中,类似于图12,只有立体图像166(即聚焦图像)被显示为立体图像,而立体图像167、168、169、170(即非聚焦图像)被显示为平面图像171、172、173、174而非立体图像167、168、169、170,从而如上所述这改善了观看者的观看放松度。
在图10至12中,在图像显示单元110的屏幕上显示多个不同图像尺寸的图像。类似地,甚至当如图13中所示在图像显示单元110的屏幕上显示相同图像尺寸的多个立体图像175、176、177、178、179时,仍可以改善观看者的观看放松度。换句话说,如图14中所示,只有立体图像175(即聚焦图像)被显示为立体图像,而立体图像176、177、178、179(即非聚焦图像)被显示为平面图像180、181、182、183而非立体图像176、177、178、179,从而如上所述这改善了观看者的观看放松度。
如图15中所示,位于接近于屏幕的中心位置处的立体图像166的图像尺寸大于其他立体图像(未示出)的图像尺寸。类似地,甚至当使观看者感觉好像立体图像166被显示在比其他立体图像(未示出)更接近于观看者的位置处时,仍可以改善观看者的观看放松度。换句话说,如图15中所示,只有立体图像166(即聚焦图像)被显示为立体图像,而其他立体图像(即,非聚焦图像)被显示为平面图像180、181、182、183而非立体图像(未示出),从而如上所述这改善了观看者的观看放松度。
随后,将阐述根据本实施例的通过显示装置100执行的另一图像绘制处理。图16是图示了根据本实施例的通过显示装置100执行的另一图像绘制处理的流程图。
在图16中,首先,当视频信号控制单元120接收用来在图像显示单元110上显示用于右眼的图像的视频信号(右眼视频信号)和用来在图像显示单元110上显示用于左眼的图像的视频信号(左眼视频信号)时,图像绘制处理单元122的操作识别单元124识别视频信号控制单元120所接收到的用于标识聚焦图像的操作信号,并确定图像显示单元110的屏幕中的滚动速度是否等于或大于预定速度(步骤S200)。
当确定滚动速度不大于或不等于预定速度作为步骤S200中的确定结果时(步骤S200中为否),图像绘制处理单元122的操作识别单元124识别视频信号控制单元120所接收到的用于标识聚焦图像的操作信号,并确定是否对图像给予聚焦(步骤S202)。
当对图像给予聚焦作为步骤S202中的确定结果时(步骤S202中为是),图像绘制处理单元122的图像绘制单元126绘制图像以在图像显示单元110上显示立体图像(步骤S204),然后该处理结束。
当确定滚动速度等于或大于预定速度作为步骤S200中的确定结果时(步骤S200中为是),或者不对图像给予聚焦作为步骤S202中的确定结果时(步骤S202中为否),图像绘制处理单元122的图像绘制单元126绘制图像以在图像显示单元110上显示平面图像(步骤S206),然后该处理结束。
根据图16的另一图像绘制处理,当滚动速度等于或大于图像显示单元110的屏幕上的预定速度时,所有图像均被显示为平面图像,并且当滚动速度不大于或不等于预定速度时,聚焦图像被显示为立体图像,而非聚焦图像被显示为平面图像。例如,如图17中所示,当例如在显示装置100的图像显示单元110上显示场景搜索应用程序的屏幕时,观看者所执行的操作的滚动速度等于或大于预定速度,如果聚焦图像184被显示为立体图像则整个屏幕中的观看放松度降低。这可能进一步增大观看者眼睛的紧张。由于该原因,当滚动速度等于或大于预定速度时,所有图像均被显示为平面图像,使得改善了观看者的观看放松度并降低了观看者眼睛的紧张。另一方面,当滚动速度不大于或不等于预定速度时,甚至当聚焦图像184被显示为立体图像时整个屏幕的观看放松度仍不会降低,并且这不会增大观看者眼镜的紧张。因此,在该情况下,聚焦图像184被显示为立体图像,使得观看者看见立体图像。
在如上所述的本实施例中,用于标识聚焦图像的操作信号被识别以确定是否对图像给予聚焦,并且只有聚焦图像被显示为立体图像。可替换地,如图18中所示,可以基于图像在图像显示单元110的屏幕中占据的区域的尺寸来做出关于图像是否将被显示为立体图像的确定。例如,在图像显示单元110的屏幕中占据最大区域的图像185可以被显示为立体图像。
在如上所述的本实施例中,用于标识聚焦图像的操作信号被识别以确定是否对图像给予聚焦,并且只有聚焦图像被显示为立体图像。可替换地,如图18中所示,可以基于在图像显示单元110的屏幕中从图像到屏幕中心的距离大小来做出关于图像是否将被显示为立体图像的确定。例如,在图像显示单元110的屏幕中,在距中心的距离最小的位置处的(即,位置最接近于中心的)图像185可以被显示为立体图像。
<3.结论>
如上所述,根据本公开的实施例的显示装置100识别用于标识图像显示单元110的屏幕上所显示的图像中的聚焦图像的操作信号,并基于识别结果来绘制图像以在图像显示单元110的屏幕上将图像显示为立体图像或平面图像。
例如,当显示装置100显示聚焦图像时,显示装置100绘制图像以在图像显示单元110的屏幕上将图像显示为立体图像。当显示装置100显示除了聚焦图像之外的图像时,显示装置100绘制图像以在图像显示单元110的屏幕上将图像显示为平面图像。
因此,根据本公开的实施例的显示装置100可以改善观看者在立体图像显示中观看者的观看放松度。
本公开的目的还可以通过提供存储以下软件的程序代码的记录介质来实现,该软件将上述实施例的功能实现到系统或设备并且使系统或设备的计算机(或CPU、MPU等)读取并执行存储在记录介质中的程序代码。
在这种情况下,从记录介质中读取的程序代码本身实现了上述实施例的功能。因此,程序代码和存储程序代码的记录介质构成了本公开。
提供程序代码的记录介质的例子包括软(注册商标)盘、硬盘、磁光盘、光盘(诸如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW和DVD+RW)、磁盘、非易失性存储卡和ROM。可替换地,程序代码可以经由网络来下载。
通过执行计算机所读取的程序代码来实现上述实施例的功能。此外,还通过基于程序代码所给出的命令而使运行在计算机上的OS(操作系统)执行实际处理的一部分或全部来实现上述实施例的功能。要理解到,通过那些处理来实现的上述实施例的功能也包括在本公开内。
此外,从记录介质读取的程序代码可以被写到与计算机相连的功能扩展单元或插入到计算机中的功能扩展板中设置的存储器,之后可以通过扩展板、设置在扩展单元中的CPU等基于程序代码所给出的命令来执行扩展功能的实际处理的一部分或全部。要理解到,通过那些处理所实现的上述实施例的功能也包括在本公开内。
本领域技术人员应当理解到,可以根据设计要求和其他因素来进行各种修改、组合、子组合和更改,只要这些修改、组合、子组合和更改处于所附权利要求及其等同物的范围内。
例如,在上述实施例中,显示装置100被阐述为用户通过快门眼镜200来观看显示在显示装置100上的图像并将图像感知为立体图像的例子。然而,本公开不限于这样的例子。类似地,本公开也可以被应用于用户直接观看显示在显示装置100上的图像并将图像识别为立体图像的显示装置。
例如,在上述实施例中,视频信号控制单元120接收右眼视频信号和左眼视频信号两者。可替换地,当通过渲染来生成右眼视频信号和左眼视频信号时,不一定基于右视点位置和左视点位置执行两次绘制处理,而可以基于仅一个视点或右视点位置和左视点位置的中间点来执行绘制处理,使得当显示平面图像时可以对于双眼显示同一图像。
例如,当本公开被应用于能够显示立体视频的电子装置(诸如电视接收机和便携式终端)时,用户将对示出多个立体图像(诸如封面流和缩略图)的选择屏幕感觉不那么紧张。当在三维电视机等之中采用双屏幕同时显示模式时,可以以立体显示模式显示主要屏幕,而可以以平面显示模式显示次要屏幕,使得这种配置改善屏幕上的观看放松度并降低观看者眼睛的紧张。此外,还可以从利用显示器的电子广告和电子布告板获得同样的效果。
当对被显示为平面图像的图像本身给定了视差时,该目标图像本身被以突出方式显示。当本公开被应用于这种情况时,也可以获得同样的效果。本公开提供了与可以从用于调整立体效果的方法(即,用于通过消除图像本身的视差来降低上述视差而向右眼和左眼显示完全相同的图像的方法)获得的效果相同的效果。用于调整立体效果的另一方法包括用于向图像添加框的方法。在该方法中,向图像本身添加框,从而易于识别图像深度,这允许观看者更明显地感受到立体效果。由于该原因,通过单独接通/断开中心图像和其他图像中的框来调整立体效果,从而降低观看者的紧张。
本公开包含与2010年9月6日提交到日本专利局的日本在先专利申请JP 2010-198981中披露的主题相关的主题,该在先专利申请的整体内容通过引用结合于此。

Claims (9)

1.一种图像处理设备,包括:
操作识别单元,用于识别操作信号,该操作信号用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像;以及
图像绘制单元,用于基于所述操作识别单元提供的识别结果在所述屏幕上绘制图像,以在所述屏幕上将该图像显示为立体图像或平面图像。
2.根据权利要求1所述的图像处理设备,
其中,当所述图像绘制单元显示所述操作识别单元所标识的聚焦图像时,所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将该图像显示为立体图像,而当所述图像绘制单元显示除了所述操作识别单元所标识的聚焦图像之外的图像时,所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将该图像显示为平面图像。
3.根据权利要求1所述的图像处理设备,
其中,当所述屏幕上的滚动速度等于或大于预定速度作为所述操作识别单元所执行的识别的结果时,所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将该图像显示为平面图像。
4.根据权利要求1所述的图像处理设备,
其中,当所述屏幕上的滚动速度不大于或不等于预定速度作为所述操作识别单元所执行的识别的结果时,所述图像绘制单元进行如下操作:
当所述图像绘制单元显示所述操作识别单元所标识的聚焦图像时,所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将该图像显示为立体图像;以及
当所述图像绘制单元显示除了所述操作识别单元所标识的聚焦图像之外的图像时,所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将该图像显示为平面图像。
5.根据权利要求1所述的图像处理设备,
其中,所述图像绘制单元基于图像在屏幕上占据的面积的尺寸在所述屏幕上绘制该图像以将该图像显示为立体图像或平面图像。
6.根据权利要求1所述的图像处理设备,
其中,所述图像绘制单元基于从屏幕中的图像到所述屏幕的中心的距离在所述屏幕上绘制该图像以将该图像显示为立体图像或平面图像。
7.根据权利要求1所述的图像处理设备,
其中,当所述图像绘制单元在所述屏幕上绘制图像以在所述屏幕上将所述图像显示为平面图像,并且所述图像将要被显示在相对于所述屏幕的中心的右侧时,所述图像绘制单元利用在用于将所述图像显示为立体图像的图像之中的用于左眼的图像来生成平面图像,以及
当所述图像将要被显示在相对于所述屏幕的中心的左侧时,所述图像绘制单元利用在用于将所述图像显示为立体图像的图像之中的用于右眼的图像来生成平面图像。
8.一种图像处理方法,包括:
识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及
基于识别结果在所述屏幕上绘制图像,以在所述屏幕上将该图像显示为立体图像或平面图像。
9.一种计算机程序,用于使计算机执行:
识别用于标识显示在图像显示单元的屏幕上的图像中的聚焦图像的操作信号;以及
基于识别结果在所述屏幕上绘制图像,以在所述屏幕上将该图像显示为立体图像或平面图像。
CN2011102593582A 2010-09-06 2011-08-30 图像处理设备、图像处理方法和计算机程序 Pending CN102387395A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010198981A JP2012060236A (ja) 2010-09-06 2010-09-06 画像処理装置、画像処理方法およびコンピュータプログラム
JP2010-198981 2010-09-06

Publications (1)

Publication Number Publication Date
CN102387395A true CN102387395A (zh) 2012-03-21

Family

ID=44582184

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011102593582A Pending CN102387395A (zh) 2010-09-06 2011-08-30 图像处理设备、图像处理方法和计算机程序
CN2011203363225U Expired - Fee Related CN202738032U (zh) 2010-09-06 2011-08-30 图像处理设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011203363225U Expired - Fee Related CN202738032U (zh) 2010-09-06 2011-08-30 图像处理设备

Country Status (7)

Country Link
US (1) US9648315B2 (zh)
EP (1) EP2426937A1 (zh)
JP (1) JP2012060236A (zh)
KR (1) KR20120024468A (zh)
CN (2) CN102387395A (zh)
BR (1) BRPI1107107A2 (zh)
RU (1) RU2011136116A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409213A (zh) * 2013-06-24 2016-03-16 微软技术许可有限责任公司 立体场景的交错分块渲染

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060236A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
JP5577305B2 (ja) * 2011-08-05 2014-08-20 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9990035B2 (en) * 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze
CN116965014A (zh) * 2021-03-18 2023-10-27 苹果公司 3d环境内基于上下文的对象查看

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050088516A1 (en) * 2003-10-23 2005-04-28 Myoung-Seop Song Display device for both two-dimensional and three-dimensional images and display method thereof
CN1893673A (zh) * 2005-06-30 2007-01-10 三星Sdi株式会社 立体图像显示设备
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
CN202738032U (zh) * 2010-09-06 2013-02-13 索尼公司 图像处理设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3066298B2 (ja) 1995-11-15 2000-07-17 三洋電機株式会社 立体画像観察用眼鏡の制御方法
US6023277A (en) * 1996-07-03 2000-02-08 Canon Kabushiki Kaisha Display control apparatus and method
JP3784967B2 (ja) 1998-07-21 2006-06-14 日本放送協会 立体画像表示方法および装置
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
CN101006733B (zh) * 2004-08-18 2010-05-05 夏普株式会社 图像数据显示装置
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
WO2006074266A2 (en) * 2005-01-05 2006-07-13 Hillcrest Laboratories, Inc. Scaling and layout methods and systems for handling one-to-many objects
JP4533791B2 (ja) * 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
JP4815470B2 (ja) * 2007-06-15 2011-11-16 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2009246625A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 立体表示装置及び立体表示方法並びにプログラム
JP4740990B2 (ja) * 2008-10-10 2011-08-03 東芝テック株式会社 飲食店用テーブル及びこのテーブルを用いた電子メニュー装置
AU2010215135B2 (en) * 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
JP5302715B2 (ja) 2009-02-26 2013-10-02 パナソニック株式会社 スイッチ装置
JP5338549B2 (ja) * 2009-08-05 2013-11-13 ソニー株式会社 表示装置及び表示方法
KR20110044573A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 디스플레이장치 및 그 영상표시방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050088516A1 (en) * 2003-10-23 2005-04-28 Myoung-Seop Song Display device for both two-dimensional and three-dimensional images and display method thereof
CN1893673A (zh) * 2005-06-30 2007-01-10 三星Sdi株式会社 立体图像显示设备
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
CN202738032U (zh) * 2010-09-06 2013-02-13 索尼公司 图像处理设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409213A (zh) * 2013-06-24 2016-03-16 微软技术许可有限责任公司 立体场景的交错分块渲染

Also Published As

Publication number Publication date
CN202738032U (zh) 2013-02-13
EP2426937A1 (en) 2012-03-07
BRPI1107107A2 (pt) 2013-01-22
KR20120024468A (ko) 2012-03-14
JP2012060236A (ja) 2012-03-22
US9648315B2 (en) 2017-05-09
US20120057778A1 (en) 2012-03-08
RU2011136116A (ru) 2013-03-10

Similar Documents

Publication Publication Date Title
JP4576390B2 (ja) 立体的二次元画像表示装置及び立体的二次元画像表示方法
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US10366642B2 (en) Interactive multiplane display system with transparent transmissive layers
CN202738032U (zh) 图像处理设备
US9854229B2 (en) Three-dimensional image processing apparatus and method for adjusting location of sweet spot for displaying multi-view image
CN102466906B (zh) 一种可旋转显示的立体显示器
EP2387245A2 (en) Three dimensional (3D) image display apparatus, and driving method thereof
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
CN102186094B (zh) 一种媒体文件的播放方法及装置
JP2010171628A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US9047797B2 (en) Image display apparatus and method for operating the same
JP5132804B1 (ja) 映像処理装置および映像処理方法
CN201993554U (zh) 一种可切换显示模式的显示器和平板电脑
US9568770B2 (en) Display panel and display apparatus using birefringence
KR102334031B1 (ko) 무안경 입체영상표시장치 및 그 구동방법
US20120293637A1 (en) Bufferless 3D On Screen Display
JP2013055681A (ja) 映像処理装置および映像処理方法
KR101978790B1 (ko) 멀티뷰 디스플레이 장치와 그 구동 방법
US20120056880A1 (en) Image processing apparatus, image processing method, and computer program
KR20160002590A (ko) 입체 영상 디스플레이 방법 및 그를 위한 장치
KR200373107Y1 (ko) 가상 대형 스크린을 이용한 입체영상 관람 장치
KR20130115036A (ko) 다중 사용자 입체영상 처리 장치 및 다중 사용자 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2014225736A (ja) 画像処理装置
KR101227518B1 (ko) 전자 장치 및 입체영상 디스플레이 방법
KR20190010060A (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120321