CN103069821B - 图像显示装置、图像显示方法及图像修正方法 - Google Patents

图像显示装置、图像显示方法及图像修正方法 Download PDF

Info

Publication number
CN103069821B
CN103069821B CN201180039233.7A CN201180039233A CN103069821B CN 103069821 B CN103069821 B CN 103069821B CN 201180039233 A CN201180039233 A CN 201180039233A CN 103069821 B CN103069821 B CN 103069821B
Authority
CN
China
Prior art keywords
image
viewpoint
anaglyph
motion parallax
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180039233.7A
Other languages
English (en)
Other versions
CN103069821A (zh
Inventor
大场章男
佐佐木伸夫
菅原彰彦
势川博之
稻田徹悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103069821A publication Critical patent/CN103069821A/zh
Application granted granted Critical
Publication of CN103069821B publication Critical patent/CN103069821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

视点检测部(26)检测视听立体影像的用户并追踪其视点,该立体影像包含从被设定为视听标准位置的预定位置观看被摄物体时的左眼用视差图像和右眼用视差图像。当上述视点的移动速度在预定大小以上时,运动视差修正部(30)基于上述视点的移动量决定左眼用视差图像和右眼用视差图像各自的运动视差修正量,生成进行了运动视差修正的立体影像,当上述视点的移动速度不足预定大小时,针对左眼用视差图像和右眼用视差图像分别阶段性地减少运动视差修正的修正量地生成立体影像并输出到显示部(36),直到其恢复到从视听标准位置观看时的视差图像。

Description

图像显示装置、图像显示方法及图像修正方法
技术领域
本发明涉及图像显示装置、图像显示方法及图像修正方法,尤其涉及立体影像中的图像显示及修正。
背景技术
能够立体地提示影像的3D电视(三维电视)等三维显示设备正开始普及到一般用户。能够在移动电话和便携式游戏机等便携式终端设备中立体地提示影像的设备也开始普及,一般用户视听立体影像的机会越来越多。
另一方面,以带照相机功能的移动电话的爆发性普及为开端,小型的照相机模块已被装设到各种信息终端中。不用说智能手机,笔记本PC(PersonalComputer:个人计算机)和平板PC、便携式游戏机等多数便携终端设备中都已开始装设照相机模块。特别是移动电话和便携式游戏机等,不仅很多具备拍摄照片用的照相机模块,还有很多具备为用影像来通信而拍摄用户的脸的照相机模块。此外,在台式PC和游戏机等装置中,也已通过增设照相机模块而能够拍摄用户的脸来进行使用了影像的双向通信。
发明内容
〔发明所要解决的课题〕
在这样的状况下,发明人认识到若能够提示立体影像的便携终端设备还具备拍摄用户的脸的照相机模块,则能够将从所拍摄的用户的脸得到的信息用于立体影像提示的控制的可能性。
本发明是鉴于这样的课题而研发的,其目的在于提供一种将从视听立体影像的用户的脸得到的信息用于立体影像的提示的技术。
〔用于解决课题的手段〕
为解决上述课题,本发明的一个方案的装置是图像显示装置。该装置包括:视点检测部,检测视听立体影像的用户并追踪其视点,所述立体影像是包含从被设定为视听标准位置的预定位置观看被摄物体时的左眼用视差图像和右眼用视差图像的立体影像;运动视差修正部,当上述视点的移动速度变得在预定大小以上时,基于上述视点的移动量决定左眼用视差图像和右眼用视差图像各自的运动视差修正量,生成进行了运动视差修正的立体影像,当上述视点的移动速度变得不足预定大小时,针对左眼用视差图像和右眼用视差图像分别阶段性地减少运动视差修正的修正量地生成立体影像并输出到显示部,直到其恢复到从视听标准位置观看时的视差图像。
本发明的另一方案是图像修正方法。该方法基于视听立体影像的用户的视点的移动量,进行立体影像的运动视差修正,并以视点移动停止为契机,阶段性地减少运动视差修正的修正量,使其恢复到从视听标准位置观看时的立体影像,其中所述立体影像是包含从视听标准位置观看被摄物体时的左眼用视差图像和右眼用视差图像的立体影像。
本发明的另一方案也是图像显示装置。该装置包括:显示部,以视差屏障方式显示影像;视点检测部,追踪视听立体影像的用户的视点,该立体影像包含从视听标准位置观看被摄物体时的左眼用视差图像和右眼用视差图像;以及屏障控制部,与上述视点的移动同步地使屏障的位置变位到从视点视听上述显示部时能看出立体的位置。
本发明的另一方案是图像显示方法。该方法使处理器执行如下步骤:以视差屏障方式显示立体影像的步骤;追踪视听立体影像的用户的视点的步骤,该立体影像包含从视听标准位置观看被摄物体时的左眼用视差图像和右眼用视差图像;以及与上述视点的移动同步地使屏障变位到从视点视听时能看出立体的位置的步骤。
此外,将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、数据结构、记录介质等间变换后的实施方式,作为本发明的方案也是有效的。
〔发明效果〕
通过本发明,能够提供一种将从视听立体影像的用户的脸得到的信息用于立体影像的提示的技术。
附图说明
图1是用于说明视差图像和运动视差的图。
图2是用于说明视差屏障(Parallax Barrie)方式的图。
图3是示意性地表示实施方式的图像显示装置的功能构成的图。
图4是示意性地表示视听标准位置和屏幕及物体的位置关系的图。
图5是说明实施方式的图像显示装置的运动视差修正处理的流程的流程图。
图6是说明运动视差修正控制的处理的流程的流程图。
图7是说明实施方式的图像显示装置的屏障控制处理的流程的流程图。
具体实施方式
[利用视差图像的立体影像]
图1是用于说明视差图像及后述的运动视差的图。图1表示从总称为视点12的第1视点12a及第2视点12b观察设置在x轴上、与y轴垂直的屏幕10的情况。球14相对于屏幕10存在于视点12侧,正方形16存在于视点12的相对于屏幕10的相反侧。
屏幕10a和屏幕10b分别表示从视点12a及视点12b观察球14及正方形16时的影像。从视点12a进行观察时,会观察到正方形16与球14一部分重叠,在屏幕10a中分别处于球14a及正方形16a的位置。从视点12b观察时,会观察到球14和正方形16在屏幕10b中分别如球14b及正方形16b那样处于相分离的位置。
将像这样在从不同位置观察相同物体时,被观察为不同的影像的现象称作视差。由于人的左右眼相距6cm左右,故从左眼看到的影像与从右眼看到的影像(下面,将这样的影像称作“视差图像”)之间会产生视差。据说人脑将用左右眼感知到的视差图像作为一个线索来认识物体的深度。因此,将左眼用视差图像和右眼用视差图像分别投影在它们各自所用的眼睛上时,会被人作为具有深度的立体图像来认识。例如,将图1中的屏幕10a的影像投影到左眼上、将屏幕10b的影像投影到右眼上时,球14被感知为位于屏幕10的靠身体侧,正方形16被感知为位于屏幕10的后方一侧。
3D电视等的三维显示设备是被设计为将左眼用视差图像仅投影到用户的左眼,将右眼用视差图像仅投影到用户的右眼的设备。虽然实现三维显示设备的技术存在很多种,但作为一个方法,有利用快门眼镜的方法。该方法是通过用户佩戴由液晶快门等能够改变影像的屏蔽及透过的眼镜,与在显示设备上时分地交替显示的左眼用视差图像和右眼用视差图像同步地开闭快门,来向用户提示视差图像的方法。
[视差屏障方式的三维显示器]
作为实现三维显示设备的另外的方法,有视差屏障(Parallax Barrier)方式。图2是用于说明视差屏障方式的图。
在图2的(a)中,被附加有斜线的像素群是总称为左眼用像素18的左眼用像素18a~18e。此外,相邻于左眼用像素18的区域是总称为右眼用像素20的右眼用像素20a~20e。此外,假定第1视点12a为用户的左眼,第2视点12b为用户的右眼。在图2的(a)中,通过屏障22,在第1视点12a处右眼用像素20被屏蔽,其仅被提示左眼用像素18。此外,在第2视点12b处,左眼用像素18被屏障22屏蔽,其仅被提示右眼用像素20。由于像素群被配置于显示设备的画面上,故屏障22具有网格状的形状。屏障22可以是被物理地固定的,也可以是例如能够用液晶控制显示位置及网格的间距的。
将从像素群到屏障22之间的距离记为D1、将从屏障22到视点12的距离记为D2、将像素群的像素间距记为P1、将屏障22的网格的间距记为P2、将第1视点12a和第2视点12b的距离记为E时,若它们满足以下2个算式,则通过屏障22,第1视点12a被屏蔽右眼用像素20地仅被提示左眼用像素18,且第2视点12b被屏蔽左眼用像素18地仅被提示右眼用像素20。
E:P1=D1:D2 (1)
P2:D1=P1×2:D1+D2 (2)
与图2的(a)是视点12存在于像素群的中央前面处时的图不同,图2的(b)是视点12存在于像素群的一端的前面时的图。如从上述算式(1)及算式(2)能够明白的那样,若从像素群到屏障22之间的距离D1、从屏障22到视点12的距离D2、像素群的像素间距P1不变,则屏障22的网格的间距在图2的(b)所示的情况和图2(a)所示的情况下不会变。但是,根据视点12存在的位置,应设置屏障22的位置要变化。
以利用快门眼镜的方法和视差屏障方式为代表,多数三维显示设备都通过向用户提示视差图像而实现了有深度感的影像的提示。该视差图像以从某固定的位置(以下称作“视听标准位置”)观察物体为前提。虽然在用户固定视点地观察三维显示设备的期间是没有问题的,但例如因用户左右移动头部等移动了视点时,在仅提示视差图像的方式中就无法追踪以下说明的被称作“运动视差”的现象,有可能成为损害正提示的影像的深度感的原因。
[运动视差]
在图1中,说明了即使是在观察相同物体的情况下,从位置不同的视点12a和视点12b观察的影像也会成为分别不同的影像。此即意味着即使是观察相同物体时,被观察的影像也会根据视点的移动而变化。例如,考虑在图1中一边使视点从视点12a移动到视点12b,一边观察球14和正方形16的情况。此时,将屏幕10固定为标准位置,考虑球14与正方形16相对于屏幕10是怎样相对地移动的。
在视点12a处被观察到位于屏幕10的中央稍微偏右的位置的球14a,在视点沿x轴的正方向移动到视点12b的位置时,将被观察为处于屏幕10的中央稍微偏左的位置的球14b。另一方面,在视点12a处被观察为与屏幕10上的球14a相邻的正方形16a,在视点沿x轴的正方向移动到视点12b的位置时,将被观察为存在于相对于屏幕10的x轴处于正方向的端侧附近的正方形16b。
像这样,视点沿x轴的正方向移动时,位于比被固定为标准位置的屏幕10靠视点侧的球14将被观察为相对于屏幕10沿x轴的负方向移动。另一方面,位于比屏幕10更相对于视点靠深侧的正方形16将被观察为相对于屏幕10沿x轴的正方向移动。由于前者被观察为向与视点移动的方向相反的方向移动,故称作相对于视点“反相”地移动。与此不同,由于后者被观察为向与视点移动的方向相同的方向移动,故称作相对于视点“同相”地移动。物体是“同相”移动还是“反相”移动,以及其移动量,是根据视点与物体的距离及视点与标准位置的距离的大小关系而定的。
将像这样物体的影像的变化方式因视点移动时视点与物体的位置关系而不同的现象称作“运动视差”。人将双眼视差的信息和运动视差的信息都作为用于认识深度的线索。对于观察三维显示设备的用户来说,三维设备的画面是存在于标准位置的固定框。据说在观察着正提示视差图像的三维显示设备的用户移动视点时,例如存在于无限远的物体等被提示为比三维设备的画面更靠深处的物体不与视点同相地移动,是损害用户脑中所构建的三维影像的世界观的原因之一。
[实施方式]
对实施方式的概要进行叙述。实施方式的图像显示装置100追踪观察以从视听标准位置进行观察为前提而生成的立体影像的用户的视点,根据视点的移动量进行该立体影像的运动视差修正,并在用户的视点静止时,逐渐回到运动视差修正前的立体影像。此外,用户观察的三维显示设备是视差屏障方式时,根据用户的视点的移动量,在从移动后的视点视听三维显示设备时使屏障的位置变位到能看出立体的位置。
图3是示意性地表示实施方式的图像显示装置100的功能构成的图。图像显示装置100包括摄像部24、视点检测部26、影像变更检测部28、运动视差修正部30、影像再现部32、屏障控制部34、显示部36、以及影像识别部38。
摄像部24被朝向操作图像显示装置100的用户而设置,拍摄包含用户的脸的被摄物体。摄像部24例如能够用CCD(Charge Coupled Device:电荷耦合组件)、CMOS(Complementary Metal Oxide Semiconductor:互补型金属氧化物半导体)等个体摄像元件来实现。
视点检测部26从摄像部24所拍摄的包含用户脸的被摄物体的影像中,首先检测出用户的脸。用户脸的检测例如能够通过使用SVM(Support VectorMachine:支持向量机)、Boosting等已知的机器学习方法而生成的人脸检测引擎来实现。由此,视点检测部26取得用户的脸的位置和大小、以及观察图像显示装置100的用户的人数。
视点检测部26基于所检测出的用户的脸,检测并追踪用户的眼睛。用户眼睛的检测及追踪例如也能通过前述的使用了机器学习方法的眼球检测引擎来实现。由此,视点检测部26实时地掌握用户的视点的位置。
影像再现部32再现影像内容(contents)。当所指定的内容是二维内容时,影像再现部32原样再现该影像。当所指定的内容是包含从被设定为视听标准位置的预定位置看被摄物体时的左眼用视差图像和右眼用视差图像的立体影像时,根据显示部36的种类来显示影像。
例如显示部36是视差屏障方式的显示设备时,空间分割左眼用视差图像和右眼用视差图像地交互显示。显示部36是以快门眼镜的使用为前提的显示设备时,影像再现部32时分地交替显示左眼用视差图像和右眼用视差图像。
运动视差修正部30在视点检测部26所检测出的用户为一人时,修正影像再现部32所再现的立体影像的运动视差。具体来讲,判断视点检测部26所检测出的用户的视点的移动距离是否在预定长度以下。在此,所谓“预定长度”,是成为判断运动视差修正是否有效的基准的长度。例如用户的视点超过显示部36的大小地移动了时,为修正运动视差需要很大程度地改变影像,但若进行那样的修正,则有可能使影像较大程度地畸变。此外,可以认为当用户的视点超过显示部36的大小地移动时,用户并没有观察着显示部36。
因此,运动视差修正部30在视点检测部26所检测出的用户的视点的移动距离在预定长度以上时,不进行运动视差修正。此外,只要考虑运动视差修正的有效性,通过实验来决定“预定长度”即可。
运动视差修正部30还在视点检测部26所检测出的用户的视点的移动速度超过了预定大小时,基于该视点的移动量来决定左眼用视差图像和右眼用视差图像各自的运动视差修正量,生成进行了运动视差修正的立体影像。在此,所谓“预定大小”,是运动视差修正的有效性与用于计算它的成本相称的大小,是成为是否进行运动视差修正的判断基准的大小。由于用户的视点在静止的时候也会多少有些移动,故若在这样的情况下也进行运动视差修正,则会耗费计算成本。因此,考虑运动视差修正的有效性和计算成本地通过实验来决定成为判断是否进行运动视差修正的基准的“预定大小”即可。
图4是示意性地表示视听标准位置与屏幕10及物体40的位置关系的图。在图4中,位于直线42上的第1视点12a和第2视点12b是视听标准位置。在图4所示的空间中,设定有正交坐标系,分别以坐标(Δx,0,0)及(-Δx,0,0)来表示第1视点12a及第2视点12b。
影像再现部32再现的立体影像被假设为要从图4所示那样的视听标准位置进行视听。因此,运动视差修正部30取得由视点检测部26得到的视点的移动量及其方向。若视点的移动方向是x轴的正方向、其大小为Mx,则运动视差修正部30通过将从坐标(Mx+Δx,0,0)及(Mx-Δx,0,0)观察物体40时的影像透视投影变换到屏幕10上,来进行描绘。此时,若影像再现部32再现的影像是具有应投影的物体的三维模型的三维游戏内容等,则运动视差修正部30基于该三维模型来进行透视投影变换。
影像再现部32所再现的影像是立体广播、Blu-ray Disc(注册商标)等所收录的立体动图像时,运动视差修正部30首先针对左眼用视差图像和右眼用视差图像的各像素求取对应点。该处理例如能够用已知的DP匹配来实现。若求出左眼用视差图像和右眼用视差图像的各像素的对应点,则从其偏移量来计算视差图像的深度图。
在此,所谓“深度图”,是针对构成视差图像的各像素,表示其位于空间上的哪个点的信息。深度图能够用二维图像来表现,各像素的浓度对应于其本身的深度。
例如存在于图4所示的屏幕10上的点,在左眼用视差图像和右眼用视差图像中被图像化到相同位置。相对于屏幕10存在于视听标准位置侧的点被图像化到左眼用视差图像上的位置与被图像化到右眼用视差图像上的位置相比,被图像化于其右侧。相反,相对于屏幕10存在于视听标准位置的深处侧的点被图像化于左眼用视差图像上的位置与被图像化于右眼用视差图像上的位置相比,被图像化于其左侧。这样,通过针对左眼用视差图像和右眼用视差图像的各像素求取对应点,能够将各点的深度信息作为深度图而求出。
运动视差修正部30基于深度图进行运动视差修正。具体来讲,从视点检测部26取得视点的移动量及其方向,针对相对于屏幕10存在于视听标准位置侧的点,以与视点的移动方向反相地移动的方式变换视差图像。相反地,针对相对于屏幕10存在于视听标准位置的相反侧的点,以与视点的移动方向同相地移动的方式变换视差图像。
通过以上的处理,能够实现跟踪视线移动的运动视差修正,能够减轻伴随于视点移动的立体影像深度感的丧失。但是,未必能说这样的伴随于运动视差修正的图像变换就是影像再现部32生成的内容的制作者所想要的图像构建。因此,若从影像本身的构成考虑,则优选尽早地回到从视听标准位置观看时的影像。
因此,运动视差修正部30在从视点检测部26取得的用户视点的移动速度之后未达到预定大小时、即可认为用户的视点静止了时,针对左眼用视差图像和右眼用视差图像分别阶段性地改变运动视差修正的修正量地生成立体影像,直到其成为从视听标准位置观看时的视差图像。虽然在用户移动了视线时根据其移动的量进行运动视差修正,但用户停止视线的移动时,提示给用户的影像逐渐接近从视听标准位置观看时的影像,最终回到从视听标准位置观看时的影像。由此,能够在减轻伴随于视点的移动的立体影像的深度感的丧失和提示内容的制作者本来所意图的影像之间取得平衡。
影像变更检测部28解析影像再现部32所生成的立体影像,检测影像的切换。所谓影像的切换,是指例如影像的特征量较大地变化到会损害作为动图像的连续性的程度。更具体地讲,是指用户切换所再现的内容本身的情况。此外,即使在同一内容中,例如以游戏的内容来讲,舞台变化或映出影像的视点的位置发生变更等的时机是影像的切换,此外,若是电影的内容,则根据剧情切换场景等的时机也是影像的切换。影像变更检测部28例如从影像再现部32接收表示用户已切换了内容的信号,或解析并追踪影像再现部32所生成的立体影像的亮度值和色调、色度的分布的变化,由此能够检测出影像的切换。
影像变更检测部28检测到影像的切换时,运动视差修正部30在影像完成切换后使运动视差修正的修正量无效,将从视听标准位置观看时的立体影像输出到显示部。这是因为在影像的切换前后若用户的视点是静止的,则不需要对影像刚切换后的影像进行运动视差修正,且即使在影像切换前后影像极端地变化了,也不会使用户感到别扭。在能够较早地向用户提示从视听标准位置观看时的影像这一点上有效。
显示部36是视差屏障方式的显示设备时,屏障控制部34与从视点检测部26取得的用户视点的移动同步地使屏障的位置变位到从视点视听显示部36时可看出立体的位置。如前面参照图2说明的那样,屏障22的位置根据视点12的位置而定。例如若假定屏障控制部34从视点检测部26取得的视点移动的变位为Mx,则屏障22应移动的位置是向视点的移动方向移动了如下距离的位置:使视点的移动量Mx乘以由从像素群到屏障22的距离D1及从屏障22到视点12的距离D2决定的预定量D1/(D1+D2)后得到的距离。
屏障22例如由液晶来实现时,屏障控制部34控制施加于液晶的电压,使屏障22的位置变位到在从用户的视点视听显示部36时能看出立体的位置。若屏障22被物理地固定,则屏障控制部34控制未图示的伺服马达等调节器,使屏障22的位置变位。由此,能够与用户视点的移动同步地向用户提供合适的立体影像。
影像识别部38识别影像再现部32要再现的影像是包含被摄物体的左眼用视差图像和右眼用视差图像的立体影像、还是二维影像。在影像再现部32再现的影像为二维影像时,不需要屏障22,甚至其会妨碍视听。因此,屏障控制部34在用户视听的影像再现部32所再现的影像是二维影像时,关闭屏障22的显示。关于这一点,例如屏障22是液晶时,只要使之成为透过光的状态即可,若屏障22是物理地固定的,则通过使屏障22变位到远离显示部36的表面的位置来实现。
在此,运动视差修正部30取得影像识别部38的识别结果,若影像再现部32所再现的影像是二维影像,则可以不对从影像识别部38取得的影像做特别处理地输出到显示部36。虽然由于影像再现部32所再现的影像是二维影像时,左眼用视差图像和右眼用视差图像是相同图像,故无论有无运动视差修正,作为结果输出到显示部36的图像都是从影像识别部38取得的影像本身,但在能够抑制计算成本和耗电这一点上是有利的。
图3表示用于实现实施方式的图像显示装置100的功能构成,省略了其它构成。在图3中,作为进行各种处理的功能块而记载的各要素,从硬件上来讲,能够由CPU(Central Processing Unit:中央处理器)、主存储器、其它LSI(Large Scale Integration:大规模集成电路)来构成,从软件上来讲,由被载入到主存储器的程序等实现。因此,本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种形式实现,并不限定于某一种,作为一个例子,实施方式的图像显示装置100可以是便携式的平板PC或便携式游戏机。
图5是说明实施方式的图像显示装置100的运动视差修正处理的流程的流程图。在以下所示的流程图中,将各部的处理步骤用代表步骤的S(Step的首字母)与数字的组合来表示。此外,当在以S和数字的组合表示的处理中执行某判断处理,其判断结果为肯定时,附加“是”(是的首字母),例如表示为“S12的“是””,相反的,其判断结果为否定时,附加“否”(否的首字母),表示为“S12的“否””。本流程图中的处理于图像显示装置100的电源被接通时开始。
影像识别部38识别并取得影像再现部32所再现的内容的种类(S10)。在此,所谓内容的种类,是表示该内容是包含被摄物体的左眼用视差图像和右眼用视差图像的立体影像、还是二维影像的信息。当影像再现部32要再现的内容的种类是立体影像时(S12的“是”),视点检测部26检测从摄像部24取得的影像中所包含的人物的脸(S14)。
视点检测部26检测到的人物是一个人时(S16的“是”),运动视差修正部30执行运动视差修正控制(S18)。影像再现部32要再现的内容的种类是二维影像时(S12的“否”)、或视点检测部26检测到的人物是两个人以上时(S16的“否”),运动视差修正部30执行二维显示控制(S20)。具体来讲,运动视差修正部30将对从影像识别部38取得的影像不做特别处理地输出到显示部36。图像显示装置100通过继续进行以上处理来实现运动视差修正。
图6是说明运动视差修正控制的处理的流程的流程图,是详细说明图5中的步骤S18的图。
视点检测部26基于检测出的用户的脸来检测用户的眼睛并追踪(S22)。当视点检测部26所检测出的用户视点的移动距离在预定长度以下时(S24的“是”),且用户视点的移动速度在预定大小以上时(S26的“是”),运动视差修正部30针对视点的移动量决定运动视差的修正量(S28)。
在此,所谓运动视差的修正量,例如在影像再现部32要再现的影像是具有应投影的物体的三维模型的三维游戏内容等时,是视点的位置本身,在影像再现部32要再现的影像是立体动图像时,是基于深度图的图像的变换量。运动视差修正部30基于求出的修正量来变换视差图像(S30)。
在步骤S24中,若视点的移动距离在预定长度以上(S24的“否”),则运动视差修正部30不做独断的处理,视点检测部26继续追踪用户的视点。在步骤S26中,若用户的视点的移动速度在预定大小以下(S26的“否”),则运动视差修正部30从影像变更检测部28取得影像变更的有无。若影像没有变更(S32的“否”),则运动视差修正部30阶段性地减少当前的修正量(S34)。若有影像的变更(S32的“是”),则运动视差修正部30取消当前的修正量(S36)。通过反复进行以上处理,图像显示装置100实现运动视差修正。
图7是说明实施方式的图像显示装置100的屏障控制处理的流程的流程图。本流程图的处理是在显示部36为视差屏障方式的显示设备时,图像显示装置100所执行的处理。
影像识别部38识别并取得影像再现部32要再现的内容的种类(S10)。在此,所谓内容的种类,是表示该内容是包含被摄物体的左眼用视差图像和右眼用视差图像的立体影像、还是二维影像的信息。影像再现部32要再现的内容的种类为立体影像时(S12的“是”),视点检测部26检测从摄像部24取得的影像中所包含的人物的脸(S14)。
视点检测部26所检测出的人物是一个人时(S16的“是”),屏障控制部34执行屏障控制(S38)。具体来讲,屏障控制部34与从视点检测部26取得的用户视点的移动同步地使屏障的位置变位到从视点视听显示部36时能看出立体的位置。
影像再现部32要再现的内容的种类是二维影像(S12的“否”)、或者视点检测部26所检测出的人物是二个人以上时(S16的“否”),屏障控制部34及运动视差修正部30执行二维显示控制(S20)。具体来讲,屏障控制部34关闭屏障的显示。由此,在影像再现部32要再现的内容的种类为二维影像时,不显示再现时所不需要的屏障,故能够对用户提示容易视听的影像。即使影像再现部32要再现的内容的种类是立体影像时,运动视差修正部30也仅将其中一方的视差图像输出到显示部36。由此,能够防止在多个用户想要用视差屏障方式的显示设备视听立体影像时可能产生的、从无法适当视听的方向观察影像的情况。
以上结构的动作如下。用户用实施方式的图像显示装置100观察立体影像时,运动视差修正部30基于视点检测部26所追踪到的用户视点的移动量,对立体影像进行运动视差修正。以用户视点停止为契机,运动视差修正部30使立体影像逐步回到运动视差修正前的影像。此外,显示部36为视差屏障方式时,屏障控制部34根据用户视点的移动量,使屏障的位置变位到从移动后的视点视听显示部36时能看出立体的位置。
如以上说明的那样,通过实施方式,能够提供将从视听立体影像的用户的脸得到的信息用于立体影像的提示的技术。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示,其各构成要素和各处理过程的组合可以有各种变形例,且该变形例同样包括在本发明的范围内。
在上述说明中说明了视点检测部26追踪用户的视点时检测用户的眼睛的情况,但视点追踪也可以用眼睛以外的构造作为应检测的特征点。例如,可以将用户的鼻尖视为用户的视点而检测鼻子,也可以追踪眼镜框等人工物品。
尤其是,在显示部36是使用偏光眼镜、快门眼镜的方式的3DTV的情况下,观察显示部36的用户肯定正戴着眼镜。利用此状况,可以向用户所戴的眼镜装设LED(Light Emitting Diode:发光二极管)等检测用标识,来用于视点移动的检测。或者,用户戴的眼镜是快门眼镜时,可以检测快门眼镜的快门的开闭来用于视点移动的检测。无论是哪种情况,视点检测部26都通过对从摄像部24取得的包含用户所佩戴的眼镜的影像进行图像解析来检测视点。由于眼镜等是已被规格化了的人工物品,故与检测用户的眼睛时相比,在能够减少误检测这一点上有利。
〔标号说明〕
24摄像部、26视点检测部、28影像变更检测部、30运动视差修正部、32影像再现部、34屏障控制部、36显示部、38影像识别部、100图像显示装置。
〔工业可利用性〕
此发明涉及图像显示装置、图像显示方法及图像修正方法,尤其能够用于立体影像中的图像显示。

Claims (3)

1.一种图像显示装置,其特征在于,包括:
视点检测部,检测视听立体影像的用户并追踪其视点,所述立体影像是包含从被设定为视听标准位置的预定位置观看被摄物体时的左眼用视差图像和右眼用视差图像的立体影像,
运动视差修正部,在上述视点的移动距离在预定长度以下的情况下,当上述视点的移动速度变得在预定大小以上时,基于上述视点的移动量决定左眼用视差图像和右眼用视差图像各自的运动视差修正量,生成进行了运动视差修正的立体影像,当上述视点的移动速度变得不足预定大小时,针对左眼用视差图像和右眼用视差图像分别阶段性地减少运动视差修正的修正量地生成立体影像并输出到显示部,直到其恢复到从视听标准位置观看时的视差图像,和
影像变更检测部,解析上述立体影像,检测影像的切换;
在上述影像变更检测部检测到影像的切换时,上述运动视差修正部在影像切换后使运动视差修正的修正量无效,将从视听标准位置观看时的立体影像输出到显示部。
2.如权利要求1所述的图像显示装置,其特征在于,
在上述视点检测部检测到视听立体影像的用户是一个人时,上述运动视差修正部进行运动视差修正。
3.一种图像修正方法,其特征在于,
在视听立体影像的用户的视点的移动距离在预定长度以下的情况下,当上述视点的移动速度变得在预定大小以上时,基于上述视点的移动量决定左眼用视差图像和右眼用视差图像各自的运动视差修正量并进行运动视差修正,当上述视点的移动速度变得不足预定大小时,针对左眼用视差图像和右眼用视差图像分别阶段性地减少运动视差修正的修正量,直到其恢复到从视听标准位置观看时的视差图像,其中所述立体影像是包含从视听标准位置观看被摄物体时的左眼用视差图像和右眼用视差图像的立体影像,
解析上述立体影像,检测影像的切换,在检测到影像的切换时,在影像切换后使运动视差修正的修正量无效,输出从视听标准位置观看时的立体影像。
CN201180039233.7A 2010-08-09 2011-04-04 图像显示装置、图像显示方法及图像修正方法 Active CN103069821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-178852 2010-08-09
JP2010178852A JP4903888B2 (ja) 2010-08-09 2010-08-09 画像表示装置、画像表示方法、および画像補正方法
PCT/JP2011/001994 WO2012020522A1 (ja) 2010-08-09 2011-04-04 画像表示装置、画像表示方法、および画像補正方法

Publications (2)

Publication Number Publication Date
CN103069821A CN103069821A (zh) 2013-04-24
CN103069821B true CN103069821B (zh) 2016-09-14

Family

ID=45567499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180039233.7A Active CN103069821B (zh) 2010-08-09 2011-04-04 图像显示装置、图像显示方法及图像修正方法

Country Status (5)

Country Link
US (1) US9253480B2 (zh)
EP (1) EP2605521B1 (zh)
JP (1) JP4903888B2 (zh)
CN (1) CN103069821B (zh)
WO (1) WO2012020522A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037720B (zh) 2008-02-08 2013-11-06 谷歌公司 带有使用定时快门的多个图像传感器的全景照相机
US9485487B2 (en) 2011-06-22 2016-11-01 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display
JP5367846B2 (ja) * 2011-08-24 2013-12-11 株式会社東芝 画像処理装置、方法およびプログラム、並びに、立体画像表示装置
JP6380881B2 (ja) 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5942130B2 (ja) * 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
WO2015045713A1 (ja) * 2013-09-24 2015-04-02 シャープ株式会社 画像処理装置及び画像表示装置
WO2016152217A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
US20170171535A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Three-dimensional display apparatus and method for controlling the same
FI20165059A (fi) 2016-01-29 2017-07-30 Nokia Technologies Oy Menetelmä ja laite videoinformaation käsittelemiseksi
US10607417B2 (en) 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
WO2017212720A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2019022121A (ja) 2017-07-19 2019-02-07 ソニー株式会社 画像処理装置、および画像処理装置の制御方法
GB2566276B (en) * 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
WO2019163272A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 表示装置、表示方法およびコンピュータプログラム
RU2679544C1 (ru) * 2018-04-23 2019-02-11 Василий Александрович ЕЖОВ Стереоскопический дисплей с дистанционным бинокулярным фильтром на противофазных жидкокристаллических слоях
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791570B1 (en) * 1996-12-18 2004-09-14 Seereal Technologies Gmbh Method and device for the three-dimensional representation of information with viewer movement compensation
CN1845612A (zh) * 2005-04-08 2006-10-11 三星电子株式会社 使用混合位置跟踪系统的三维显示装置和方法
CN101739567A (zh) * 2008-11-19 2010-06-16 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序
WO2010068361A1 (en) * 2008-12-11 2010-06-17 Alcatel-Lucent Usa Inc. Method of improved three dimensional display technique

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218864A (ja) * 1994-02-07 1995-08-18 Terumo Corp 立体画像表示装置
JP3229824B2 (ja) 1995-11-15 2001-11-19 三洋電機株式会社 立体映像表示装置
US7092003B1 (en) * 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
DE602004008794T2 (de) * 2003-09-30 2008-06-12 Koninklijke Philips Electronics N.V. Bildwiedergabe mit interaktiver bewegungsparallaxe
JP2005164916A (ja) * 2003-12-02 2005-06-23 Canon Inc 立体表示装置
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP3976040B2 (ja) * 2004-09-17 2007-09-12 セイコーエプソン株式会社 立体画像表示装置
US8159526B2 (en) 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
KR100679054B1 (ko) * 2006-02-15 2007-02-06 삼성전자주식회사 입체 영상을 디스플레이하는 장치 및 방법
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
JP2012501506A (ja) * 2008-08-31 2012-01-19 ミツビシ エレクトリック ビジュアル ソリューションズ アメリカ, インコーポレイテッド 観察者位置にマッチする3dビデオコンテンツの変換

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791570B1 (en) * 1996-12-18 2004-09-14 Seereal Technologies Gmbh Method and device for the three-dimensional representation of information with viewer movement compensation
CN1845612A (zh) * 2005-04-08 2006-10-11 三星电子株式会社 使用混合位置跟踪系统的三维显示装置和方法
CN101739567A (zh) * 2008-11-19 2010-06-16 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序
WO2010068361A1 (en) * 2008-12-11 2010-06-17 Alcatel-Lucent Usa Inc. Method of improved three dimensional display technique

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Moving parallax barrier design for eye-tracking autostereoscopic displays;Sang-Yi Yi et al.;《3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, 2008. IEEE》;20080530;第165-168页 *

Also Published As

Publication number Publication date
WO2012020522A1 (ja) 2012-02-16
US9253480B2 (en) 2016-02-02
JP4903888B2 (ja) 2012-03-28
EP2605521A4 (en) 2015-04-22
US20130147931A1 (en) 2013-06-13
EP2605521A1 (en) 2013-06-19
JP2012039469A (ja) 2012-02-23
CN103069821A (zh) 2013-04-24
EP2605521B1 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
CN103069821B (zh) 图像显示装置、图像显示方法及图像修正方法
US9049428B2 (en) Image generation system, image generation method, and information storage medium
US7787009B2 (en) Three dimensional interaction with autostereoscopic displays
CN107105213B (zh) 立体图像显示装置
KR101275542B1 (ko) 3차원 화상표시장치 및 3차원 화상표시방법
US20160035140A1 (en) Image processing
EP4012482A1 (en) Display
US20130293447A1 (en) Head-mountable display system
EP2249558A1 (en) Digital image capturing device with stereo image display and touch functions
US20160234482A1 (en) Head-mountable display system
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN102428707A (zh) 立体视用图像对位装置,立体视用图像对位方法及其程序
US20120293549A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
CN103392342A (zh) 视区调整的方法和装置、能实现立体显示视频信号的设备
EP2530648B1 (en) Display control program for controlling display capable of providing stereoscopic display, display system and display control method
US9639972B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control method, and display control system for performing display control of a display apparatus capable of stereoscopic display
JP2012142804A (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
CN103248910A (zh) 三维成像系统及其图像再现方法
JP5660818B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5222407B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
CN104432922A (zh) 虚拟现实头盔
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
WO2022266556A1 (en) Methods and systems for motion prediction
KR20120056434A (ko) 3차원 영상 촬상 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant