CN102246202A - 图像显示装置、图像显示方法和程序 - Google Patents

图像显示装置、图像显示方法和程序 Download PDF

Info

Publication number
CN102246202A
CN102246202A CN2010800035710A CN201080003571A CN102246202A CN 102246202 A CN102246202 A CN 102246202A CN 2010800035710 A CN2010800035710 A CN 2010800035710A CN 201080003571 A CN201080003571 A CN 201080003571A CN 102246202 A CN102246202 A CN 102246202A
Authority
CN
China
Prior art keywords
image
visual angle
display device
user
display part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800035710A
Other languages
English (en)
Other versions
CN102246202B (zh
Inventor
坂口竜己
梶畠博
稻本义雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102246202A publication Critical patent/CN102246202A/zh
Application granted granted Critical
Publication of CN102246202B publication Critical patent/CN102246202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种图像显示装置可以包括用于呈现图像的显示部。该装置也可以包括用于确定用户相对于显示部的视角的视角计算部。此外，该装置可以包括用于生成代表第一图像的第一图像数据并且用于向显示部供应第一图像数据以用于呈现第一图像的图像生成部。图像生成部可以基于用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成第一图像数据。第二图像可以包括从第一视角观看的物体，而第三图像可以包括从第二视角观看的物体，第一视角和第二视角互不相同并且不同于用户的视角。

Description

图像显示装置、图像显示方法和程序
技术领域
本发明涉及一种图像显示装置、图像显示方法和程序并且具体地涉及一种能够以伪方式显示三维图像的图像显示装置、图像显示方法和程序。
背景技术
显示三维图像的电视接收器被广泛地使用。显示三维图像的电视接收器通过使人的右眼和左眼观看视差图像来将视差图像显示为三维图像。
为了三维显示视差图像，需要专用显示装置(除此之外还需要辅助仪器比如偏光眼镜)。因此仅用已知用于二维图像的显示装置已经难以欣赏三维图像。
此外，例如在由三维图像构成的内容被记录于蓝光盘(注册商标)上的情况下，如果使用一种支持由三维图像构成的内容的显示装置则可以再现三维图像。然而由于已知的显示装置(无显示三维图像的能力)不能将图像显示为三维图像，所以内容被创建为使得在显示该内容时仅能显示左眼图像。
此外，以前已经尝试让用户通过使用以蜂窝电话为代表的便携终端作为观看端口来感知对象如同该对象具有伪三维结构。
例如提出一种使用具有三维结构的CG(计算机图像)模型或者根据终端的移动来选择和显示从许多不同视点捕获的三维对象视频的技术(参见专利文献1)。
此外，提出一种准备具有三维结构的CG数据并且在根据终端的移动来改变视点之时表现和显示该CG数据、因此显示伪三维图像的技术(参见专利文献2)。
引用列表
专利文献
PTL 1：第3791848号日本专利
PTL 2：第2007-047294号公开日本专利申请
发明内容
然而在上述专利文献1中公开的技术中，已经知道三维结构或者需要预备能够预先判断三维结构的图像组。
此外，在上述专利文献2中公开的技术中，也提到一种基于并非CG数据的多透视实况动作图像来显示三维图像的类似技术，但是需要复原三维结构的步骤。因此预料该技术难以应用于实际时间或者运动图像。
因而公开一种图像显示装置。该图像显示装置可以包括用于呈现图像的显示部。该图像显示装置也可以包括用于确定用户相对于显示部的视角的视角计算部。此外，图像显示装置可以包括用于生成代表第一图像的第一图像数据并且用于向显示部供应第一图像数据以用于呈现第一图像的图像生成部。图像生成部可以基于用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成第一图像数据。第二图像可以包括从第一视角观看的物体，而第三图像可以包括从第二视角观看的物体，第一视角和第二视角互不相同并且不同于用户的视角。
此外，公开一种在显示装置的显示部上呈现图像的方法。处理器可以执行程序以使显示装置执行该方法。该程序可以存储于计算机可读存储介质上。该方法可以包括确定用户相对于显示部的视角。该方法也可以包括基于用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成代表第一图像的第一图像数据。第二图像可以包括从第一视角观看的物体，而第三图像可以包括从第二视角观看的物体，第一视角和第二视角互不相同并且不同于用户的视角。此外，该方法可以包括在显示部上呈现第一图像。
附图说明
图1是示出了本发明被应用于的伪三维图像显示装置的外观的图。
图2是示出了图1的伪三维图像显示装置所实现的功能的结构例子的图。
图3是用于说明图2的伪三维图像显示装置的伪三维图像显示处理的流程图。
图4是用于说明图2的伪三维图像显示装置的视角计算处理的流程图。
图5是用于说明视角计算方法的图。
图6是用于说明生成插值图像的图。
图7是用于说明生成插值图像的图。
图8是示出了图1的伪三维图像显示装置所实现的另一功能的结构例子的图。
图9是用于说明图8的伪三维图像显示装置的视角计算处理的流程图。
图10是用于说明通用个人计算机的结构例子的图。
具体实施方式
下文将描述用于实现本发明的最佳方式(下文称为实施例)。应当注意将按以下顺序给出描述。
1.第一实施例(基于相机捕获的图像来计算视角的例子)
2.第二实施例(基于主体的横摇和纵摇来计算视角的例子)
(第一实施例)
(伪三维图像显示装置的外观结构例子)
图1是作为本发明被应用于的一个实施例的结构例子、以伪方式显示三维图像的伪三维图像显示装置的外观。
伪三维图像显示装置1是用户2便携的显示装置并且包括成像部11和显示部12。伪三维图像显示装置1通过使用图像存储部32(图2)中存储的图像来生成与用户2的视角对应的图像并且在显示部12上显示图像。
具体而言，如图1中所示，当用户2改变伪三维图像显示装置1的主体的横摇或者纵摇时，伪三维图像显示装置1基于用户2的脸部图像中的用户2的眼睛等在成像部11捕获的图像内的位置来识别他的/她的视角。然后，伪三维图像显示装置1使用图像存储部32(图2)中存储的图像以生成与视角对应的图像，从而引起与在用户2在移动之时观看三维物体时获得的视差类似的视差并且在显示部12上显示图像。应当注意伪三维图像显示装置1所实现的视差图像不是其中右眼和左眼被设置为视点的普通视差图像而是运动视差引起的图像即如下图像，该图像让用户感觉如同用户通过根据头部和眼睛的移动而观看视点随时间而不同的图像来观看三维对象。因而，在伪三维图像显示装置1的显示部12上显示的图像为二维图像，并且用户2的右眼和左眼将观看的图像相同。
因此，当用户在改变伪三维图像显示装置1的主体的横摇或者纵摇之时观看显示部12时，图像被显示为使得根据用户2的视角(用户2的视线方向和显示部12的显示表面的法线方向形成的角度)的改变来引起视差。因而用户2即使在实际上用双眼观看显示部12上显示的二维图像时仍然面临感官幻象如同用户2在观看根据伪三维图像显示装置1的移动而具有视差的图像。因而，用户2感觉如同用户2在以伪方式观看三维图像。
(伪三维图像显示装置所实现的功能的一个实施例的结构例子)
接着将参照图2描述图1的伪三维图像显示装置1所实现的功能的一个实施例的结构例子。
伪三维图像显示装置1包括成像部11、显示部12、控制器31和图像存储部32。
成像部11由图像拾取器件如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)构成。如图1中所示，在与显示部12基本上相同的平面上提供成像部11，并且成像部11捕获持有伪三维图像显示装置1的用户2的图像。成像部11向控制器31供应捕获的图像。
显示部12由LCD(液晶显示器)、有机EL(电致发光)显示器等构成。如图1中所示，通过使持有伪三维图像显示装置1的主体的用户2显示从控制器31供应并且与观看方向对应的图像，显示部12以伪方式将图像显示为三维图像。
应当注意成像部11捕获的图像是用于参照后文将描述的显示部12的显示表面指定用户2的视角的图像。因此，成像部11捕获的图像是与显示部12对应的图像。例如当成像部11捕获的图像被显示于显示部12上时，在显示部12上显示的图像变成镜像表面图像。因而可以在任何其它位置提供成像部11，只要成像部11可以捕获具有这样的关系的图像(即成像部11沿着与显示部12垂直的线观看用户2这样的关系)。
控制器31控制伪三维图像显示装置1的整个操作并且基于从成像部11供应的图像计算用户2以显示部12的显示表面为参照的视角。此外，控制器31读出图像存储部32中存储的视差图像(即代表视差图像的图像数据)、插值生成与所计算出的视角对应的显示图像(即代表显示图像的图像数据)并且向显示部12输出显示图像用于显示。应当注意在图像存储部32中存储的视差图像是静止图像的立体图像即由右眼图像和左眼图像构成的一对图像。
控制器31包括距离计算部41、视角计算部42和图像生成部(即图像插值/生成部43)。距离计算部41基于成像部11捕获的图像来计算从显示部12的显示表面到用户2的距离。具体而言，距离计算部41从成像部11捕获的用户2的图像提取脸部图像。然后，距离计算部41基于脸部图像的尺寸来粗略计算距离。应当注意距离计算部41计算的从显示部12的显示表面到用户2的距离例如可以由物体检测传感器如红外线传感器测量或者通过其它不同方法来获得，只要可以计算距离。
视角计算部42基于成像部11捕获的图像来计算用户2以显示部12的显示表面为参照的视角。具体而言，视角计算部42从捕获的图像提取用户2的脸部图像。然后，视角计算部42指定双眼在提取的脸部图像中的位置，然后指定其间的中心位置也就是基本上在眉毛之间的位置。此外，视角计算部42基于在成像部11捕获的图像中的用户2的眉毛之间的位置的信息以及距离计算部41计算出的与用户2的距离来计算用户2的视角。
图像存储部32例如由HDD(硬盘驱动)或者半导体存储器构成并且存储多个图像。在图像存储部32中存储的多个图像是通过在改变视点(视线)、成像方向、成像距离等之时捕获同一对象或者风景而获得的多对视差图像。
(图2的伪三维图像显示装置1的伪三维图像显示处理)
接着将参照图3的流程图描述图2的伪三维图像显示装置1的伪三维图像显示处理。
在步骤S1中，成像部11捕获图像并且向控制器31供应捕获的图像。具体而言，如图1中所示，由于用户2持有伪三维图像显示装置1使得用户2观看在显示部12上显示的图像，所以捕获并且向控制器31供应用户2的与成像部11相对的脸部的附近图像。
在步骤S2中，控制器31控制距离计算部41以计算从显示部12到用户2的距离。具体而言，距离计算部41从捕获的图像提取脸部图像并且还基于提取的脸部图像的尺寸来计算距离。换而言之，距离计算部41存储表明预先捕获的标准尺寸脸部的脸部图像与距离之间的尺寸关系的关系表达式并且通过将提取的脸部图像的尺寸代入该关系表达式中来计算距离。
在步骤S3中，控制器31控制视角计算部42以执行视角计算处理并且计算用户2以显示部12的显示表面为参照的视角。
(图2的伪三维图像显示装置1的视角计算处理)
这里将参照图4的流程图描述视角计算处理。
在步骤S31中，视角计算部42从成像部11捕获的图像提取脸部图像并且还从提取的脸部图像指定右眼和左眼的位置。然后，视角计算部42指定在右眼与左眼之间的中心位置(例如基本上在眉毛之间的位置)在成像部11捕获的图像中的何处。换而言之，视角计算部42检测观看方向在水平和竖直方向上从显示部12的显示表面的中心位置起的位移。
在步骤S32中，视角计算部42基于在图像中的眉毛之间的位置以及使用成像部11捕获的图像而计算的从显示部12的显示表面到用户2的距离来分别计算在水平方向和竖直方向上的视角(θ、
Figure BPA00001388538900061
)。
这里的视角是在用户2观察显示部12时用户2的视线方向以显示部12的显示表面为参照的角度。换而言之，视角是为了根据视角对作为显示目标的图像进行转换而必需的参数。然而在现实空间中的视角根据视线方向在水平方向或者竖直方向上的移动距离以及从物体到图像中的对象的距离而改变。因而视角基于存在于图像中的对象(例如图像中的物体)的位置是否是远离还是接近成像位置而改变。
换而言之，在水平方向上的视角的情况下，假设如图5的上部中所示从上方竖直观看成像部11捕获的图像P，在距离d1(在此捕获图像P)处的对象121’的粗线部分被显示为应当在显示部12上显示为成像位置的图像P。另一方面，在比与成像设备的距离d1更远的距离d2处的对象121”中，粗线表明的并且将在显示部12上显示的范围小于对象121’的范围。具体而言，由于对象121’被更近地定位，所以其更宽范围显示于显示部12上。因而在观看方向在水平方向上被偏离距离x的情况下，以对象121’的灭点SP1为参照，视角被改变角度θd1。另一方面，关于对象121”，以对象121”的灭点SP2为参照，视角是比角度θd1更小的角度θd2。换而言之，在待观看的图像中，视角的改变随着对象在成像时更接近成像位置而更大，而视角的改变随着对象在成像时更远离成像位置而更小。
然而难以计算在成像时与图像内的各对象的距离。就这一点而言，视角计算部42根据在显示部12的显示表面与用户2之间的距离来虚拟设置与对象的距离，并且根据虚拟设置的距离来计算视角。
具体而言，视角计算部42根据距离计算部41通过步骤S2的处理而计算的从显示部12的显示表面到用户2的距离D来虚拟设置与图像中的对象的距离d。具体而言，视角计算部42使用以下表达式(1)进行运算以计算距离d。
d＝k？D+C(1)
这里，d代表虚拟设置的与图像中的对象的距离，D代表从显示部12的显示表面到用户2的距离，k代表预定系数，而C代表预定常数。通过计算，如图5中所示，例如在从显示部12的显示表面到用户2’的距离表示为D1而与用户2”的距离表示为比距离D1更远的距离D2的情况下，分别获得虚拟设置的与对象121’和121”的距离d1和d2。换而言之，根据在用户与显示部12的显示表面之间的距离来设置与图像中的对象的距离。应当注意在图5中，用户2’和2”的X标志各自代表在各用户的右眼与左眼之间的中心位置(在眉毛之间的位置)。
然后，视角计算部42如以下表达式(2)中那样根据设置的距离d计算视角θ。
θ＝arctan(x/d)(2)
这里，θ代表视角，d代表虚拟设置的与对象的距离，而x代表通过步骤S31的处理而获得的眉毛之间位置在水平方向上从图像的中心位置起的位移。
具体而言，基于表达式(2)，当距离d如图5中所示为d1时，视角θ是θ角度d1，而当距离d为d2时，视角θ是θ角度d2。因此，当用户2在使脸部靠近显示部12并且注视显示部12之时观看显示部12时，视角θ以从显示部12的中心起的位移x为参照大量改变。与此对照，当用户2在保持脸部远离显示部12之时观看显示部12时，视角的改变以位移x为参照变得更小。因而有可能获得与用户2进行的操作(比如纵摇或者横摇移动伪三维图像显示装置1的主体或者使主体接近或者远离右眼和左眼这样的操作)对应的视角。应当注意可以如在水平方向上的视角θ的情况下那样获得在竖直方向上的视角
Figure BPA00001388538900071
因而省略其描述。
此外，图5中的各视角(θ、
Figure BPA00001388538900072
)应当是显示部12的法线方向以连接用户2’和对象121’或者连接用户2”和对象121”的直线为参照的角度。出于这一原因，图5中的视角(θ、)在严格意义上并无适当关系。然而在这一情况下仅需获得在用户2的右眼和左眼观看的方向与显示部12的显示表面的法线方向之间的相对关系。此外，仅需彼此相对关联并且获得用户2的右眼和左眼在用户2纵摇或者横摇移动伪三维图像显示装置1的主体时观看方向的改变以及显示部12的显示表面的法线方向的改变。因此，除了上述视角之外的内容可以定义为视角。
这里，描述回到图3的流程图。
在步骤S4中，图像插值/生成部43根据存储于图像存储部32中的一对视差图像来插值生成与视角对应的图像。
具体而言，图像插值/生成部43通过形变方法等使用一对视差图像来生成与视角对应的中间视差图像或者生成如下图像，该图像与视角对应并且该图像的视点在连接视差图像的视点的直线上、但是除了这些视点之外(外部视点图像)。
具体而言，如图6中所示，例如在使用分别从视角为θA和θB的视点es1和es2观看物体131时获得的图像作为一对视差图像的情况下，生成从视点es11观看的图像作为视角为θC的中间视差图像。此外，如图6中所示，图像插值/生成部43使用类似一对视差图像以插值生成在视角为θD时从视点es12观看的图像(外部视点图像)。以这一方式，如图6中所示，图像插值/生成部43使用类似一对视差图像以插值生成在视角为θE时从视点es13观看的图像(外部视点图像)。应当注意在图6中，视点es11是在该对视差图像的视点es1与es2之间的中间视点，而视点es12和es13各自是除了视差图像的视点之外的视点、也就是外部视点。
在步骤S5中，图像插值/生成部43通过根据距离d放大或者缩小插值生成的图像来调整比例并且向显示部12供应图像。
在步骤S6中，显示部12根据视角显示插值生成的图像。
通过这样的处理，例如当视角如图7中所示从θ1改变成θ3时，如图像P1至P3中所示显示如下图像，在这些图像中根据视角的改变来改变构成物体131的表面。换而言之，在图7中，在用户在视角θ1所示视线E1中观看显示部12的情况下，显示表面B1、C1和D1可见这样的状态下的图像P1。此外，在用户在视角θ2所示视线E2中观看显示部12的情况下，显示表面B2和D2可见这样的状态下的图像P2。此外，在用户在视角θ3所示视线E3中观看显示部12的情况下，显示表面A3、B3和D3可见这样的状态下的图像P3。
换而言之，假设物体131是前表面为表面B1、B2或者B3的方棱柱体，在根据视角改变的状态下显示物体131。因而有可能观看显示部12上的立体三维图像如同表面B与具有视角θ2的视线E2相向的视角物体131’(即方棱柱体)存在于伪三维图像显示装置1中。
这里，显示部12仅显示二维图像，但是相继显示如下图像，在这些图像中根据视角改变物体131的视点。因而，用户2由于运动视差而面临感官幻象，从而在横摇或者纵摇伪三维图像显示装置1时，用户2可以观看图像如同以伪方式显示三维图像。
此外，例如即使当用户2未持有伪三维图像显示装置1而是将它放在桌上而显示部12向上时仍然有可能让用户2在注视显示部12的方向上移动之时以伪方式观看三维图像。因而有可能让用户2感觉如同用户2注视伪三维图像显示装置1的显示部12所显示的另一三维空间。
应当注意，尽管已经描述其中构成与右眼和左眼对应的视差图像的一对图像用于生成视差图像的例子，但是可以例如根据如下三个图像而不是一对图像生成插值图像，这三个图像包括在竖直方向上也不同的视差图像。此外，尽管已经描述其中预先登记视差图像的例子，但是可以有可能例如以伪方式根据一个图像生成视差图像、然后通过使用上述技术来生成插值图像。此外，可以存储由成像设备用平移、倾斜和变焦功能预先捕获的图像并且选择与视角对应的图像以使用图像如同插值图像。此外可以在图像存储部32中预先存储由运动图像(比如三维图像的电影内容)构成的视差图像。在这样的情况下，可以通过插值生成与观看方向对应的运动图像来以伪方式将运动图像显示为三维运动图像。
(第二实施例)
(伪三维图像显示装置所实现的功能的另一实施例的结构例子)
前文已经描述其中基于成像部11捕获的图像来计算与用户2的距离或者视角的例子。然而在伪三维图像显示装置1为便携终端的情况下，设想在显示部12的显示表面与用户2之间的距离未改变这样多。就这一点而言，在显示部12和用户总是相互隔开预定距离并且该距离不变的假设下，可以通过仅检测伪三维图像显示装置1的横摇和纵摇来确定视角。
图8是示出了伪三维图像显示装置1通过仅检测横摇和纵摇以确定视角而实现的功能的结构例子的图。
换而言之，图8的伪三维图像显示装置1与图2的伪三维图像显示装置1不同在于：去除成像部11，新提供横摇检测部151和纵摇检测部152，以及提供视角计算部161而不是视角计算部42。
横摇检测部151和纵摇检测部152各自由加速度传感器等构成并且分别检测伪三维图像显示装置1的横摇角度和纵摇角度并且向控制器31供应横摇角度和纵摇角度。
控制器31的视角计算部161如上述技术中那样以将与伪三维图像显示装置1的显示部12的显示表面的距离设置为在通常个人正常持有伪三维图像显示装置1时的平均距离为参照来计算视角。
(图8的伪三维图像显示装置1的视角计算处理)
接着将描述图8的伪三维图像显示装置1的伪三维图像显示处理。应当注意，作为伪三维图像显示处理，在图3的流程图中的步骤S1、S2和S5的处理不是必需的并且仅步骤S3中的视角计算处理不同。因而将参照图9的流程图仅描述视角计算处理。
在步骤S21中，横摇检测部151检测伪三维图像显示装置1的横摇角度并且向控制器31供应横摇角度。
在步骤S22中，纵摇检测部152检测伪三维图像显示装置1的纵摇角度并且向控制器31供应纵摇角度。
在步骤S23中，视角计算部161基于从横摇检测部151和纵摇检测部152供应的伪三维图像显示装置1的横摇角度和纵摇角度来计算水平方向和竖直方向的视角(θ、
Figure BPA00001388538900101
)。
在这一情况下，假设用户的脸部在伪三维图像显示装置1的纵摇角度和横摇角度的参考位置面向显示部12，横摇角度和纵摇角度原样设置为视角。
由于如上文所述计算视角(θ、)，所以可以基于图像获得与用户的距离并且省略根据距离的放大或者缩小处理从而可以减少处理负荷。因而有可能向使用图像处理能力并非这样高的操作处理设备的装置(比如蜂窝电话)给予这样的伪三维图像显示功能。
如上文所述，可以通过基于以显示部12的显示表面为参照的视角切换视点来显示二维图像。因而尽管显示二维图像但是可以以伪方式显示三维图像如同显示三维图像。
附带提一点，上述系列处理可以由硬件执行，但是也可以由软件执行。在软件执行系列处理的情况下，从记录介质向并入于专用硬件中的计算机、能够通过安装各种程序执行各种功能的通用个人计算机等安装构成该软件的程序。
图10示出了通用个人计算机的结构例子。个人计算机并入CPU(中央处理单元)1001。输入/输出接口1005经由总线1004连接到CPU 1001。ROM(只读存储器)1002和RAM(随机存取存储器)1003连接到总线1004。
输入部1006、输出部1007、存储部1008和通信部1009连接到输入/输出接口1005。输入部1006由用户用来输入操作命令的输入设备如键盘和鼠标构成。输出设备1007向显示设备输出处理操作屏幕或者处理结果的图像。存储部1008由用于存储程序、各类数据等的硬盘构成。通信部1009由LAN(局域网)适配器等构成并且经由以因特网为代表的网络执行通信处理。此外，驱动1010连接至输入/输出接口1005，该驱动参照可拆卸介质1011(比如磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字万用盘))、光磁盘(包括MD(迷你盘))和半导体存储器)读取和写入数据。
CPU 1001根据在ROM 1002中存储的程序或者从将安装于存储部1008中的可拆卸介质1011读出的(比如磁盘、光盘、磁光盘和半导体存储器)并且从存储部1008向RAM 1003加载的程序执行各类处理。此外，RAM 1003也存储为了CPU 1001适当执行各类处理而必需的数据。
应当注意，在本说明书中，描述在记录介质上记录的程序的步骤包括按描述的时间顺序执行的系列处理和未必按时间顺序而是并行或者个别执行的系列处理。
本申请包含于2009年10月20日向日本专利局提交的日本优先权专利申请JP 2009-241700中公开的主题内容有关的主题内容，通过引用将全部内容结合于此。
标号列表
1   伪三维图像显示装置
11  成像部
31  控制器
32  图像存储部
41  距离计算部
42  视角计算部
43  图像插值/生成部
151 横摇检测部
152 纵摇检测部

Claims (14)

1.一种图像显示装置，包括：
显示部，用于呈现图像；
视角计算部，用于确定用户相对于所述显示部的视角；以及
图像生成部：
用于基于所述用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成代表第一图像的第一图像数据；以及
用于向所述显示部供应所述第一图像数据以用于呈现所述第一图像；
其中所述第二图像包括从第一视角观看的物体而所述第三图像包括从第二视角观看的所述物体，所述第一视角和所述第二视角互不相同并且不同于所述用户的视角。
2.根据权利要求1所述的图像显示装置，其中所述第一图像、所述第二图像和所述第三图像为二维图像。
3.根据权利要求2所述的图像显示装置，其中所述第二图像和所述第三图像分别为左眼图像和右眼图像。
4.根据权利要求1所述的图像显示装置，还包括用于存储所述第二图像和所述第三图像的图像存储部。
5.根据权利要求1所述的图像显示装置，还包括用于捕获所述用户的第四图像的成像部，其中所述成像部沿着与所述显示部垂直的线观看所述用户。
6.根据权利要求5所述的图像显示装置，其中所述成像部被定位于与所述显示部基本上相同的平面上。
7.根据权利要求5所述的图像显示装置，还包括：距离计算部，被配置成：
从所述第四图像提取脸部图像；并且
基于所述脸部图像的尺寸来确定在所述显示部与所述用户之间的距离。
8.根据权利要求5所述的图像显示装置，其中所述视角计算部被配置成：
从所述第四图像提取脸部图像；
确定在所述脸部图像中的眼睛之间的中心位置；并且
基于所述中心位置来确定所述用户的所述视角。
9.根据权利要求8所述的图像显示装置，其中所述视角计算部被配置成基于所述中心位置和在所述显示部与所述用户之间的距离来确定所述用户的所述视角。
10.根据权利要求1所述的图像显示装置，还包括用于确定在所述显示部与所述用户之间的距离的物体检测传感器。
11.根据权利要求1所述的图像显示装置，还包括用于确定在所述显示部与所述用户之间的距离的距离计算部，其中所述图像生成部被配置成基于所述距离来生成所述第一图像数据。
12.根据权利要求1所述的图像显示装置，还包括：
纵摇检测部，用于检测所述图像显示装置的纵摇角度；以及
横摇检测部，用于检测所述图像显示装置的横摇角度；
其中所述视角计算部被配置成基于所述图像显示装置的所述纵摇角度和所述横摇角度来确定所述用户的所述视角。
13.一种在显示装置的显示部上呈现图像的方法，包括：
确定用户相对于所述显示部的视角；
基于所述用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成代表第一图像的第一图像数据；
其中所述第二图像包括从第一视角观看的物体而所述第三图像包括从第二视角观看的所述物体，所述第一视角和所述第二视角互不相同并且不同于所述用户的视角；并且
在所述显示部上呈现所述第一图像。
14.一种存储程序的非瞬态计算机可读存储介质，所述程序在由处理器执行时使显示装置执行一种方法，所述方法包括：
确定用户相对于所述显示装置的显示部的视角；
基于所述用户的视角、代表第二图像的第二图像数据和代表第三图像的第三图像数据来生成代表第一图像的第一图像数据；
其中所述第二图像包括从第一视角观看的物体而所述第三图像包括从第二视角观看的所述物体，所述第一视角和所述第二视角互不相同并且不同于所述用户的视角；并且
在所述显示部上呈现所述第一图像。
CN201080003571.0A 2009-10-20 2010-10-12 图像显示装置、图像显示方法和程序 Expired - Fee Related CN102246202B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-241700 2009-10-20
JP2009241700A JP2011090400A (ja) 2009-10-20 2009-10-20 画像表示装置および方法、並びにプログラム
PCT/JP2010/006060 WO2011048773A1 (en) 2009-10-20 2010-10-12 Image display apparatus, image display method, and program

Publications (2)

Publication Number Publication Date
CN102246202A true CN102246202A (zh) 2011-11-16
CN102246202B CN102246202B (zh) 2014-10-22

Family

ID=43900018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080003571.0A Expired - Fee Related CN102246202B (zh) 2009-10-20 2010-10-12 图像显示装置、图像显示方法和程序

Country Status (6)

Country Link
US (1) US8768043B2 (zh)
EP (1) EP2347384A1 (zh)
JP (1) JP2011090400A (zh)
CN (1) CN102246202B (zh)
BR (1) BRPI1005522A2 (zh)
WO (1) WO2011048773A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458179A (zh) * 2012-05-30 2013-12-18 三星电子株式会社 用于在终端中提供图像的设备和方法
CN103905809A (zh) * 2012-12-27 2014-07-02 索尼公司 信息处理设备和记录介质
CN104603717A (zh) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 显示装置、显示方法以及程序
WO2017101780A1 (zh) * 2015-12-18 2017-06-22 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法、装置、存储介质和电子设备
CN115165115A (zh) * 2022-09-07 2022-10-11 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8896631B2 (en) * 2010-10-25 2014-11-25 Hewlett-Packard Development Company, L.P. Hyper parallax transformation matrix based on user eye positions
KR101763938B1 (ko) * 2010-11-03 2017-08-01 삼성전자주식회사 위치정보 기반의 영상데이터의 처리 방법 및 장치
US9285883B2 (en) * 2011-03-01 2016-03-15 Qualcomm Incorporated System and method to display content based on viewing orientation
TW201239644A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd System and method for dynamically adjusting font size on screen
TW201239869A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd System and method for adjusting font size on screen
US8643703B1 (en) * 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US9449427B1 (en) 2011-05-13 2016-09-20 Amazon Technologies, Inc. Intensity modeling for rendering realistic images
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP2014199963A (ja) * 2011-08-09 2014-10-23 シャープ株式会社 表示装置
JP5087163B1 (ja) 2011-08-31 2012-11-28 株式会社東芝 立体画像表示装置
US9060093B2 (en) 2011-09-30 2015-06-16 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
KR101810170B1 (ko) * 2011-10-10 2017-12-20 삼성전자 주식회사 사용자 위치 기반 이미지 표시 방법 및 장치
JP5646432B2 (ja) * 2011-10-27 2014-12-24 株式会社リョービシステムサービス 画像表示装置及びコンピュータプログラム
US9223902B1 (en) * 2011-11-29 2015-12-29 Amazon Technologies, Inc. Architectures for content identification
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
JP5687670B2 (ja) * 2012-08-31 2015-03-18 株式会社コナミデジタルエンタテインメント 表示制御システム、ゲームシステム、表示制御装置、及びプログラム
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US20150213784A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Motion-based lenticular image display
JP6369079B2 (ja) * 2014-03-20 2018-08-08 大日本印刷株式会社 撮像システム、撮像方法、画像再生装置及びプログラム
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
CA2980384C (en) * 2015-03-31 2022-04-05 Cae Inc. Multifactor eye position identification in a display system
JP5856344B1 (ja) * 2015-07-27 2016-02-09 正樹 房間 ３ｄ画像表示装置
WO2019044188A1 (ja) * 2017-08-29 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10412361B1 (en) 2018-07-16 2019-09-10 Nvidia Corporation Generated stereoscopic video using zenith and nadir view perspectives
CN111071187A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶环境智能调整及驾驶员注册方法和装置、车辆、设备
CN109712193B (zh) * 2018-12-04 2021-06-15 浙江大华技术股份有限公司 一种球机视场角的确定方法及装置
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
KR20210087840A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 영상 처리를 위한 전자 장치, 방법 및 비일시적 저장 매체
US11899204B2 (en) * 2021-06-09 2024-02-13 Snap Inc. Soft follow and pitch angle effects for VR/AR interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296194A (ja) * 1994-04-22 1995-11-10 Canon Inc 画像処理方法およびその装置
JPH09230831A (ja) * 1996-02-27 1997-09-05 Agency Of Ind Science & Technol ディスプレイ、情報処理装置およびその画像表示方法
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115439A (ja) * 1994-10-13 1996-05-07 Canon Inc 画像データ処理装置及び画像再生装置
JPH08147497A (ja) * 1994-11-25 1996-06-07 Canon Inc 画像処理方法及びその装置
JP2000152285A (ja) * 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
US6760021B1 (en) * 2000-07-13 2004-07-06 Orasee Corp. Multi-dimensional image system for digital image input and output
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003289552A (ja) * 2002-03-28 2003-10-10 Toshiba Corp 画像表示端末装置及び立体画像表示システム
JP3791848B2 (ja) 2003-10-28 2006-06-28 松下電器産業株式会社 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム
JP4432462B2 (ja) * 2003-11-07 2010-03-17 ソニー株式会社 撮像装置及び方法、撮像システム
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP4619216B2 (ja) * 2005-07-05 2011-01-26 株式会社エヌ・ティ・ティ・ドコモ 立体画像表示装置及び立体画像表示方法
JP2007047294A (ja) * 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
US8496575B2 (en) * 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
JP4809291B2 (ja) * 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
US8246170B2 (en) * 2007-11-21 2012-08-21 Panasonic Corporation Display apparatus
JP2009146140A (ja) * 2007-12-13 2009-07-02 Ponos Corp ３次元画像表示装置
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
US8233032B2 (en) * 2008-06-09 2012-07-31 Bartholomew Garibaldi Yukich Systems and methods for creating a three-dimensional image
US20100002006A1 (en) * 2008-07-02 2010-01-07 Cisco Technology, Inc. Modal Multiview Display Layout
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296194A (ja) * 1994-04-22 1995-11-10 Canon Inc 画像処理方法およびその装置
JPH09230831A (ja) * 1996-02-27 1997-09-05 Agency Of Ind Science & Technol ディスプレイ、情報処理装置およびその画像表示方法
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458179A (zh) * 2012-05-30 2013-12-18 三星电子株式会社 用于在终端中提供图像的设备和方法
CN104603717A (zh) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 显示装置、显示方法以及程序
CN103905809A (zh) * 2012-12-27 2014-07-02 索尼公司 信息处理设备和记录介质
WO2017101780A1 (zh) * 2015-12-18 2017-06-22 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法、装置、存储介质和电子设备
CN115165115A (zh) * 2022-09-07 2022-10-11 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备
CN115165115B (zh) * 2022-09-07 2023-07-04 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备

Also Published As

Publication number Publication date
EP2347384A1 (en) 2011-07-27
BRPI1005522A2 (pt) 2016-02-23
WO2011048773A1 (en) 2011-04-28
JP2011090400A (ja) 2011-05-06
US8768043B2 (en) 2014-07-01
US20110243388A1 (en) 2011-10-06
CN102246202B (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
CN102246202B (zh) 图像显示装置、图像显示方法和程序
US10755485B2 (en) Augmented reality product preview
US9824485B2 (en) Presenting a view within a three dimensional scene
US9595127B2 (en) Three-dimensional collaboration
TWI544447B (zh) 擴增實境的方法及系統
US9253480B2 (en) Image display device, image display method, and image correction method
US11776142B2 (en) Structuring visual data
WO2016086492A1 (zh) 一种智能移动终端的浸入式视频呈现方法
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
US20130222363A1 (en) Stereoscopic imaging system and method thereof
WO2008084937A1 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
CN101180891A (zh) 立体图像显示装置、立体图像显示方法及计算机程序
US20210225038A1 (en) Visual object history
WO2016169409A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
US11252398B2 (en) Creating cinematic video from multi-view capture data
JP4137923B2 (ja) 画像表示方法および装置
US11128836B2 (en) Multi-camera display
CN111699460A (zh) 多视图虚拟现实用户界面
WO2023242981A1 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法
JP4777193B2 (ja) 立体映像合成装置、形状データ生成方法およびそのプログラム
CN114339120A (zh) 沉浸式视频会议系统
CN112752039A (zh) 电子装置及虚拟现实影片的字幕嵌入方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141022

Termination date: 20211012