CN104299517A - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN104299517A
CN104299517A CN201410504329.1A CN201410504329A CN104299517A CN 104299517 A CN104299517 A CN 104299517A CN 201410504329 A CN201410504329 A CN 201410504329A CN 104299517 A CN104299517 A CN 104299517A
Authority
CN
China
Prior art keywords
mentioned
shoot part
display
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410504329.1A
Other languages
English (en)
Inventor
平井隆介
三岛直
下山贤一
三田雄志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN104299517A publication Critical patent/CN104299517A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

通过一种能够使观察者的方便性提高的显示装置。实施方式的显示装置是便携式的显示装置,具备显示部、第1拍摄部和第2拍摄部。显示部具有对图像进行显示的方形的显示画面。第1拍摄部配置在显示部的显示画面以外的周缘区域中的、与显示画面的第一边对应的区域,具有拍摄对象的功能。第2拍摄部配置在周缘区域中的、与和第一边相邻的第二边对应的区域,具有拍摄对象的功能。

Description

显示装置
本发明为下述申请的分案申请,原申请信息如下:
申请日:2013年11月19日
申请号:201310588939.X
发明名称:显示装置
技术领域
本发明涉及便携式的显示装置。
背景技术
以往,公知有如下技术:在显示装置的显示画面以外的周缘区域之中,在方形的显示画面的相互对置的两个边(在相同方向上延伸的两个边)各自对应的区域配置相机,根据两个相机拍摄的观察者的脸图像来检测视线方向,按照检测出的视线方向,使图像的显示位置变化。
专利文献1:日本特开2006-202181号公报
设想将上述现有技术应用于便携式终端(例如平板终端)的情况。该情况下,例如当观察者握持便携式终端中的配置有相机的位置时,该观察者的手将相机遮挡,因此无法取得相机所拍摄的图像。
因此,观察者在握持便携式终端时,需要注意不握持配置有相机的位置。即,对观察者握持便携式终端的位置有一定制约,因此存在观察者的方便性降低的问题。
发明内容
本发明要解决的课题在于,提供一种能够提高观察者的方便性的显示装置。
实施方式的显示装置是便携式的显示装置,具备显示部、第1拍摄部和第2拍摄部。显示部具有对图像进行显示的方形的显示画面。第1拍摄部配置在显示部的显示画面以外的周缘区域中的、与显示画面的第一边对应的区域,具有拍摄对象的功能。第2拍摄部配置在周缘区域中的、与和第一边相邻的第二边对应的区域,具有拍摄对象的功能。
附图说明
图1是实施方式的显示装置的外观图。
图2是表示实施方式的显示装置的构成例的图。
图3是将实施方式的显示装置横置的状态下的光学元件的示意图。
图4是将实施方式的显示装置纵置的状态下的光学元件的示意图。
图5是表示实施方式的控制部的功能构成例的图。
图6是表示实施方式的三维坐标系的图。
图7是表示实施方式的搜索窗和对象物的宽度的一例的图。
图8是用来说明实施方式的可视区域(visible area)的控制例的示意图。
图9是用来说明实施方式的可视区域的控制例的示意图。
图10A~图10D是用来说明实施方式的可视区域的控制例的示意图。
图11是表示实施方式的第1决定部的处理的一例的流程图。
符号说明:1显示装置,10显示部,11显示画面,20第1拍摄部,30第2拍摄部,40光学元件,50显示面板,60控制部,61第1检测部,62确定部,63第1决定部,64第2检测部,65推定部,66第2决定部,67显示控制部。
具体实施方式
以下,参照附图,详细说明本发明的显示装置的实施方式。
本实施方式的显示装置是观察者能够以裸眼观察立体图像的便携式的立体图像显示装置(典型地是平板式的立体图像显示装置),但不限于此。立体图像是包含相互有视差的多个视差图像的图像。视差是指从不同方向观看的视觉的差。另外,实施方式所述的图像可以是静止图像或运动图像中的任一种。
图1是本实施方式的显示装置1的外观图。如图1所示,显示装置1具备显示部10、第1拍摄部20和第2拍摄部30。
显示部10具有对图像进行显示的方形的显示画面11。本实施方式中,显示画面的形状是长方形,大小是7~10英寸左右,但不限于此。在以下的说明中,将显示画面的长边称为第一边,将短边称为第二边。即,在该例中,长方形的显示画面的长边对应于“第一边”,短边对应于“第二边”,但不限于此。
显示部10的显示画面11以外的周缘区域12之中,在与第一边对应的区域配置第1拍摄部20。另外,周缘区域12之中,在与第一边对应的区域配置的第1拍摄部20的数量是任意的,例如可以是配置2个以上的第1拍摄部20的形态。此外,周缘区域12之中,在与第二边对应的区域配置第2拍摄部30。另外,周缘区域之中,在与第二边对应的区域配置的第2拍摄部30的数量是任意的,例如可以是配置2个以上的第2拍摄部30的形态。在以下的说明中,有时将第1拍摄部20或第2拍摄部30所拍摄的图像称为拍摄图像,将拍摄图像中摄入的例如人物的脸等对象物称为对象。此外,在不区分第1拍摄部20和第2拍摄部30的情况下,有时仅称为拍摄部。第1拍摄部20及第2拍摄部30分别能够由公知的各种各样的拍摄装置构成,例如可以由相机构成。
图2是表示显示装置1的构成例的框图。如图2所示,显示装置1具备显示部10和控制部60,该显示部10包含光学元件40和显示面板50。观察者通过经光学元件40观察显示面板50,能够识别显示面板50所显示的立体图像。
光学元件40根据被施加的电压而折射率分布变化。从显示面板50向光学元件40入射的光线朝向与光学元件40的折射率分布相应的方向出射。本实施方式中,例示了光学元件40是液晶GRIN(gradient index:梯度折射率)透镜阵列的情况,但不限于此。
显示面板50设在光学元件40的背面,显示立体图像。显示面板50可以是例如将RGB各色的子像素以RGB作为1像素而配置为矩阵状的公知结构。显示面板50的各像素被分配有与经由光学元件40而观察的方向相应的视差图像所含的像素。这里,将与一个光学开口部(该例中一个液晶GRIN透镜)对应的视差图像的集合称为要素图像。要素图像能够理解为包含各视差图像的像素的图像。各像素的出射光朝向与对应于该像素而形成的液晶GRIN透镜的折射率分布相应的方向出射。显示面板50的子像素的排列也可以是其他公知的排列。此外,子像素不限于RGB这3色。例如,也可以是4色。
控制部60进行如下控制:根据被输入的多个视差图像,生成作为要素图像的集合的立体图像,将生成的立体图像显示在显示面板50上。
此外,控制部60控制向光学元件40施加的电压。本实施方式中,控制部60根据显示装置1的姿势,对显示向光学元件40施加的电压的状态的模式进行切换。这里,作为模式的一例,有第1模式和第2模式。本实施方式中,若显示装置1是横置的状态(或接近横置的状态),则控制部60进行设定为第1模式的控制,另一方面,若显示装置1是纵置的状态(或接近纵置的状态),则控制部60进行设定为第2模式的控制,但不限于此,模式的种类及数量能够任意设定。
图3是示意性地表示将铅垂方向(上下方向)设定为Z轴、将与Z轴正交的左右方向设定为X轴、将与X轴正交的前后方向设定为Y轴、将显示装置1横置的状态时(将显示装置1配置在XZ平面上以使得显示画面11的长边平行于X轴方向的情况)的光学元件40的俯视图。图3的例子中,将光学元件40的表面中心设定为原点。虽省略了详细图示,但光学元件40包含相互对置的一对透明基板和在一对透明基板之间配置的液晶层而构成,上侧的透明基板及下侧的透明基板分别周期性地形成有多个电极。这里,以使在上侧的透明基板形成的多个电极(以下,有时称为“上侧电极”)各自的延伸方向和在下侧的透明基板形成的多个电极(以下,有时称为“下侧电极”)各自的延伸方向正交的方式配置各电极。
图3的例子中,下侧电极的延伸方向与Z轴方向平行,上侧电极的延伸方向与X轴方向平行。该例中,在设定为第1模式的情况下,控制部60以使每个透镜的脊线(日语:稜線)方向在与Z轴方向平行的方向上延伸的液晶GRIN透镜沿X轴方向周期排列的方式,将向上侧电极施加的电压控制为共通的基准电压(例如0V)并且将向下侧电极施加的电压单独控制。即,第1模式的情况下,下侧电极作为电源面发挥功能,另一方面,上侧电极作为接地(ground)面发挥功能。
另一方面,图4是示意地表示将显示装置1纵置的状态时(将显示装置1配置在XZ平面上以使显示画面11的短边平行于X轴方向的情况)的光学元件40的俯视图。图4可以理解为是在XZ平面内使光学元件40以原点为中心从图3的状态90度旋转后的情况的示意图。图4的例子中,上侧电极的延伸方向与Z轴方向平行,下侧电极的延伸方向与X轴方向平行。该例中,在设定为第2模式的情况下,控制部60以使每个透镜的脊线方向在与Z轴方向平行的方向上延伸的液晶GRIN透镜沿X轴方向周期性排列的方式,将向下侧电极施加的电压控制为共通的基准电压(例如0V)并且将向上侧电极施加的电压单独控制。即,第2模式的情况下,上侧电极作为电源面发挥功能,另一方面,下侧电极作为接地面发挥功能。通过如以上那样切换相互正交的上侧电极及下侧电极各自的作用(作为电源面或接地面的作用),能够实现纵横切换显示。
另外,光学元件40的结构不限于上述结构而是任意的。例如,也可以是将可切换on、off来实现横置用的透镜功能的有源栅栏(active barrier)和可切换on、off来实现纵置用的透镜功能的有源栅栏重合的结构。此外,光学元件40也可以是以使光学开口部(例如液晶GRIN透镜)的延伸方向相对于显示面板50的列方向具有规定的倾斜度的方式配置的结构(斜切透镜的结构)。
图5是显示控制部60的功能构成例的框图。如图5所示,控制部60具有第1检测部61、确定部62、第1决定部63、第2检测部64、推定部65、第2决定部66和显示控制部67。另外,控制部60还具有控制向光学元件40具备的电极施加的电压的功能、及控制纵横切换显示的功能,但这里将这些功能的图示及说明省略。
第1检测部61检测显示装置1的姿势。本实施方式中,第1检测部61由陀螺仪构成,但不限于此。第1检测部61以铅垂下方为基准,将显示装置1对铅垂下方的相对角度(姿势角)作为显示装置1的姿势来检测。该例中,将铅垂方向的轴(上下轴)的旋转角称为偏转角(yaw angle),将与铅垂方向正交的左右方向的轴(左右轴)的旋转角称为俯仰角(pitchangle),将与铅垂方向正交的前后方向的轴(前后轴)的旋转角称为倾滚角(roll angle),显示装置1的姿势(倾斜)能够用俯仰角及倾滚角来表示。第1检测部61以规定的周期检测显示装置1的姿势,将该检测结果向确定部62输出。
确定部62根据由第1检测部61检测出的显示装置1的姿势确定第1方向和第2方向,该第1方向表示上述的第一边(显示画面11的长边)的延伸方向,该第2方向表示上述的第二边(显示画面11的短边)的延伸方向。确定部62每当从第1检测部62接收表示显示装置1的姿势的信息时,确定第1方向和第2方向,将表示确定出的第1方向和第2方向的信息向第1决定部63输出。
在第1角度小于第2角度的情况下,第1决定部63将第1拍摄部20决定为在对象的拍摄中使用的至少一个拍摄部,该第1角度表示基准线与由确定部62确定的第1方向所成的角度,该第2角度表示基准线与由确定部62确定的第2方向所成的角度,该基准线表示将作为对象的观察者的两眼连结的线段。第1角度小于第2角度是指,显示画面11的长边相比于显示画面11的短边更接近于与将观察者的两眼连结的线段平行的状态,设想观察者握持周缘区域12之中与显示画面11的短边对应的区域来使用显示装置1(设想将显示装置1以接近于横置的状态来使用)。因而,通过用在周缘区域12之中与长边对应的区域配置的第1拍摄部20进行对象的拍摄,从而无论观察者握持显示装置1的位置如何而能够持续拍摄观察者。
此外,在上述第2角度小于上述第1角度的情况下,第1决定部63将第2拍摄部30决定为在对象的拍摄中使用的至少一个拍摄部。第2角度小于第1角度是指,显示画面11的短边相比于显示画面11的长边更接近于与将观察者的两眼连结的线段平行的状态,设想观察者握持周缘区域12之中与显示画面11的长边对应的区域来使用显示装置1(假定将显示装置1以接近于纵置的状态使用)。因而,通过用在周缘区域12之中与短边对应的区域配置的第2拍摄部30进行对象的拍摄,从而无论观察者握持显示装置1的位置如何而能够持续拍摄观察者。
此外,第1决定部63在进行上述的决定处理前确定基准线。更具体而言,第1决定部63取得第1拍摄部20及第2拍摄部30各自的拍摄图像,使用取得的拍摄图像,进行观察者的脸图像的检测。脸图像的检测方法能够利用公知的各种各样的技术。并且,根据检测出的脸图像,确定表示观察者的两眼的线段的基准线。另外,不限于此,基准线的确定方法是任意的。例如,也可以预先设定表示将观察者的两眼连结的线段的基准线,将该预先设定的基准线存储在未图示的存储器中。该情况下,第1决定部63在进行上述的决定处理前,通过访问未图示存储器,能够确定基准线。同样,也可以将预先设定的基准线保存在外部的服务器装置中,第1决定部63在进行上述的决定处理前,通过访问外部的服务器装置,能确定基准线。
第1拍摄部20及第2拍摄部30之中由第1决定部63决定的一方的拍摄图像被向第2检测部64输出。第2检测部64使用由第1决定部63决定的一方的拍摄图像,进行对该拍摄图像内是否存在对象进行检测的检测处理。并且,在检测到对象的情况下,第2检测部64将表示拍摄图像内的对象的位置及大小的对象位置信息向推定部65输出。
本实施方式中,第2检测部64,在第1拍摄部20及第2拍摄部30之中由第1决定部63决定的一方的拍摄部的拍摄图像上,扫描规定大小的搜索窗,对预先准备的对象的图像的样式(pattern)和搜索窗内的图像的样式之间的类似程度进行评价,从而判定搜索窗内的图像是否是对象。例如在对象物是人物的脸的情况下,能够使用Paul Viola and Michael Jones,“Rapid Object Detection using a Boosted Cascade of Simple Features”IEEEconf.on Computer Vision and Patern Recognition(CVPR 2001)所公开的搜索法。该搜索法对搜索窗内的图像求取几个矩形特征,通过将对各个特征的弱识别器串联连接而成的强识别器,判定是否是正面脸,搜索法不限于此,能够利用公知的各种各样的技术。
推定部65根据通过第2检测部64的检测处理检测出的表示对象的位置及大小的对象位置信息,推定实际空间上的对象的三维位置。这时,优选知晓对象实际的三维空间上的大小,但也可以是平均大小。例如,成人的脸的横宽有平均14cm这样的统计数据。从对象位置信息向三维位置(P,Q,R)的变换基于针孔相机(pin hole camera)模型来进行。
另外,该例中,将实际空间上的三维坐标系如以下这样定义。图6是表示本实施方式的三维坐标系的示意图。如图6所示,本实施方式中,将显示面板50的中心作为原点O,将显示画面的水平方向设定为P轴,将显示画面的铅垂方向设定为Q轴,将显示画面的法线方向设定为R轴。但是,实际空间上的坐标的设定方法不限于此。此外,该例中,将拍摄图像的左上作为原点,将水平右方向设定为取正的x轴,将垂直下方向设定为取正的y轴。
图7是表示在由P轴和R轴构成的PR平面上检测出的对象的搜索窗和实际空间上的对象的P轴上的宽度的图。将由第1决定部63决定的拍摄部(第1拍摄部20或第2拍摄部30)在P轴方向的视场角设为θx,将由拍摄部得到的拍摄图像在R轴方向的焦点位置设为F,将对象在R轴方向的位置设为R。这样,图7中,关于AA’、BB’、OF以及OR,根据相似关系,AA’:BB’=OF:OR的关系成立。另外,AA’表示拍摄部的拍摄图像中的搜索窗在P轴方向的宽度。BB’表示对象在P轴方向的实际宽度。OF表示从拍摄部到焦点位置F的距离。OR表示从拍摄部到对象的位置R的距离。
这里,使从焦点位置F到拍摄图像的端部的距离即FF’为单眼相机(拍摄部)的水平分辨率的一半值wc/2。这样,OF=FF’/tan(θx/2)。
并且,使拍摄图像中的搜索窗在P轴方向的宽度即AA’为搜索窗的x轴方向的像素数。BB’是对象在P轴方向的实际宽度,但假定对象的平均大小。例如,若是脸,则认为平均的脸的横宽是14cm。
由此,推定部65通过以下的式1来求取从拍摄部到对象的距离即OR。
【数学式1】
OR = BB ′ × OF AA ′   ···(式1)
即,推定部65根据由拍摄图像中的搜索窗的像素数所表示的宽度,能够推定对象的三维位置的R坐标。此外,图7中,关于AF、BR、OF以及OR,根据相似关系,AF:BR=OF:OR的关系成立。AF表示拍摄图像中的搜索窗从P轴方向端部A到焦点位置F的距离。此外,BR表示从对象的P轴方向的端部B到对象的R轴方向的位置R的距离。
因此,推定部65通过求取BR,推定对象的三维位置的P坐标。并且,关于QR平面也同样,推定部65推定对象的三维位置的Q坐标。
再次回到图5继续说明。这里,在具体说明第2决定部66及显示控制部67之前,说明对可视区域的设定位置、设定范围进行控制的方法。可视区域的位置通过显示部10的显示参数的组合而确定。作为显示参数,可以举出显示图像的偏移(shift)、显示面板50与光学元件40之间的距离(间隔)、像素的间距、显示部10的旋转、变形、移动等。
图8~图10D是用来说明可视区域的设定位置、设定范围的控制的图。首先,利用图8,说明通过调整显示图像的偏移、显示面板50与光学元件40之间的距离(间隔)来控制可视区域的设定位置等的情况。图8中,若使显示图像例如向右方向(图8(b)中,参照箭头R方向)偏移,则光线向左方向(图8(b)中,箭头L方向)聚集,可视区域向左方向移动(图8(b)中,参照可视区域B)。相反,若使显示图像与图8(a)相比向左方向移动,则可视区域向右方向移动(未图示)。
此外,如图8(a)及图8(c)所示,使显示面板50与光学元件40之间的距离越短,则越能将可视区域设定在接近显示部10的位置。另外,可视区域设定在越接近显示部10的位置,则光线密度越变小。此外,使显示面板50与光学元件40之间的距离越长,则越能将可视区域设定在从显示部10离开的位置。
参照图9,说明通过调整在显示面板50上显示的像素的排列(间距),对设定可视区域的位置等进行控制的情况。能够利用在显示面板50的画面的越右端、越左端则像素与光学元件40的位置越相对大地错开这一情况来控制可视区域。若使像素与光学元件40的位置相对错开的量增大,则可视区域从图9所示的可视区域A变化为可视区域C。相反,若使像素与光学元件40的位置相对错开的量减小,则可视区域从图9所示的可视区域A变化为可视区域B。另外,将可视区域的宽度的最大长(可视区域的水平方向的最大长)称为可视区域设定距离。
参照图10A~图10D,通过显示部10的旋转、变形、移动,说明对设定可视区域的位置等进行控制的情况。图10A表示了显示部10的基础状态,如图10B所示,通过使显示部10旋转,能够使基本状态的可视区域A变化为可视区域B。此外,如图10C所示,通过使显示部10移动,能够使基本状态的可视区域A变化为可视区域C。进而,如图10D所示,通过使显示部10变形,能够使基本状态的可视区域A变化为可视区域D。如以上那样,通过显示部10的显示参数的组合,确定可视区域的位置。
再次回到图5继续说明。第2决定部66以包含由上述推定部65推定的三维位置的方式决定可视区域。更具体而言如以下那样。第2决定部66计算可视区域信息,该可视区域信息表示在由推定部65推定的三维位置中可观察立体图像的可视区域。该可视区域信息的计算中,例如,预先在存储器(未图示)内存储表示与各显示参数的组合对应的可视区域的可视区域信息。并且,第2决定部66通过从该存储器中检索在可视区域中包含从推定部65取得的三维位置的可视区域信息,来计算可视区域信息。
另外,不限于此,第2决定部66的决定方法是任意的。例如,第2决定部66还能够通过运算来决定包含由推定部65推定的三维位置的可视区域的位置。该情况下,例如将三维坐标值和用来求取显示参数的组合的运算式预先对应起来存储在储存器(未图示)中,该显示参数的组合决定包含该三维坐标值的可视区域的位置。并且,第2决定部66还能够从存储器读出与推定部65推定的三维位置(三维坐标值)对应的运算式,利用该读出的运算式求取显示参数的组合,从而决定包含该三维坐标值的可视区域的位置。
显示控制部67进行对显示部10进行控制的显示控制,使得在第2决定部66决定的位置形成可视区域。更具体而言,显示控制部67对显示部10的显示参数的组合进行控制。由此,在显示部10上,显示以包含推定部65推定的对象的三维位置在内的区域为可视区域的立体图像。
接着,参照图11说明第1决定部63的决定处理。图11是表示第1决定部63的决定处理的一例的流程图。首先,第1决定部63从第1拍摄部20及第2拍摄部30分别取得拍摄图像(步骤S1)。接着,第1决定部63利用在步骤S1中取得的拍摄图像,进行观察者的脸图像的检测(步骤S2)。接着,第1决定部63根据在步骤S2中检测出的脸图像,确定表示观察者的两眼的线段的基准线(步骤S3)。接着,第1决定部63根据从确定部62输出的分别表示第1方向(显示画面11的长边方向)及第2方向(显示画面11的短边方向)的信息和在步骤S3中确定的基准线,确定表示第1方向与基准线所成的角度的第1角度、以及表示第2方向与基准线所成的角度的第2角度(步骤S4)。
接着,第1决定部63判定第1角度是否小于第2角度(步骤S5)。在判定为第1角度小于第2角度的情况下(步骤S5:是),第1决定部63将第1拍摄部20决定为在对象的拍摄中使用的拍摄部(步骤S6)。另一方面,在判定为第2角度小于第1角度的情况下(步骤S5:否),第1决定部63将第2拍摄部30决定为在对象的拍摄中使用的拍摄部(步骤S7)。
这里,在如本实施方式那样可纵横切换显示的便携式的显示装置中,设想观察者在将该显示装置以横置的状态使用的情况下,握持周缘区域12之中与短边对应的区域,另一方面,在以纵置的状态使用的情况下,握持周缘区域12之中与长边对应的区域。根据如以往那样仅在周缘区域12之中与方形的显示画面的短边或长边的某一方对应的区域配置相机的结构,观察者在将显示装置的使用状态从横置切换为纵置或从纵置切换为横置时,需要注意不握持配置有相机的位置,因此损害用户的方便性的问题特别显著。
因此,如以上说明的那样,根据本实施方式,在显示部10的周缘区域12之中与显示画面11的第一边(该例中是长方形的显示画面的长边)对应的区域配置第1拍摄部20,在与第二边(该例中是长方形的显示画面11的短边)对应的区域配置第2拍摄部30。由此,例如观察者握持周缘区域12之中与显示画面11的第一边对应的区域来使用显示装置1的情况下,在周缘区域12中的与相邻于显示画面11的第一边(延伸方向不同)的第二边对应的区域中配置的第2拍摄部30不会被观察者的手遮挡。即,无论观察者握持周缘区域12之中与第一边对应的区域内的任何位置,也能通过第2拍摄部30持续拍摄观察者。此外,例如观察者握持周缘区域12之中与显示画面11的第二边对应的区域来使用显示装置1的情况下,在周缘区域12中的与相邻于显示画面11的第二边的第一边对应的区域中配置的第1拍摄部20不会被观察者的手遮挡。因而,无论观察者握持周缘区域12之中与第二边对应的区域内的任何位置,也能通过第1拍摄部20持续拍摄观察者。即,根据本实施方式,能够缓和对观察者握持显示装置1的位置的制约,因此能够提高观察者的方便性。
此外,在便携式的立体图像显示装置中,如上述那样,根据摄入了观察者的拍摄图像来推定观察者的三维位置,以包含推定出的观察者的三维位置的方式进行决定可视区域的控制(称为“可视区域控制”),从而观察者不用为了位于可视区域内而自己移动场所就能够观察立体图像。为了进行该可视区域控制,必须进行观察者的拍摄,若握持显示装置1的观察者的手将相机(拍摄部)遮挡,则无法进行观察者的拍摄,引起无法适当地进行可视区域控制的问题。
对此,根据本实施方式,无论观察者为了将立体图像显示装置的使用状态从横置切换为纵置或从纵置切换为横置而如何改变握持该立体图像显示装置的位置,也能够持续拍摄观察者,因此具有提高了观察者的方便性、并且能够进行适当的可视区域控制这样的有利效果。
另外,上述实施方式的控制部60采用包含CPU(Central ProcessingUnit)、ROM、RAM以及通信I/F装置等的硬件结构。上述的各部(第1检测部61、确定部62、第1决定部63、第2检测部64、推定部65、第2决定部66、显示控制部67)的功能通过CPU利用RAM执行在ROM中存储的程序来实现。此外,不限于此,还能将上述各部的功能的至少一部分用专用的硬件电路实现。
此外,可以将上述实施方式的控制部60所实行的程序存储在与因特网等网络连接的计算机上,通过经由网络进行下载来提供。此外,可以将上述实施方式的控制部60所实行的程序经由因特网等网络提供或分发。此外,可以将上述实施方式的控制部60所实行的程序预先安装到ROM等非易失性记录介质中来提供。
以上,说明了本发明的实施方式,但上述各实施方式是作为例子而提示的,并不意欲限定发明的范围。这些新的实施方式能够以其他各种形态实施,在不脱离发明主旨的范围内,能够进行各种省略、替换和变更。这些新的实施方式及其变形包含在发明的范围及主旨中,并且包含在权利要求的范围所记载的发明及其均等的范围中。
(变形例)
以下,说明变形例。
(1)变形例1
也可以是,第1决定部63将第1拍摄部20及第2拍摄部30中的、拍摄了摄入有对象的图像的一方,决定为在对象的拍摄中使用的至少一个拍摄部。
例如,第1决定部63从第1拍摄部20及第2拍摄部30的各个取得拍摄图像,对取得的两个拍摄图像,分别进行检测在该拍摄图像内是否存在对象的检测处理。并且,在检测出仅在某一方的拍摄图像内存在对象的情况下,第1决定部63还能将拍摄了摄入有对象的拍摄图像的一方的拍摄部,决定为在对象的拍摄中使用的拍摄部。即,可以是,在从一方的拍摄图像检测出对象而从另一方的拍摄图像没有检测出对象的情况下,判断为拍摄了没有检测出对象的一方的拍摄图像的拍摄部被观察者的手遮挡的可能性高,将没有被观察者的手遮挡的可能性高的拍摄部(拍摄了检测出对象的一方的拍摄图像的拍摄部)决定为在对象的拍摄中使用的拍摄部。
(2)变形例2
此外,也可以是,在第1拍摄部20的拍摄图像的亮度值高于第2拍摄部30的拍摄图像的亮度值的情况下,第1决定部63将第1拍摄部20决定为在对象的拍摄中使用的至少一个拍摄部,另一方面,在第2拍摄部30的拍摄图像的亮度值高于第1拍摄部20的拍摄图像的亮度值的情况下,第1决定部63将第2拍摄部30决定为在对象的拍摄中使用的至少一个拍摄部。
例如,还可以是,在第1拍摄部20的拍摄图像所含的各像素的亮度值的平均值高于第2拍摄部30的拍摄图像所含的各像素的亮度值的平均值的情况下,第1决定部63将第1拍摄部20决定为在对象的拍摄中使用的拍摄部,另一方面,在第2拍摄部30的拍摄图像所含的各像素的亮度值的平均值高于第1拍摄部20的拍摄图像所含的各像素的亮度值的平均值的情况下,第1决定部63将第2拍摄部30决定为在对象的拍摄中使用的拍摄部。即,可以是,在一方的拍摄图像的亮度值高于另一方的拍摄图像的亮度值的情况下,判断为拍摄了亮度值低的一方的拍摄图像的拍摄部被观察者的手遮挡的可能性高,将没有被观察者的手遮挡的可能性高的拍摄部(拍摄了亮度值高的一方的拍摄图像的拍摄部)决定为在对象的拍摄中使用的拍摄部。
(3)变形例3
也可以是,将第1拍摄部20及第2拍摄部30中的、未被第1决定部63决定的(未被选的)一方的拍摄部的拍摄图像灵活运用。例如在未被第1决定部63决定的一方的拍摄图像摄入了对象的情况下,上述推定部65还能够利用被第1决定部63决定的一方的拍摄部的拍摄图像和未被决定的一方的拍摄部的拍摄图像,通过公知的三角测量法,推定实际空间上的对象的三维位置。这样,通过将未被第1决定部63决定的(未被选的)一方的拍摄部的拍摄图像灵活运用,能够以更高的精度进行实际空间上的对象的三维位置的推定。
(4)变形例4
此外,上述的实施方式中,例举便携式的立体图像显示装置进行了说明,但不限于此,本发明还能够应用于可显示2D图像(二维图像)的便携式的显示装置,还能够应用于可将2D图像的显示和3D图像(立体图像)的显示切换的便携式的显示装置。总之,本发明的显示装置只要是如下形态即可:便携式的显示装置,具备:显示部,具有对图像进行显示的方形的显示画面;第1拍摄部,配置在显示部的显示画面以外的周缘区域中的、与显示画面的第一边对应的区域,拍摄对象;第2拍摄部,配置在周缘区域中的、与和第一边相邻的第二边对应的区域,拍摄对象。
(5)变形例5
此外,在第1角度小于第2角度的情况下(显示画面11的长边(第一边)相比于显示画面11的短边(第二边)更接近于与基准线平行的情况),上述显示控制部67能够进行将第一边用的图像(长边用的图像)在显示部10上显示的控制,上述第1角度表示基准线与通过确定部62确定的第1方向所成的角度,上述第2角度表示基准线与通过确定部62确定的第2方向所成的角度,上述基准线表示将作为对象的观察者的两眼连结的线段。该例中,显示控制部67进行将视差的方向(视差方向)与第1方向一致的第一边用的图像在显示部10上显示的控制。另外,该情况下,控制部60对光学元件40的各电极的电压进行控制,以使得脊线方向在与第1方向正交的方向上延伸的液晶GRIN透镜沿第1方向周期性排列。例如对光学元件40的各电极的电压进行控制的功能也可以由显示控制部67具有。
另一方面,在第2角度小于第1角度的情况下(显示画面11的短边(第二边)相比于显示画面11的长边(第一边)更接近于与基准线平行的情况),显示控制部67能够进行将第二边用的图像(短边用的图像)在显示部10上显示的控制。该例中,显示控制部67进行将给予视差的方向与第2方向一致的第二边用的图像在显示部10上显示的控制。另外,该情况下,控制部60(例如显示控制部67)对光学元件40的各电极的电压进行控制,以使得脊线方向在与第2方向正交的方向上延伸的液晶GRIN透镜沿第2方向周期性排列。根据以上,根据本变形例,在显示部10上显示的图像由于根据将观察者的两眼连结的线段(基准线)的方向而切换为观察者易于观察的朝向的图像,因此能够进一步提高观察者的方便性。
另外,本变形例还能应用于可显示2D图像的便携式的显示装置。总之,只要是如下形态即可:将图像(3D图像、2D图像)在显示部上显示的显示控制部,在第1角度小于第2角度的情况下,进行将第一边用的图像在显示部上显示的控制,另一方面,在第2角度小于第1角度的情况下,进行将第二边用的图像在显示部上显示的控制。另外,例如2D图像的情况下的第一边用的图像是指,至少应被观察的图像的横方向与第1方向(第一边的延伸方向)一致的图像。此外,例如2D图像的情况下的第二边用的图像是指,至少应被观察的图像的横方向与第2方向(第二边的延伸方向)一致的图像。

Claims (6)

1.一种显示装置,具备:
显示部,具有对图像进行显示的显示画面;
第1拍摄部,配置在上述显示画面的周围,用于拍摄对象;
第2拍摄部,配置在上述显示画面的周围中的与上述第1拍摄部不同的位置,用于拍摄上述对象;以及
第1决定部,将上述第1拍摄部及上述第2拍摄部中的拍摄了摄入有上述对象的图像的拍摄部决定为在上述对象的拍摄中使用的至少一个拍摄部。
2.如权利要求1记载的显示装置,
该显示装置具备推定部,该推定部根据对上述第1拍摄部及上述第2拍摄部中的由上述第1决定部决定的拍摄部所拍摄的图像内的上述对象的位置及大小进行表示的对象位置信息,推定实际空间上的上述对象的三维位置。
3.如权利要求2记载的显示装置,具备:
第2决定部,以包含由上述推定部推定的上述三维位置的方式,决定可视区域;以及
显示控制部,对应于由上述第2决定部决定的上述可视区域,对上述显示部进行控制。
4.如权利要求1记载的显示装置,具备:
上述第1拍摄部的数量是2个,
上述第2拍摄部的数量是2个。
5.一种显示装置,具备:
显示部,具有对图像进行显示的显示画面;
第1拍摄部,配置在上述显示画面的周围,用于拍摄对象;
第2拍摄部,配置在上述显示画面的周围中的与上述第1拍摄部不同的位置,用于拍摄上述对象;以及
第1决定部,在由上述第1拍摄部拍摄的图像的亮度值高于由上述第2拍摄部拍摄的图像的亮度值的情况下,上述第1决定部将上述第1拍摄部决定为在上述对象的拍摄中使用的至少一个拍摄部,另一方面,在由上述第2拍摄部拍摄的图像的亮度值高于由上述第1拍摄部拍摄的图像的亮度值的情况下,上述第1决定部将上述第2拍摄部决定为在上述对象的拍摄中使用的至少一个拍摄部。
6.一种显示装置,具备:
显示部,具有对图像进行显示的显示画面;
第1拍摄部,配置在上述显示画面的周围,用于拍摄对象;
第2拍摄部,配置在上述显示画面的周围中的与上述第1拍摄部不同的位置,用于拍摄上述对象;
第1检测部,检测上述显示装置的姿势;以及
第1决定部,根据由上述第1检测部检测出的上述显示装置的姿势,将上述第1拍摄部及上述第2拍摄部中的某个拍摄部决定为在上述对象的拍摄中使用的至少一个拍摄部。
CN201410504329.1A 2012-11-20 2013-11-19 显示装置 Pending CN104299517A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-253857 2012-11-20
JP2012253857A JP2014102668A (ja) 2012-11-20 2012-11-20 表示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310588939.XA Division CN103839486A (zh) 2012-11-20 2013-11-19 显示装置

Publications (1)

Publication Number Publication Date
CN104299517A true CN104299517A (zh) 2015-01-21

Family

ID=50727453

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201320735328.9U Expired - Fee Related CN203616950U (zh) 2012-11-20 2013-11-19 显示装置
CN201410504329.1A Pending CN104299517A (zh) 2012-11-20 2013-11-19 显示装置
CN201310588939.XA Pending CN103839486A (zh) 2012-11-20 2013-11-19 显示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201320735328.9U Expired - Fee Related CN203616950U (zh) 2012-11-20 2013-11-19 显示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310588939.XA Pending CN103839486A (zh) 2012-11-20 2013-11-19 显示装置

Country Status (3)

Country Link
US (2) US20140139427A1 (zh)
JP (1) JP2014102668A (zh)
CN (3) CN203616950U (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057064A (ko) * 2013-11-18 2015-05-28 엘지전자 주식회사 전자 다바이스 및 그 제어방법
SG10201902705SA (en) * 2019-03-26 2020-10-29 Nec Asia Pacific Pte Ltd Method and system for object detection coverage estimation
CN112468684A (zh) * 2019-09-09 2021-03-09 北京小米移动软件有限公司 摄像头模组和具有该摄像头模组的移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system
CN102541255A (zh) * 2010-09-08 2012-07-04 苹果公司 基于摄像头的从纵向到横向的朝向固定
CN102638646A (zh) * 2011-02-10 2012-08-15 国基电子(上海)有限公司 具镜头切换功能的电子装置及方法
CN202488611U (zh) * 2012-03-31 2012-10-10 北京三星通信技术研究有限公司 移动设备的信号处理电路以及移动设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
CN101237556A (zh) * 2008-03-03 2008-08-06 宇龙计算机通信科技(深圳)有限公司 带双摄像头的终端的实现方法、图像显示方法及通信终端
JP5331887B2 (ja) * 2008-09-15 2013-10-30 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 複数のカメラを有するタッチスクリーンディスプレイ
JP5442746B2 (ja) * 2009-10-01 2014-03-12 三洋電機株式会社 画像表示装置
CN201937772U (zh) * 2010-12-14 2011-08-17 深圳超多维光电子有限公司 跟踪式立体显示设备、计算机及移动终端
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
CN202196458U (zh) * 2011-08-24 2012-04-18 苏州飞锐智能科技有限公司 一种人脸识别系统
JP5679521B2 (ja) * 2012-05-18 2015-03-04 横河電機株式会社 情報表示装置及び情報表示システム
US9148651B2 (en) * 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system
CN102541255A (zh) * 2010-09-08 2012-07-04 苹果公司 基于摄像头的从纵向到横向的朝向固定
CN102638646A (zh) * 2011-02-10 2012-08-15 国基电子(上海)有限公司 具镜头切换功能的电子装置及方法
CN202488611U (zh) * 2012-03-31 2012-10-10 北京三星通信技术研究有限公司 移动设备的信号处理电路以及移动设备

Also Published As

Publication number Publication date
CN203616950U (zh) 2014-05-28
US20140139427A1 (en) 2014-05-22
JP2014102668A (ja) 2014-06-05
CN103839486A (zh) 2014-06-04
US20150015484A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
CN103595987B (zh) 立体图像显示装置、图像处理装置及图像处理方法
US9325968B2 (en) Stereo imaging using disparate imaging devices
CN103595986B (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN104469341B (zh) 显示装置及其控制方法
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
CN102497563B (zh) 跟踪式裸眼立体显示控制方法、显示控制装置和显示系统
KR101852209B1 (ko) 자동입체 디스플레이 및 그 제조방법
CN105072431A (zh) 一种基于人眼跟踪的裸眼3d播放方法及系统
CN105739707A (zh) 电子设备、脸部识别跟踪方法和三维显示方法
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
CN104052987B (zh) 图像显示设备及图像显示方法
CN104102014A (zh) 立体显示装置
US11754975B2 (en) System and method for holographic image display
CN203616950U (zh) 显示装置
CN110381305B (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
CN105263011B (zh) 多视点图像显示设备及其多视点图像显示方法
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN107483915B (zh) 三维图像的控制方法及装置
CN113438465A (zh) 一种显示调节方法、装置、设备及介质
CN105323577B (zh) 多视图图像显示设备及其视差估计方法
CN103051909A (zh) 用于裸眼3d显示的蒙版变换人眼跟踪方法
CN114879377A (zh) 水平视差三维光场显示系统的参数确定方法、装置及设备
CN104717488B (zh) 显示设备和显示方法
Park et al. 5.3: Active Light Field Rendering in Multi‐View Display Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150121