CN107836020A - 影像显示装置和控制方法 - Google Patents

影像显示装置和控制方法 Download PDF

Info

Publication number
CN107836020A
CN107836020A CN201580080171.2A CN201580080171A CN107836020A CN 107836020 A CN107836020 A CN 107836020A CN 201580080171 A CN201580080171 A CN 201580080171A CN 107836020 A CN107836020 A CN 107836020A
Authority
CN
China
Prior art keywords
image
image display
motion
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080171.2A
Other languages
English (en)
Other versions
CN107836020B (zh
Inventor
松田孝弘
大内敏
瀬尾欣穗
村田诚治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN107836020A publication Critical patent/CN107836020A/zh
Application granted granted Critical
Publication of CN107836020B publication Critical patent/CN107836020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/3413Details of control of colour illumination sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235Field-sequential colour display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Abstract

本发明提供一种能够佩戴在用户头部的影像显示装置,包括:能够切换两种以上的显示方法的影像显示部;对影像显示部指定显示方法的控制部;检测用户头部的运动的第一检测部;检测用户视点的运动的第二检测部;和运动判断部,其基于第一检测部的输出和第二检测部的输出判断装置用户的运动状况。控制部基于运动判断部的判断结果对影像显示部指示进行显示方法的改变。

Description

影像显示装置和控制方法
技术领域
本发明涉及能够佩戴在用户的头部、在用户的眼前显示影像的影像显示装置及其控制方法。
背景技术
关于用户佩戴型的影像显示装置,预想轻量化、小型化的开发在推进,对装置用户的负担减轻。这种影像显示装置具有在能够自由地使用双手的状态下获得信息的优点,期待应用于广泛的用途。
现有技术文献
专利文献
专利文献1:日本特许第5228305号
例如提出了如上述专利文献一般,用眼镜型或者头部佩戴型的佩戴单元,在用户的眼前配置显示部来进行显示和显示结束的装置。
发明内容
发明要解决的课题
在佩戴型的影像显示装置中,装置使用者难以使视线离开影像,优选维持显示的同时减轻因影像的紊乱等而产生的不适感。但是,如参考文献1一般按装置的判断而结束显示,取决于装置的用途也存在持续显示影像重要的情况,该情况下存在对于装置用户而言不利的情况。
认为该影像的紊乱是因影像显示装置的显示方式而引起的。例如如果是使用液晶的影像显示装置则认为有更新画面的影像信息时的画面的闪烁,另外如果是场序方式(色彩时分方式)的影像显示装置则认为有色分离(color break)等。这些影像的紊乱在佩戴型的影像显示装置的情况下,存在因装置用户运动而被装置用户感觉为较大的不适感的可能性。另外,减轻影像的紊乱的显示方法会使耗电增大。
用于解决课题的技术方案
一种用于解决上述课题的能够佩戴在用户头部的影像显示装置,包括:能够切换两种以上的显示方法的影像显示部;对影像显示部指定显示方法的控制部;检测用户头部的运动的第一检测部;检测用户视点的运动的第二检测部;和运动判断部,其基于第一检测部的输出和第二检测部的输出判断装置用户的运动状况。控制部基于运动判断部的判断结果对影像显示部指示进行显示方法的改变。
发明的效果
根据本发明,在佩戴型的影像显示装置中,能够低耗电地减轻装置用户因影像而感受的不适感。
本发明的其他目的、特征和优点将通过与附图相关的以下本发明的实施例的记载说明。
附图说明
图1A是实施例1的影像显示装置10的框图。
图1B是影像显示装置10的外观图的一例。
图1C是佩戴图1B所示的影像显示装置10时的图。
图1D是影像显示装置10的外观图的另一例。
图1E是佩戴图1D所示的影像显示装置10时的图。
图1F是佩戴影像显示装置10的另一例时的图。
图2是表示影像显示装置10内的影像显示部1001的实施例的框图。
图3是表示影像显示部内1001的光源元件2003的实施例的电路图。
图4A是表示影像显示装置10内的影像显示部1001的1倍速显示动作例的时序图。
图4B是表示影像显示装置10内的影像显示部1001的2倍速显示动作例的时序图。
图4C是表示实施影像显示装置10内的影像显示部1001的2倍速显示动作和帧插值的例子的时序图。
图4D是表示影像显示装置10内的影像显示部1001的3倍速显示动作例的时序图。
图5是表示由运动判断处理部1006进行的判断处理的表。
图6是表示由控制部1003和运动判断处理部1006进行的判断处理流程的流程图。
图7A是外部环境的例子。
图7B是影像显示装置10显示的虚拟影像的显示例。
图7C是将虚拟影像与外部环境重叠的例子。
图8A是影像显示装置10的显示例。
图8B是用影像处理部1008减弱对比度后的影像显示例。
图8C是用影像处理部1008减弱锐度后的影像显示例。
图9A是作为影像判断处理部1009的对象的影像的一例。
图9B是作为影像判断处理部1009的对象的影像的另一例。
图10A是表示影像显示装置10内的影像显示部的光源控制停止显示动作例的时序图。
图10B是表示影像显示装置10内的影像显示部的强介电液晶的更新停止动作例的时序图。
图11A是表示第二传感器的一个实施例的图。
图11B是表示第二传感器的一个实施例的详细图。
图12A是影像显示装置的初始设定时的影像例。
图12B是表示影像显示装置的初始设定时的影像显示范围的图。
图13是表示实施例2的影像显示装置130的框图。
图14是表示实施例2的影像显示装置140的框图。
图15是表示实施例2的影像显示装置150的框图。
图16是表示实施例3的影像显示装置160的框图。
图17是表示实施例3的影像显示装置的控制方法例的框图。
具体实施方式
以下,对于本发明的实施例用附图说明。
实施例1
根据附图说明本发明的实施方式。
1.装置的概要
图1A是表示用户能够佩戴的、在用户的眼前显示影像的影像显示装置的框图。
影像显示装置10具备影像显示部1001、显示控制部1002、控制部1003、第一传感器1004、第二传感器1005、运动判断处理部1006、影像信息源1007、影像处理部1008、影像判断处理部1009、存储部1010、频度判断处理部1011、电源部1012。
影像显示装置10将从影像信息源1007取得的影像信息经由影像处理部1008发送至影像显示部1001来显示影像。影像显示部1001代表性地是使用液晶元件或者反射镜阵列元件的显示器。
影像信息源1007适当选择未图示的存储装置中保存的影像信息的数据并根据需要进行数据的解码和解除加密等处理,将影像信息发送至1008。可以时序地发送时序的动态图像,也可以逐次发送静止图像。
控制部1003与位于影像显示装置10外部的控制器1020有线或无线地连接。装置用户20通过操作控制器1020,能够进行影像显示装置10的电源通/断和关于影像的各种设定。控制器1020可以是影像显示装置10专用的控制器,也可以在智能手机中安装专用的应用程序使其能够作为控制器使用。在电源部1012中设置有在控制器之外使电源通/断的开关。
显示控制部1002、控制部1003、运动判断处理部1006、影像信息源1007、影像处理部1008、影像判断处理部1009、频度判断处理部1011分别作为独立的硬件在影像显示装置10中安装。或者,它们也可以用1个以上运算处理器或微处理器和软件或固件实现。它们可以作为集成电路的一部分功能模块安装,也可以用FPGA(Field-Programmable GateArray:现场可编程门阵列)等可编程逻辑器件实现。
关于存储部1010,也无需作为单独的部件安装,可以作为集成电路的一部分功能模块安装。
图1B是影像显示装置10的一例的外观图。在镜片与镜腿的接合部收纳主要的构成要素,对作为半反射镜的镜片部分投射影像。控制器1020与装置的主体用线缆连接。
图1C是佩戴图1B的影像显示装置10时的图。
图1D是影像显示装置10的其他一例的外观图。在镜片与镜腿的接合部收纳主要的构成要素,棱镜是影像显示部1001的投影部(图2的2007)。
图1E是佩戴图1D的影像显示装置10时的图。
图1F是影像显示装置10的另一例的外观图。眼前的棱镜是影像显示部1001的投影部(图2的2007),将其他构成要素分散地收纳在头盔和镜腿的部分。
2.影像的显示
图2中示出了影像显示部1001的结构例。影像显示部1001具备影像信号处理部2001、光源元件电源控制部2002、光源元件2003、光源驱动器2004、调制器2005、调制器驱动器2006、投影部2007、设定控制部2008。
来自影像处理部1008的影像信息被发送至影像信号处理部2001,影像信号处理部2001确定与接收到的影像信息对应的光源的亮度、光源驱动的时序、调制器驱动模式。
光源的亮度的信息被发送至光源元件电源控制部2002。光源元件电源控制部2002与接收到的亮度的信息相应地控制对光源元件2003的供给电压。
光源驱动的时序被发送至光源驱动器2004。光源驱动器2004与光源驱动的时序相应地控制光源元件2003。
光源元件电源控制部2002和光源驱动器2004也可以在同一元件内实现。
图3表示光源元件电源控制部2002、光源元件2003、光源驱动器2004的详细的结构图。光源元件2003由红色LED3001、绿色LED3002、蓝色LED3003三原色的三个LED构成。上述三个LED分别与限流电阻3004、3005、3006串联地连接,从光源元件电源控制部2002分别对它们施加电位VLEDr、VLEDg、VLEDb。VLEDr、VLEDg、VLEDb的电位能够由光源元件电源控制部2002设定为任意的值,能够分别控制红色LED3001、绿色LED3002、蓝色LED3003的发光。上述各限流电阻3004、3005、3006的与LED相反一侧的端子与光源驱动器2004连接。光源驱动器2004通过使CTRLr、CTRLg、CTRLb各端子的电位变化,分别控制红色LED3001、绿色LED3002、蓝色LED3003的发光量和发光时间等,用调制器2005在全部的像素(pixel)调制。显示控制部1002对于影像显示部1001的设定控制部2008发送指定光源亮度的控制信号。
按照光源具有三原色LED各一个的结构进行了说明,但不限于此。也可以采用具有一个以上白色LED的结构。另外,也可以是LED以外的光源。关于三原色,也可以不是光源仅发出原色光的结构,可以是例如用白色光源和分色滤镜或色轮等、用滤镜提取特定颜色的结构。
返回图2的说明。
调制器驱动模式被发送至调制器驱动器2006。调制器驱动器2006与上述调制器驱动模式相应地驱动调制器2005。
调制器2005例如是透射型液晶元件或LCOS(Liquid Crystal On Silicon:液晶覆硅)、DMD(Digital Mirror Device:数字微镜器件)等。
调制器2005和调制器驱动器2006也可以构成为一个元件部件。
以下对于调制器2005设想为LCOS方式进行说明。
从上述光源元件2003出射的光被上述调制器2005调制,对投影部2007投射。
投影部2007可以列举例如反射镜等反射物或屏幕等散射物、或者棱镜、半反射镜、透镜等。另外,也可以是它们多个的组合。
通过追加投影部2007的结构或者其他构成要素,本发明的影像显示装置10可以考虑覆盖装置用户20的视野整体的不透明的护目镜这样的方式,和装置用户20能够辨认外部环境的在视野的一部分辨认影像的透射型方式。以下说明设想为透射型的方式。
在透射型的方式下,装置用户20如图7A、图7B、图7C所示地辨认影像。即,装置用户20能够将图7A这样的外部环境和图7B这样的虚拟影像7001重叠,像图7C那样地辨认。
另外,影像显示装置10具有对装置用户20的双眼投射影像的方式、和仅对一只眼投影的方式。图2中设想为仅对一只眼投影的情况,对双眼投影的情况下,构成为具有2个投影部2007以使来自调制器2005的光对左右双眼入射。或者可以采用具有右眼用和左眼用两个影像显示部1001整体的结构,投影带有视差的不同的图像,成为立体影像。
装置用户20通过观测来自上述投影部2007的光,能够将与上述输入的影像信息对应的光辨认为影像。
设定控制部2008能够接收控制信号,变更影像信号处理部2001的设定。
影像显示部1001具有两种以上用于显示影像的显示方法。图4A、4B、4C、4D中例示了显示方法。影像信息例如作为平均每1秒N幅静止图像按规定的顺序排列而成的动态图像信息处理,N是1以上的正数。此时将N称为帧率,用帧每秒(fps:flames per second)表示每秒的静止图像数。帧率现在一般是例如30fps或60fps等。图4的例子中相对于影像信息的帧率,变更影像显示部1001的显示次数。
图4A中例示了第一显示方法。第一显示方法中影像显示部1001相对于帧率N每1/N秒变更1次显示影像。将显示影像称为帧。
本实施中,以场序方式(色彩时分方式)为例进行说明。即相对于一帧的显示,影像显示部1001将影像信息分割为红、绿、蓝的原色成分,在将1/N秒进而分割为3部分的时间内分别显示各颜色成分的影像。
例如在帧1的显示期间的最初,使LCOS的调制器2005的显示成为与从帧1的影像信息分割得到的红色成分对应的设定(1R),使红色LED3001在比1/(3N)秒更短的规定时间(期间1R)内发光。接着,调制器2005成为与帧1的绿色成分对应的设定(1G),使绿色LED3002在比1/(3N)秒更短的规定时间(期间1G)内发光。进而使调制器2005成为与帧1的蓝色成分对应的设定(1B),使蓝色LED3003在比1/(3N)秒更短的规定时间(期间1B)内发光。通过高速地依次进行各颜色成分的显示,被佩戴装置的观测者辨认为三原色的成分混合得到的全彩的图像。
对于显示影像的帧2、帧3也同样地进行这样的各颜色成分的显示。图4A~D中记载至帧3,但对于其之后的帧也反复执行同样的处理。
图4B中例示了第二显示方法。第二显示方法中与图4A的第一显示方法相比,将与各帧对应的调制器2005的各颜色成分的显示时间进一步分割为2部分,在将与显示影像的帧率N对应的1/N秒分割为6部分得到的期间内显示一个颜色成分。因为以第一显示方法的2倍的更新速度驱动调制器2005,所以将该第二显示方法称为2倍速驱动。
进而通过使调制器2005和光源元件2003的驱动速度高速化,也能够实现3倍速、4倍速及其以上的显示方法。变更调制器2005和光源元件2003的驱动速度,意即变更液晶元件或者反射镜阵列元件的像素信息的更新周期。图4D中示出了3倍速驱动的时序图。
图4C中示出了2倍速驱动时的变形例。调制器2005和光源元件2003的驱动周期与图4B的显示方法相同。根据原始的影像信息的帧1和帧2和其他帧的影像生成中间帧即帧1.5,按帧1、帧1.5、帧2的顺序显示,由此对于观测者而言辨认为更加流畅的图像。中间帧的生成由影像处理部1008实施。
例如即使如图4D那样是比2倍速更快的3倍速或4倍速等更新速度,也能够生成中间帧,并不限于2倍速。
通过按1倍速显示、2倍速显示、3倍速显示这样提高倍速,或者生成中间帧,装置用户20难以察觉色分离,由此不适感减少,图像的运动变得流畅,但是耗电量增大。
显示控制部1002经由影像显示部1001的设定控制部2008发送指示显示方法的切换的控制信号。
影像处理部1008能够对从影像信息源1007输入的影像信息施加变化并将其输出至影像显示部1001。
影像信息例如是每1帧包括纵向H个(H是1以上的整数)、横向V个(V是1以上的整数)的H×V个像素的数据的信息。
图像的对比度变更指的是使颜色的明暗的差异变化的处理,是将对于从影像信息源1007输入的像素值乘以高于1的比例系数得到的值作为对影像显示部1001输出的像素值的处理。
图像的亮度变更指的是对于像素值使其增加指定的值作为输出的像素值的处理,是对于从影像信息源1007输入的像素值加上任意的值作为对影像显示部1001输出的像素值的处理。
影像处理部1008进行与来自控制部1003的信号相应地提高或者降低图像的对比度、和/或提高或者降低图像的亮度等处理。
影像处理部1008也可以与来自控制部的信号相应地变更关于图像的其他参数、例如锐度、彩度、色相。
影像处理部1008也能够与来自控制部1003的信号相应地切换为不进行这些处理就将影像信息发送至影像显示部1001。
例如对于图8A所示的影像,减弱对比度时成为图8B这样的影像。另一方面,减弱图8A的影像的锐度时成为图8C这样的影像。如后所述,装置用户20的视点位置不在显示图像的影像上的情况下,通过减弱对比度和锐度,能够减轻装置用户20的眼的疲劳。
3.装置用户的运动和影像的控制
第一传感器1004是用于检测装置用户20的头部的旋转的传感器,例如是陀螺仪传感器。第一传感器1004输出表示规定时间的头部的运动的三维运动矢量。第二传感器1005是用于检测视线的运动和注视点的位置的视线传感器,输出表示装置用户20的规定时间的视线的运动的二维运动矢量或三维矢量。
运动判断处理部1006根据第一传感器1004和第二传感器1005的输出判断装置用户20的运动状况。具体而言,是头部的运动、视线的运动、头部的运动和视线的运动的方向这3项。对于根据传感器输出判断这3个项目的处理在后文中叙述。另外,运动判断处理部1006判断注视点是否位于影像显示装置生成的虚拟影像7001上,对于该处理也在后文中叙述。
控制部1003根据上述运动判断处理部1006的判断结果,按照图5确定处理内容,对显示控制部1002指示影像显示部1001的显示速度,并且对影像处理部1008指示与影像的参数相关的处理。
在图5的模式1下,是不存在装置用户20的头部的运动,不存在视线的运动,注视点位于虚拟影像上的情况。此时,装置用户20是静止的,因此也难以发生对装置的振动和装置与装置用户20的位置偏差。另外也不存在眼球的移动。也难以发生色分离等装置用户20感到不适的现象。这样的情况下,考虑不适感的影响的必要性较低,因此控制部1003指示处理A。
处理A指的是将影像显示部1001的显示方法设定为1倍速驱动,不进行影像处理部1008的影像处理,不对来自影像信息源的影像施加变更就传输至影像显示部1001的处理。这是耗电最少的处理。
在图5的模式2下,与模式1相比,第二传感器1005检测出的注视点不位于虚拟影像上这一点不同。此时,装置用户20是停止的,而且并没有在观看虚拟影像7001,辨认性的重要度降低,因此控制部1003指示处理B。
处理B指的是将影像显示部1001的显示方法设定为1倍速驱动,用影像处理部1008将影像的对比度和亮度降低规定量的处理。
图5的模式3、模式5、模式8是检测出装置用户20的头部的运动、或者检测出视线的运动中的某一方,并且注视点位于虚拟影像上的情况。
在这些模式下,装置用户20不是静止的,影像显示装置10的装置用户20感到不适的可能性增加,因此考虑不适感的必要性提高。为了减少不适感,控制部1003指示处理C。
在处理C中,将影像显示部1001的显示方法设定为更新速度更快的3倍速,另一方面,使影像处理部1008的影像处理恢复为初始值。
图5的模式4、模式6、模式9是检测出装置用户20的头部的运动、或者检测出视线的运动中的某一方,并且注视点不位于虚拟影像上的情况。
在这些模式下,装置用户20不是静止的,考虑装置用户20的不适感的必要性提高,但是装置用户20并没有在观看虚拟影像6001,辨认性的重要度低,因此控制部1003指示处理D。
在处理D中,将影像显示部1001的显示方法设定为更新速度更快的3倍速,另一方面,用影像处理部1008将影像的对比度和亮度降低规定量。
在图5的模式7下,检测出了装置用户20的头部的运动,并且检测出了视线的运动。此时上述头部的运动方向与上述视线的运动方向是大致相同的方向的情况下,眼球运动是所谓扫视(saccade:断续性运动)的可能性高,装置用户20既没有辨认外部环境也没有辨认虚拟影像7001的可能性高。这样的情况下也需要考虑装置用户20对影像的不适感,但是虚拟影像的辨认性的重要度低,因此控制部1003指示上述处理D。
图6是用于实现图5中表示的由模式确定的控制方式的流程图,用控制部1003和运动判断处理部1006执行。
将主体电源开关接通时,或者存在来自装置用户20的指示时,从步骤S010起开始处理。
在步骤S020中,控制部1003进行初始设定和第一传感器1004和第二传感器1005的通电处理。在初始处理中,将影像显示部1001的显示方法设定为2倍速,将影像处理部1008的各种参数设定为规定的初始值。
在步骤S030中,运动判断处理部1006从第一传感器1004取得传感器输出。
在步骤S040中,运动判断处理部1006从第二传感器1005取得传感器输出。
在步骤S050中,运动判断处理部1006根据第一传感器的输出判断头部的旋转速度的大小是否在规定值A1(A1是正的值)以上,设判断结果为X。如果该检测结果在规定值A1以上则X为真(‘1’),如果不足A1则X为假(‘0’)。
在步骤S060中,运动判断处理部1006根据第二传感器的输出判断视线的移动速度的大小是否在规定值S1(S1是正的值)以上,设判断结果为Y。如果该检测结果在规定值S1以上则Y为真(‘1’),如果不足S1则Y为假(‘0’)。
在步骤S070中,运动判断处理部1006根据第二传感器的输出判断视线的位置(注视点)的二维坐标是否位于虚拟图像上(规定的范围内),设判断结果为Z。注视点的位置在规定的范围内的情况下Z为真(‘1’),注视点的位置在规定的范围外的情况下Z为假(‘0’)。
在图5中示出了上述X、Y、Z及其值,请参考。
在步骤S080中,运动判断处理部1006基于上述判断结果X与上述判断结果Y的逻辑与进行条件分支。如果X·Y=0则前进至步骤S110,如果X·Y=1则前进至步骤S090。
在步骤S090中,运动判断处理部1006基于上述判断结果X与上述判断结果Y的逻辑异或(XOR)进行条件分支。如果X XOR Y=1则前进至步骤S111,如果X XOR Y=0则前进至步骤S100。
在步骤S110中,如果Z为真则前进至步骤S120,控制部1003指示处理A,如果Z为假则前进至步骤S130,控制部1003指示处理B。
在步骤S100中,运动判断处理部1006对于第一传感器1004的输出即头部的移动速度的方向、与第二传感器1005的输出即视线的移动方向进行比较,判断运动矢量的方向是否大致一致。对于该判断方法,在后文中叙述。
在步骤S111中,基于判断结果Z进行条件分支。如果Z为真则前进至步骤S140,控制部1003指示处理C,如果Z为假则前进至步骤S150,控制部1003指示处理D。
在步骤S160中,判断是否连续地实施本流程的设定。该设定可以由装置用户20设定或者变更设定,也可以设定为默认。如果设定有效则前进至待机步骤S170,如果设定无效则前进至结束步骤S180。
在步骤S170中,进行规定时间(300毫秒至10秒程度)的待机后,返回步骤S030。
在步骤S180中实施第一传感器1004和第二传感器1005的电源切断处理和暂停设定。
在结束步骤S190中结束处理。
影像显示装置10具有存储部1010。控制部1003在变更了影像显示部1001的显示方法时、或者变更了影像处理部1008的处理方式时,将进行变更的历史记录和时刻等记录在存储部1010中。
频度判断处理部1011在存储部1010中记录的各处理的变更历史记录在规定时间内超过了规定次数的情况、例如3天之间进行了5次变更的情况下,对于影像信息源1007请求进行与变更历史记录对应的影像信息的设定变更。影像信息的变更请求例如在图6的步骤S180的结束处理的时刻进行,影像信息的变更指的是图像的对比度、锐度、彩度、色相、图像的亮度等参数的变更。
4.视线传感器
介绍第二传感器1005即视线传感器的一例。
如图11A所示是具备传感器A元件1101和传感器B元件1102和检测控制器1103的结构。传感器A元件1101检测出运动时,检测控制器1103使传感器2元件1102起动,命令传感器B元件输出更精密的数据。
图11B表示更具体的结构。适合安装在图1B、图1D那样的眼镜型的装置的框架部分。视线传感器能够检测装置用户20的眼1111的运动,由出射红外光的第一投光部1112和第二投光部1113、第一受光器1114和第二受光器1115、比较器1116、第一摄像机1117和第二摄像机1118、电流控制部1119、运动检测处理部1120、暂停控制部1121构成。
从第一投光部1112和第二投光部1113出射的红外光对装置用户20的眼1111投影并被反射。反射的红外光对第一受光器1114和第二受光器1115入射。第一受光器1114和第二受光器1115相对于眼1111设置在左右不同的方向,受光量因眼黑和眼白的位置而变化。因为在眼1111的左右配置第一受光器1114和第二受光器1115,所以眼1111位移时的受光量的变化因受光器而不同。通过用比较器1116根据第一受光器1114的受光量和第二受光器1115的受光量求出差,能够检测眼1111的运动。这是被称为巩膜反射法的检测方法。
运动检测器1120在比较器1116的输出在规定值以上的情况下判断检测出眼1111的运动,输出运动检出信号,在比较器1116的输出小于规定值的情况下判断为眼1111未运动,输出运动未检出信号。
从运动检测器1120接收了运动检出的信号时,暂停控制部1121使第一摄像机1117和第二摄像机1118成为能够拍摄影像的摄像状态,这些摄像机用从眼1111反射的红外光拍摄眼1111。根据用第一摄像机1117和第二摄像机1118拍摄的影像,用未图示的图像处理部进行图像处理推测更详细的视线的运动和视点的位置。图像处理使用暗瞳孔法或角膜反射法等。
从运动检测器1120接收了运动未检出的信号时,暂停控制部1121使第一摄像机和第二摄像机内的一部分功能停止而使其成为抑制耗电的暂停状态。
运动检测处理部1120通过将运动检出或运动未检出的信号发送至电流控制部1119,而变更对第一投光部1112和第二投光部1113的供电。进行控制以使摄像状态下的电流量大于暂停状态下的电流量。
一般而言摄像机元件比受光器耗电更高,并且检测所需的光量也更多。因此,与总是使摄像机元件成为摄像状态相比,用仅在受光器检测出粗略的运动的情况下使摄像机元件成为摄像状态的本控制方法抑制装置的耗电。
本实施例中例示了投光部为两个的情况,但个数不限于此。可以具有更多的投光部。另外,也可以是进行控制以使各投光部的发光时序不同,受光器或摄像机元件与各投光部的发光对应地取得数据的结构。
另外,关于摄像机元件和受光器的个数,例示了各两个的情况,但个数不限于此。另外,受光器和摄像机元件也可以构成为一个元件,例如可以使摄像机元件的一部分像素构成受光器。
5.视点的偏差修正和注视点位置的检测
在图6所示的初始设定步骤S020中,可以进行第二传感器1005的初始化处理。第二传感器1005是检测装置用户20的视线的传感器的情况下,存在每当使用装置时在装置用户20的注视点与第二传感器的位置之间产生偏差的可能性。
为了修正该偏差,运动判断处理部1006在初始化处理时在影像显示部1001上如图12A所示地在显示区域中显示对角线虚拟影像1201,显示提示装置用户20注视其交点的文字。第二传感器1005检测出在注视点的位置静止了规定的秒数的情况下,判断装置用户20正在凝视虚拟影像1201的交点,将注视点的位置设定为第二传感器1005的基准位置p0(h0,v0)。
影像显示部1001的影像显示范围整体如虚拟影像1201那样是被P1(Hmin,Vmin)、P2(Hmax,Vmin)、P3(Hmin,Vmax)、P4(Hmax,Vmax)包围的四边形时,h0=(Hmax-Hmin)/2,v0=(Vmax-Vmin)/2。
在图6的注视点判断步骤S070中以基准位置p0(h0,v0)为基准,判断第二传感器1005的检测结果是否位于影像显示部1001上显示的影像上(Z是否‘1’)。如图12B所示,任意的虚拟显示影像1202在被Q1(Hl,Vd)、Q2(Hl,Vu)、Q3(Hr,Vd)、Q4(Hr,Vu)包围的区域中显示时(Hmin≤Hl≤Hmax,Hmin≤Hr≤Hmax,Vmin≤Vd≤Vmax,Vmin≤Vu≤Vmax),用第二传感器1005得到p(h,v)作为注视点的位置。此时,p(h,v)位于四边形Q1Q2Q3Q4内的情况下,运动判断处理部1006认为注视点的位置位于虚拟影像上,判断步骤S070的Z为真。
基准位置的检测时刻,除了初始处理以外,也可以由控制器1020在装置用户20指定的时刻进行。也可以是装置用户20通过在指定的点的注视的前后故意进行特定的长度或特定的顺序的眨眼而对第二传感器1005指示检测时刻。
虚拟显示影像1202无需是四边形,也可以是三角形或圆形等其他图形。
6.头部的运动和视线的运动的方向
在运动判断部1006中,根据第一传感器1004的运动矢量输出和第二传感器1005的运动矢量输出,检测头部的运动与视线的运动的各运动方向是否一致。
设第一传感器1004的输出能够用三维矢量A0表达。装置用户20位于辨认虚拟影像7001的距离,设包括虚拟影像7001的四角的虚拟平面为S时,设三维矢量A0相对于平面S的正投影矢量为A。第二传感器1005的输出是三维矢量的情况下也进行同样的矢量变换处理。
装置用户20辨认虚拟影像7001的距离由影像显示部1001内的投影部2007等的光学结构确定,装置用户20通过眼球的焦点调节功能在离开规定距离的位置辨认虚拟影像7001。
第二传感器1005输出二维矢量B0时,考虑包括第二传感器1005的检测轴的三维空间中的平面T,将二维矢量B0变换为平面T上的三维矢量B1,设三维矢量B1相对于平面S的正投影矢量为B。用二维的输出得到第一传感器1004的检测结果的情况下也可以进行同样的矢量变换处理。
用对单一平面投影得到的矢量表达两个检测传感器的移动方向,设第一传感器1004的输出的移动矢量为A、第二传感器1005的输出的移动矢量为B时,用两个矢量所成的角(ANGLE)θ=ANGLE(A-B)的绝对值、与任意的值α(α为正的值)的比较判断大致一致。
即,如果θ≤α则判断移动方向大致一致,如果θ>α则判断移动方向不一致。
7.变形例
(1)第一传感器1004和第二传感器1005可以是加速度传感器、地磁传感器、GPS、拍摄用户的摄像机、拍摄用户观看的外部环境影像的摄像机、测定用户的脉搏的传感器、测定用户的血流的传感器、时钟等。另外,第一传感器1004和第二传感器1005可以分别包括滤波器或放大器或电平转换器等。或者,也可以是包括比较器,与矢量值一同发送检测结果相对于阈值是高或低的二值的结果的结构。另外,也可以是在满足检测结果即运动的持续时间超过规定时间的情况、运动超过规定速度的情况、运动超过规定的变动量的情况中某一方以上的条件时,输出认为检测出运动的信号的结构。
(2)也可以由影像判断处理部1009判断图像的特征,以代替使用第一传感器1004或第二传感器1005的输出的运动判断处理部1006的判断处理。
影像判断处理部1009判断影像信息对于装置用户20是否存在使其产生显示的不适感的可能性。例如是如图9A所示物体在画面内连续移动的影像的情况下,预测装置用户20会使眼球运动而追踪移动的影像。另外,例如是如图9B所示影像中包括字符串等通过在画面内在纵、横、斜方向上连续地辨认而产生含义的内容的情况下,预想装置用户20会使眼球运动而使视点沿影像运动。
这样的图像能够通过由影像判断处理部1009进行数字图像的影像分析,参考图像帧之间的差分数据的量,而预先检测。
如图9A、图9B一般是预测会使视点运动的影像的情况下,影像判断处理部1009对控制部1003输出控制信号,使其应用处理C。
另外,影像显示装置10的投影部2007是透射型的情况下,影像判断处理部1009可以判断显示的影像是否与外部环境具有关联的影像、例如增强现实(AR:ArgmentedReality)的影像。影像判断处理部1009能够根据影像的元数据和附加信息判断影像的种类。例如图7B的虚拟影像7001显示了与图7A的外部环境相关联的信息,在这样判断是与外部环境具有关联的影像的情况下,即使检测出注视点位于虚拟影像7001以外的位置(Z为假),也因为显示影像的辨认性的重要度高而对控制部1003指示应用图5的处理C。
(3)也可以采用图10A所示的显示方法作为影像显示部1001的显示方法。在图10A所示的显示方法中,设定为图4B的2倍速驱动,使光源的控制停止,使光源元件2003的红色LED3001、绿色LED3002、蓝色LED3003的发光期间是大致同步。由此,使来自三个LED的光混色,装置用户20将影像辨认为黑白的图像,在原理上不会发生色分离。也可以应用于图5中,认为影像考虑不适感的必要性较高的图5的处理C和处理D。
进而,影像信息中连续的多个帧的图像是大致相同的图像的情况下,也可以停止调制器2005的帧的更新。例如图10B那样,帧1和帧2和帧3是大致相同的图像的情况下,在与这些帧对应的期间,调制器2005持续显示同一个帧1。
是大致相同的图像,例如能够列举影像信息能够表达为H×V个像素信息(H、V都是正整数)时,在连续的帧之间、信息发生了变更的像素的数量与H×V个相比充分小的情况,和各像素的颜色信息能够表达为R、G、B的原色信息(例如R、G、B都是0~255的正整数)时、连续的帧之间各像素的R、G、B的值的变化充分小的情况等。
由此能够减少图像的闪烁。另外,调制器2005使用强介电液晶的情况下,为了多次显示同一帧,信息的消去和重新显示会耗费电力。通过停止调制器2005的帧更新有助于进一步减少耗电。也可以应用于图5的处理C和处理D。
(4)影像信息源1007也可以是从外部取得影像信息的结构。例如,可以是符合DVI、HDMI(注册商标)、DisplayPort等影像传输标准的接收器,也可以是使用SPI、I2C、RS232、USB等一般的电信号的传输方法的接收器,也可以是Ethernet(注册商标)等有线网络接收器,也可以是无线LAN或Bluetooth(注册商标)等无线网络接收器。
另外,影像信息源1007可以包括通过接收压缩后的信息并解压缩成为影像信息的解码器,也可以包括接收加密的影像信息并解密的功能。
(5)电源部1012对影像显示装置10供电。电源部1012包括能够从外部电源充电的充电式电池、从可更换的一次电池取得要求的电力的电源电路、与插座等外部电源连接而取得要求的电力用的变换器、电力稳定电路中的一种以上作为电力源。另外,电源部1012也可以是在电力源之外,包括控制充电或供给电力等或者观测电力源用的电力控制用的集成电路的结构。
控制部1003从电源部1012取得电力源的电能余量的信息,仅在电能余量高于规定值的情况下,控制使得影像处理部1008的影像处理工作。
控制部1003也可以是仅在电源部1012的电能余量高于规定值的情况下,能够变更影像显示部1001的显示方法以使显示周期缩短的结构。
控制部1003也可以是在电源部1012的电能余量低于规定值的情况下,变更影像显示部1001的显示方法以使显示周期延长的结构。
实施例2
图13是实施例2的说明图。仅说明与图1不同的部分。
第一传感器1304、第二传感器1305与影像显示装置130的壳体分离地设置。两个传感器都与实施例1同样地检测装置用户20的动作。
本实施例中,第一传感器1304与影像显示装置130之间的信息的传递经由通信部1013进行。通信部1013与第一传感器1304可以在物理连接的导线中用电信号的方式通信,也可以经由无线LAN、Bluetooth(注册商标)、Zigbee(注册商标)等无线通信进行。第一传感器1304可以包括未图示的通信部构成。使用无线通信的情况下,第一传感器1304也可以从与影像显示装置130不同的电源供电。
关于第二传感器1305,也与第一传感器1305同样既可以用上述有线通信也可以用上述无线通信进行与通信部1013的信息传递。第二传感器1305也可以包括未图示的通信部构成。另外,使用无线通信的情况下,也可以从与影像显示装置130不同的电源给力。
运动判断处理部1006经由通信部1013接收第一传感器1304或第二传感器1305的输出。
图14、图15是本实施例的变形例。
图14所示的变形例中,第一传感器1404、第二传感器1405、运动判断处理部1406与影像显示装置140的壳体分离地设置。运动判断处理部1406与控制部1003之间的信息的传递经由通信部1013进行,可以用上述有线通信进行也可以用上述无线通信进行。另外,第一传感器1404、第二传感器1405、运动判断处理部1406也可以是包括在同一壳体内的结构。另外,运动判断处理部1406也可以包括未图示的通信部构成。
图15所示的变形例中,第二传感器1305与影像显示装置150的壳体分离地设置。第二传感器1305与运动判断处理部1006之间的信息的传递经由通信部1013进行,如上所述可以用有线通信进行也可以用无线通信进行。
分离地设置的第一传感器1304、第二传感器1305无需佩戴在装置用户20上,只要能够检测装置用户20的头的运动和眼的运动等即可,例如可以是使用摄像机和图像处理的传感器。设想装置用户20在固定的位置观看影像同时进行作业,在作业台上设置摄像机型的第一传感器1304和第二传感器1305的情况。
另外,装置用户20站立或者坐在固定位置使用影像显示装置130、影像显示装置140、影像显示装置150的情况下,可以通过在装置用户20的下方设置测定重心位置的位移的压力分布测定器等检测传感器,作为第一传感器1304或第二传感器1305。
实施例3
图16是实施例3的说明图。仅说明与图1不同的部分。
本实施例中,存储部1610、频度判断处理部1611与影像显示装置160分离地设置在服务器1601中。存储部1610、频度判断处理部1611的动作分别与实施例1的存储部1010、频度判断处理部1011相同。
存储部1310与控制部1003之间的信息的传递经由影像显示装置160的通信部1013和服务器1601的通信部1612进行,通信部1013与通信部1612之间可以在物理连接的导线中用电信号的方式通信,也可以经由无线LAN、Bluetooth(注册商标)、Zigbee(注册商标)等无线通信进行。
频度判断处理部1611与影像信息源1007之间的信息的传递也同样经由通信部1013和通信部1612进行,如上所述可以用有线通信进行也可以用无线通信进行。
另外,图17示出了在包括多个影像显示装置160的系统中的控制方法。其为第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714,能够分别经由网络1730与服务器1601通信。
第一影像显示装置1711被第一用户1721使用,第二影像显示装置1712被第二用户1722使用,第三影像显示装置1713被第三用户1723使用,第四影像显示装置1714被第四用户1724使用。
第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714分别具有与影像显示装置160同等的性能。
服务器1601具有存储部1610和频度判断处理部1611,从第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714的控制部1003经由网络1730接收变更影像显示部1001的显示方法时、或者变更影像处理部1008的处理方式时的历史记录和时刻等。
服务器1601从由各影像显示装置发送的变更信息中提取共通的信息,用频度判断处理部1611在存储部1610中记录的各影像显示装置的处理是共通的、且该共通的处理在规定时间内超过了规定次数的情况下,对影像信息源1007请求变更影像信息。影像信息的变更例如是图像的对比度、锐度、彩度、色相、图像的亮度等参数的变更。
与网络1730连接的影像显示装置160的数量不限于本实施例中示出的数量,连接1台以上影像显示装置160即可。
关于实施例进行了上述记载,但本发明不限于此,对于本领域技术人员而言,当然能够在本发明的精神和附加的要求的权利范围内进行各种变更和修正。
符号说明
10…影像显示装置
1001…影像显示部
1002…显示控制部
1003…控制部
1004…第一传感器
1005…第二传感器
1006…运动判断处理部
1007…影像信息源
1008…影像处理部
1009…影像判断处理部
1010…存储部
1011…频度判断处理部
1012…电源部
1013…通信部
1020…控制器
20…装置用户
2001…影像信号处理部
2002…光源元件电源控制部
2003…光源元件
2004…光源驱动器
2005…调制器
2006…调制器驱动器
2007…投影部
2008…设定控制部
3001…红色LED
3002…绿色LED
3003…蓝色LED
3004、3005、3006…限流电阻
7001…虚拟影像
1101…传感器A
1102…传感器B
1103…检测控制部
1111…眼
1112、1113…投光部
1114、1115…受光器
1116…比较器
1117、1118…摄像机
1119…电流控制部
1120…运动检出处理部
1121…暂停控制部
1201…虚拟影像
1202…虚拟显示影像
130…影像显示装置
1304…第一传感器
1305…第二传感器
140…影像显示装置
1404…第一传感器
1405…第二传感器
1406…运动判断处理部
150…影像显示装置
160…影像显示装置
1601…服务器
1610…存储部
1611…频度判断处理部
1612…通信部
1711…第一影像显示装置
1712…第二影像显示装置
1713…第三影像显示装置
1714…第四影像显示装置
1721…第一用户
1722…第二用户
1723…第三用户
1724…第四用户
1730…网络。

Claims (15)

1.一种能够佩戴在用户头部的影像显示装置,其特征在于,包括:
能够切换两种以上的显示方法的影像显示部;
对所述影像显示部指定显示方法的控制部;
检测用户头部的运动的第一检测部;
检测用户视点的运动的第二检测部;和
运动判断部,其基于所述第一检测部的输出和所述第二检测部的输出判断装置用户的运动状况,
所述控制部基于所述运动判断部的判断结果对所述影像显示部指示进行所述显示方法的改变。
2.如权利要求1所述的影像显示装置,其特征在于:
所述影像显示部是使用液晶元件或反射镜阵列元件的显示器,
所述两种以上的显示方法是液晶元件或反射镜阵列元件的像素信息的更新周期、光源的点亮周期中的一者以上不同的方法。
3.如权利要求1所述的影像显示装置,其特征在于:
具有影像处理单元,其能够改变作为影像的参数的对比度、锐度、彩度、色相、图像的亮度中的至少一者,
所述两种以上的显示方法是在所述影像处理单元中改变对比度、锐度、彩度、色相、图像的亮度中的至少一者的方法。
4.如权利要求2所述的影像显示装置,其特征在于:
具有影像处理单元,其能够改变作为影像的参数的对比度、锐度、彩度、色相、图像的亮度中的至少一者,
所述两种以上的显示方法是在所述影像处理单元中改变对比度、锐度、彩度、色相、图像的亮度中的至少一者的方法。
5.如权利要求2所述的影像显示装置,其特征在于:
所述运动判断部基于所述第一检测部的输出和所述第二检测部的输出,判断有无用户头部的运动、有无用户视线的运动、用户视点是否位于影像显示部显示的影像上、头部的运动与视线的运动是否一致来作为用户的运动状况。
6.如权利要求5所述的影像显示装置,其特征在于:
所述控制部进行如下处理:
用户的视线相对于头部的相对运动越大则越增大所述影像显示部的液晶元件或反射镜阵列元件的像素信息的更新周期与光源的点亮周期中的至少一者,在用户的视点不位于影像显示部显示的影像上时降低影像的对比度、亮度中的至少一者。
7.如权利要求1所述的影像显示装置,其特征在于,还包括:
存储所述控制部指示了影像参数的切换之事件的存储部;和
频度判断部,其判断存储在所述存储部中的切换的内容和规定时间内的切换次数,
所述频度判断部对影像信息源传达对进行了切换的次数较多的影像参数进行变更的信息。
8.如权利要求5所述的影像显示装置,其特征在于:
所述影像显示部是场序方式的显示器,
能够使R、G、B的所有光源的发光周期大致同步来进行黑白显示,
在所述运动判断部判断为存在用户头部的运动和用户视线的运动中的至少一者时,所述控制部对所述影像显示部指示进行黑白显示。
9.如权利要求5所述的影像显示装置,其特征在于:
所述运动判断部将第一检测部的输出矢量和第二检测部的输出矢量正投影于影像显示平面并分别变换为二维矢量,在2个变换后的二维矢量的角度小于规定值时判断为头部的运动与视线的运动的方向一致。
10.如权利要求1所述的影像显示装置,其特征在于:
所述第一检测部包括陀螺仪传感器、加速度传感器、地磁传感器、GPS、摄像机中的至少一者。
11.如权利要求1所述的影像显示装置,其特征在于:
所述控制部获取电源的电能余量的信息,限制所述影像显示部的显示方法的改变。
12.一种由能够佩戴在用户头部的、能够切换两种以上的显示方法的影像显示部显示影像的方法,其特征在于:
由第一检测部检测用户头部的运动,
由第二检测部检测用户视点的运动,
由运动判断部基于所述第一检测部的输出和所述第二检测部的输出判断装置用户的运动状况,
基于所述运动判断部的判断结果对所述影像显示部指示进行显示方法的改变。
13.一种检测视线的运动或视点的方法,其特征在于:
由第一传感器元件检测视线的运动,
响应所述第一传感器元件检测出视线的运动,使能够比第一传感器元件更详细地检测视线的运动的第二传感器元件在能够检测视线的工作状态和暂停状态这两个状态之间切换。
14.一种能够佩戴在用户头部的影像显示装置中的视点偏差的修正方法,其特征在于:
在影像显示装置上显示规定点,
提示用户注视规定点,
由视点检测传感器确定用户的注视点的位置,
以确定的注视点的位置作为基准点,
基于由所述视点检测传感器检测出的用户的视点到基准点的距离,判断检测出的用户的视点是否位于显示的影像上。
15.一种视线检测器,其特征在于,包括:
对眼的不同位置照射光的至少2个投光器;
位于不同位置的2个受光器,其接收眼反射所述照射的光的反射光;
基于所述2个受光器的输出检测眼球的运动的运动检测器;和
摄像机,其在所述运动检测器检测出眼球的运动的期间工作,拍摄至少一只眼。
CN201580080171.2A 2015-06-05 2015-06-05 影像显示装置和控制方法 Active CN107836020B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066383 WO2016194232A1 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法

Publications (2)

Publication Number Publication Date
CN107836020A true CN107836020A (zh) 2018-03-23
CN107836020B CN107836020B (zh) 2020-09-25

Family

ID=57440838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080171.2A Active CN107836020B (zh) 2015-06-05 2015-06-05 影像显示装置和控制方法

Country Status (4)

Country Link
US (3) US20180184042A1 (zh)
JP (1) JP6571767B2 (zh)
CN (1) CN107836020B (zh)
WO (1) WO2016194232A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540676B2 (ja) * 2016-12-20 2019-07-10 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP6801618B2 (ja) * 2017-09-23 2020-12-16 ブラザー工業株式会社 携帯型画像表示装置及び画像表示制御方法
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
JPWO2020157979A1 (ja) * 2019-02-01 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
US11176901B1 (en) * 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
CN110706675A (zh) * 2019-09-29 2020-01-17 Oppo广东移动通信有限公司 信息显示方法和装置
JP7377124B2 (ja) * 2020-02-18 2023-11-09 株式会社ジャパンディスプレイ 表示装置
US11308920B1 (en) * 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215960A (ja) * 1992-02-06 1993-08-27 Minolta Camera Co Ltd 視線検知カメラ
JPH0634873A (ja) * 1992-07-16 1994-02-10 Canon Inc 視線検出装置を有した光学装置
JPH07148114A (ja) * 1993-11-25 1995-06-13 Canon Inc 視線検出装置及び視線検出方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
CN102263874A (zh) * 2010-05-28 2011-11-30 京瓷美达株式会社 具有省电模式的图像形成装置
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
CN103488412A (zh) * 2012-06-13 2014-01-01 富士施乐株式会社 图像显示装置、图像控制装置、图像形成装置和图像控制方法
US20140201689A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Free-space user interface and control using virtual constructs
WO2014190106A1 (en) * 2013-05-23 2014-11-27 Microsoft Corporation Hologram anchoring and dynamic positioning
WO2014190099A1 (en) * 2013-05-22 2014-11-27 Microsoft Corporation Body-locked placement of augmented reality objects
JP2014225725A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示装置及び画像表示装置用光源
CN104460004A (zh) * 2013-09-13 2015-03-25 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2911125B2 (ja) * 1988-08-31 1999-06-23 キヤノン株式会社 視線検出装置
JP2861349B2 (ja) * 1990-09-29 1999-02-24 キヤノン株式会社 視線検出手段を有した光学装置
JP2007114579A (ja) * 2005-10-21 2007-05-10 Pioneer Electronic Corp 表示装置、表示方法、表示システム及びサーバ及びプログラム
GB2491538A (en) * 2010-03-09 2012-12-05 Hdt Inc Color display device and method
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
CN104620170A (zh) * 2013-02-04 2015-05-13 奥特司科技株式会社 液晶显示装置
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP5904246B2 (ja) * 2014-09-24 2016-04-13 ソニー株式会社 頭部装着型表示装置、表示方法
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10643390B2 (en) * 2016-03-30 2020-05-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215960A (ja) * 1992-02-06 1993-08-27 Minolta Camera Co Ltd 視線検知カメラ
JPH0634873A (ja) * 1992-07-16 1994-02-10 Canon Inc 視線検出装置を有した光学装置
JPH07148114A (ja) * 1993-11-25 1995-06-13 Canon Inc 視線検出装置及び視線検出方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
CN102263874A (zh) * 2010-05-28 2011-11-30 京瓷美达株式会社 具有省电模式的图像形成装置
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
CN103488412A (zh) * 2012-06-13 2014-01-01 富士施乐株式会社 图像显示装置、图像控制装置、图像形成装置和图像控制方法
US20140201689A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Free-space user interface and control using virtual constructs
JP2014225725A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示装置及び画像表示装置用光源
WO2014190099A1 (en) * 2013-05-22 2014-11-27 Microsoft Corporation Body-locked placement of augmented reality objects
WO2014190106A1 (en) * 2013-05-23 2014-11-27 Microsoft Corporation Hologram anchoring and dynamic positioning
CN104460004A (zh) * 2013-09-13 2015-03-25 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Also Published As

Publication number Publication date
CN107836020B (zh) 2020-09-25
US11856323B2 (en) 2023-12-26
US20190379860A1 (en) 2019-12-12
US20240080412A1 (en) 2024-03-07
WO2016194232A1 (ja) 2016-12-08
JP6571767B2 (ja) 2019-09-04
JPWO2016194232A1 (ja) 2018-05-24
US20180184042A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN107836020A (zh) 影像显示装置和控制方法
US9465226B2 (en) Automatic shutdown of 3D based on glasses orientation
US9696548B2 (en) Stereoscopic video observation device and transmittance control method
US20110221746A1 (en) 3d eyeglasses, method for driving 3d eyeglasses and system for providing 3d image
CN101322641A (zh) 视标呈示装置
US20140078271A1 (en) Display apparatus, projection apparatus, display assist apparatus, and system
CN101742347B (zh) 实现立体显示的方法、显示装置及显示系统
CN102893617A (zh) 眼镜装置以及眼镜装置的控制方法
KR20150070649A (ko) 표시 장치 및 영상 표시 방법
US9191652B2 (en) Systems and methods for presenting three-dimensional content using photosensitive lenses
CN102714750B (zh) 眼镜装置以及影像系统
JP2012108344A (ja) プロジェクター、プロジェクションシステム、及びプロジェクターの制御方法
KR101063478B1 (ko) 안경을 이용한 입체영상 제공 장치 및 그 방법
CN102478712A (zh) 一种智能主动快门式3d眼镜及其成像方法
CN210168146U (zh) 一种使用单一同步信息的3d和2d画面显示系统
JP6743254B2 (ja) 映像表示装置および制御方法
KR101142176B1 (ko) 입체 영상 제공 장치 및 그 방법
CN105892217A (zh) 体验空间集成操控系统
JP2012109702A (ja) 画像表示システム、画像表示装置、及び画像表示システムの制御方法
JP2010117689A (ja) 画像表示システム、画像表示装置および環境光制御装置
CN110392250A (zh) 显示设备及其显示方法
KR20120073457A (ko) 액정 셔터 안경

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220607

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right