CN101506868A - 显示设备和显示方法 - Google Patents

Abstract

一种用户可以控制与用户的状态(意图、视觉状态和身体状况等)相对应的适当显示操作的显示设备。例如，用户佩戴眼镜式或头戴式的佩戴元件，并且在紧邻眼睛前方的显示部件上观看多种类型中任一种的图像。这样就提供了拍摄图像、再现图像和接收图像。获取有关用户的运动或用户的身体状况的信息，以控制多种操作中任一个的显示操作，例如显示屏的开/关、显示模式和源变化，根据这些信息来判断用户的意图或状态。根据该判断结果，执行适当的控制。

Description

显示设备和显示方法

技术领域

本发明涉及作为眼镜状或可头戴式单元的一部分被用户佩戴并且具有位于用户眼睛前方以进行图像显示的显示装置的显示设备，以及用于该显示设备的显示方法。

背景技术

迄今为止已提出了多种可佩戴的显示设备，例如在日本专利早期公开No.Hei 8-126031、Hei 9-27970和Hei 9-185009中示例性描述的。这些专利文献公开了各自被用户佩戴作为眼镜状或可头戴式单元的一部分的显示设备，该显示设备的显示单元位于紧邻在用户眼睛前的位置上以进行图像显示。

然而，诸如上述设备的传统显示设备还需要用户操作它们的键或其他控件。这些设备还未提供能适当地反映出用户的意图和生物状态的这类显示。

考虑到上述情形提出了本发明，本发明提供一种设备和方法，用来执行显示操作，以精确地反映用户的状态，即他/她的意图和身体状况。

发明内容

在执行本发明时，根据本发明的一个实施例，提供了一种显示设备，包括：设在用户眼睛前方用于图像显示的显示装置；用户信息获取装置，用于获取关于用户的行为或身体状态的信息；以及控制装置，用于根据由用户信息获取装置获取的信息来判断用户的意图或状态，该控制装置还控制显示装置的显示操作以反映判断的结果。

优选地，根据本发明实施例的显示设备还可包括用于摄取图像的图像摄取装置。在该结构中，控制装置优选地可以根据由用户信息获取装置获取的信息来控制显示装置显示由图像摄取装置摄取的图像数据。

优选地，本发明的显示设备还可包括再现装置，用于再现来自记录介质的数据。在该结构中，控制装置优选地可以根据由用户信息获取装置获取的信息来控制显示装置显示由再现装置再现的数据。当显示装置正在显示由再现装置再现的数据时，控制装置优选地可以根据由用户信息获取装置获取的信息来控制再现装置的再现操作。

优选地，根据本发明实施例的显示设备还可包括接收装置，用于通过与外部设备的通信来接收数据。在该结构中，控制装置优选地可以根据由用户信息获取装置获取的信息来控制显示装置显示由接收装置接收的数据。

优选地，显示装置能够在通透(see-through)状态和显示状态之间进行切换，通透状态是显示装置保持透明或半透明的状态，显示状态是显示装置显示所提供的数据的状态。

用户信息获取装置优选地可以是被配置为检测加速度、角速度或振动的传感器。

用户信息获取装置优选地可以是被配置为检测用户的头部、胳臂、手、腿或整个身体的运动的传感器。

用户信息获取装置优选地可以是被配置为检测用户的静止状态、行走状态和跑步状态的传感器。

用户信息获取装置优选地可以是被配置为检测关于用户的视觉信息的传感器。

用户信息获取装置优选地可以是被配置为检测用户的视线、焦距、瞳孔扩张、视网膜图案或眨眼作为关于用户的视觉信息的传感器。

用户信息获取装置优选地可以是被配置为检测关于用户的生物信息的生物传感器。

用户信息获取装置优选地可以是被配置为检测用户的心率、脉搏速率、排汗、脑电波、皮肤电反射、血压、体温或呼吸速率作为关于用户的生物信息的传感器。

用户信息获取装置优选地可以是被配置为检测关于用户的紧张状态或激动状态的信息的生物传感器。

控制装置优选地可以控制显示装置开始和结束其显示操作。

控制装置优选地可以控制显示装置以在上述通透状态和显示状态之间进行切换。

控制装置优选地可以控制在向显示装置输送数据以供显示的源之间进行切换。

控制装置优选地可以控制显示装置放大和缩小显示图像。

控制装置优选地可以控制显示装置分割屏上画面。

控制装置优选地可以控制显示装置来控制显示亮度。

控制装置优选地可以控制显示装置要显示的图像信号的信号处理。

控制装置优选地可以控制显示装置滚动图像或馈送页面。

控制装置优选地可以根据由用户信息获取装置获取的信息来判别对显示装置显示的图像的输入操作。

根据本发明的另一个实施例，提供了一种用于显示设备的显示方法，该显示设备包括设在用户眼睛前方用于显示图像的显示装置以及用于获取关于用户的行为或身体状态的信息的用户信息获取装置，该显示方法包括以下步骤：获取关于用户的行为或身体状态的信息；以及根据在信息获取步骤中获取的信息来判断用户的意图或状态，该判断步骤还控制显示装置的显示操作以反映判断的结果。

在使用如上所述的本发明的情况下，本发明的显示设备被用户佩戴作为眼镜状或可头戴式单元的一部分，该显示设备具有位于用户眼睛前方以进行视觉识别的显示装置。佩戴显示设备允许用户观看正由显示装置显示的内容，例如由图像摄取装置摄取的图像、由再现装置再现的数据构成的图像、或者由设备的接收装置所接收的数据组成的图像。

优选地，以适当地反映用户的意图和状态的方式来控制显示操作。更具体而言，显示操作可以包括使得显示装置在显示状态和通透状态之间进行切换；选择从其获取要显示的图像数据的源；调节不同显示设置，例如分割屏上画面、放大和缩小显示图像、控制显示亮度和其他与显示质量有关的属性、滚动图像和馈送页面；向显示装置输入数据以进行显示；以及使得显示装置显示所再现的图像。本发明提出这些操作不由操作开关和控件的用户执行，而是由显示设备自身执行，显示设备获取关于用户的行为或身体状态的信息，基于所获取的信息判断用户的意图或状态，并根据判断的结果执行适当的控制。

如上所述，根据本发明的实施例，当显示装置紧邻在用户眼睛之前正在显示图像时，显示设备基于关于用户的行为或身体状态的信息来判断用户的意图或状态，并且相应控制显示操作。该结构允许以反映用户的意图或状态的方式来执行适当的显示，而不会麻烦用户操作控件或开关。因而，本发明的显示设备为用户提供了非常好的使用方便性，同时提供了多种视觉体验。

由于显示装置可以按需要被置于透明或半透明状态中，因此用户可以在一直佩戴显示设备的同时进行正常的日常生活。因而，用户可以在保持他/她的通常生活方式的同时享有本发明的设备的优点。

附图说明

图1是采用本发明的显示设备的外观图。

图2是本发明的显示设备如何被典型配置的示意图。

图3是示出显示设备的典型结构的框图。

图4是示出显示设备的另一种典型结构的框图。

图5是显示设备可以被置于的通透状态和图像显示状态的示意图。

图6是从显示设备的存储单元取得的典型显示图像的示意图。

图7是来自显示设备的通信单元的典型显示图像的示意图。

图8是来自显示设备的通信单元的其他显示图像的示意图。

图9是屏上画面如何被显示设备分割的示意图。

图10是图像在显示时如何被放大的示意图。

图11是如何调节显示图像的亮度的示意图。

图12是构成由显示设备执行的典型控制处理的步骤的流程图。

图13是构成由显示设备执行来识别显示开始触发的典型处理的步骤的流程图。

图14是构成由显示设备执行来识别显示控制触发的典型处理的步骤的流程图。

图15是构成由显示设备执行来识别另一种显示控制触发的典型处理的步骤的流程图。

图16是构成由显示设备执行用来识别其他显示控制触发的典型处理的步骤的流程图。

图17是构成由显示设备执行来识别其他显示控制触发的典型处理的步骤的流程图。

图18是构成由显示设备执行来识别显示结束触发的典型处理的步骤的流程图。

图19是构成由显示设备执行来识别显示结束触发的其他典型处理的步骤的流程图。

具体实施方式

现在将按照以下标题来描述被实现为本发明优选实施例的显示设备和显示方法。

[1.显示设备的外观和其与外部设备的关系]

[2.显示设备的典型结构]

[3.典型显示画面]

[4.用户状态的判断]

[5.各种操作]

[6.实施例的效果、变化和扩展]

[1.显示设备的外观和其与外部设备的关系]

图1示出了将本发明实现为眼镜型显示器的显示设备1的外部视图。显示设备1一般具有可佩戴的半圆形框架结构，该结构覆盖了用户头部的鬓角和后部，并且被用户以钩在他/她的耳廓上的方式佩戴，如图所示。

在如图1所示被用户佩戴时，显示设备1具有一对显示单元2，这对显示单元2位于紧邻在用户眼睛前的位置上，即，一副眼镜的镜片通常所在的位置处。示例性地，显示单元2采用液晶显示(LCD)面板，其透光率被调节以便产生所需的通透状态(即，透明或半透明状态)。在置于通透状态时，每个显示单元2在被一直佩戴时并不影响用户的日常生活，就像眼镜一样。

在显示单元2被用户佩戴时，图像摄取透镜3a面向前方以便摄取在用户视线方向上的物体的图像。

发光元件4a被放置成在图像摄取透镜3a摄取图像的方向上给出照明。发光元件4a一般是由发光二极管(LED)形成的。

一对耳机状扬声器5a被布置为插入在用户的耳朵中(在图1中仅示出了左侧)。

用于采集外部声音的一对麦克风6a和6b位于右眼用显示单元2的右手边和左眼用显示单元2的左手边。

图1中所示的仅仅是一个例子，可以有不同的结构，其中显示设备1可以被设计为被用户佩戴。通常，可佩戴单元可以是眼镜型或头戴型的。对于本发明的实施例来说，任何结构都是可接受的，只要显示单元2位于用户眼睛的前方并且靠近用户的眼睛。或者，上述的一对显示单元2可以被单个显示单元2替代以供一只眼睛使用。

又或者，用于立体声效果的一对耳机状扬声器5a可以被单个扬声器替代以供一只耳朵使用。同样，一对麦克风6a和6b可以被单个麦克风替代。

图1的上述结构包含摄取图像的能力。

或者，该结构可以省却图像摄取功能。又或者，显示设备1可以没有麦克风和/或耳机状扬声器。又或者，显示设备1可以省却发光元件4a。

显示设备1的内部结构(后面将详细讨论)可包括用于从记录介质再现数据的再现能力(图3和4中的存储单元25)和用于与外部设备通信的通信能力(图3和4中的通信单元)。

在实现这些能力时，从中导出数据作为要被显示单元2显示的图像的源可包括图像摄取能力块、再现能力块和通信能力块。

图2图示了显示设备1如何与外部连接的设备相互关联。

图2的(a)示出了显示设备1被配置为独立使用的情况。在这种情况下，如果显示设备1具有图像摄取能力，则这样摄取的图像数据可以被显示单元2显示。如果显示设备1具有再现能力，则从记录介质再现的图像数据可以被显示单元2再现。可以从记录介质再现以供显示的数据可以是不同种类的：诸如电影和视频剪辑之类的运动图像内容；由数码照相机等拍摄并且被存储在记录介质上的静止图像内容；电子书数据；由用户在他/她的PC上准备并且被记录到记录介质的计算机用数据，包括图像数据、文本数据和电子数据表数据；从记录在记录介质上的视频游戏程序导出的视频游戏图像；以及可以被记录到记录介质上且从中再现以供显示的任何其他数据。

图2的(b)示出了显示设备1被配置为具有与外部图像摄取设备70通信的通信能力的情况。在这种情况下，显示设备1接收由图像摄取设备70摄取的图像(运动/静止图像)，并且使得显示单元2显示所接收的图像。外部图像摄取设备70一般而言可以是能够进行数据通信的摄像机或数码照相机。或者，如图1所示具有图像摄取能力的另一显示设备1可以被设置为与该显示设备1通信的外部图像摄取设备。

外部图像摄取设备70可以是不同类型的。它可以是使用显示设备1的用户所拥有的图像摄取设备，或是显示设备1的用户的熟人所拥有的图像摄取设备。或者，外部图像摄取设备70可以是被设为图像提供公共服务设施的一部分的设备、或是由私有服务提供公司建立的一个设备，这两者都能够与显示设备1通信。

图2的(c)示出了显示设备1具有与外部内容源设备71通信的通信能力的情况。在这种情况下，显示设备1从内容源设备71接收图像(运动/静止图像)，并且使显示单元2显示所接收的图像。

一般而言，内容源设备71可以是诸如视频单元、TV调谐器或家庭服务器之类的AV(视音频)设备；或者是诸如PC(个人计算机)、PDA(个人数字助理)或移动电话之类的信息处理设备。与以上情况一样，内容源设备71可以是操作显示设备1的用户所拥有的设备、用户的熟人所拥有的设备、被设为内容提供公共服务设施的一部分的设备、或者私有内容提供公司所建立的服务器。

从内容源设备71发送到显示设备1以供显示的数据也可以是不同种类的：诸如电影和视频剪辑之类的运动图像内容；由数码照相机等拍摄并且被存储在记录介质上的静止图像内容；电子书数据；由用户在他/她的PC上准备并且被记录到记录介质的计算机用数据，包括图像数据、文本数据和电子数据表数据；从记录在记录介质上的视频游戏程序导出的视频游戏图像；以及按适当的格式可供显示的任何其他数据。

图2的(d)示出了显示设备1具有通信能力的情况，尤其是利用网络73例如因特网的通信访问特征，该能力允许显示设备1通过网络73与外部建立的图像摄取设备70或内容源设备71通信。在这种情况下，显示设备1通过网络73接收不同种类的数据，并且使显示单元2显示所接收的数据的图像。

[2.显示设备的典型结构]

图3示出了显示设备1的典型内部结构。

系统控制器10一般由微计算机构成，微计算机包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)、非易失性存储器和接口。在操作中，系统控制器10整体控制显示设备1。

系统控制器10根据用户的状态控制显示设备1的组件。也就是说，系统控制器10运行一程序，该程序检测并判断用户的状态并且控制内部组件的操作以反映所检测和判断的内容。因此在功能上，系统控制器10具有两种能力：判断用户状态的用户状态判断能力10a和根据用户状态判断能力10a的判断结果向组件给出控制指令的操作控制能力10b，如图3所示。

显示设备1具有图像摄取单元3、图像摄取控制单元11和图像摄取信号处理单元15，以摄取用户前方的场景的图像。

图像摄取单元3具有透镜块、透镜驱动块和固态成像器件阵列。透镜块由图像摄取透镜3a(图1)、孔径、变焦透镜和聚焦透镜构成。透镜驱动块被设计为在聚焦和变焦操作中驱动透镜。固态成像器件阵列检测由透镜块摄取的光，并将所检测的光光电转换为图像摄取信号。一般而言，固态成像器件阵列是CCD(电荷耦合器件)传感器阵列或CMOS(互补金属氧化物半导体)传感器阵列。

图像摄取信号处理单元15包括视频A/D转换器和采样-保持/AGC(自动增益控制)电路，该电路对由图像摄取单元3的固态成像器件获取的信号执行增益控制和波形整形。通过以这种方式工作，图像摄取信号处理单元15获得了数字数据形式的图像摄取信号。图像摄取信号处理单元15还对图像摄取信号执行白平衡控制、亮度控制、白信号调节和相机抖动校正。

在系统控制器10的控制下，图像摄取控制单元11控制图像摄取单元3和图像摄取信号处理单元15的操作。示例性地，图像摄取控制单元11控制图像摄取单元3和图像摄取信号处理单元15的激活和停用。图像摄取控制单元11还对图像摄取单元3进行电机控制以调节自动聚焦、自动曝光、光圈打开和变焦功能。

图像摄取控制单元11具有定时发生器。由定时发生器生成的定时信号被用于控制固态成像器件以及图像摄取控制单元11中采样-保持/AGC电路和视频A/D转换器的信号处理。作为定时控制机制的一部分，还可以控制图像摄取帧率。

此外，图像摄取控制单元11在成像灵敏度和信号处理方面控制固态成像器件和图像摄取信号处理单元15。示例性地，作为成像灵敏度控制机制的一部分，对从固态成像器件读取的信号进行增益控制。同样，对黑电平设置、在数字数据级的图像摄取信号处理中使用的系数、以及相机抖动校正处理中的校正量执行控制。在成像灵敏度方面，可以执行总灵敏度调节(无论波段如何)，并且可以考虑特定波段(例如红外和紫外范围)执行灵敏度调节。通过在图像摄取透镜块中引入波长过滤器并且对图像摄取信号执行波长过滤计算，可以引入依赖于波长的灵敏度调节。更具体而言，图像摄取控制单元11可以通过适当地调节插入的波长过滤器并且指定适当的过滤器计算系数，来实现灵敏度控制。

由图像摄取单元3摄取并且经图像摄取信号处理单元15处理的图像摄取信号(所采集的图像数据)被提供给图像输入/输出控制单元27。

在系统控制器10的控制下，图像输入/输出控制单元27控制图像数据的传送，具体而言是在图像摄取块(图像摄取信号处理单元15)、显示块(显示图像处理单元12)、存储单元25和通信单元26之间的传送。

示例性地，图像输入/输出控制单元27向显示图像处理单元12、存储单元25和通信单元26提供构成由图像摄取信号处理单元15处理的图像摄取信号的图像数据。

图像输入/输出控制单元27还向显示图像处理单元12和通信单元26提供例如从存储单元25再现的图像数据。

此外，图像输入/输出控制单元27向显示图像处理单元12和存储单元25提供例如由通信单元26接收的图像数据。

显示设备1具有显示单元2、显示图像处理单元12、显示驱动单元13和显示控制单元14，这些单元构成了用于向用户提供画面显示的结构。

示例性地，由图像摄取单元3摄取并且经图像摄取信号处理单元15处理的图像数据可以作为图像摄取信号通过图像输入/输出控制单元27被发送到显示图像处理单元12。显示图像处理单元12就是通常被称为视频处理器的单元，其对所提供的图像数据执行各种与显示有关的处理。这些处理包括对图像数据进行的亮度水平调节、颜色校正、对比度调节和锐度控制(边缘增强)。显示图像处理单元12还能够根据所提供的图像数据生成部分放大或缩小的图像，基于所提供的图像数据对显示图像进行分割和叠加，生成字符和图形图像，以及将所生成的图像叠加在所提供的图像数据上。也就是说，所提供的图像数据可以被显示图像处理单元12按不同方式处理。

显示驱动单元13由像素驱动电路构成，像素驱动电路使得显示单元2(例如LCD)能够显示从显示图像处理单元12输送的图像数据。更具体而言，驱动电路基于在预定的水平和垂直驱动定时上出现的视频信号向以矩阵方式排列在显示单元2中的像素供应驱动信号，从而显示所输送数据的图像。显示驱动单元13通过适当地控制单元2中每个像素的透射率可以将显示单元2置于通透状态中。

显示控制单元14在系统控制器10的控制下控制显示图像处理单元12的处理和显示驱动单元13的操作。更具体而言，显示控制单元14使得显示图像处理单元12执行上述处理，并且使得显示驱动单元13能够在通透状态和图像显示状态之间进行切换。

从存储单元25再现的图像数据或由通信单元26接收的图像数据可以经由图像输入/输出控制单元27被输送到显示图像处理单元12。在这样的情况下，由于显示图像处理单元12和显示驱动单元13的上述工作，再现的图像或接收的图像由显示单元2输出。

显示设备1还包括音频输入单元6、音频信号处理单元16和音频输出单元5。

音频输入单元6由图1中所示的麦克风6a和6b、以及用于放大并转换由麦克风6a和6b获得的音频信号的麦克风放大器和A/D转换器构成。从这种处理获得的音频信号被输出作为音频数据。

由音频输入单元6获取的音频数据被输送到音频输入/输出控制单元28。

在系统控制器10的控制下，音频输入/输出控制单元28控制所输送的音频数据的传送，具体而言是在音频输入单元6、音频信号处理单元16、存储单元25和通信单元26之间的传送。

例如，音频输入/输出控制单元28将由音频输入单元6获得的音频数据输送到音频信号处理单元16、存储单元25或通信单元26。

音频输入/输出控制单元28还将例如从存储单元25再现的音频数据输送到音频信号处理单元16或通信单元26。

音频输入/输出控制单元28还将例如由通信单元26接收的音频数据转发到音频信号处理单元16或存储单元25。

音频信号处理单元16一般而言由数字信号处理器和D/A转换器构成。由音频输入单元6获得的音频数据或者来自存储单元25或通信单元26的音频数据通过音频输入/输出控制单元28被输送到音频信号处理单元16。在系统控制器10的控制下，音频信号处理单元16对输送的音频数据执行诸如声音水平控制、声音质量控制和音效调节之类的处理。这样处理后的音频数据被转换为模拟信号，该模拟信号被发送到音频输出单元5。音频信号处理单元16并不限于用于数字信号处理的结构；单元16也可以用包括用于模拟信号处理的模拟放大器和模拟滤波器的结构来实现。

音频输出单元5由上述图1中的一对耳机状扬声器5a和与耳机状扬声器5a相对应的放大器电路构成。

音频输入单元6、音频信号处理单元16和音频输出单元5一同用来使用户听见外部声音、从存储单元25再现的声音或者由通信单元26接收的声音。或者，音频输出单元5可以在结构上实现为所谓的骨传导扬声器。

存储单元25允许数据被写入到适当的记录介质并从适当的记录介质读取。一般而言，存储单元25被实现为硬盘驱动器(HDD)。很显然，记录介质可以是不同类型的，包括诸如闪存之类的固态存储器、包含固态存储器的存储卡、光盘、磁光盘和全息存储器。可以采用任何这样的记录介质，只要存储单元25可以正确地对所选的介质读写数据。

由图像摄取单元3摄取并且经图像摄取信号处理单元15处理为图像摄取信号的图像数据、或者由通信单元26接收的图像数据可以经由图像输入/输出控制单元27被发送到存储单元25。由音频输入单元6获得的音频数据或者由通信单元26接收的图像数据可以通过音频输入/输出控制单元28被转发到存储单元25。

在系统控制器10的控制下，存储单元25对输送的图像数据或音频数据进行编码以准备记录到记录介质，然后将编码后的数据写入到记录介质。

存储单元25还在系统控制器10的控制下从记录介质再现图像数据或音频数据。再现的图像数据被输出到图像输入/输出控制单元27；再现的音频数据被发送到音频输入/输出控制单元28。

通信单元26向外部设备发送数据并从外部设备接收数据。不同种类的外部设备可以与通信单元26通信，包括图2中所示的图像摄取设备70和内容源设备71。

通信单元26可以通过诸如无线LAN之类的网络或者可短距离无线链接到网络接入点的蓝牙装置与外部设备通信。或者，通信单元26可以与具有适当的通信能力的外部设备进行直接无线通信。

由图像摄取单元3摄取并且经图像摄取信号处理单元15处理为图像摄取信号的图像数据、或者从存储单元25再现的图像数据可以通过图像输入/输出控制单元27被发送到通信单元26。由音频输入单元6获取或者从存储单元25再现的音频数据可以经由音频输入/输出控制单元28被输送到通信单元26。

在系统控制器10的控制下，通信单元26对输送的图像数据或音频数据进行编码和调制以准备发送，并且将这样处理后的数据发送到外部设备。

通信单元26还从外部设备接收数据。由通信单元26接收并解调的图像数据被输出到图像输入/输出控制单元27；同样，接收并解调的音频数据被转发到音频输入/输出控制单元28。

显示设备1还包括发光单元4和发光控制单元18。发光单元4由图1中所示的发光元件4a和用于使发光元件4a(例如LED)发光的发光电路构成。发光控制单元18在系统控制器10的控制下使发光单元4执行发光操作。

在发光单元4的发光元件4a向前发光的情况下，发光单元4在用户的视线方向上提供照明。

显示设备1还包括视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22，这些传感器构成了用于获取用户信息的结构。

视觉传感器19检测关于用户的视觉的信息。示例性地，视觉传感器19能够检测诸如用户的视线、焦距、瞳孔扩张、视网膜图案和眨眼之类的与视觉有关的信息。

加速度传感器20和陀螺仪21输出反映用户的运动的信号。示例性地，这些传感器检测用户的头部、颈部、整个躯干、胳臂和腿的运动。

生物传感器22检测关于用户的生物信息。示例性地，生物传感器22检测用户的心率、脉搏速率、排汗、脑电波、皮肤电反射(GSR)、血压、体温和呼吸速率。生物传感器22检测到的信号构成了用来判断用户的不同状态的信息：紧张状态、激动状态、平静状态、睡觉状态、或者舒适状态或不舒适状态。

视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22一同用来获取关于佩戴显示设备1的用户的、与用户的行为或身体状态有关的信息。这样获取的用户信息被输送到系统控制器10。

通过执行其用户状态判断能力10a，系统控制器10判断反映所获取的用户信息的用户的意图或状态。在这样判断了用户的意图或状态后，系统控制器10通过其操作控制能力10b的处理来控制与显示有关的操作。更具体而言，系统控制器10指示显示控制单元14控制显示图像处理单元12和显示驱动单元13的操作，选择从其获得要显示的数据的源，或者控制存储单元25的再现或通信单元26的通信。

尽管视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22被示为构成用于获取用户信息的结构，但是所有这些组件的安装并不是必需的。也可以添加其它传感器，包括用于检测用户的语音的语音传感器和用于读取用户的唇运动的唇读取传感器。

图4示出了去掉图像摄取能力的显示设备1的典型结构。与图3中一样，在图4中，相同的标号代表相同或相应的功能块元件，并且将省略对它们的描述以避免描述的冗余。

图4中的结构与图3基本相同，区别在于去掉了图像摄取单元3、图像摄取信号处理单元15、图像摄取控制单元11、发光单元4、发光控制单元18和音频输入单元6。

在图3的结构中，有三个从中抽取数据以显示在显示单元2上的源：图像摄取能力块(图像摄取单元3、图像摄取信号处理单元15、图像摄取控制单元11)、再现能力块(存储单元25)和接收能力块(通信单元26)。与之相比，图4的结构具有两个可以提供数据以显示在显示单元2上的源：再现能力块(存储单元25)和接收能力块(通信单元26)。

换句话说，图3的设置在显示设备1中具有三个显示图像源，而图4的设置在显示设备1内部包含两个显示图像源。

尽管未示出，但是可以设计除了图3和4中所示以外的其它结构，每种结构在显示设备1中包含不同数目或不同类型的显示图像源。例如，一种替换结构可以只装备有图像摄取能力块；另一种结构只装备有再现能力块；另一种结构只装备有接收能力块；另一种结构装备有图像摄取能力块和再现能力块两者；另一种结构装备有图像摄取能力块和接收能力块两者。

[3.典型显示画面]

系统控制器10响应于用户的意图或状态来控制与显示有关的操作，选择提供要显示的数据的源并对显示图像执行处理。这允许用户在显示单元2上观看不同的显示形式和内容。图5至10示出了典型的画面。

图5的(a)示出了显示单元2被置于通透状态的情况。在这种情况下，显示单元2仅仅用作透明板构件，通过该构件用户观看前方的实际场景。

图5的(b)示出了显示单元2显示由图像摄取单元3摄取的图像的情况。在这种情况下，示例性地在用户处于以上图5的(a)的状态中的情况下，图像摄取单元3、图像摄取信号处理单元15、显示图像处理单元12和显示驱动单元13工作来令显示单元2显示所摄取的图像。此时由显示单元2显示的图像(正常摄取的图像)几乎与通透状态时相同。也就是说，用户正在观看由所摄取的图像呈现的正常视场。

图5的(c)示出了系统控制器10控制图像摄取控制单元11以让图像摄取单元3摄取远摄图像的情况。这样获得的远摄图像被显示单元2显示。

尽管未示出，但是如果系统控制器10使得图像摄取控制单元11令图像摄取单元3摄取广角拍摄图像，则该广角拍摄将被显示单元2显示。通过控制图像摄取单元3中的变焦透镜驱动器或者通过令图像摄取信号处理单元15适当地处理信号，可以实现远摄和广角拍摄设置之间的切换。

图5的(b)和(c)示出了图像摄取能力块用作提供要由显示单元2显示的显示图像数据的图像源的情况。与之相比，图6示出了存储单元25用作提供要在显示单元2上显示的显示图像数据的显示图像源的情况。

更具体而言，图6的(a)示出了存储单元25从其记录介质检索运动或静止图像并且让显示单元2显示所检索的内容的情况。

图6的(b)示出了存储单元25从其记录介质激活一个视频游戏程序并且允许显示单元2显示来自该程序的图像数据的情况。

图6的(c)示出了存储单元25从其记录介质检索电子书内容并且使检索出的内容能够由显示单元2显示的情况。

在以上图6的(a)、(b)和(c)的每种情况中，用户可以通过使用显示设备1来观赏从记录介质再现的图像数据。

图7和8示出了通信单元26用作提供要在显示单元2上显示的显示图像数据的图像源的情况。

图7给出了采用图2的(b)或图2的(d)的配置并且显示单元2显示从外部图像摄取设备70发送并且被通信单元26接收的图像数据的情况。

更具体而言，图7的(a)示出了这样一种情况，其中在用户处于图5的(a)的情形下、正在体育场内观看足球比赛时，显示单元2显示由位于同一体育场中的别处的图像摄取设备70摄取并被通信单元26接收的图像。在这种情况下，用户可以通过令显示单元2显示由靠近球队主管的座位的图像摄取设备70获得的图像或者由裁判员佩戴的微型图像摄取设备70收集的图像，来更有意思地观看比赛。

图7的(b)示出了这样一种情况，其中显示单元2显示由设置在旅游胜地的图像摄取设备70或者由去旅行的熟人携带的图像摄取设备摄取并且被通信单元26接收的图像。在这种情况下，用户可以在家中享受不同地区或国家的场景。

图7的(c)示出了这样一种情况，其中显示单元2显示由安装在飞机或卫星上的图像摄取设备70摄取并且被通信单元26接收的陆地视图(鸟瞰视图)。在这种情况下，用户可以享受在日常生活中无法遇到的场景。

图8示出了采用图2的(c)或图2的(d)的配置并且显示单元2显示从外部内容源设备71发送并且被通信单元26接收的图像数据的情况。

更具体而言，图8的(a)示出了这样一种情况，其中显示单元2显示从诸如AV设备或个人计算机之类的内容源设备71接收的图像内容，例如运动或静止图像。

图8的(b)示出了这样一种情况，其中诸如个人计算机之类的内容源设备71向显示设备1发送构成由设备71的浏览器程序访问的网站的屏上画面的图像数据或者构成在设备71上活动的应用程序的显示画面的图像数据。显示设备1随后使该图像数据被通信单元26接收并被显示单元2显示。

图8的(c)示出了这样一种情况，其中诸如个人计算机之类的内容源设备71向显示设备1发送构成在设备71上观看的照片列表等的显示画面的图像数据。显示设备1随后使该图像数据被通信单元26接收并被显示单元2显示。

在前述情况下，内容源设备71典型地是包括视频播放器的AV设备或诸如个人计算机之类的信息处理设备中的一种。显示设备1接收并显示从这些内容源设备71中的任何一个发送来的图像数据。佩戴显示设备1的用户随后可以验证所显示的图像并且相应执行各种操作。

图6示出了存储单元25用作输入图像数据的源的情况，而图8示出了通信单元26用作图像数据源的情况。或者，图8中所示的图像可以被认为是来自存储单元25的再现图像。又或者，图6中指示的图像可以被认为是已从外部设备发送并被通信单元26接收的图像。

图9、10和11示出了在显示形式或图像数据格式方面处理来自上述不同源(图像摄取能力块、再现能力块和接收能力块)的图像的情况。

图9的(a)示出了显示单元2被置于通透状态的情况。

图9的(b)示出了在系统控制器10向显示控制单元14(显示图像处理单元12、显示驱动单元13)给出分割显示指令的情况下显示单元2显示分割屏幕图像的情况。示例性地，显示单元2的屏上画面可以被分割为区域AR1和AR2。区域AR1可以处于通透状态或正常图像显示状态中，而区域AR2可以显示来自充当源的存储单元25或通信单元26的图像(图像可以是被再现或接收的视频内容图像)。

图9的(c)示出了分割屏幕显示的另一例子。在这种情况下，显示单元2的屏幕被示例性地分割为四个区域AR1、AR2、AR3和AR4，每个区域显示以预定间隔从感兴趣的图像中提取出的一帧。示例性地，显示图像处理单元12被布置为以0.5秒的间隔逐帧地提取图像数据。所提取出的图像帧以循环方式显示，从AR1→AR2→AR3→AR4→AR1→AR2，依此类推。这是一般在闪光灯发光下摄取的图像在显示单元2上进行分割屏幕显示的一个例子。

很显然，还可以让构成屏幕的多个区域中的每一个显示来自不同源中的每一个的图像。

图10的(a)示出了按正常大小显示来自图像摄取能力块、再现能力块或接收能力块的图像的情况。

如果系统控制器10通过显示控制单元14向显示图像处理单元12给出图像放大指令，则显示单元2可以显示放大后的图像，例如图10的(b)中所示的图像。

图11的(a)示出了按摄取时的状态显示来自图像摄取能力块、再现能力块或接收能力块的图像的情况。

这是低亮度水平的图像，并且用户看起来可能并不是很舒适。

在这种情况下，系统控制器10可以指示显示控制单元14(显示图像处理单元12、显示驱动单元13)增加亮度、调节对比度和/或增强锐度，从而使得显示单元2显示更亮、更清楚的图像，例如图11的(b)中所示的图像。

前述显示仅仅是例子，并不是对本发明的限制。本发明的实施例可以实现许多其他形式的显示。具体而言，通过从图像摄取能力块、再现能力块和接收能力块中选择期望的源，通过适当地控制图像摄取能力块或再现能力块的操作，或者通过适当地控制显示图像处理单元12或显示驱动单元13的处理或操作，可以产生这样的显示。

示例性地，如果图像摄取能力块被选为显示图像源，则可以实现以下显示：远摄视图显示、广角视图显示、从远摄向广角设置移动的拉近和拉远显示或者反之、放大显示、缩小显示、以可变帧率进行的显示(例如以高或低帧率摄取的图像)、高亮度显示、低亮度显示、可变对比度显示、可变锐度显示、增强成像灵敏度的显示、增强红外成像灵敏度的显示、增强紫外成像灵敏度的显示、以及抑制特定波段的图像显示。

如果再现能力块或接收能力块被选为显示图像源，则可以实现以变化的速度再现的图像的显示(例如高速再现、慢再现、逐帧前进再现)、以及在个人计算机等上执行的显示页面的改变或图像的滚动。

在显示图像处理单元12的处理被适当地控制的情况下，可以想到实现具有不同屏上效果的显示，例如具有像素马赛克效果的图像、反白显示的图像、软聚焦图像、部分高亮显示的图像以及环境色可变的图像。

[4.用户状态的判断]

如上所述，实现本发明的显示设备1具有视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22，这些组件构成了用于获取用户信息的结构。

视觉传感器19被用于检测关于用户的视觉的信息。例如视觉传感器19可以由靠近显示单元2的图像摄取装置形成以取得用户眼睛的图片。用户眼睛的图像被该图像摄取装置摄取并被系统控制器10获取，其中用户状态判断能力10a分析所获得的图像。该分析提供了关于用户的视线、焦距、瞳孔扩张、视网膜图案和眨眼的信息。这样获取的信息被用作判断用户的状态或意图的基础。

或者，视觉传感器19可以由光发射装置和光接收装置形成，光发射布置靠近显示单元2并且向用户的眼睛发射光，光接收布置接收来自用户的眼睛的反射光。示例性地，根据所接收的光信号检测用户的晶状体的厚度。所检测的晶状体厚度继而用作检测用户的眼睛的焦距的基础。

通过检测用户的视线，系统控制器10可以判断被显示单元2具体显示的图像的哪一部分正在吸引用户的注意。

系统控制器10还可以将用户的视线识别为输入操作。例如，用户的视线向右或向左移动可以被解释为输入到显示设备1的指令。

通过检测用户的焦距，可以判断当前吸引用户注意的场景是在近处还是在远处。这继而允许执行变焦控制和放大/缩小控制。示例性地，用户正观看远处对象的行为可以被解释为产生远摄视图显示的提示。

通过检测用户的瞳孔扩张程度，可以判断用户如何对环境亮度的闪耀作出反应(如果实现通透状态的话)或者用户如何对屏上图像亮度的闪耀作出反应(如果使用了监视器显示状态的话)。根据这样判断的用户的反应，系统控制器10可以控制亮度和成像灵敏度。

示例性地，可以检测用户的视网膜图案以用于认证用户的身份。由于每个人都有他/她唯一的视网膜图案，因此识别佩戴显示设备的用户，从而使得可以以适合于所检测的身份的方式来控制该设备。或者，显示设备可以使其监视器仅用于特别认证的用户。

通过检测用户的眨眼，可以判断由于闪耀或其他原因而引起的用户的眼睛疲劳的程度。还可以将用户的眨眼解释为用户故意执行的输入操作。例如，用户作出的三次连续眨眼可以被解释为产生特定操作的提示。

加速度传感器20和陀螺仪21输出与用户的运动相对应的信号。示例性地，加速度传感器20适合于检测线性运动，而陀螺仪21适合于感测旋转或振动运动。

当适当地定位在用户的身体上时，加速度传感器20和陀螺仪21可以检测用户的整个身体或身体若干部分的运动。

例如，加速度传感器20和陀螺仪21可以安装在图1所示的眼镜状显示设备1的内部，以便检测用户的头部运动。在这种情况下，加速度传感器20提供关于用户的头部或整个身体的加速度的信息，并且陀螺仪21产生关于用户的整个身体的角速度和振动的信息。

以上传感器设置主要检测用户的头部或颈部运动的行为。示例性地，传感器可以检测用户是在向上看还是在向下看。用户的头部朝向下可以被解释为用户正在观看附近的对象，例如在读书时；用户的头部朝向上可以被解释为用户正在观看远处的对象。

在检测到用户摇动他/她的头时，系统控制器10可以将该动作解释为用户的故意动作。例如，如果发现用户向左摇头两次，则该动作可以被识别为特定的输入操作。

加速度传感器20和陀螺仪21可以适当地被布置为检测用户是在休息(静止)、行走还是跑步。这些传感器还可以判断用户是从他/她的站立位置坐下还是从坐的位置站起。

又或者，加速度传感器20和陀螺仪21可以附接到用户的胳臂或腿，从而远离安装在用户头部的可佩戴单元。该传感器设置可以只检测用户的胳臂或腿的运动。

生物传感器22被设计为检测关于用户的心率、脉搏速率、排汗、脑电波(例如，α波、β波、θ波、γ波)、皮肤电反射、体温、血压和呼吸(例如，呼吸的速率和深度、呼气量)的信息。这些信息的获取允许系统控制器10检测用户是否处于紧张状态、激动状态、平静状态、舒适状态或不舒适状态中。

基于生物信息可以判断显示设备1当前是否被用户佩戴，并且该信息可以用于操作目的。示例性地，如果发现显示设备1未被用户佩戴，则系统控制器10可以将设备1置于待机模式中，这时仅仅检查生物信息。只要发现显示设备1被用户佩戴，系统控制器10就可以激活设备1。当发现用户已解下显示设备1时，系统控制器10可以将设备1置回待机模式。

由生物传感器22检测到的信息还可以用于认证用户的身份(从而使该设备应当被正确认证的人所佩戴)。

生物传感器22可以位于眼镜状显示设备1的头部安装框架的内部。示例性地，上述信息可以从用户头部的鬓角和后部获得。或者，生物传感器22可以位于用户身体上的别处，而与显示设备1的头部安装框架相独立。

[5.各种操作]

如上所述，实现本发明的显示设备1根据视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22检测到的用户信息来令其系统控制器10控制与显示有关的操作。以这种方式，系统控制器10允许显示单元2显示的图像反映用户的意图和状态，因而与他/她的偏好相适应。

下面将描述在系统控制器10的控制下执行的这些操作。

图12是构成由系统控制器10的操作控制能力10b执行的典型控制处理的步骤的流程图。

在步骤F101中，系统控制器10控制显示控制单元14将显示单元2置于通透状态中。示例性地，当显示设备1被初次接通时，系统控制器10前进到步骤F101，并且将显示单元2置于通透状态。

在显示单元2处于通透状态的情况下，系统控制器10前进到步骤F102，并且进行检查以判断是否检测到显示开始触发。显示开始触发表示一个事件，该事件提示系统控制器10考虑由用户状态判断能力10a所判断的用户的意图或状态而使得显示单元2开始其显示操作。系统控制器10识别出以下形式的特定显示开始触发：用户的明确操作、用户的故意动作(即，被解释为操作的动作)、或者用户的无意识运动或状态(包括用户的感知)。触发的某些例子在下面描述。

如果检测到显示开始触发，则系统控制器10前进到步骤F103，并且控制显示开始。更具体而言，系统控制器10指示显示控制单元14控制显示图像处理单元12和显示驱动单元13，以让显示单元2显示作为正常摄取图像的所提供的数据。

显示图像处理单元12通过图像输入/输出控制单元27被提供给图像数据。如果如图3或4所示存在多个图像数据源，则显示图像处理单元12可以在此时被馈送给来自图像摄取能力块(图像摄取单元3、图像摄取信号处理单元15)、再现能力块(存储单元25)或接收能力块(通信单元26)的图像数据，至于其中哪个则是默认选择的。示例性地，如果图像摄取能力块被默认选为源，则到达步骤F103的系统控制器10指示图像摄取控制单元11开始摄取图像，使得图像摄取单元3和图像摄取信号处理单元15执行正常的图像摄取操作，并通过图像输入/输出控制单元27将构成图像摄取信号的图像数据发送到显示图像处理单元12。在这种情况下，显示单元2一般从图5的(a)的通透状态切换到如图5的(b)所示的产生正常摄取图像的监视器显示状态。

如果默认源是存储单元25，则系统控制器10在步骤F103中可以启动存储单元25，并且令显示单元2显示再现的内容或菜单屏幕以选择来自存储单元25的内容。如果默认源是通信单元26，则系统控制器10在步骤F103中可以启动通信单元26，并且令显示单元2显示通信准备就绪画面或从外部设备接收的数据的图像。

很显然，如果只有一个源，则来自该源的图像数据需要被提供给显示图像处理单元12。

又或者，当到达步骤F103以控制显示开始时，显示单元2可以被布置为在没有从图像源提供图像数据的情况下显示菜单屏幕或源选择屏幕作为其初始屏幕。

尽管图12的处理没有特别提及从音频输出单元5输出的音频，但是假定在显示单元2的显示操作期间，系统控制器10控制音频输入/输出控制单元28和音频信号处理单元16基于来自提供显示图像的相同源的音频数据输出声音。

在来自给定源的图像正被显示单元2显示的同时，系统控制器10前进到步骤F104，并且进行检查以判断是否已发生显示控制触发。如果没有检测到显示控制触发，则系统控制器10前进到步骤F105，并且进行检查以查看是否已发生源切换触发。如果没有检测到源切换触发，则系统控制器10前进到步骤F106，并且判断是否已发生显示结束触发。

显示控制触发表示一个事件，该事件提示系统控制器10考虑由用户状态判断能力10a判断的用户的意图或状态而对如何显示图像或者如何处理显示图像数据进行改变。

源切换触发意味着一个事件，该事件在显示设备1如图3或4所示具有多个源的情况下，提示系统控制器10考虑由用户状态判断能力10a判断的用户的意图或状态而切换显示图像数据的源。

显示结束触发是指一个事件，该事件提示系统控制器10考虑由用户状态判断能力10a判断的用户的意图或状态而使得显示单元2结束其显示操作并且进入通透状态。

以上触发被系统控制器10检测，作为用户的故意操作(被识别为操作的任何动作)或者用户的无意识操作或状态(即，用户的物理或精神状态)的代表。下面将更详细讨论如何识别这些触发以及如果检测到触发则控制什么操作。

如果检测到显示控制触发，则系统控制器10从步骤F104前进到步骤F107，并且控制图像显示操作。具体而言，系统控制器10指示显示控制单元14令显示单元2给出反映此时的用户的意图或状态的显示。取决于当前选择的源，系统控制器可以控制图像摄取能力块、存储单元25的操作或者通信单元26的操作。

在步骤F107中的显示操作控制之后，系统控制器10继续在步骤F104、F105和F106中检查触发。

如果检测到源切换触发，则系统控制器10从步骤F105前进到步骤F108，并且控制源切换操作。具体而言，系统控制器10指示图像输入/输出控制单元27和/或音频输入/输出控制单元28控制新切换的源的操作，并且向显示图像处理单元12和/或音频信号处理单元16输送来自新的源的图像数据和/或音频数据。

步骤F108中的源切换控制示例性地将显示单元2从显示由图像摄取单元3摄取的图像的状态切换到显示从存储单元25再现的图像的状态。

在步骤F108中的源切换控制之后，系统控制器10继续在步骤F104、F105和F106中检查触发。

如果检测到显示结束触发，则系统控制器10从步骤F106回到步骤F101，并且指示显示控制单元14将显示单元2置于通透状态。当前选择的图像数据源被指示结束其图像馈送操作。

在显示设备1保持活动并且被用户佩戴的同时，系统控制器10的操作控制能力10b执行在图12中概述的处理。

在该处理期间，实现了四种控制：在检测到显示开始触发之后的显示开始控制、在检测到显示控制触发之后的显示操作控制、在检测到源切换触发之后的源切换控制、以及在检测到显示结束触发之后将显示单元2置于通透状态的控制。下面将参考图13和后续的图讨论对触发的检查和在触发检测之后要执行的特定控制的进一步细节。

图13至19概述了由系统控制器10的用户状态判断能力10a执行的典型处理。这些处理假定是与由操作控制能力10b执行的图12的处理并行执行的。并行执行示例性地表明由系统控制器10执行的图12的处理被周期性地中断以通过图13至19的处理检测触发。这些处理的程序可以嵌入在图12的处理的程序中，或者可以与图12的处理的程序分开提供并周期性调用。也就是说，这些程序可以按任何适当的形式提供。

图13示出了显示开始触发被检测为从通透状态切换到显示状态的提示的情况。

图13的(a)和(b)指示了检查用户的行为以发现开始监视器显示的触发的情况。

在图13的(a)的步骤F200中，系统控制器10检查由加速度传感器20和/或陀螺仪21检测到的信息(加速度信号、角速度信号)。

假定用户的特定运动(例如向下移动头部两次、左右摇头一次、或者转头运动一圈)被预先确定为代表用户开始显示操作的决定。如果发现来自加速度传感器20和/或陀螺仪21的检测信息指示出指定开始显示的用户的特定运动，则系统控制器10从步骤F201前进到步骤F202，并且识别出显示开始触发。

在步骤F202中检测到显示开始触发的情况下，图12中的处理的控制被从步骤F102传递到步骤F103。在步骤F103中，系统控制器10控制显示单元2开始其图像显示。

由加速度传感器20或陀螺仪21检测到的代表用户开始监视器显示的决定的用户的特定行为并不限于上述例子。或者，用户可以跳跃、挥手、摇胳臂、摆腿、或者执行任何其他身体运动以获得相同的结果。

图13的(b)示出了基于来自视觉传感器19的信息判断显示开始触发的情况。

在步骤F210中，系统控制器10分析来自视觉传感器19的信息。示例性地，如果视觉传感器19包括摄取用户的视网膜图案的图像的图像摄取器件，则系统控制器10分析由视觉传感器19这样获取的图像。

如果用户的三次连续眨眼被预先确定为代表用户开始显示操作的决定，则系统控制器10通过图像分析检查该特定行为。在检测到用户的三次连续眨眼后，系统控制器10从步骤F211前进到F212，并且识别出显示开始触发。

在步骤F212中检测到显示开始触发的情况下，图12中的处理的控制被从步骤F102传递到步骤F103。

在步骤F103中，系统控制器10控制显示单元2开始其图像显示。

由视觉传感器19检测到的代表用户开始监视器显示的决定的用户的特定行为并不限于上述例子。或者，用户可以以转圈方式转动眼珠、左右或上下移动眼珠两次、或者进行任何其他适当的眼珠运动以获得相同的结果。

图13的(c)示出了用户佩戴显示设备1本身的动作被解释为显示开始触发的情况。

在步骤F230中，系统控制器10检查来自生物传感器22的诸如脑电波、心率和皮肤电反射之类的信息。

在步骤F231中，系统控制器10检查来自生物传感器22的信息以判断用户是否正在佩戴显示设备1。生物传感器22开始获取生物信息这一事实被解释为用户开始佩戴显示设备1。

在检测到用户佩戴显示设备1后，系统控制器10从步骤F231前进到步骤F232，并且识别出显示开始触发。在步骤F232中检测到显示开始触发的情况下，系统控制器10到达图12中的步骤F103，并且执行显示开始控制。

用户是否正在佩戴显示设备1如上所述是基于来自生物传感器22的生理信息判断的。

只要检测到开始获得诸如脉搏速率、脑电波和皮肤电反射之类的数据中的任何一种，就识别出显示开始触发。因此，用户佩戴显示设备1的动作提示系统控制器10开始显示操作。

还可以在显示设备1仅被特定用户佩戴而不是被任意用户佩戴时开始显示控制。由视觉传感器19检测到的用户的视网膜图案或者来自生物传感器22的检测信号可以用于识别各个用户。在预先登记了关于预期用户的视网膜图案或特定生物信息的情况下，系统控制器10可以根据输入的信息判断哪一个用户当前正佩戴显示设备1。

具体而言，当某一用户佩戴显示设备1时，系统控制器10认证用户的身份。如果识别出特定用户的身份，则系统控制器10检测到显示开始触发并且相应地执行显示开始控制。

还可以通过解释用户的多种无意识行为或身体状态来检测显示开始触发。

例如，在来自视觉传感器19的信息中用户视线的突然移动可以被解释为显示开始触发。或者，可以利用来自视觉传感器19的其他信息或者基于来自音频输入单元6的输入声音来识别显示开始触发。

当如上所述显示单元2响应于显示开始触发而显示图像时，通透状态区域AR1可以在显示单元2的屏幕上保持不变，而另一区域AR2被布置为显示被摄取的图像，如图9的(b)所示。

尽管未在图12中示出，但是可以进行布置以识别来自开始佩戴显示设备1的用户的开机触发，如图13的(c)所示。在这种情况下，系统控制器10在检测到设备1被用户佩戴上后开启显示设备1。

相反地，当检测到设备1被用户摘下时，系统控制器10可以关闭显示设备1。

下面参考图14至17描述的是在图12的步骤F104中识别出显示控制触发后执行的典型处理。

图14是构成用于响应用户的视线移动而向前和向后移动所显示的页面或其高亮显示部分的典型处理的步骤的流程图。

在图14的步骤F300中，系统控制器10分析来自视觉传感器19的信息。如果视觉传感器19包括拍摄用户的眼睛的图片的图像摄取单元，则系统控制器10分析这样获取的眼睛图像。

如果发现用户的视线向左移动，则系统控制器10从步骤F301前进到步骤F303，并且识别出图像向后触发。

如果发现用户的视线向右移动，则系统控制器10从步骤F302前进到步骤F304，并且识别出图像向前触发。

在以上任何一种情况下，图12中的处理的控制都被从步骤F104传递到步骤F107，并且系统控制器10执行显示图像向前/向后控制。如果存储单元25被设置为源并且再现的图像如图6的(c)或图8的(c)中所示，则系统控制器10控制显示图像处理单元12和存储单元25，以便向前或向后移动当前页面或其高亮显示部分。

尽管以上例子被示为采用对用户视线左右移动的检测，但是这并不是对本发明的限制。或者，可以检测用户视线的上下移动，并将其解释为屏幕滚动触发，从而可以按用户需要滚动显示屏幕。

图15是构成用于基于用户的舒适和不舒适感觉来控制显示状态的典型处理的步骤的流程图。

在图15的步骤F400中，系统控制器10分析来自视觉传感器19的信息以检测用户的瞳孔扩张和眨眼(每单位时间内的眨眼次数)。

在步骤F401中，系统控制器10检查来自生物传感器22的诸如脑电波、心率、排汗和血压之类的生物信息。

给定这些来自视觉传感器19和生物传感器22的信息，系统控制器10进行检查以判断对于显示单元2正显示的图像用户是否处于舒适状态中。

如果发现用户的视觉感知状态是不舒适的，则系统控制器10从步骤F402前进到步骤F403，并且识别出图像调节触发。系统控制器10随后前进到步骤F404，并且计算相信会给处于这一情形下的用户带来舒适感觉的修改后的设置，例如调节显示亮度、对比度和锐度的设置。

在步骤F403和F404之后，系统控制器10进行的图12中的处理的控制被从步骤F404传递到步骤F107。在这种情况下，系统控制器10指示显示图像处理单元12执行诸如亮度水平调节、对比度调节和锐度控制之类的处理。这些处理调节了显示单元2显示的图像的质量，从而使该图像对于用户而言看起来比以前更加舒适。

例如，由于眼睛疲劳或者正显示图像摄取能力块所摄取的图像的环境亮度的异常，用户的视觉感知状态可能恶化。在这种情况下，以上处理校正了这些情形并且允许用户恢复视觉感知的愉快状态。示例性地，诸如图11的(a)中所示的模糊的不清楚图像可以被图11的(b)中所指示的更清楚图像替代。在用户一方眼睛疲劳的情况下，当前显示的图像可以从硬对比度状态转变为较柔和对比度的图像。

图16是构成用于将用户头部的运动解释为有意义操作的典型处理的步骤的流程图。

在步骤F500中，系统控制器10检查加速度传感器20和/或陀螺仪21检测到的信息(加速度信号、角速度信号)。在步骤F501中，系统控制器10判断用户头部的运动。例如，进行检查以查看用户的头部是否向后运动两次、向前运动两次或者向左运动两次。

如果发现用户的头部向后运动两次，则系统控制器10从步骤F502前进到步骤F505，并且识别出图像放大触发。

在这种情况下，系统控制器10进行的图12中的处理的控制被从步骤F104传递到步骤F107，并且系统控制器10指示显示图像处理单元12执行图像放大处理。这又使得显示单元2显示诸如图10的(b)中所示的放大的图像。

如果发现用户的头部向前运动两次，则系统控制器10从步骤F503前进到步骤F506，并且识别出图像缩小触发。在这种情况下，系统控制器10进行的图12中的处理的控制也被从步骤F104传递到步骤F107，并且系统控制器10指示显示图像处理单元12执行图像缩小处理。这又使得显示单元2显示缩小的图像。

如果发现用户的头部向左运动两次，则系统控制器10从步骤F504前进到步骤F507，并且识别出图像比例复位(默认)触发。在这种情况下，同样，系统控制器10进行的图12中的处理的控制也被从步骤F104传递到步骤F107，并且系统控制器10指示显示图像处理单元12执行比例复位处理。这又使得显示单元2显示默认比例的图像。

图17是构成用于基于来自视觉传感器19的信息识别用于对显示画面进行输入操作的触发的典型处理的步骤的流程图。

在图17的步骤F600中，系统控制器10分析来自视觉传感器19的信息。如果视觉传感器19包括拍摄用户眼睛的图片的图像摄取单元，则系统控制器10分析这样获取的眼睛图像，并且检查在看着显示单元2时用户视线的移动或者用户的眨眼。

在检测到用户视线的移动后，系统控制器10从步骤F601前进到步骤F603，并且识别出用于移动显示画面上的光标(即，屏上指针)的触发。在步骤F604中，系统控制器10基于所检测的视线移动的方向和量来计算在屏幕上光标移动的方向和量。

在这种情况下，系统控制器10到达图12中的步骤F107，并且指示显示图像处理单元12按计算结果移动光标。示例性地，如果正显示诸如图8的(b)和(c)中所示的图像，则在该显示画面上光标被移动。

在检测到用户的两次连续眨眼后，系统控制器10从步骤F602前进到步骤F605，并且识别出用于点击操作的触发。在这种情况下，系统控制器10到达图12中的步骤F107，并且执行与点击相对应的控制处理。示例性地，如果发现点击与来自存储单元25的再现图像相关联，则系统控制器10控制存储单元25的再现操作以反映点击操作；如果发现点击是对通信单元26所接收的图像进行的，则系统控制器10向所连接的外部设备发送该时刻有效的光标位置和点击调用的操作信息。

以上处理允许用户眼睛的移动被用作与附接到一般计算机系统的鼠标的操作相当的触发。当正显示诸如图6的(b)中所示的视频游戏图像时，用户的视线和眨眼可以被检测到，并被用作对进行中的游戏作出反应的用户操作。

图14、15、16和17中的处理被示出为控制如何在屏上显示图像，如何处理要显示的图像数据，或者如何响应于用户的故意或无意识操作或身体状态而在显示画面上执行操作。然而，以上引用的例子仅是用于说明目的；可以有检测显示控制触发并且相应执行控制的许多其他例子。

无论何时，当在根据来自视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22的不同信息检测用户的行为和身体状态后，发现满足预定的条件时，都可以识别出显示控制触发。

当在不同条件下识别出显示控制触发时，根据发生的用户行为和身体状态，显示图像处理单元12可以被操作以执行放大/缩小控制；亮度、对比度和锐度调节；对图像效果的控制(包括有像素马赛克效果的图像、反白显示的图像和软聚焦图像)；以及对分割画面显示和闪光诱发的图像显示的控制。

如果图像摄取能力块被选为源并且由显示单元2显示所摄取的图像，则图像摄取单元3和图像摄取信号处理单元15可以被操作以执行远摄和广角拍摄设置之间的变焦控制、成像灵敏度控制、成像帧率之间的切换、以及对红外或紫外成像灵敏度设置的改变。

如果来自存储单元25的再现图像或者来自通信单元26的接收图像被显示单元2显示，则可以识别不同的显示控制触发，并且可以相应操作存储单元25或通信单元26。也就是说，这些操作可以应对可变速度再现控制(例如快进/快退、对期望位置的即时访问、逐帧馈送、慢再现和暂停)；页面馈送、卷页、列表显示内的高亮显示部分的移动、光标移动、决定最终化操作和视频游戏动作。

换句话说，检测显示控制触发的条件可以以大量组合方式与相应的控制操作相关联。

当响应于如上所述的显示控制触发要改变显示单元2上的屏上画面时，较宽区域AR1可以保持在其通透状态或正常显示状态中不变，而较小区域AR2被布置为以不同形式显示图像，如图9的(b)中所示。很显然，还可以在较宽区域AR1中显示反映显示控制触发的图像。又或者，屏幕可以被划分为均等的部分，其中按需要显示正常摄取图像和与显示控制触发相对应的图像。

参考图14至18给出的前述描述是关于如何识别显示控制触发的不同例子以及如何通过适当控制来处理这些触发。类似地，可以想到要在图12的步骤F105中检测的源切换触发的各种例子。

也就是说，可以根据由视觉传感器19、加速度传感器20、陀螺仪21和生物传感器22提供的信息来检测用户的故意动作以及他/她的无意识行为和身体状态。当发现满足特定条件时，可以检测到源切换触发的存在。

在这样识别出源切换触发的情况下，系统控制器10可以前进到图12中的步骤F108，并且切换向显示图像处理单元12提供图像数据的源。

以下参考图18和19所描述的是要在图12的步骤F106中检测的显示结束触发的例子，该触发给出了从图像显示状态切换到通透状态的提示。

图18的(a)是构成用于基于用户的故意行为结束显示操作的典型处理的步骤的流程图。

在图18的(a)的步骤F800中，系统控制器10检查由加速度传感器20和陀螺仪21检测到的信息以判断用户的头部运动和全身运动。

在检测到用户的指定希望结束监视器显示的特定行为后，系统控制器10从步骤F801前进到步骤F802，并且识别出显示结束触发。

在步骤F802之后，系统控制器10进行的图12中的处理的控制被从步骤F106传递到步骤F101。在这种情况下，系统控制器10指示显示控制单元14切换到通透状态。这使得显示单元2返回到通透状态中，如图5的(a)中所示。

图18的(b)是构成用于基于用户的故意行为结束显示操作的另一种典型处理的步骤的流程图。

在图18的(b)的步骤F810中，系统控制器10分析来自视觉传感器19的信息。如果用户的三次连续眨眼被预设为由用户进行的指定显示结束的操作，则系统控制器10通过图像分析来检查该行为。

在检测到用户部分上的三次连续眨眼后，系统控制器从步骤F811前进到步骤F812，并且识别出显示结束触发。

在步骤F812之后，系统控制器10进行的图12中的处理的控制被从步骤F106传递到步骤F101，并且系统控制器10指示显示控制单元14切换到通透状态。显示单元2随后被置回到通透状态中，如图5的(a)中所示。

在通过图18的(a)和(b)中所概述的行为表达出用户希望进入通透状态的意图的情况下，执行反映出用户意图的控制操作。很显然，可以想到用户一方的许多其他种类的行为，这些行为表达出用户希望实现通透状态的意图。

图19的(a)是构成用于响应用户的运动(即，无意识执行的动作被视为致动操作)自动切换回通透状态的典型处理的步骤的流程图。

在图19的(a)的步骤F900中，系统控制器10检查由加速度传感器20和陀螺仪21检测到的信息以判断用户全身的运动。具体而言，系统控制器10进行检查以判断用户是在休息、行走还是在跑步。

在检测到用户开始行走或跑步后，系统控制器从步骤F901前进到步骤F902，并且识别出显示结束触发已发生。

在步骤F902之后，系统控制器10进行的图12中的处理的控制被从步骤F106传递到步骤F101，并且系统控制器10指示显示控制单元14切换到通透状态。继而，显示单元2被置回到通透状态中，如图5的(a)中所示。

希望将用户的行走或跑步状态解释为返回通透状态的提示是为了确保用户的安全。

然而，对切换回通透状态的提示并不是对本发明的限制。或者，在检测到用户的行走或跑步状态后，监视器画面可以被切换到等同于通透状态的正常摄取图像，如图5的(b)中所示。

图19的(b)是构成用于响应用户的身体状态自动返回通透状态的典型处理的步骤的流程图。

在图19的(b)的步骤F910中，系统控制器10检查来自生物传感器22的诸如用户的脑电波、心率、排汗和血压之类的信息。

在步骤F911中，系统控制器10分析来自视觉传感器19的信息以检查用户的瞳孔扩张和眨眼(每单位时间的眨眼次数)。

基于来自生物传感器22和视觉传感器19的信息，系统控制器10进行检查以判断用户的眼睛是否过度地疲劳。

在检测到用户的眼睛疲劳后，系统控制器10从步骤F912前进到步骤F913，并且识别出显示结束触发已发生。

在步骤F913之后，系统控制器10进行的图12中的处理的控制被从步骤F106传递到步骤F101，并且系统控制器10指示显示控制单元14切换到通透状态。示例性地，在增强的红外成像灵敏度下在监视器屏幕上的摄取图像的显示被终止，并且显示单元2被置回到通透状态中。

当显示单元2的显示操作响应于用户的身体状态(例如眼睛疲劳)而结束时，可以以最小化对用户的身体状况的负担的方式来使用显示设备1。

[6.实施例的效果、变化和扩展]

上面已描述了本发明的优选实施例。该描述集中于显示单元2等等上，显示单元2是显示设备1的眼镜状或可头戴式单元的一部分，并且将图像显示在紧邻用户眼睛之前。利用这一设置，关于用户的运动和身体状态的信息被用作判断用户的意图和生物状态的基础。所判断的结果继而又用于控制与显示有关的操作，从而在用户一方只需付出很少的操作努力的情况下就可实现与用户的意图和状态相对应的适当显示。因而，本发明的显示设备1提供了优异的可用性并且给用户提供了多种视觉体验。

在通过控制透射率而使得显示单元2被置于透明或半透明状态的情况下，显示设备1在被用户佩戴时不会打扰他/她的日常工作。用户在进行正常生活的同时就可以享受本发明的显示设备1的益处。

在前述描述中，重点放在如何控制显示操作上。或者，用户的行为和生物状态可以被用作用于控制在设备的开机、关机和待机状态之间切换并且调节由音频输出单元5输出的声音的音量和质量的基础。示例性地，通过检查来自生物传感器22的信息以查看当前用户的舒适程度如何，可以实现声音水平控制。

显示设备1可以含有用于识别图像中的字符的字符识别块和用于执行语音合成处理的语音合成块。利用这些修改，字符识别块识别可以在已摄取、再现或接收的图像中找到的任何字符。给定所识别出的字符，语音合成块生成朗读语音信号，该信号使得音频输出单元5朗读字符。

显示设备1的外观和结构并不限于图1、3和4中所示的那些。可以想到许多其他变化和修改。

尽管显示设备1被描述为可安装在眼镜状或可头戴式单元上，但是这并不是对本发明的限制。根据本发明的显示设备1只需要被构造为给出紧邻在用户眼睛之前的显示。示例性地，本发明的设备可以是耳机型、颈带型、耳钩型或者任何其他可佩戴类型的。又或者，显示设备可以在被用户佩戴时附接到用户的眼镜、帽舌、耳机或其他具有夹子或类似装置的日常佩戴附件。

Claims (27)

1.一种显示设备，包括：

设在用户眼睛前方用于显示图像的显示装置；

用户信息获取装置，用于获取关于所述用户的行为或身体状态的信息；和

控制装置，用于根据由所述用户信息获取装置获取的信息来判断所述用户的意图或状态，所述控制装置还控制所述显示装置的显示操作以反映判断的结果。

2.如权利要求1所述的显示设备，还包括：

用于摄取图像的图像摄取装置。

3.如权利要求2所述的显示设备，其中所述控制装置根据由所述用户信息获取装置获取的信息来控制所述显示装置显示由所述图像摄取装置摄取的图像数据。

4.如权利要求1所述的显示设备，还包括：

再现装置，用于再现来自记录介质的数据。

5.如权利要求4所述的显示设备，其中所述控制装置根据由所述用户信息获取装置获取的信息来控制所述显示装置显示由所述再现装置再现的数据。

6.如权利要求4所述的显示设备，其中当所述显示装置正在显示由所述再现装置再现的数据时，所述控制装置根据由所述用户信息获取装置获取的信息来控制所述再现装置的再现操作。

7.如权利要求1所述的显示设备，还包括：

接收装置，用于通过与外部设备的通信来接收数据。

8.如权利要求7所述的显示设备，其中所述控制装置根据由所述用户信息获取装置获取的信息来控制所述显示装置显示由所述接收装置接收的数据。

9.如权利要求1所述的显示设备，其中所述显示装置能够在通透状态和显示状态之间进行切换，所述通透状态是所述显示装置保持透明或半透明的状态，所述显示状态是所述显示装置显示所提供的数据的状态。

10.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测加速度、角速度或振动的传感器。

11.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测所述用户的头部、胳臂、手、腿或整个身体的运动的传感器。

12.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测所述用户的静止状态、行走状态和跑步状态的传感器。

13.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测关于所述用户的视觉信息的传感器。

14.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测所述用户的视线、焦距、瞳孔扩张、视网膜图案或眨眼作为关于所述用户的视觉信息的传感器。

15.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测关于所述用户的生物信息的生物传感器。

16.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测所述用户的心率、脉搏速率、排汗、脑电波、皮肤电反射、血压、体温或呼吸速率作为关于所述用户的生物信息的传感器。

17.如权利要求1所述的显示设备，其中所述用户信息获取装置是被配置为检测关于所述用户的紧张状态或激动状态的信息的生物传感器。

18.如权利要求1所述的显示设备，其中所述控制装置控制所述显示装置开始和结束其显示操作。

19.如权利要求1所述的显示设备，其中所述显示装置能够在通透状态和显示状态之间进行切换，所述通透状态是所述显示装置保持透明或半透明的状态，所述显示状态是所述显示装置显示所提供的数据的状态；并且

其中所述控制装置控制所述显示装置在所述通透状态和所述显示状态之间进行切换。

20.如权利要求1所述的显示设备，其中所述控制装置控制在向所述显示装置输送数据以供显示的源之间进行切换。

21.如权利要求1所述的显示设备，其中所述控制装置控制所述显示装置放大和缩小显示图像。

22.如权利要求1所述的显示设备，其中所述控制装置控制所述显示装置分割屏上画面。

23.如权利要求1所述的显示设备，其中所述控制装置控制所述显示装置来控制显示亮度。

24.如权利要求1所述的显示设备，其中所述控制装置控制要由所述显示装置显示的图像信号的信号处理。

25.如权利要求1所述的显示设备，其中所述控制装置控制所述显示装置来滚动图像或馈送页面。

26.如权利要求1所述的显示设备，其中所述控制装置根据由所述用户信息获取装置获取的信息来判别对所述显示装置显示的图像的输入操作。

27.一种用于显示设备的显示方法，该显示设备包括设在用户眼睛前方用于显示图像的显示装置以及用于获取关于所述用户的行为或身体状态的信息的用户信息获取装置，所述显示方法包括以下步骤：

获取关于所述用户的行为或身体状态的信息；以及

根据在所述信息获取步骤中获取的信息来判断所述用户的意图或状态，所述判断步骤还控制所述显示装置的显示操作以反映判断的结果。

Images