CN101566875B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法、程序和记录介质。该图像处理装置包括：输入单元，由图像摄取设备摄取的物体的图像被输入到该输入单元中；显示设备，所述图像被呈现在该显示设备上；图像呈现单元，被配置为在所述显示设备上呈现所述图像；视点检测单元，被配置为检测用户的视点位置；以及控制单元，被配置为在从所述视点检测单元检测到的用户的视点位置透过所述显示设备的显示表面观看所述图像时，向所述图像呈现单元提供与所述显示表面的图像框相对应地提取的区域中的图像。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及例如适合用于获得关于投影在屏幕上的图像的特定部分的信息的图像处理装置、图像处理方法、程序和记录介质。 

背景技术

佩戴在用户头部的被称为头部安装显示器(HMD)的接口装置已被用作图像显示装置，用于实现虚拟现实并在用户眼前显示虚拟画面。当用户佩戴头部安装显示器时，所显示的图像根据用户的视线方向而改变。 

日本未实审专利申请公布No.2006-101561公开了一种技术，用于将母机和子机互相锁定，以便用户可以看到关于在母机上显示的图像的信息，例如字符。 

日本未实审专利申请公布No.10-191288公开了一种技术，用于检测用户视线并同时显示由相机拍摄的图像和由接收设备接收到的图像。 

发明内容

存在两类用于叠加图像的技术。第一种技术使用虚像光学系统。不幸的是，根据该技术，物距很容易变得与虚像的位置不一致。与之不同，第二种技术直接将图像投影到用户的视网膜上。但是，在该技术中，所投影的图像的位置容易受到用户眼睛移动的影响。 

在利用这些技术中的任何一种的情况下，头部安装显示器都采用对于用户的眼睛位置而言有高精度的光学系统。因此，即使在眼睛略微脱离焦点时，用户也会感觉到很大的压力。可以说，该压力是由以下原因导致的：头部安装显示器可用于向用户显示虚像，但却与典型的显示装置中利用从显示表面发出的光向用户显示实像的光学系统不同。 

日本未实审专利申请公布No.2006-101561中公开的技术允许用户利用手中的小型显示终端来直接观察实像。但是，为了获得期望的图像，用户利用相机对物体或场景(以下也将它们称为真实世界)摄像或者对投影在屏幕上的图像摄像。 

如日本未实审专利申请公布No.10-191288中所公开的，当拍摄的图像被显示在头部安装显示器上时，可以改进对于用户的眼睛位置而言的光学精度。不幸的是，在此情况下，呈现给用户的图像是拍摄的图片，因此，该图像的质量严重低于真实世界。因而，例如，在真实世界中可看到的图像在显示于头部安装显示器上时因为低分辨率而变得不清楚。另外，在真实世界中的运动和图像显示之间容易发生时间滞后。结果，用户难以搜索真实世界中的期望物体。 

另外，真实世界或者投影图像的屏幕的距离与用户握持的小型显示终端的距离颇为不同。因此，当指定真实世界中或者投影在屏幕上的图像上的某个位置时，用户的眼睛聚焦。但是，由于用户的眼睛聚焦到了小型显示终端的屏幕上，因此难以获得精确的距离。 

另外，用户佩戴的头部安装显示器限制了用户的视角，并且导致用户的头部或耳部不适。 

希望在不限制视角的情况下获得关于真实世界或投影在屏幕上的图像的特定部分的信息。 

本发明的一个实施例接收由图像摄取设备摄取的物体的图像，并且检测用户的视点位置。另外，本发明的该实施例在显示设备上呈现该图像，并且当从用户的视点位置透过显示设备的显示表面观看该图像时，从该图像中提取与显示设备的显示表面的图像框相对应的区域，并将所提取的区域提供给图像呈现单元。 

这允许呈现从真实世界或者投影在屏幕上的图像中提取的特定部分。这样，用户可以获取图像，而不会导致图像显示前的时间滞后且不会使图像恶化，并且可以对所获取的图像进行操作。用户还可以 在手边近距离观察所获取的图像。 

根据本发明的该实施例，当提取真实世界或投影在屏幕上的图像的特定部分时，用户可以获取包括周边视野的宽视角内的期望部分。因此，用户可以很容易地利用自然的操作获取期望的图像，而不会感到不适。 

附图说明

图1是示出根据本发明一个实施例的图像处理装置的外部配置的说明图； 

图2是示出该实施例的图像处理装置的内部配置的框图； 

图3是示出该实施例中获取在屏幕上呈现的图像的例子的说明图。 

图4A和图4B分别是示出实像和虚像的例子的说明图； 

图5A和图5B是示出该实施例中在屏幕上呈现的图像的一部分被放大并呈现在透射式显示装置上的例子的说明图； 

图6A至图6D是示出该实施例中在屏幕上呈现的图像的一部分被放大并呈现在透射式显示装置上的例子的说明图； 

图7A至图7D是示出该实施例中在用户移动视点的同时在屏幕上呈现的图像的一部分被放大并呈现在透射式显示装置上的例子的说明图； 

图8是示出该实施例中用于获取图像的过程的流程图； 

图9是示出该实施例中用于获取通过触摸板指定的位置处的图像的过程的流程图； 

图10是示出该实施例中利用立体视觉来测量物距的方法的说明图； 

图11A至图11C是示出该实施例中利用立体视觉来测量物体距离的方法的说明图； 

图12是示出该实施例中利用立体视觉来形成立体图像的过程的流程图； 

图13是示出该实施例中移动视点的例子的说明图； 

图14是示出该实施例中依据视点移动的过程的流程图； 

图15A至图15C是示出该实施例中数字水印被插入到所呈现的图像中的例子的说明图； 

图16是示出该实施例中检测由眼部相机拍摄的图像中包括的标识符号的例子的说明图； 

图17是示出该实施例中的屏幕和两个相机之间的位置关系的说明图；并且 

图18是示出在本发明的另一实施例中图像被呈现在另一显示设备上的例子的说明图。 

具体实施方式

下面将参考附图描述本发明的实施例。根据此实施例的图像处理系统1允许用户在观看图像的同时获取在真实世界中的场景、大屏幕上投影的图像或者大屏幕显示装置所呈现的图像中包含的信息。 

图1示出根据该实施例的图像处理系统1的配置。 

图像处理系统1包括透射式显示设备2，在该透射式显示设备2上显示各种菜单和图像。透射式显示设备2充当图像呈现单元7呈现图像所用的显示设备。透射式显示设备2在显示表面上具有透射式显示面板12，该透射式显示面板12可在任意时刻在透射状态和非透射状态(漫射状态)之间切换。在此实施例中，例如，UMU薄膜(注册商标)被粘合作为透射式显示面板12。通过施加预定的电压，在该薄膜的透射状态和非透射(漫射)状态之间切换。在非透射状态中，图像被由小投影仪形成的图像呈现单元7呈现在透射式显示面板12上。图像呈现单元7所呈现的图像在用户10的视角内。当图像呈现单元7没有投影图像时，透射式显示面板12被置于透射状态中。 

当透射式显示面板12处于透射状态中时，用户可以透过透射式显示面板12观看透射式显示设备2后的真实世界(场景)、在大屏幕9上投影的图像或者由大屏幕显示装置呈现的图像。虽然以下将描 述对投影在屏幕9上的图像的操作，但这也适用于真实世界。 

视点位置相机4a和4b被设在透射式显示设备2的一个表面上，并且拍摄用户的视点，以便检测用户观看图像的位置(以下也称之为视点位置)。视点位置检测单元16(下文将描述)基于视点位置相机4a和4b拍摄的图像来找出视点位置。在这里，设有视点位置相机4a和4b的表面是透射式显示设备2的正面。在透射式显示设备2的背面(与用户的视点位置相反的表面)，设置了眼睛相机3a和3b来拍摄在用户10观看的屏幕9上投影的图像。眼睛相机3a和3b以及视点位置相机4a和4b是能够摄取静止图像或运动图像的图像摄取设备。相机的图像摄取方向与透射式显示设备2相关联地移动。 

眼睛相机3a和3b以及视点位置相机4a和4b可由利用红外线检测用户10的视点的红外相机或者用于检测视点的测距设备形成。眼睛相机3a和3b以及视点位置相机4a和4b可以不与透射式显示设备2设置为一体，即，例如可以不附着于透射式显示设备2的外框上，而是安装在用户10所在的室内。 

触摸板6被设在透射式显示设备2的正面上，并且用户10通过触摸对触摸板6进行操作。用户10可利用诸如笔状输入设备或用户10的手指之类的指取设备来直接触摸与触摸板6的显示表面上的菜单、图像和图标对应的部分。 

操作单元5被设在透射式显示设备2的外框上，以便用户10可通过设在操作单元5中的各种按钮来给出各种指令。在此实施例中，操作单元5包括视点移动按钮5a和缩放(zoom)按钮5b。视点移动按钮5a允许用户10在手握透射式显示设备2移动时以及在移动视点时指定方向。缩放按钮5b用于给出缩放用户希望更近观看的部分(以增大或缩小的尺寸显示图像)的指令。图像获取按钮5c也被设在外框上，并且允许用户10给出获取期望图像的指令。操作单元5还包括透射状态切换按钮5d和触摸板开关按钮(未示出)。透射状态切换按钮5d用于在透射式显示面板12的透射状态和非透射状态之间切换。触摸板开关按钮用于使触摸板6显示菜单图标等等。与这些按钮 相对应的图标可被显示在触摸板6上，以便用户10可触摸图标来执行期望的操作。 

图2示出了图像处理系统1的内部配置。 

图像处理系统1包括控制单元20，控制单元20用于控制功能块并且例如是由微处理单元(MPU)形成的。控制单元20基于由视点位置检测单元16检测到的用户的视点位置和由眼睛相机3a和3b拍摄的图像，来生成将被呈现在透射式显示面板12上的图像。所生成的图像被提供给图像呈现单元7，对应于当从用户10的视点位置透过透射式显示面板12观看时提供的透射式显示面板12的图像框。 

图像处理装置25包括输入单元14，由眼睛相机3a和3b以及视点位置相机4a和4b拍摄的图像被输入该输入单元14中。图像处理装置25还包括视线方向检测单元15，用于基于眼睛相机3a和3b所拍摄的图像来检测用户10的视线方向。图像处理装置25还包括视点位置检测单元16，用于基于视点位置相机4a和4b所拍摄的图像检测用户10(视点)相对于屏幕9的位置作为视点位置。 

图像处理装置25还包括视点位置图像计算单元17，用于生成将被呈现在透射式显示设备2上的图像。由视线方向检测单元15检测到的用户10的视线方向、由视点位置检测单元16检测到的用户10的视点位置、以及与物体的距离(在此实施例中是透射式显示设备2和屏幕9之间的距离)被输入到视点位置图像计算单元17中。视点位置图像计算单元17基于输入的信息，生成在从用户10的视点位置透过透射式显示面板12观看屏幕9上呈现的图像时获得的图像。该图像具有能容纳在透射式显示面板12的图像框内的尺寸。图像处理装置25还包括指定位置检测单元18和输出单元19。指定位置检测单元18检测用户10通过触摸板6指定的坐标位置作为指定位置，并且从视点位置图像计算单元17生成的图像中提取指定位置处的图像部分。输出单元19将该信息提供给触摸板6。 

眼睛相机3a和3b拍摄被投影在屏幕9上的图像，并将所生成的图像数据提供给输入单元14。投影在屏幕9上的图像、从调谐器提供 的图像等等经由图像接收接口21被输入到输入单元14。 

视点位置相机4a和4b拍摄用户10的视点，并将所生成的图像数据提供给输入单元14。当触摸板6检测到用户10按压面板表面时，它生成操作信息，该操作信息包括关于面板表面上被按压部分的坐标位置的信息。该操作信息还包括用于区分操作单元5所操作的各种按钮的信息。该操作信息经由接口22被输入到输入单元14。控制单元20将屏幕9上呈现的图像和根据用户10的视点位置进行处理后的图像数据发送到图像呈现单元7。 

送到输入单元14的各种数据被输送到用于检测图像拍摄位置(图像拍摄区域)的视线方向检测单元15和用于检测用户10的视点位置的视点位置检测单元16。 

视线方向检测单元15基于从眼睛相机3a和3b获得的数据来检测用户10观看屏幕9上投影的图像的位置。 

视点位置检测单元16基于从视点位置相机4a和4b获得的数据来检测用户10相对于屏幕9的位置(视点位置)。 

视点位置图像计算单元17执行预定的计算以找出当从视点透过透射式显示面板12观看时获得的图像。 

由视点位置图像计算单元17获得的视点处的图像被提供给指定位置检测单元18，该指定位置检测单元18检测用户10通过触摸板6指定的位置。由指定位置检测单元18检测到的指定位置经由输出单元19被发送接口23转换成预定的格式。然后，例如，放大图像被显示在屏幕9上，作为与指定位置相对应的图像。 

控制单元20基于用户10的视点位置，找出将要从输入到输入单元14的图像中提取出的区域。控制单元20提取由视线方向检测单元15检测到的用户10的视线方向上的图像，并将该图像提供给图像呈现单元7。然后，控制单元20向透射控制单元11提供在透射式显示面板12的透射状态和非透射状态之间切换的命令。当透射式显示面板12处于透射状态中时，控制单元20向图像呈现单元7提供与透射式显示面板12的图像框相对应地提取的区域中的图像。 

图像呈现单元7在处于非透射状态中的透射式显示面板12上呈现图像。控制单元20仅当透射式显示面板12处于透射状态中时经由透射式显示面板12提取在屏幕9上呈现的图像。用于控制透射式显示面板12在透射状态和非透射状态之间切换的透射控制单元11由透射状态切换按钮5d或者显示在透射式显示面板12上的用户界面(未示出)控制。该用户界面例如包括图标或选择菜单。 

当图像呈现单元7将图像投影到屏幕9上时，透射控制单元11将透射式显示面板12切换到非透射状态。图像呈现单元7的用于呈现图像的操作与透射控制单元11的用于切换到非透射状态的操作在操作上是关联的。换言之，在用户10获取图像之前，透射式显示面板12处于透射状态中。当用户按压图像获取按钮5c时，透射式显示面板12被控制单元20切换到非透射状态，以便图像能被获取。当图像呈现单元7进行的投影结束时，透射控制单元11将透射式显示面板12切换到透射状态。 

图3示出了利用透射式显示设备2来观看屏幕9上投影的图像的情况。 

例如，用户10将透射式显示设备2握持在手中，并且透过处于透射状态中的透射式显示面板12来观看屏幕9上投影的图像。在此情况下，用户10看到投影图像与区域31相对应的部分。 

利用此实施例的透射式显示设备2，在透射式显示面板12的像场内可获得期望的图像，而不会使屏幕9上投影的图像的质量恶化和导致呈现时间的时间滞后。存在这样一种需求，即在透射式显示面板12被置于用户10的视角内的状态中，获取透射式显示面板12的图像框外的场景。在此情况下，在用户10的视点位置处对呈现在透射式显示面板12上的图像的视角小于对从同一视点通过显示表面看到的物体的视角。由于用户的视角不受限制，因此很容易利用用户10的周边视野看到周围的场景。因此，用户10可以自然地搜索屏幕9上投影的图像以寻找要缩放显示的期望图像部分。 

人眼看到实像和虚像的方式是不同的。 

图4A和图4B示出了如何看到实像和虚像。 

现在将描述当凸透镜42或凹透镜45被置于物体41和用户10之间时如何看到物体41。 

图4A示出了使用凸透镜42时传播的光束。 

当经由凸透镜42观看物体41时，用户10看到的是物体41的实像43。实像43是在凸透镜42的用户侧被看到的。在此实施例中，透射式显示面板12是实像光学系统。 

图4B示出了使用凹透镜45时传播的光束。 

当经由凹透镜45观看物体41时，用户10看到的是物体41的虚像44。现有技术的头部安装显示器使用这种虚像光学系统。 

图5A和图5B示出了透射式显示设备2上呈现的图像的一部分被缩放并被呈现在透射式显示面板12上的情况。 

图5A示出了透射式显示面板12上呈现的图像的例子。 

用户10的视点和屏幕9之间的距离被设定为K1，并且用户10的视点和透射式显示设备2之间的距离被设定为K2。当透射式显示设备2的外框能够包含在正对屏幕9的用户10的视角α内时，屏幕9上呈现的图像在视角α内的图像部分2a被呈现在透射式显示面板12上。 

图5B示出了当与图5A所示情况相比透射式显示设备2被放置得离用户10更近时在透射式显示面板12上呈现的图像的例子。 

在此情况下，用户10的视点和透射式显示设备2之间的距离K3短于上述的距离K2，并且屏幕9和用户10之间的距离等于图5A所示的情况中设定的距离K1。在与屏幕9上呈现的图像相同的视角α内的图像部分2b以比图5A所示的图像部分2a更小的尺寸被呈现。 

可以认为，当对所呈现的图像的一部分感兴趣时，用户移动透射式显示设备2以使之更靠近用户的脸部，以便更近地观看该图像部分。因此，当例如用户10指定透射式显示面板12上呈现的图像的一部分或者移动脸部以使之更靠近透射式显示面板12时，最好该图像部分(在此实施例是花朵)被放大，就像图像2c那样。为此，当用户10 移动脸部以使之更靠近透射式显示设备2或者指定图像的一部分时，透射式显示面板12上呈现的图像的缩放比率在此实施例中被改变。此操作允许用户10直觉地使用透射式显示设备2。 

在改变图像的缩放比率的操作中，如果当用户10移动脸部以使之靠近透射式显示设备2时屏幕9上呈现的图像的视角等于透射式显示设备2的视角，则用户10的眼睛移动则被检测。另外，为了放大用户10的脸部移向的图像部分，用户10的运动被检测。 

图6A至图6D示出了透射式显示面板12上呈现的图像的一部分被放大的情况。 

图6A示出了用户10按压图像获取按钮5c的例子。 

在此情况下，透射式显示面板12处于透射状态中，并且用户10可以透过透射式显示面板12观看屏幕9上的图像。 

图6B示出了所呈现的图像的例子。 

在此情况下，透射式显示面板12处于非透射状态中。在透射式显示面板12上，由图像呈现单元7显示从屏幕9拍摄的图像。 

图6C示出了用户10按压缩放按钮5b的例子。 

用户10指定缩放的部分被触摸板6检测。然后，通过按压缩放按钮5b来放大指定位置处的图像。 

图6D示出了放大后的呈现图像的例子。 

用户10可以更近地观看与透射式显示面板12上所呈现的图像上的指定位置相对应的放大图像部分。 

图7A至图7D示出了用户10在移动视点的同时放大透射式显示面板12上呈现的图像的一部分的情况。 

图7A示出了用户10按压图像获取按钮5c的例子。 

在此情况下，透射式显示面板12处于透射状态中，并且屏幕9上的图像被透射并显示在透射式显示面板12上。 

图7B示出了所呈现的图像的例子。 

在此情况下，透射式显示面板12处于非透射状态中。用户10可以透过透射式显示面板12观看屏幕9上的图像。 

图7C示出了用户10在按压视点移动按钮5a的同时移动视点的例子。在这里，假定用户10关注图像的左部。 

在此情况下，当用户10在按压视点移动按钮5a的同时移动透射式显示设备2以使之靠近用户脸部时，用户10的移动后的视点位置被计算。当用户10随后按压缩放按钮5b时，用户脸部移向的位置处的图像部分(图7C中虚线包围的部分)被放大并呈现在透射式显示面板12上。 

图7D示出了放大后的呈现图像的例子。 

当从透射式显示面板12的正前方移动到左侧时，用户10可以更近地观看透射式显示面板12上呈现的图像在移动后的视点处的放大部分。 

图8示出了用于根据用户10在触摸板6上的按压位置来呈现图像的过程。控制单元20检测靠近触摸板6的物体的位置。在此实施例中，基于由视点位置相机4a和4b拍摄的图像来检测用户10的视点位置。视点位置相机4a和4b之间的距离可以预先任意设定。 

在初始状态中，透射控制单元11将透射式显示面板12设定在透射状态中(步骤S1)。在透射状态中，用户10可以透过透射部分观看屏幕9上呈现的图像。在随意移动透射式显示设备2的同时，用户10在屏幕9上与期望物体对应的位置处按压图像获取按钮5c，以便更近地观看该期望物体。在此情况下，控制单元20接收由于按压图像获取按钮5c而生成的图像获取命令(步骤S2)。 

接下来，视点位置图像计算单元17基于从视点位置相机4a和4b获得的数据来检测用户10的视点位置(步骤S3)。视点位置图像计算单元17可利用现有脸部识别技术基于视点位置相机4a和4b拍摄的用户10脸部的图像来检测眼睛的位置。利用由视点位置相机4a和4b拍摄的用户10的图像中包含的眼睛的位置，可以得到眼睛(视点)的三维坐标。也可以不使用视点位置相机4a和4b，而是使用测距设备或者红外传感器，或者可以将视点虚拟地置于经过显示器中心的轴上。 

为了获取在用户10的视点位置处看到的图像，从图像接收接口21和图像发送接口23获取投影在屏幕9上的图像(步骤S4)。 

如果关于屏幕9上呈现的图像的原始数据可被接收，则它可供随后使用。该原始数据可作为比拍摄屏幕9上所呈现的图像时更精细的图像来被处理。当难以接收关于图像的原始数据，利用眼睛相机3a和3b拍摄的图像来执行处理。当屏幕9上呈现的图像可被接收时，它与眼睛相机3a和3b拍摄的图像进行匹配。 

例如，利用以下两种方法中的任何一种来执行图像匹配： 

(1)通过根据眼睛相机3a和3b的焦点位置找出眼睛相机3a和3b与屏幕9之间的距离来粗略计算缩放比率，然后执行块匹配。 

(2)在不固定缩放比率的情况下利用相关来执行检测(anFFT-Based Technique for Translation，Rotation，and Scale-InvariantImage Registration(基于FFT的转化、旋转和比例不变的图像注册技术)[IEEE 1996])。 

视线方向检测单元15判断是否搜索屏幕9上投影的图像以便检测所投影的图像是否被包括在经由图像接收接口21下载的图像中(步骤S5)。当屏幕9上投影的图像被搜索时，它与眼睛相机3a和3b拍摄的图像相比较以便进行匹配(步骤S6)。 

在步骤S5和S6中，屏幕9上投影的图像经由图像接收接口21被下载并被利用。在此处理中，由眼睛相机3a和3b拍摄的图像和所下载的图像的之间的匹配被执行，以确认所拍摄的图像是否被包括在所下载的图像中。当屏幕9上呈现的图像被直接下载和使用时，通常可以在透射式显示面板12上呈现高分辨率图像。当所拍摄的图像未被包括在经由图像接收接口21下载的图像中时，后续的步骤被执行。 

然后，基于眼睛相机3a和3b拍摄的屏幕9上投影的图像的图像，形成用户10的视点位置处的视点转换图像(步骤S7)。 

视点转换图像指的是屏幕9上投影的图像和用户10透过透射式显示设备2看到的图像的组合。例如，当用户10斜着看屏幕9时，在透射式显示设备2上观看的图像是倾斜的，因为它不是从正面观看 的。因此，透射式显示设备2上的图像在形状上不同于屏幕9上投影的图像。用于形成被校正了这种变形的图像的处理被称为“视点转换”。另外，通过视点转换形成的图像被称为“视点转换图像”。当用户10所获取的图像再次被投影到屏幕9并且随后用户10再次获取投影的图像时，所获取的图像的质量严重恶化。通过在图像处理装置25中形成用户10的视点位置处的视点转换图像，可以使图像质量的这种恶化达到最低限度。但是，当可以按原样使用屏幕9上所呈现的图像时，可以省略视点转换图像的形成。 

视点位置图像计算单元17根据由视点位置检测单元16检测到的用户10的视点位置来形成视点转换图像。二维图像可受到利用仿射变换进行的视点转换。利用两个或更多个眼睛相机拍摄的图像，可以通过用立体视觉进行匹配来重建立体图像。 

与之不同，当不搜索屏幕9上投影的图像时，通过使眼睛相机3a和3b所拍摄的图像受到视点转换来形成视点转换图像(步骤S8)。 

在步骤S7或步骤S8之后，透射控制单元11将透射式显示面板12切换到非透射状态。然后，视点转换图像被图像呈现单元7呈现在透射式显示面板12上(步骤S9)。在此情况下，供用户10观看的图像被呈现在透射式显示面板12上。 

图9示出了利用触摸板6指定所显示的图像中的位置的过程。 

在初始状态中，透射控制单元11将透射式显示面板12设定在透射状态中(步骤S11)。在透射状态中，用户10可以透过透射部分观看屏幕9上投影的图像。用户10随意移动透射式显示设备2，并且按压触摸板6的与屏幕9上的期望物体相对应的部分以便靠近地观看该期望物体。在此情况下，控制单元20从触摸板6接收关于触摸板6上用户10手指接触的指定位置的信息和图像获取命令(步骤S12)。 

接下来，视点位置检测单元16基于从视点位置相机4a和4b获得的数据来检测用户10的视点位置(步骤S13)。视点位置检测单元16可以利用现有的脸部识别技术，从视点位置相机4a和4b拍摄的用户10的脸部图像中检测眼睛的位置。利用由视点位置相机4a和4b 拍摄的用户10的图像中包含的眼睛的位置，可以获得眼睛(视点)的三维坐标。可以不使用视点位置相机4a和4b，而是使用测距设备或红外传感器，或者可以将视点虚拟地置于经过显示器中心的轴上。 

为了获取从用户10的视点位置看到的图像，从图像接收接口21和图像发送接口23获取屏幕9上投影的图像(步骤S14)。 

如果能够接收关于屏幕9上投影的图像的数据，则随后将该图像作为更精细的图像来处理。如果难以接收该图像，则利用由眼睛相机3a和3b拍摄的图像来执行处理。当屏幕9上投影的图像能被接收时，它与眼睛相机3a和3b所拍摄的图像进行匹配。 

视线方向检测单元15判断是否搜索屏幕9上投影的图像以检测所投影的图像是否被包括在经由图像接收接口21下载的图像中(步骤S15)。当屏幕9上投影的图像被搜索时，它与眼睛相机3a和3b所拍摄的图像相比较以便进行匹配(步骤S16)。 

当屏幕9上投影的图像被搜索时，它被与眼睛相机3a和3b所拍摄的图像相比较以便进行匹配(步骤S16)。 

然后，基于由眼睛相机3a和3b拍摄的、投影在屏幕9上的图像的图像，形成用户10的视点位置处的视点转换图像(步骤S17)。在此情况下，视点转换图像是根据由视点位置相机4a和4b获得的用户10的视点位置来形成的。二维图像可受到利用仿射变换进行的视点转换。利用两个或更多个眼睛相机拍摄的图像，可以通过立体匹配来重建立体图像。 

与之不同，当不搜索屏幕9上投影的图像时，通过使眼睛相机3a和3b所拍摄的图像经受视点转换来形成视点转换图像(步骤S18)。 

在步骤S17或步骤S18之后，指定位置检测单元18将所形成的视点转换图像与触摸板6上的坐标相比较，并且计算触摸板6上被用户10按压的位置(步骤S19)。通过所形成的视点转换图像和视点位置检测单元16上的位置之间的匹配，指定位置检测单元18可以检测图像的哪个部分被用户10指定。 

在步骤S19之后，透射控制单元11将透射式显示面板12切换到 非透射状态。然后，所形成的视点转换图像被图像呈现单元7呈现在透射式显示面板12上(步骤S20)。在此情况下，供用户10观看的图像被呈现在透射式显示面板12上。 

例如，可以设想在透射式显示面板12上被用户10指定的部分中显示字符并且放大以该字符为中心的图像。这种根据用户10的运动来呈现图像的操作被预设为用户接口功能。在此情况下，当从所形成的视点转换图像连续放大图像时，用户10可以直观地识别该图像。 

关于屏幕9上投影的图像的位置信息是根据触摸板6上被用户10指定的位置来计算的，并被反映到所投影的图像中。这允许多个人在观看同一屏幕9时共享和识别所呈现的信息。 

现在将参考图10至图12来描述利用立体视觉形成三维图像的过程。该过程被执行来测量从用户10的视点位置到物体的距离。 

图10和图11A至图11C示出了在利用眼睛相机3a和3b拍摄设在真实世界中的三维物体46a至46c的图像时用户10移动视点的情况。这些图是在从显示设备2和屏幕9的上方观看时取得的。 

图10示出了利用设在视点位置P0处的眼睛相机3a和3b拍摄三个物体46a至46c的图像的例子。 

物体46c在三维空间中的坐标位置由S0(x，y，z)表示。眼睛相机3a和3b之间的距离被表示为相机间距离L，并且从眼睛相机3a和3b到物体46c的距离被表示为物距d。视点位置P0指的是这样一个位置：在该位置上，眼睛相机3a和3b指向物体46a至46c，从而使得物体46a的中心被置于由相机间距离L表示的线段的法线上。 

下面将考查用户10的视点被移动到新的视点位置P3的情况。为了简洁说明，省略对视点位置P3处眼睛相机3b的描述。 

图11A示出了处理视点位置P0处眼睛相机3a所拍摄的图像47a的例子。视线方向检测单元15(参见图2)通过水平地反转图像47a来形成图像47′a。 

图11B示出了处理视点位置P3处眼睛相机3a所拍摄的图像47b的例子。视线方向检测单元15通过水平地反转图像47b来形成图像 47′b。 

图11C示出了处理视点位置P0处眼睛相机3a所拍摄的图像47c的例子。视线方向检测单元15通过水平地反转图像47c来形成图像47′c。 

图12是示出在视点移动时执行处理的过程的流程图。 

参考图11和图12，现在将描述在用户10将视点从正对物体46a至46c的位置向左移动到视点位置P3时由眼睛相机3a和3b拍摄的图像。 

首先，视线方向检测单元15通过块匹配找出与点S′1(x1，x2)相对应的点S′2(x1，x2)。点S′1和S′2存在于通过水平反转点S1和S2而获得的坐标上。 

然后，找出点S′1和S′2的角度θx1和θx2(步骤S32)。如图11所示，角度θx1和θx2等于点S1和S2的角度。角度θx1和θx2可由下式(1)和(2)给出： 

其中φ表示相机视角，“宽度”和“高度”表示相机的像素数，并且O1(ox1，oy1)和O2(ox2，oy2)表示中心坐标。 

接下来，根据角度θx1和θx2以及眼睛相机3a和3b的位置来找出物体到点S0(x，y，z)的距离d。物距d是由下式(3)给出的： 

$d=-\frac{L}{-\tan \left({\mathrm{\θ}}_{x1}\right)+\tan \left({\mathrm{\θ}}_{x2}\right)}\·\·\·\·\·\·\left(3\right)$

由于类似地找出了Y轴方向上的角度θy1和θy2，因此根据上述值找出了点S0的三维位置(x，y，z)(步骤S33)。三维位置(x，y，z)由下式(4)给出： 

x＝L/2-d·tan(θ_x1) 

y＝L/2-d·tan(θ_y1) 

Z＝d    ……(4) 

另外，根据新的视点位置P3的坐标(p3x，p3y，p3z)找出角度θx3和θy3。角度θx3和θy3由下式(5)给出： 

$\tan \left({\mathrm{\θ}}_{x3}\right)=\frac{x-p3x}{z-p3z}$

$\tan \left({\mathrm{\θ}}_{y3}\right)=\frac{y-p3y}{z-p3z}\·\·\·\·\·\·\left(5\right)$

因此，根据相机视角φ找出点S3和S′3的坐标(步骤S34)。点S3和S′3的坐标由下式(6)和(7)给出： 

接下来，将参考图13和图14来描述在用户10移动视点位置时执行的对透射式显示设备2获取的图像的缩放和移位操作。术语“缩放”是指放大由透射式显示设备2获取的图像。另一方面，术语“移位”是指移动供用户10观看的目标。这些操作反映了在视点移动时引起的用户10的直觉运动。 

图13是从屏幕9上方看时透射式显示设备2的俯视图，并且示出了用户10移动视点的情况。 

在获取图像时或者用户10按压视点移动按钮5a时提供的用户10的视点被标记为基准视点位置P′(Xp′，Yp′，Zp′)。在观看透射式显示设备2的中心点O的用户10的视线前方的屏幕9上的坐标被标记为坐标点Q′(Xq′，Yq′，Zq′)。 

新的视点被标记为P。当从视点P观看坐标点Q′时，透射式显示面板12上的交点被标记为R(Xr′，Yr′，Zr′)。根据中心点O和交点R之间的距离来找出图像应当被移动的量(Xr′，Yr′)(以下称之为“移位量”)。 

在此情况下，根据坐标点Q′和基准视点位置P′之间在Z方向上的距离(Zp′-Zq′)和坐标点Q′和视点P之间在Z方向上的距离(Zp-Zq′)来得到缩放率(Zp′-Zq′)/(Zp-Zq′)。据此，可计算移位量和缩放率。 

通过将移位量和缩放率乘以预定的视点移动参数(例如，1.5或2.0)，可以强化用户10的运动。 

现在将描述视点移动参数。 

用户10实际移动视点的距离是以从基准视点P′到视点P的距离的形式得出的。当假定用户10将视点移动到用户10实际没有把视点移到的位置时，该位置被定义为虚拟视点P2。虚拟视点P2是通过为用户10实际移动视点的距离(从基准视点P′到视点P的距离)设定视点移动参数而得出的。例如，当视点移动参数被设定为2时，通过将实际移动距离乘以2来找出虚拟视点P2。 

另外，将描述“对用户10的运动的强化。首先，假定用户10将脸部移近透射式显示设备2或者在左右方向上移动透射式显示设备2。在此情况下，用户透过透射式显示面板12观看的图像的图像框与屏幕9上呈现的图像的外围一致，并且用户将进一步放大透射式显示面板12上呈现的图像的一部分。在现有技术中，当用户10将脸部移近透射式显示面板12时，屏幕9周围的场景也被显示，要观看的期望图像变小(见图5B)。这降低了可用性。 

因此，当图像处理系统1检测到用户10将脸部移近透射式显示面板12或者向左移动透射式显示设备2时，它就明白要执行“以更大的缩放率呈现图像”或者“呈现左侧图像”的操作。当用户10移动视点的距离被标记为单位移动距离时，图像处理系统1将该单位移动距离乘以参数2或3，从而增大视点的移动距离，并且在透射式显示面板12上呈现放大的图像或者左侧图像。 

图14是示出在移动视点时执行的处理的流程图。 

首先，检测到图像获取按钮5c被用户10按压(步骤S41)。在此情况下，视点转换图像被显示在透射式显示面板12上(步骤S42)。 

控制单元20判断视点移动按钮5a是否被按压(步骤S43)。当控制单元20确定视点移动按钮5a未被按压时，它重复步骤S43中的判断操作。 

相反，当控制单元20确定视点移动按钮5a被按压时，它判断用户10的视点是否改变(步骤S44)。当控制单元20确定用户10的视点未改变时，它重复步骤S44中的判断操作。 

相反，当确定用户10的视点改变时，视点位置检测单元16获取在当前处理操作开始时提供的用户10的视点位置(步骤S45)。然后，视点位置检测单元16把在图像获取按钮5c被按压时提供的视点位置(当前视点位置)与处理操作开始时的视点位置进行比较，并且根据指定的参数来计算虚拟视点位置(步骤S46)。 

视点位置图像计算单元17根据所获得的虚拟视点位置来计算视点图像(步骤S47)。然后，透射控制单元11将透射式显示面板12切换到非透射状态，并且由图像呈现单元7形成的视点转换图像被呈现在透射式显示面板12上(步骤S48)。在此情况下，呈现在透射式显示面板12上的图像是用户10可以看到的图像。 

现在将参考图15至图17来描述根据由眼睛相机3a和3b拍摄的图像来检测用户10的视线方向的操作。 

图15A至15C示出了使用数字水印的视线方向检测。 

图15示出了在屏幕9上呈现的原始图像的例子。 

图15B示出了数字水印的例子。 

数字水印作为唯一设定标识(ID)符号沿着X坐标轴被插入在屏幕9中。所呈现的原始图像的中心被指定为零，并且数字水印以固定的间隔被设置在原始图像的水平方向上。 

图15C示出了插入在屏幕9中的数字水印的例子。 

用户10在屏幕9上呈现的图像中看不到数字水印。但是，用户 10可识别屏幕9中插入的数字水印，并且可计算视线方向。 

图16示出如何根据眼睛相机3a和3b所拍摄的图像来检测在屏幕9上呈现的图像中插入的标识符号。 

标识符号90、100、110作为数字水印被插入在由眼睛相机3a拍摄的图像51a中，并且标识符号100、110和120作为数字水印被插入在由眼睛相机3b拍摄的图像51b中。为标识符号100设定坐标P1，并且为标识符号110设定坐标P2。标识符号之间的距离被标记为k。眼睛相机3a和3b的水平方向上的像素数由变量“宽度”示出。眼睛相机3a和3b的垂直方向上的像素数由变量“高度”示出。 

图17示出了如何计算屏幕9和眼睛相机3a之间的位置关系。 

首先，关于屏幕9上插入标识符号的位置的数据和标识符号的类型被预先记录在图像处理装置25中。因此，数字水印的坐标之间的距离L被预设。这样，角度θ由下式(8)给出： 

$\sin \left(\mathrm{\θ}\right)=\frac{d}{L}\·\·\·\·\·\·\left(8\right)$

眼睛相机3a和3b的视角φ是在图像拍摄期间给出的图像拍摄参数。眼睛相机3a相对于点P2的角度ψ由下式(9)给出： 

tanψ＝tan (φ/2)Xk·(宽度/2)……(9) 

眼睛相机3a的位置是根据点P1、P2和C1以及角度θ和ψ来计算的。点C1的X坐标C1x和Z坐标C1z由以下联立方程(10)给出： 

(P1x-C1x)C1z＝tan(90-θ) 

(P2x-C1x)C1z＝tan(90-θ+ψ)……(10) 

通过与上述类似的过程，获得眼睛相机3b的坐标。 

结果，可以根据由视点位置相机4a和4b拍摄的图像来得出用户10的视点相对于透射式显示设备2的位置。这样，得出用户10的视点相对于屏幕9的位置。另外，连接用户10的视点位置和透射式显示设备2的中心的直线可被认为是用户10的视线方向。 

以上描述的本实施例的图像处理装置25可用于从屏幕9上投影的图像中提取一部分，并且在置于用户手中的透射式显示设备2来显示该图像部分。在使用透射式显示设备2的情况下，与现有技术的头部安装显示器不同，用户的视角不受限制。因此，用户10可以以很宽的视角观看图像。在此情况下，不仅利用看到的图像，还利用透射式显示设备2的图像框外的周边视野，可以直观地获取关于屏幕9上的图像的信息。所获取的信息不会遭受时间滞后和图像质量恶化，并且其深度与屏幕9上投影的图像的位置相一致。即使当透过透射式显示面板12观看的图像是真实世界中的场景时，该图像也可被直观地获取。这提供了与获取屏幕9上投影的图像时类似的优点。 

在用户10得到图像之后，可从该图像中选择特定的部分，并且可以放大并显示该特定部分。用户10很容易从屏幕9上投影的图像或者真实世界中的场景中获取期望的部分，并且可以自然地观看该图像部分。此外，由于透射式显示设备2采用实像光学系统，所以用户的眼睛不会疲劳。 

多个人中的每一个有时在观看屏幕9上投影的图像时利用手中的透射式显示设备2获取必要的信息。例如，航空照片地图和与该航空照片地图相对应的符号地图有时被选择性地显示在屏幕9上。在此情况下，即使当多个用户观看屏幕9上投影的航空照片时，它们也可以利用握持在手中的显示设备2来各自立即获取与航空照片地图同步的符号地图。 

当多个用户观看屏幕9上投影的图像时，诸如标志和记号之类的指示符可以被叠加在透射式显示设备2上显示的图像上。在此情况下，在由用户10指定并被指定位置检测单元18检测的位置处，根据靠近触摸板6的物体的位置来显示指示符。在透射式显示设备2中处理后的图像可被叠加在屏幕9上投影的图像上。这允许被一个用户处理的图像同时供其他用户观看。 

另外，用户可以通过直接指定透射式显示面板12的表面的一部分，来指定从透射式显示面板12的图像框内看到的真实世界或者屏 幕9上投影的图像中的期望部分。 

被拍摄到透射式显示设备2中的图像可经由发送接口23被显示在其他显示设备上。 

图18示出了利用两个显示设备来获取图像的例子。 

用户10经由透射式显示设备2获取物体61的图像。当用户10利用其手指62来指示所显示的物体61的图像时，该图像被显示在设置于例如用户10旁边的另一显示设备63上。 

该系统例如可被应用到电气列车。当驾驶员在驾驶列车期间利用食指确认安全时，如果像前述实施例中那样前窗不是透射性的，则这是非常危险的。因此，图像被显示在另一显示设备上，以便驾驶员期望的图像可被以放大的方式安全地显示。 

虽然在上述实施例中小型投影仪被用作图像呈现单元7，但是利用例如液晶可获得半透明状态。在此情况下，预先进行极化。具体而言，将极化的图像呈现在大屏幕上，并且通过控制液晶来改变极化率。通过这样设计透射式显示设备2，图像可被呈现在处于半透明状态中的透射式显示面板12上。这允许呈现的图像和透射的图像以叠加的方式被呈现。 

虽然上述实施例的一系列操作可利用硬件来执行，但是它们也可利用软件来执行。当一系列操作被利用软件来执行时，形成该软件的程序被安装在合并于专用硬件中的计算机或者能够根据各种安装的程序提供各种功能的通用个人计算机中。 

或者，可通过向系统或装置提供上面记录有用于实现上述实施例的功能的软件的程序代码的记录介质，并且利用该系统或装置中的计算机(或者诸如CPU之类的控制单元)将程序记录在该记录介质中，来执行这些操作。 

在此情况下，用于提供程序代码的记录介质例如是软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或者ROM。 

或者，上述实施例的功能不仅可通过执行由计算机读出的程序来实现，也可以通过利用在计算机中运行的操作系统执行实际操作的一 些或全部来实现。 

在本说明书中，写软件程序的步骤可以按所描述的顺序连续执行，或者可以并行或单独执行。 

本发明包含与2008年4月24日向日本专利局提交的日本优先权专利申请JP 2008-114408相关的主题，这里通过引用将该申请的全部内容并入。 

应当注意，本发明不限于上述实施例，在不脱离本发明的范围的情况下可以进行各种修改。 

Claims (7)

1.一种图像处理装置，包括：

输入单元，由图像摄取设备摄取的物体的图像被输入到该输入单元中；

显示装置，所述图像被呈现在该显示装置上；

图像呈现单元，被配置为在所述显示装置上呈现所述图像；

视点检测单元，被配置为检测用户的视点位置；以及

控制单元，被配置为在从所述视点检测单元检测到的用户的视点位置透过所述显示装置的显示表面观看所述图像时，向所述图像呈现单元提供与所述显示表面的图像框相对应地提取的区域中的图像，其中所述控制单元包括：

视点位置图像计算单元，被配置为基于所述视点检测单元检测到的用户的视点位置、根据所述图像摄取设备摄取的图像找出的用户的视线方向以及所述视点位置与所述物体的距离，来生成所提取的区域中的图像；以及

指定位置检测单元，被配置为检测在所述显示装置的显示表面上显示由所述视点位置图像计算单元生成的图像的指定位置。

2.根据权利要求1所述的图像处理装置，其中，所述控制单元在所述显示装置的显示表面的透射状态和非透射状态之间切换，并且在所述显示表面处于透射状态中时向所述图像呈现单元提供所提取的区域中的图像。

3.根据权利要求2所述的图像处理装置，其中，当所述显示装置的显示表面处于非透射状态中时，所述图像呈现单元在所述显示装置的显示表面上呈现所提取的区域中的图像。

4.根据权利要求3所述的图像处理装置，其中，所述显示装置是实像光学系统。

5.根据权利要求4所述的图像处理装置，其中，当从用户的视点位置观看所述显示装置的显示表面上呈现的区域时对该区域的视角小于当从同一视点位置透过所述显示表面观看所述物体时对所述物体的视角。

6.根据权利要求1所述的图像处理装置，其中，所述图像摄取设备被设在所述显示装置的与用户的视点位置相反的表面上，并且与所述显示装置相关联地移动图像摄取方向。

7.一种图像处理方法，包括以下步骤：

输入由图像摄取设备摄取的物体的图像；

检测用户的视点位置；

在显示装置上呈现所述图像；以及

在从所述用户的视点位置透过所述显示装置的显示表面观看所述图像时，向图像呈现单元提供与所述显示表面的图像框相对应地从所述图像中提取的区域中的图像，包括以下步骤：

基于检测到的用户的视点位置、根据所述图像摄取设备摄取的图像找出的用户的视线方向以及所述视点位置与所述物体的距离，来生成所提取的区域中的图像；以及

检测在所述显示装置的显示表面上显示所生成的图像的指定位置。

Images