CN1672431A - 信息处理装置、信息处理系统和交谈对象显示方法 - Google Patents

Abstract

一种信息处理装置具有图像显示单元，依据图像信号显示所期望的图像，以及成像单元，分别置于图像显示单元左右侧。将从左侧拍摄的图像和从右侧拍摄的图像组合并显示在另一端的终端的图像显示单元中作为所期望的图像。如此实现了其中讲话者的目光能彼此接触的显示。这样，可提供一种信息处理装置，如移动通信终端，其能实现讲话者的自然的目光接触。

Description

信息处理装置、信息处理系统和交谈对象显示方法

技术领域

本发明涉及信息处理装置(如可显示交谈对象图像的便携通信终端)、信息处理系统和使用便携通信终端等的交谈对象显示方法。尤其是，本发明涉及信息处理装置(其中当显示交谈对象的图像时，交谈对象的眼睛与终端用户的眼睛相匹配)、信息处理系统和使用便携通信终端等的交谈对象显示方法。

背景技术

最近，便携通信终端(如蜂窝电话)变得十分流行。这些便携通信终端现在不仅配备有语音交谈功能，而且有其他多种功能，如发送/接收电子邮件、访问因特网以及接收静止图像或交谈对象端拍摄的可移动图像。目前，除蜂窝电话之外，通过视频或音频通信网络将两个远程地点相互连接的双向视频通信系统，如视频会议系统和可视电话，也扩展了它们的用途。

在某些蜂窝电话和双向视频通信系统中，交谈对象的图像显示在图像显示器上，该显示器置于拍摄用户面部图像等的摄像头(camera)旁边。使用这种蜂窝电话和双向视频通信系统通常一边看着图像显示器上显示的图像，如交谈对象的面部，一边进行交谈。

当将摄像设备(image pickup device)如摄像头安装在相对小的单元如蜂窝电话中时，将摄像设备安放在图像显示单元外侧的左右或垂直方向上。在这种情况下，即使图像显示单元的尺寸小，如大约50mm²，在用户看着显示交谈对象的图像显示单元时，所拍摄面部图像的眼睛(视线)也不会朝向摄像设备。因此，那种类型的设备在图像显示单元上显示的面部图像不会与视线相匹配。因此，在那种类型的设备中，用户看着与视线不匹配的面部图像，与交谈对象交谈，从而造成无法避免的不自然以及丧失真实的交谈印象等问题。

实际上，可参照图27A、27B、28A和28B对这种缺点作如下解释。图27A、27B、28A和28B说明了视线方向与终端的图像显示单元上的面部图像不匹配的例子。这些例子中每个都表示将摄像头置于偏离图像显示单元中心65mm的位置处、用户看着图像显示单元中心而他的面部位于大约25cm的距离处时所拍摄的图像。

说明性地，图27A和27B中每个表示置于大约50mm²的图像显示单元的左侧或右侧的摄像头所拍摄的并显示在该图像显示单元上的图像。更明确地讲，图27A表示置于该图像显示单元左侧的摄像头所拍摄的图像，且图27B表示置于该图像显示单元右侧的摄像头所拍摄的图像。正如这些图中所看到的，每个摄像头面部图像中的眼睛从图像显示单元不朝向用户，因此在交谈中面部图像是不自然的。

类似地，图28A和28B每个表示置于大约50mm²的图像显示单元的上部或下部的摄像头所拍摄并显示在该图像显示单元上的图像。更明确地讲，图28A表示置于该图像显示单元上部的摄像头所拍摄的图像，且图28B表示置于该图像显示单元下部的摄像头所拍摄的图像。在所有这些情况下，每个摄像头面部图像中的眼睛从图像显示单元中都不朝向的用户，因此在交谈中面部图像是不自然的。

为克服那种不自然性，过去已提出了不同的正视(eye-to-eye)匹配技术。

按照其中的一种技术，将一个大体为平板形式的半个小镜子置于图像显示单元的表面，以便呈现图像显示单元上显示的图像通过这半个小镜子而用于呈现显示，同时用捕获这半个小镜子表面所反射的光的图像拍摄摄像头来接收用户的图像。该技术可提供正视匹配显示，因为该入射到这半个小镜子上的光通过镜子反射之前，看着图像显示单元的用户的眼睛与该光的光轴相匹配。

按照另一种技术，举例而言，提供了一种含光可传输结构的图像显示单元，且将摄像头置于与用户相对的图像显示单元的背面。该技术以分时方式将图像显示单元重复置于显示状态和传输状态，且当图像显示单元处于传输状态时，使摄像头拍摄用户的图像。另外，按照该技术，在非传输状态期间，将所期望的视频信号发送到图像显示单元，并显示交谈对象的图像。该技术也能提供正视匹配显示，因为从图像显示单元发出的光的方向与通过图像显示单元并进入置于图像显示单元背面的摄像头的光的光轴相匹配。

作为另一种技术，有一种已知的显示和摄像设备，在日本未审专利申请公开号4-167690中公布。在该显示和摄像设备中，图像显示单元表面形成许多小洞。光纤的一端面对着每个小洞，且每个光纤的另一端连接到摄像头。该显示和摄像设备也能提供正视匹配显示，因为面对着各个小洞的光纤的末端与图像显示单元之间的位置关系没有偏移。

尽管上面提到的已知技术是通过将图像显示单元与图像拍摄设备的光轴对准来实现的，还应知道，作为一种不同类型的正视匹配技术是使用计算机图形合成眼睛自身，如在Tsuyoshi Yamaguchi等人的“Proposal for eye-to-eyematching technique in videoconference”，Proceedings of Sixth Image SensingSymposium，p267-p272，2000中所描述的。

另外，最近提出了一种采用立体方式实现正视匹配的尝试(参见诸如日本未审专利申请公开号10-75432)。

日本未审专利申请公开号10-75432公开了一种立体可视电话，其中在置于桌面的机壳中提供了图像拍摄单元(由摄像头组成)和图像显示单元。该图像显示单元的组成使用了图像分解器型三维液晶显示设备，而不需要戴眼镜看，且将摄像头置于图像显示单元的左侧和右侧位置上。同样，日本来审专利申请公开号10-75432论及将置于图像显示单元的左侧和右侧位置上的两个摄像头拾取的图像通过融合有选择性地合成，由此可获得能提供准立体视图的正面面部图像，且用户可在正视匹配状态下进行交谈。

在上面提到的通过将图像显示单元与摄像设备的光轴对准来实现的多种技术中，摄像设备是按某种相对于图像显示单元的位置关系来布置的。

更明确地讲，上面描述的使用半个小镜子的技术需要将摄像设备置于光线通过该半个小镜子的表面反射的反射方向上。同样，上面描述的使用穿过图像显示单元的光线获取面部图像的技术需要将摄像头置于图像显示单元的背面。因此，为实现这些技术，摄像头等必须装在一个总尺寸增加的装置中，且在诸如蜂窝电话中实现这些技术时存在困难。

同样，在诸如上面叙述的日本未审专利申请公开号4-167690中描述的设备中，其中将光纤附接在图像显示单元上形成的小洞上，因为在图像显示单元中形成小洞并将光纤的末端以一对一关系插入各自小洞的组装步骤中的困难性，产品价格将极大提升。

另外，利用计算机图形合成通信对象的眼睛的技术，如在上面叙述的论文“Proposal for eye-to-eye matching technique in videoconference”中所描述的，没有将上面提到的问题归因于摄像设备的安装位置。可是，在当前的计算机图形技术水平下，合成图像和实际图像仍然有天壤之别，且仍然不能完全消除通信对象视线上的不自然性。

另外，在上面叙述的日本未审专利申请公开号10-75432所公开的立体可视电话中，如果图像显示单元的尺寸大约为14英寸，则从图像显示单元的左侧到右侧的横向距离大约为30cm。因此，当两个摄像头置于不妨碍图像显示单元的位置时，所拾取的两个图像间就会出现相对大的偏移。因此，可视电话存在当按实际情况使用这两个图像时，对立体图像而言，由于视差增大太多而不能按实际情况通过融合合成这种双重图像的问题。即使可通过融合合成该双重图像，所得到的显示给用户的眼睛增加了负担，并会使用户感到疲劳。

考虑了上面所述的目前技术状况作出本发明，且其目的是提供与便携信息处理装置(如便携通信终端)有关的信息处理装置、信息处理系统和交谈对象显示方法，其可实现与交谈对象在自然的正视匹配状态下的交谈。本发明的另一个目的是提供信息处理装置、信息处理系统和交谈对象显示方法，其可避免由所拾取的两个图像间的视差太大所导致的缺点，以及其可实现与与交谈对象在自然的正视匹配状态下的交谈。

发明内容

为达到上述目的，本发明提供一种便携的且用于进行交谈的同时显示图像的图像处理装置，该图像处理装置由根据图像信号显示所期望图像的图像显示部件和分别置于该图像显示部件的左侧和右侧的图像获取部件组成。

就根据本发明的图像处理装置而言，因为将图像获取部件分别置于图像显示部件的左侧和右侧，右侧的图像获取部件获得的图像表示从用户前面的右侧位置看到的景象，且左侧的图像获取部件获得的图像表示从用户前面的左侧位置看到的景象。例如，从左侧获取的图像和从右侧获取的图像一起显示在交谈对象端终端的图像显示部件中，以提供所期望图像的显示。因此，看着图像显示部件的人将同时看到两幅图像，这个人可从视觉上感觉到合成图像处于左右方向上的视线偏移需要补偿的状态。因此，可实现正视匹配显示，而不需要特别地将每个图像获取部件的光轴与图像显示单元的光轴相互对准。

同样，为达到上述目的，本发明提供一种便携的且用于进行交谈的同时显示图像的图像处理装置，该图像处理装置由便携机壳、安装在该机壳表面上且根据图像信号显示所期望图像的图像显示部件和分别置于该图像显示部件的左侧和右侧的机壳表面上的图像获取部件组成。

对于本发明中的图像处理装置而言，其结构与便携机壳合为一体，且分别置于左右侧的图像获取部件形成在该机壳表面上。因此，整体上可采用薄形结构实现，且图像处理装置可采用小尺寸的、重量轻的结构。

另外，为达到上述目的，本发明提供一种便携的且用于进行交谈的同时提供图像的图像处理装置，该图像处理装置由包含根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式的图像显示部件、以及分别置于该图像显示部件的左侧和右侧的图像获取部件组成。

对于本发明中的图像处理装置而言，由于图像获取部件分别置于图像显示部件的左侧和右侧，可安装图像获取部件，而不需要特别地将它们与图像显示部件的位置对准，例如不需要重叠的位置关系，从而整体上可采用小尺寸的、薄形结构实现。同样，由于图像显示部件包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式，用户可在正视匹配状态下与交谈对象继续谈话，而不需要一种特殊设备，如偏振镜。

尤其是，上述提到的根据本发明三种模式中的每个图像处理装置还优选地包含图像处理部件，以根据图像获取部件拍摄的两幅图像通过视差插值方法产生新图像，其中将图像处理部件产生的两幅新图像显示在图像显示部件的显示屏上。

由于具有该特性，在根据本发明的图像处理装置中，可避免使图像获取部件拍摄的两幅图像之间的视差太大，因此可避免引起显示困难。因此，可优化与交谈对象正视匹配的立体显示，并可提供更自然的、看起来更舒适的图像。

另外，为达到上述目的，本发明提供信息处理系统，包含多个用于进行交谈的同时显示图像的便携信息处理终端，每个信息处理终端包含可显示包含交谈对象面部图像的图像显示部件以及分别置于图像显示部件的左侧和右侧的图像获取部件，信息处理终端可进行它们之间的通信。

就根据本发明的图像处理系统而言，因为将图像获取部件分别置于左右侧，右侧的图像获取部件获得的图像表示从用户前面的右侧位置看到的景象，且左侧的图像获取部件获得的图像表示从用户前面的左侧位置看到的景象。从左侧获取的图像和从右侧获取的图像一起显示在交谈对象端信息处理终端的图像显示部件中，以提供所期望图像的显示。因此，对着图像显示部件的人将同时看到两幅图像，因此合成图像可保持在正视匹配的状态。

尤其是，在根据本发明的信息处理系统中，每个信息处理终端还优选地包含图像处理部件，以根据图像获取部件拍摄的两幅图像通过视差插值方法产生新图像，并将图像处理部件产生的两幅新图像显示在属于交谈对象的信息处理终端中的图像显示部件的显示屏上。

由于具有该特性，在根据本发明的信息处理系统中，可避免使图像获取部件拍摄的两幅图像之间的视差太大，因此可避免引起显示困难。因此，可优化与交谈对象正视匹配的立体显示，并可提供更自然的、看起来更舒适的图像。

另外，为达到上述目的，本发明提供交谈对象显示方法，包含图像捕获步骤，采用一对分别置于便携终端中的图像显示部件的左右侧的图像获取部件拍摄图像，以及显示步骤，当用户与交谈对象处于正视匹配状态时在属于交谈对象的终端的图像显示部件上显示所拍摄的图像。

对根据本发明的交谈对象显示方法而言，由于采用一对图像获取部件拍摄用户的图像，可获得表示用户的左侧图像的信号和表示用户的右侧图像的信号。将那些信号发送给属于交谈对象的终端中的图像显示部件，以便以诸如混合方式显示左侧图像中的像素与右侧图像中的像素。因此，可实现用户与交谈对象之间的正视匹配显示。

尤其是，根据本发明的交谈对象显示方法还优选地包含图像处理步骤，其根据图像捕获步骤中拍摄的两幅图像，采用视差插值的方法产生新图像，其中将图像处理步骤中产生的两幅新图像显示在属于交谈对象的终端中的图像显示部件的显示屏上。

由于具有该特性，在根据本发明的交谈对象显示方法中，可避免使图像获取部件拍摄的两幅图像之间的视差太大，因此可避免引起显示困难。因此，可优化与交谈对象正视匹配的立体显示，并可提供更自然的、看起来更舒适的图像。

另外，为达到上述目的，本发明提供一种用于进行交谈的同时显示图像的图像处理装置，该图像处理装置由根据图像信号显示所期望图像的图像显示部件、分别置于该图像显示部件的左侧和右侧的图像获取部件以及根据图像获取部件所拍摄的两幅图像，采用视差插值的方法产生新图像的图像处理部件组成，其中将图像处理部件产生的两幅新图像显示在该图像显示部件的显示屏上。

对根据本发明的图像处理装置而言，将图像获取部件分别置于图像显示部件的左右侧，根据图像获取部件所拍摄的两幅图像，采用视差插值的方法产生新图像，且将两幅新图像显示在该图像显示部件上。因此，可实现正视匹配显示，而不需要特别地将每个图像获取部件的光轴与图像显示单元的光轴相互对准。另外，由于可避免使图像获取部件拍摄的两幅图像之间的视差太大，从而避免引起显示困难，可优化与交谈对象正视匹配的立体显示，并可提供更自然的、看起来更舒适的图像。

另外，为达到上述目的，本发明提供一种用于进行交谈的同时显示图像的图像处理装置，该图像处理装置由机壳、安装在机壳表面并根据图像信号显示所期望图像的图像显示部件、分别置于该图像显示部件的左侧和右侧的机壳表面上的图像获取部件以及根据图像获取部件所拍摄的两幅图像，采用视差插值的方法产生新图像的图像处理部件组成，其中将图像处理部件产生的两幅新图像显示在该图像显示部件的显示屏上。

对于本发明中的图像处理装置而言，其结构与便携机壳合为一体，且分别置于左右侧的图像获取部件位于该机壳表面上。因此，整体上可采用薄形结构实现，且图像处理装置可采用小尺寸的、重量轻的机壳。

另外，为达到上述目的，本发明提供一种用于进行交谈的同时显示图像的图像处理装置，该图像处理装置由包含根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式的图像显示部件、分别置于该图像显示部件的左侧和右侧的图像获取部件以及根据图像获取部件所拍摄的两幅图像，采用视差插值的方法产生新图像的图像处理部件组成，其中将图像处理部件产生的两幅新图像显示在该图像显示部件的显示屏上。

对于本发明中的图像处理装置而言，由于可安装图像获取部件，而不需要特别地将它们与图像显示部件的位置对准，例如不需要重叠的位置关系，从而整体上可采用小尺寸的、薄形结构实现。同样，图像显示部件包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式，且显示根据图像获取部件所拍摄的两幅图像，采用视差插值的方法新产生的图像。因此，可优化与交谈对象正视匹配的立体显示，而不需要一种特殊设备，如偏振镜，且用户可在正视匹配状态下与交谈对象继续谈话，同时看到更自然的、看起来更舒适的图像。

另外，为达到上述目的，本发明提供信息处理系统，包含多个用于进行交谈的同时提供图像的便携信息处理终端，每个信息处理终端包含可显示包含交谈对象面部图像的图像显示部件以及分别置于图像显示部件的左侧和右侧的图像获取部件，其中每一个信息处理终端还包含图像处理部件，以根据图像获取部件所拍摄的两幅图像，采用视差插值的方法产生新图像，且将图像处理部件产生的两幅新图像显示在信息处理终端间进行通信时属于交谈对象的信息处理终端中的图像显示部件的显示屏上。

就根据本发明的图像处理系统而言，因为将图像获取部件分别置于左右侧，右侧的图像获取部件获得的图像表示从用户前面的右侧位置看到的景象，且左侧的图像获取部件获得的图像表示从用户前面的左侧位置看到的景象。从左侧获取的图像和从右侧获取的图像一起显示在交谈对象端的信息处理终端的图像显示部件中，以提供所期望图像的显示。此时，由于图像显示部件显示根据图像获取部件所拍摄的两幅图像采用视差插值的方法新产生的图像，可优化与交谈对象正视匹配的立体显示，且在正视匹配状态下可提供看起来更舒适的、更自然的图像。

另外，为达到上述目的，本发明提供交谈对象显示方法，包含：图像捕获步骤，采用一对分别置于终端中的图像显示部件的左右侧的图像获取部件拍摄用户图像；图像处理步骤，根据图像捕获步骤中所拍摄的两幅图像采用视差插值的方法产生新图像；以及显示步骤，在属于交谈对象的终端的图像显示部件上显示图像处理步骤中产生的两幅新图像，以便用户与交谈对象之间保持在正视匹配显示状态。

对根据本发明的交谈对象显示方法而言，采用一对图像获取部件拍摄用户的图像，且根据所拍摄的两幅图像采用视差插值的方法产生新图像，从而获得表示用户的左侧图像的信号和表示用户的右侧图像的信号。将那些信号显示在属于交谈对象的终端的图像显示部件上，以便以诸如混合方式显示左侧图像中的像素与右侧图像中的像素。因此，可优化与交谈对象正视匹配的立体显示，并实现用户与交谈对象之间的正视匹配显示。

附图说明

图1是本发明的信息处理装置的一个示例的示意图。

图2A到2C是解释本发明的信息处理装置的一个示例的原理图。

图3是说明本发明的信息处理装置的一个示例的示意性电路配置方框图。

图4是使用采用本发明的信息处理装置的系统中的状态说明图。

图5是用于(在x方向上)解释来自本发明信息处理装置的图像显示单元中的光束的出射角。

图6是用于(在y方向上)解释来自本发明信息处理装置的图像显示单元中的光束的出射角。

图7表示本发明信息处理装置的一个示例中的位于图像显示单元周围的摄像头安装位置。

图8表示本发明信息处理装置的一个示例中的图像显示单元的像素排列图。

图9A到9E表示本发明信息处理装置的一个示例中的图像显示单元的左眼像素(L)和右眼像素(R)的阵列式样示例。

图10表示本发明信息处理装置一个示例中的图像显示单元的在像素其附近的结构。

图11是本发明信息处理装置的一个示例中的图像显示单元的截面图，该截面图表示发光器件的轴与显微透镜的轴之间没有偏移时的情况。

图12是本发明信息处理装置的一个示例中的图像显示单元的截面图，该截面图表示发光器件的轴与显微透镜的轴之间有偏移时的情况。

图13A和13B表示本发明信息处理装置的一个示例中的发光器件和显微透镜光束传播的情况，其中图13A表示当发光器件的轴与显微透镜的轴相互对准时光束传播的仿真结果，而图13B表示当发光器件的轴与显微透镜的轴没有相互对准时光束传播的仿真结果。

图14A到14C表示本发明信息处理装置的一个示例中的取决于发光器件和显微透镜的大小和位置关系的光计算结果，其中图14A表示光传播角与发光器件的直径之间的关系的光计算结果，图14B表示光束传播与在光轴方向中的透镜位置之间的关系的计算结果，且图14C表示光出射角与在平面方向上的发光器件位置之间的关系的计算结果。

图15A和15B表示本发明信息处理装置的一个示例中使用的显微透镜示例，其中图15A是正面图，而图15B是截面图。

图16是本发明信息处理装置的一个示例中的将图像处理概念作为功能加以解释的概念图，引用该图解释找到与模板最近的图像区域的图像处理。

图17是表示视差参数的图。

图18A和18B表示本发明信息处理装置另一示例中的图像显示单元，其中图18A是靠近发光器件和圆锥形显微透镜部分的截面图，且图18B是圆锥形显微透镜的透视图。

图19显示用于解释当使用显微透镜等时发射光与出射角之间的关系而引用的参数图。

图20用于解释当使用显微透镜等时局部球形区域占整个球形区域的比率与出射角之间的关系的图。

图21表示本发明信息处理装置的另一示例中的图像显示单元的截面图。

图22A和22B表示用于检查视线方向与正视匹配印象之间关系的实验方案图，其中图22A表示提供立体图像时的情况，而图22B表示提供非立体(monaural)图像时的情况。

图23A和23B表示图22A和22B中所示实验的结果，其中图23A表示提供立体图像时的情况，而图23B表示提供非立体图像时的情况。

图24是用于解释本发明图像处理装置中的视差插值概念的概念图，该图用来解释根据置于图像显示区左右侧的两个摄像头拍摄到的两幅图像，产生一幅有较小视差的新图像的过程，该新图像就好像是由比两个实际摄像头之间的间距小的两个虚拟摄像头拍摄的图像一样。

图25是本发明信息处理装置的一个示例中的将图像处理概念作为功能加以解释的概念图，引用该图解释获得置于图像显示区域左右两侧的两个摄像头所拍摄的两幅图像中的对应点的图像处理。

图26表示将原始图像移动表示视差偏移的1/2所对应的若干像素后产生的图像一个示例，该图用来解释产生一幅与从用于拍摄两幅图像的两个摄像头的中间位置拍摄的图像具有可比性的图像的过程。

图27A和27B每个表示当置于大体上预先确定面积尺寸的屏幕的左或右侧之一的摄像头拍摄目标图像时的显示单元图像，其中图27A表示将摄像头置于左侧时的情况，而图27B表示将摄像头置于右侧时的情况。

图28A和28B每个表示当置于大体上预先确定面积尺寸的屏幕上或下部之一的摄像头拍摄目标图像时的显示单元图像，其中图28A表示将摄像头置于上部时的情况，而图28B表示将摄像头置于下部时的情况。

具体实施方式

下面将参照附图详细描述实现本发明的具体实施例。

该实施例涉及能显示交谈对象面部图像的便携通信终端。如图1所示，便携通信终端10充当信息处理装置，它的机壳12的尺寸能使用户用一只手拿着它，且能使用户在拿着机壳12的同时进行交谈，且机壳12的纵向方向取向垂直方向。将尺寸在大约10mm²到100mm²的范围内的图像显示单元11置于机壳12的前侧，以便将其显示屏暴露在外。左侧摄像头13L和右侧摄像头13R都充当图像拾取单元，并分别置于图像显示单元11的左右侧。此外，用于监视用户面部等的图像情况的次监视器14置于图像显示单元11的下面，且指示器17置于次监视器14的侧部。当用户面部偏移图像拍摄区较远时，指示器17以诸如闪烁的方式表示该情况。按钮15和输入键16位于次监视器14的下面。在便携通信终端10中，通过按钮15和输入键16的操作，用户可诸如拨电话、输入电子邮件的字符以及控制便携通信终端10的功能。

左侧摄像头13L和右侧摄像头13R每一个都用作图像获取单元，并分别置于图像显示单元11的左右侧。放置左侧摄像头13L以便拍摄从手持便携通信终端10的用户前面稍微偏左的位置看到的景象，而放置右侧摄像头13R以便拍摄从该用户前面稍微偏右的位置看到的景象。左侧摄像头13L和右侧摄像头13R每个都由光学系统组成，该系统是MOS(金属氧化物半导体)摄像器件或CCD(电荷耦合器件)摄像器件与镜头等的结合体。事实上，在便携通信终端10中，使用诸如体积小且重量轻的固态摄像器件作为左侧摄像头13L和右侧摄像头13R的每一个。

图像显示单元11中包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式。尤其是，图像显示单元11包括输出装置，以相互独立的方式将光输出到用户的两只眼睛。在该实施例中，输出装置包括：发光部分，根据左眼信号或右眼信号发射所期望的光；以及出射角控制部分，控制发光部分发出的光以预先确定的角度方向发出。发光部分由排成阵列的多个发光二极管构成，且出射角控制部分由一个显微透镜阵列组成，该显微透镜阵列是将多个小透镜以矩阵形式排列而形成的。上述输出装置结构只是一个例子，且作为其他例子，发光部分的结构可使用液晶显示器件、有机EL(电致发光)器件、等离子显示器件等或采用发射或反射结构而组成。也可以将出射角控制部分改为下面描述的多种结构中任一合适的结构。之后将描述根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素形成混合模式的方法。

首先描述将分别与两只眼睛有关的信号发送到一个显示单元进行正视匹配的技术。通常而言，在可视电话等领域中已对与视线不对准有关的察觉眼(detection eye)和容许眼(allowance eye)问题进行了研究，在诸如Sato等人的No.1998，″Studies on position of image pickup tube in videophone″，1972 of Joint Meeting of Four Electrical Societies in Japan，p2316以及Minami，″4.2 Videophone″，Journal of the Institute of Electronics andCommunication Engineers in Japan，11/′73，Vol.56，No.11，p1485-p1490中已加以讨论。这些参考文献中示出了有关可视电话中视线对准的讨论和实验结果，且提到“人类对视线有异常感觉的察觉眼在一个偏离中心大约2°到3°的非常窄范围内，且在水平方向和垂直方向之间没有任何可感知的差别”。此外，这些参考文献提到“可视电话中提供容许眼范围界限的容许眼是角度界限在水平方向上大约4.5°，在准确向上的垂直方向上大约12°，在准确向下的垂直方向上大约8°，并且由于水平方向上的可容许范围特别窄，所以人类对左右方向上的视线变化十分敏感”。

本发明实施例中所示便携通信终端10是一种能补偿视线在左右方向上有相对容易感觉到的偏移但能实现比较满意的交谈的装置。图2A到2C仅仅表示实现这样的装置的概念。图2A表示左侧摄像头13L观测到的图像。由于将左侧摄像头13L安置在偏离中心的左侧位置，用户的视线看上去向右偏移。同样，图2B表示右侧摄像头13R观测到的图像。由于将右侧摄像头13R安置在偏离中心的右侧位置，用户的视线看上去向左偏移。此外，图2C表示当使用包含根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式、且有以相互独立方式将光输出到用户双眼机制的图像显示单元11来显示一幅图像时的显示单元中的结果。换一种说法，便携通信终端10从将左眼信号专门发送到的图像显示单元11的每个像素向用户左眼方向输出光，且该输出光到达用户的左眼。类似地，便携通信终端10也从将右眼信号专门发送到的图像显示单元11的每个像素向用户右眼方向输出光，且该输出光到达用户的右眼。结果，用户可通过双眼看到不同的图像。可是，将那些图像当作一幅合成图像来看的功能是在用户的大脑中进行的，因此用户看这些图像就象一幅正视匹配图像显示在屏幕上一样，如图2C所示，因此可实现自然的正视匹配状态下的交谈。该图像可以是静态图片或移动图片。当便携通信终端10有许可的发送/接收频带时，也可发送和接收实时移动图片。另外，也可发送和接收压缩或“稀疏”的图像数据。

图3是表示便携通信终端10的电路配置示例的方框图。控制电路21包括CPU(中央处理单元)、视频存储器以及含必需规范的图像信息处理电路。如之后所描述的，控制电路21也执行信号处理，以防止手颤动带来的影响。可通过发送/接收单元28传输控制电路21所处理的数据，且将发送/接收单元28接收的数据发送到控制单元21。键输入单元27有诸如置于其上的10个键以及功能设置按钮。另外，也可将微动拨盘、输入垫、其他附加功能器件等安置在键输入单元27上。

将来自左侧摄像头24L的信号和来自右侧摄像头24R的信号单独地提供给控制电路21。在正常使用状态下，来自左侧摄像头24L的信号包含从用户前面稍微偏左的位置拍摄的图像数据，且来自右侧摄像头24R的信号包含从用户前面稍微偏右的位置拍摄的图像数据。在便携通信终端10中，通过控制电路21将来自左侧摄像头24L的信号和来自右侧摄像头24R的信号传输到发送/接收单元28。那些信号从发送/接收单元28发送，并由另一个便携通信终端接收。便携通信终端10允许用户通过上述数据发送和接收进行交谈。尤其是，通过该实施例而言，用户可看到所接收的数据，就象将一幅正视匹配图像显示在图像显示单元11上一样，从而可实现自然的正视匹配状态下的交谈。

来自左侧摄像头24L的信号和来自右侧摄像头24R的信号不仅被发送到另一个便携通信终端，而且还被用来通过控制电路21在一个小监视屏上显示一幅图像。更详细而言，还通过控制电路21和驱动器26将来自左侧摄像头24L的信号和来自右侧摄像头24R的信号发送到次监视器25。因此，交谈时用户可在便携通信终端10的一个相对较小的屏幕(诸如图1所示的次监视器14)上看到自己的面部。当用户进行交谈时在相对小的屏幕(诸如次监视器14)上确认看不到自己的面部时，根据便携通信终端10的角度，有一种可能性是，在左侧摄像头24L和右侧摄像头24R的中心都不能捕捉到用户的面部，或用户的面部偏离摄像头的图像拾取范围。通过进行交谈的同时确认图像出现在次监视器25上，便携通信终端10的用户可在自然的正视匹配状态下与交谈对象继续交谈。因此，次监视器25是一种提示可视确认的装置。在便携通信终端10中，由于来自左侧摄像头24L和右侧摄像头24R的信号受到控制电路21中稳定图像处理(如防手颤处理)的影响，所以当不能正确显示用户面部时，指示器29可能会闪烁。另一种做法是，可以执行控制以在次监视器25或主监视器22的屏幕上显示该情况。

将来自交谈对象的信号从发送/接收单元28发送到控制电路21，并在被分离为左眼信号LE和右眼信号RE之后从控制电路21输出。将左眼信号LE发送到左眼驱动器23L，以驱动左眼像素，且将右眼信号RE发送到右眼驱动器23R，以驱动右眼像素。用于显示交谈对象的面部的主监视器22由来自左眼驱动器23L和右眼驱动器23R的两个信号驱动。在主监视器22上，如上面所描述的，左眼像素和右眼像素以混合模式排列，诸如偶数行中的像素与右眼对应，且奇数行中的像素与左眼对应，因此不同的图像按像素组独立地显示。可是，在看着主监视器22的一端，将不同图像当作一幅合成图像来看的功能是在用户的大脑中进行的，因此用户看到这些图像就象一幅正视匹配图像显示在该屏幕上一样，如图2C所示，因此可实现自然的正视匹配状态下的交谈。

注意到图3中的方框图只表示便携通信终端10的一个例子，且可有任何其他合适的电路配置。例如，在便携通信终端10中，通过诸如按钮操作可只将左眼信号LE和右眼信号RE中的一个发送到两个驱动器23L和23R。另一种做法是，可通过诸如按钮来控制主监视器22的信号和次监视器25的信号的切换，以便在正视匹配状态下将用户面部显示在主监视器22上。同样，可对便携通信终端10加以修改，以便除图像之外，还产生立体感的语音。此外，在便携通信终端10中，仅在需要的场合下可重现左眼信号和右眼信号，且可显示非正常情况下的针对左眼和右眼的信号图像。

图4表示两个人通过与上面描述的便携通信终端10具有相同构造的两个便携通信终端35、38交谈时的情形。在图4中，假定用户33和交谈对象34正在相互交谈，用户33手中的便携通信终端35配备有图像显示单元36和一对摄像头37L、37R。交谈对象34的面部显示在图像显示单元36上，且参照图2A到2C，根据上面所描述的原理，所显示的面部图像处于自然的正视匹配状态下。另一方面，交谈对象34手中的便携通信终端38配备有图像显示单元39和一对摄像头40L、40R。用户33的面部显示在图像显示单元38上，且类似地参照图2A到2C，根据上面所描述的原理，所显示的面部图像处于自然的正视匹配状态下。

参照图5和6，现在描述用于控制从该实施例便携通信终端中图像显示单元的发光部分发射的光以按预先确定的角度方向出射的结构。

图5是上面所看到的该实施例便携通信终端的图像显示单元。

在图5中，区域b1表示从图像显示单元的显示屏左端处的像素辐射或该像素反射的光足够强以使用户可清晰看到它的范围。同样，区域b2表示从图像显示单元的显示屏右端处的像素辐射或该像素反射的光足够强的范围。在那两个像素之间，角θ连续变化以使对应的光范围在距离图像显示单元的显示屏的L₁处的平面上几乎相互重叠。距离L₁是一个在正常情况下用户可看到显示屏的假想距离尺寸。这里，假定距离L₁为250mm，即称之为人类清晰可见的视觉距离。同样，距离L₂是一个考虑用户张开双臂时观看显示屏情况下的假想尺寸。这里，假定距离L₂为400mm。黑点b3、b4表示距离L₁处看着便携通信终端显示屏的用户的左眼E_L1和右眼E_R1的各自位置。另外，黑点b3′、b4′表示距离L₂处的两只眼睛的各自位置。

从图5中显然可见，区域b1、b2中的光不会进入右眼，且只能用左眼看到。同样，将左、右方向上的光角度反转，可设置仅右眼所能看到的像素。相应地，通过每行或与所有显示像素有关的每个像素显示左右眼的各自图像可获得立体视图。

距离D是水平方向上图像显示单元的显示屏的尺寸。通常，便携装置的图像显示单元宽度为大约20mm到80mm，可满足手持单元的要求。在该例子中，假定距离D是40mm。同样，θ₁(＝-9.57±5°)和θ₂(＝0.43+5°)是该例子中的设计参考值，且设置时假定光传播范围为10°，以便光足以到达眼睛，同时确保在位置L₁＝250mm处的两只眼睛的中间位置上到达两只眼睛的光既不混合，且相互间尽可能不分离。即使在距离L₂为400mm时，这些设计值也允许光足以到达眼睛。在该设置值下，理论上根据几何学，部分显示屏消失的距离的最小值是202mm，且最大值是657mm。当到达双眼的光彼此间分离时，光传播角可以大于10°。可是，较大的传播角需要较大的光出射角，且增加了光学设计的难度。此外，因为本发明所应用的设备假定是个人用户，从保护隐私和减少能量消耗上来说不传播超出必需的光是有利的。

就垂直方向而言，如图6中所示，可进行类似的控制，以便光到达眼睛所在位置。在垂直方向上，角φ用作出射方向的角度参数。由于假定双眼之间没有位置差别，黑点b3、b4位于相同位置(L₁)，且黑点b3′、b4′位于相同位置(L₂)。

尽管这种设计过程使图像显示单元可在正视匹配状态下显示图像，还可以使用下面给定的公式进一步推广。首先，将两只眼睛间间距的一半所对应的距离E_R1与从图像显示单元显示屏中心到末端的距离Dx_max相比较。换言之，这种比较可用下列公式(1)表示：

如果Dx_max＜E_R1

如果Dx_max＞E_R1           (1)

如果满足公式(1)上面的条件，就表示从图像显示单元显示屏中心到末端的距离Dx_max小于两只眼睛间间距的一半所对应的距离E_R1，即图像显示单元显示屏尺寸小的情况。在这种情况下，用下列公式(2)表示光出射角的设置值：

θ_Lmax＝-tan^-1(Dx/L₁)

θ_Lmin＝θ_max ^-10

θ_Rmax，θ_Rmin关于中心对称(yz平面)

φ_mid＝(-tan^-1(Dy/L₁)-tan^-1(Dx/L₂))/2

φ_max＝φ_mid+5

φ_max＝φ_mid-5            (2)

在公式(2)中，距离L₁是一个在正常情况下用户观看显示屏的假想距离尺寸，例如人类清晰可见的视觉距离。同样，距离L₂是一个考虑用户张开双臂时观看显示屏情况下的假想尺寸。另外，距离Dx是x方向(水平方向)上的距离，且距离Dy是y方向(垂直方向)上的距离。换言之，作计算时可假定待确定出射角方向的像素的位置在(Dx，Dy)。

另一方面，如果满足公式(1)下面的条件，就表示从图像显示单元显示屏中心到末端的距离Dx_max大于两只眼睛间间距的一半所对应的距离E_R1，即图像显示单元显示屏尺寸大的情况。在这种情况下，用下列公式(3)表示光出射角的设置值：

θ_Lmax＝-tan^-1((Dx-E_R2)/L₁)

θ_Lmin＝-tan^-1((Dx-E_L1)/L₂)

θ_Rmax，θ_Rmin关于中心对称(yz平面)

φ_mid＝(-tan^-1(Dy/L₁)-tan^-1(Dx/L₂))/2

φ_max＝φ_mid+5

φ_max＝φ_mid-5          (3)

在公式(3)中，每个参数与公式(2)中的参数有相同的设置值。

借助公式(1)到(3)，就能确定图像显示单元上任意位置(Dx，Dy)处的光出射角方向。如果像素与右眼或左眼之间的对应关系是随机的，可使用公式(1)到(3)通过计算确定每个像素的出射方向。作为另一个例子，如果每行中右眼像素和左眼像素交替排列，可设置出射方向使得将每行中的几个点提取出来，并使用公式(1)到(3)对提取出的每个点进行类似的计算，而所提取点之外的其他点都基于所提取点的出射角数据，通过线性插值或另一种合适的过程来设置。

下面参照图7描述该实施例便携通信终端中的摄像头位置。

图像显示单元31的结构中包含以矩阵形式排列的许多像素，且有一个大体上是矩形的外部轮廓。在左右每侧至少放置一个摄像头。作为另一个例子，可放置更多数目的摄像头，或可放置不同类型的摄像头。在后一种情况下，可以是这样的组合：左右摄像头中的一个是普通摄像头，而另一个是相对简化的摄像头，只用来合成视线。

将每个摄像头放置在诸如图7所示的区域32L、32R中的一个内，不仅包括除大体上矩形形状的图像显示单元31的左右侧末端以外的水平位置，也包括远离左右侧末端的上下端的、预先确定的范围内的位置。更具体而言，图7所示区域32L、32R不仅包括从图像显示单元31的左右侧末端沿水平方向扩展的宽度为H₂的带状区域，也包括从那些带状区域的上下端沿垂直方向扩展的、用围绕矩形图像显示单元31的相应拐角的半径为r的圆定义的区域。因此，在高度方向上，每个区域32L、32R包括从矩形图像显示单元31向上扩展距离H₁的区域。摄像头在垂直方向上的位置有相对大自由度的原因是上面提到的容许眼在垂直方向上的界限不是十分准确。在便携通信终端而不是显示单元的空间小的情况下，摄像头位置不总是准确地限制在图像显示单元31的侧部。类似地，以上描述对下部的情况也适用。

宽度H₂不限制在一个特定值上。例如，当将半径r设为大约20mm时，也可将宽度H₂设为大约20mm。上面描述的摄像头位置相对于图像显示单元31最好固定，因为每个摄像头配备有光学系统(未显示)。另一种做法是，可对构造加以修改，从而摄像头能从图像显示单元31的一侧伸出或缩回，或者将一对摄像头中的一个或两个安装在要拍摄的图像的位置处。在摄像头的前端附上用玻璃或塑料制成的镜头。例如，为防止镜头受损，当不使用时，可用一个盖子将摄像头盖住。

以下参照图8到12描述图像显示单元的结构示例。

图8表示比例放大的显示像素。在图8中，大体为正方形的块所表示的区域51对应于一个像素。在每个像素的区域51中，将4个发光器件52R、52G、52B和52G分别置于表示数量4的一个冲模(die)表面的4个点上。每个发光器件52R、52G、52B和52G由如发光二极管的半导体发光器件构成。发光器件52R是发红光的器件，发光器件52G是发绿光的器件，且发光器件52B是发蓝光的器件。发绿光器件52G的特性是与发其他光的发光器件相比，人类眼睛更容易区分它。因此，通过将发绿光器件52G排列得更密，可提供更一致的印象。除那些发光器件之外，图像显示单元也可使用有彩色滤光器的透射显示装置(如彩色液晶)或其他合适的反射显示装置构成。

能将各自光束输出到左右眼从而为上述像素区51提供所需立体景象的图像显示单元的构成是通过设置那些像素区以便产生每行或每像素分布有光束的两幅不同图像。

图9A到9E表示实现一幅立体景象的左右两幅图像的分布模式。在这些图的每一幅中，“L”表示根据左眼数据发光的像素，从而光向左眼输出。另一方面，“R”表示根据右眼数据发光的像素，从而光向右眼输出。注意到每幅图只示出了一个4个水平像素×4个垂直像素的提取部分。图9A示出的模式中，以“L”表示的左眼像素和以“R”表示的右眼像素交替排列在每个水平行中。图9B示出的模式中，以“L”表示的左眼像素和以“R”表示的右眼像素交替排列在每个垂直列中。图9C示出的模式中，左眼像素和右眼像素按棋盘方格交替出现。在该模式下，左眼像素和右眼像素在每个水平行中每像素交替出现，且当前水平行与下一水平行之间在水平方向上移动一个像素就出现类似模式的模式。图9D表示与图9C类似的棋盘方格模式的模式，但该棋盘方格模式是按两个水平像素×两个垂直像素的单位尺寸形成的。另外，图9E表示每个水平行中，左眼像素和右眼像素按每两个像素交替出现，且当前水平行与下一水平行之间在水平方向上移动一个像素就出现类似模式的模式。注意到图9A到9E中的模式只是通过示例来表示的，且可用其他合适的模式来代替。同样，尽管整个显示屏可采用相同的模式形成，也可能在图像显示单元的中心和周围区域采用不同的模式，或按使进入左右图像的光主要分布在假定的与面部图像对应的区域中的模式排列。另外，除按规则模式分布左眼像素和右眼像素之外，左眼像素和右眼像素也可按不规则模式分布，尽管布线要复杂些。

下面将描述的图像显示单元的结构的一个示例是以一对一关系排列在发光器件上的小镜头即显微透镜的使用例子。

图10表示一种布置，其中将由半导体发光器件(如发光二极管或半导体激光)构成的4个发光器件63G、63B和63R中的每一个放置在每个像素61中。发光器件63R是发红光的器件，发光器件63G是发绿光的器件，且发光器件63B是发蓝光的器件。如上面所提到的，发绿光器件63G的特性是与发其他光的发光器件相比，人类眼睛更容易区分它。因此，将发绿光器件52G排列得更密，可提供更一致的印象。

将由球形透明体制成的每个小显微透镜62排列在图像显示单元表面一侧上，与发光器件63G、63B和63R的光出射端相对应。显微透镜62充当出射角控制部分，从沿左眼或右眼预定角度方向上的发光器件63G、63B和63R中输出光，且它们由透明的合成树脂如PMMA(polymethacrylicmethyl)、玻璃等形成。每个显微透镜的形状不仅限于球形，还可以是圆锥形、金字塔形或矩形。同样，通过连接一个其上以矩阵模式整体安装有显微透镜的固定板，或逐个放置显微透镜，可将显微透镜组装成图像显示单元。为使每个显微透镜62具有控制光出射角的功能，对于每个发光器件在防护板等上有一个开口，朝向用户的一只眼睛，或者显微透镜62的位置可偏离来自相应发光器件63G、63B和63R之一的光的光轴。

图11和12都是用来解释根据显微透镜62的位置控制光出射方向示例的示意性截面图。图11表示发光器件63G的轴与显微透镜62的轴相互对准时的示例，且图12表示发光器件63G的轴与显微透镜62的轴之间有偏移时的示例。

图11通常表示发绿光的发光器件63G以及发光器件63G的大约30μm的φ_OPT尺寸。在图11中，z轴方向表示与图像显示单元的显示屏正切的方向，且这里将它定义为光出射方向。发光器件63G是诸如基于GaN的发光二极管，且发蓝光的发光二极管也可以由诸如基于GaN的半导体构成。发红光的发光器件63R可以由诸如基于GaAs化合物的半导体构成。将每个发光器件63G焊接到支持基底65上，并以大约300μm到600μm范围的间距按矩阵模式排列。

在支持基底65上，放置一个浇铸的固定元件66，其不仅充当固定显微透镜62的元件，而且作为防护板，以将来自发光器件的光的方向限制到一个适当角度。浇铸的固定元件66具有与发光器件的各自位置对应的所形成的开口。每个开口的直径逐渐增大，大体上是切去顶端的锥形形态，且显微透镜62与发光器件对面的开口的一端相配合。将浇铸的固定元件66与显微透镜62相互结合固定在一起，且将浇铸的固定元件66与支持基底65作同样处理。显微透镜62相互连接且通过固定部分64固定位置，该固定部分64在最大直径区域上固定显微透镜。这里将每个显微透镜62的直径φ_LENS设置为大约300μm。由于这种排列，在发光器件63G与在浇铸的固定元件66开口处安装的显微透镜62的底部之间有一个距离为d的间隙，且在通过该间隙之后，光进入到显微透镜62中。

如上面所述，图12表示发光器件63G的轴与显微透镜62的轴之间有偏移时的示例。在图12中，将发光器件63G放置在从经过显微透镜62的中心并与z轴平行的线偏移距离Δy的位置处。当将发光器件63G放置在这样一个偏移距离Δy的位置处时，由于显微透镜62的轴的偏移，从发光器件63G出射的光会折弯。因此，设置这样的位置关系使光能朝右眼和左眼的各自方向上出射。例如，通过偏移支持基底65上的发光器件63位置的方法、通过偏移其上的、或其中显微透镜62被逐个安装到浇铸固定元件66各个开口上的结构中的显微透镜62的位置的方法、通过偏移浇铸固定元件66中每个开口的位置从而偏移每个显微透镜62的位置的方法，发光器件63G的轴与显微透镜62的轴可相互偏移。图12中所示例子采用偏移显微透镜62的位置的方法。尤其是，将显微透镜62固定到浇铸固定元件66上，以便浇铸固定元件66中的开口中心与显微透镜62的轴不对齐。尽管图12表示y方向上的偏移，除y方向之外，类似偏移也可在z方向和x方向上产生，以便光可在朝着左右眼的各自方向上输出。

图13A表示当发光器件63G的轴与显微透镜62的轴相互对准时光束传播的仿真结果，而图13B表示当发光器件63G的轴与显微透镜62的轴相互间有偏移时光束传播的仿真结果。换言之，图13A表示图11结构中发光器件与显微透镜的关系，而图13B表示图12结构中发光器件与显微透镜的关系。当发光器件63G的轴与显微透镜62的轴相互对准时，如图13A所示，光束沿z轴扩散，即在图像显示单元显示屏的正切方向上。可是，当发光器件63G的轴与显微透镜62的轴相互间有偏移时，如图13B所示，光出射方向就有了角度，且光束辐射稍微向上倾斜，正如图中所看到的。该计算示例假定显微透镜材料是PMMA，显微透镜直径是300μm，发光器件直径是30μm，且发光器件与显微透镜之间的距离是50μm。图13A表示Δy＝0时的情况，且图13B表示Δy＝-15μm时的情况。当使用PMMA作为显微透镜材料时，其折射系数随波长而改变。下面给出的表中示出折射系数与波长之间的关系。使用该表中所示数据进行计算。

PMMA的折射系数

颜色	蓝	绿	红
				光	F	e	C
波长(nm)	486.13	546.07	656.27
				折射系数	1.49776	1.49776	1.48920

此外，如图14A到14C中所示，执行光学计算还涉及到显微透镜和发光器件的尺寸和位置关系。

首先，图14A中的曲线示出了发光器件的直径与光传播角度之间关系的光学计算结果。其与图13A中的情况相似。即，如果显微透镜材料是PMMA，显微透镜直径是300μm，且发光器件与显微透镜之间的距离是50μm，发光器件的直径会改变。正如从图14A结果可见，要得到10°的光传播角，作为上面提到的那些情况下的目标值，发光器件的直径最好在μm左右。因为显微透镜的尺寸和发光器件的尺寸相互间具有相对可比性，显微透镜与发光器件的尺寸比最好设置在诸如30∶1到5∶1的范围内。

图14B的曲线示出了计算发光器件与显微透镜之间的距离对光传播角影响的结果。其与图14A中的那些情况相似。即，如果显微透镜材料是PMMA，显微透镜直径是300μm，且发光器件的直径是30μm，发光器件与显微透镜之间的距离d是可变的。正如从图14B结果可见，要得到10°的光传播角，发光器件与显微透镜之间的距离最好设置为大约5μm。

图14C的曲线示出了距离Δy(＝Δx)(即发光器件与显微透镜之间的横向偏移)与光出射角之间关系的计算结果。上下界限角度表示图5所示光传播区域的θ的范围。“中心”表示绘制上下界限角度的中心所获得的值。如上面参照图5所描述的，根据在显示屏上的位置，角θ可从0.43°变化到-9.57°，以便将不同图像独立地分发到左眼和右眼。正如从图14C的曲线中所看到的，将距离Δy从大约0线性改变到35μm，该条件都能得到满足。这种线性计算过程可近似用下列公式(4)表示：

$\mathrm{\θ}=-\frac{1}{3.5}\▿y\±5$

θ：出射角

y：发光器件相对于镜头的横向位置    (4)

从上面描述的光学计算来看，可以肯定使用显微透镜可显示专用于左眼和右眼的各自图像。尽管上面借助示例来描述左右方向上的光学设计，在垂直方向上也可进行类似的设计。这里已对假设自发光器件(如发光二极管)的器件尺寸进行了讨论。可是，当仅限制开口尺寸会担心降低光强度时(如在使用液晶情况下可能出现的)，也可在通过镜头等将来自像素的光聚焦为所发射光的目标尺寸之后，采用有机EL发光显示、等离子显示等上面描述的方法。除上面提到的光利用效率高和耗电低之外，使用显微透镜还可提供下述其他多种优点。由于从倾斜方向进入显微透镜的外来光几乎不可能反射到对着眼睛的方向上，所以可得到高对比度和好质量的图像。由于镜头影响导致每个像素的外观尺寸增加，所以像素间的外观间隔变窄，且可避免出现视觉上离散的像素。因此，用相对少数量的像素，可获得连续的图像。

下面将参照图15A和15B描述显微透镜的一个示例。

图15A是显微透镜的正面图，且图15B是显微透镜的截面图。图15A和15B所示显微透镜结构中，每个显微透镜由近透明球形体组成，且固定在大体上为平板形态的固定元件上的最大直径部分位置上，从而基本上以最大密度排列它们。每个显微透镜的直径例如大约是300μm。图像显示单元是通过将单个显微透镜结合到发光器件阵列形成的，每个显微透镜固定在大体上为平板形态的固定元件上。由于不需要逐个定位单个显微透镜，这种组装工艺可降低便携通信终端的制造成本。

下面将以本实施例中采用的一个图像处理示例来描述保持眼睛位置稳定的方法。

正如之前参照图1所描述的，因为将拍摄面部图像的摄像头13L、13R置于图像显示单元11的两侧，且为了进行确认，将用户面部显示在次监视器14上，能在某些范围内作出调整，以便将面部置于摄像头的图像拍摄范围内。可是，在手持终端中，交谈对象的显示图像的位置与摄像头之间的位置关系在通常情况下会有极大变化。只要交谈对象面部大体上在显示屏内，视线方向的偏移就不是非常大的。然而，为实现更精确的正视匹配以及防止图像晃动，最好提供稳定眼睛位置的功能。

稳定眼睛位置的一种实际方法是，在摄像头13L、13R所拍摄的图像区域中预留出边缘，并拍摄比面部稍微大点的区域中的图像。在显示端，在用图像处理加以调整以便将交谈对象的眼睛置于连接摄像头13L、13R的线上，且眼睛的中心位于靠近这两个摄像头间中心的位置之后，显示面部图像。这里，从面部图像检测眼睛位置的实际方法是使用合适的一个已知图像识别方法。下面将通过一个例子，描述基于相关检测的方法。图16是用于解释找到与模板最接近的图像部分的过程的概念图。使用下面公式(5)表示的相关值计算公式，进行相关检测：

相关系数：

$c_{\mathrm{ij}}=\frac{{\mathrm{cov}}_{\mathrm{ij}}(f,g)}{\sqrt{{\mathrm{var}}_{\mathrm{ij}}\left(f\right)}\×\sqrt{{\mathrm{var}}_{\mathrm{ij}}\left(g\right)}}$

协方差 ${\mathrm{cov}}_{\mathrm{ij}}(f,g)=\underset{m=i}{\overset{i+u}{\mathrm{\Σ}}}\underset{n=j}{\overset{j+v}{\mathrm{\Σ}}}(f_{m,n}-f^{\′})(g_{m-u,n-v}-g^{\′})$

方差 ${\mathrm{var}}_{\mathrm{ij}}\left(f\right)=\underset{m=i}{\overset{i+u}{\mathrm{\Σ}}}\underset{n=j}{\overset{j+v}{\mathrm{\Σ}}}{(f_{m,n}-f^{\′})}^2$

方差 ${\mathrm{var}}_{\mathrm{ij}}\left(g\right)=\underset{m=0}{\overset{u}{\mathrm{\Σ}}}\underset{n=0}{\overset{v}{\mathrm{\Σ}}}{\left(g_{m,n}{-g}^{\′}\right)}^2---\left(5\right)$

匹配位置由使公式(5)中的相关系数c_ij达到最大值的坐标值(i，j)给出。同样，在公式(5)中，g表示模板图像。在该情况下，眼睛、鼻子、眉毛、嘴巴等的标准图像预先寄存在存储器中。另外，f表示待显示的目标图像。

也可应用通常所知的自动聚焦或自动跟踪方法。将摄像头13L、13R置于可朝向并集中到标准距离(如L1＝250mm)的位置上。相应地，根据左右摄像头拍摄到的图像之间的差别，确定到面部的距离。这种确定过程是基于所熟知的有关视差的几何计算而进行的。图17表示视差参数。使用下列公式(6)进行计算：

绝对视差＝聚散度角：γ_F，γ_P

视差＝相对视差＝聚散度角之间的差：

$d={\mathrm{\γ}}_P-{\mathrm{\γ}}_F\≈\mathrm{E\δ}/(D_F^2-{\mathrm{\δD}}_F)$

$\≈\mathrm{E\δ}/D_F^2$

其中D_F，D_P＞＞E           (6)

根据使用摄像头13L、13R和计算公式所计算得到的距离，可假定面部标准外观尺寸，并调整模板尺寸与外观尺寸相匹配。可通过简单矩阵计算进行该尺寸的改变。例如，可用下列公式(7)表示这种矩阵计算：

             正规矩阵|放大/缩小矩阵

$\mathrm{MTRX}=\left[\begin{array}{cccc}1/X_s& 0& 0& 0\\ 0& -1/X_s& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}a& 0& 0& 0\\ 0& b& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·$

运动矩阵 z轴旋转矩阵

$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ X_0& X_0& Z_0& 1\end{array}\right]\·\left[\begin{array}{cccc}\mathrm{Cos}\left[w\right]& \mathrm{Sin}\left[w\right]& 0& 0\\ -\mathrm{Sin}\left[w\right]& \mathrm{Cos}\left[w\right]& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·$

x轴旋转矩阵 y轴旋转矩阵

$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \mathrm{Cos}\left[u\right]& \mathrm{Sin}\left[u\right]& 0\\ 0& -\mathrm{Sin}\left[u\right]& \mathrm{Cos}\left[u\right]& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}\mathrm{Cos}\left[v\right]& 0& \mathrm{Sin}\left[v\right]& 0\\ 0& 1& 0& 0\\ -\mathrm{Sin}\left[v\right]& 0& \mathrm{Cos}\left[v\right]& 0\\ 0& 0& 0& 1\end{array}\right]\·$

视点坐标变换矩阵 投影矩阵 正规逆矩阵

$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ 0& 0& t& 1\end{array}\right]\·\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1/s& 1/s\\ 0& 0& -1& 0\end{array}\right]\left[\begin{array}{cccc}{X}_s& 0& 0& 0\\ 0& -X_s& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]......\left(7\right)$

也可不采用上面所描述的计算，而通过预先在存储器中寄存多级不同的尺寸并将所寄存的数据用作查询表的方式，来进行尺寸的变化。

在采用上面描述的任何方法，准备了合适尺寸的面部模板之后，使用该模板搜索输入图像，且通过找到相关值的最大值所在位置，确定面部中的眼睛位置。之后，通过平移、旋转或放大/缩小方式置换图像，以便眼睛位置最准确地重叠在左右图像之间，且眼睛之间的中心位置靠近两个摄像头之间的中心点。此时，使用图像转换矩阵，如上面公式(7)所表示的，可适当地显示图像。

以下参照图18A和18B描述图像显示单元结构的另一示例。

图18A和18B表示采用圆锥形镜头的图像显示单元示例，其中图18A是图像显示单元的截面图，且图18B是镜头的透视图。在图像显示单元中，将发光器件74、75(如发光二极管)置于支持基底77上。将发光器件74大体上安置在由浇铸固定元件73构成的中空空间76的中心处，以便使发出的光束沿接近z方向出射。还将发光器件75安置在由浇铸固定元件73构成的中空空间76中，但将它基本安置在-y方向上偏离中空部分76的中心处，以便使发出的光束在朝y方向偏移的方向上出射。浇铸固定元件73是通过浇铸适当的合成树脂而获得的元件。它不仅用作固定圆锥形显微透镜71、72的元件，而且作为防护板，以将来自发光器件的光的方向限制到适当角度。

在图18A和18B所示的图像显示单元中，显微透镜71、72每个都是圆锥形状，且其排列使得通过中空空间76将它们的有较大直径底侧端安置在分别面对发光器件74、75处，且将它们的锥形端表面78、79安置在显示屏侧面上。尤其是，在显微透镜71、72中，轴向方向与光出射方向对齐。因此，通过将显微透镜71、72向光束要输出的各个方向倾斜，可将光出射角调整到所期望的值上，且将来自发光器件74、75的各个光束聚集并从末端表面78、79输出。

使用有这种结构的图像显示单元使得可采用塑料浇铸技术制造显微透镜71、72，浇铸固定元件73等。相应地，在大规模生产中，可降低采用图像显示单元的产品的制造成本。

下面将参照图19和20描述将发出的光束限制在10°之内的窄角度输出的可用性。

图19表示与原点处所包括的角度φ对应的球形区域S及其相关参数。尤其是，r表示假想球体的直径，且h表示φ角度上光束扩散时与假想球体相交区域的直径。同样，S表示用顶角φ的圆锥体所截得的球面积，且S_ratio表示该球面积S与整个球面积的比率。图20表示角φ与按图19左侧所示公式计算所得球面积比率S_ratio之间的关系曲线。尤其是，当角φ为10°(0.1745弧度)时，球面积比率S_ratio是一个非常小的值0.00190265。换言之，与光束均等地发射到半球上的情况相比，通过在10°的窄角范围内发射光束可将光量减少到1/263。这意味着控制光束的发射角度，不用增加光量就能获得好图像。同样也意味着当用相同的电能驱动发光器件时，可增加对比度，以及采用本实施例的便携通信终端，在交谈中可显示清晰的正视匹配面部图像。

图21是表示图像显示单元结构的另一示例的截面图。在图21中，将发光器件83、84(如发光二极管)放置在基底82上，且这些发光器件83、84排列成矩阵模式。将包括形成于其上的小衍射板85L、85R的透明基底81连接到基底82的表面两侧。小衍射板85L、85R具有根据衍射现象使从各个发光器件83、84分别发出的光束折弯的功能。将根据衍射现象折弯的光束发向用户。尤其是，小衍射板85L控制光出射角，以便用户的左眼可看到衍射的光束，且小衍射板85R控制光出射角，以便用户的右眼可看到衍射的光束。这种控制产生的结果是，将不同图像当作一幅合成图像来看的功能是在用户的大脑中进行的，因此用户看这些图像就象一幅正视匹配图像显示在屏幕上一样，如图2C所示，因此可实现自然的正视匹配状态下的交谈。

在前述内容中，已结合每一个使用空间混合模式的例子描述了使用包含根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式的图像显示单元的构造方法。然而，本发明不限于该方法，可通过按时分方式切换根据左眼信号的显示画面和根据右眼信号的显示画面，来准备根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式。

下面将参照图22A、22B、23A和23B，简要描述视线方向与正视匹配图像印象之间关系的检测结果。

图22A和22B表示用于检查视线方向与正视匹配印象之间关系的实验方案，其中图22A表示用左、右摄像头拍摄图像时的情况，而图22B表示假定将一个摄像头放置在假想的屏幕中心时的情况。图22A的例子包括一对放置在假想屏幕两侧的摄像头，并与该实施例的便携通信终端的结构相对应。将一对摄像头之间的距离设置为与双眼之间距离相同的值，即65mm。图23A和23B表示设置观察点即在每个假想屏幕上的垂直方向7点和水平方向7点、并检测这种情形下形成的图像印象所得到的结果。两个观察点之间的间距是12.5mm，其与2.56°的角度相对应。参与测试者从离假想屏幕280mm的位置处看着观察点。

从这些结果中可看到，图23A所示左右侧各用一个摄像头拍摄图像的情况与图23B所示将一个摄像头放置在假想屏幕中心的情况没有明显差别。换言之，用左右摄像头拍摄图像所提供的正视匹配效果与在假想屏幕中心放置一个摄像头所获得的效果具有可比性。此外，与在假想屏幕中心放置一个摄像头的情况相比，即使观察点在垂直方向上有偏移，用左右摄像头拍摄图像的情况有更强的可获得正视匹配印象的趋势。因此，采用本实施例的便携通信终端，实际上在交谈期间可实现满意的正视匹配。

对上述本实施例的便携通信终端而言，在图像显示单元的左右侧各放置一个摄像头，用户可在正视匹配状态下与交谈对象开始交谈，并继续交谈，且对谈话实际效果满意。同样，由于便携通信终端中的光利用效率提高，可减少电源消耗，且即使在户外明亮的环境下，也可看到高对比度的图像。此外，由于便携通信终端结构上将摄像设备放置在显示屏的左右两侧，因而总尺寸可减小，且该特性对应用于便携装置十分有用。

下面将描述前述便携通信终端的进一步改进示例。

本发明所描述的便携通信终端试图在图像显示单元的左右每侧分别放置一个摄像头，并基于摄像头拍摄的两幅图像，提供与交谈对象正视匹配的立体显示。然而，可优化与交谈对象正视匹配的立体显示，并根据摄像头拍摄的两幅图像，可通过视差插值产生看起来更舒适的图像。

更明确而言，当放置在图像显示单元左右侧的两个摄像头拍摄的图像之间有相对大的偏移时，视差将增加到通过融合也无法合成一幅双重图像(double image)的地步。即使可通过融合合成双重图像，显示结果较难看，并使用户感到疲劳。相比之下，如图24所示，这里描述的便携通信终端试图根据放置在图像显示单元左右侧的两个摄像头R_R、R_L拍摄的两幅图像A_R、A_L，产生具有较小的视差的新图像B_R、B_L，就象它们是通过所放置的比两个摄像头R_R、R_L之间的间距窄的两个假想摄像头V_R、V_L拍摄的一样。因此，将视差设置为合适的值，可得到更自然、看起来更舒适的图像。

尽管通常将视差定义为以聚散度角之差所表示的相对视差，如公式(6)所示，为了简单化，这里将它作为表示放置在图像显示单元左右两侧的两个摄像头拍摄的两幅图像中对应点之间发生偏移的像素数来处理。在便携通信终端中，可利用基于相关检测的图像识别方法来确定两幅图像中的对应点。更明确而言，在便携通信终端中，如图25所示，从放置在图像显示单元左侧的摄像头拍摄的图像L中提取包含诸如与背景相关的面部轮廓或眼睛或鼻子位置的预定区域中的一组像素，并设置为模板图像g。之后，从放置在图像显示单元右侧的摄像头拍摄的图像R中搜索与模板图像g对应的目标图像f，并确定表示两幅图像之间指示偏移的像素数。例如，在便携通信终端中，上面参照图3描述的充当图像处理部件的控制电路21从图像L中提取中心坐标值(i，j)水平2u×垂直2v区域，并将它设置为模板图像g。之后，控制电路21搜索具有中心坐标值(i+p，j+q)的水平2u×垂直2v区域(p，q在图像R中可变)，并找出使相关系数c_ijpq最大的区域，从而确定与模板图像g对应的目标图像f。此时，由于便携通信终端中要拾取的目标主要是面部图像，所以根据图像L中模板图像g的位置，可预先限制与模板图像g对应的目标图像f中的搜索范围，因此可有效执行图像处理。使用下面公式(8)表示的相关值计算公式，进行相关检测：

相关系数 $c_{\mathrm{ijpq}}=\frac{{\mathrm{cov}}_{\mathrm{ijpq}}(g,f)}{\sqrt{{\mathrm{var}}_{\mathrm{ij}}\left(g\right)}\×\sqrt{{\mathrm{var}}_{i+p,j+q}\left(f\right)}}$

协方差 ${\mathrm{cov}}_{\mathrm{ijpq}}(g,f)=\underset{m=i-u}{\overset{i+u}{\mathrm{\Σ}}}\underset{n=j-v}{\overset{j+v}{\mathrm{\Σ}}}(g_{m,n}-g^{\′})\left(f_{m+p,n+q}{-f}^{\′}\right)$

方差 ${\mathrm{var}}_{\mathrm{ij}}\left(g\right)=\underset{m=i-u}{\overset{i+u}{\mathrm{\Σ}}}\underset{n=j-v}{\overset{j+v}{\mathrm{\Σ}}}{(g_{m,n}-g^{\′})}^2$

方差 ${\mathrm{var}}_{i+p,j+q}\left(f\right)=\underset{m=i-u}{\overset{i+u}{\mathrm{\Σ}}}\underset{n=j-v}{\overset{j+v}{\mathrm{\Σ}}}{\left(f_{m+p,n+q}{-f}^{\′}\right)}^2......\left(8\right)$

在公式(8)中，g′表示模板图像的平均值，f′表示目标图像f的平均值。公式(8)所表示的相关系数c_ijpq达到最大值的坐标值(p，q)中的每个表示指示目标图像f相对于模板图像g的偏移的像素数，即它对应于视差。因此，在便携通信终端中，通过调整该偏移，可从图像R，L之一中产生有任意视差的图像。例如，当将图像L移动与表示视差的偏移的1/2相对应的像素数(p/2，q/2)而产生图像时，如图26所示，便携通信终端可提供从拍摄图像R，L的两个摄像头的中心拍摄的图像，即就象从物体前端看到的图像一样。

另外，在便携通信终端中，当要画的像素不出现在该像素已从其移动的原始位置时，空缺可用从诸如位于相关像素横向侧或横向及垂直侧的像素通过插值所获得的像素来填充，从而可避免空缺。另外，在便携通信终端中，当图像R和L之间的视差大到导致所谓的包藏，即一些像素只出现在一幅图像中、但不出现在另一图像中的隐藏部分时，通常找不到适当的对应点。可是，由于人类观察自然世界时也发生包藏，若包藏程度与自然情形下的包藏具有可比性，几乎没有不寻常的感觉。

在便携通信终端中，更适宜的做法是，在确定表示与模板图像g对应的目标图像f的偏移的像素数时，对整个图像范围执行处理，并根据所确定的指示偏移的像素数，将两幅图像R、L移动预定像素数，以产生两幅新图像。结果，便携通信终端可产生有更小视差的两幅新图像，就象它们是通过放置在比图像R和L之间的间距更窄位置处的两个假想摄像头拍摄到的一样。因此，通过在图像显示单元上显示那两幅新产生的图像，便携通信终端让用户看到与两个摄像头之间更短距离对应的有更小视差的两幅图像，并感觉就象显示处于正视匹配状态、且看起来更舒适的好质量立体图像。

尤其是，在便携通信终端中，通过将从两幅图像R和L确定的视差设置为以任何期望的比率缩小后的值，可减小用户的左右眼看到的图像之间的偏移，并可进行看起来更舒适状态下的立体显示。

也可用视差插值技术来增加视点数。通常，在便携通信终端中，只能从两个摄像头产生从两个视点看到的图像。可是，根据那两幅图像，用插值产生其他两幅图像就可获得从4个视点看到的图像，因此视差减少到诸如原来的1/2。另外，通过作类似的插值将视差减少到预定值，便携通信终端可产生从大量视点看到的图像。之后，根据用网状镜头如此产生的多个图像进行适当立体显示，能减少由于视点位置改变而导致的图像突然变化的所谓“抖闪(flipping)”现象，从而实现更好的立体显示。

此外，搜索与模板图像g对应的目标图像f、并确定两幅图像中对应点的方法，也可以采用相关检测之外的其他合适方法。例如，在两个摄像头拍摄的两幅图像亮度值若不受两个摄像头的各自光圈等影响就难以改变情形下，可使用利用两幅图像亮度值之间的差值的所谓的差分和方法。也可使用所谓的差分平方和方法(SSD)。可是，不用说，在两个摄像头拍摄的两幅图像亮度值相互不同的情形下，使用上述基于相关检测的方法可获得最大精确结果，因为这两幅图像被正规化。

此外，在传输端或接收端都可使用根据放置在图像显示单元左右两侧的摄像头拍摄的两幅图像执行视差插值过程的便携通信终端。

如上所述，对本实施例的便携通信终端而言，根据放置在图像显示单元左右两侧的摄像头拍摄的两幅图像，通过视差插值，可优化与交谈对象正视匹配的立体显示，并获得更自然、看起来更舒适的图像。相应地，有可能避免现实中由于视差太大而不能通过融合来合成双重图像的情形，以及通过融合合成的图像难看到使用户感觉到疲劳的情形。因此，可提供极好的使用便利性。

基于放置在图像显示单元左右两侧的摄像头拍摄的两幅图像的视差插值技术不仅应用在便携通信终端中，而且也应用到其他显示图像的图像处理装置中。

工业应用

根据本发明，如上面充分描述的，便携通信终端用户可在与交谈对象正视匹配的状态下开始交谈，并对现实状况感到满意而继续交谈下去。同样，由于光利用效率提高，可减少电源消耗，且即使在户外明亮的环境下，也可看到高对比度的图像。此外，由于结构上将摄像设备放置在显示屏的左右两侧，因而总尺寸可减小，且该特性对应用于便携图像处理装置十分有用。

再者，根据本发明，通过根据图像获取部件所拍摄的两幅图像，采用视差插值产生新图像，可优化与交谈对象正视匹配的立体显示，并获得更自然、看起来更舒适的图像。因此，能避免现实中由于视差太大而不能通过融合来合成双重图像的情形，以及通过融合合成的图像难看到使用户感觉到疲劳的情形。因此，可提供极好的使用便利性。

Claims (44)

1.一种便携的、用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

图像显示部件，用于依照图像信号显示所期望的图像；以及

图像获取部件，分别置于所述图像显示部件的左右侧。

2.根据权利要求1中的图像处理装置，还包括图像处理部件，用于根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

3.根据权利要求2中的图像处理装置，其中：

所述图像处理部件设置从所述图像获取部件拍摄的两幅图像中所确定的视差为以任何期望的比率减小后的值。

4.根据权利要求2中的图像处理装置，其中：

所述图像处理部件确定所述图像获取部件拍摄的两幅图像中的对应点，并根据表示所确定的对应点之间的偏移的像素数，将所述图像获取部件拍摄的两幅图像移动预定数量的像素，从而产生两幅新图像。

5.根据权利要求4中的图像处理装置，其中：

所述图像处理部件通过检测所述图像获取部件拍摄的两幅图像之间的相关程度，确定对应点。

6.根据权利要求1中的图像处理装置，其中：

将所述图像获取部件置于水平方向上除大体上为矩形形状的所述图像显示部件左右侧端以外的区域，以及远离所述图像显示部件左右侧端的上下端一预定距离内的区域。

7.根据权利要求1中的图像处理装置，其中：

所述图像获取部件由固态图像拾取器件构成。

8.一种便携的、用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

便携机壳；

图像显示部件，安装在所述机壳的表面中，并依据图像信号显示所期望图像；以及

置于所述机壳表面上的图像获取部件，分别在所述图像显示部件的左右侧。

9.根据权利要求8中的图像处理装置，还包括图像处理部件，用于根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

10.根据权利要求9中的图像处理装置，其中：

所述图像处理部件设置从所述图像获取部件拍摄的两幅图像中所确定的视差为以任何期望的比率减小后的值。

11.根据权利要求9中的图像处理装置，其中：

所述图像处理部件确定所述图像获取部件拍摄的两幅图像中的对应点，并根据表示所确定的对应点之间的偏移的像素数，将所述图像获取部件拍摄的两幅图像移动预定数量的像素，从而产生两幅新图像。

12.根据权利要求11中的图像处理装置，其中：

所述图像处理部件通过检测所述图像获取部件拍摄的两幅图像之间的相关程度，确定对应点。

13.根据权利要求8中的图像处理装置，其中：

所述机壳的尺寸允许用户单手拿住所述机壳，

所述图像显示部件的显示屏的水平宽度在大约10mm到大约100mm的范围内，以及

将位于左右侧的所述图像获取部件之间的距离设置为比所述显示屏水平宽度大的值。

14.根据权利要求13中的图像处理装置，其中：

将所述图像获取部件置于水平方向上除大体上为矩形形状的所述图像显示部件的左右侧端以外的位置，和/或远离所述图像显示部件左右侧端的上下端一预定距离内的位置。

15.根据权利要求14中的图像处理装置，其中：

远离上下端一预定距离内的位置包含半径大约20mm范围内的位置。

16.一种便携的、用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

图像显示单元，其包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式；以及

图像获取部件，分别置于所述图像显示部件的左右侧。

17.根据权利要求16中的图像处理装置，还包括图像处理部件，用于根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

18.根据权利要求17中的图像处理装置，其中：

所述图像处理部件设置从所述图像获取部件拍摄的两幅图像中所确定的视差为以任何期望的比率减小后的值。

19.根据权利要求17中的图像处理装置，其中：

所述图像处理部件确定所述图像获取部件拍摄的两幅图像中的对应点，并根据表示所确定的对应点之间的偏移的像素数，将所述图像获取部件拍摄的两幅图像移动预定数量的像素，从而产生两幅新图像。

20.根据权利要求19中的图像处理装置，其中：

所述图像处理部件通过检测所述图像获取部件拍摄的两幅图像之间的相关程度，确定对应点。

21.根据权利要求16中的图像处理装置，其中：

所述图像显示部件包括输出装置，用于将光以相互独立的形式输出到用户的双眼。

22.根据权利要求21中的图像处理装置，其中所述输出装置包括：

发光装置，依照左眼信号或右眼信号发射所期望的光；以及

出射角控制装置，控制来自所述发光装置的光在预定角度方向上出射。

23.根据权利要求22中的图像处理装置，其中：

所述发光装置包括排列成阵列的多个发光器件，以及

所述出射角控制装置包括对每个所述发光器件形成的开口，且朝向用户双眼之一。

24.根据权利要求22中的图像处理装置，其中：

所述出射角控制装置是显微透镜阵列，包括以矩阵模式排列的多个小透镜，以及

将所述发光器件排列在与对应的小透镜位置在所述显微透镜阵列所处平面方向上相对偏移的位置，以便光以相互独立地输出到用户双眼。

25.根据权利要求24中的图像处理装置，其中：

所述小透镜与所述发光器件的尺寸比率在30∶1到5∶1的范围之内。

26.根据权利要求24中的图像处理装置，其中：

所述小透镜形状是球形、圆锥形、金字塔形或矩形。

27.根据权利要求22中的图像处理装置，其中：

所述发光装置包括排列成阵列的多个发光器件，以及

所述出射角控制装置包括以矩阵模式排列的小衍射板，且每个输出的衍射光朝向用户双眼之一。

28.根据权利要求22中的图像处理装置，其中：

所述出射角控制装置提供每个发光装置的出射角的处于与水平方向上一只眼相同侧的所述图像显示部件的一端与相反侧另一端之间的线性插值。

29.根据权利要求16中的图像处理装置，其中：

在所述图像显示部件中，可通过按时分方式切换根据左眼信号的显示画面和根据右眼信号的显示画面，获得根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式。

30.一种信息处理系统，包括：

多个便携信息处理终端，用于进行交谈同时显示图像，每个所述信息处理终端包括：图像显示部件，能显示包含交谈对象面部的图像；以及图像获取部件，分别放置在所述图像显示部件的左右侧，

所述信息处理终端能进行它们之间的通信。

31.根据权利要求30中的信息处理系统，其中：

以与用户正视匹配形式，将交谈对象面部显示在所述图像显示部件的显示屏上。

32.根据权利要求30中的信息处理系统，其中：

所述信息处理终端包括图像处理部件，用于保持显示屏上的眼睛位置大体固定在显示屏上。

33.根据权利要求31中的信息处理系统，其中：

每个所述信息处理终端还包括图像处理部件，用于根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，以及

将所述图像处理部件产生的两幅新图像显示在属于交谈对象的所述信息处理终端中的所述图像显示部件的显示屏上。

34.一种交谈对象显示方法，包括：

图像捕获步骤，用分别置于便携终端中所述图像显示部件左右侧的一对图像获取部件捕获用户图像；以及

显示步骤，以用户和交谈对象间正视匹配方式，在属于交谈对象的终端的图像显示部件上显示所捕获图像。

35.根据权利要求34中的交谈对象显示方法，还包括图像处理步骤，根据所述图像捕获步骤中捕获的两幅图像，采用视差插值产生新图像，

其中将所述图像处理步骤中产生的两幅新图像显示在属于交谈对象的终端中的所述图像显示部件的显示屏上。

36.根据权利要求34中的交谈对象显示方法，其中：

所述图像显示部件包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式。

37.根据权利要求34中的交谈对象显示方法，其中：

所述图像显示部件包括输出装置，将光相互独立地输出到用户的双眼。

38.根据权利要求37中的交谈对象显示方法，其中所述输出装置包括：

发光装置，依照左眼信号或右眼信号发射所期望的光；以及

出射角控制装置，控制来自所述发光装置的光在预定角度方向上出射。

39.根据权利要求34中的交谈对象显示方法，所述终端包括：

便携机壳；

图像显示部件，安装在所述机壳的表面中，并依据图像信号显示所期望图像；以及

置于所述机壳表面上的图像获取部件，分别在所述图像显示部件的左右侧。

40.一种用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

图像显示部件，用于依照图像信号显示所期望的图像；

图像获取部件，分别置于所述图像显示部件的左右侧；以及

图像处理部件，根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

41.一种用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

机壳；

图像显示部件，安装在所述机壳的表面中，并依据图像信号显示所期望图像；

置于所述机壳表面上的图像获取部件，分别在所述图像显示部件的左右侧；以及

图像处理部件，根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

42.一种用于进行交谈同时显示图像的图像处理装置，所述图像处理装置包括：

图像显示部件，其包括根据左眼信号进行显示的多个像素以及根据右眼信号进行显示的多个像素的混合模式；

图像获取部件，分别置于所述图像显示部件的左右侧；以及

图像处理部件，根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，

其中将所述图像处理部件产生的两幅新图像显示在所述图像显示部件的显示屏上。

43.一种信息处理系统，包括：

多个便携信息处理终端，用于进行交谈同时显示图像，每个所述信息处理终端包括：图像显示部件，能显示包含交谈对象面部的图像；以及图像获取部件，分别放置在所述图像显示部件的左右侧，

其中每个所述信息处理终端还包括图像处理部件，用于根据所述图像获取部件拍摄的两幅图像，采用视差插值产生新图像，以及

当在所述信息处理终端之间执行通信时，将所述图像处理部件产生的两幅新图像显示在属于交谈对象的所述信息处理终端中的所述图像显示部件的显示屏上。

44.一种交谈对象显示方法，包括：

图像捕获步骤，用分别置于终端中的图像显示部件左右侧的一对图像获取部件捕获用户图像；

图像处理步骤，根据所述图像捕获步骤中捕获的两幅图像，采用视差插值产生新图像；以及

显示步骤，在属于交谈对象的终端的图像显示部件上显示所述图像处理步骤中产生的两幅新图像，以保持用户和交谈对象间正视匹配显示。

Images