CN104169795B - 图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置以及图像显示方法 - Google Patents

Abstract

一种图像显示装置，具备：分光器，对从被摄体侧取入的入射光进行分割；摄像元件，将基于所分割的一方的入射光的第一光学像转换为电信号，并作为拍摄图像输出；合成图像生成部，生成与拍摄图像中的主要被摄体图像对位的电子信息图像；显示面板，显示电子信息图像；以及光学棱镜，使从显示面板投射的电子信息图像的光学像重叠在基于所分割的另一方的入射光的第二光学像上而出射。

Description

图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置以及图像显示方法

技术领域

本发明涉及图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置以及图像显示方法。

背景技术

例如，在去登山并用双筒望远镜观察八岳连峰时，新手难以分辨哪个山是赤岳、其旁边所能够看到的山是什么山。此时，当按照每个双筒望远镜内能够看到的山的光学像来合成山的名字而显示时，会成为使用的方便性优良的双筒望远镜。

或者，在都市的空地上建设大厦的情况下，在建筑设计师通过所持有的数码摄像机的取景器装置对空地周围的大厦群进行观察时，如果能够观察到所设计的大厦的CG图像与周围的大厦群的光学像一同树立在空地上的状态，则能够预先确认建成后的景观，因此较方便。

此外，在想前往目的地的人迷路了的情况下，如果能够实现只要通过数码摄像机的取景器观察其方向，则大厦群中隐藏的目的地的位置、周围的大厦的名字就显示在取景器内这种情况，则数码摄像机的利用价值提高。

已经存在如下技术：在使数码摄像机的透镜朝向某个方向，并使其拍摄图像(直播图像)显示于摄像机背面的LCD显示装置时，在拍摄图像中，重叠显示出地标的信息、其地名、大厦名称等(例如，专利文献1)。

如果主要目的是要获知地标信息、大厦名称等，则如以往那样，使设置在摄像机背面等的LCD显示装置显示被摄体的直播图像，并对其重叠显示大厦名称等即可。但是，如果主要目的是观察被摄体，则想直接通过双筒望远镜、光学取景器装置的观察窗来观察被摄体的鲜明的光学像这种期望较迫切。

在下述专利文献2中提出的装置为：在通过双筒望远镜、放大镜等观察被摄体时，在从观察窗观察到的视野中，还一并合成显示图鉴信息等电子信息。

如果能够用眼直接观察被摄体的光学像，并在其视野中通过电子信息合成显示地标的名称等，则能够在观察到鲜明的光学像的同时，还能够一同得知需要的电子信息。但是，在专利文献2中并未记载实现该情况的装置具体地如何构成。

将电子信息与光学像重叠显示的技术，例如只要将下述专利文献3所记载的以往技术进行应用即可。在该专利文献3记载的数码摄像机中构成为，在通过光学取景器而进入用户的眼中的被摄体的光学像上，重叠投射设置在取景器内的投射型显示装置的显示图像。因此，只要将所需要的电子信息显示在透过型显示装置上，用户就能够用眼观察到光学像与电子信息重叠了的图像。

显示被摄体的光学像、以及在该光学像附近的大致对应的位置上显示名称等相关信息是较容易的。但是，例如，在通过双筒望远镜观察泽山的各个山相连的连峰时，当各个山的名称被重叠显示在每个都稍微错开的位置上时，会向用户提供错误的信息。因此，需要在被摄体的光学像上在高精度匹配的位置上显示电子信息。

例如，在专利文献4、5中公开有将光学取景器与电子观察取景器组合的取景器装置。该取景器装置的电子观察取景器所显示的被摄体的拍摄图像，不是向光学取景器入射来的来自被摄体的光学像。而是通过设置在与取景器装置稍微离开的位置的摄影透镜聚光、并通过摄像元件拍摄的光学像。

即，在通过了光学取景器的光学像与电子观察取景器所显示的拍摄图像之间产生视差。如果是单焦点透镜的摄像机，则该视差始终存在一定的关系，因此容易被修正。但是，在摄影透镜为变焦透镜的情况下，根据倍率变动而视差变化，难以进行光学像与拍摄图像之间的高精度的对位。

现有技术文献

专利文献

专利文献1：日本特开2006-59136号公报

专利文献2：日本特开2011-253512号公报

专利文献3：日本特开2010-107529号公报

专利文献4：日本特开2009-200552号公报

专利文献5：日本特开平3-292067号公报

发明内容

发明要解决的课题

本发明的目的在于，提供能够在被摄体的光学像上高精度对位地重叠显示电子信息的图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置、以及图像显示方法。

用于解决课题的手段

本发明的图像显示装置的特征在于，具备：分光器，对从被摄体侧取入的入射光进行分割；摄像元件，将基于由该分光器分割后的一方的入射光的第一光学像转换为电信号，并作为拍摄图像输出；合成图像生成部，生成与上述拍摄图像中的主要被摄体图像对位的电子信息图像；显示面板，显示该电子信息图像；以及光学棱镜，使从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上而出射。

本发明的摄影装置的特征在于，将上述的图像显示装置作为取景器装置搭载。

本发明的图像显示方法的特征在于，通过分光器来分割从被摄体侧取入的入射光，通过摄像元件将基于由上述分光器分割后的一方的入射光的第一光学像转换为电信号、并作为拍摄图像输出，通过合成图像生成部生成与该拍摄图像中的主要被摄体图像对位的电子信息图像，将上述电子信息图像显示在显示面板上，通过光学棱镜将从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上而出射。

发明的效果

根据本发明，在图像显示装置内设置摄像元件，通过摄像元件拍摄与用户用眼观察的被摄体光学像相同的图像，因此基于该拍摄图像、即能够将高精度对位的电子信息图像重叠显示在被摄体光学像上。

附图说明

图1是作为本发明的第一实施方式的图像显示装置的搭载了取景器装置的数码摄像机的外观立体图。

图2是图1的数码摄像机的功能框图。

图3是图2所示的取景器装置的图像合成方法的说明图。

图4是表示通过取景器装置观察到的光学像的一个例子的图。

图5是表示对图4的光学像进行了拍摄时的过渡曝光部分的图。

图6是本发明的第二实施方式的数码摄像机的功能框图。

图7是表示图6的合成图像生成部生成的合成图像的一个例子的图。

图8是本发明的第三实施方式的数码摄像机的功能框图。

图9是表示图8的CPU执行的控制顺序的流程图。

图10是从本发明的第三实施方式的数码摄像机的取景器装置的视野内寻找检索对象目标的说明图。

图11是从本发明的第三实施方式的取景器装置的视野内寻找检索对象目标的说明图。

图12是表示本发明的第三实施方式的取景器装置内的摄像元件的拍摄图像的一个例子的图。

图13是从图12所示的拍摄图像中裁切与检索对象目标相应的图像区域的图。

图14是表示在通过本发明的第三实施方式的数码摄像机的取景器装置观察到的光学像上合成了图13的图像之后的图像的图。

图15是本发明的第四实施方式的数码摄像机的功能框图。

图16是通过本发明的第四实施方式实现的合成图像的说明图。

图17是表示图15的CPU执行的控制顺序的流程图。

图18是表示图17的流程图中的内容配置条件决定处理的详细顺序的流程图。

图19是图17的流程图中的内容隐蔽区域计算处理的说明图。

图20是本发明的第五实施方式的数码摄像机(智能手机)的外观立体图。

图21是图20的智能手机的功能框图。

具体实施方式

以下，参照附图对本发明的一个实施方式进行说明。此外，在实施方式中，以数码摄像机所搭载的取景器装置(图像显示装置)为例进行说明，但作为本发明的图像显示装置不限定于此，只要是内置了摄像元件的双筒望远镜、单筒望远镜、直视望远镜(fieldscope)、头戴显示器等能够通过光学像和拍摄图像的双方来观察被摄体的图像显示装置，则都能够应用。

图1是本发明的第一实施方式的数码摄像机10的外观立体图。数码摄像机10为，在摄像机框体11的前部，能够伸缩地安装有收纳摄影透镜12的透镜镜筒13。在面向摄像机框体11前表面的情况下，在上面左肩部设置有快门释放按钮14，在摄像机框体11的背部设置有图示省略的液晶显示部。

在摄像机框体11的前面上部设置有闪光的发光部15，在面向摄像机框体11前面的情况下，在右肩部的内部设置有取景器装置16。取景器装置16设置在被摄体侧的开口窗17与摄影者侧(用户侧)的观察窗18之间。

图2是图1所示的数码摄像机10的功能模块构成图。对被摄体的静止图像、动态图像进行摄影的摄像系统21具备图1所示的摄影透镜12、以及设置在其背部的CMOS图像传感器等摄像元件22。

数码摄像机10具备对摄像机整体进行总体控制的CPU24、存储器25、合成图像生成部26以及图像解析部27，这些通过总线30相互连接。摄像元件22的拍摄图像信号A向总线30输出。

与通常的数码摄像机同样，在数码摄像机10的总线30上具备：对拍摄图像信号进行偏置处理、伽马修正处理、RGB/YC转换处理等的图像信号处理部；将图像处理后的拍摄图像信号转换为JPEG形式的图像数据的图像压缩部；将JPEG图像数据记录到存储卡等的卡接口；以及在摄像机背部的液晶显示部显示拍摄图像、直播图像的显示控制部等，但省略这些的图示。

本实施方式的取景器装置16具备：设置在图1所示的被摄体侧开口窗17的背部的物镜31；设置在物镜31的背部的半透半反镜等分光器32；设置在分光器32的背部的光学棱镜33；以及设置在光学棱镜33的背部、与图1所示的用户侧观察窗18相面对的目镜34。成为使物镜31为变焦透镜，并使其与摄影透镜12的变焦倍率连动而驱动的构成即可。

分光器32相对于物镜31以及目镜34的共用光轴倾斜45度地配置，将通过物镜31进来的入射光分割为两部分。一部分的分割光沿着光轴直进，另一部分被反射45度。

在该被反射45度的入射光的前方设置有取景器装置16的聚光透镜35，在聚光透镜35的背部设置有CMOS图像传感器等摄像元件36。摄像元件36的拍摄图像信号B1向总线30输出。

在分光器32中直进后的分割光所入射的光学棱镜33，具备入射面33a和出射面33b。入射面33a相对于光轴垂直地设置，出射面33b相对于光轴倾斜45度地设置。然后，在面向出射面33b的位置、且相对于光轴正交的位置，设置有取景器装置16的显示面板37、以及将显示面板37的显示图像光向出射面33b聚光的透镜38。

经由与总线30连接的图示省略的显示控制部，向显示面板37供给基于摄像元件36的拍摄图像信号B1而生成的电子信息B2。

图3是取景器装置16的功能说明图。通过对图2的聚光透镜35的光轴方向位置进行调整，由此将来自被摄体的入射光的焦距与摄像元件36的焦距配合为相同。来自被摄体的入射光由分光器32分割为两部分，直进的分割光在光学棱镜33、目镜34中直进而向用户的眼睛入射。由此，用户能够观察到图3的被摄体光学像51。

另一方面，由分光器32向45度方向反射的分割光，在摄像元件36的受光面上成像。图3表示该成像的被摄体光学像52。被摄体光学像51、52各自的画面内的位置高精度地一致。摄像元件36的拍摄图像信号B1是被摄体光学像52的拍摄图像信号，基于图像处理之后的拍摄图像，由图2的合成图像生成部26生成例如将被摄体的脸包围的框53，作为电子信息。

当使该框53的图像作为电子信息B2在显示面板37上显示时，框53的图像与在取景器装置16内直进后的被摄体光学像51高精度地对位，并向用户的眼睛入射。此时，当与框53的图像一同，将由摄像元件36拍摄的脸图像即被摄体光学像52例如用绿色显示时，会观察到被摄体光学像51的脸成为绿色。当将被摄体光学像52的脸图像显示为全黑时，即、使显示面板37的被摄体光学像52的脸图像部分成为无显示时，仅被摄体光学像51被框53包围而向用户的眼睛入射。

图4是表示通过取景器装置16观察到的被摄体的一个例子的图。是小提琴的光学像。图5是在通过摄像元件36拍摄了与图4的光学像相同的光学像时，仅图示了由图2的图像解析部27进行解析而求出的过渡曝光部分54的图。使该图5的过渡曝光部分54例如成为闪烁了红、白的电子信息的图像，使其他区域成为遮蔽图像(黑色显示)，这由合成图像生成部26进行生成。当将此作为电子信息B2而在显示面板37上显示时，图4的光学像中的产生过渡曝光的区域成为红、白闪烁的图像，并向用户的眼睛输入。

在图5说明的过渡曝光部分54是取景器装置16内的摄像元件36拍摄的图像中的过渡曝光部分。即，与在实际中对被摄体进行正式摄影的摄像元件22的拍摄图像中的过渡曝光部分不同。但是，由于预先已知摄像元件36与摄像元件22之间的灵敏度差、电荷饱和量之差等，因此只要求出与该差相对应的过渡曝光部分的图像，就能够高精度地得知摄像元件22的过渡曝光。

或者，也可以将进行正式摄影的摄像元件22的过渡曝光部分与在取景器装置16中直进而向用户的眼睛入射的光学像合成。通过图像解析部27求出摄像元件22的直播图像中的过渡曝光部分，并由合成图像生成部26生成表示该过渡曝光部分的图像。

当将该合成图像直接在显示面板37上显示时，在与在取景器装置16中直进来的光学像之间产生视差量的偏差。因此，进行摄像元件22的拍摄图像与摄像元件36的拍摄图像之间的匹配处理，而由图像解析部27解析产生了哪种程度的错位，并将在显示面板37上显示的合成图像的显示位置错开错位量而进行显示。由此，能够将与在取景器装置16中直进来的光学像高精度地对位的电子信息作为合成图像进行显示。

上述实施方式是将过渡曝光部分的图像与光学像合成的例子，但也可以将曝光不足(blockedupshadows)区域、颜色饱和(RGB中的至少1种颜色成为最大值的状态)区域与光学像合成。

根据以上所述的实施方式，在显示面板37上显示的图像、与在取景器装置16中直进而向用户的眼睛入射的光学像之间的几何学上的错位消失，因此即使进行过渡曝光、曝光不足等称为警告的像素单位的GUI显示，也能够进行没有不协调感的显示。

此外，在图2的构成中，如果在光学棱镜33的前级设置有液晶快门，则通过关闭液晶快门而将摄像元件22的直播图像在显示面板37上显示，由此能够将取景器装置16用作为电子观察取景器装置。

图6是本发明的第二实施方式的数码摄像机的功能模块构成图。与图2的实施方式不同点为，作为设置于取景器装置16的摄像元件41，使用在拍摄区域的整面设置了相位差检测像素的元件。此外，在总线30上连接相位差信息解析部28。

相位差检测像素例如是指，将相邻接的2个像素中的一方的遮光膜开口与另一方的遮光膜开口相互向相反方向偏心地设置的像素。由此，一方的像素对用右眼(或者左眼)观察被摄体的入射光进行受光，另一方的像素对用左眼(或者右眼)观察被摄体的入射光进行受光，能够检测到被摄体为止的距离。这种相位差检测像素例如通过日本特开2011-232371号公报、日本特开2011-227388号公报等而已知，在数码摄像机的领域中，较普遍的是用于相位差AF方式。

本实施方式的摄像元件41为，在摄像元件受光面的整面上离散地设置有相位差检测像素对，因此能够个别地计算出到画面内所拍摄的各个被摄体为止的距离。通过图6的相位差信息解析部28来检测到被摄体为止的距离、图像模糊(日文原文：画像ボケ)。

图7是表示图6的合成图像生成部26生成的图像例的图。在图示的例中，摄像元件41为，作为1个画面内的主要被摄体，对4个大厦1、2、3、4和3个住宅5、6、7的图像进行拍摄。相位差信息解析部28对到这4个大厦1～4以及3个住宅5～7为止的距离进行计算，合成图像生成部26求出将大厦1～4以及住宅5～7各自的图像从背景图像中裁切而得到的图像。

然后，合成图像生成部26对大厦1～4、住宅5～7的图像，生成与离取景器装置16的距离相对应的带颜色图像来作为电子信息。例如，使最近的住宅7、大厦3成为白色图像，使次近的大厦1和住宅6成为稍微粉色图像，……，使最远的大厦4成为红色图像，使背景图像成为全黑，而在显示面板37上进行显示。显示面板37所显示的大厦、住宅的图像、与通过取景器装置16而向用户的眼睛入射的住宅、大厦的光学像，高精度地匹配。由此，用户在观察取景器装置16而看见光学像时，能够根据主要被摄体的显示色来直觉地识别到主要被摄体为止的距离。

此外，根据相位差信息，能够得知产生图像模糊的区域。因此，还能够将表示在摄像元件36、41(或者设置有相位差检测像素的摄像元件22)的拍摄图像中产生的图像模糊的区域的电子信息与透过取景器装置16的光学像一起进行合成。

图8是本发明的第三实施方式的数码摄像机的功能框图。与图6的实施方式的不同点为，附加了如下的功能。在总线30上连接有目标检索部43、被摄体检测部44、目标数据库(DB)45以及第二总线46，在第二总线46上连接有位置信息取得部47、方位信息取得部48以及姿势信息取得部49。

目标数据库45也可以设置于摄像机内，但在利用庞大的目标数据的情况下，也可以利用与互联网等网络连接的数据库。

位置信息取得部47例如是GPS(GlobalPositioningSystem：全球定位系统)，方位信息取得部48是检测方位的电子罗盘，姿势信息取得部49例如通过G传感器(重力方向的检测传感器)等对摄像机的姿势即取景器装置16的姿势进行检测。目标数据库45存储有各种目标。作为目标的例子，例如能够列举公共施设、其他施设、建筑物、地形、河川、湖沼、海、铁路、道路、地名、以及表示私人用户的朋友居所等的地理信息的目标、或者表示朋友等所持有的各种信息设备(例如在后述的图20、图21中说明的智能手机)的当前位置的信息的目标等。

图9是表示图8的CPU24执行的控制顺序的流程图。首先，在步骤S1中，用户指定检索对象目标。例如，用户在想要找到目的地的霞关大厦(例如图7的大厦4)的情况下，将霞关大厦4作为检索对象目标，通过摄像机背面的液晶显示部的菜单画面进行指定。

接下来，CPU24取得来自各种信息的取得部47、48、49的位置信息、方位信息、姿势信息，在接下来的步骤S3中，图8的目标检索部43从目标数据库45中检索满足检索条件的目标。例如，按照“以当前所在地为中心而在半径Xkm以内、且以取景器装置16的光轴所指的方位为中心而存在于中心角Y度的扇形区域内”这种检索条件进行检索。

在接下来的步骤S4中，判断在对取景器装置16进行观察的视野范围内存在的目标、且是在步骤S3中检索到的目标中，是否存在检索对象目标。在不存在检索对象目标的情况下，使该处理结束。图10表示满足检索条件的扇形的视野范围61。

在视野范围61内存在检索对象目标的情况下，前进到接下来的步骤S5，取得取景器装置内的摄像元件41中的相位差检测像素所摄影的相位差信息。接下来，在步骤S6中，图8的相位差信息解析部28根据相位差信息来计算距离信息，被摄体检测部44将对处于相同距离的被摄体进行拍摄的像素组的拍摄图像提取为被摄体候补。

在接下来的步骤S7中，将被摄体候补与检索对象目标进行对照。图11是表示通过在扇形的视野范围61内对数据库进行检索而求出的目标、用户指定的检索对象目标(在该例中为大厦4)、以及摄像元件41的拍摄图像之间的关系的图。在该步骤S7的对照中，将满足“被摄体与图像显示装置(取景器装置16)之间的相对方位角是离检索对象目标最近的”这种条件的被摄体候补，决定为是检索对象目标。

在接下来的步骤S8中，合成图像生成部26将所检测的被摄体的区域置换为强调色的图像(电子信息)，将其他区域用黑色遮蔽。即，图12是由摄像元件41拍摄的主要被摄体的图像，显示有大厦1～4和住宅5～7。从该图像中仅裁切被决定为检索对象目标的被摄体候补的图像(大厦4的图像)。图13表示裁切的图像。在图13中，仅将大厦4中能够看到的部分的图像裁切，例如生成为红色图像。然后，其他区域进行黑色显示。黑色显示是指在将其显示在显示面板37上时、没有任何发光色的状态。

在接下来的步骤S9中，将图13的图像作为与被摄体的光学像一起合成的电子信息，而在显示面板37上进行显示。由此，图14所示的图像向用户的眼睛入射。图14的图像成为在透过取景器装置16而向用户的眼睛入射的光学像上合成了图13的图像后的图像。图13的黑区域没有任何来自显示面板37的光，因此仅有透过了取景器装置16的鲜明的光学像入射到用户的眼中。与此相对，对于大厦4，在透过了取景器装置16的大厦4的光学像上重叠了在图13中说明了的红色的大厦4的图像而向用户的眼睛入射。由此，用户在观察取景器装置16时，会看到仅大厦4成为红色强调色的光学像。

此外，在第三实施方式中，用强调色对与检索对象目标相对应的被摄体图像进行着色。但是，与检索对象目标相对应的被摄体，有时也被其他被摄体的阴影隐藏而看不到。在检测到检索对象目标被存在于进深方向的近前侧的被摄体的影子隐藏的情况下，合成显示表示检索对象目标存在的电子信息即可。例如，通过将红色的圆框与其近前侧的被摄体图像重叠而进行闪烁显示，由此能够使用户识别检索对象目标的存在。

此外，在第三实施方式中，用强调色对与检索对象目标相对应的被摄体图像进行着色，但还能够将检索对象目标的名称也一同显示在显示面板37上。

或者，也可以仅将名称与摄像元件41的拍摄图像重叠而进行显示。透过了取景器装置16的光学像、与对该光学像进行了分割的分割光的拍摄图像的位置高精度地一致，因此例如在被摄体为泽山的各个山相连的连峰的情况下，能够将构成该连峰的各个山的名称无位置偏移地与光学像合成而进行显示。

图15是本发明的第四实施方式的数码摄像机的功能模块构成图。与图8的实施方式相比，代替图8的目标检索部43，而设置有内容配置条件决定部63和内容隐蔽区域运算部64。并且，代替目标数据库45，而设置有内容数据库65。

在第四实施方式中，例如图16所示那样，进行在观察取景器装置16而能够看到的大厦1、2、3的光学像之间的空地上，合成内容的图像(虚拟物CG图像)而显示给用户的图像合成。

图17是表示图15的CPU24进行的控制顺序的流程图。首先，在步骤S11中，决定内容(虚拟物)8的配置条件。图18表示对在该步骤S11中进行的内容配置条件决定处理顺序的详细情况进行表示的流程图。

在图18中，首先，在步骤S21中，从图15的各种信息取得部47、48、49接收当前所在地的位置信息、方位信息、取景器姿势信息的数据。

在接下来的步骤S22中，通过图15的内容配置条件决定部63，从内容数据库65中检索满足条件的内容。该条件例如为“能够收纳于以当前所在地为中心而在半径Xkm以内、且以取景器光轴所指的方向为中心而存在于中心角度Y度的扇形区域内的空白空间中”。在内容数据库65所储存的各内容中，分配有基于世界坐标的大小等，并根据由取景器装置16的GPS信号、方位信号、姿势信号决定的条件来进行检索。

在接下来的步骤S23中，判断对内容数据库65进行检索的结果中，符合条件的内容是否存在至少一个。在一个也不存在的情况下，返回步骤S21。在存在至少一个内容的情况下，从步骤S23向步骤S24前进，根据所检索到的内容计算该内容与当前所在地之间的距离A，并且将该内容的实际尺寸B从内容数据库65中读出而进行参照。然后，进入图17的步骤S12。

在步骤S12中，通过带有相位差检测像素的摄像元件41对通过取景器装置16观察到的区域进行摄影，取得相位差信息。在接下来的步骤S13中，图15的被摄体检测部44基于相位差信息，与图9的步骤6同样地提取拍摄图像中的大厦1、2、3。

在接下来的步骤S14中，根据被摄体群(上述例子中为大厦1、2、3)和内容的配置条件，计算内容的隐蔽区域。所谓隐蔽区域是指，在拍摄图像的进深方向上，后侧的内容中的被近前的被摄体隐藏的区域。

图19是对内容的隐蔽区域进行计算的说明图。将被摄体群的大厦1、2、3的拍摄图像配置在虚拟的三维空间上，并且将成为描绘对象的内容配置在该三维空间上。然后，以取景器装置16为基准视点，通过公知的光线追跡法，计算被摄体群与内容之间的隐蔽关系。

光线追跡法是基于「向眼睛进入的光来自处于最近前的被摄体」这种原理，对到达摄像元件41的各像素的光进行计算的方法。该光线追跡法是对各像素的搭载滤波器颜色、亮度进行决定的3DCG描绘方法的一般方法。

在图17的步骤S14中，当得知内容、被摄体的隐蔽区域、要描绘的区域时，进入接下来的步骤S15，图15的合成图像生成部26仅产生内容的CG图像中、要描绘的区域。然后，在最后的步骤S16中，在显示面板37上仅显示内容的描绘区域，其他区域进行黑色显示。

由此，如图16所示那样，内容8的CG图像被显示为，宛如存在于近前的大厦1、2的光学像之后。内容8之后的大厦3中的被内容8隐藏的部分被内容8的显示覆盖，而在大厦3的近前显示内容8的图像。

由于摄像元件41与摄像元件22的位置关系等预先就已知，因此在通过摄像元件22对被摄体进行了拍摄时，能够将该内容8的CG图像无位置偏移地合成到摄像元件22的拍摄图像中。

根据该第四实施方式，构成为从预先登记于内容数据库65的内容中，自动地选择设置在取景器装置16的视野范围内的空白空间的虚拟物(内容)。因此，具有用户的内容选择的时间劳力减少这种优点。

但是，根据用户的不同，还有时想使自身希望的内容的CG图像合成显示在取景器装置16内。此外，还有时想不在空白空间、而是代替现有的大厦物来显示用户指定的内容的CG图像。

在这种情况下，使用户选择内容，通过摄像机背面的液晶显示部的菜单画面来指定其大小、所设置的场所等，由此将其内容进行放大/缩小而合成到拍摄图像中即可。

以上，作为本发明的图像显示装置的实施方式，对摄影装置的取景器装置进行了说明，但摄影装置的构成不限定于此。作为摄影装置，例如能够成为内置型或者外置型的PC用摄像机、或者以下说明的那种具有摄影功能的移动终端装置。

作为摄影装置的一个实施方式即移动终端装置，例如能够列举移动电话机、智能手机、PDA(PersonalDigitalAssistants：个人数字助理)、便携式游戏机。以下，以智能手机为例，参照附图进行详细说明。

图20表示摄影装置的一个实施方式即智能手机200的外观。图20所示的智能手机200具有平板状的框体201，在框体201的一个面上具备作为显示部的显示面板202、以及与作为输入部的操作面板203成为一体的显示输入部204。此外，这种框体201除了具备扬声器205、麦克风206、操作部207以及摄像机部208以外，还具备在图2、图6的实施方式中说明了的取景器装置16。此外，框体201的构成并不局限于此，例如还能够采用显示部和输入部相独立的构成，或者采用具有折叠构造、滑动机构的构成。

图21是表示图20所示的智能手机200的构成的框图。如图21所示那样，作为智能手机的主要构成要素，具备无线通信部210、显示输入部204、通话部211、操作部207、摄像机部208、存储部212、外部输入输出部213、GPS(GlobalPositioningSystem：全球定位系统)接收部214、动作传感器部215、电源部216、主控制部220、以及取景器装置16。此外，作为智能手机200的主要功能，具备进行经由了图示省略的基站装置BS和图示省略的移动通信网NW的移动无线通信的无线通信功能。

无线通信部210基于主控制部220的指示，与移动通信网NW所收容的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等发送接收、Web数据、流数据等的接收。

显示输入部204是通过主控制部220的控制，对图像(静止图像以及动态图像)、文字信息等进行显示而视觉地向用户传递信息，并且检测用户对于所显示的信息进行的操作的所谓触摸板，具备显示面板202和操作面板203。

显示面板202将LCD(LiquidCrystalDisplay：液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay：有机电致发光显示器)等用作为显示设备。操作面板203是如下设备：被载放为能够视觉识别显示面板202的显示面上所显示的图像，对通过用户的手指、尖笔操作的一个或者多个坐标进行检测。当通过用户的手指、尖笔来操作该设备时，将由于操作而产生的检测信号向主控制部220输出。接着，主控制部220基于接收到的检测信号，对显示面板202上的操作位置(坐标)进行检测。

如图20所示那样，作为本发明的摄影装置的一个实施方式而例示的智能手机200的显示面板202和操作面板203成为一体而构成显示输入部204，操作面板203成为完全覆盖显示面板202那样的配置。在采用了该配置的情况下，操作面板203也可以具备还对显示面板202外的区域检测用户操作的功能。换言之，操作面板203具备关于与显示面板202重叠的重叠部分的检测区域(以下称为显示区域)、以及其以外的关于与显示面板202不重叠的外缘部分的检测区域(以下称为非显示区域)。

此外，虽然可以使显示区域的大小与显示面板202的大小完全一致，但不限于一定使两者一致。此外，操作面板203也可以具备外缘部分和其以外的内侧部分这2个感应区域。并且，外缘部分的宽度根据框体201的大小等来适当地设计。此外，作为操作面板203所采用的位置检测方式，能够列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任意的方式。

通话部211具备扬声器205、麦克风206，能够将通过麦克风206输入的用户的声音转换为能够由主控制部220处理的声音数据而向主控制部220输出，或者对由无线通信部210或者外部输入输出部213接收的声音数据进行解码而从扬声器205输出。此外，如图20所示那样，例如，能够将扬声器205搭载在与设置有显示输入部204的面相同的面上，将麦克风206搭载于框体201的侧面。

操作部207是使用了键开关等的硬件键，用于受理来自用户的指示。例如，如图20所示那样，操作部207搭载在智能手机200的框体201的侧面，是当通过手指等按下时成为开启，当手指离开时通过弹簧等的恢复力而成为关闭状态的按压按钮式的开关。

存储部212存储主控制部220的控制程序、控制数据、应用软件、将通信对象的名称、电话号码等建立对应的地址数据、发送接收的电子邮件的数据、通过Web浏览器下载的Web数据、以及下载的内容数据，并且暂时存储流数据等。此外，存储部212由智能手机内置的内部存储部217和装卸自如的具有外部存储器插口的外部存储部218构成。此外，构成存储部212的各个内部存储部217和外部存储部218，使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)以及ROM(ReadOnlyMemory)等储存介质来实现。

外部输入输出部213发挥与智能手机200所连结的全部外部设备之间的接口的作用，通过通信等(例如通用串行总线(USB)、IEEE1394等)或者网络(例如互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification：射频识别)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband：超宽带)(注册商标)以及物联网(ZigBee)(注册商标)等)，与其他外部设备直接或者间接地连接。

作为智能手机200所连结的外部设备，例如存在有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard：用户识别卡)/UIM(UserIdentityModuleCard：用户身份模块卡)卡、经由音频视频I/O(Input/Output)端子连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、以及耳机等。外部输入输出部213能够将从这种外部设备接受了传送的数据向智能手机200内部的各构成要素传递，将智能手机200内部的数据向外部设备传送。

GPS接收部214根据主控制部220的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收的多个GPS信号的测位计算处理，对该智能手机200的由纬度、经度、高度构成的位置进行检测。GPS接收部214在能够从无线通信部210、外部输入输出部213(例如无线LAN)取得位置信息时，还能够使用该位置信息来检测位置。

动作传感器部215例如具备3轴的加速度传感器等，根据主控制部220的指示，对智能手机200的物理的动作进行检测。通过对智能手机200的物理的动作进行检测，由此检测智能手机200的动作方向、加速度。其检测结果向主控制部220输出。

电源部216根据主控制部220的指示，向智能手机200的各部供给电池(未图示)所蓄积的电力。

主控制部220具备微处理器，根据存储部212存储的控制程序、控制数据进行动作，对智能手机200的各部总体地进行控制。此外，主控制部220为了通过无线通信部210进行声音通信、数据通信，而具备对通信系统的各部进行控制的移动通信控制功能、以及应用处理功能。

主控制部220根据存储部212存储的应用软件来进行动作，由此实现应用处理功能。作为应用处理功能，例如存在对外部输入输出部213进行控制而与对象设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、对Web网页进行浏览的Web浏览器功能等。

此外，主控制部220具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)，将映像在显示输入部204进行显示等的图像处理功能。图像处理功能是指，主控制部220对上述图像数据进行解码，对该解码结果实施图像处理，将图像在显示输入部204进行显示的功能。

并且，主控制部220执行对于显示面板202的显示控制、以及对通过操作部207、操作面板203的用户操作进行检测的操作检测控制。通过显示控制的执行，主控制部220对用于起动应用软件的图标、滚动条等软件键进行显示，或者对用于制作电子邮件的窗口进行显示。此外，滚动条是指，对于不能够收纳于显示面板202的显示区域的较大的图像等，用于受理使图像的显示部分移动的指示的软件键。

此外，通过操作检测控制的执行，主控制部220对通过操作部207的用户操作进行检测，或者通过操作面板203受理对于上述图标的操作、对于上述窗口的输入栏的字符串的输入，或者受理通过滚动条的显示图像的滚动请求。

并且，通过操作检测控制的执行，主控制部220具备如下的触摸板控制功能：判断对于操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域)、还是其以外的不与显示面板202重叠的外缘部分(非显示区域)，并对操作面板203的感应区域、软件键的显示位置进行控制。

此外，主控制部220还能够检测对于操作面板203的手势操作，根据检测到的手势操作，执行预先设定的功能。手势操作意味着，不是以往的单纯的触摸操作，而是通过手指等描绘轨迹、或同时指定多个位置、或者将这些组合，而从多个位置中对至少一个描绘轨迹的操作。

拍摄部208是使用CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)或CCD(Charge-CoupledDevice电荷耦合器件)等摄像元件进行电子摄影的数码摄像机。并且，拍摄部208能够按照主控制部220的控制，将通过拍摄而得到的图像数据变换为例如JPEG(JointPhotographiccodingExpertsGroup：联合图像编码专家组)等压缩的图像数据，并记录在存储部212中，或者通过输入输出部213和无线通信部210进行输出。在图20所示的智能电话200中，拍摄部208被搭载在与显示输入部204相同的面上，但拍摄部208的搭载位置不限于此，也可以搭载在显示输入部204的背面，或者也可以搭载多个拍摄部208。另外，在搭载了多个拍摄部208的情况下，可以切换用于进行摄影的拍摄部208而独立地进行拍摄，或者同时使用多个拍摄部208进行拍摄。

此外，拍摄部208能够用于智能电话200的各种功能中。例如，能够在显示面板202显示由拍摄部208取得的图像、也能够将拍摄部208的图像用作操作面板203的操作输入之一。另外，GPS接收部214在检测位置时，也能够参照来自拍摄部208的图像检测位置。另外，也能够参照来自拍摄部208的图像、并与三轴的加速度传感器并用或者不使用三轴的加速度传感器，判定智能电话200的拍摄部208的光轴方向，并判定当前的使用环境。当然，也能够在应用软件内利用来自拍摄部208的图像。

此外，对静态图像或者动态图像的图像数据附加由GPS接收部214取得的位置信息、由麦克风206取得的声音信息(也可以通过主控制部等进行声音文本变换而成为文本信息)、由运动传感器部215取得的姿势信息等，并记录在记录部212中，或者通过输入输出部213和无线通信部210进行输出。

上述那样的薄型的智能手机200中所设置的取景器装置16非常小型，取景器装置16内所设置的摄像元件41也非常小型，能够实现与通过图1～图19中说明的实施方式同样的情况。

此外，在图20的实施方式中，也可以不设置摄像机部208，而将取景器装置16内的摄像元件兼作为摄像机部208。此外，在图2、图6等的实施方式中也能够构成为，省略摄影透镜12、摄像元件22，而通过取景器装置16内的摄像元件36、41进行正式摄影。

在智能手机那样的高性能的信息设备的情况，应用软件能够将当前位置向目标数据库45逐次联络。因此，例如图1、图20的摄影装置的用户，在想要得知朋友的智能手机的当前位置即朋友的所处位置的情况下，只要将朋友的智能手机指定为检索对象目标，则就能够通过观察取景器装置16而容易地找到。

如以上所述的那样，实施方式的图像显示装置的特征在于，具备：分光器，对从被摄体侧取入的入射光进行分割；摄像元件，将基于由该分光器分割后的一方的入射光的第一光学像转换为电信号，并作为拍摄图像输出；合成图像生成部，生成与上述拍摄图像中的主要被摄体图像对位的电子信息图像；显示面板，显示该电子信息图像；以及光学棱镜，使从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上而出射。

此外，实施方式的图像显示装置的特征在于，具备检测部，该检测部从上述拍摄图像中检测与用户指定的目标相当的被摄体，上述电子信息图像是表示上述目标存在于上述第二光学像中的图像。

此外，实施方式的图像显示装置的特征在于，具备对当前所在地的位置信息进行检测的第一传感器、对上述入射光入射来的方向进行检测的第二传感器以及对该图像显示装置的姿势进行检测的第三传感器，上述检测部基于上述第一、第二、第三传感器的各检测信号对上述目标的存在进行检测。

此外，实施方式的图像显示装置的上述目标登记于目标数据库，并包括地理信息和表示信息设备的当前位置的信息中的至少某个信息。

此外，实施方式的图像显示装置的上述电子信息图像，是与上述拍摄图像中的主要被摄体的配置位置相应的虚拟物CG图像，并且是将由上述主要被摄体在进深方向上隐藏而看不到的区域除去了的图像。

此外，实施方式的图像显示装置的特征在于，具备对当前所在地的位置信息进行检测的第一传感器、对上述入射光入射来的方向进行检测的第二传感器、以及对该图像显示装置的姿势进行检测的第三传感器，上述合成图像生成部根据上述第一、第二、第三传感器的各检测信号来决定上述虚拟物CG图像的显示位置。

此外，实施方式的摄影装置的特征在于，将上述任一项所记载的图像显示装置作为取景器装置搭载。

此外，实施方式的图像显示方法的特征在于，通过分光器来分割从被摄体侧取入的入射光，通过摄像元件将基于由上述分光器分割后的一方的入射光的第一光学像转换为电信号、并作为拍摄图像输出，通过合成图像生成部生成与该拍摄图像中的主要被摄体图像对位的电子信息图像，将上述电子信息图像显示在显示面板上，通过光学棱镜将从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上而出射。

根据以上所述的实施方式，通过观察取景器装置等图像显示装置，用户能够无滞后地观察鲜明的被摄体的光学像。并且，还能够一并在视野内观察到与该光学像高精度对位的电子信息图像，图像显示装置的使用方便性、使用价值提高。

工业上的可利用性

本发明的图像显示装置，能够在用眼看到的被摄体的光学像上重叠显示高精度对位的电子信息，因此能够提供用户的使用方便性、使用价值较高的图像显示装置。此外，当将该图像显示装置作为取景器装置而用于数码摄像机等时，较为有用。

本申请基于2012年3月16日申请的日本专利申请(日本特愿2012－60381)，其内容作为参照而取入本申请。

符号的说明

1～4大厦的像5～7住宅的像8内容的CG图像10数码摄像机11框体12摄影透镜16取景器装置22正式摄影用的摄像元件26合成图像生成部27图像解析部28相位差信息解析部32分光器33光学棱镜36、41取景器装置内的摄像元件43目标检索部44被摄体检测部45目标数据库47位置信息取得部(GPS)48方位信息取得部(电子罗盘)49姿势信息取得部63内容配置条件决定部64内容隐蔽区域运算部65内容数据库

Claims (6)

1.一种图像显示装置，具备：

分光器，对从被摄体侧取入的入射光进行分割；

摄像元件，将基于由该分光器分割后的一方的入射光的第一光学像转换为电信号，并作为拍摄图像输出；

合成图像生成部，生成电子信息图像，该电子信息图像具有根据上述拍摄图像的主要被摄体求出的部分图像、和使该部分图像以外的其他图像区域为黑色显示图像的遮蔽图像，而且上述电子信息图像中的上述部分图像的位置与上述拍摄图像中的主要被摄体图像的位置相同；

显示面板，显示上述电子信息图像；以及

光学棱镜，使从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上而出射。

2.如权利要求1记载的图像显示装置，其中，

具备检测部，该检测部从上述拍摄图像中检测与用户指定的目标相当的被摄体，上述电子信息图像是表示上述目标存在于上述第二光学像中的图像。

3.如权利要求2记载的图像显示装置，其中，

具备对当前所在地的位置信息进行检测的第一传感器、对上述入射光入射来的方向进行检测的第二传感器以及对该图像显示装置的姿势进行检测的第三传感器，上述检测部基于上述第一、第二、第三传感器的各检测信号对上述目标的存在进行检测。

4.如权利要求2或者权利要求3记载的图像显示装置，其中，

上述目标登记于目标数据库，并包括地理信息和表示信息设备的当前位置的信息中的至少某个信息。

5.一种摄影装置，作为取景器装置而搭载有权利要求1～权利要求4中的任一项记载的图像显示装置。

6.一种图像显示方法，其中，

通过分光器来分割从被摄体侧取入的入射光，通过摄像元件将基于由上述分光器分割后的一方的入射光的第一光学像转换为电信号、并作为拍摄图像输出，

通过合成图像生成部生成电子信息图像，该电子信息图像具有根据上述拍摄图像的主要被摄体求出的部分图像、和使该部分图像以外的其他图像区域为黑色显示图像的遮蔽图像，而且上述电子信息图像中的上述部分图像的位置与上述拍摄图像中的主要被摄体图像的位置相同，

将上述电子信息图像显示在显示面板上，

通过光学棱镜将从上述显示面板投射的上述电子信息图像的光学像重叠在基于上述分割后的另一方的入射光的第二光学像上。