CN103795915B - 显示图像的图像显示装置以及方法 - Google Patents

Abstract

本发明的课题是在对图像内的关注对象物附加了信息的情况下，即使在该图像内关注对象物的位置变化，也使附加信息追随该变化。若照相机部的拍摄方向发生变化（图5的步骤A12中是），则为了使附加信息追随拍摄图像（预览图像）内的关注被摄体（关注对象物）的位置变化，进行对该附加信息的显示位置进行修正的处理，更新附加信息的显示位置而修正为新的显示位置（步骤A13）。然后，在预览画面上，在通过修正处理求出的显示位置上合成显示附加信息（步骤A14）。

Description

显示图像的图像显示装置以及方法

技术领域

本发明涉及显示图像的图像显示装置以及方法。

背景技术

以往，如便携式终端装置、电视受像机、个人计算机等那样显示图像的图像显示装置中，作为在拍摄图像、电视影像、投影图像等图像上将任意的信息（例如，字符串、标记等）重叠而合成显示的技术，例如存在如下技术：在讲义用的图像上将手写图像合成而显示的技术（日本特开2007－60032号公报）；或者，在投影屏幕上将手写的图像根据投影图像框的变化来合成显示，从而防止投影图像与手写图像的偏离的技术（日本特开2007－17543号公报）。

但是，上述的各现有技术是在图像上将手写信息合成而显示的技术，并且是将图像与手写信息建立对应来合成的技术。

然而，在拍摄了人物等被摄体的情况下，若在其拍摄图像内的被摄体的位置上附加任意的信息并合成显示，则会增加各种乐趣或利用方法，但即使与实时取景（Live View）图像内的被摄体建立对应地附加信息，若照相机的朝向哪怕倾斜一点，则导致被摄体与附加信息的对应关系偏离，附加信息的意图有可能受损。该情况不限于拍摄图像，对电视影像或投影图像等的图像也同样，即使对图像内的人物附加任意的信息，若在图像内该人物移动，则导致被摄体与附加信息的对应关系偏离，附加信息的意图有可能受损。

发明内容

本发明的课题是在对图像内的关注对象物附加了用户期望的任意的信息的情况下，即使关注对象物在该图像内的位置变化也能够使附加信息追随该变化。

［手段］

本发明具备下述构成。

一种图像显示装置，在显示部上显示图像，其特征在于，具备：第1显示控制单元，将与显示在所述显示部上的图像内的关注对象物有关的附加信息与该对象物建立对应地合成显示到该图像内；检测单元，检测关注对象物在所述图像内的位置变化；以及第2显示控制单元，根据由所述检测单元检测到的关注对象物的位置变化来变更所述附加信息的显示位置，并将该附加信息合成显示到该图像内。

［效果］

根据本发明，在对图像内的关注对象物附加了用户期望的任意的信息的情况下，即使在该图像内关注对象物的位置变化，也能够使附加信息追随该变化，能够维持关注对象物与附加信息的对应关系。

附图说明

图1是表示平板终端装置1与个人计算机2之间的通信系统的图。

图2是表示平板终端装置1的基本构成要素的框图。

图3A及图3B是用于说明平板终端装置1的移动或倾斜的图。

图4是表示切换为合成拍摄模式时的动作的流程图。

图5是表示后续于图4的动作的流程图。

图6是用于详细说明图5的步骤A13的流程图。

图7是例示了将标签信息合成显示到拍摄图像内的情况的显示状态的图。

图8是例示了画面尺寸和该画面上的坐标系的图。

图9是用于在第2实施方式中说明人物介绍表PT的图。

图10是在第2实施方式中表示人物介绍模式的动作的流程图。

图11是表示后续于图10的动作的流程图。

图12是表示后续于图11的动作的流程图。

图13A及图13B是例示了第2实施方式中合成显示的显示状态的图。

具体实施方式

以下，参照附图详细说明本发明的实施方式。

（实施方式1）

首先，参照图1～图8说明本发明的第1实施方式。

本实施方式例示了作为图像显示装置而适用于带照相机功能的平板终端装置1的情况，图1是表示对电气产品进行访问修理的情况的在现场侧的平板终端装置1与本部侧的个人计算机（本部侧PC）2之间进行业务联络的情况的通信系统（业务联络系统）的图。

平板终端装置1是其整体为薄型的长方体、例如A5尺寸的便携式信息终端装置，在该业务联络系统中由对电气产品进行访问修理的修理担当者持有，除了触摸输入显示功能、无线通信功能等基本功能以外，在其背面侧（触摸输入画面的相反侧）具备照相机（图1中省略图示）。

若修理担当者在进行修理之前使用平板终端装置1拍摄修理对象的电气产品，则其拍摄图像经由公用通信网3（无线通信网、互联网）发送至本部侧PC2。图1的例表示作为修理对象的电气产品而拍摄了卸下其背面盖的电视接收机4的情况，在其拍摄图像（静止图像）内，作为多个被摄体而包含有A部件P1、B部件P2、C部件P3、D部件P4。像这样拍摄电视接收机4而得到的拍摄图像依次显示在自己的触摸输入画面上，并且发送至本部侧PC2而依次显示在本部侧PC2的画面上。

在此，在现场与本部相互确认共同的拍摄图像并且进行修理上的商量等时，现场的修理担当者在显示在平板终端装置1的触摸输入画面上的拍摄图像内的各被摄体（A部件P1、B部件P2、C部件P3、D部件P4）之中的期望的被摄体的位置、图1的例中被摄体（C部件P3）的位置上建立对应地输入其附加信息A。在此，在第1实施方式中，附加信息A是有关与拍摄图像内的任意的被摄体建立对应而显示的被摄体的信息，例如是任意地手写描绘的标记、记号、字符等描绘信息，或预先准备的字符串或记号等标签信息。

在图1的例中，示出了为了明示C部件P3是关注对象物（例如，修理对象的部件或询问对象的部件）而以在拍摄图像内包围C部件P3的方式输入手写描绘的圆形标记作为其附加信息A的情况。像这样若将拍摄图像内的某一个被摄体（图1的例中，C部件P3）作为关注对象物（关注被摄体），并与该关注被摄体建立对应来输入有关该被摄体的附加信息A，则该附加信息A合成显示在拍摄图像内的该关注被摄体的位置上。

图1的部分（a）表示在平板终端装置1侧在关注被摄体的C部件P3的位置上合成显示了其附加信息A的情况的合成图像。此外，图1的部分（c）表示发送至本部侧PC2并被显示的该合成图像。像这样，在现场与本部侧分别显示共同的拍摄图像。此外，图1的部分（b）以及（d）表示因平板终端装置1的移动或倾斜而照相机的拍摄方向变更的情况的拍摄图像（合成图像）。即，在显示有如图1的部分（a）以及（c）所示的合成图像的状态下，若因平板终端装置1的移动或倾斜而照相机的拍摄方向变更，则拍摄图像内的被摄体（C部件P3）的位置也与其相应地变化，在该情况下，如图1的部分（b）以及（d）所示，附加信息A的显示位置与该C部件P3的位置变化相应地变更并被合成显示。

图2是表示平板终端装置1的基本的构成要素的框图。

CPU11是通过来自电源部（二次电池）12的电力供给而动作，并按照存储部13内的各种程序对该平板终端装置1的整体动作进行控制的中央运算处理装置。存储部13是例如具有ROM、闪存存储器等的结构，具有：存放有按照图4以及图5所示的动作步骤实现本实施方式的程序或各种应用等的程序存储器13a；以及暂时存储该平板终端装置1为了进行动作而需要的各种信息（例如，标志等）的工作存储器13b等。另外，存储部13例如可以是包括SD卡、IC卡等装卸自如的可移动存储器（记录介质）的结构，虽未图示但在经由通信功能连接到网络的状态下也可以是包括规定的服务器装置侧的存储区域的结构。

操作部14中，作为按钮式的键，虽然省略了图示但具备使电源接通/断开的电源键、指示拍摄的快门键、对拍摄模式（除了动画模式、连拍模式等以外，还有合成拍摄模式）和再现模式进行切换的模式切换键等。在此，所谓合成拍摄模式，例如是在如上述那样现场与本部相互确认共同的拍摄图像并且进行修理上的商量等时，在拍摄图像内的关注被摄体（关注对象物）的位置上合成显示有关该被摄体的附加信息A的动作模式。

触摸显示部15是在显示面板15a上层叠配设触摸面板15b而成的结构，显示面板15a是具有纵横比不同的画面的高精细液晶显示器，在上述的拍摄模式时成为显示拍摄图像（实时取景图像）的监视器画面（实时取景画面），或成为对已拍摄图像进行再现的再现画面。触摸面板15b构成检测由拍摄者的手指等进行触摸操作的位置并输入其坐标数据的触摸屏，例如采用静电容量方式或电阻膜方式，但也可以是其他方式。

另外，所谓触摸操作，不限于用手指或笔在触摸面板15b上接触或接触移动的接触操作，还包括作为与该接触操作近似的操作的非接触操作，该非接触操作例如是根据由手指或笔的接近或接近移动引起的静电容量变化或明亮度变化等，对手指或笔的位置进行检测的操作。也就是说，不限于对接触操作进行检测的接触型触摸面板，也可以是对非接触操作进行检测的非接触型触摸面板或操作检测设备，但本实施方式中例示了接触型触摸面板上的接触操作的情况。

照相机部16构成除了静止图像以外还能够进行动画拍摄的数字照相机，虽然省略了图示省略，但具有拍摄透镜、摄像元件、各种传感器、模拟处理部、数字处理部，来自拍摄透镜的被摄体像成像在摄像元件（CCD或CMOS等）上，由此能够高精细地拍摄该被摄体。另外，该照相机部16具备自动曝光调整功能、自动焦点调整功能、变焦功能等各种功能。无线LAN（Local Area Network）通信部17是能够进行高速大容量的通信的无线通信模块，能够经由最靠近的无线LAN路由器（省略图示）而连接到互联网。

动作传感器18是对三维空间上的平板终端装置1的运动、姿势进行检测的传感器，虽然省略了图示，但例如构成为具有：加速度传感器，检测三维空间的3个轴向（X·Y·Z方向）上的加速度；方位传感器（地磁传感器），检测地球上的方位；以及陀螺仪传感器（各速度传感器），检测角速度而检测倾斜。基于该动作传感器18的输出结果，CPU11在因平板终端装置1的移动或姿势的变化而照相机部16的拍摄方向变化的情况下，检测其变化量。

图3A以及图3B是表示在水平方向（左右方向：X方向）、进深方向（前后方向：Y方向）、垂直方向（上下方向：Z方向）的三维空间上，由动作传感器18检测的平板终端装置1的移动或倾斜的图。图3A表示在三维空间上，以上述的附加信息A被合成显示的时刻的平板终端装置1的拍摄位置为基准，平板终端装置1向水平方向（左右方向）、进深方向（前后方向）、垂直方向（上下方向）移动的情况下，由动作传感器18检测出平板终端装置1的移动量（单位：mm）。图3B表示在三维空间上，以上述的附加信息A被合成显示的时刻的平板终端装置1的拍摄方向为基准，平板终端装置1倾斜的情况下，由动作传感器18检测的倾斜量，即水平方向与进深方向所成的水平角度（α°）、进深方向与垂直方向所成的垂直角度（β°）。

在上述的合成拍摄模式时，在触摸显示部15上显示有拍摄图像（实时取景图像）的状态下，CPU11基于动作传感器18的输出结果来判断平板终端装置1是否移动以及是否倾斜（照相机部16的拍摄方向是否变更）。在此，在平板终端装置1移动或倾斜而照相机部16的拍摄方向变更时，触摸显示部15的实时取景画面所显示的拍摄图像（实时取景图像）内的被摄体的显示位置也发生变化，因此按照该被摄体的显示位置的变化，与其建立对应的附加信息A的显示位置也相应地变更。在该情况下，CPU11考虑显示面板15a的画面尺寸、其点距、照相机部16的视场角来计算附加信息A的新的显示位置，并在其计算位置上合成显示附加信息A。

接着，参照图4～图6所示的流程图说明第1实施方式中的平板终端装置1的动作概念。在此，这些流程图中记述的各功能以可读取的程序代码的形态被存放，并且依次执行按照该程序代码的动作。此外，还能够依次执行按照经由网络等的传送介质传送来的上述的程序代码的动作。这在后述的其他实施方式中也同样，除了记录介质以外，还能够利用从外部经由传送介质供给的程序/数据来执行本实施方式特有的动作。另外，图4以及图5是表示平板终端装置1的整体动作之中的本实施方式的特征部分的动作概要的流程图，在离开该图4以及图5的流程时，回到整体动作的主流程（省略图示）。

图4以及图5是表示在通过上述的模式切换键的操作切换为合成拍摄模式时开始执行的动作的流程图。

此时，若现场与本部为了确认共同的拍摄图像并且进行修理上的商量等而切换为合成拍摄模式，则平板终端装置1的CPU11使照相机部16动作而使其开始拍摄（图4的步骤A1）。然后，从照相机部16取得拍摄图像并开始在触摸显示部15中显示为预览图像的预览显示（步骤A2），并且开始将该拍摄图像（预览图像）发送给作为对方终端的本部侧PC2的动作（步骤A3）。在该情况下，本部侧PC2中，接收来自平板终端装置1的拍摄图像并开始在自己的画面上依次显示的显示动作。

像这样，拍摄图像在触摸显示部15上作为预览图像被显示的状态下，检查是否被进行了触摸输入操作（步骤A4）。在此，在合成拍摄模式中，触摸输入操作是为了在预览画面上输入上述的附加信息（描绘信息或标签信息）A而进行的操作，若没有进行触摸输入操作（步骤A4中否），也就是说，若没有输入附加信息A，则移到步骤A5，检查在预览画面内是否合成显示有附加信息A。此时，在切换为合成拍摄模式的最初的时刻，没有显示任何附加信息A（步骤A5中否），因此移到图5的步骤A15，检测是否上述的合成拍摄模式被解除而该拍摄模式结束。在此，若保持合成拍摄模式（步骤A15中否），则回到图4的步骤A4并确认有无触摸输入。

若在预览画面上进行用于输入附加信息（描绘信息或标签信息）A的触摸输入操作（步骤A4中是），则检查该触摸输入操作是否为描绘信息的输入操作（步骤A6）。在此，图1的例中，现场的修理担当者例如关注如图1所示的拍摄图像内的各被摄体（A部件P1、B部件P2、C部件P3、D部件P4）之中的一个部件（C部件P3）作为关注被摄体。若为了明示修理对象的部件或询问对象的部件而以包围该关注被摄体的方式描绘附加信息A，则在步骤A6中判断为是用于输入描绘信息的触摸输入操作。

若像这样在预览画面（触摸输入画面）上描绘任意的附加信息（图1的例中为圆形的标记）A，则CPU11将该描绘信息作为有关关注被摄体的附加信息A来取入，并在该关注被摄体（C部件P3）的位置上合成显示（步骤A7）。然后，检测该附加信息A的显示位置并将该显示位置暂时存储在工作存储器13b中（步骤A9），并且取得动作传感器18的输出结果作为后述的移动基准值暂时存储在工作存储器13b中（步骤A10）。

此外，若触摸输入操作不是输入描绘信息的操作（步骤A6中否），则判断为触摸输入操作是用户从预先准备的多个标签信息中选择任意的标签信息的标签选择操作，移到下一步骤A8。在该步骤A8中，将通过标签选择操作而选择的标签信息作为关注被摄体的附加信息A而合成显示到该关注被摄体的位置上，若进行标签选择操作之后进行触摸关注被摄体上的位置的被摄体选择操作，则将通过标签选择操作而选择的标签信息合成显示到关注被摄体上的位置上。

图7是例示了将选择为附加信息A的标签信息合成显示到拍摄图像内的情况的显示状态的图。

在图7的例中，在预览画面内的右端部将3种（圆形、四角、三角）标记作为标签选择候选而排列显示。若从该标签候选中触摸任意的候选的位置、例如“三角形”标记的位置，则该“三角形”标记的标签信息作为关注被摄体（C部件P3）的附加信息A被合成显示。然后，CPU11将该附加信息A的显示位置暂时存储在工作存储器13b中（步骤A9），并且取得动作传感器18的输出结果并作为后述移动基准值暂时存储在工作存储器13b中（步骤A10）。

像这样将附加信息A合成显示之后，移到图5的步骤A11，取得动作传感器18的输出结果。然后，将合成显示了上述的附加信息A的时刻的动作传感器18的输出结果（暂时存储在工作存储器13b中的值）用作移动基准值，检查是否因三维空间上的平板终端装置1的移动或倾斜而照相机部16的拍摄方向有变化（步骤A12）。即，以合成显示了附加信息A的时刻的动作传感器18的输出结果为基准，基于平板终端装置1的移动或倾斜确认拍摄方向是否变化。

在此，若照相机部16的拍摄方向没有变化（步骤A12中否），则检查是否合成拍摄模式被解除而该拍摄模式结束（步骤A15），若保持着合成拍摄模式（步骤A15中否），则回到图4的步骤A4，确认有无触摸输入。此外，若照相机部16的拍摄方向有变化（步骤A12中是），则为了使其附加信息A追随拍摄图像（预览图像）内的关注被摄体的位置变化，进行对该附加信息A的显示位置进行修正的处理（步骤A13）。

图6是用于详细说明附加信息A的显示位置修正处理（图5的步骤A13）的流程图。

图6是为了使该附加信息A按照关注被摄体的位置变化而追随，考虑显示面板15a的画面尺寸、点距、照相机部16的视场角来对附加信息A的显示位置进行计算的处理，表示与图8所示的具体例相应的修正处理。图8是将画面尺寸等具体表示的图，在将画面尺寸设为“320×240点”、将点距设为“1点/mm”、将照相机视场角设为“50°”、将显示面板15a的画面的中央部设为二维坐标的原点（0、0）的情况下，该画面的四个角的位置坐标、即左上坐标为（－159.120）、右上坐标为（160.120）、左下坐标为（－159.－119）、右下坐标为（160.－119）。另外，图中，（a、b）表示附加信息A的显示位置。

在该情况下，CPU11将与平板终端装置1的移动量或倾斜相应的拍摄方向的变化量换算为画面上的变化量，并与暂时存储在工作存储器13b中的附加信息A的显示位置（原来的显示位置）相加，从而更新附加信息A的显示位置而修正为新的显示位置。即，首先，CPU11从工作存储器13b读出合成显示了附加信息A的时刻的附加信息A的显示位置（a.b）（步骤B1），并读出合成显示了附加信息A的时刻的动作传感器18的输出结果（暂时存储在工作存储器13b中的移动基准值）（步骤B2）。

然后，作为三维空间上的移动差分（移动量），计算水平方向的移动距离（ΔXmm）、垂直方向的移动距离（ΔZmm）、进深方向的移动距离（ΔYmm）、水平角度（Δα°）、垂直角度（Δβ°）（步骤B3）之后，作为水平方向的修正而计算“a＝a＋ΔX”（步骤B4），作为垂直方向的修正而计算“b＝b＋ΔY”（步骤B5），作为进深方向的修正而计算“a＝a、b＝b”（步骤B6）。进而，考虑水平角度来计算“a＝a＋（120×Δα）/25”（步骤B7），考虑垂直角度来计算“b＝b＋（120×Δβ）/25”（步骤B8）。另外，上述的“25”表示1/2×照相机视场角。

若这样的修正处理（图5的步骤A13）结束，则在修正后的新的显示位置（a.b）上合成显示附加信息A（步骤A14）。由此，预览画面的内容例如从图1（a）的状态变更为（b）的状态。以下，重复上述的动作，直到合成拍摄模式被解除而该拍摄模式结束（步骤A15）。此时，若由用户操作指示合成拍摄模式的结束（步骤A15中是），则结束拍摄动作以及预览显示动作（步骤A16）之后，离开图4以及图5的流程。

如以上那样，在第1实施方式中，在通过用户操作任意指定了触摸显示部15所显示的图像内的有关关注对象物的附加信息A的情况下，平板终端装置1的CPU11将该附加信息A与关注对象物建立对应并合成显示到该图像内，并且在检测到该关注对象物的位置变化时，按照该关注对象物的位置变化来变更附加信息A的显示位置并将该附加信息A合成显示到该图像内，因此在对图像内的关注对象物附加了用户所期望的任意的信息A的情况下，即使在该图像内关注对象物的位置发生变化也能够使附加信息A追随该变化，总是能够维持关注对象物与附加信息A的对应关系。

在由照相机部16拍摄的拍摄图像显示在触摸显示部15上的状态下，将与该拍摄图像内的关注被摄体（关注对象物）有关的附加信息A与该被摄体建立对应来合成显示到该拍摄图像内，因此用户能够一边拍摄被摄体一边确认有关该被摄体的附加信息A。

通过检测照相机部16的拍摄方向的变化，来检测拍摄图像内的被摄体的位置变化，因此对用户而言即使在拍摄中其拍摄方向变化而拍摄图像内的被摄体位置变化，也能够使附加信息A追随该变化。

通过由动作传感器18检测平板终端装置1的移动或倾斜，检测照相机部16的拍摄方向的变化，因此能够容易且可靠地检测拍摄方向的变化。

在触摸显示部15上显示有拍摄图像的状态下，将任意描绘的信息作为有关该拍摄图像内的关注被摄体的附加信息A与该被摄体建立对应地合成显示到该图像内，因此能够当场将用户期望的自由的信息作为附加信息A而容易地输入。

在触摸显示部15上配置显示有多个标签信息的状态下，将通过用户操作从其中任意选择的标签信息作为有关该关注被摄体的附加信息A合成显示到该图像内，因此即使是复杂的附加信息A，也能够仅通过进行标签选择操作而容易地附加。

在通过用户操作而任意指定为关注被摄体的被摄体的位置上合成显示附加信息A，因此能够适当选择关注被摄体并合成显示附加信息A。

在合成显示了附加信息A时，将该附加信息A的显示位置暂时存储在工作存储器13b中，按照关注对象物的位置变化对该显示位置进行修正，由此变更附加信息A的显示位置，因此该变更变得容易。

将与关注被摄体建立对应地合成了附加信息A的拍摄图像发送给通信对方的本部侧PC2，因此能够在现场和本部侧共有合成了附加信息的拍摄图像。

另外，在上述的第1实施方式中，示出了适用于在对电气产品进行访问修理的现场侧的平板终端装置1与本部侧PC2之间进行业务联络的情况的业务联络系统的情况，但当然不限于此。此外，也可以是作为被摄体而例如将人物、宠物、商品、建筑物等作为被摄体的情况。此外，作为附加信息A，不限于任意手写描绘的标记、记号、字符等描绘信息或预先准备的字符串、记号等标签信息，也可以是通过键操作输入的信息等。

（第2实施方式）

以下，参照图9～图13A以及图13B对该发明的第2实施方式进行说明。

另外，在上述的第1实施方式中，在将来自照相机部16的拍摄图像显示在预览画面上的状态下，根据照相机部16的拍摄方向的变化来检测关注被摄体的位置变化，并且根据该位置变化来变更附加信息A的显示位置，但是在该第2实施方式中，在动画（拍摄图像）的再现中一边对该图像进行解析一边识别关注对象物（后述的登记人物）来检测其位置变化，并且根据该位置变化来变更附加信息A的显示位置。在此，两个实施方式中对基本相同或名称相同的结构附加相同的附图标记，并省略其说明，并且以下以第2实施方式的特征部分为中心进行说明。

第1实施方式中，例示了进行现场与本部之间的业务联络的情况的通信系统（业务联络系统），但在该第2实施方式中，示出例如适用于对友人或熟人介绍自己的家族等的情况的通信系统（人物介绍系统）的情况，在再现中的动画（拍摄图像）内出现家族等登记人物（关注对象物）时，将用于介绍该人物的附加信息A合成显示到再现画面内，并且将其合成图像发送给对方侧终端（省略图示）。

图9是用于说明设置在存储部13内的人物介绍表PT的图。

人物介绍表PT是用于将在动画再现中出现的人物介绍给友人或熟人等的表，具有“键图像”、“附加信息”的项目，其内容是通过用户操作预先任意设定的信息。“键图像”例如是构成家族的各人的面部图像或其特征部分的图像，作为用于在动画再现中检索是否出现了家族的键来使用。“附加信息”具有多个项目，例如是图9所示的包含“姓名”、“爱好”、“职业”等的人物介绍信息，例如，“姓名”、“爱好”、“职业”的各项目在用户操作的任意的定时、或每隔一定时间的定时，从其开头项目中按项目（1）、（2）、（3）的顺序被选择指定并依次合成显示到再现画面内。

图10～图12是表示第2实施方式中切换为人物介绍模式时开始执行的动作的流程图。

该人物介绍模式是用于向友人或熟人介绍自己的家族等的再现模式，通过上述的模式切换键的操作而切换为作为再现模式之一的人物介绍模式。若切换为该人物介绍模式，则平板终端装置1的CPU11使触摸显示部15显示动画一览而设为能够任意选择再现对象的动画的状态，若通过用户操作从该一览中选择再现对象（图10的步骤C1），则开始所选择的动画的再现动作（步骤C2）。然后，开始将开始再现的动画发送给对方侧终端（省略图示）的动作（步骤C3）。在该情况下，在对方侧终端中开始将从平板终端装置1接收到的动画依次显示在自己的画面上的动作。

接着，检查是否人物介绍模式被解除而该模式结束（步骤C4），若保持着人物介绍模式（步骤C4中否），则一边对再现中的图像进行解析（步骤C5），一边检测人物的图像部分（步骤C6）。在该情况下，综合地判断人物的构成部位（头、面部、眼睛、鼻子、手、脚等）的形状、大小、排列关系等并检测人物的图像部分（全身像、半身像、面部图像中的某一个），但其检测方法是任意的。此时，若未能检测出人物的图像部分，也就是说没有包含有人物（步骤C7中否），则回到步骤C4，以下对图像进行解析的同时重复上述的动作，直到检测出人物的图像部分。

另一方面，在图像内包含有人物而检测到该人物的图像部分时（步骤C7中是），基于该人物的图像部分来参照人物介绍表PT的“键图像”（步骤C8），并检查是否对应于某一个“键图像”，也就是说人物介绍表PT中登记的登记人物（关注对象物）是否包含在再现中的图像内（是否确定了人物）（步骤C9）。另外，在再现中的图像内包含有多个人物的情况下，按该每个人物重复参照人物介绍表PT来检查是否为登记人物的动作。

此时，若在再现中的图像内包含有登记人物（步骤C10中是），则将在再现画面上显示中的附加信息A之中的、登记人物以外的附加信息（从再现画面离开的退场人物的附加信息）A全部消除（步骤C10）。然后，移到图11的步骤C14，从确定的登记人物之中指定其一人之后，检查是否与该人物对应地显示有附加信息A（步骤C15），若没有显示附加信息A（步骤C15中否），则判断为是该人物的出现时，并移到对该人物新合成显示附加信息A的处理（步骤C16～C20）。

首先，参照人物介绍表PT（步骤C16），读出与该特定人物（登记人物）建立对应的附加信息A（步骤C17），并合成显示到该登记人物的显示位置上（步骤C18）。在该情况下，首先从多个项目的附加信息A中读出其开头项目的附加信息A并合成显示到该登记人物的显示位置上。图13A是例示了将附加信息A合成显示到登记人物的显示位置上的情况的图。图13A的例中示出作为登记人物而在再现画面上出现了“人物X”以及“人物Y”的情况，并且示出与该“人物X”对应地显示“姓名是···”作为开头项目的附加信息A、此外与“人物Y”对应地显示“姓名是···”作为开头项目的附加信息A的情况。并且，将该附加信息A的显示位置暂时存储到工作存储器13b中（步骤C19），并且将登记人物的显示位置暂时存储到工作存储器13b中（步骤C20）。

然后，检查登记人物之中是否有未被指定的未指定人物，也就是说是否将登记人物全部指定完（步骤C21），若没有剩下未指定登记人物（步骤C21中否），则回到上述的步骤C14而指定下一登记人物，以下进行同样的动作。另一方面，若针对所指定的人物显示有附加信息A（步骤C15中是），则移到图12的流程。具体而言，检测该登记人物的显示位置（步骤C22），并且从工作存储器13b读出将附加信息A新合成显示时的登记人物的显示位置，并与此次检测到的显示位置进行比较（步骤C23），由此检查在再现画面内该登记人物是否移动了（步骤C24）。

在此，若登记人物没有移动（步骤C24中否），则移到后述的步骤C30，在检测到登记人物的移动时（步骤C24中是），计算再现画面上的该登记人物的移动量以及移动方向（步骤C25），并且从工作存储器13b读出将附加信息A新合成显示时的附加信息A的显示位置，根据计算出的移动量以及移动方向对该显示位置进行修正（步骤C26）。另外，移动量以及移动方向的计算例如计算以再现画面的中心部为原点的坐标系上的移动量以及移动方向，但其计算方法是任意的。

若由此对附加信息A的显示位置进行修正，则检查其修正位置是否脱离画面，或是否为画面的端部（步骤C27），若不是画面外或画面端部（步骤C27中否），则在该修正位置上合成显示附加信息A（步骤C29），但若附加信息A的修正位置是画面外或画面端部（步骤C27中是），则再次对修正位置进行修正，以使修正位置靠近画面的中央（步骤C28），然后在该修正位置上合成显示附加信息A（步骤C29）。例如，在图13B中登记人物“人物Y”移动到再现画面的端部而显示着该人物的一部分的情况下，若使附加信息追随该“人物Y”的移动而原样（以维持“人物Y”与附加信息A的配置的状态）移动，则附加信息A脱离画面，因此附加信息A脱离画面，因此再次对附加信息A的显示位置进行修正，以使其位置靠近再现画面的中央。

接着，检查是否是将附加信息A自动切换的定时（步骤C30），或者检查是否通过用户操作进行了将附加信息A任意切换的操作（步骤C31）。即，针对显示中的全部的附加信息A，检查从将附加信息A新合成显示之后起是否经过了一定时间（例如，5秒）（是否为附加信息A的切换定时），或者是否通过触摸画面上的触摸操作而被触摸指定了任意的附加信息A（是否通过用户操作指示了附加信息A的切换）。

此时，在检测到附加信息A的切换定时时（步骤C30中是）、或在检测到切换操作时（步骤C31中是），从人物介绍表PT读出该附加信息A的各项目之中的当前显示的项目的下一项目，并从当前的项目切换为下一项目，显示下一项目（步骤C32）。例如，如图13A以及图13B所示，登记人物“人物X”的附加信息A从“姓名是···”变更为“爱好是···”，登记人物“人物Y”的附加信息A从“姓名是···”变更为“职业是···”。以下，回到图11的步骤C21，重复上述的动作（图11的步骤C14～C20，或图12的步骤C22～C32），直到全部指定完登记人物。

若由此全部指定完登记人物（步骤C21中是），则回到图10的步骤C4。在此，若人物介绍模式继续（步骤C4中否），则如上所述进行一边对图像进行解析一边检测是否包含有登记人物的处理（步骤C5～C9），在未能确定登记人物时（步骤C9中否），则检查在再现画面内是否显示有附加信息A（步骤C11），若显示有附加信息A（步骤C11中是），则将该附加信息A的显示全部消除（步骤C12）之后，回到上述的步骤C4。此外，在人物介绍模式被解除而指示了其结束时（步骤C4中是），结束再现动作以及显示动作（步骤C13）之后，离开图10～图12的流程。

如以上那样，在第2实施方式中，CPU11一边对再现对象的图像（动画）进行解析一边识别图像内的人物（关注对象物）而跟踪检测其位置，由此检测该人物在该图像内的位置变化，并根据该位置变化来变更附加信息A的显示位置，因此不需要特别的传感器等而能够检测人物的位置变化，并且能够使附加信息A追随图像内的人物的运动，总是能够维持人物与附加信息A的对应关系。

在图像内包含有多个人物的情况下，CPU11跟踪检测各人物的位置，由此从多个人物中确定位置变化了的人物并检测该位置变化，根据该位置变化来变更附加信息A的显示位置，因此能够使该附加信息A仅追随包含在图像内的多个人物之中的运动着的人物而移动。

CPU11通过对图像进行解析而确定人物，并且从人物介绍表PT读出与该人物对应的附加信息A，并与该人物建立对应来合成显示，因此与用户操作无关地容易地合成显示预先准备的附加信息A。

在通过图像的解析而确定了多个人物的情况下，按该每个人物重复从人物介绍表PT读出对应的附加信息A并合成显示的动作，因此在图像内包含有多个人物的情况下，也能够针对各人物显示附加信息A。

在人物介绍表PT按每个人物存储有多个项目的附加信息A的状态下，CPU11从人物介绍表PT依次读出附加信息A所包含的多个项目并合成显示，因此对视觉辨认者而言能够按每个人物依次确认附加信息A所包含的多个项目，并且即使是尺寸小的画面也能够确认较多的信息。

CPU11在因变更附加信息A的显示位置而其变更后的位置脱离再现画面内的情况下，以该人物的一部分存在于画面内为条件再次变更其显示位置，以使该附加信息A容纳在画面内，因此即使人物的一部分脱离画面，也能够将其附加信息A显示在容易看见的位置上。

此外，将与人物建立对应地合成了附加信息的合成图像发送给对方终端，因此能够与对方侧共有合成了附加信息A的图像。

另外，在上述的第2实施方式中，例示了对动画（拍摄图像）进行再现的情况，但不限于动画（拍摄图像）的再现，也可以是，接收电视广播，一边对其电视影像进行解析一边检测预先登记的登记人物（例如，喜欢的歌手、选手等），并且在检测到该登记人物时读出与该人物建立对应而预先准备的附加信息A并合成显示。

此外，在上述的第2实施方式中，在登记人物出现在图像内时将该登记人物作为了关注对象物，但也可以是在出现了登记人物以外的人物（未知人物）时，对通知未知这一情况的附加信息A进行合成显示。此外，不限于人物，例如也可以是宠物、交通工具等。此外，作为附加信息A，也可以是任意手写描绘的标记、记号、字符等的描绘信息等。

在上述的各实施方式中，示出了作为图像显示装置而适用平板终端装置1的情况，但不限于此，也可以是个人计算机、PDA（面向个人的便携式信息通信设备）、数字照相机、音乐播放器、电子游戏、电视受像机、投影机等。

此外，在上述的各实施方式中示出的“装置”或“部”不限于单一的框体，也可以按功能分离为多个框体。此外，上述的流程图中记述的各步骤不限于时序上的处理，也可以将多个步骤并行处理，或个别独立地处理。

以上，对该发明的实施方式进行了说明，但该发明不限定于此，还包含权利要求书中记载的发明及其等效的范围。

Claims (15)

1.一种图像显示装置，在显示部上显示图像，其特征在于，具备：

拍摄单元，拍摄上述图像；

第1显示控制单元，将与显示在所述显示部上的由所述拍摄单元拍摄的图像内的关注对象物有关的附加信息与该对象物建立对应地合成显示到该图像内；

检测单元，检测由所述拍摄单元的拍摄方向的变化引起的、关注对象物在所述图像内的位置变化；以及

第2显示控制单元，根据由所述检测单元检测到的关注对象物的位置变化来变更所述附加信息的显示位置，并将该附加信息合成显示到该图像内，

所述拍摄单元的拍摄方向的变化是由所述图像显示装置的移动或倾斜而引起的。

2.如权利要求1所述的图像显示装置，其特征在于，

所述第1显示控制单元在由所述拍摄单元拍摄的拍摄图像作为实时取景图像而显示在所述显示部上的实时取景画面上，将与该拍摄图像内的关注对象物即关注被摄体有关的附加信息与该被摄体建立对应地合成显示到该拍摄图像内。

3.如权利要求1所述的图像显示装置，其特征在于，

所述检测单元通过至少检测向左右方向的移动、向上下方向的移动、向左右方向的倾斜、向前后方向的倾斜中的某一个，来检测所述拍摄单元的拍摄方向的变化。

4.如权利要求1所述的图像显示装置，其特征在于，

所述检测单元一边对所述图像进行解析一边识别关注对象物来跟踪检测其位置，由此检测该对象物在该图像内的位置变化。

5.如权利要求4所述的图像显示装置，其特征在于，

在所述图像内包含多个关注对象物的情况下，所述检测单元跟踪检测各关注对象物的位置，由此从多个关注对象物中确定位置变化了的关注对象物并检测其位置变化。

6.如权利要求1所述的图像显示装置，其特征在于，

所述显示部是具备能够触摸输入的触摸画面的触摸显示单元；

在所述触摸显示单元的触摸画面内正显示图像的状态下，所述第1显示控制单元将任意描绘的信息作为与所述触摸画面内的关注对象物有关的附加信息与该关注对象物建立对应地合成显示到该图像内。

7.如权利要求1所述的图像显示装置，其特征在于，

在所述显示部的画面内配置显示有多个标签信息的状态下，所述第1显示控制单元将配置显示在所述显示部的画面内的多个标签信息中的、通过用户操作而任意选择的标签信息作为与所述图像内的关注对象物有关的附加信息与该对象物建立对应地合成显示到该图像内。

8.如权利要求1所述的图像显示装置，其特征在于，

所述第1显示控制单元将所述附加信息与通过用户操作而任意指定的关注对象物建立对应地合成显示到该图像内。

9.如权利要求1所述的图像显示装置，其特征在于，

还具备暂时存储所述附加信息的显示位置的存储单元；

所述第2显示控制单元根据由所述检测单元检测到的所述关注对象物的位置变化，对所述暂时存储的附加信息的显示位置进行修正，由此变更所述附加信息的显示位置。

10.如权利要求1所述的图像显示装置，其特征在于，

还具备附加信息存储单元，该附加信息存储单元预先将与关注对象物有关的附加信息与该对象物建立对应来存储；

所述第1显示控制单元通过对所述图像进行解析来确定关注对象物，并且从所述附加信息存储单元读出与该对象物对应的所述附加信息，并与该对象物建立对应地合成显示到该图像内。

11.如权利要求10所述的图像显示装置，其特征在于，

所述附加信息存储单元与多个关注对象物建立对应地分别存储与各个该对象物有关的附加信息；

所述第1显示控制单元在通过对所述图像进行解析而确定了多个关注对象物的情况下，按每个该关注对象物重复从所述附加信息存储单元读出对应的附加信息并进行合成显示的动作。

12.如权利要求10所述的图像显示装置，其特征在于，

所述附加信息存储单元按每个关注对象物分别存储多个项目的附加信息；

所述第1显示控制单元从所述附加信息存储单元依次读出与所述确定的关注对象物对应的所述附加信息所包含的多个项目，由此将所述附加信息所包含的多个项目与该对象物建立对应地依次合成显示。

13.如权利要求1所述的图像显示装置，其特征在于，

在所述第2显示控制单元根据所述关注对象物的位置变化来变更所述附加信息的显示位置而所述附加信息的显示位置的变更后的位置脱离所述显示部的画面内的情况下，以至少该对象物的一部分存在于所述显示部的画面内为条件，再次变更该显示位置，以使该附加信息容纳到所述画面内。

14.如权利要求1所述的图像显示装置，其特征在于，

还具备发送单元，该发送单元对通信对方侧的外部显示装置发送与关注对象物建立对应地合成了所述附加信息而成的图像。

15.一种图像显示方法，是在显示部上显示图像的图像显示装置中的方法，其特征在于，包括：

显示步骤，将与显示在所述显示部上的由所述图像显示装置具备的拍摄单元拍摄的图像内的关注对象物有关的附加信息与该对象物建立对应地合成显示到该图像内；

检测步骤，检测由所述拍摄单元的拍摄方向的变化引起的、关注对象物在所述图像内的位置变化；以及

合成显示步骤，根据由所述检测步骤检测到的关注对象物的位置变化来变更所述附加信息的显示位置，并将该附加信息合成显示到该图像内，

所述拍摄单元的拍摄方向的变化是由所述图像显示装置的移动或倾斜而引起的。