JP2016034138A - 画像表示装置及びプログラム - Google Patents

Abstract

【課題】画像内の着目対象物に情報を付加した場合にその画像内で着目対象物の位置が変化したとしてもその変化に付加情報を追従させることができるようにする。【解決手段】カメラ部の撮影方向に変化があれば（図５のステップＡ１２でＹＥＳ）、撮影画像（プレビュー画像）内での着目被写体（着目対象物）の位置変化に付加情報を追従させるためにその付加情報の表示位置を補正する処理を行い、付加情報の表示位置を更新して、新たな表示位置に補正する（ステップＡ１３）。そして、プレビュー画面上において補正処理により求めた表示位置に付加情報を合成表示させる（ステップＡ１４）。【選択図】 図５

Description

本発明は、画像を表示する画像表示装置及びプログラムに関する。

従来、携帯端末装置、テレビ受像機、パーソナルコンピュータなどのように画像を表示する画像表示装置において、撮影画像、テレビ映像、投影画像などの画像上に任意の情報（例えば、文字列、マークなど）を重ね合わせて合成表示する技術としては、例えば、講義用の画像に手書き画像を合成して表示するようにした技術（特許文献１参照）、あるいは投影スクリーン上で手書きされた画像を投影画像枠の変化に応じて合成表示することによって投影画像と手書き画像とのずれを防止するようにした技術（特許文献２参照）が存在している。

特開２００７−６００３２号公報 特開２００７−１７５４３号公報

しかしながら、上述した各先行技術にあっては、画像に手書き情報を合成して表示するもので、画像と手書き情報とを対応付けて合成する技術であった。
ところで、人物などの被写体を撮影した場合に、その撮影画像内の被写体の位置に任意の情報を付加して合成表示するようにすれば、色々な楽しみ方や活用の仕方が増えるが、ライブビュー画像内の被写体に情報を対応付けて付加したとしても、カメラの向きが僅かにでも傾いてしまうと、被写体と付加情報との対応関係がずれてしまい、情報を付加した意図が損なわれてしまう可能性がある。このことは撮影画像に限らず、テレビ映像や投影画像などの画像であっても同様であり、画像内の人物に任意の情報を付加したとしても、画像内でその人物が移動してしまうと、被写体と付加情報との対応関係がずれてしまい、情報を付加した意図が損なわれてしまう可能性がある。

本発明の課題は、画像を表示する表示画面上の任意の位置に付加情報を付加した場合に、その表示画面内の画像が変化したとしてもその変化に付加情報を追従させることである。

請求項１は、表示画面に画像を表示する画像表示装置であって、画像を撮影する撮影手段と、前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第１制御手段と、前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段と、前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第２制御手段と、を具備したことを特徴とする。
請求項７は、表示画面に画像を表示する画像表示装置であって、着目対象物毎にその対象物に関する複数の付加情報を記憶する付加情報記憶手段と、前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第１制御手段と、前記画像内での着目対象物の位置変化を検出する検出手段と、前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第２制御手段と、を具備したことを特徴とする。
請求項８は、表示画面に画像を表示する画像表示装置であって、前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられる対象物であれば、その複数の付加情報の内の一部の第１付加情報を読み出し、前記表示画面内における前記対象物の表示位置に対応付けて合成表示する第１制御手段と、前記表示画面内における前記対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第２制御手段と、を具備し、前記第１制御手段は、前記対象物に対応付けて記憶された前記複数の付加情報の内の他の第２付加情報に順次読み出し、前記表示画面内における前記対象物の表示位置に対応付けて順次合成表示する、ことを特徴とする。

本発明によれば、画像を表示する表示画面上の任意の表示位置に付加情報を付加した場合に、その表示画面内の画像が変化したとしてもその変化に付加情報を追従させることができる。

電気製品を訪問修理する場合の現場側のタブレット端末装置１と本部側のパーソナルコンピュータ２との間での通信システム（業務連絡システム）を示した図。 タブレット端末装置１の基本的な構成要素を示したブロック図。 （１）、（２）は、モーションセンサ１８によって検出されるタブレット端末装置１の移動や傾きを説明するための図。 モード切替キーの操作により合成撮影モードに切り替えられた際に実行開始される動作を示したフローチャート。 図４に続く動作を示したフローチャート。 付加情報の表示位置補正処理（図５のステップＡ１３）を詳述するためのフローチャート。 付加情報として選択されたタグ情報を撮影画像内に合成表示された場合の表示状態を例示した図。 画面サイズとその画面上の座標系を例示した図。 第２実施形態において記憶部１３内に設けられた人物紹介テーブルＰＴを説明するための図。 第２実施形態において、上述したモード切替キーの操作により人物紹介モードに切り替えられた際に実行開始される動作を示したフローチャート。 図１０に続く動作を示したフローチャート。 図１１に続く動作を示したフローチャート。 （１）、（２）は、第２実施形態において付加情報が合成表示された表示状態を例示した図。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施形態１）
先ず、図１〜図８を参照して本発明の第１実施形態を説明する。
本実施形態は、画像表示装置としてカメラ機能付きタブレット端末装置１に適用した場合を例示したもので、図１は、電気製品を訪問修理する場合の現場側のタブレット端末装置１と本部側のパーソナルコンピュータ（本部側ＰＣ）２との間で業務連絡を行う場合の通信システム（業務連絡システム）を示した図である。
タブレット端末装置１は、その全体が薄型の直方体で、例えば、Ａ５サイズの携帯型情報端末装置であり、この業務連絡システムにおいては電気製品を訪問修理する修理担当者が所持するもので、タッチ入力表示機能、無線通信機能などの基本機能のほか、その背面側（タッチ入力画面の反対側）にはカメラ（図１では図示省略）が備えられている。

修理担当者は、修理に先立ってタブレット端末装置１を使用し、修理対象の電気製品を撮影すると、その撮影画像は、公衆通信網３（無線通信網、インターネット）を介して本部側ＰＣ２に送信される。図示の例は、修理対象の電気製品としてその背面カバーを外したテレビ受信機４を撮影した場合を示したもので、その撮影画像（静止画像）内には複数の被写体としてＡ部品Ｐ１、Ｂ部品Ｐ２、Ｃ部品Ｐ３、Ｄ部品Ｐ４が含まれている。このようにテレビ受信機４を撮影した撮影画像は、自己のタッチ入力画面に逐次表示されると共に、本部側ＰＣ２に送られてその画面に逐次表示される。

ここで、現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行う際に、現場の修理担当者は、タブレット端末装置１のタッチ入力画面に表示されている撮影画像内の各被写体（Ａ部品Ｐ１、Ｂ部品Ｐ２、Ｃ部品Ｐ３、Ｄ部品Ｐ４）のうち、所望する被写体の位置、図示の例では、被写体（Ｃ部品Ｐ３）の位置にその付加情報Ａを対応付けて入力するようにしている。ここで、第１実施形態において付加情報Ａとは、撮影画像内の任意の被写体に対応付けられて表示される被写体に関する情報であり、例えば、任意に手書き描画されたマーク・記号・文字などの描画情報、あるいは予め用意されている文字列や記号などのタグ情報である。

図示の例では、Ｃ部品Ｐ３が着目対象物（例えば、修理対象の部品あるいは問い合わせ対象の部品）であることを明示するために、撮影画像内でＣ部品Ｐ３を囲むように、その付加情報Ａとして手書き描画の円形マークを入力した場合を示している。このように撮影画像内のいずれかの被写体（図示の例では、Ｃ部品Ｐ３）を着目対象物（着目被写体）として、その着目被写体に対応付けてその被写体に関する付加情報Ａが入力されると、この付加情報Ａは、撮影画像内の当該着目被写体の位置に合成表示される。

図１（ａ）は、タブレット端末装置１側において着目被写体のＣ部品Ｐ３の位置にその付加情報Ａが合成表示された場合の合成画像を示している。また、図１（ｃ）は、本部側ＰＣ２に送信されて表示された当該合成画像を示している。このように現場と本部側には共通の撮影画像がそれぞれ表示される。また、図中、（ｂ）、（ｄ）は、タブレット端末装置１の移動や傾きによってカメラの撮影方向が変更された場合の撮影画像（合成画像）を示している。すなわち、図１（ａ）、（ｃ）に示すような合成画像が表示されている状態において、タブレット端末装置１の移動や傾きによってカメラの撮影方向が変更されると、撮影画像内の被写体（Ｃ部品Ｐ３）の位置もそれに応じて変化するようになるが、図１（ｂ）、（ｄ）は、このＣ部品Ｐ３の位置変化に応じて付加情報Ａの表示位置が変更されて合成表示された場合の合成画像を示している。

図２は、タブレット端末装置１の基本的な構成要素を示したブロック図である。
ＣＰＵ１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのタブレット端末装置１の全体動作を制御する中央演算処理装置である。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図４及び図５に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、このタブレット端末装置１が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１３ｂなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部１４には、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、撮影を指示するシャッターキー、撮影モード（動画モード、連写モードなどのほか、合成撮影モード）と再生モードとを切り替えるモード切替キーなどが備えられている。ここで、合成撮影モードとは、例えば、上述したように現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行う際に、撮影画像内の着目被写体（着目対象物）の位置にその被写体に関する付加情報Ａを合成して表示する動作モードである。

タッチ表示部１５は、表示パネル１５ａにタッチパネル１５ｂを積層配設した構成で、表示パネル１５ａは、縦横比の異なる画面を有した高精細液晶ディスプレイであり、上述の撮影モード時には撮影画像（ライブビュー画像）を表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。タッチパネル１５ｂは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。

なお、タッチ操作とは、指やペンなどでタッチパネル１５ｂ上を接触したり、接触移動したりする接触操作に限らず、その接触操作に近似する操作として、例えば、指やペンを接近あるいは接近移動による静電容量変化や明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、接触型タッチパネル上での接触操作の場合を例示している。

カメラ部１６は、静止画像のほかに動画撮影も可能なデジタルカメラを構成するもので、図示省略したが、撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有し、撮影レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることによりその被写体を高精細に撮影可能となっている。なお、このカメラ部１６には、自動露出調整機能、自動焦点調整機能、ズーム機能など、各種の機能が備えられている。無線ＬＡＮ（Local Area Network）通信部１７は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットに接続可能となっている。

モーションセンサ１８は、３次元空間上のタブレット端末装置１の動きや姿勢を検出するセンサで、例えば、図示省略したが、３次元空間の３軸方向（Ｘ・Ｙ・Ｚ方向）における加速度を検出する加速度センサと、地球上の方位を検出する方位センサ（地磁気センサ）と、角速度を検出して傾きを検出するジャイロセンサ（各速度センサ）を有する構成となっている。このモーションセンサ１８の出力結果に基づいてＣＰＵ１１は、タブレット端末装置１の移動や姿勢の変化によりカメラ部１６の撮影方向が変化した場合に、その変化量を検出するようにしている。

図３は、モーションセンサ１８によって検出されるタブレット端末装置１の移動や傾きを示した図である。図３（１）は、水平方向（左右方向：Ｘ方向）、奥行方向（前後方向：Ｙ方向）、垂直方向（上下方向：Ｚ方向）の３次元空間上において、上述した付加情報Ａが合成表示された時点のタブレット端末装置１の撮影位置を基準として、タブレット端末装置１が水平方向（左右方向）、奥行方向（前後方向）、垂直方向（上下方向）に移動した場合に、モーションセンサ１８によってタブレット端末装置１の移動量（単位：ｍｍ）が検出されることを示している。図３（２）は、３次元空間上において、上述した付加情報Ａが合成表示された時点のタブレット端末装置１の撮影方向を基準として、タブレット端末装置１が傾いた場合に、モーションセンサ１８によって検出される傾き量として、水平方向と奥行方向とが成す水平角度（α°）と、奥行方向と垂直方向とが成す垂直角度（β°）を示している。

上述の合成撮影モード時において、タッチ表示部１５に撮影画像（ライブビュー画像）が表示されている状態において、ＣＰＵ１１は、モーションセンサ１８の出力結果に基づいてタブレット端末装置１が移動したか及び傾いたか（カメラ部１６の撮影方向が変更されたか）を判別するようにしている。ここで、タブレット端末装置１が移動したり傾いたりしてカメラ部１６の撮影方向が変更されたときには、タッチ表示部１５のライブビュー画面に表示されている撮影画像（ライブビュー画像）内の被写体の表示位置も変化するようになるので、その被写体の表示位置の変化に応じて、それに対応付けられている付加情報Ａの表示位置も合わせて変更するようにしている。この場合、ＣＰＵ１１は、表示パネル１５ａの画面サイズ、そのドットピッチ、カメラ部１６の画角を考慮して、付加情報Ａの新たな表示位置を算出し、その算出位置に付加情報Ａを合成表示させるようにしている。

次に、第１実施形態におけるタブレット端末装置１の動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図４及び図５は、タブレット端末装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図４及び図５のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図４及び図５は、上述したモード切替キーの操作により合成撮影モードに切り替えられた際に実行開始される動作を示したフローチャートである。
いま、現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行うために、合成撮影モードに切り替えられると、タブレット端末装置１のＣＰＵ１１は、カメラ部１６を動作させて撮影を開始させる（図４のステップＡ１）。そして、カメラ部１６から撮影画像を取得してタッチ表示部１５にプレビュー画像として表示させるプレビュー表示を開始すると共に（ステップＡ２）、この撮影画像（プレビュー画像）を相手端末である本部側ＰＣ２に送信する動作を開始する（ステップＡ３）。この場合、本部側ＰＣ２では、タブレット端末装置１からの撮影画像を受信して自己の画面に順次表示させる表示動作を開始する。

このように撮影画像がタッチ表示部１５にプレビュー画像として表示されている状態において、タッチ入力操作が行われたかを調べる（ステップＡ４）。ここで、合成撮影モードにおいてタッチ入力操作は、プレビュー画面上において上述の付加情報（描画情報あるいはタグ情報）Ａを入力するために行われるもので、タッチ入力操作が行われなければ（ステップＡ４でＮＯ）、つまり、付加情報Ａが入力されなければ、ステップＡ５に移り、プレビュー画面内に付加情報Ａが合成表示されているかを調べる。いま、合成撮影モードに切り替えた最初の時点では、いずれの付加情報Ａも表示されていないので（ステップＡ５でＮＯ）、図５のステップＡ１６に移り、上述した合成撮影モードが解除されてその撮影モードが終了したかを調べる。ここで、合成撮影モードのままであれば（ステップＡ１６でＮＯ）、図４のステップＡ４に戻ってタッチ入力有無をチェックする。

プレビュー画面上で付加情報（描画情報あるいはタグ情報）Ａを入力するためのタッチ入力操作が行われると（ステップＡ４でＹＥＳ）、そのタッチ入力操作は描画情報の入力操作であるかを調べる（ステップＡ６）。ここで、現場の修理担当者は、例えば、図１に示すように撮影画像内の各被写体（Ａ部品Ｐ１、Ｂ部品Ｐ２、Ｃ部品Ｐ３、Ｄ部品Ｐ４）のうち、修理対象の部品あるいは問い合わせ対象の部品を明示するために、その部品（例えば、Ｃ部品Ｐ３）を着目被写体として、その着目被写体を囲むように付加情報Ａを描画すると、ステップＡ６では描画情報を入力するためのタッチ入力操作であると判断する。

このようにプレビュー画面（タッチ入力画面）上に任意の付加情報（図１の例では円形のマーク）Ａが描画されると、ＣＰＵ１１は、その描画情報を着目被写体に関する付加情報Ａとして取り込み、その着目被写体（Ｃ部品Ｐ３）の位置に合成表示させる（ステップＡ７）。そして、この付加情報Ａの表示位置を検出してその表示位置をワークメモリ１３ｂに一時記憶させると共に（ステップＡ９）、モーションセンサ１８の出力結果を取得して後述する移動基準値としてワークメモリ１３ｂに一時記憶させる処理を行う（ステップＡ１０）。

また、タッチ入力操作が描画情報を入力する操作でなければ（ステップＡ６でＮＯ）、タッチ入力操作は、予め用意されている複数種のタグ情報の中からユーザが任意のタグ情報を選択するタグ選択操作であると判断して、次のステップＡ８に移る。このステップＡ８では、タグ選択操作によって選択されたタグ情報を着目被写体の付加情報Ａとして、その着目被写体の位置に合成表示させる処理を行うもので、タグ選択操作が行われた後に着目被写体上の位置をタッチする被写体選択操作が行われると、タグ選択操作で選択されたタグ情報を着目被写体上の位置に合成表示させる。

図７は、付加情報Ａとして選択されたタグ情報を撮影画像内に合成表示された場合の表示状態を例示した図である。
図示の例は、プレビュー画面内の右端部に３種類（円形、四角、三角）マークをタグ選択候補として配列表示させた状態を示している。このタグ候補の中から任意の候補の位置、例えば、“三角形”マークの位置がタッチされると、この“三角形”マークのタグ情報が着目被写体（Ｂ部品Ｐ３）の付加情報Ａとして合成表示される。そして、ＣＰＵ１１は、この付加情報Ａの表示位置をワークメモリ１３ｂに一時記憶させると共に（ステップＡ９）、モーションセンサ１８の出力結果を取得して後述する移動基準値としてワークメモリ１３ｂに一時記憶させる（ステップＡ１０）。

このようにして付加情報Ａを合成表示させた後は、図５のステップＡ１１に移り、モーションセンサ１８の出力結果を取得する。そして、上述した付加情報Ａを合成表示させた時点のモーションセンサ１８の出力結果（ワークメモリ１３ｂに一時記憶されている値）を移動基準値として、３次元空間上のタブレット端末装置１の移動や傾きからカメラ部１６の撮影方向に変化があるかを調べる（ステップＡ１２）。すなわち、付加情報Ａを合成表示させた時点を基準として撮影方向が変化しているかをタブレット端末装置１の移動や傾きに基づいてチェックする。

ここで、カメラ部１６の撮影方向に変化がなければ（ステップＡ１２でＮＯ）、合成撮影モードが解除されてその撮影モードが終了したかを調べ（ステップＡ１５）、合成撮影モードのままであれば（ステップＡ１５でＮＯ）、図４のステップＡ４に戻り、タッチ入力有無をチェックする。また、カメラ部１６の撮影方向に変化があれば（ステップＡ１２でＹＥＳ）、撮影画像（プレビュー画像）内での着目被写体の位置変化にその付加情報Ａを追従させるためにその付加情報Ａの表示位置を補正する処理を行う（ステップＡ１３）。

図６は、付加情報Ａの表示位置補正処理（図５のステップＡ１３）を詳述するためのフローチャートである。
図６は、着目被写体の位置変化に応じてその付加情報Ａを追従させるために表示パネル１５ａの画面サイズ、ドットピッチ、カメラ部１６の画角を考慮して付加情報Ａの表示位置を算出する処理であり、図８に示した具体例に応じた補正処理を示している。図８は、画面サイズなどを具体的に示した図で、画面サイズを“３２０×２４０ドット”、ドットピッチを“１ドット／ｍｍ”、カメラ画角を“５０°”とし、表示パネル１５ａの画面の中央部を二次元座標の原点（０、０）とした場合に、その画面の四隅の位置座標、すなわち、左上座標は（−１５９．１２０）、右上座標は（１６０．１２０）、左下座標は（−１５９．−１１９）、右下座標は（１６０．−１１９）となる。なお、図中、（ａ、ｂ）は、付加情報Ａの表示位置を示している。

この場合、ＣＰＵ１１は、タブレット端末装置１の移動量や傾きに応じた撮影方向の変化量を画面上の変化量に換算して、ワークメモリ１３ｂに一時記憶されている付加情報Ａの表示位置（元の表示位置）に加算することにより付加情報Ａの表示位置を更新して新たな表示位置に補正する処理を行う。すなわち、先ず、ＣＰＵ１１は、付加情報Ａを合成表示させた時点の付加情報Ａの表示位置（ａ．ｂ）をワークメモリ１３ｂから読み出すと共に（ステップＢ１）、付加情報Ａを合成表示させた時点のモーションセンサ１８の出力結果（ワークメモリ１３ｂに一時記憶されている移動基準値）を読み出す（ステップＢ２）。

そして、３次元空間上の移動差分（移動量）として、水平方向の移動距離（ΔＸｍｍ）、垂直方向の移動距離（ΔＺｍｍ）、奥行方向の移動距離（ΔＹｍｍ）、水平角度（Δα°）、垂直角度（Δβ°）を算出（ステップＢ３）した後、水平方向の補正として、「ａ＝ａ＋ΔＸ」の計算（ステップＢ４）、垂直方向の補正として、「ｂ＝ｂ＋ΔＹ」の計算（ステップＢ５）、奥行方向の補正として、「ａ＝ａ、ｂ＝ｂ」の計算を行う（ステップＢ６）。更に、水平角度を考慮して「ａ＝ａ（１６０×Δα）／２５」の計算（ステップＢ７）、垂直角度を考慮して「ｂ＝ｂ（１２０×Δβ）／２５」の計算を行う（ステップＢ８）。なお、上述の“２５”は、１／２×カメラ画角を示している。

このような補正処理（図５のステップＡ１３）が終わると、補正した新たな表示位置（ａ．ｂ）に付加情報Ａを合成表示させる（ステップＡ１４）。これによってプレビュー画面の内容は、例えば、図１（ａ）の状態から（ｂ）の状態に変更される。以下、合成撮影モードが解除されてその撮影モードが終了するまで（ステップＡ１５）、上述の動作が繰り返される。いま、ユーザ操作により合成撮影モードの終了が指示されると（ステップＡ１５でＹＥＳ）、撮影動作及びプレビュー表示動作を終了させる処理（ステップＡ１６）を行った後、図４及び図５のフローから抜ける。

以上のように、第１実施形態においてタブレット端末装置１のＣＰＵ１１は、タッチ表示部１５に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報Ａを当該画像内に合成表示させると共に、その着目対象物の位置変化を検出した際にその着目対象物の位置変化に応じて付加情報Ａの表示位置を変更してその付加情報Ａを当該画像内に合成表示させるようにしたので、画像内の着目対象物に情報を付加した場合にその画像内で着目対象物の位置が変化したとしても付加情報Ａをそれに追従させることができ、常に着目対象物と付加情報Ａとの対応関係を維持することが可能となる。

カメラ部１６により撮影された撮影画像がタッチ表示部１５に表示されている状態において、その撮影画像内の着目被写体（着目対象物）に対応付けてその被写体に関する付加情報Ａを当該撮影画像内に合成表示するようにしたから、ユーザにあっては被写体を撮影しながらその被写体に関する付加情報Ａを確認することができる。

カメラ部１６による撮影方向の変化を検出することによって撮影画像内での被写体の位置変化を検出するようにしたので、ユーザにあっては撮影中にその撮影方向が変化して撮影画像内の被写体位置が変化したとしてもその変化に付加情報Ａを追従させることができる。

モーションセンサ１８によりタブレット端末装置１の移動や傾きを検出することによりカメラ部１６の撮影方向の変化を検出するようにしたので、撮影方向の変化を容易かつ確実に検出することが可能となる。

タッチ表示部１５に撮影画像が表示されている状態において、その撮影画像内の着目被写体に対応付けて任意に描画された情報をその被写体に関する付加情報Ａとして当該画像内に合成表示するようにしたので、ユーザが所望する自由な情報を付加情報Ａとしてその場で容易に入力することができる。

タッチ表示部１５に複数のタグ情報が配置表示されている状態において、その中からユーザ操作により任意に選択されたタグ情報を着目被写体に関する付加情報Ａとして当該画像内に合成表示するようにしたので、たとえ複雑な付加情報Ａであってもタグ選択操作を行うだけで容易に付加することができる。

ユーザ操作によって任意に指定された被写体を着目被写体としてその位置に付加情報Ａを合成表示するようにしたので、着目被写体を適宜選択して付加情報Ａを合成表示させることができる。

付加情報Ａを合成表示させた際にその付加情報Ａの表示位置をワークメモリ１３ｂに一時記憶しておき、この表示位置を着目対象物の位置変化に応じて補正することで付加情報Ａの表示位置を変更するようにしたので、その変更が容易となる。

着目被写体に対応付けて付加情報Ａを合成した撮影画像を、通信相手の本部側ＰＣ２に送信するようにしたので、付加情報を合成した撮影画像を現場と本部側で共有することができる。

なお、上述した第１実施形態においては、電気製品を訪問修理する現場側のタブレット端末装置１と本部側ＰＣ２との間で業務連絡を行う場合の業務連絡システムに適用した場合を示したが、これに限らないことは勿論である。また、被写体としては、例えば、人物、ペット、商品、建物などを被写体とする場合であってもよい。また、付加情報Ａとしては、任意に手書き描画されたマーク・記号・文字などの描画情報、あるいは予め用意されている文字列や記号などのタグ情報に限らず、キー操作により入力された情報などであってもよい。

（第２実施形態）
以下、この発明の第２実施形態について図９〜図１３を参照して説明する。
なお、上述した第１実施形態においては、カメラ部１６からの撮影画像をプレビュー画面に表示している状態において、カメラ部１６の撮影方向の変化に応じて着目被写体の位置変化を検出すると共に、その位置変化に応じて付加情報Ａの表示位置を変更するようにしたが、この第２実施形態においては、動画（撮影画像）の再生中にその画像を解析しながら着目対象物（後述する登録人物）を認識してその位置変化を検出すると共に、この位置変化に応じて付加情報Ａの表示位置を変更するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

第１実施形態においては、現場と本部との間での業務連絡を行う場合の通信システム（業務連絡システム）を例示したが、この第２実施形態においては、例えば、友人や知人に対して自己の家族などを紹介する場合の通信システム（人物紹介システム）に適用した場合を示したもので、再生中の動画（撮影画像）内に家族などの登録人物（着目対象物）が登場した際に、その人物を紹介するための付加情報Ａを再生画面内に合成表示させると共に、その合成画像を相手側端末（図示省略）に対して送信するようにしたものである。

図９は、記憶部１３内に設けられた人物紹介テーブルＰＴを説明するための図である。
人物紹介テーブルＰＴは、動画再生中に登場する人物を友人や知人などに紹介するためのテーブルであり、「キー画像」、「付加情報」の項目を有し、その内容はユーザ操作によって予め任意に設定された情報である。「キー画像」は、例えば、家族を構成する各人の顔画像あるいはその特徴部分の画像であり、動画再生中に家族が登場したか否かを検索するためのキーとして使用される。「付加情報」は、複数の項目を有し、例えば、その先頭項目から“名前”、“趣味”、“職業”などの人物紹介情報であり、各項目はユーザ操作による任意のタイミング、あるいは一定時間毎のタイミングで項目（１）、（２）、（３）の順序で選択指定されて再生画面内に順次合成表示される。

図１０〜図１２は、第２実施形態において、人物紹介モードに切り替えられた際に実行開始される動作を示したフローチャートである。
この人物紹介モードは、友人や知人に自己の家族などを紹介するための再生モードであり、上述のモード切替キーの操作により再生モードの一つとして人物紹介モードに切り替え可能となっている。この人物紹介モードに切り替えられると、タブレット端末装置１のＣＰＵ１１は、タッチ表示部１５に動画一覧を表示させて再生対象の動画を任意に選択可能な状態とし、その一覧の中からユーザ操作によって再生対象が選択されると（図１０のステップＣ１）、選択された動画の再生動作を開始する（ステップＣ２）。そして、再生開始した動画を相手側端末（図示省略）に送信する動作を開始する（ステップＣ３）。この場合、相手側端末では、タブレット端末装置１から受信した動画を自己の画面に順次表示させる動作を開始する。

次に、人物紹介モードが解除されてそのモードが終了したかを調べるが（ステップＣ４）、人物紹介モードのままであれば（ステップＣ４でＮＯ）、再生中の画像を解析しながら（ステップＣ５）、人物の画像部分を検出する（ステップＣ６）。この場合、人物の構成部位（頭、顔、目、鼻、手、足など）の形状、大きさ、配列関係などを総合的に判断して人物の画像部分（全身像、半身像、顔画像のいずれか）を検出するようにしているが、その検出の仕方は任意である。いま、人物の画像部分を検出できなければ、つまり、人物が含まれていなければ（ステップＣ７でＮＯ）、ステップＣ４に戻り、以下、画像を解析しながら人物の画像部分を検出するまで上述の動作を繰り返す。

一方、画像内に人物が含まれていてその人物の画像部分を検出したときには（ステップＣ７でＹＥＳ）、その人物の画像部分に基づいて人物紹介テーブルＰＴの「キー画像」を参照し（ステップＣ８）、いずれかの「キー画像」に該当しているか、つまり、人物紹介テーブルＰＴに登録されている登録人物（着目対象物）が再生中の画像内に含まれているか（人物を特定することができたか）を調べる（ステップＣ９）。なお、再生中の画像内に複数の人物が含まれている場合にはその人物毎に人物紹介テーブルＰＴを参照しながら登録人物であるかを調べる動作を繰り返す。

いま、再生中の画像内に登録人物が含まれていれば（ステップＣ１０でＹＥＳ）、再生画面に表示中の付加情報Ａのうち、登録人物以外の付加情報（再生画面から外れた退場人物の付加情報）Ａを全て消去する（ステップＣ１０）。そして、図１１のステップＣ１４に移り、特定した登録人物の中からその一人を指定した後、その人物に対応して付加情報Ａが表示されているかを調べ（ステップＣ１５）、付加情報Ａが表示されていなければ（ステップＣ１５でＮＯ）、その人物の登場時であると判断して、その人物に付加情報Ａを新たに合成表示させる処理に移る（ステップＣ１６〜Ｃ２０）。

先ず、人物紹介テーブルＰＴを参照し（ステップＣ１６）、その特定人物（登録人物）に対応付けられている付加情報Ａを読み出して（ステップＣ１７）、その登録人物の表示位置に合成表示させる（ステップＣ１８）。この場合、複数項目の付加情報Ａの中から最初はその先頭項目の付加情報Ａを読み出してその登録人物の表示位置に合成表示させる。図１３（１）は、登録人物の表示位置に付加情報Ａを合成表示させた場合を例示した図である。図示の例では、登録人物として再生画面に“人物Ｘ”及び“人物Ｙ”が登場した場合を示し、この“人物Ｘ”に対応して先頭項目の付加情報Ａとして“名前は・・・です”が表示され、また、“人物Ｙ”に対応して先頭項目の付加情報Ａとして“名前は・・・です”が表示された場合を示している。そして、この付加情報Ａの表示位置をワークメモリ１３ａに一時記憶させると共に（ステップＣ１９）、登録人物の表示位置をワークメモリ１３ａに一時記憶させる（ステップＣ２０）。

その後、登録人物のうち、指定していない未指定の人物の有無、つまり、登録人物を全て指定し終わったかを調べ（ステップＣ２１）、未指定の登録人物が残っていれば（ステップＣ２１でＮＯ）、上述のステップＣ１４に戻って次の登録人物を指定し、以下、同様の動作を行う。一方、指定した人物に付加情報Ａが表示されていれば（ステップＣ１５でＹＥＳ）、図１２のフローに移り、当該登録人物の表示位置を検出すると共に（ステップＣ２２）、付加情報Ａを新たに合成表示させた際の登録人物の表示位置をワークメモリ１３ａから読み出し、今回の検出した表示位置と比較することによって（ステップＣ２３）、再生画面内で当該登録人物が移動したかを調べる（ステップＣ２４）。

ここで、登録人物が移動していなければ（ステップＣ２４でＮＯ）、後述するステップＣ３０に移るが、登録人物の移動を検出したときには（ステップＣ２４でＹＥＳ）、再生画面上での当該登録人物の移動量及び移動方向を算出する処理を行うと共に（ステップＣ２５）、付加情報Ａを新たに合成表示させた際の付加情報Ａの表示位置をワークメモリ１３ａから読み出し、その表示位置を算出した移動量及び移動方向に応じて補正する処理を行う（ステップＣ２６）。なお、移動量及び移動方向の算出は、例えば、再生画面の中心部を原点とする座標系上において移動量及び移動方向を算出するが、その算出の仕方は任意である。

これによって付加情報Ａの表示位置を補正する処理を行うと、その補正位置は、画面から外れたか、あるいは画面の端部であるかを調べ（ステップＣ２７）、画面外あるいは画面端部でなければ（ステップＣ２７でＮＯ）、この補正位置に付加情報Ａを合成表示させるが（ステップＣ２９）、付加情報Ａの補正位置が画面外あるいは画面端部であれば（ステップＣ２７でＹＥＳ）、この補正位置が画面の中央寄りとなるように補正位置を再度補正する処理（ステップＣ２８）を行った後、この補正位置に付加情報Ａを合成表示させる（ステップＣ２９）。例えば、図１３（２）において登録人物“人物Ｙ”が再生画面の端部に移動してその人物の一部が表示されている場合に、その“人物Ｙ”の移動に追従させて付加情報Ａをそのまま移動すると、付加情報Ａが画面から外れてしまうために付加情報Ａが画面から外れてしまうために、付加情報Ａの表示位置が再生画面の中央寄りとなるようにその位置を再補正する。

次に、付加情報Ａを自動的に切り替えるタイミングであるかを調べたり（ステップＣ３０）、ユーザ操作により付加情報Ａを任意に切り替える操作が行われたかを調べたりする（ステップＣ３１）。すなわち、付加情報Ａを新たに合成表示させてから一定時間（例えば、５秒）が経過したか（付加情報Ａの切り替えタイミングになったか）を表示中の全ての付加情報Ａに対して調べたり、タッチ画面上でのタッチ操作によって任意の付加情報Ａがタッチ指定されたか（ユーザ操作により付加情報Ａの切り替えが指示されたか）を調べたりする。

いま、付加情報Ａの切り替えタイミングを検出したとき（ステップＣ３０でＹＥＳ）、あるいは切り替え操作を検出したときには（ステップＣ３１でＹＥＳ）、その付加情報Ａの各項目のうち、現在表示されている項目の次の項目を人物紹介テーブルＰＴから読み出して切り替え表示させる（ステップＣ３２）。例えば、図１３（１）、（２）に示すように登録人物“人物Ｘ”の付加情報Ａは、“名前は・・・です”から“趣味は・・・です”に変更され、登録人物“人物Ｙ”の付加情報Ａは、“名前は・・・です”から“職業は・・・です”に変更される。以下、図１１のステップＣ２１に戻り、登録人物を全て指定し終わるまで上述の動作（図１１のステップＣ１４〜Ｃ２０、あるいは図１２のステップＣ２２〜Ｃ３２）を繰り返す。

これによって登録人物を全て指定し終わると（ステップＣ２１でＹＥＳ）、図１０のステップＣ４に戻る。ここで、人物紹介モードが継続されていれば（ステップＣ４でＮＯ）、上述のように画像を解析しながら登録人物が含まれているかを検出する処理を行うが（ステップＣ５〜Ｃ９）、登録人物を特定できなかったときには（ステップＣ９でＮＯ）、再生画面内に付加情報Ａが表示されているかを調べ（ステップＣ１１）、付加情報Ａが表示されていれば（ステップＣ１１でＹＥＳ）、その付加情報Ａの表示を消去（ステップＣ１２）した後、上述のステップＣ４に戻る。また、人物紹介モードが解除されてその終了が指示されたときには（ステップＣ４でＹＥＳ）、再生動作及び表示動作を終了（ステップＣ１３）させた後、図１０〜図１２のフローから抜ける。

以上のように、第２実施形態においてＣＰＵ１１は、再生対象の画像（動画）を解析しながら画像内の人物（着目対象物）を認識してその位置を追跡検出することによりその人物の当該画像内での位置変化を検出し、この位置変化に応じて付加情報Ａの表示位置を変更するようにしたので、特別なセンサなどを要せずに人物の位置変化を検出できると共に、画像内での人物の動きに付加情報Ａを追従させることができ、常に人物と付加情報Ａとの対応関係を維持することが可能となる。

ＣＰＵ１１は、画像内に複数の人物が含まれている場合に各人物の位置を追跡検出することにより複数の人物の中から位置が変化した人物を特定してその位置変化を検出し、この位置変化に応じて付加情報Ａの表示位置を変更するようにしたので、画像内に含まれている複数の人物のうち、動いている人物だけに追従させてその付加情報Ａを移動させることができる。

ＣＰＵ１１は、画像を解析することによって人物を特定すると共に、その人物に対応する付加情報Ａを人物紹介テーブルＰＴから読み出して、その人物に対応付けて合成表示させるようにしたので、ユーザ操作によらず、予め用意されている付加情報Ａを容易に合成表示させることができる。

画像の解析により複数の人物を特定した場合に、その人物毎に人物紹介テーブルＰＴから対応する付加情報Ａを読み出して合成表示させる動作を繰り返すようにしたので、画像内に複数の人物が含まれている場合でも、それぞれに付加情報Ａを表示させることができる。

人物紹介テーブルＰＴは、人物毎に複数項目の付加情報Ａが記憶されている状態において、ＣＰＵ１１は、人物紹介テーブルＰＴから複数項目の付加情報Ａを順次読み出して合成表示させるようにしたので、視認者にあっては人物毎に複数項目の付加情報Ａを順次確認することができ、サイズの小さい画面であっても多くの情報を確認することが可能となる。

ＣＰＵ１１は、付加情報Ａの表示位置を変更することによってその変更後の位置が再生画面内から外れた場合に、その人物の一部が画面内に存在していることを条件に当該付加情報Ａが画面内に収まるようにその表示位置を再変更するようにしたので、人物の一部が画面から外れてしまってもその付加情報Ａを見やすい位置に表示させることができる。

また、人物に対応付けて付加情報を合成した合成画像を、相手端末に送信するようにしたので、付加情報Ａを合成した画像を相手側と共有することができる。

なお、上述した第２実施形態においては、動画（撮影画像）を再生する場合を例示したが、動画（撮影画像）の再生に限らず、テレビ放送を受信してそのテレビ映像を解析しながら予め登録されている登録人物（例えば、好みの歌手、選手など）を検出すると共に、その登録人物を検出した際にその人物に対応付けて予め用意されている付加情報Ａを読み出して合成表示するようにしてもよい。

また、上述した第２実施形態においては、登録人物が画像内に登場した際にその登録人物を着目対象物としたが、登録人物以外の人物（未知の人物）が登場した際に、未知であることを知らせる付加情報Ａを合成表示させるようにしてもよい。また、人物に限らず、例えば、ペット、乗り物などであってもよい。また、付加情報Ａとしては、任意に手書き描画されたマーク・記号・文字などの描画情報などであってもよい。

上述した各実施形態においては、画像表示装置としてタブレット端末装置１に適用した場合を例示したが、それに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、デジタルカメラ、音楽プレイヤー、電子ゲーム、テレビ受像機、投影機などであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
表示部に画像を表示する画像表示装置であって、
前記表示部に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報を当該画像内に合成表示する第１の表示制御手段と、
前記画像内での着目対象物の位置変化を検出する検出手段と、
前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第２の表示制御手段と、
を備えたことを特徴とする画像表示装置である。
（請求項２）
請求項２に記載の発明は、請求項１記載の画像表示装置において、
画像を撮影する撮影手段を更に備え、
前記第１の表示制御手段は、前記撮影手段により撮影された撮影画像が前記表示部にライブビュー画像として表示されているライブビュー画面上において、その撮影画像内の着目対象物である着目被写体に対応付けてその被写体に関する付加情報を当該撮影画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像表示装置において、
前記検出手段は、前記撮影手段による撮影方向の変化を検出することによって前記撮影画像内での前記被写体の位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像表示装置において、
前記検出手段は、少なくとも左右方向への移動、上下方向への移動、左右方向への傾き、前後方向への傾きのいずれかを検出することにより前記撮影手段による撮影方向の変化を検出する、
ようにしたことを特徴とする画像表示装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の画像表示装置において、
前記検出手段は、前記画像を解析しながら着目対象物を認識してその位置を追跡検出することによりその対象物の当該画像内での位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像表示装置において、
前記検出手段は、前記画像内に複数の着目対象物が含まれている場合に各着目対象物の位置を追跡検出することにより複数の着目対象物の中から位置が変化した着目対象物を特定してその位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の画像表示装置において、
前記表示部は、タッチ入力が可能なタッチ画面を備えたタッチ表示手段であり、
前記第１の表示制御手段は、前記タッチ表示手段のタッチ画面内に画像が表示されている状態において、前記タッチ画面内の着目対象物に対応付けて任意に描画された情報をその着目対象物に関する付加情報として当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の画像表示装置において、
前記第１の表示制御手段は、前記表示部の画面内に複数のタグ情報が配置表示されている状態において、前記表示部の画面内に配置表示されている複数のタグ情報のうち、前記画像内の着目対象物に対応付けてユーザ操作により任意に選択されたタグ情報をその対象物に関する付加情報として当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項８のいずれかに記載の画像表示装置において、
前記第１の表示制御手段は、ユーザ操作によって任意に指定された着目対象物に対応付けて前記付加情報を当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれかに記載の画像表示装置において、
前記付加情報の表示位置を一時記憶する記憶手段を更に備え、
前記第２の表示制御手段は、前記一時記憶されている付加情報の表示位置を前記検出手段によって検出された前記着目対象物の位置変化に応じて補正することにより前記付加情報の表示位置を変更する、
ようにしたことを特徴とする画像表示装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１に記載の画像表示装置において、
予め着目対象物に対応付けてその対象物に関する付加情報を記憶する付加情報記憶手段を更に備え、
前記第１の表示制御手段は、前記画像を解析することによって着目対象物を特定すると共に、その対象物に対応する前記付加情報を前記付加情報記憶手段から読み出して、該当対象物に対応付けて当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１１に記載の画像表示装置において、
前記付加情報記憶手段は、複数の着目対象物に対応付けてその個々の対象物に関する付加情報をそれぞれ記憶し、
前記第１の表示制御手段は、前記画像を解析することによって複数の着目対象物を特定した場合に、その着目対象物毎に前記付加情報記憶手段から対応する付加情報を読み出して合成表示させる動作を繰り返す、
ようにしたことを特徴とする画像表示装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１１あるいは請求項１２に記載の画像表示装置において、
前記付加情報記憶手段は、着目対象物毎に複数項目の付加情報をそれぞれ記憶し、
前記第１の表示制御手段は、前記特定した着目対象物に対応する複数項目の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、該当対象物に対応付けて順次合成表示する、
ようにしたことを特徴とする画像表示装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１〜請求項１３のいずれかに記載の画像表示装置において、
前記第２の表示制御手段により前記着目対象物の位置変化に応じて前記付加情報の表示位置を変更することによってその変更後の位置が前記表示部の画面内から外れた場合には、少なくともその対象物の一部が前記表示部の画面内に存在していることを条件に当該付加情報が前記画面内に収まるようにその表示位置を再変更する、
ようにしたことを特徴とする画像表示装置である。
（請求項１５）
請求項１５に記載の発明は、請求項１〜請求項１４のいずれかに記載の画像表示装置において、
着目対象物に対応付けて前記付加情報を合成させた画像を、通信相手側の外部表示装置に対して送信する送信手段を更に備える、
ようにしたことを特徴とする画像表示装置である。
（請求項１６）
請求項１６に記載の発明は、
コンピュータに対して、
表示部に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報を当該画像内に合成表示する機能と、
前記画像内での着目対象物の位置変化を検出する機能と、
前記検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する機能と、
を実現させるためのプログラムである。

１ タブレット端末装置
２ 通信相手の本部側ＰＣ
３ 公衆通信網
１１ ＣＰＵ
１３ 記憶部
１３ａ プログラムメモリ
１３ｂ ワークメモリ
１４ 操作部
１５ タッチ表示部
１６ カメラ部
１７ 無線ＬＡＮ通信部
１８ モーションセンサ
ＰＴ 人物紹介テーブル

本発明の課題は、表示画面内の画像上に付加されて合成表示される情報の表示位置を、自動的に変更して合成表示させることである。

請求項１は、表示画面に画像を表示する画像表示装置であって、前記表示画面内に表示される画像上の任意の表示位置に所定情報が付加された際は、その付加された所定情報を当該画像内において合成表示する第１制御手段と、当該装置本体の移動又は傾きを検出する検出手段と、前記表示画面上に前記所定情報が合成表示されている状態にあって、前記検出手段による当該装置本体の移動又は傾きを検出した際は、その移動又は傾きに応じて前記表示画面内における前記所定情報の表示位置を変更して、その表示位置の変更された前記所定情報を当該表示画面内にその時に表示される画像内において合成表示し直すよう制御する第２制御手段と、を具備したことを特徴とする。
請求項６は、表示画面に画像を表示する画像表示装置であって、撮影手段で撮影された画像が表示される前記表示画面内の任意の表示位置に所定情報が付加された際は、その付加された所定情報を当該画像内において合成表示する第１制御手段と、前記撮影手段による撮影方向の変化を検出する検出手段と、前記表示画面上に前記所定情報が合成表示されている状態にあって、前記検出手段による前記撮影方向の変化を検出した際は、その撮影方向の変化に応じて前記表示画面内における前記所定情報の表示位置を変更し、その表示位置の変更された前記所定情報を、当該表示画面内に表示される画像内において合成表示し直すよう制御する第２制御手段と、を具備したことを特徴とする。
請求項１１は、表示画面に画像を表示する画像表示装置であって、前記表示画面内の画像に含まれる対象物に対応付けられた第１情報を、前記表示画面内の画像に含まれる前記対象物の表示位置において合成表示する表示制御手段と、前記画像に含まれる前記対象物の表示位置の変化を検出する検出手段と、を具備し、前記表示制御手段は、前記表示画面内に前記第１情報が合成表示されている状態にあって、前記検出手段で検出された前記対象物の表示位置の変化を検出した際は、その変化に応じて前記表示画面内における前記第１情報の表示位置を変更して、その表示位置の変更された前記第１情報を前記表示画面内に表示される画像内において合成表示し直すよう制御し、前記第１情報を他の第２情報に切り替える際は、前記表示画面内の前記画像に含まれる前記対象物の表示位置に合成表示される前記第１情報に代えて、前記第２情報を切り替えて合成表示し直すよう制御する、 ことを特徴とする。

本発明によれば、表示画面内の画像上に付加されて合成表示される情報の表示位置を、自動的に変更して合成表示させることができる。

Claims (13)

1. 表示画面に画像を表示する画像表示装置であって、
   画像を撮影する撮影手段と、
   前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第１制御手段と、
   前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段と、
   前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第２制御手段と、
   を具備したことを特徴とする画像表示装置。
2. 前記位置変更手段は、前記撮影方向に変化による前記表示画面内における撮影画像の変化に合わせて前記付加情報の表示位置が追従するように、前記付加情報の表示位置を変更する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記位置変更手段は、前記表示画面内における前記付加情報の表示位置を前記撮影方向の変化とは逆方向に変化するようにその表示位置を変更する、
   ことを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記位置変更手段は、当該装置本体の少なくとも左右方向への移動、上下方向への移動、左右方向への傾き、前後方向への傾きのいずれかを検出することにより前記撮影手段による撮影方向の変化を検出する、
   ようにしたことを特徴とする請求項１〜３の何れかに記載の画像表示装置。
5. 前記付加情報の前記表示画像上における表示位置を一時記憶手段に一時記憶するよう制御する記憶制御手段と、
   を更に具備し、
   前記第１制御手段は、前記撮影手段で撮影されたライブビュー画像が表示される撮像画像内において前記合成表示を行い、
   前記位置変更手段は、前記一時記憶手段に記憶された前記付加情報の表示位置を前記撮影方向の変化に応じて変更し、
   前記第２制御手段は、表示位置の変更された前記付加情報を前記撮影手段で逐次撮影されるライブビュー撮影画像内に合成表示する、
   ことを特徴とする請求項１〜４の何れかに記載の画像表示装置。
6. 前記付加情報は、前記表示画像上の任意表示位置において任意に描画された描画情報、あるいは予め用意された複数のタグ情報の内で任意に選択されたタグ情報である、
   ことを特徴とする請求項１〜５の何れかに記載の画像表示装置。
7. 表示画面に画像を表示する画像表示装置であって、
   着目対象物毎にその対象物に関する複数項目の付加情報を記憶する付加情報記憶手段と、
   前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数項目の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第１制御手段と、
   前記画像内での着目対象物の位置変化を検出する検出手段と、
   前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第２制御手段と、
   を具備したことを特徴とする画像表示装置。
8. 表示画面に画像を表示する画像表示装置であって、
   前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられた特定対象物
   であれば、その複数の付加情報の内の一部の第１付加情報を読み出し、前記表示画面内における前記特定対象物の表示位置に対応付けて合成表示する第１制御手段と、
   前記表示画面内における前記特定対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第２制御手段と、
   を具備し、
   前記第１制御手段は、前記特定対象物に対応付けて記憶された前記複数の付加情報の内の他の第２付加情報に順次読み出し、前記表示画面内における前記特定対象物の表示位置に対応付けて順次合成表示する、
   ことを特徴とする画像表示装置。
9. 前記第１制御手段は、前記第２付加情報を、所定時間間隔あるいは所定の操作毎に順次読み出す、
   ことを特徴とする請求項８に記載の画像表示装置。
10. 前記第１制御手段は、順次読み出された前記第２付加情報を、前記表示画面内における前記特定対象物の表示位置に対応付けて順次切り替えて合成表示する
    ことを特徴とする請求項８又は９に記載の画像表示装置。
11. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    画像を撮影する撮影手段、
    前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第１制御手段、
    前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段、
    前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第２制御手段、
    として機能させるためのプログラム。
12. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    着目対象物毎にその対象物に関する複数の付加情報を記憶する付加情報記憶手段、
    前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第１制御手段、
    前記画像内での着目対象物の位置変化を検出する検出手段、
    前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第２制御手段、
    として機能させるためのプログラム。
13. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられる対象物であれば、その複数の付加情報の内の一部の第１付加情報を読み出し、前記表示画面内における前記対象物の表示位置に対応付けて合成表示する第１制御手段、
    前記表示画面内における前記対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第２制御手段、
    として機能させ、
    前記第１制御手段は、前記対象物に対応付けて記憶された前記複数の付加情報の内の他の第２付加情報に順次読み出し、前記表示画面内における前記対象物の表示位置に対応付けて順次合成表示する、
    ことを特徴とするプログラム。

Images