JP2016034138A - 画像表示装置及びプログラム - Google Patents

画像表示装置及びプログラム Download PDF

Info

Publication number
JP2016034138A
JP2016034138A JP2015208573A JP2015208573A JP2016034138A JP 2016034138 A JP2016034138 A JP 2016034138A JP 2015208573 A JP2015208573 A JP 2015208573A JP 2015208573 A JP2015208573 A JP 2015208573A JP 2016034138 A JP2016034138 A JP 2016034138A
Authority
JP
Japan
Prior art keywords
image
additional information
display
change
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015208573A
Other languages
English (en)
Other versions
JP6197849B2 (ja
Inventor
山根 一快
Kazuyoshi Yamane
一快 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015208573A priority Critical patent/JP6197849B2/ja
Publication of JP2016034138A publication Critical patent/JP2016034138A/ja
Application granted granted Critical
Publication of JP6197849B2 publication Critical patent/JP6197849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像内の着目対象物に情報を付加した場合にその画像内で着目対象物の位置が変化したとしてもその変化に付加情報を追従させることができるようにする。【解決手段】カメラ部の撮影方向に変化があれば(図5のステップA12でYES)、撮影画像(プレビュー画像)内での着目被写体(着目対象物)の位置変化に付加情報を追従させるためにその付加情報の表示位置を補正する処理を行い、付加情報の表示位置を更新して、新たな表示位置に補正する(ステップA13)。そして、プレビュー画面上において補正処理により求めた表示位置に付加情報を合成表示させる(ステップA14)。【選択図】 図5

Description

本発明は、画像を表示する画像表示装置及びプログラムに関する。
従来、携帯端末装置、テレビ受像機、パーソナルコンピュータなどのように画像を表示する画像表示装置において、撮影画像、テレビ映像、投影画像などの画像上に任意の情報(例えば、文字列、マークなど)を重ね合わせて合成表示する技術としては、例えば、講義用の画像に手書き画像を合成して表示するようにした技術(特許文献1参照)、あるいは投影スクリーン上で手書きされた画像を投影画像枠の変化に応じて合成表示することによって投影画像と手書き画像とのずれを防止するようにした技術(特許文献2参照)が存在している。
特開2007−60032号公報 特開2007−17543号公報
しかしながら、上述した各先行技術にあっては、画像に手書き情報を合成して表示するもので、画像と手書き情報とを対応付けて合成する技術であった。
ところで、人物などの被写体を撮影した場合に、その撮影画像内の被写体の位置に任意の情報を付加して合成表示するようにすれば、色々な楽しみ方や活用の仕方が増えるが、ライブビュー画像内の被写体に情報を対応付けて付加したとしても、カメラの向きが僅かにでも傾いてしまうと、被写体と付加情報との対応関係がずれてしまい、情報を付加した意図が損なわれてしまう可能性がある。このことは撮影画像に限らず、テレビ映像や投影画像などの画像であっても同様であり、画像内の人物に任意の情報を付加したとしても、画像内でその人物が移動してしまうと、被写体と付加情報との対応関係がずれてしまい、情報を付加した意図が損なわれてしまう可能性がある。
本発明の課題は、画像を表示する表示画面上の任意の位置に付加情報を付加した場合に、その表示画面内の画像が変化したとしてもその変化に付加情報を追従させることである。
請求項1は、表示画面に画像を表示する画像表示装置であって、画像を撮影する撮影手段と、前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第1制御手段と、前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段と、前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第2制御手段と、を具備したことを特徴とする。
請求項7は、表示画面に画像を表示する画像表示装置であって、着目対象物毎にその対象物に関する複数の付加情報を記憶する付加情報記憶手段と、前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第1制御手段と、前記画像内での着目対象物の位置変化を検出する検出手段と、前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第2制御手段と、を具備したことを特徴とする。
請求項8は、表示画面に画像を表示する画像表示装置であって、前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられる対象物であれば、その複数の付加情報の内の一部の第1付加情報を読み出し、前記表示画面内における前記対象物の表示位置に対応付けて合成表示する第1制御手段と、前記表示画面内における前記対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第2制御手段と、を具備し、前記第1制御手段は、前記対象物に対応付けて記憶された前記複数の付加情報の内の他の第2付加情報に順次読み出し、前記表示画面内における前記対象物の表示位置に対応付けて順次合成表示する、ことを特徴とする。
本発明によれば、画像を表示する表示画面上の任意の表示位置に付加情報を付加した場合に、その表示画面内の画像が変化したとしてもその変化に付加情報を追従させることができる。
電気製品を訪問修理する場合の現場側のタブレット端末装置1と本部側のパーソナルコンピュータ2との間での通信システム(業務連絡システム)を示した図。 タブレット端末装置1の基本的な構成要素を示したブロック図。 (1)、(2)は、モーションセンサ18によって検出されるタブレット端末装置1の移動や傾きを説明するための図。 モード切替キーの操作により合成撮影モードに切り替えられた際に実行開始される動作を示したフローチャート。 図4に続く動作を示したフローチャート。 付加情報の表示位置補正処理(図5のステップA13)を詳述するためのフローチャート。 付加情報として選択されたタグ情報を撮影画像内に合成表示された場合の表示状態を例示した図。 画面サイズとその画面上の座標系を例示した図。 第2実施形態において記憶部13内に設けられた人物紹介テーブルPTを説明するための図。 第2実施形態において、上述したモード切替キーの操作により人物紹介モードに切り替えられた際に実行開始される動作を示したフローチャート。 図10に続く動作を示したフローチャート。 図11に続く動作を示したフローチャート。 (1)、(2)は、第2実施形態において付加情報が合成表示された表示状態を例示した図。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施形態1)
先ず、図1〜図8を参照して本発明の第1実施形態を説明する。
本実施形態は、画像表示装置としてカメラ機能付きタブレット端末装置1に適用した場合を例示したもので、図1は、電気製品を訪問修理する場合の現場側のタブレット端末装置1と本部側のパーソナルコンピュータ(本部側PC)2との間で業務連絡を行う場合の通信システム(業務連絡システム)を示した図である。
タブレット端末装置1は、その全体が薄型の直方体で、例えば、A5サイズの携帯型情報端末装置であり、この業務連絡システムにおいては電気製品を訪問修理する修理担当者が所持するもので、タッチ入力表示機能、無線通信機能などの基本機能のほか、その背面側(タッチ入力画面の反対側)にはカメラ(図1では図示省略)が備えられている。
修理担当者は、修理に先立ってタブレット端末装置1を使用し、修理対象の電気製品を撮影すると、その撮影画像は、公衆通信網3(無線通信網、インターネット)を介して本部側PC2に送信される。図示の例は、修理対象の電気製品としてその背面カバーを外したテレビ受信機4を撮影した場合を示したもので、その撮影画像(静止画像)内には複数の被写体としてA部品P1、B部品P2、C部品P3、D部品P4が含まれている。このようにテレビ受信機4を撮影した撮影画像は、自己のタッチ入力画面に逐次表示されると共に、本部側PC2に送られてその画面に逐次表示される。
ここで、現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行う際に、現場の修理担当者は、タブレット端末装置1のタッチ入力画面に表示されている撮影画像内の各被写体(A部品P1、B部品P2、C部品P3、D部品P4)のうち、所望する被写体の位置、図示の例では、被写体(C部品P3)の位置にその付加情報Aを対応付けて入力するようにしている。ここで、第1実施形態において付加情報Aとは、撮影画像内の任意の被写体に対応付けられて表示される被写体に関する情報であり、例えば、任意に手書き描画されたマーク・記号・文字などの描画情報、あるいは予め用意されている文字列や記号などのタグ情報である。
図示の例では、C部品P3が着目対象物(例えば、修理対象の部品あるいは問い合わせ対象の部品)であることを明示するために、撮影画像内でC部品P3を囲むように、その付加情報Aとして手書き描画の円形マークを入力した場合を示している。このように撮影画像内のいずれかの被写体(図示の例では、C部品P3)を着目対象物(着目被写体)として、その着目被写体に対応付けてその被写体に関する付加情報Aが入力されると、この付加情報Aは、撮影画像内の当該着目被写体の位置に合成表示される。
図1(a)は、タブレット端末装置1側において着目被写体のC部品P3の位置にその付加情報Aが合成表示された場合の合成画像を示している。また、図1(c)は、本部側PC2に送信されて表示された当該合成画像を示している。このように現場と本部側には共通の撮影画像がそれぞれ表示される。また、図中、(b)、(d)は、タブレット端末装置1の移動や傾きによってカメラの撮影方向が変更された場合の撮影画像(合成画像)を示している。すなわち、図1(a)、(c)に示すような合成画像が表示されている状態において、タブレット端末装置1の移動や傾きによってカメラの撮影方向が変更されると、撮影画像内の被写体(C部品P3)の位置もそれに応じて変化するようになるが、図1(b)、(d)は、このC部品P3の位置変化に応じて付加情報Aの表示位置が変更されて合成表示された場合の合成画像を示している。
図2は、タブレット端末装置1の基本的な構成要素を示したブロック図である。
CPU11は、電源部(二次電池)12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこのタブレット端末装置1の全体動作を制御する中央演算処理装置である。記憶部13は、例えば、ROM、フラッシュメモリなどを有する構成で、図4及び図5に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ13aと、このタブレット端末装置1が動作するために必要となる各種の情報(例えば、フラグなど)を一時的に記憶するワークメモリ13bなどを有している。なお、記憶部13は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
操作部14には、押しボタン式のキーとして、図示省略したが、電源をオン/オフさせる電源キー、撮影を指示するシャッターキー、撮影モード(動画モード、連写モードなどのほか、合成撮影モード)と再生モードとを切り替えるモード切替キーなどが備えられている。ここで、合成撮影モードとは、例えば、上述したように現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行う際に、撮影画像内の着目被写体(着目対象物)の位置にその被写体に関する付加情報Aを合成して表示する動作モードである。
タッチ表示部15は、表示パネル15aにタッチパネル15bを積層配設した構成で、表示パネル15aは、縦横比の異なる画面を有した高精細液晶ディスプレイであり、上述の撮影モード時には撮影画像(ライブビュー画像)を表示するモニタ画面(ライブビュー画面)となったり、撮影済み画像を再生する再生画面となったりする。タッチパネル15bは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。
なお、タッチ操作とは、指やペンなどでタッチパネル15b上を接触したり、接触移動したりする接触操作に限らず、その接触操作に近似する操作として、例えば、指やペンを接近あるいは接近移動による静電容量変化や明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、接触型タッチパネル上での接触操作の場合を例示している。
カメラ部16は、静止画像のほかに動画撮影も可能なデジタルカメラを構成するもので、図示省略したが、撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有し、撮影レンズからの被写体像が撮像素子(CCDやCMOSなど)に結像されることによりその被写体を高精細に撮影可能となっている。なお、このカメラ部16には、自動露出調整機能、自動焦点調整機能、ズーム機能など、各種の機能が備えられている。無線LAN(Local Area Network)通信部17は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線LANルータ(図示省略)を介してインターネットに接続可能となっている。
モーションセンサ18は、3次元空間上のタブレット端末装置1の動きや姿勢を検出するセンサで、例えば、図示省略したが、3次元空間の3軸方向(X・Y・Z方向)における加速度を検出する加速度センサと、地球上の方位を検出する方位センサ(地磁気センサ)と、角速度を検出して傾きを検出するジャイロセンサ(各速度センサ)を有する構成となっている。このモーションセンサ18の出力結果に基づいてCPU11は、タブレット端末装置1の移動や姿勢の変化によりカメラ部16の撮影方向が変化した場合に、その変化量を検出するようにしている。
図3は、モーションセンサ18によって検出されるタブレット端末装置1の移動や傾きを示した図である。図3(1)は、水平方向(左右方向:X方向)、奥行方向(前後方向:Y方向)、垂直方向(上下方向:Z方向)の3次元空間上において、上述した付加情報Aが合成表示された時点のタブレット端末装置1の撮影位置を基準として、タブレット端末装置1が水平方向(左右方向)、奥行方向(前後方向)、垂直方向(上下方向)に移動した場合に、モーションセンサ18によってタブレット端末装置1の移動量(単位:mm)が検出されることを示している。図3(2)は、3次元空間上において、上述した付加情報Aが合成表示された時点のタブレット端末装置1の撮影方向を基準として、タブレット端末装置1が傾いた場合に、モーションセンサ18によって検出される傾き量として、水平方向と奥行方向とが成す水平角度(α°)と、奥行方向と垂直方向とが成す垂直角度(β°)を示している。
上述の合成撮影モード時において、タッチ表示部15に撮影画像(ライブビュー画像)が表示されている状態において、CPU11は、モーションセンサ18の出力結果に基づいてタブレット端末装置1が移動したか及び傾いたか(カメラ部16の撮影方向が変更されたか)を判別するようにしている。ここで、タブレット端末装置1が移動したり傾いたりしてカメラ部16の撮影方向が変更されたときには、タッチ表示部15のライブビュー画面に表示されている撮影画像(ライブビュー画像)内の被写体の表示位置も変化するようになるので、その被写体の表示位置の変化に応じて、それに対応付けられている付加情報Aの表示位置も合わせて変更するようにしている。この場合、CPU11は、表示パネル15aの画面サイズ、そのドットピッチ、カメラ部16の画角を考慮して、付加情報Aの新たな表示位置を算出し、その算出位置に付加情報Aを合成表示させるようにしている。
次に、第1実施形態におけるタブレット端末装置1の動作概念を図4〜図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図4及び図5は、タブレット端末装置1の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図4及び図5のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
図4及び図5は、上述したモード切替キーの操作により合成撮影モードに切り替えられた際に実行開始される動作を示したフローチャートである。
いま、現場と本部とが共通の撮影画像を確認し合いながら修理上の打ち合わせなどを行うために、合成撮影モードに切り替えられると、タブレット端末装置1のCPU11は、カメラ部16を動作させて撮影を開始させる(図4のステップA1)。そして、カメラ部16から撮影画像を取得してタッチ表示部15にプレビュー画像として表示させるプレビュー表示を開始すると共に(ステップA2)、この撮影画像(プレビュー画像)を相手端末である本部側PC2に送信する動作を開始する(ステップA3)。この場合、本部側PC2では、タブレット端末装置1からの撮影画像を受信して自己の画面に順次表示させる表示動作を開始する。
このように撮影画像がタッチ表示部15にプレビュー画像として表示されている状態において、タッチ入力操作が行われたかを調べる(ステップA4)。ここで、合成撮影モードにおいてタッチ入力操作は、プレビュー画面上において上述の付加情報(描画情報あるいはタグ情報)Aを入力するために行われるもので、タッチ入力操作が行われなければ(ステップA4でNO)、つまり、付加情報Aが入力されなければ、ステップA5に移り、プレビュー画面内に付加情報Aが合成表示されているかを調べる。いま、合成撮影モードに切り替えた最初の時点では、いずれの付加情報Aも表示されていないので(ステップA5でNO)、図5のステップA16に移り、上述した合成撮影モードが解除されてその撮影モードが終了したかを調べる。ここで、合成撮影モードのままであれば(ステップA16でNO)、図4のステップA4に戻ってタッチ入力有無をチェックする。
プレビュー画面上で付加情報(描画情報あるいはタグ情報)Aを入力するためのタッチ入力操作が行われると(ステップA4でYES)、そのタッチ入力操作は描画情報の入力操作であるかを調べる(ステップA6)。ここで、現場の修理担当者は、例えば、図1に示すように撮影画像内の各被写体(A部品P1、B部品P2、C部品P3、D部品P4)のうち、修理対象の部品あるいは問い合わせ対象の部品を明示するために、その部品(例えば、C部品P3)を着目被写体として、その着目被写体を囲むように付加情報Aを描画すると、ステップA6では描画情報を入力するためのタッチ入力操作であると判断する。
このようにプレビュー画面(タッチ入力画面)上に任意の付加情報(図1の例では円形のマーク)Aが描画されると、CPU11は、その描画情報を着目被写体に関する付加情報Aとして取り込み、その着目被写体(C部品P3)の位置に合成表示させる(ステップA7)。そして、この付加情報Aの表示位置を検出してその表示位置をワークメモリ13bに一時記憶させると共に(ステップA9)、モーションセンサ18の出力結果を取得して後述する移動基準値としてワークメモリ13bに一時記憶させる処理を行う(ステップA10)。
また、タッチ入力操作が描画情報を入力する操作でなければ(ステップA6でNO)、タッチ入力操作は、予め用意されている複数種のタグ情報の中からユーザが任意のタグ情報を選択するタグ選択操作であると判断して、次のステップA8に移る。このステップA8では、タグ選択操作によって選択されたタグ情報を着目被写体の付加情報Aとして、その着目被写体の位置に合成表示させる処理を行うもので、タグ選択操作が行われた後に着目被写体上の位置をタッチする被写体選択操作が行われると、タグ選択操作で選択されたタグ情報を着目被写体上の位置に合成表示させる。
図7は、付加情報Aとして選択されたタグ情報を撮影画像内に合成表示された場合の表示状態を例示した図である。
図示の例は、プレビュー画面内の右端部に3種類(円形、四角、三角)マークをタグ選択候補として配列表示させた状態を示している。このタグ候補の中から任意の候補の位置、例えば、“三角形”マークの位置がタッチされると、この“三角形”マークのタグ情報が着目被写体(B部品P3)の付加情報Aとして合成表示される。そして、CPU11は、この付加情報Aの表示位置をワークメモリ13bに一時記憶させると共に(ステップA9)、モーションセンサ18の出力結果を取得して後述する移動基準値としてワークメモリ13bに一時記憶させる(ステップA10)。
このようにして付加情報Aを合成表示させた後は、図5のステップA11に移り、モーションセンサ18の出力結果を取得する。そして、上述した付加情報Aを合成表示させた時点のモーションセンサ18の出力結果(ワークメモリ13bに一時記憶されている値)を移動基準値として、3次元空間上のタブレット端末装置1の移動や傾きからカメラ部16の撮影方向に変化があるかを調べる(ステップA12)。すなわち、付加情報Aを合成表示させた時点を基準として撮影方向が変化しているかをタブレット端末装置1の移動や傾きに基づいてチェックする。
ここで、カメラ部16の撮影方向に変化がなければ(ステップA12でNO)、合成撮影モードが解除されてその撮影モードが終了したかを調べ(ステップA15)、合成撮影モードのままであれば(ステップA15でNO)、図4のステップA4に戻り、タッチ入力有無をチェックする。また、カメラ部16の撮影方向に変化があれば(ステップA12でYES)、撮影画像(プレビュー画像)内での着目被写体の位置変化にその付加情報Aを追従させるためにその付加情報Aの表示位置を補正する処理を行う(ステップA13)。
図6は、付加情報Aの表示位置補正処理(図5のステップA13)を詳述するためのフローチャートである。
図6は、着目被写体の位置変化に応じてその付加情報Aを追従させるために表示パネル15aの画面サイズ、ドットピッチ、カメラ部16の画角を考慮して付加情報Aの表示位置を算出する処理であり、図8に示した具体例に応じた補正処理を示している。図8は、画面サイズなどを具体的に示した図で、画面サイズを“320×240ドット”、ドットピッチを“1ドット/mm”、カメラ画角を“50°”とし、表示パネル15aの画面の中央部を二次元座標の原点(0、0)とした場合に、その画面の四隅の位置座標、すなわち、左上座標は(−159.120)、右上座標は(160.120)、左下座標は(−159.−119)、右下座標は(160.−119)となる。なお、図中、(a、b)は、付加情報Aの表示位置を示している。
この場合、CPU11は、タブレット端末装置1の移動量や傾きに応じた撮影方向の変化量を画面上の変化量に換算して、ワークメモリ13bに一時記憶されている付加情報Aの表示位置(元の表示位置)に加算することにより付加情報Aの表示位置を更新して新たな表示位置に補正する処理を行う。すなわち、先ず、CPU11は、付加情報Aを合成表示させた時点の付加情報Aの表示位置(a.b)をワークメモリ13bから読み出すと共に(ステップB1)、付加情報Aを合成表示させた時点のモーションセンサ18の出力結果(ワークメモリ13bに一時記憶されている移動基準値)を読み出す(ステップB2)。
そして、3次元空間上の移動差分(移動量)として、水平方向の移動距離(ΔXmm)、垂直方向の移動距離(ΔZmm)、奥行方向の移動距離(ΔYmm)、水平角度(Δα°)、垂直角度(Δβ°)を算出(ステップB3)した後、水平方向の補正として、「a=a+ΔX」の計算(ステップB4)、垂直方向の補正として、「b=b+ΔY」の計算(ステップB5)、奥行方向の補正として、「a=a、b=b」の計算を行う(ステップB6)。更に、水平角度を考慮して「a=a(160×Δα)/25」の計算(ステップB7)、垂直角度を考慮して「b=b(120×Δβ)/25」の計算を行う(ステップB8)。なお、上述の“25”は、1/2×カメラ画角を示している。
このような補正処理(図5のステップA13)が終わると、補正した新たな表示位置(a.b)に付加情報Aを合成表示させる(ステップA14)。これによってプレビュー画面の内容は、例えば、図1(a)の状態から(b)の状態に変更される。以下、合成撮影モードが解除されてその撮影モードが終了するまで(ステップA15)、上述の動作が繰り返される。いま、ユーザ操作により合成撮影モードの終了が指示されると(ステップA15でYES)、撮影動作及びプレビュー表示動作を終了させる処理(ステップA16)を行った後、図4及び図5のフローから抜ける。
以上のように、第1実施形態においてタブレット端末装置1のCPU11は、タッチ表示部15に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報Aを当該画像内に合成表示させると共に、その着目対象物の位置変化を検出した際にその着目対象物の位置変化に応じて付加情報Aの表示位置を変更してその付加情報Aを当該画像内に合成表示させるようにしたので、画像内の着目対象物に情報を付加した場合にその画像内で着目対象物の位置が変化したとしても付加情報Aをそれに追従させることができ、常に着目対象物と付加情報Aとの対応関係を維持することが可能となる。
カメラ部16により撮影された撮影画像がタッチ表示部15に表示されている状態において、その撮影画像内の着目被写体(着目対象物)に対応付けてその被写体に関する付加情報Aを当該撮影画像内に合成表示するようにしたから、ユーザにあっては被写体を撮影しながらその被写体に関する付加情報Aを確認することができる。
カメラ部16による撮影方向の変化を検出することによって撮影画像内での被写体の位置変化を検出するようにしたので、ユーザにあっては撮影中にその撮影方向が変化して撮影画像内の被写体位置が変化したとしてもその変化に付加情報Aを追従させることができる。
モーションセンサ18によりタブレット端末装置1の移動や傾きを検出することによりカメラ部16の撮影方向の変化を検出するようにしたので、撮影方向の変化を容易かつ確実に検出することが可能となる。
タッチ表示部15に撮影画像が表示されている状態において、その撮影画像内の着目被写体に対応付けて任意に描画された情報をその被写体に関する付加情報Aとして当該画像内に合成表示するようにしたので、ユーザが所望する自由な情報を付加情報Aとしてその場で容易に入力することができる。
タッチ表示部15に複数のタグ情報が配置表示されている状態において、その中からユーザ操作により任意に選択されたタグ情報を着目被写体に関する付加情報Aとして当該画像内に合成表示するようにしたので、たとえ複雑な付加情報Aであってもタグ選択操作を行うだけで容易に付加することができる。
ユーザ操作によって任意に指定された被写体を着目被写体としてその位置に付加情報Aを合成表示するようにしたので、着目被写体を適宜選択して付加情報Aを合成表示させることができる。
付加情報Aを合成表示させた際にその付加情報Aの表示位置をワークメモリ13bに一時記憶しておき、この表示位置を着目対象物の位置変化に応じて補正することで付加情報Aの表示位置を変更するようにしたので、その変更が容易となる。
着目被写体に対応付けて付加情報Aを合成した撮影画像を、通信相手の本部側PC2に送信するようにしたので、付加情報を合成した撮影画像を現場と本部側で共有することができる。
なお、上述した第1実施形態においては、電気製品を訪問修理する現場側のタブレット端末装置1と本部側PC2との間で業務連絡を行う場合の業務連絡システムに適用した場合を示したが、これに限らないことは勿論である。また、被写体としては、例えば、人物、ペット、商品、建物などを被写体とする場合であってもよい。また、付加情報Aとしては、任意に手書き描画されたマーク・記号・文字などの描画情報、あるいは予め用意されている文字列や記号などのタグ情報に限らず、キー操作により入力された情報などであってもよい。
(第2実施形態)
以下、この発明の第2実施形態について図9〜図13を参照して説明する。
なお、上述した第1実施形態においては、カメラ部16からの撮影画像をプレビュー画面に表示している状態において、カメラ部16の撮影方向の変化に応じて着目被写体の位置変化を検出すると共に、その位置変化に応じて付加情報Aの表示位置を変更するようにしたが、この第2実施形態においては、動画(撮影画像)の再生中にその画像を解析しながら着目対象物(後述する登録人物)を認識してその位置変化を検出すると共に、この位置変化に応じて付加情報Aの表示位置を変更するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
第1実施形態においては、現場と本部との間での業務連絡を行う場合の通信システム(業務連絡システム)を例示したが、この第2実施形態においては、例えば、友人や知人に対して自己の家族などを紹介する場合の通信システム(人物紹介システム)に適用した場合を示したもので、再生中の動画(撮影画像)内に家族などの登録人物(着目対象物)が登場した際に、その人物を紹介するための付加情報Aを再生画面内に合成表示させると共に、その合成画像を相手側端末(図示省略)に対して送信するようにしたものである。
図9は、記憶部13内に設けられた人物紹介テーブルPTを説明するための図である。
人物紹介テーブルPTは、動画再生中に登場する人物を友人や知人などに紹介するためのテーブルであり、「キー画像」、「付加情報」の項目を有し、その内容はユーザ操作によって予め任意に設定された情報である。「キー画像」は、例えば、家族を構成する各人の顔画像あるいはその特徴部分の画像であり、動画再生中に家族が登場したか否かを検索するためのキーとして使用される。「付加情報」は、複数の項目を有し、例えば、その先頭項目から“名前”、“趣味”、“職業”などの人物紹介情報であり、各項目はユーザ操作による任意のタイミング、あるいは一定時間毎のタイミングで項目(1)、(2)、(3)の順序で選択指定されて再生画面内に順次合成表示される。
図10〜図12は、第2実施形態において、人物紹介モードに切り替えられた際に実行開始される動作を示したフローチャートである。
この人物紹介モードは、友人や知人に自己の家族などを紹介するための再生モードであり、上述のモード切替キーの操作により再生モードの一つとして人物紹介モードに切り替え可能となっている。この人物紹介モードに切り替えられると、タブレット端末装置1のCPU11は、タッチ表示部15に動画一覧を表示させて再生対象の動画を任意に選択可能な状態とし、その一覧の中からユーザ操作によって再生対象が選択されると(図10のステップC1)、選択された動画の再生動作を開始する(ステップC2)。そして、再生開始した動画を相手側端末(図示省略)に送信する動作を開始する(ステップC3)。この場合、相手側端末では、タブレット端末装置1から受信した動画を自己の画面に順次表示させる動作を開始する。
次に、人物紹介モードが解除されてそのモードが終了したかを調べるが(ステップC4)、人物紹介モードのままであれば(ステップC4でNO)、再生中の画像を解析しながら(ステップC5)、人物の画像部分を検出する(ステップC6)。この場合、人物の構成部位(頭、顔、目、鼻、手、足など)の形状、大きさ、配列関係などを総合的に判断して人物の画像部分(全身像、半身像、顔画像のいずれか)を検出するようにしているが、その検出の仕方は任意である。いま、人物の画像部分を検出できなければ、つまり、人物が含まれていなければ(ステップC7でNO)、ステップC4に戻り、以下、画像を解析しながら人物の画像部分を検出するまで上述の動作を繰り返す。
一方、画像内に人物が含まれていてその人物の画像部分を検出したときには(ステップC7でYES)、その人物の画像部分に基づいて人物紹介テーブルPTの「キー画像」を参照し(ステップC8)、いずれかの「キー画像」に該当しているか、つまり、人物紹介テーブルPTに登録されている登録人物(着目対象物)が再生中の画像内に含まれているか(人物を特定することができたか)を調べる(ステップC9)。なお、再生中の画像内に複数の人物が含まれている場合にはその人物毎に人物紹介テーブルPTを参照しながら登録人物であるかを調べる動作を繰り返す。
いま、再生中の画像内に登録人物が含まれていれば(ステップC10でYES)、再生画面に表示中の付加情報Aのうち、登録人物以外の付加情報(再生画面から外れた退場人物の付加情報)Aを全て消去する(ステップC10)。そして、図11のステップC14に移り、特定した登録人物の中からその一人を指定した後、その人物に対応して付加情報Aが表示されているかを調べ(ステップC15)、付加情報Aが表示されていなければ(ステップC15でNO)、その人物の登場時であると判断して、その人物に付加情報Aを新たに合成表示させる処理に移る(ステップC16〜C20)。
先ず、人物紹介テーブルPTを参照し(ステップC16)、その特定人物(登録人物)に対応付けられている付加情報Aを読み出して(ステップC17)、その登録人物の表示位置に合成表示させる(ステップC18)。この場合、複数項目の付加情報Aの中から最初はその先頭項目の付加情報Aを読み出してその登録人物の表示位置に合成表示させる。図13(1)は、登録人物の表示位置に付加情報Aを合成表示させた場合を例示した図である。図示の例では、登録人物として再生画面に“人物X”及び“人物Y”が登場した場合を示し、この“人物X”に対応して先頭項目の付加情報Aとして“名前は・・・です”が表示され、また、“人物Y”に対応して先頭項目の付加情報Aとして“名前は・・・です”が表示された場合を示している。そして、この付加情報Aの表示位置をワークメモリ13aに一時記憶させると共に(ステップC19)、登録人物の表示位置をワークメモリ13aに一時記憶させる(ステップC20)。
その後、登録人物のうち、指定していない未指定の人物の有無、つまり、登録人物を全て指定し終わったかを調べ(ステップC21)、未指定の登録人物が残っていれば(ステップC21でNO)、上述のステップC14に戻って次の登録人物を指定し、以下、同様の動作を行う。一方、指定した人物に付加情報Aが表示されていれば(ステップC15でYES)、図12のフローに移り、当該登録人物の表示位置を検出すると共に(ステップC22)、付加情報Aを新たに合成表示させた際の登録人物の表示位置をワークメモリ13aから読み出し、今回の検出した表示位置と比較することによって(ステップC23)、再生画面内で当該登録人物が移動したかを調べる(ステップC24)。
ここで、登録人物が移動していなければ(ステップC24でNO)、後述するステップC30に移るが、登録人物の移動を検出したときには(ステップC24でYES)、再生画面上での当該登録人物の移動量及び移動方向を算出する処理を行うと共に(ステップC25)、付加情報Aを新たに合成表示させた際の付加情報Aの表示位置をワークメモリ13aから読み出し、その表示位置を算出した移動量及び移動方向に応じて補正する処理を行う(ステップC26)。なお、移動量及び移動方向の算出は、例えば、再生画面の中心部を原点とする座標系上において移動量及び移動方向を算出するが、その算出の仕方は任意である。
これによって付加情報Aの表示位置を補正する処理を行うと、その補正位置は、画面から外れたか、あるいは画面の端部であるかを調べ(ステップC27)、画面外あるいは画面端部でなければ(ステップC27でNO)、この補正位置に付加情報Aを合成表示させるが(ステップC29)、付加情報Aの補正位置が画面外あるいは画面端部であれば(ステップC27でYES)、この補正位置が画面の中央寄りとなるように補正位置を再度補正する処理(ステップC28)を行った後、この補正位置に付加情報Aを合成表示させる(ステップC29)。例えば、図13(2)において登録人物“人物Y”が再生画面の端部に移動してその人物の一部が表示されている場合に、その“人物Y”の移動に追従させて付加情報Aをそのまま移動すると、付加情報Aが画面から外れてしまうために付加情報Aが画面から外れてしまうために、付加情報Aの表示位置が再生画面の中央寄りとなるようにその位置を再補正する。
次に、付加情報Aを自動的に切り替えるタイミングであるかを調べたり(ステップC30)、ユーザ操作により付加情報Aを任意に切り替える操作が行われたかを調べたりする(ステップC31)。すなわち、付加情報Aを新たに合成表示させてから一定時間(例えば、5秒)が経過したか(付加情報Aの切り替えタイミングになったか)を表示中の全ての付加情報Aに対して調べたり、タッチ画面上でのタッチ操作によって任意の付加情報Aがタッチ指定されたか(ユーザ操作により付加情報Aの切り替えが指示されたか)を調べたりする。
いま、付加情報Aの切り替えタイミングを検出したとき(ステップC30でYES)、あるいは切り替え操作を検出したときには(ステップC31でYES)、その付加情報Aの各項目のうち、現在表示されている項目の次の項目を人物紹介テーブルPTから読み出して切り替え表示させる(ステップC32)。例えば、図13(1)、(2)に示すように登録人物“人物X”の付加情報Aは、“名前は・・・です”から“趣味は・・・です”に変更され、登録人物“人物Y”の付加情報Aは、“名前は・・・です”から“職業は・・・です”に変更される。以下、図11のステップC21に戻り、登録人物を全て指定し終わるまで上述の動作(図11のステップC14〜C20、あるいは図12のステップC22〜C32)を繰り返す。
これによって登録人物を全て指定し終わると(ステップC21でYES)、図10のステップC4に戻る。ここで、人物紹介モードが継続されていれば(ステップC4でNO)、上述のように画像を解析しながら登録人物が含まれているかを検出する処理を行うが(ステップC5〜C9)、登録人物を特定できなかったときには(ステップC9でNO)、再生画面内に付加情報Aが表示されているかを調べ(ステップC11)、付加情報Aが表示されていれば(ステップC11でYES)、その付加情報Aの表示を消去(ステップC12)した後、上述のステップC4に戻る。また、人物紹介モードが解除されてその終了が指示されたときには(ステップC4でYES)、再生動作及び表示動作を終了(ステップC13)させた後、図10〜図12のフローから抜ける。
以上のように、第2実施形態においてCPU11は、再生対象の画像(動画)を解析しながら画像内の人物(着目対象物)を認識してその位置を追跡検出することによりその人物の当該画像内での位置変化を検出し、この位置変化に応じて付加情報Aの表示位置を変更するようにしたので、特別なセンサなどを要せずに人物の位置変化を検出できると共に、画像内での人物の動きに付加情報Aを追従させることができ、常に人物と付加情報Aとの対応関係を維持することが可能となる。
CPU11は、画像内に複数の人物が含まれている場合に各人物の位置を追跡検出することにより複数の人物の中から位置が変化した人物を特定してその位置変化を検出し、この位置変化に応じて付加情報Aの表示位置を変更するようにしたので、画像内に含まれている複数の人物のうち、動いている人物だけに追従させてその付加情報Aを移動させることができる。
CPU11は、画像を解析することによって人物を特定すると共に、その人物に対応する付加情報Aを人物紹介テーブルPTから読み出して、その人物に対応付けて合成表示させるようにしたので、ユーザ操作によらず、予め用意されている付加情報Aを容易に合成表示させることができる。
画像の解析により複数の人物を特定した場合に、その人物毎に人物紹介テーブルPTから対応する付加情報Aを読み出して合成表示させる動作を繰り返すようにしたので、画像内に複数の人物が含まれている場合でも、それぞれに付加情報Aを表示させることができる。
人物紹介テーブルPTは、人物毎に複数項目の付加情報Aが記憶されている状態において、CPU11は、人物紹介テーブルPTから複数項目の付加情報Aを順次読み出して合成表示させるようにしたので、視認者にあっては人物毎に複数項目の付加情報Aを順次確認することができ、サイズの小さい画面であっても多くの情報を確認することが可能となる。
CPU11は、付加情報Aの表示位置を変更することによってその変更後の位置が再生画面内から外れた場合に、その人物の一部が画面内に存在していることを条件に当該付加情報Aが画面内に収まるようにその表示位置を再変更するようにしたので、人物の一部が画面から外れてしまってもその付加情報Aを見やすい位置に表示させることができる。
また、人物に対応付けて付加情報を合成した合成画像を、相手端末に送信するようにしたので、付加情報Aを合成した画像を相手側と共有することができる。
なお、上述した第2実施形態においては、動画(撮影画像)を再生する場合を例示したが、動画(撮影画像)の再生に限らず、テレビ放送を受信してそのテレビ映像を解析しながら予め登録されている登録人物(例えば、好みの歌手、選手など)を検出すると共に、その登録人物を検出した際にその人物に対応付けて予め用意されている付加情報Aを読み出して合成表示するようにしてもよい。
また、上述した第2実施形態においては、登録人物が画像内に登場した際にその登録人物を着目対象物としたが、登録人物以外の人物(未知の人物)が登場した際に、未知であることを知らせる付加情報Aを合成表示させるようにしてもよい。また、人物に限らず、例えば、ペット、乗り物などであってもよい。また、付加情報Aとしては、任意に手書き描画されたマーク・記号・文字などの描画情報などであってもよい。
上述した各実施形態においては、画像表示装置としてタブレット端末装置1に適用した場合を例示したが、それに限らず、パーソナルコンピュータ、PDA(個人向け携帯型情報通信機器)、デジタルカメラ、音楽プレイヤー、電子ゲーム、テレビ受像機、投影機などであってもよい。
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
表示部に画像を表示する画像表示装置であって、
前記表示部に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報を当該画像内に合成表示する第1の表示制御手段と、
前記画像内での着目対象物の位置変化を検出する検出手段と、
前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第2の表示制御手段と、
を備えたことを特徴とする画像表示装置である。
(請求項2)
請求項2に記載の発明は、請求項1記載の画像表示装置において、
画像を撮影する撮影手段を更に備え、
前記第1の表示制御手段は、前記撮影手段により撮影された撮影画像が前記表示部にライブビュー画像として表示されているライブビュー画面上において、その撮影画像内の着目対象物である着目被写体に対応付けてその被写体に関する付加情報を当該撮影画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項3)
請求項3に記載の発明は、請求項2に記載の画像表示装置において、
前記検出手段は、前記撮影手段による撮影方向の変化を検出することによって前記撮影画像内での前記被写体の位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
(請求項4)
請求項4に記載の発明は、請求項3に記載の画像表示装置において、
前記検出手段は、少なくとも左右方向への移動、上下方向への移動、左右方向への傾き、前後方向への傾きのいずれかを検出することにより前記撮影手段による撮影方向の変化を検出する、
ようにしたことを特徴とする画像表示装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の画像表示装置において、
前記検出手段は、前記画像を解析しながら着目対象物を認識してその位置を追跡検出することによりその対象物の当該画像内での位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
(請求項6)
請求項6に記載の発明は、請求項5に記載の画像表示装置において、
前記検出手段は、前記画像内に複数の着目対象物が含まれている場合に各着目対象物の位置を追跡検出することにより複数の着目対象物の中から位置が変化した着目対象物を特定してその位置変化を検出する、
ようにしたことを特徴とする画像表示装置である。
(請求項7)
請求項7に記載の発明は、請求項1〜請求項6のいずれかに記載の画像表示装置において、
前記表示部は、タッチ入力が可能なタッチ画面を備えたタッチ表示手段であり、
前記第1の表示制御手段は、前記タッチ表示手段のタッチ画面内に画像が表示されている状態において、前記タッチ画面内の着目対象物に対応付けて任意に描画された情報をその着目対象物に関する付加情報として当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項8)
請求項8に記載の発明は、請求項1〜請求項7のいずれかに記載の画像表示装置において、
前記第1の表示制御手段は、前記表示部の画面内に複数のタグ情報が配置表示されている状態において、前記表示部の画面内に配置表示されている複数のタグ情報のうち、前記画像内の着目対象物に対応付けてユーザ操作により任意に選択されたタグ情報をその対象物に関する付加情報として当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項9)
請求項9に記載の発明は、請求項1〜請求項8のいずれかに記載の画像表示装置において、
前記第1の表示制御手段は、ユーザ操作によって任意に指定された着目対象物に対応付けて前記付加情報を当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項10)
請求項10に記載の発明は、請求項1〜請求項9のいずれかに記載の画像表示装置において、
前記付加情報の表示位置を一時記憶する記憶手段を更に備え、
前記第2の表示制御手段は、前記一時記憶されている付加情報の表示位置を前記検出手段によって検出された前記着目対象物の位置変化に応じて補正することにより前記付加情報の表示位置を変更する、
ようにしたことを特徴とする画像表示装置である。
(請求項11)
請求項11に記載の発明は、請求項1に記載の画像表示装置において、
予め着目対象物に対応付けてその対象物に関する付加情報を記憶する付加情報記憶手段を更に備え、
前記第1の表示制御手段は、前記画像を解析することによって着目対象物を特定すると共に、その対象物に対応する前記付加情報を前記付加情報記憶手段から読み出して、該当対象物に対応付けて当該画像内に合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項12)
請求項12に記載の発明は、請求項11に記載の画像表示装置において、
前記付加情報記憶手段は、複数の着目対象物に対応付けてその個々の対象物に関する付加情報をそれぞれ記憶し、
前記第1の表示制御手段は、前記画像を解析することによって複数の着目対象物を特定した場合に、その着目対象物毎に前記付加情報記憶手段から対応する付加情報を読み出して合成表示させる動作を繰り返す、
ようにしたことを特徴とする画像表示装置である。
(請求項13)
請求項13に記載の発明は、請求項11あるいは請求項12に記載の画像表示装置において、
前記付加情報記憶手段は、着目対象物毎に複数項目の付加情報をそれぞれ記憶し、
前記第1の表示制御手段は、前記特定した着目対象物に対応する複数項目の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、該当対象物に対応付けて順次合成表示する、
ようにしたことを特徴とする画像表示装置である。
(請求項14)
請求項14に記載の発明は、請求項1〜請求項13のいずれかに記載の画像表示装置において、
前記第2の表示制御手段により前記着目対象物の位置変化に応じて前記付加情報の表示位置を変更することによってその変更後の位置が前記表示部の画面内から外れた場合には、少なくともその対象物の一部が前記表示部の画面内に存在していることを条件に当該付加情報が前記画面内に収まるようにその表示位置を再変更する、
ようにしたことを特徴とする画像表示装置である。
(請求項15)
請求項15に記載の発明は、請求項1〜請求項14のいずれかに記載の画像表示装置において、
着目対象物に対応付けて前記付加情報を合成させた画像を、通信相手側の外部表示装置に対して送信する送信手段を更に備える、
ようにしたことを特徴とする画像表示装置である。
(請求項16)
請求項16に記載の発明は、
コンピュータに対して、
表示部に表示されている画像内の着目対象物に対応付けてその対象物に関する付加情報を当該画像内に合成表示する機能と、
前記画像内での着目対象物の位置変化を検出する機能と、
前記検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する機能と、
を実現させるためのプログラムである。
1 タブレット端末装置
2 通信相手の本部側PC
3 公衆通信網
11 CPU
13 記憶部
13a プログラムメモリ
13b ワークメモリ
14 操作部
15 タッチ表示部
16 カメラ部
17 無線LAN通信部
18 モーションセンサ
PT 人物紹介テーブル
本発明の課題は表示画面内の画像付加されて合成表示される情報の表示位置を、自動的に変更して合成表示させることである。
請求項1は、表示画面に画像を表示する画像表示装置であって、記表示画面内に表示される画像上の任意の表示位置に所定情報が付加された際は、その付加された所定情報を当該画像内において合成表示する第1制御手段と、当該装置本体の移動又は傾きを検出する検出手段と、前記表示画面上に前記所定情報が合成表示されている状態にあって、前記検出手段による当該装置本体の移動又は傾き検出した際は、その移動又は傾きに応じて前記表示画面内における前記所定情報の表示位置を変更して、その表示位置の変更された前記所定情報を当該表示画面内にその時に表示される画像内において合成表示し直すよう制御する第2制御手段と、を具備したことを特徴とする。
請求項は、表示画面に画像を表示する画像表示装置であって、影手段で撮影された画像が表示される前記表示画面内の任意の表示位置に所定情報付加された際は、その付加された所定情報を当該画像内において合成表示する第1制御手段と、前記撮影手段による撮影方向の変化を検出する検出手段と、前記表示画面上に前記所定情報が合成表示されている状態にあって、前記検出手段による前記撮影方向の変化を検出した際は、その撮影方向の変化に応じて前記表示画面内における前記所定情報の表示位置を変更し、その表示位置の変更された前記所定情報を、当該表示画面内に表示される画像内において合成表示し直すよう制御する第2制御手段と、を具備したことを特徴とする。
請求項11は、表示画面に画像を表示する画像表示装置であって、前記表示画面内の画像に含まれる対象物対応付けられた第1情報を、前記表示画面内の画像に含まれる前記象物の表示位置において合成表示する表示制御手段と、前記画像に含まれる前記対象物の表示位置の変化を検出する検出手段と、を具備し、前記表示制御手段は、前記表示画面内に前記第1情報が合成表示されている状態にあって、前記検出手段で検出された前記象物の表示位置の変化を検出した際は、そ変化に応じて前記表示画面内における前記第1情報の表示位置を変更して、その表示位置の変更された前記第1情報を前記表示画面内に表示される画像内において合成表示し直すよう制御し、前記第1情報を他の第2情報に切り替える際は、前記表示画面内の前記画像に含まれる前記象物の表示位置に合成表示される前記第1情報に代えて、前記第2情報を切り替えて合成表示し直すよう制御する、 ことを特徴とする。
本発明によれば、表示画面内の画像上に付加されて合成表示される情報の表示位置を、自動的に変更して合成表示させることができる。

Claims (13)

  1. 表示画面に画像を表示する画像表示装置であって、
    画像を撮影する撮影手段と、
    前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第1制御手段と、
    前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段と、
    前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第2制御手段と、
    を具備したことを特徴とする画像表示装置。
  2. 前記位置変更手段は、前記撮影方向に変化による前記表示画面内における撮影画像の変化に合わせて前記付加情報の表示位置が追従するように、前記付加情報の表示位置を変更する、
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記位置変更手段は、前記表示画面内における前記付加情報の表示位置を前記撮影方向の変化とは逆方向に変化するようにその表示位置を変更する、
    ことを特徴とする請求項1又は2に記載の画像表示装置。
  4. 前記位置変更手段は、当該装置本体の少なくとも左右方向への移動、上下方向への移動、左右方向への傾き、前後方向への傾きのいずれかを検出することにより前記撮影手段による撮影方向の変化を検出する、
    ようにしたことを特徴とする請求項1〜3の何れかに記載の画像表示装置。
  5. 前記付加情報の前記表示画像上における表示位置を一時記憶手段に一時記憶するよう制御する記憶制御手段と、
    を更に具備し、
    前記第1制御手段は、前記撮影手段で撮影されたライブビュー画像が表示される撮像画像内において前記合成表示を行い、
    前記位置変更手段は、前記一時記憶手段に記憶された前記付加情報の表示位置を前記撮影方向の変化に応じて変更し、
    前記第2制御手段は、表示位置の変更された前記付加情報を前記撮影手段で逐次撮影されるライブビュー撮影画像内に合成表示する、
    ことを特徴とする請求項1〜4の何れかに記載の画像表示装置。
  6. 前記付加情報は、前記表示画像上の任意表示位置において任意に描画された描画情報、あるいは予め用意された複数のタグ情報の内で任意に選択されたタグ情報である、
    ことを特徴とする請求項1〜5の何れかに記載の画像表示装置。
  7. 表示画面に画像を表示する画像表示装置であって、
    着目対象物毎にその対象物に関する複数項目の付加情報を記憶する付加情報記憶手段と、
    前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数項目の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第1制御手段と、
    前記画像内での着目対象物の位置変化を検出する検出手段と、
    前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第2制御手段と、
    を具備したことを特徴とする画像表示装置。
  8. 表示画面に画像を表示する画像表示装置であって、
    前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられた特定対象物
    であれば、その複数の付加情報の内の一部の第1付加情報を読み出し、前記表示画面内における前記特定対象物の表示位置に対応付けて合成表示する第1制御手段と、
    前記表示画面内における前記特定対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第2制御手段と、
    を具備し、
    前記第1制御手段は、前記特定対象物に対応付けて記憶された前記複数の付加情報の内の他の第2付加情報に順次読み出し、前記表示画面内における前記特定対象物の表示位置に対応付けて順次合成表示する、
    ことを特徴とする画像表示装置。
  9. 前記第1制御手段は、前記第2付加情報を、所定時間間隔あるいは所定の操作毎に順次読み出す、
    ことを特徴とする請求項8に記載の画像表示装置。
  10. 前記第1制御手段は、順次読み出された前記第2付加情報を、前記表示画面内における前記特定対象物の表示位置に対応付けて順次切り替えて合成表示する
    ことを特徴とする請求項8又は9に記載の画像表示装置。
  11. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    画像を撮影する撮影手段、
    前記撮影手段で撮影された画像が表示される前記表示画面上において、任意の表示位置が指示され任意の付加情報を付加された際は、その付加された付加情報を前記表示画面内における前記画像内に合成表示する第1制御手段、
    前記撮影手段による撮影方向の変化を当該装置本体の移動又は傾きから検出し、その撮影方向の変化に応じて前記表示画面内における前記付加情報の表示位置を変更する位置変更手段、
    前記位置変更手段で表示位置の変更された前記付加情報を前記撮影手段で逐次撮影される撮影画像内に合成表示する第2制御手段、
    として機能させるためのプログラム。
  12. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    着目対象物毎にその対象物に関する複数の付加情報を記憶する付加情報記憶手段、
    前記表示画面に表示されている画像を解析することによって着目対象物を特定すると共に、その特定した着目対象物に対応する複数の前記付加情報を前記付加情報記憶手段から順次読み出すことによって、前記画像内における前記対象物に対応付けて順次合成表示する第1制御手段、
    前記画像内での着目対象物の位置変化を検出する検出手段、
    前記検出手段によって検出された着目対象物の位置変化に応じて前記付加情報の表示位置を変更してその付加情報を当該画像内に合成表示する第2制御手段、
    として機能させるためのプログラム。
  13. 表示画面に画像を表示する画像表示装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記表示画面内の画像に含まれる対象物が複数の付加情報が対応付けられる対象物であれば、その複数の付加情報の内の一部の第1付加情報を読み出し、前記表示画面内における前記対象物の表示位置に対応付けて合成表示する第1制御手段、
    前記表示画面内における前記対象物の表示位置の変化を検出した際は、その表示位置の変化に応じて前記付加情報の表示位置を変更して合成表示する第2制御手段、
    として機能させ、
    前記第1制御手段は、前記対象物に対応付けて記憶された前記複数の付加情報の内の他の第2付加情報に順次読み出し、前記表示画面内における前記対象物の表示位置に対応付けて順次合成表示する、
    ことを特徴とするプログラム。
JP2015208573A 2015-10-23 2015-10-23 画像表示装置及びプログラム Active JP6197849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015208573A JP6197849B2 (ja) 2015-10-23 2015-10-23 画像表示装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015208573A JP6197849B2 (ja) 2015-10-23 2015-10-23 画像表示装置及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012236390A Division JP5831764B2 (ja) 2012-10-26 2012-10-26 画像表示装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016034138A true JP2016034138A (ja) 2016-03-10
JP6197849B2 JP6197849B2 (ja) 2017-09-20

Family

ID=55452836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015208573A Active JP6197849B2 (ja) 2015-10-23 2015-10-23 画像表示装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6197849B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
JP2010244437A (ja) * 2009-04-08 2010-10-28 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
JP2012119971A (ja) * 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
JP2014011624A (ja) * 2012-06-29 2014-01-20 Nikon Corp 情報入出力装置、及び頭部装着表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
JP2010244437A (ja) * 2009-04-08 2010-10-28 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
JP2012119971A (ja) * 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
JP2014011624A (ja) * 2012-06-29 2014-01-20 Nikon Corp 情報入出力装置、及び頭部装着表示装置

Also Published As

Publication number Publication date
JP6197849B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
CN108141511B (zh) 图像处理装置、摄像装置、图像处理方法以及有形介质
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
US9392248B2 (en) Dynamic POV composite 3D video system
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
JP2013162487A (ja) 画像表示装置及び撮像装置
JP5831764B2 (ja) 画像表示装置及びプログラム
US9591149B2 (en) Generation of a combined image of a presentation surface
JP2009064109A (ja) 画像投影装置及びその制御方法
US20210192751A1 (en) Device and method for generating image
CN112740284A (zh) 动画合成装置、动画合成方法以及记录介质
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JPWO2018025825A1 (ja) 撮像システム
WO2018168823A1 (ja) 画像処理装置および電子機器
KR102159803B1 (ko) 촬영 가이드 제공 장치 및 프로그램
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
US20220244788A1 (en) Head-mounted display
JP6197849B2 (ja) 画像表示装置及びプログラム
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
WO2018168825A1 (ja) 画像処理装置および電子機器
TWI700588B (zh) 顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法
JP2013131811A (ja) 画像表示装置
KR101263881B1 (ko) 무인 방송 제어 시스템
WO2023275920A1 (ja) トリガー信号発生装置及び携帯端末
CN110060355B (zh) 界面显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R150 Certificate of patent or registration of utility model

Ref document number: 6197849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150