JP2011186547A - 表示制御装置、およびその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】通常の映像表示と撮影のための映像の表示を適切なタイミングで切り替えることを可能とし、画面を観察するユーザに与える違和感等を減少させることを目的とする。
【解決手段】表示画面上に画像を表示させる表示制御装置は、ユーザに観察させるための観察用の映像を表示画面に表示させる。表示制御装置は、撮像装置と通信する通信部を介して撮像装置からの撮影準備信号を受信したことに応じて、表示画面における表示を、観察用の表示映像から撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える。
【選択図】 図４

Description

本発明は、外部機器からの制御信号によって画像表示制御を変更する表示制御装置、方法、プログラム、記憶媒体に関するものである。

デジタルカメラなどの撮像装置によって撮影された画像を、プロジェクタ、ＬＣＤ、プラズマディスプレイなどの大型ディスプレイ、ならびに電子ペーパーなどの所望の位置に配置する種々の方法が提案されている。

例えば、特許文献１においては、あらかじめ所定の位置に表示された複数のマークと、撮像装置本体から照射されるビームの点を撮影することにより、当該ビームがポインティングしている座標を特定する装置が提案されている。特許文献１に記載された装置は、所定平面上の所定の位置に表示された複数のマークと照射されたビームの点を撮像し、その撮像された画像からマークとビームの点を抽出することでビームによって指示された位置を特定する。

また、パーソナルコンピュータにおいては、画像を編集するソフトを用いて、バックグラウンドシートの上に、写真やイラストなどの画像を自由にレイアウトすることが一般的に行われている。グラフィックユーザインターフェース、いわゆるＧＵＩにて、画像を含む図形の配置を行う操作においては、マウスやペン入力機器のようなポインティング機器を使用することにより、表示画面上にて直接図形等を指定して操作することが可能である。

特許文献２は、このようなポインティング操作にマウスやペン入力機器を用いず、撮像装置を用いることによりポインティング操作を実現することを提案している。この提案によると、表示画面に、ある一定のフレーム毎にマーカを入れ、マーカ画像のみを隣り合ったフレームの差分画像処理により抽出し、そのマーカに基づいて指示位置の位置を検出し位置の検出を行っている。

特開２００１−３２５０６９号公報 特開平７−１２１２９３号公報

しかしながら、上記従来技術によるポインティング方法では、画面上に常にマーカの画像を表示する（特許文献１）か、マーカ映像と通常の表示映像との交互表示を常に行う（特許文献２）必要がある。マーカの表示はポインティング位置の演算するために利用されるものであり、ユーザが観察しようとする対象ではない。従って、そのようなマーカの画像が常に表示された画面は、ユーザに違和感を与える。また、マーカが表示されている場所は通常の表示には利用できないことになる。これに対して、通常の映像（マーカのない映像）とマーカ映像を交互に表示する場合、マーカの表示位置も通常の映像表示に利用できる。しかしながら、ユーザが通常の映像を観察しようとする場合に、ユーザに画面のちらつき感を与えてしまう可能性がある。

また、最近では、ユーザが視認可能な広告情報とともに関連するＵＲＬを示すコードイメージ（例えばＱＲコード）をディスプレイ上に表示する場合がある。ＱＲコードはユーザが見ても何の意味も成さないので、ＱＲコードのスペースは視認可能な情報の掲載にとってみれば、使用することのできない無駄なスペースとなってしまう。

本発明は、上記の課題に鑑みてなされたものであり、通常の映像表示と撮影のための映像の表示を適切なタイミングで切り替えることを可能とし、画面を観察するユーザに与える違和感等を減少させることを目的とする。

上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、
表示装置の表示画面に画像を表示させる表示制御装置であって、
ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
通信可能に接続された撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備える。

本発明によれば、撮影画像の解析において解析の対象となる画像を適切なタイミングで映像に含ませることができ、画面を観察するユーザに与える違和感を減少させることができる。

表示システムの構成例を示す図。 （ａ）は撮像装置の構成例を示すブロック図、（ｂ）はパーソナルコンピュータの構成例を示すブロック図。 撮像装置が表示装置上に表示されたマーカを取得する処理を示すフローチャート。 画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。 画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。 マーカ映像の撮影から表示装置上の座標点を検知するまでの流れを示す図。 算出された座標点内に存在する画像を強調表示する処理を表した図。 選択された画像の表示を移動する処理を表した図。 選択された画像の表示を削除する処理を表した図。 表示装置のマーカ表示期間を伸ばす処理を示す図。 表示装置のマーカ表示間隔を短縮する処理を示す図。 表示装置のマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図。

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。

（第１実施形態）
まず、本発明の実施形態に係る撮像装置、表示装置及び制御装置について説明する。
図１は、実施形態に係わる表示システムの構成例を示す図である。本表示システムにおいては、ディスプレイ１０１における画面上の所望の位置を指示するための入力手段として撮像装置が用いられる。本実施形態ではそのような撮像装置としてデジタルカメラ１００が用いられる。ディスプレイ１０１は、パーソナルコンピュータ１０２の制御により、その表示画面上に映像を表示する。ディスプレイ１０１としては、例えばプロジェクタのスクリーン、ＬＣＤ、プラズマディスプレイなどを用いることができる。

ディスプレイ１０１への表示を制御する表示制御装置としては、種々の情報処理装置が利用可能であり、本実施形態ではパーソナルコンピュータ１０２が用いられている。パーソナルコンピュータ１０２は、インストールされたプログラム（アプリケーション）を実行することにより、ディスプレイ１０１に対する表示制御や、後述のフローチャートに示された処理を含む各種処理を実行する。デジタルカメラ１００とパーソナルコンピュータ１０２は、データ信号接続１０３により通信可能に接続されている。データ信号接続１０３としては、ＵＳＢやＲＳ−２３２Ｃなどの有線ケーブルによる接続、または、BluetoothやワイヤレスＬＡＮなどの無線形式での接続を用いることができる。ディスプレイ１０１とパーソナルコンピュータ１０２は、映像信号接続１０４で示すように、アナログＲＧＢやＤＶＩなどの映像信号を通信するために、有線ケーブルやワイヤレスＬＡＮなどの無線形式で接続されている。

また、ディスプレイ１０１上には、パーソナルコンピュータ１０２の制御下でマーカ映像１０５が表示される。操作者がレリーズスイッチ１０６を操作することによりデジタルカメラ１００でディスプレイ１０１に表示されているマーカ映像１０５を撮影すると、得られた撮影画像はデータ信号接続１０３を介してパーソナルコンピュータ１０２に送信される。本実施形態では、マーカ映像１０５を数字や文字で表しているが、任意の記号、数字、文字、または幾何学的模様であっても何ら構わない。ただし、それぞれの座標点で固有のものであり、局所的な画像により座標点が容易に検出できるものであるとする。

図２（ａ）は撮像装置としてのデジタルカメラ１００のブロック図である。撮像素子２０１は、撮影レンズ２００を介して形成される光学像を電気信号に変換する。Ａ／Ｄ変換器２０２は撮像素子２０１のアナログ信号出力をディジタル信号に変換する。レンズ制御部２０３は撮影レンズ２００のフォーカシングならびにズーミングを制御する。撮像素子制御部２０４は、システム制御回路２０７の制御下で撮像素子２０１やＡ／Ｄ変換器２０２にクロック信号や制御信号を供給する。画像処理回路２０５は、Ａ／Ｄ変換器２０２からのデータ或いはシステム制御回路２０７からの画像データに対して所定の画素補間処理や色変換処理を行う。メモリ２０６は撮影した画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、画像処理回路２０５やシステム制御回路２０７の作業領域としても使用することが可能である。システム制御回路２０７はデジタルカメラ１００全体を制御する。システム制御回路２０７には、動作用の定数、変数、プログラム等を記憶するメモリ（不図示）が含まれる。スイッチ２０８はデジタルカメラ１００に備え付けられているスイッチ全般を表しており、例えば以下を含むものとする。電源オン／オフを制御する電源スイッチ、撮像装置のモード（通常撮影モード、画像選択モード、再生モード等）を切り替えるモードダイアルスイッチ、撮影レンズ２００を駆動し、ズーミングを行うズームスイッチ、撮影を行うシャッタースイッチ等である。送受信部２０９は、ＵＳＢやＲＳ−２３２Ｃなどの有線ケーブルによる通信を行うための接続コネクタならびに制御回路、ワイヤレスＬＡＮなどの無線通信を行うためのトランスミッターならびに制御回路を有する。送受信部２０９により、メモリ２０６に保存された撮影画像を通信相手に送信したり、また通信相手の動作状況等を示す情報を受信し、システム制御回路２０７に伝えたりすることができる。表示部２１０は、液晶パネル１０７等のディスプレイ、ならびに液晶パネル背面より光を照射するバックライトより構成される。

図２（ｂ）は表示制御装置としてのパーソナルコンピュータ１０２のブロック図である。
図１において、内部バス２５０に対してＣＰＵ２５１、不揮発性メモリ２５２、メモリ２５３、映像出力部２５４、入力部２５５、ドライブ装置２５６および通信Ｉ／Ｆ２５７が接続される。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。不揮発性メモリ２５２は、画像データやその他のデータ、ＣＰＵ２５１が動作するための各種プログラムなどが格納される。メモリ２５３は、例えばＲＡＭからなり、ＣＰＵ２５１のワークメモリとして使用可能である。ＣＰＵ２５１は、例えば不揮発性メモリ２５２に格納されるプログラムに従い、メモリ２５３をワークメモリとして用いて、このパーソナルコンピュータ１０２の各部を制御する。

入力部２５５は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ２５１に供給する。例えば、入力部２５５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ２５１は、入力デバイスに対してなされたユーザ操作に応じて入力部２５５で生成され供給される制御信号に基づき、プログラムに従いこのパーソナルコンピュータ１０２の各部を制御する。これにより、パーソナルコンピュータ１０２に対し、ユーザ操作に応じた動作を行わせることができる。

映像出力部２５４は、ディスプレイ１０１等の表示手段に対して映像を表示させるための表示信号を出力する。例えば、映像出力部２５４に対して、ＣＰＵ２５１がプログラムに従い生成した表示制御信号と、表示制御信号に基づいて生成された表示信号（映像信号）を供給する。映像出力部は、表示制御信号に基づき表示信号（映像信号）をディスプレイ１０１に対して出力する。例えば、映像出力部２５４は、ＣＰＵ２５１が生成する表示制御信号に基づき、ＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面をディスプレイ１０１に対して出力して表示させる。また、映像出力部２５４は、ＣＰＵ２５１が生成する表示制御信号に基づき、後述する通常の観察用の表示映像やマーカ映像１０５をディスプレイ１０１に対して出力して表示させる。

ディスプレイ１０１はパーソナルコンピュータ１０２の一部を構成するディスプレイであっても、外付けの外部表示手段であってもよく、前述のとおり、プロジェクタのスクリーン、ＬＣＤ、プラズマディスプレイなどを用いることができる。ディスプレイ１０１は前述のとおり映像信号接続１０４を介してパーソナルコンピュータ１０２の映像出力部２５４と接続される。

ドライブ装置２５６は、ＣＤやＤＶＤといった外部記憶媒体２５８が装着可能とされ、ＣＰＵ２５１の制御に基づき、装着された外部記憶媒体２５８からのデータの読み出しや、当該外部記憶媒体２５８に対するデータの書き込みを行う。なお、ドライブ装置２５６が装着可能な外部記憶媒体２５８は、ＣＤやＤＶＤといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置２５６に装着するものとしてもよい。通信インターフェイス（Ｉ／Ｆ）２５７は、ＣＰＵ２５１の制御に基づき、ＬＡＮやインターネットといったネットワーク１２０や、デジタルカメラ１００（より具体的には送受信部２０９）に対する通信（有線、無線は問わない）を行う。
後述するデジタルカメラ１００からの押下完了信号（撮影準備信号）、撮影画像、座標取得処理中断通知の受信、デジタルカメラへの表示完了信号、座標取得の成否情報の送信はこのこの通信Ｉ／Ｆ２５７を介して行う。

次に、デジタルカメラ１００の動作を図３に示すフローチャートに基づいて説明する。図３のフローチャートは、システム制御回路２０７が、デジタルカメラ１００に含まれる不図示のメモリに記憶されたプログラムをメモリ２０６に展開して実行することによって実現する。
まず、ステップＳ３０１にてデジタルカメラ１００のシステム制御回路２０７は、マーカを取り込むための適切なモードに移行しているかどうかの確認を行う。本実施形態において、デジタルカメラ１００は“電子アルバムモード”を備える。電子アルバムモードに移行した状態のデジタルカメラ１００によりディスプレイ１０１上に表示されたマーカ映像１０５を撮影すると、撮影されたマーカ画像に所定の処理が行われ、デジタルカメラが表示装置上のどの範囲を撮影したかを検出することが可能になる。

次に、ステップＳ３０２において、システム制御回路２０７はレリーズスイッチ１０６の１段目が押下されたかどうかを検出する。図１に示されるように、レリーズスイッチ１０６は、デジタルカメラ１００に撮像動作を開始させるためのスイッチである。本実施形態においては、このレリーズスイッチ１０６は２段階のスイッチとなっており、撮影者がレリーズスイッチ１０６を軽く押下すると１段目のスイッチがオンし、強く押し込むと２段目のスイッチがオンする仕組みとなっている。一般に１段目のスイッチがオンすることによりデジタルカメラ１００はオートフォーカス動作等の撮影準備を開始する。そして、２段目のスイッチがオンすると、撮影が開始される。

システム制御回路２０７は、ステップＳ３０２においてレリーズスイッチ１０６の１段目が押されたことを検出すると、処理をステップＳ３０３に進める。ステップＳ３０３において、システム制御回路２０７は、送受信部２０９を用いてパーソナルコンピュータ１０２に対してレリーズスイッチ１０６の１段目の押下完了信号を撮影準備信号として送信する。この場合、撮影準備信号は、オートフォーカスの開始に対応したものとなる。パーソナルコンピュータ１０２はこの１段目の押下信号を受信すると、ディスプレイ１０１上にマーカ映像１０５と通常の表示映像との交互表示を開始し、デジタルカメラ１００にマーカ表示完了信号を送信する。表示制御装置であるパーソナルコンピュータ１０２の動作フローに関しては後ほど詳述する。

ステップＳ３０４において、送受信部２０９を介してパーソナルコンピュータ１０２からマーカ表示完了信号を受信すると、処理はステップＳ３０５に移行する。ここで、レリーズスイッチ１０６の２段目のスイッチが押されると、処理はステップＳ３０６に移行し、システム制御回路２０７は撮像素子２０１による撮影を実行する。ここでは、パーソナルコンピュータ１０２の制御によりマーカ映像１０５と通常の表示映像が交互に表示されているディスプレイ１０１の表示画面の撮影が行われるものとする。撮影完了後、システム制御回路２０７は、ステップＳ３０７において、撮影画像をパーソナルコンピュータ１０２に送信する。パーソナルコンピュータ１０２では、デジタルカメラ１００から送信された撮影画像に含まれるマーカ映像１０５の画像に基づいて、座標取得が行われる。

次に、ステップＳ３０８に移行し、システム制御回路２０７は、送受信部２０９を介してパーソナルコンピュータ１０２からの座標取得の成否情報を入手する。パーソナルコンピュータ１０２から座標取得失敗の情報を受け取った場合には、処理はステップＳ３０９に移行する。他方、パーソナルコンピュータ１０２から座標取得成功の情報を受け取った場合には本フローチャートのシーケンスを終了する。

座標取得失敗の情報を受け、処理がステップＳ３０９に移行した場合には、システム制御回路２０７は、デジタルカメラ１００の液晶パネル１０７を用いて座標取得処理に失敗したことを撮影者に通知する。次に、Ｓ３１０において、システム制御回路２０７は、レリーズスイッチ１０６の２段目が押されているかの検知を再度行う。レリーズスイッチ１０６が押されている場合にはステップＳ３０６に移行し、システム制御回路２０７は、再度、座標取得処理のために撮影を実行する。レリーズスイッチ１０６が押されていない場合には、システム制御回路２０７は撮影者がマーカ映像１０５の取得作業を中断したと判断し、ステップＳ３１１において、液晶パネル１０７により座標取得処理が中断されたことを撮影者に通知する。これによって、レリーズスイッチ１０６の２段目のスイッチが押され続けている間は連続的に撮影が行われ、座標取得成功の情報を受け取るまで連続的に撮影された画像を連続的に送信し続けることとなる。なお、Ｓ３０７で送信する画像は１枚としてもよいし、複数枚毎としてもよい。１枚の場合は、１枚の画像を撮影するたびに撮影画像を表示制御装置に送信して座標取得の成否情報を待つ構成となる。また、複数枚毎の場合は、複数回の撮影をしてある程度の枚数の撮影画像が溜まってからまとめて複数の画像を表示制御装置に送信し、座標取得の成否情報を待つ構成となる。なお、座標取得の成功の情報を取得するまでは、座標取得の成否情報の取得の有無に関わらず撮影を続け、撮影画像を送信し続ける構成としてもよい。このようにすれば、無線等で通信が途切れ途切れになる場合でも対応可能である。

次に、本発明に係わる画像表示制御装置としてのパーソナルコンピュータの動作をフローチャートに基づいて説明する。図４は本実施形態に係る表示制御装置（パーソナルコンピュータ１０２）が撮像装置（デジタルカメラ１００）の撮影した範囲の座標を検出する処理を示すフローチャートである。なお、パーソナルコンピュータはディスプレイ１０１の表示画面上に、ユーザに観察させるための観察用の映像を表示させているものとする。図４の処理は、パーソナルコンピュータ１０２のＣＰＵ２５１が、不揮発性メモリ２５２に記憶されたプログラムをメモリ２５３に展開して実行することにより実現する。

ステップＳ４０１にて、デジタルカメラ１００から、レリーズスイッチ１０６の１段目が押下されていることを示す押下完了信号（撮影準備信号）を受信した場合、処理はステップＳ４０２に移行する。ステップＳ４０２において、パーソナルコンピュータ１０２は、表示装置であるディスプレイ１０１によるマーカ映像１０５の表示を開始する。マーカ映像１０５は、デジタルカメラ１００によって撮影されることを目的して予め用意された撮影用の映像である。ここで、パーソナルコンピュータ１０２は、通常の観察用の映像のみをディスプレイ１０１に表示していた状態から、マーカ映像１０５（即ち、撮影用の映像）と観察用の映像とを交互にディスプレイ１０１に表示する状態へ、表示を切り替える。例えば、観察用の表示映像を表示する間に、撮影用の映像であるマーカ映像１０５を所定の表示間隔（たとえば１秒）で所定の表示期間（たとえば１／３０秒）だけ表示する。マーカ映像１０５と観察用の表示映像との交互表示を開始したならば、パーソナルコンピュータ１０２は、ステップＳ４０３においてデジタルカメラ１００にマーカ映像１０５の表示完了信号を送信する。

マーカ映像１０５は、例えば図１に示すように、ディスプレイ１０１の左上から順番に０１、０２、０３・・・というように規則的にマーカ文字を表示したものである。各マーカ文字はディスプレイ１０１上の座標と関連して配置されており、例えば“０１”のマーカ文字の中心はディスプレイ１０１の座標（２０、２０）を示し、“０２”のマーカ文字の中心は（４０、２０）を示すようになっている。このようにマーカ文字が規則的に配置されたマーカ映像をディスプレイ１０１上に表示することで、マーカ文字の表示位置からディスプレイ１０１の座標を検知することが可能になる。

図３のフローチャートの説明で前述したように、デジタルカメラ１００はマーカ映像１０５を表示するディスプレイ１０１を撮影し、その撮影画像をパーソナルコンピュータ１０２に送信する。撮影画像の送信には図１示す、ＵＳＢやＲＳ−２３２Ｃなどの有線ケーブル接続、または、ワイヤレスＬＡＮなどの無線接続によるデータ信号接続１０３を用いて行う。パーソナルコンピュータ１０２は、デジタルカメラ１００により得られた撮影画像を上述のような通信を介して取得する。パーソナルコンピュータ１０２は、デジタルカメラ１００より撮影画像を受信すると、処理をステップＳ４０４からステップＳ４０５に移行させる。

ステップＳ４０５、Ｓ４０６において、パーソナルコンピュータ１０２は受信した撮影画像に含まれているマーカ画像からディスプレイ１０１のどの部分が撮影されているかを検出する。まず、受信した撮影画像からマーカ画像を抽出する。続いて、マーカが図からディスプレイ１０１のどの部分が撮影されているかを検出する。撮影されたマーカ画像からディスプレイの部分を特定する方法としては種々の方法が考えられる。例えば、上述のように、マーカ画像が０１，０２…のような数字や文字であり、且つ、ディスプレイ１０１上における表示位置（座標）が既知であれば、周知の文字認識処理を適用してマーカ画像を特定し、その座標を決定することができる。或いは、ディスプレイ１０１の全域に表示しているマーカ映像と撮影画像について周知のマッチング処理を行うことにより、撮影画像がマーカ映像のどの部分であるかを特定することができる。また、回転等に対しても、文字認識処理における周知の回転判定処理等を適用すれば容易に検出できる。本実施形態では、ステップＳ４０５においてパーソナルコンピュータ１０２は両者の画像を比較（マッチング）することで、デジタルカメラ１００が撮影した部分を特定し、ステップＳ４０６においてその範囲の座標を検出する（ステップＳ４０６）。座標の検出に成功した場合、処理はステップＳ４０７からステップＳ４０９に移行する。他方、座標検知に失敗した場合には処理はステップＳ４０７からステップＳ４０８に移行する。なお、ステップＳ４０５でマーカ画像が抽出できなかった場合は座標検知失敗と同等であり、Ｓ４０７を経てＳ４０８へ進む。

座標の検出に失敗した場合、すなわち、ステップＳ４０８に移行した場合には、パーソナルコンピュータ１０２は、デジタルカメラ１００に座標検出に失敗したことを知らせる情報を送信する。その後、ステップＳ４０４に移行し、デジタルカメラ１００からの撮影画像受信待ちの状態に移行する。一方、ステップＳ４０９に移行した場合には、パーソナルコンピュータ１０２は、座標検出に成功したことを知らせる情報をデジタルカメラ１００に送信する。そして、ステップＳ４１０において、パーソナルコンピュータ１０２は、ディスプレイ１０１へのマーカ映像の表示を停止する。即ち、撮影用の映像であるマーカ映像と観察用の映像との交互表示を停止し、通常の表示映像のみの表示に戻る。なお、デジタルカメラ１００より座標取得処理中断通知（Ｓ３１１）を受信した場合には、パーソナルコンピュータ１０２は、直ちにディスプレイ１０１へのマーカ映像の表示を停止し（Ｓ４１０）、図４に示した処理を終了する。

以上、説明した制御により、デジタルカメラ１００がディスプレイ１０１上に表示したマーカ映像を撮影することでデジタルカメラ１００がディスプレイ１０１上のどの領域を撮影しているかを検出することが可能となる。即ち、観察者でもあるユーザがディスプレイ１０１上の所望の位置を撮影することにより、ディスプレイ１０１上における当該所望の位置を指示することができる。また、ユーザがデジタルカメラ１００を回転させて撮影を行った場合には、撮影画像の回転量からその角度を検出できるので、所望の角度を指定することも可能である。従って、パーソナルコンピュータ１０２は、これらの検出値（座標値や回転量）を利用して、デジタルカメラ１００に格納されている画像等をディスプレイ１０１上の所望の位置に所望の回転量で表示させたり、表示中の所望の画像を選択して移動／削除を指示したりすることが可能となる。

図６はマーカ映像１０５の撮影から、ディスプレイ上の座標点を検知するまでの流れを説明する図である。撮影者は、デジタルカメラ１００に備わる液晶パネル１０７で撮影位置を確認しながら、マーカ映像１０５の表示が行われているディスプレイ１０１の所望の位置を撮影する。上述したように、マーカ映像１０５の表示は撮影準備信号を受信してから観察用の映像の表示と交互に行われるので、観察用の映像において表示される所望の画像を指示することも容易に行える。パーソナルコンピュータ１０２はデジタルカメラ１００が撮影した画像と、ディスプレイ１０１に表示している映像とから、画像認識により、座標点ならびに撮影領域、回転量の算出を行う。

図７は、ディスプレイ１０１の表示例であり、算出された座標点（撮影領域）内に存在する画像を強調表示する処理を説明する図である。図７の（ａ）において点線で囲われた領域７０１は、デジタルカメラ１００の操作者がディスプレイ１０１上の一領域に焦点を合わせ、撮影しようとしている撮影範囲である。この状態でデジタルカメラ１００が撮影を実行し、その撮影画像がパーソナルコンピュータ１０２に送信されると、パーソナルコンピュータ１０２は、当該撮影画像に含まれるマーカ画像から領域７０１の座標を検出する。パーソナルコンピュータ１０２は、検出された領域７０１内（デジタルカメラ１００の撮影範囲内）に存在する映像を検出し、検出された映像の強調表示を行う。本実施形態においては、図７の（ｂ）に示されるように、画像の枠を太枠に変更することで映像の強調表示を行っている。上記手順によって、操作者はディスプレイ１０１に表示中の映像から所望の画像をデジタルカメラ１００による撮影操作により指定（選択）することができる。

図８は、選択された画像の表示位置を移動する処理を表した図である。図８の（ａ）において点線で囲われた領域８０１は、デジタルカメラ１００の操作者がディスプレイ１０１上の一領域に焦点を合わせている撮影範囲である。この状態でデジタルカメラ１００による撮影が行われると、上述したように、領域８０１内の画像が選択される。続いて、デジタルカメラ１００の撮影範囲をディスプレイ１０１上の、画像を移動したい領域８０２に合わせて撮影が行われると移動先の領域８０２が決定される（図８の（ｂ））。移動先が決定されると図８の（ｃ）に示すように領域８０１の指定により選択された画像を移動先として指定された領域８０２に移動する移動処理が行われる。なお、操作者が領域８０１を選択した後、移動先を決定するまでの間、ディスプレイ１０１には、選択された領域８０１に対応する領域枠を１フレーム毎に表示する。なお、領域枠の表示間隔は１フレーム間隔に限定されるものではなく、１フレーム以上、１フレーム単位の任意のタイミングで表示装置上に表示可能である。また、移動先の領域８０２が決定され、選択された画像を移動する際には、図８の（ｂ）に示すように、領域枠の移動軌跡を表示するようにしても良い。

図９は選択された映像の表示を削除する処理を表した図である。図９の（ａ）において点線で囲われた領域９０１は、デジタルカメラ１００を持つ撮影者がディスプレイ１０１上の一領域に焦点を合わせている選択範囲に対応する。この状態でデジタルカメラ１００による撮影が行われると、パーソナルコンピュータ１０２は、図７において説明したように、領域９０１を認識し、その内部に存在する画像を選択された画像とする。その後、操作者がデジタルカメラ１００の操作スイッチ２０８のうちの一つである削除ボタンを押すと、図９の（ｂ）に示すように選択された画像の表示が削除される。なお、このときデータの実体を削除するようにしても良い。また、このとき、デジタルカメラ１００は削除ボタンが押下されたことをパーソナルコンピュータ１０２に送受信部２０９を介して通知する。

（第２実施形態）
図３と、図４で説明した第１実施形態の処理では、デジタルカメラ１００によるマーカ撮影処理が失敗した場合（パーソナルコンピュータ１０２による座標検出に失敗した場合）には、再度マーカ映像の撮影を試みる方法をとっている。本手順による処理は簡易であり、プログラムの作成も容易であるが、撮影環境によっては、何度撮影を繰り返してもマーカ撮影処理が成功しない場合も考えられる。こういった場合には、デジタルカメラ１００によるマーカ撮影処理が失敗した場合には、次回撮影時にマーカ取り込みの成功率が向上するように、マーカ映像の表示状態を変更させる。より具体的には、座標の検出に失敗した場合に、マーカ映像の単位時間あたりの表示期間を増加させることにより、デジタルカメラ１００がマーカ映像の撮影に成功する可能性を高める。

図５は第２実施形態に係るパーソナルコンピュータ１０２による座標検出処理を示すフローチャートである。図５の処理は、パーソナルコンピュータ１０２のＣＰＵ２５１が、不揮発性メモリ２５２に記憶されたプログラムをメモリ２５３に展開して実行することにより実現する。図５において図４と同じ処理には同一のステップ番号を付してある。第２実施形態では、パーソナルコンピュータ１０２は、座標検出に失敗したことを知らせる情報をデジタルカメラ１００に送信（ステップＳ４０８）した後、ディスプレイ１０１におけるマーカ表示状態を変更する（ステップＳ５０１）。マーカ映像の単位時間あたりの表示期間を増加させるためのマーカ表示状態の変更方法としては種々の方法が考えられるが、それらのうちのいくつかの具体例について、以下、説明する。

〈マーカ映像の表示期間の変更〉
図１０は、実施形態に係るディスプレイ１０１におけるマーカ映像が連続して表示される期間を伸ばす処理を示す図である。この例においては、ディスプレイ１０１が１秒間に３０コマの画像を表示可能なディスプレイであると仮定して説明を行う。図１０において、最初の撮影時には、マーカの表示は１／３０秒間、１秒間隔で行われている。１００１は、最初の撮影におけるマーカ表示状態であり、マーカ映像の連続して表示される期間が１／３０秒間、表示間隔が１秒の場合のディスプレイ１０１における表示コマを時系列で表したものである。ディスプレイ１０１上にマーカ映像を長時間表示すると、ディスプレイ１０１上に表示されている観察用の表示映像が見にくくなってしまうため、初期状態ではできるだけマーカ表示時間が短くなるように設定している。

デジタルカメラ１００による最初の撮影で座標の検出に失敗した場合には、図５のステップＳ５０１にて、マーカ表示状態を変更する。図１０においては、マーカ映像の表示期間を伸ばすことで、次回の撮影時の座標検出確率を高める制御を行っている。１００２は、２回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を２／３０秒間、表示間隔を１秒に変更した場合のディスプレイ１０１の表示コマを時系列で表したものである。

マーカ映像の表示期間が２／３０秒間でも座標検出に失敗する場合には、その連続して表示される期間を２／３０秒間から３／３０秒間に延長する。１００３は、３回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を３／３０秒間、表示間隔１秒に変更した場合のディスプレイの表示コマを時系列で表したものである。

マーカ映像の表示期間を３／３０秒間に伸ばしても座標検出が失敗する場合には、表示期間を４／３０秒間、５／３０秒間 ・・・ というように、マーカ映像の表示コマ数を順次に増やしていくことで、撮影時の検出確率を高めるように制御を行う。ここで、マーカ映像の表示期間の変更量は、１／３０秒間→２／３０秒間→３／３０秒間のように一定である必要は無く、例えば１／３０秒間→２／３０秒間→４／３０秒間というように変更しても良い。

〈マーカ映像の表示間隔の変更〉
図１１は、ディスプレイ１０１におけるマーカ映像の表示間隔を短縮する処理を示す図である。１００１は、最初の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間が１／３０秒間、表示間隔が１秒の場合のディスプレイの表示コマを時系列で表したものである。

最初の撮影で、座標の検出に失敗した場合には、図５のステップＳ５０１にて、ディスプレイ１０１のマーカ表示状態を図１１に示すように変更する。図１１においては、マーカ映像の表示間隔を短縮することで、次回撮影時の座標検出確率を高める制御を行っている。１１０２は、２回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を１／３０秒間、表示間隔を１／２秒に変更した場合のディスプレイの表示コマを時系列で表したものである。

マーカ映像の表示間隔が１／２秒でも座標検出に失敗する場合には、マーカ映像の表示間隔を１／２秒から１／３秒に短縮する。１１０３は、３回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を１／３０秒間、表示間隔を１／３秒に変更した場合のディスプレイ１０１の表示コマを時系列で表したものである。マーカ映像の表示間隔を１／３秒に短縮しても座標検出が失敗する場合には、更にマーカ映像の表示間隔を１／４秒、１／５秒というように暫時短縮することで、撮影時の座標検出確率を高めるように制御を行う。

〈マーカ映像の表示期間と表示間隔の変更〉
図１２は、ディスプレイ１０１におけるマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図である。１００１は、最初の撮影におけるマーカ表示状態であり、マーカ映像の表示期間が１／３０秒間、表示間隔が１秒の場合のディスプレイの表示コマを時系列で表したものである。

最初の撮影で、座標の検出に失敗した場合には、図５のステップＳ５０１にて、ディスプレイ１０１におけるマーカ表示状態を変更する。図１２においては、マーカ映像の表示期間と表示間隔の両方を変更することで、次回撮影時の座標検出確率を高める制御を行っている。１２０２は、２回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を２／３０秒間、表示間隔を１／２秒に変更した場合のディスプレイの表示コマを時系列で図示したものである。

マーカ映像の表示間隔と表示期間を１２０２に示すように変更しても座標検出が失敗する場合には、１２０３に示すように、マーカ映像の表示期間を２／３０秒から３／３０秒に変更し、表示間隔を１／２秒から１／３秒に変更する。このようにして、単位時間当たりのマーカ映像１０５の表示期間を暫時増加させることで、撮影時の座標検出確率を高める。

以上のように、上記実施形態によれば、座標の検出のための解析対象となるマーカ映像の表示を、撮影装置からの撮影準備信号の受信に応じて開始させるので、観察用の表示映像を観察しようとするユーザに与える違和感を減少させることができる。また、上記実施形態によれば、表示制御装置において座標を演算するので、撮像装置側の負荷は少ない。すなわち、撮像装置はレリーズスイッチの１段目がオンしたことを示す信号と撮影画像を表示制御装置に送信する機能を有していれば十分であり、撮像装置に特殊な機能を追加する必要がなくなる。

なお、上記第１実施形態では、マーカ映像と観察用の映像とを交互に表示するが、撮影準備信号の受信に応じてマーカ映像のみを表示するようにすることもできる。この場合、確実にマーカ映像を撮影できるが、レリーズスイッチ１０６の１段目がオンすると観察用の映像を観察することができなくなる。

また、例えば特許文献２に記載された構成、即ちデジタルカメラ１００の側で座標検出を行う構成に本発明を適用することもできる。この場合、デジタルカメラ１００のシステム制御回路２０７は、ステップＳ３０６で撮影を実行すると、その撮影画像に基づいて指示位置を示す座標を取得する。デジタルカメラ１００は、座標の取得に成功したか失敗したかをパーソナルコンピュータ１０２に通知する。パーソナルコンピュータ１０２は、座標の取得に成功した旨の信号をデジタルカメラ１００から受信すると、撮影準備信号に応じて開始したマーカ画像の表示を終了する。

（第３実施形態）
第１、第２実施形態では、デジタルカメラ１００により所望の位置（或いは範囲）を指示可能とする構成を説明したが、本発明はこれらの構成への適用に限られるものではない。撮影準備信号に応じて、観察目的の映像から処理目的にあわせた映像に変更する構成は、例えば、バーコードやＱＲコードのコード画像を含む映像に適用することができる。この場合、撮像装置としてカメラ機能およびコード読み取り機能を持つ携帯電話を用いて、通常のカメラ動作で撮影を行なう場合には通常の映像表示を行い、コード読み取りを行なう場合にのみＱＲコード等を含む撮影用の映像表示をするようにできる。但し、携帯電話は、コード読み取り機能が動作中である旨を示す信号を出力する機能を持つものとする。このような、コード読み取り機能が動作中である旨を示す信号も、本願の撮影準備信号の範疇である。パーソナルコンピュータ１０２は、コード読み取り機能が動作中である旨の信号の受信に応じて、例えばＱＲコード等のコード画像の表示を開始する。

また、撮影時に不要な情報を非表示にするように構成することもできる。例えば、ＱＲコードを常時表示し、コード読み取り機能による撮影ではなくカメラによる撮影を行なう場合には、コード画像を非表示とする。

以上、本発明の実施形態について具体的な説明を行ったが、本発明は上述の実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。

例えば、上記実施形態においては、撮像装置が１台である場合の動作を示したが、パーソナルコンピュータ１０２に複数の撮像装置を接続できるようにしてもよい。この場合、それぞれの撮像装置が同時にディスプレイ１０１の表示画面を撮影し、撮影範囲の座標を取得することが可能となり、それぞれの撮像装置が同時にディスプレイ１０１上の映像を操作することが可能となる。

また、上記第１、第２実施形態においては、画像の選択、選択画像の移動、削除といった後処理を施すことを例示したが、本発明の主旨からすれば、これら処理に限定されるものではないことは明らかである。例えば、画像の拡大／縮小、複製、回転、置換など他の様々な処理を実施することも可能である。

また、上記第１、第２実施形態では、デジタルカメラ１００で撮影された撮影画像の全体を用いて座標検出を行なっているが、撮影画像の一部を用いて座標検出を行うようにしてもよい。例えば、撮像画像のうち、デジタルカメラ１００のフォーカスフレーム内の画像を用いて座標検出を行うようにしても良い。

なお、システム制御回路２０７の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像機能を有するパーソナルコンピュータやＰＤＡ、携帯電話といった機器を用いることも可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 表示装置の表示画面に画像を表示させる表示制御装置であって、
   ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
   通信可能に接続された撮像装置と通信する通信手段と、
   前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備えることを特徴とする表示制御装置。
2. 前記撮影用の映像は複数のマーカが配置されたマーカ映像であり、
   前記制御手段は、前記撮影準備信号を受信したことに応じて、前記マーカ映像と前記観察用の映像とを前記表示画面に交互に表示することを開始することを特徴とする請求項１に記載の表示制御装置。
3. 前記撮像装置により撮影して得られた撮影画像を前記通信手段を介して取得する取得手段と、
   前記撮影画像に含まれている前記マーカの画像に基づいて、前記表示画面における前記撮影画像の位置を検出する検出手段とを更に備え、
   前記制御手段は、前記検出手段により前記位置の検出に成功した場合に、前記制御手段による前記マーカ映像の表示を停止することを特徴とする請求項２に記載の表示制御装置。
4. 前記制御手段は、前記検出手段による前記位置の検出に失敗した場合、前記観察用の映像と前記マーカ映像の交互の表示において、前記マーカ映像の単位時間あたりの表示期間を増加させることを特徴とする請求項３に記載の表示制御装置。
5. 前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長することを特徴とする請求項４に記載の表示制御装置。
6. 前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を表示する間隔を短縮することを特徴とする請求項４に記載の表示制御装置。
7. 前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長するとともに前記マーカ映像を表示する間隔を短縮することを特徴とする請求項４に記載の表示制御装置。
8. 前記制御手段は、前記撮影準備信号の受信に応じて、コンピュータによる情報の読み取りが可能なコード画像を含む映像を、前記撮影用の映像として前記表示画面に表示することを特徴とする請求項１に記載の表示制御装置。
9. 表示装置の表示画面に画像を表示させる表示制御装置の表示制御方法であって、
   表示手段が、ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示工程と、
   制御手段が、通信手段を介して通信可能に接続された撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御工程とを有することを特徴とする表示制御装置の制御方法。
10. 請求項９に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラム。
11. 請求項９に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラムを格納した、コンピュータにより読み取りが可能な記憶媒体。

Images