以下、本発明の第1の実施の形態について図面を参照しつつ詳細に説明する。
図1は、第1の実施の形態に係る表示装置を示す斜視図であり、図1(a)は、レンズの光軸先端方向からみた図、図1(b)は背面方向からみた図、図1(c)は、表示部を本体部に対して反転収納した状態を示す図である。
図1において、この表示装置は、撮影装置を備えたデジタルビデオカメラである。デジタルビデオカメラ100は、カメラ部101を有する本体部114と、ヒンジ部120によって本体部114に対して矢印A及びB方向に回動自在に取り付けられた表示部113とを有する。図1(c)に示すように、表示部113は、ヒンジ部120によって本体部114に対して反転して収納することも可能である。
表示部113は、図1(b)に示すように、LCDパネル112とタッチパネル108とを内蔵しており、LCDパネル112とタッチパネル108は一体的に構成されている。タッチパネル108は、例えば、光の透過率がLCDパネル112の表示を妨げないように構成され、LCDパネル112の表示面の上層に取り付けられている。タッチパネル108における入力座標と、LCDパネル112上の表示座標とが対応付けられている。これによって、あたかもユーザがLCDパネル112上に表示された画面を直接的に操作できるかのようなGUI(Graphical User Interface)を構成している。本体部114には操作キー107が設けられている。
図2は、図1の表示装置の構成を示すブロック図である。
図2において、表示装置としてのデジタルビデオカメラ100は、該デジタルビデオカメラ100全体の動作を制御する演算処理装置としてのCPU109を有する。CPU109は、デジタルビデオカメラ100を構成する各機能部と接続されており、プログラム・データ記憶部110から読み込んだプログラムに従ってデジタルビデオカメラ100全体の動作を制御する。プログラム・データ記憶部110に記憶されたプログラムは、CPU109に複数のタスクを並列に実行させるための機能を備えており、CPU109の制御によってモード制御タスク、カメラ制御タスク、レコーダ制御タスク、及び、表示制御タスクが動作する。表示制御タスクを実行するCPU109が、表示制御手段としての機能を果たす。
CPU109に接続された一次記憶部103の一部は、CPU109のワーク領域として機能し、後述の動画用フレームバッファ、OSD用フレームバッファを提供する。
カメラ部101は、被写体像を光電変換することによりアナログ映像信号を生成する。従って、カメラ部101は、被写体光を結像させるための撮影レンズ、撮影レンズによって結像された被写体像を光電変換する撮像素子、撮像素子を駆動する回路などを備える。映像処理部102は、カメラ部101から出力されるアナログ映像信号をデジタル信号に変換し、所定の信号処理を施して動画データを生成する。カメラ部101及び映像処理部102の動作は、CPU109が実行する上述のカメラ制御タスクによって制御される。
エンコーダ・デコーダ部104は、映像処理部102からの動画データを符号化する。エンコーダ・デコーダ部104によって符号化された動画データは、一次記憶部103に一旦記憶されたのち、付随する管理データとともにユーザデータ記憶部105に記憶される。ユーザデータ記憶部105は、ハードディスクやフラッシュメモリなどの内蔵メモリや、メモリーカードなどの着脱可能な記録媒体からなる。
動画再生時は、ユーザデータ記憶部105から読みだされた符号化された動画データ(以下、「画像データ」という。)が一次記憶部103を介してエンコーダ・デコーダ部104で復号化され、再び一次記憶部103内の動画用フレームバッファに展開される。エンコーダ・デコーダ部104及びユーザデータ記憶部105の制御は、CPU109が実行する上述のレコーダ制御タスクによって制御される。
ユーザデータ記憶部105から読みだされた管理データは、OSD(On Screen Display)データ、すなわち、撮影画像もしくは再生画像に重畳して表示される文字やGUIの生成に利用される。そして、生成されたOSDデータは、一次記憶部103内のOSD用フレームバッファに描画される。
動画用フレームバッファ及びOSD用フレームバッファの各内容は、表示制御部111で重畳されて、タッチパネル式のLCDパネル112に表示される。OSDデータに関する制御及び表示制御部111とLCDパネル112の制御は、CPU109が実行する上述の制御タスクによって制御される。
また、デジタルビデオカメラ100には、電話やネットワーク接続などの通信機能全般を制御する通信制御部122と、アンテナのような通信手段123が搭載されており、CPU109によって統括的に制御されている。通信手段123を駆動することで、デジタルビデオカメラ100は、インターネットを介して他の機器との間でデータの送受信を行うことが可能となる。
ユーザデータ記憶部105には、上述した画像データのみならず、その他ユーザデータ等も格納されている。かかる構成により、例えばカメラ部101を介した画像データ以外にも、通信制御部122によって駆動された通信手段123を介してダウンロードされた画像データをユーザデータ記憶部105に格納することが可能となる。また、ユーザデータ記憶部105には、画像データ以外のデータ、例えばアプリケーションデータなどの各種データを格納することができる。
マーカ検知手段130は、映像処理部102によって生成された動画データから、後述するマーカの個数を検知し、かつマーカが検知された場合には、該マーカから接続情報としてURL情報を抽出するものであり、CPU109によって統括的に制御される。
接続情報発信手段131は、マーカから得られた接続情報に基づいて後述するクラウドサーバ161に対する接続情報の送信タイミングなどを制御する。CPU109は、接続情報発信手段131や、通信制御部122を統括的に制御することで、マーカから得られた接続情報をもとに、後述するクラウドサーバとの間で好適にデータの送受信を行う。
操作キー107や、表示部113におけるタッチパネル108は、ユーザから操作指示を受け付けるための操作手段として機能する。そして、タッチパネル制御部121は、タッチパネル108に対する以下のユーザの操作を検出する。タッチパネル108を指やペンで触れたこと(以下、「タッチダウン」という。)、タッチパネル108を指やペンで触れている状態であること(以下、「タッチオン」という。)などの操作である。また、タッチパネル制御部121は、タッチパネル108を指やペンで触れたまま移動していること(以下、「ムーブ」という。)、タッチパネル108へ触れていた指やペンを離したこと(以下、「タッチオフ」という。)などの操作を検出する。また、タッチパネル108上に指やペンが触れている位置座標は、タッチパネル制御部121に通知され、タッチパネル制御部121は通知された情報に基づいてタッチパネル108上にどのような操作が行われたかを判定する。
ムーブについては、タッチパネル108上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル108上の垂直成分・水平成分毎に判定される。また、タッチパネル108上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークが描かれたものと判定される。すばやくストロークを描く操作をフリックという。フリックは、タッチパネル108上に指を触れたまま有る程度の距離だけすばやく動かして、そのまま離す操作であり、換言すればタッチパネル108上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出された後、そのままタッチアップが検出されるとフリックが行われたと判定される。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行われたと判定される。
CPU109によって実行される上述のモード制御タスクは、次のように動作する。すなわち、操作部(操作キー107、タッチパネル108)からの指示、他タスクからの要求、もしくはモード制御タスク自身が管理する内部状態の変化に従って、デジタルビデオカメラ100全体の動作状態を遷移させ、各タスクイベントを通知する。
以下、図1の表示装置(デジタルビデオカメラ)を用いた画像表示処理について図面を参照しつつ詳細に説明する。
図3は、図1の表示装置を用いた画像表示処理の手順を示すフローチャートである。図3において、デジタルビデオカメラ100側の処理は、デジタルビデオカメラ100のCPU109がプログラム・データ記憶部110からプログラムを読み出して実行する。また、デジタルビデオカメラ100にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ161のCPU162が実行する(後述する図6参照)。
画像表示処理を開始するに際し、先ず、CPU109は、ユーザによって、デジタルビデオカメラ100の電源が投入されるまで待機する(ステップS301)。次いで、CPU109は、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、CPU109は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする(ステップS302)。
次いで、CPU109は、表示制御部111を制御して、LCDパネル112の表示領域の全領域に画像データを表示(以下、「全画面表示」ともいう。)する(ステップS303)。なお、LCDパネル112の表示領域と、タッチパネル108の位置検出領域は略一致するように構成されている。
次いで、CPU109は、表示制御部111を制御して、動画撮影モードに応じて表示画面を更新する(ステップS304)。すなわち、通常撮影モードならば、LCDパネル112に、画像データとして、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、LCDパネル112には、OSDデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。
このとき、ユーザは、表示装置としてのデジタルビデオカメラ100の表示部113に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。
図4は、本実施の形態におけるドキュメントと、該ドキュメントの撮影状態を示す概略図である。図4(a)において、ドキュメント150としては、例えばハガキ(以下、「ハガキ150」という。)が適用される。ハガキ150には、静止画Aと静止画Bが印刷されている。また、静止画Aと対応する識別マークとしてマーカAが、静止画Bと対応する識別マークとしてマーカBが印刷されている。マーカは、例えば、QRコードに類する二次元コードによって形成されている。
マーカAには、QRコードと同様の技術でデコードすることによって動画Aにアクセス可能となるURL情報(URL:A)がテキスト形式で記入されており、マーカBには、動画Bにアクセス可能となるURL情報(URL:B)が記入されている。すなわち、ハガキ150に印刷された静止画A及び静止画Bは、それぞれマーカA及びマーカBを介することによって、それぞれ動画A及び動画Bと対応付けられている。なお、動画A及び動画Bは、静止画A及び静止画Bにそれぞれ対応する情報として後述するクラウドサーバ161のデータ保管部163に保管されている。
図4(b)には、デジタルビデオカメラ100のカメラ部101によって、ハガキ150のマーカを撮影する状態が示されている。
ユーザが、ドキュメントであるハガキ150の任意のマーカを撮影して選択すると、CPU109は、マーカ検知手段130を制御して、映像処理部102によって生成された画像データから、画面内のマーカの個数Nを判定する(ステップS305)。
図5は、ユーザが、マーカを撮影して選択した場合のLCDパネル112の表示映像を示す図である。図5の(a)はマーカAが撮影された場合を示し、図5(c)はマーカBが撮影された場合を示し、図5(e)はマーカAとマーカBがともに撮影された場合を示す。すなわち、図5(a)及び図5(c)は、1つのマーカが選択された場合を示し、図5(e)は2つのマーカが選択された場合を示す。
ステップS305の判定の結果、1個以上のマーカが検知される(ステップS305で「YES」)と、CPU109は、マーカ検知手段130を制御して、検知した各マーカから各URL情報を読み出す(ステップS306)。
マーカからURL情報を読み出して取得した後、CPU109は、接続情報発信手段131を制御して、読みだした各URL情報を接続情報として、通信制御部122を介してクラウドサーバ161に発信する(ステップS307)。
このとき、図5(a)又は図5(c)に示すように、マーカA又はマーカBのいずれか一方のみが検知された場合は、各URL情報URL:A又はURL:Bが接続情報としてクラウドサーバ161に発信される。一方、図5(e)に示すように、マーカAとマーカBがともに検知された場合は、第一の接続情報としてのURL:A、及び第二の接続情報としてのURL:Bが連続してクラウドサーバ161に発信される。URL:A及びURL:Bは、所定時間間隔内、例えば0.2sec以内に連続してクラウドサーバ161に発信される。
図6は、デジタルビデオカメラ100が、ネットワーク160を介してクラウドサーバ161と接続している状態を示す概念図である。デジタルビデオカメラ100と、該デジタルビデオカメラ100にネットワーク160を介して接続されるクラウドサーバ161とで、表示システムを構成している。
図6において、デジタルビデオカメラ100は、ネットワーク160を介してクラウドサーバ161と接続可能である。クラウドサーバ161は、クラウドサーバ161の動作を統括制御するCPU162と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部163と、情報有無判別手段164とから主として構成されている。データ保管部163には、図示したようにデジタルビデオカメラ100へ発送するダウンロード用データとして、動画A、動画B、動画Cが保管されている。データ保管部163及び情報有無判別手段164はCPU162によって統括制御される。
クラウドサーバ161に接続情報を発信した後、CPU109は、デジタルビデオカメラ100を受信待ちの状態とし(ステップS308)、クラウドサーバ161からダウンロード用のデータを受信するまで待機する(ステップS309)。
このとき、クラウドサーバ161のCPU162は、クラウドサーバ161を初期状態とし、該クラウドサーバ161は、デジタルビデオカメラ100からのデータを受信する受信待ちの状態となっている(ステップS401)。
次いで、CPU162は、デジタルビデオカメラ100から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する(ステップS402)。ステップS402の判定の結果、接続情報を受信した(ステップSS402で「YES」)場合、CPU162は、情報有無判別手段164を制御して、受信した接続情報の判別を行う(ステップS403)。すなわち、CPU162は、受信した接続情報がURL:Aのみか、URL:Bのみか、又はURL:A及びURL:Bの両方かを判別し、URL:A及びURL:Bを受信した場合は、受信した時間間隔を判定する。時間間隔とは、第一の接続情報(URL:A)が受信されてから、第二の接続情報(URL:B)が受信されるまでの時間である。この時間間隔が、例えば0.5sec以内であれば、CPU109は、URL:A及びURL:Bが連続して受信されたと判定する。なお、接続情報を受信する際の所定の時間間隔は、デジタルビデオカメラ100からクラウドサーバ161に発信する際の第一及び第二の接続情報における所定時間間隔である0.2secに対して長く設定される。通信による遅延などを考慮したものである。
ステップS403の判別の結果、URL:Aのみを受信した場合、CPU162は、デジタルビデオカメラ100に返信するダウンロード用データとして、動画Aを選択する(ステップS404)。また、ステップS403における判別の結果、URL:Bのみを受信した場合、CPU162は、デジタルビデオカメラ100に返信するダウンロード用データとして、動画Bを選択する(ステップS406)。
一方、ステップS403における判別の結果、複数の接続情報であるURL:AとURL:Bを連続して受信した場合、CPU162は、情報有無判別手段164を制御して、第三の情報である動画Cの有無を判別させる(ステップS405)。すなわち、CPU109は、URL:AとURL:Bを所定時間間隔内に連続して受信した場合は、URL:Aに対応する動画A、URL:Bに対応する動画B以外の別の情報である動画Cの有無を判別させる。情報有無判別手段164は、複数、例えば2つの接続情報が連続して受信された場合に作動する。動画Cは、URL:Aに対応する動画A、URL:Bに対応する動画B以外の別の情報であるが、URL:A及びURL:Bに関連する情報である。
上述の図6に示したように、クラウドサーバ161のデータ保管部163に、動画Cが保管されている場合、ステップS405の判別結果は「YES」となる。すなわち、動画Cが保管されている場合、CPU162は、デジタルビデオカメラ100に返信するダウンロード用データとして、複数の接続情報(URL:A、B)に対応する複数の動画(A、B)以外の情報である動画Cを選択する(ステップS407)。
一方、図6の状態とは異なり、動画Cがデータ保管部163に保管されていない場合、ステップS405の判別結果は「NO」となる。すなわち、動画Cが存在しない場合、CPU162は、デジタルビデオカメラ100に返信するダウンロード用データとして、複数の接続情報(URL:A、B)にそれぞれ対応する複数の情報である動画Aと動画Bを選択する(ステップS408)。
このとき、CPU162は、ステップS404、S406、S407、又はS408において選択したダウンロード用データをデジタルビデオカメラ100に対して返信する(ステップS409)。なお、デジタルビデオカメラ100に返信するダウンロード用データとして動画Aと動画Bが選択された場合(ステップステップS408)、CPU162は、動画Aと動画Bを連続した動画として返信する。
次いで、ダウンロード用のデータを受信するまで待機していた(ステップS309)デジタルビデオカメラ100のCPU109は、クラウドサーバ161からダウンロード用データを受信すると、処理をステップS310に進める。すなわち、CPU109は、
受信したダウンロード用データをユーザデータ記憶部105に一時的に保存し、マーカ検知手段130を制御して、その時点における画面内のマーカの位置を算出する(ステップS310)。本画像表示処理においては、例えば、図5の画像の左下角を原点として、横軸、縦軸の位置情報が算出される。
次いで、CPU109は、算出したマーカの位置に応じて、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像に、クラウドサーバ161から受信した動画データを重畳して表示する(ステップS311)。
すなわち、図5(a)、(c)に示すように、マーカA及びマーカBのうち何れか1つのマーカが撮影された場合は、それぞれ図5(b)、(d)に示すように、マーカの右下角部と動画データの右下角部が一致するように動画A、動画Bが表示される。また、図5(e)に示すように、2つのマーカが同時に撮影された場合、動画Cは、2つのマーカの中央部に配置するように表示される。なお、ステップS408において、ダウンロード用データとして動画Aと動画Bが選択された場合、動画A及び動画Bは、それぞれ個別にダウンロードされた場合と同様の位置に重畳して表示される。受信した画像データを表示した後、CPU109は、本処理を終了する。
図3の処理によれば、ハガキ150に表示されたマーカのうち2つのマーカA及びBが選択された際、デジタルビデオカメラ100は、2つのマーカA及びに対応する2つの接続情報を所定時間間隔内に連続してクラウドサーバ161に発信する。一方、クラウドサーバ161は、2つの接続情報を所定時間間隔内に受信した場合、連続して受信したと判定し、2つの接続情報にそれぞれ対応する2つの情報以外の別の情報である動画Cを選択してデジタルビデオカメラ100に返送する。すなわち、本実施の形態に係るデジタルビデオカメラ100は、2つのマーカA,Bに対し、3通りのダウンロード用データである動画A,動画B,動画Cを表示することが可能となる。従って、マーカ数を増加することなく、より多くの情報をサーバからダウンロードして表示することができる。
また、本実施の形態によれば、1つのマーカが選択された場合は、各マーカの右下角部と動画データの右下角部が一致するように表示され、2つのマーカが選択された場合は、それぞれ対応する動画データ以外の別の動画Cが2つのマーカの中央部に表示される。これによって、ダウンロードした動画を、選択されたマーカに対応付けて好適に表示することができる。
本実施の形態において、背景となるスルー表示画像は、明度と彩度を下げて表示される。これにより、ダウンロードしたデータを引き立たせることができ、好適に視認が可能になる。
また、本実施の形態において、ステップS305からS310の処理が実行されるまでの時間は極力短いことが望ましい。しかしながら、実際には通信時間などが必要となるため、接続情報を発信してからデータがダウンロードされるまでに、被写体であるドキュメント150とデジタルビデオカメラ100の位置が変化する可能性がある。このため、本実施の形態では、ダウンロードデータをデジタルビデオカメラ100が受信した後に、マーカの表示位置を算出することとしている(ステップS310)。これにより、マーカとダウンロード用データを重畳させた際の位置ズレを低減することができる。
また、本実施の形態におけるデジタルビデオカメラは、図3の画像表示処理の実行中に、ユーザによって撮影開始が指示された場合、全画像表示処理を中断して撮影を開始する。これにより、タイミングを逃すことなく好適に撮影することができる上、任意のタイミングで本画像表示処理を実行することができる。
また、本実施の形態において、静止画とマーカの種類をそれぞれ2種類としたが、これに限定されるものではなく、例えば、3種類以上のマーカを配置し、ダウンロード用データを4種類以上にすることも可能である。すなわち、本実施の形態において、例えば、識別マーカをマーカA、マーカB、マーカCの3種類とし、ダウンロード用データを動画A、動画B、動画C、動画D、動画E、動画F、動画Gとすることもできる。そして、マーカAとBが検出された場合は動画Dを、マーカAとCが検出された場合は動画Eを、マーカBとCが検出された場合は動画Fを、全てのマーカが検出された場合は動画Gを表示するようにしてもよい。これにより、更にマーカの個数より多くの情報を表示することが可能となる。
以下、第2の実施の形態について説明する。
本実施の形態では、撮像装置付き表示装置としてスマートフォンを適用する。スマートフォンの基本的な構成は、第1の実施の形態におけるデジタルビデオカメラ100に準じている。従って、同一の機能を有する部分には同一の符号を付して説明を省略する。
図7は、第2の実施の形態に係るスマートフォンの斜視図であり、図7(a)はレンズの光軸先端方向からみた図、図7(b)は、背面側からみた図である。図7において、スマートフォン200には、電話機能を満足するために、タッチパネル108とLCDパネル112とを内蔵する表示部113側にマイク201及びスピーカ202が配置されている。表示部113に対向する面にはカメラ部101が配置されている。また、スマートフォン200の側面には電源ボタンとして操作キー107が配置されている。操作キー107を押すことによって、スマートフォン200本体に電源が投入される。
図8は、図7のスマートフォンの構成を示すブロック図である。図8のブロック図が、第1の実施の形態における図2のブロック図と異なるところは、マイク201及びスピーカ202が追加された点である。マイク201及びスピーカ202は、CPU109によって統括的に制御される。映像処理部102、タッチパネル制御部121等の動作は、第1の実施の形態と同様である。従って、詳細な説明は省略する。
スマートフォン200は、電源が投入された後、ユーザが、表示部113のタッチパネル108を用いてLCDパネル112に表示される各種アイコンを操作することによって、例えば、撮影モードに移行する。
以下、図7の表示装置(スマートフォン)を用いた画像表示処理について詳細に説明する。
図9は、図7の表示装置を用いた表示処理の手順を示すフローチャートである。図9において、スマートフォン側の処理は、スマートフォン200のCPU109がプログラム・データ記憶部110のプログラムを読み出して実行する。また、スマートフォン200にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ161のCPU162が実行する(後述する図12参照)。
画像表示処理を開始するに際し、まず、CPU109は、ユーザによって、スマートフォン200の電源が投入されるまで待機し(ステップS501)、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、CPU109は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする(ステップS502)。
次いで、CPU109は、表示制御部111を制御して、LCDパネル112の表示領域の全領域に画像データを全画面表示する(ステップS503)。なお、LCDパネル112の表示領域と、タッチパネル108の位置検出領域は略一致するように構成されている。
次いで、CPU109は、表示制御部111を制御して、動画撮影モードに応じて表示画面を更新する(ステップS504)。すなわち、通常撮影モードならば、LCDパネル112に、画像データとして、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、LCDパネル112には、OSDデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。
このとき、ユーザは、スマートフォン200の表示部113に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。図10は、ドキュメントと、該ドキュメントの撮影状態を示す概略図である。
図10(a)において、ドキュメント150としては、例えばハガキ(以下、「ハガキ150」という。)が適用される。ハガキ150には、静止画Aと静止画Bが印刷されている。また、静止画Aと対応する識別マークとしてマーカAが、静止画Bと対応する識別マークとしてマーカBが印刷されている。
図10(b)において、マーカA及びマーカBには、シナリオ情報(付属情報)として、第一のURL情報と、第二のURL情報の2つの異なるURL情報が記載されている。シナリオ情報は、分岐条件ごとに異なる情報を参照可能に構成されている。第一のURL情報には、各マーカごとに異なるURLが記載され、第二のURL情報には、各マーカに同じURL情報が記載されている。すなわち、マーカAには、第一のURL情報として、後述する動画Aにアクセス可能なURL情報(URL:A)が、第二のURL情報として動画Cにアクセス可能なURL情報(URL:C)が記載されている。また、マーカBには、第一のURL情報として、後述する動画Bにアクセス可能なURL情報(URL:B)が、第二のURL情報として動画Cにアクセス可能なURL情報(URL:C)が記載されている。これらのURL情報は、第1の実施の形態と同様にQRコードと同様の技術でデコードすることでテキスト形式で取得される。
マーカは、例えば、QRコードに類する二次元コードである。図10(c)には、スマートフォン200のカメラ部101によって、ハガキ150のマーカを撮影する状態が示されている。
ユーザが、ドキュメントであるハガキ150の任意のマーカを撮影して選択すると、CPU109は、マーカ検知手段130を制御して、映像処理部102によって生成された画像データから、画面内のマーカの個数Nを判定する(ステップS505)。
図11は、ユーザが、マーカを撮影して選択した場合のLCDパネル112の表示映像を示す図である。図11(a)はマーカAが撮影された場合を示し、図11(c)はマーカBが撮影された場合を示し、図11(e)はマーカAとマーカBがともに撮影された場合を示す。すなわち、図11(a)及び図11(c)は、1つのマーカが選択された場合を示し、図11(e)は2つのマーカが選択された場合を示す。
ステップS505の判定の結果、選択されたマーカの個数Nが1である場合、CPU109は、マーカ検知手段130を制御して、マーカから、第一のURL情報(URL:A又はURL:B)を読み出す(ステップS506)。一方、ステップS505の判定の結果、選択されたマーカの個数Nが2以上の場合、CPU109は、マーカ検知手段130を制御して、検知している複数のマーカのうちの任意の1つから、第二のURL情報(URL:C)を読み出す(ステップS507)。第二のURL情報は、マーカA及びマーカBにおいて共通であり、URL:Cである。従って、マーカA及びマーカBのいずれから第二のURL情報を読み出しても、URL:Cが読み出される。
図9に戻り、マーカからURL情報を読み出した後、CPU109は、接続情報発信手段131を制御してステップS506又はS507で読み出したURL情報を接続情報として通信制御部122を介してクラウドサーバ161に発信する(ステップS508)。
このとき、図11(a)に示すように、マーカAのみが検知された場合は、URL:Aが接続情報としてクラウドサーバ161に発信される。また、図11(c)に示すように、マーカBのみが検知された場合は、URL:Bが接続情報としてクラウドサーバ161に発信する。一方、図11(e)に示すように、マーカAとマーカBがともに検知された場合は、マーカAとマーカBがそれぞれ有する共通の接続情報であるURL:Cがクラウドサーバ161に発信される。
図12は、スマートフォン200が、ネットワーク160を介してクラウドサーバ161と接続されている状態を示す概念図である。図12において、スマートフォン200は、ネットワーク160を介してクラウドサーバ161と接続可能である。クラウドサーバ161は、クラウドサーバ161の動作を統括制御するCPU162と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部163とから主として構成されている。データ保管部163には、スマートフォン200へ発信するダウンロード用データとして、動画A、動画B、動画Cが保管されている。データ保管部163はCPU162によって統括制御される。
クラウドサーバ161に接続情報を発信した後、CPU109は、スマートフォン200を受信待ちの状態とし(ステップS509)、クラウドサーバ161からダウンロード用データを受信するまで待機する(ステップS510)。
このとき、クラウドサーバ161のCPU162は、クラウドサーバ161を初期状態に保持しており、クラウドサーバ161は、スマートフォン200からのデータを受信する受信待ちの状態となっている(ステップS601)。
次いで、CPU162は、スマートフォン200から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する(ステップS602)。ステップS602の判定の結果、接続情報を受信した(ステップS602で「YES」)場合、CPU162は、処理をステップS603に進める。すなわち、CPU162は、受信した接続情報に応じてダウンロード用データを選択し、選択したダウンロード用データをスマートフォン200に返信する。このとき、CPU162は、接続情報がURL:Aである場合は動画Aを、接続情報がURL:Bである場合は動画Bを、接続情報がURL:Cである場合は動画Cを選択してスマートフォン200に返信する。
このとき、ダウンロード用のデータを受信するまで待機していた(ステップS510)スマートフォン200のCPU109は、クラウドサーバ161からダウンロード用データを受信すると、処理をステップS511に進める。すなわち、CPU109はダウンロード用データをユーザデータ記憶部105に一時的に保存し、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像にクラウドサーバ161から受信した動画データを重畳して表示する(ステップS511)。このとき、マーカに対応する動画の配置位置が、常に、画面の中央になるように配置される。スルー表示画像にクラウドサーバ161から受信した動画データを重畳して表示した後、CPU109は、本処理を終了する。
図9の処理によれば、ハガキ150に表示されたマーカのうち2つのマーカA及びBが選択された際、スマートフォン200は、マーカA及びマーカBに直接対応する2つの接続情報以外の別の接続情報をクラウドサーバ161に発信する。一方、クラウドサーバ161は、受信した接続情報に応じて、マーカA及びマーカBに直接対応する2つの情報以外の別の情報である、例えば、動画Cを選択してスマートフォン200に返送する。すなわち、本実施の形態に係るスマートフォン200は、2つのマーカA、Bに対し、3通りのダウンロード用データである動画A、動画B、動画Cを表示することが可能となる。従って、マーカ数を増加することなく、より多くの情報をサーバからダウンロードして表示することができる。
本実施の形態において、図11(a)、(c)、(e)に示すような撮影画面内のマーカの位置に拘わらず、図11(b)、(d)、(f)に示すように、ダウンロード用データは、常に画面の中央に配置される。これにより、上記実施の形態と比較して、マーカ位置の算出処理を削減することが可能となり、処理時間の短縮を実現することができる。また、図9のステップS508からステップS511の処理中に、被写体であるマーカとカメラ部101の位置がずれた場合でも、ダウンロード用画像を画面中央に好適に表示することができる。
以下、第3の実施の形態について説明する。
本実施の形態では、第2の実施の形態と同様に、撮像装置付き表示装置としてスマートフォンを適用する。スマートフォンの基本的な装置構成は、第2の実施の形態に準じている。従って、同一の機能を有する部分には同一符号を付して説明を省略する。
以下、図7と同様の表示装置(スマートフォン)を用いた別の画像表示処理について詳細に説明する。
図13は、スマートフォンを用いた別の画像表示処理の手順を示すフローチャートである。図13において、スマートフォン側の処理は、スマートフォン200のCPU109がプログラム・データ記憶部110のプログラムを読み出して実行する。また、スマートフォン200にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ161のCPU162が実行する(後述する図16参照)。
表示処理を開始するに際し、まず、CPU109は、ユーザによって、スマートフォン200の電源が投入されるまで待機し(ステップS701)、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、CPU109は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする(ステップS702)。
次いで、CPU109は、表示制御部111を制御して、LCDパネル112の表示領域の全領域に画像データを全画面表示する(ステップS703)。なお、LCDパネル112の表示領域と、タッチパネル108の位置検出領域は略一致して構成されている。
次いで、CPU109は、表示制御部111を制御して、動画撮影モードに応じた表示画面を更新する(ステップS704)。すなわち、通常撮影モードならば、LCDパネル112には、画像データとして、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、LCDパネル112には、OSDデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。
このとき、ユーザは、スマートフォン200の表示部113に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。
図14は、ドキュメントと、該ドキュメントの撮影状態を示す概略図である。図10(a)において、ドキュメント150としては、例えばハガキ(以下、「ハガキ150」という。)が適用される。ハガキ150には、静止画A、静止画B、静止画C、静止画Dが印刷されている。また、静止画Aと対応する識別マークとしてマーカAが、静止画Bと対応する識別マークとしてマーカBが、静止画Cと対応する識別マークとしてマーカCが、静止画Dと対応する識別マークとしてマーカDが印刷されている。
図14(b)において、マーカA〜Dには、シナリオ情報(付属情報)として、第一のURL情報と、第二のURL情報が各々記載されている。シナリオ情報は、分岐条件ごとに異なる情報を参照可能に構成されている。第一のURL情報は、各マーカごとに異なるURLである。また、マーカAとマーカBの第二のURL情報は、同一であり、かつ、全マーカにそれぞれ対応する第一のURL情報とは異なるULR情報となっている。また、マーカCとマーカDの第二のURL情報は、それぞれマーカCとマーカDの第一のURL情報と同一の内容のURL情報となっている。これらのURL情報は、上記各実施の形態と同様にQRコードに類する二次元コードであり、QRコードと同様の技術でデコードすることでテキスト形式で取得される。図14(c)には、スマートフォン200のカメラ部101によって、ハガキ150のマーカを撮影する状態が示されている。
ユーザが、ドキュメントであるハガキ150の任意のマーカを撮影して選択すると、CPU109は、マーカ検知手段130を制御して、映像処理部102によって生成された画像データから、分岐条件であるURL情報の記載内容を読み出す。そして、CPU109は、読み出したURL情報の記載が同一となるマーカの個数Nを判定する(ステップS705)。
図15は、ユーザが、マーカを撮影して選択した場合のLCDパネル112の表示映像を示す図である。図15(a)はマーカBとマーカDが撮影された場合を示し、図15(c)は全てのマーカ(マーカA〜マーカD)が撮影された場合を示す図である。図15(a)の場合、検知されたURLの情報は、URL:B、URL:E、及びURL:Dが2個であり、ステップS705の判定結果は、N=1となる。一方、図15(c)の場合、検知されたURLの情報は、図15(b)の全てであり、ステップS705の判定結果はN=3となる。
ステップS705の判定の結果、N=1である場合、CPU109は、マーカ検知手段130を制御して、ステップS705において検知された各マーカから、それぞれ第一のURL情報を読み出す(ステップS706)。この場合、マーカB及びマーカDにおける第一のURL情報は、URL:BとURL:Dである。
一方、ステップS705の判定の結果、N≧3である場合(ステップS707)、CPU109は、マーカ検知手段130を制御して、ステップS705において検知された各URL情報のうち、Nが最多となる第二のURL情報を読み出す。この場合、マーカA〜マーカDにおけるNが最多となる第二のURL情報は、URL:Eである。
図9に戻り、マーカからURL情報を読み出した後、CPU109は、接続情報発信手段131を制御して、ステップS706又はS707で読み出したURL情報を接続情報として通信制御部122を介してクラウドサーバ161に発信する(ステップS708)。
このとき、図15(a)に示すように、マーカB及びマーカDが検知された場合、接続情報発信手段131は、URL:BとURL:Dの双方を接続情報としてクラウドサーバ161に発信する。一方、図15(c)に示すように、マーカA〜マーカDが全て検知された場合は、接続情報発信手段131は、URL:Eのみを接続情報としてクラウドサーバ161に発信する。
図16は、スマートフォン200が、ネットワーク160を介してクラウドサーバ161と接続されている状態を示す概念図である。図16において、スマートフォン200は、ネットワーク160を介してクラウドサーバ161と接続可能である。クラウドサーバ161は、クラウドサーバ161の動作を統括制御するCPU162と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部163とから主として構成されている。データ保管部163には、スマートフォン200へ発信するダウンロード用データとして、動画A、動画B、動画C、動画D、動画Eが保管されている。動画A〜動画Eは、それぞれURL:A〜URL:Eに対応する画像データである。データ保管部163はCPU162によって統括制御される。
クラウドサーバ161に接続情報を発信した後、CPU109は、スマートフォン200を受信待ちの状態とし(ステップS709)、クラウドサーバ161からダウンロード用データを受信するまで待機する(ステップS710)。
このとき、クラウドサーバ161のCPU162は、クラウドサーバ161を初期状態に保持しており、クラウドサーバ161は、スマートフォン200からのデータを受信する受信待ちの状態となっている(ステップS801)。
次いで、CPU162は、スマートフォン200から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する(ステップS802)。ステップS802の判定の結果、接続情報を受信した(ステップS802で「YES」)場合、CPU162は、処理をステップS803に進める。すなわち、CPU162は、受信した接続情報に応じてダウンロード用データを選択し、選択したダウンロード用のデータをスマートフォン200に返信する。このとき、CPU162は、図15(a)に例示した場合は、動画Bと動画Dをスマートフォン200に返送し、図15(c)に例示した場合は、動画Eをスマートフォン200に返送する。
このとき、ダウンロード用のデータを受信するまで待機していた(ステップS710)スマートフォン200のCPU109は、クラウドサーバ161からダウンロード用データを受信すると、処理をステップS711に進める。すなわち、CPU109は、ダウンロード用データをユーザデータ記憶部105に一時的に保存し、カメラ部101で撮像された画像をリアルタイムに表示するスルー表示画像に、クラウドサーバ161から受信した動画データを重畳して表示する。このとき、マーカに対応する動画の配置位置が、常に、画面の中央になるように配置される。
すなわち、図15(a)に示す場合、CPU109は、表示制御部111を制御して、図15(b)に示すように、マーカBに応じた動画Bを再生した後に、マーカDに対応した動画Dを再生する。一方、図15(c)に示す場合、CPU109は、表示制御部111を制御して、図15(d)に示すように、動画Eを再生する。スルー表示画像にクラウドサーバ161から受信した動画データを重畳して表示した後、CPU109は、本処理を終了する。
図13の処理によれば、スマートフォン200は、4つのマーカA〜Dに対し、5通りのダウンロード用データである動画A〜動画Eを表示することが可能となる。従って、マーカ数よりも多くのダウンロード用データをサーバからダウンロードして表示することができる。
本実施の形態において、上述した以外の場合、例えばマーカA、マーカCなどが単独で選択された場合、その他、複数のマーカの組み合わせが選択された場合は、上記他の実施の形態に準じて処理される。
また、本実施の形態において、マーカCとマーカDの第二のURL情報をURL:Fとし、該URLに対応した動画Fを用意することもできる。これによって、マーカAとマーカBが検知された場合は、動画Eを、マーカCとマーカDが検知された場合は、動画Fを表示することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。例えば、デジタルビデオカメラ100に代えて、デジタルカメラや携帯電話等を用いることも可能である。
また、ドキュメントは、ハガキ150に限定されるものではなく、手紙や、ポスター、チラシ、シールのような他の紙媒体や、CDのレーベル面のような他の材質による媒体、Tシャツのような曲面を有している素材なども適用できる。なお、近年実用化されているプリンタにてプリント可能なものであれば、好適に適用することができる。
また、マーカとしてQRコードを例示したが、これに限定されるものではない。例えば通常のバーコードや、ゲーム機のAR技術で採用されているような専用の識別マークであっても適用することができる。
また、上記実施の形態では、マーカをドキュメントに印刷したが、例えば別のスマートフォンのような電子機器の表示画面にマーカを表示し、本実施の形態の表示装置によって電子機器の表示画面を撮影することによっても本発明を実現することができる。
また、ダウンロードした動画をスルー表示画像に重畳せずに、表示画面全域に表示することもできる。また、ドキュメントに印刷した静止画と各々のマーカの位置も、上記実施の形態に限定するものではない。
また、各動画情報はクラウドサーバに保管されているデータをダウンロードすることで利用したが、例えば、クラウドサーバ以外のパーソナルコンピュータのような他の機器との間で通信して実現することも可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア(制御プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)が制御プログラムを読み出して実行する処理である。