JP2014057222A - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

表示制御装置、表示制御方法、及び、プログラム Download PDF

Info

Publication number
JP2014057222A
JP2014057222A JP2012200991A JP2012200991A JP2014057222A JP 2014057222 A JP2014057222 A JP 2014057222A JP 2012200991 A JP2012200991 A JP 2012200991A JP 2012200991 A JP2012200991 A JP 2012200991A JP 2014057222 A JP2014057222 A JP 2014057222A
Authority
JP
Japan
Prior art keywords
image
target device
imaging target
display control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012200991A
Other languages
English (en)
Inventor
Toru Kaiwa
徹 海和
Tetsuya Fukuyama
哲也 福山
Yoshitaka Muroi
芳隆 室井
Harumi Kumasaka
春美 熊坂
Masafumi Uemoto
将史 植本
Kazuyuki Inagaki
和幸 稲垣
Takahiro Saito
貴浩 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012200991A priority Critical patent/JP2014057222A/ja
Publication of JP2014057222A publication Critical patent/JP2014057222A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】撮像対象の装置に関する種々の情報を適切に提示する。
【解決手段】撮像部11は、撮像対象の装置である撮像対象装置150を撮像する。画像判別部12は、撮像部11が撮像した撮像画像内に、撮像対象装置150を表す画像が含まれているか否かを判別する。表示制御部14は、画像判別部12が、撮像画像内に撮像対象装置150を表す画像が含まれていると判別した場合、撮像対象装置150の機能に応じた画像を含む全体画像を表示するように表示部15を制御する。
【選択図】図5

Description

本発明は、表示制御装置、表示制御方法、及び、プログラムに関する。
現在、撮像画像に種々の画像を重畳して表示する技術が知られている。撮像画像に重畳される画像は、日付や時刻を表す画像であることもあるし、撮像対象に関する情報を表す画像であることもある。
撮像対象に関する情報を表す画像が撮像画像に重畳して表示されると、ユーザは、撮像対象に関する情報を知ることができる。このような技術として、例えば、特許文献1には、撮像対象が風景である場合に、スルー画像にランドマークの名称を表す画像を重畳して表示するカメラ装置などが開示されている。
特開2001−169164号公報
しかしながら、撮像対象が電子機器などの装置である場合に、その撮像対象の装置に関する種々の情報を適切に提示する技術は知られていない。
本発明は、このような状況に鑑みてなされたものであり、撮像対象の装置に関する種々の情報を適切に提示することが可能な表示制御装置、表示制御方法、及び、プログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る表示制御装置は、
撮像対象の装置である撮像対象装置を撮像する撮像部と、
前記撮像部が撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別部と、
前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御部と、を備える、
ことを特徴とする。
前記撮像対象装置と通信する通信部と、
前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記通信部を介して、前記撮像対象装置の動作状態を表す情報である動作情報を取得する動作情報取得部と、をさらに備え、
前記表示制御部は、前記動作情報取得部が取得した動作情報により表される動作状態に応じた画像を含む全体画像を表示するように前記表示部を制御してもよい。
前記撮像部が撮像した撮像画像に、前記動作状態に応じた画像を重畳する画像重畳部、をさらに備え、
前記表示制御部は、前記撮像画像に前記動作状態に応じた画像を重畳することにより得られる全体画像を表示するように前記表示部を制御してもよい。
前記表示制御部は、
前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別している間、前記動作状態に応じた画像を含む全体画像を表示するように前記表示部を制御し、
前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていないと判別している間、前記動作状態に応じた画像を含む全体画像を表示しないように前記表示部を制御してもよい。
前記表示制御部は、前記動作状態に応じた画像を、前記撮像画像内における前記撮像対象装置の位置に対応した位置に配置することにより得られる全体画像を表示するように前記表示部を制御してもよい。
前記表示制御部は、前記動作状態に応じた画像を、前記撮像画像内における前記撮像対象装置の前記動作状態に応じた部位に対応した位置に配置することにより得られる全体画像を表示するように前記表示部を制御してもよい。
前記通信部は、前記撮像対象装置の候補の装置から、前記候補の装置を特定する情報を取得し、
前記画像判別部は、前記撮像画像内に、前記通信部が取得した情報により特定される候補の装置を表す画像が含まれているか否かを判別してもよい。
前記動作状態に応じた画像は、前記撮像対象装置を操作するためのGUI画像であってもよい。
前記全体画像は、前記撮像画像を含み、
前記全体画像内における位置を指定する操作入力を受け付ける操作入力受付部、をさらに備え、
前記画像判別部は、前記操作入力により指定された位置が、前記撮像対象装置の予め定められた部分に対応する位置であるか否かをさらに判別し、
前記表示制御部は、前記画像判別部が、前記操作入力により指定された位置が、前記予め定められた部分に対応する位置であると判別した場合、前記予め定められた部分に対応する前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように前記表示部を制御してもよい。
前記画像判別部は、前記操作入力により指定された位置が、前記撮像対象装置におけるどの部分に対応するのかを特定し、特定した部分が、前記撮像対象装置の予め定められた部分に対応するか否かを判別してもよい。
上記目的を達成するために、本発明の第2の観点に係る表示制御方法は、
撮像対象の装置である撮像対象装置を撮像する撮像ステップと、
前記撮像ステップで撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別ステップと、
前記画像判別ステップで、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御ステップと、を備える、
ことを特徴とする。
上記目的を達成するために、本発明の第3の観点に係るプログラムは、
撮像対象の装置である撮像対象装置を撮像する撮像部を備える制御装置のコンピュータを、
前記撮像部が撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別部、
前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御部、として機能させる、
ことを特徴とする。
本発明によれば、撮像対象の装置に関する種々の情報を適切に提示することができる。
本発明の第1の実施形態に係る表示制御システムの構成を示すブロック図である。 撮像対象装置の正面図である。 撮像対象装置の背面図である。 サーバの構成図である。 本発明の第1の実施形態に係る表示制御装置の機能を説明するための図である。 撮像画像を示す図である。 全ての動作状態提示画像を含む全体画像を示す図である。 ラジオモードに対応付けられた動作状態提示画像を含む全体画像を示す図である。 CDモードに対応付けられた動作状態提示画像を含む全体画像を示す図である。 動作状態提示画像が配置される位置により動作状態を明示する全体画像を示す図である。 機能提示画像を含む全体画像を示す図である。 撮像画像とGUI画像とが別々の領域に配置された全体画像を示す図である。 撮像画像にGUI画像が重ねて配置された全体画像を示す図である。 本発明の第1の実施形態に係る表示制御装置が実行する表示制御処理を示すフローチャートである。 制御情報送信処理を示すフローチャートである。 指定された部位に対応する動作状態提示画像を含む全体画像を示す図である。 本発明の第2の実施形態に係る表示制御装置が実行する表示制御処理を示すフローチャートである。 本発明の第3の実施形態に係る表示制御装置の機能を説明するための図である。 GUI画像としての撮像画像を含む全体画像を示す図である。 本発明の第3の実施形態に係る制御装置が実行する制御処理を示すフローチャートである。
以下、図面を参照して、本発明の実施形態に係る表示制御装置について説明する。
(第1の実施形態)
まず、図1を参照して、本実施形態に係る表示制御システム1000の構成について説明する。なお、本発明が適用される表示制御システムは、図1に示す表示制御システム1000に限られない。例えば、表示制御システム1000に種々の装置が組み込まれたシステムに本発明が適用されてもよいし、表示制御システム1000から適宜、装置が除外されたシステムに本発明が適用されてもよい。また、表示制御システム1000が備える装置の個数は、図1に示す例に限られない。
また、図1に示す表示制御装置100のブロック図は、表示制御装置100を実施するための一形態であり、この図1に示す各ブロックによって、後述の図5に示すような、表示制御装置100の各機能ブロックを実現可能である。なお、図1に示すブロックは一例であり、図1に示す各ブロックを組み合わせて、図5に示す一の機能ブロックを実現してもよいし、図1に図示していない他のデバイス等を用いてもよい。
図1に示すように、表示制御システム1000は、表示制御装置100、撮像対象装置150、基地局200、サーバ300、電気通信網400、を備える。
表示制御装置100は、撮像しようとしている対象の装置(以下「撮像対象装置」という。)を撮像することにより得られた画像(以下「撮像画像」という。)に基づいて、撮像対象装置の機能に対応付けられた画像(以下「機能関連画像」という。)を含む画像(以下「全体画像」という。)を表示するように表示部を制御する装置である。なお、制御対象である表示部は、表示制御装置100の外部にあってもよいし、表示制御装置100に組み込まれていてもよい。本実施形態では、制御対象の表示部が表示制御装置に組み込まれている例について説明する。従って、表示制御装置100は、表示部の機能を備える。
表示制御装置100は、撮像機能、通信機能、表示制御機能などを備えるか、もしくは、これらの機能を備える装置と接続可能な装置であれば、どのような装置であってもよい。表示制御装置100は、例えば、携帯電話、デジタルカメラ、PDA(Personal Digital Assistance)端末、ノートパソコン、スマートフォンである。
表示制御装置100は、撮像対象装置150と通信する。また、表示制御装置100は、基地局200を介してサーバ300と通信する。なお、表示制御装置100と撮像対象装置150とは、例えば、無線通信により接続される。また、表示制御装置100と基地局200とは、例えば、無線通信により接続される。一方、基地局200とサーバ300とは、例えば、電気通信網400を介した有線通信により接続される。なお、上述した例は、一例であり、各通信は、有線による通信であってもよいし、無線による通信であってもよい。
ここで、図1を参照して、表示制御装置100の物理的な構成について説明する。図1に示すように、表示制御装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、RTC(Real Time Clock)104、ハードディスク105、カメラ(カメラ部)106、通信モジュール107、音声処理部108、スピーカ109、画像処理部110、タッチ操作検知部111、タッチスクリーン112、を備える。表示制御装置100が備えるこれらの構成要素は、バス120により相互に接続される。
CPU101は、表示制御装置100の全体の動作を制御する。なお、CPU101は、ROM102に格納されているプログラムに従って動作し、RAM103をワークエリアとして使用する。
ROM102には、表示制御装置100の全体の動作を制御するためのプログラムやデータが記憶される。
RAM103は、CPU101のワークエリアとして機能する。つまり、CPU101は、RAM103にプログラムやデータを一時的に書き込み、これらのプログラムやデータを適宜参照する。
RTC104は、水晶振動子や発振回路などを備える計時用のデバイスである。RTC104は、内蔵電池から電源を供給され、表示制御装置100の電源がオフのときでも動作し続ける。
ハードディスク105には、撮像画像を示す情報(以下、適宜、単に「撮像画像」という。)などが記憶される。なお、表示制御装置100は、ハードディスク105に代えて、フラッシュメモリ等の記録媒体を用いることもできる。
カメラ106は、撮像対象装置150を撮像し、撮像画像を生成する。カメラ106は、静止画像を撮像するカメラであってもよいし、動画像を撮像するカメラであってもよい。また、カメラ106が生成する撮像画像は、カラー画像であってもよいし、モノクロ画像であってもよい。カメラ106は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子や光学系(レンズ)などを備える。カメラ106は、光学系を介して入射された撮像対象からの光を光電変換することにより、撮像画像を生成する。カメラ106は、生成した撮像画像をハードディスク105に供給する。
通信モジュール107は、表示制御装置100と撮像対象装置150との間、ならびに、表示制御装置100と基地局200との間、で通信するためのインターフェースである。通信モジュール107は、例えば、USB(Universal Serial Bus)、Wi−fi(Wireless Fidelity)、Bluetooth(登録商標)方式等の通信規格により、撮像対象装置150や基地局200と通信することができる。なお、通信モジュール107は、複数の通信方式のそれぞれに対応する複数の通信モジュールを備えていてもよい。
通信モジュール107は、撮像対象装置150から、装置を特定する情報(以下「装置特定情報」という。)、装置の動作状態を特定する情報(以下「動作情報」という。)などを取得する。装置特定情報は、例えば、装置の型番を示す情報である。なお、通信モジュール107が撮像対象装置150から取得する装置特定情報は、撮像対象装置150を特定する情報である。また、通信モジュール107が撮像対象装置150から取得する動作情報は、撮像対象装置150の動作状態を特定する情報である。
また、通信モジュール107は、サーバ300から、装置の典型的な外観を示すパターン画像を示す情報(以下、適宜、単に「パターン画像」という。)、装置の構成を特定する情報(以下「装置構成特定情報」という。)などを取得する。パターン画像は、例えば、装置を前面から撮像したときに取得される撮像画像や、装置を背面から撮像したときに取得される撮像画像である。装置構成特定情報は、装置が備える各部位の配置や機能に関する情報である。例えば、装置構成特定情報は、装置が備える各部位がパターン画像上においてどの位置に対応するのかや、どのような機能であるのかを特定可能な情報である。
音声処理部108は、CPU101から供給されたディジタルオーディオ信号をD/A(Digital/Analog)コンバータ(図示せず)でアナログオーディオ信号に変換して、スピーカ109に出力する。音声処理部108は、スピーカ109に供給するアナログオーディオ信号の周波数特性、音量、左右バランスなどを適切に調整してもよい。
スピーカ109は、音声処理部108から供給された音声信号に従って、音声を出力する。
画像処理部110は、CPU101による制御のもと、タッチスクリーン112に表示させる画像を示す画像信号(以下、適宜、単に「画像」という。)を生成する。画像処理部110は、生成された画像をタッチスクリーン112に供給する。なお、CPU101は、画像処理部110を制御して、周知のパターンマッチング技術を利用して、撮像画像と、所望の装置のパターン画像と、のパターンマッチング処理を実行する。なお、CPU101は、撮像画像と、複数のパターン画像と、のパターンマッチング処理を実行することができる。従って、CPU101は、撮像画像に示された複数種類の装置のそれぞれを特定することができる。なお、パターンマッチング処理に必要なプログラムやデータは、ROM102やハードディスク105などに記憶されている。
タッチ操作検知部111は、タッチスクリーン112に対してなされたタッチ操作を検知し、検知結果をCPU101に供給する。なお、検知結果は、例えば、ユーザによりタッチされているタッチスクリーン112上における座標情報である。
タッチスクリーン112は、画像処理部110から供給された画像を表示するとともに、ユーザによるタッチ操作を受け付ける。タッチスクリーン112は、例えば、LCD(Liquid Crystal Display)などの表示装置と、タッチパッドのような位置入力装置と、を備える。なお、表示装置とタッチパッドではなく、表示装置と他の入力装置とを備えるような構成にしてもよい。他の入力装置は、例えば、マウスやキーボードである。
撮像対象装置150は、表示制御装置100による撮像の対象となる装置である。つまり、撮像対象装置150は、被写体となる装置である。撮像対象装置150は、例えば、オーディオ装置、テレビ、ラジオ、携帯電話、デジタルカメラ、リモートコントローラなどの電子機器である。本実施形態では、撮像対象装置150は、CD(Compact Disk)再生機能、ラジオ受信機能、スマートフォン接続機能を有するコンテンツ再生装置であるものとして説明する。
ここで、図2と図3とを参照して、撮像対象装置150の外観について説明する。図2は、撮像対象装置150の正面図を示す図である。図3は、撮像対象装置150の背面図を示す図である。
図2に示すように、撮像対象装置150の前面の下部には、電源ボタン201、動作モード切替ボタン202、前局選択ボタン203、次局選択ボタン204、再生ボタン205、一時停止ボタン206、イジェクトボタン207、停止ボタン208、前曲選択ボタン209、次曲選択ボタン210、メッセージ表示LCD(Liquid Crystal Display)220が配置されている。また、撮像対象装置150の前面の中央部から上部にかけて、CDモード対応部位231、スマートフォンモード対応部位232を有する。
電源ボタン201は、撮像対象装置150の電源のオンとオフとを切り替えるためのボタンである。撮像対象装置150は、電源がオンのときのみ、CD再生機能、ラジオ受信機能、スマートフォン接続機能を発揮する。撮像対象装置150が備える各種のボタンは、トグルスイッチを備えてもよいし、モーメンタリースイッチを備えてもよいし、その他のスイッチを備えてもよい。
動作モード切替ボタン202は、現在の動作モードを、CDに記憶されている楽曲を再生する動作モード(以下「CDモード」という。)と、ラジオが受信した番組の音声を出力する動作モード(以下「ラジオモード」という。)と、撮像対象装置150に接続されているスマートフォンに記憶されている楽曲を再生する動作モード(以下「スマートフォンモード」という。)と、の間で切り替えるためのボタンである。
前局選択ボタン203は、現在の動作モードがラジオモードであるときに、再生中の放送局を現在の放送局の1つ前の放送局(基本的に、現在の放送局の次に高い周波数で放送している局)に切り替えるためのボタンである。
次局選択ボタン204は、現在の動作モードがラジオモードであるときに、再生中の放送局を現在の放送局の1つ後の放送局(基本的に、現在の放送局の次に低い周波数で放送している局)に切り替えるためのボタンである。
再生ボタン205は、現在の動作モードがCDモードもしくはスマートフォンモードであるときに、現在選択されている楽曲を再生するためのボタンである。
一時停止ボタン206は、現在の動作モードがCDモードもしくはスマートフォンモードであるときに、現在再生中の楽曲の再生を一時停止するためのボタンである。
イジェクトボタン207は、表示制御装置100にセットされているCDを取り出すためのボタンである。
停止ボタン208は、現在の動作モードがCDモードもしくはスマートフォンモードであるときに、現在再生中の楽曲の再生を停止するためのボタンである。
前曲選択ボタン209は、現在の動作モードがCDモードもしくはスマートフォンモードであるときに、再生対象の楽曲を現在再生対象とされている楽曲の1つ前の楽曲に切り替えるためのボタンである。
次曲選択ボタン210は、現在の動作モードがCDモードもしくはスマートフォンモードであるときに、再生対象の楽曲を現在再生対象とされている楽曲の1つ後の楽曲に切り替えるためのボタンである。
メッセージ表示LCD220は、現在の動作モード、現在選択されている放送局、現在選択されている楽曲、現在時刻、などの情報を表示する。
CDモード対応部位231は、CDモードに関連づけられた撮像対象装置150の部位である。CDモード対応部位231は、例えば、筐体の前面における、撮像対象装置150の正面から見て、CDがセットされる部分(CDを再生する光ドライブが配置される部分)に重なる部位である。
スマートフォンモード対応部位232は、スマートフォンモードに関連づけられた撮像対象装置150の部位である。スマートフォンモード対応部位231は、例えば、筐体の前面における、撮像対象装置150の正面から見て、スマートフォンが接続される端子部分に重なる部位である。
図3に示すように、撮像対象装置150の背面には、電源接続部241、テレビ接続部242、外部音声入力部243、スマートフォン接続部244、スピーカ接続部245が配置されている。
電源接続部241は、撮像対象装置150の電源を供給するための電源コード251が接続される筐体部分(部位)である。
テレビ接続部242は、撮像対象装置150とテレビとを接続するためのケーブルが接続される筐体部分である。
外部音声入力部243は、撮像対象装置150に外部の装置が生成した音声信号を供給するためのケーブルが接続される筐体部分である。
スマートフォン接続部244は、撮像対象装置150とスマートフォンとを接続するためのケーブルが接続される筐体部分である。
スピーカ接続部245は、撮像対象装置150とスピーカとを接続するためのケーブルが接続される筐体部分である。
図1の説明に戻る。
基地局200は、電気通信網400を介して表示制御装置100とサーバ300とを接続する機能を有する。
サーバ300は、パターン画像や装置構成特定情報を装置特定情報と対応付けるデータベースを備える。サーバ300は、表示制御装置100からの要求に従って、パターン画像や装置構成特定情報を、表示制御装置100に送信する。サーバ300は、電気通信網400を介して、基地局200と通信する。
電気通信網400は、インターネットなどの通信網である。電気通信網400は、基地局200とサーバ300とを相互に通信可能に接続する。なお、表示制御装置100とサーバ300とが直接通信可能な構成であれば、基地局200などはなくてもよい。
次に、図4を参照して、サーバ300の物理的な構成について説明する。図4に示すように、サーバ300は、CPU301、ROM302、RAM303、NIC(Network Interface Card)304、ハードディスク305、RTC306、を備える。サーバ300が備えるこれらの構成要素は、バス320により相互に接続される。
CPU301は、サーバ300の全体の動作を制御する。なお、CPU301は、例えばROM302に格納されているプログラムに従って動作し、RAM303をワークエリアとして使用する。
ROM302には、サーバ300の全体の動作を制御するためのプログラムやデータが記憶される。
RAM303は、CPU301のワークエリアとして機能する。つまり、CPU301は、RAM303にプログラムやデータを一時的に書き込み、これらのプログラムやデータを適宜参照する。
NIC304は、サーバ300を電気通信網400に接続するためのインターフェースである。NIC304は、例えば、LAN(Local Area Network)を構成する際に用いられる10BASE−T/100BASE−T規格に従うインターフェース(図示せず)を含む。あるいは、NIC304は、電話回線を用いて電気通信網400に接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いて電気通信網400に接続するためのケーブルモデム等と、CPU301との仲立ちを行うインターフェース(図示せず)を含む。
ハードディスク305は、パターン画像や装置構成特定情報を装置特定情報と対応付けるデータベースを構成する。つまり、ハードディスク305は、パターン画像や装置構成特定情報を装置特定情報と対応付けて記憶する。
RTC306は、水晶振動子や発振回路などを備える計時用のデバイスである。RTC306は、内蔵電池から電源を供給され、サーバ300の電源がオフのときでも動作し続ける。
次に、図5を参照して、本実施形態に係る表示制御装置100の基本的な機能について説明する。図5は、表示制御装置100の機能的な構成を示す機能ブロック図である。図5に示すように、表示制御装置100は、機能的には、撮像部11、画像判別部12、記憶部13、表示制御部14、表示部15、通信部16、動作情報取得部17、画像重畳部18、操作入力受付部19を備える。
なお、表示制御装置100の構成は、図5に示す例に限定されない。例えば、表示制御装置100は、図5に示されていない構成要素を備えていてもよいし、図5に示す構成要素の一部を備えていなくてもよい。また、複数の構成要素の間で授受される情報は、図5において矢印で示すものに限定されない。従って、表示制御装置100は、図5において矢印で示されていない情報を授受してもよいし、図5において矢印で示した情報の一部を授受しなくてもよい。
撮像部11は、撮像対象の装置である撮像対象装置150を撮像する。撮像部11は、例えば、カメラ106を含む。
画像判別部12は、撮像部11が撮像した撮像画像内に、撮像対象装置150を表す画像が含まれているか否かを判別する。画像判別部12は、例えば、CPU101を含む。なお、「撮像対象装置」とは、画像判別部12によって撮像画像内に含まれていると判別可能な装置、と言い換えることもできる。
記憶部13は、撮像画像、機能関連画像、装置特定情報、パターン画像、装置構成特定情報などを記憶する。記憶部13は、例えば、ハードディスク105を含む。
表示制御部14は、画像判別部12が、撮像画像内に撮像対象装置150を表す画像が含まれていると判別した場合、撮像対象装置150の機能に応じた画像を含む全体画像を表示するように表示部15を制御する。表示制御部14は、例えば、CPU101、画像処理部110を含む。
表示部15は、表示制御部14から供給された画像信号により表される画像を表示する。表示部15は、例えば、タッチスクリーン112を含む。なお、撮像対象装置150の機能に応じた画像は、例えば、撮像対象装置150の、現在の動作モード、現在再生中の放送局、現在再生中の楽曲などを表す画像や、撮像対象装置150が備えるボタンの機能などを明示する画像などである。
通信部16は、撮像対象装置150と通信する。通信部16は、例えば、通信モジュール107を含む。なお、撮像対象装置150は、通信部16と同様の機能を有する通信部151を備える。
動作情報取得部17は、画像判別部12が、撮像画像内に撮像対象装置150を表す画像が含まれていると判別した場合、通信部16を介して、撮像対象装置150の動作状態を表す情報である動作情報を取得する。動作情報取得部17は、例えば、CPU101を含む。なお、動作情報は、例えば、撮像対象装置150の、現在の動作モード、現在再生中の放送局、現在再生中の楽曲などの情報である。
ここで、表示制御部14は、動作情報取得部17が取得した動作情報により表される動作状態に応じた画像を含む全体画像を表示するように表示部15を制御する。
画像重畳部18は、撮像部11が撮像した撮像画像に、動作状態に応じた画像を重畳する。画像重畳部18は、例えば、CPU101、画像処理部110を含む。
また、表示制御部14は、撮像画像に、動作状態に応じた画像を重畳することにより得られる全体画像を表示するように表示部15を制御してもよい。
ここで、表示制御部14は、画像判別部12が、撮像画像内に撮像対象装置150を表す画像が含まれていると判別している間、動作状態に応じた画像を含む全体画像を表示するように表示部15を制御してもよい。一方、表示制御部14は、画像判別部12が、撮像画像内に撮像対象装置150を表す画像が含まれていないと判別している間、動作状態に応じた画像を含む全体画像を表示しないように表示部15を制御してもよい。
また、表示制御部14は、動作状態に応じた画像を、撮像画像内における撮像対象装置150を表す画像の位置に対応した位置に配置することにより得られる全体画像を表示するように表示部15を制御してもよい。
もしくは、表示制御部14は、動作状態に応じた画像を、撮像画像内における撮像対象装置150の動作状態に応じた部位を表す画像の位置に配置することにより得られる全体画像を表示するように表示部15を制御してもよい。
ここで、通信部16は、撮像対象装置150の候補の装置(通信が確立した装置)から、その候補の装置を特定する情報を取得してもよい。この場合、画像判別部12は、撮像画像内に、通信部16が取得した情報により特定される候補の装置を表す画像が含まれているか否かを判別することができる。複数の撮像対象装置についてパターンマッチング処理を行わなければならないときは、このように、通信が確立した装置から優先的にパターンマッチング処理を行えるため、パターンマッチング処理による負荷が軽減される。
なお、動作状態に応じた画像は、撮像対象装置150を操作するためのGUI画像であってもよい。
また、全体画像は、撮像画像を含んでいてもよい。
操作入力受付部19は、全体画像内における位置を指定する操作入力を受け付ける。操作入力受付部19は、例えば、タッチ操作検知部111、タッチスクリーン112を含む。
画像判別部12は、操作入力により指定された位置が、撮像対象装置150の予め定められた部分に対応する位置であるか否かをさらに判別する。一方、表示制御部14は、画像判別部12が、操作入力により指定された位置が、予め定められた部分に対応する位置であると判別した場合、予め定められた部分に対応する撮像対象装置150の機能に応じた画像を含む全体画像を表示するように表示部150を制御する。
画像判別部12は、操作入力により指定された位置が、撮像対象装置150におけるどの部分に対応するのかを特定し、特定した部分が、撮像対象装置150の予め定められた部分に対応するか否かを判別することができる。
次に、図6〜図13を参照して、表示制御装置100がタッチスクリーン112に表示する全体画像について説明する。
まず、表示制御装置100が撮像により生成する撮像画像について説明する。撮像画像は、表示制御装置100が備えるカメラ106の位置や向き、撮像対象装置150の位置や向き、ならびに、カメラ106の設定などに応じて、様々なものとなる。例えば、撮像画像は、撮像対象装置150の全体を表す画像を含む画像である場合もあるし、撮像対象装置150の一部を表す画像を含む画像である場合もあるし、撮像対象装置150を表す画像を全く含まない画像である場合もある。以下、ある画像がある撮像対象(被写体)を表す画像を含むことを、適宜、ある画像がある撮像対象を含むという。つまり、適宜、「撮像対象を表す画像」を単に撮像対象と称したりする。
図6は、表示制御装置100が、撮像対象装置150の前面のほぼ全体が撮像範囲になるように撮像したときに生成される撮像画像である画像600を示している。画像600は、撮像対象装置150の前面の下部に配置された、電源ボタン201、動作モード切替ボタン202、前局選択ボタン203、次局選択ボタン204、再生ボタン205、一時停止ボタン206、イジェクトボタン207、停止ボタン208、前曲選択ボタン209、次曲選択ボタン210、メッセージ表示LCD220、ならびに、撮像対象装置150の前面の中央部から上部にかけて配置された、CDモード対応部位231、スマートフォンモード対応部位232を表す画像を含んでいる。
表示制御装置100は、撮像画像と、撮像画像に少なくとも一部が表されている撮像対象装置150の機能関連画像と、に基づいて全体画像を生成し、生成した全体画像をタッチスクリーン112に表示する。
機能関連画像は、例えば、撮像対象装置150の動作状態を示す画像(以下「動作状態提示画像」という。)、撮像対象装置150の機能を示す画像(以下「機能提示画像」という。)、撮像対象装置150が備えるボタンなどの操作部と同等の操作を受け付けるユーザインターフェースであるGUI画像である。なお、動作状態提示画像、機能提示画像、GUI画像は、互いに排他的な関係であってもよいし、互いに排他的な関係でなくてもよい。例えば、機能関連画像が、動作状態提示画像としての役割と機能提示画像としての役割とGUI画像としての役割との全ての役割を備える画像であってもよい。機能関連画像は、例えば、動作情報と装置構成特定情報とに基づいて生成される。
また、機能関連画像と撮像画像とに基づいて全体画像を生成する手法は適宜調整することができる。例えば、全体画像は、機能関連画像と撮像画像とが重ならないように機能関連画像と撮像画像とを並べることにより生成されてもよいし、撮像画像の手前に機能関連画像を重ねることにより生成されてもよいし、重複部分が合成画像になるように撮像画像と機能関連画像とが重ねられることにより生成されてもよい。なお、合成画像を構成する画素の輝度値は、例えば、撮像画像を構成する画素の輝度値と機能関連画像を構成する画素の輝度値との平均値(単純平均値、加重平均値)とすることができる。
また、装置構成特定情報に基づいて、撮像画像と機能関連画像との配置が決定されてもよい。なお、全体画像は、撮像画像の全体を含んでいてもよいし、撮像画像の一部を含んでいてもよいし、撮像画像を含んでいなくてもよい。また、全体画像は、機能関連画像の全体を含んでいてもよいし、機能関連画像の一部を含んでいてもよいし、機能関連画像を含んでいなくてもよい。
表示制御装置100は、撮像画像に撮像対象装置150の前面の様子を示す画像が含まれていると判別した場合、例えば、図7に示す全体画像である画像700を生成することができる。図7は、画像700が全ての動作状態提示画像を含んでいる例を示している。なお、画像700は、画像600を背景画像として、画像600の手前に全ての動作状態提示画像を重ねることにより生成される画像である。
画像700は、画像600の一部である画像701と、動作状態提示画像である画像702〜画像709と、を含んでいる。
画像701は、画像600の全体から、画像702〜画像709が重畳された部分を除外した部分を示す画像である。
画像702は、撮像対象装置150が現在選択している放送局の1つ前の放送局が、「Aラジオ」という名前の放送局であることを示す画像である。画像702は、例えば、画像600のうち、前局選択ボタン203を表す部分に重なるように、画像700内に配置される。
画像703は、撮像対象装置150が現在選択している放送局が、「Bラジオ」という名前の放送局であることを示す画像である。画像703は、例えば、画像600のうち、前局選択ボタン203や次局選択ボタン204を表す部分の近傍に重なるように、画像700内に配置される。
画像704は、撮像対象装置150が現在選択している放送局の1つ後の放送局が、「Cラジオ」という名前の放送局であることを示す画像である。画像704は、例えば、画像600のうち、次局選択ボタン204を表す部分に重なるように、画像700内に配置される。
画像705は、撮像対象装置150が現在選択している楽曲の1つ前の楽曲が、「Aソング」という名前で、アルバム中における3番目の楽曲であることを示す画像である。画像705は、例えば、画像600のうち、前曲選択ボタン209を表す部分に重なるように、画像700内に配置される。
画像706は、撮像対象装置150が現在選択している楽曲の1つ後の楽曲が、「Cソング」という名前で、アルバム中における5番目の楽曲であることを示す画像である。画像706は、例えば、画像600のうち、次曲選択ボタン210を表す部分に重なるように、画像700内に配置される。
画像707は、撮像対象装置150が現在選択している楽曲が、「Bソング」という名前で、アルバム中における4番目の楽曲であることを示す画像である。画像707は、例えば、画像600のうち、CDモード対応部位231を表す部分に重なるように、画像700内に配置される。
画像708は、撮像対象装置150が現在選択している楽曲に対応付けられた画像である。画像708は、例えば、現在再生中のCDのジャケット画像である。画像708は、例えば、画像600のうち、CDモード対応部位231を表す部分に重なるように、画像700内に配置される。
画像709は、撮像対象装置150に現在接続されているスマートフォンの名前が「スマートフォンA」であることを示す画像である。画像709は、例えば、画像600のうち、スマートフォンモード対応部位232を表す部分に重なるように、画像700内に配置される。
ユーザは、画像700を参照することにより、撮像対象装置150の動作状態を知ることができる。例えば、ユーザは、現在選択されている放送局、現在選択されている楽曲、現在選択されている楽曲のイメージ、現在接続されているスマートフォン、などに関する情報を知ることができる。
表示制御装置100は、撮像対象装置150から受信した動作情報に基づいて、現在の動作モードがどの動作モードであるのか特定することができる。そして、表示制御装置100は、現在の動作モードがラジオモードであると判別した場合、全ての動作状態提示画像のうち、ラジオに関連する動作状態提示画像を含むように全体画像である画像710を生成する。
図8は、画像710がラジオに関する動作状態提示画像を含んでいる例を示している。なお、画像710は、画像600を背景画像として、画像600の手前にラジオに関する動作状態提示画像を重ねることにより生成される画像である。
画像710は、画像600の一部である画像711と、動作状態提示画像である画像702〜画像704と、を含んでいる。
画像711は、画像600の全体から、画像702〜画像704が重畳された部分を除外した部分を示す画像である。
ユーザは、画像710を参照することにより、撮像対象装置150の動作状態を知ることができる。例えば、ユーザは、撮像対象装置150の現在の動作モードがラジオモードであることや、再生中の放送局に関連する情報を知ることができる。
表示制御装置100は、現在の動作モードがCDモードであると判別した場合、全ての動作状態提示画像のうち、CDモードに関連する動作状態提示画像を含むように全体画像である画像720を生成する。
図9は、画像720がCDモードに関する動作状態提示画像を含んでいる例を示している。なお、画像720は、画像600を背景画像として、画像600の手前にCDモードに関する動作状態提示画像を重ねることにより生成される画像である。
画像720は、画像600の一部である画像721と、動作状態提示画像である画像705〜画像708と、を含んでいる。
画像721は、画像600の全体から、画像705〜画像708が重畳された部分を除外した部分を示す画像である。
ユーザは、画像720を参照することにより、撮像対象装置150の現在の動作モードがCDモードであること、再生中の楽曲やCDに関連する情報を知ることができる。
ここで、表示制御装置100は、現在の動作モードがCDモードであると判別した場合、全体画像である画像720の代わりに、例えば、図10に示すような全体画像である画像730を生成してもよい。なお、画像730は、画像600を背景画像として、画像600の中央部分の手前にCDモードに関する動作状態提示画像を重ねることにより生成される画像である。
画像730は、画像600の一部である画像731と、動作状態提示画像である画像702〜画像709と、を含んでいる。
画像731は、画像600の全体から、画像702〜画像709が重畳された部分を除外した部分を示す画像である。
画像730では、全ての動作状態提示画像のうち、CDモードに関する動作状態提示画像が、画像730内における目立つ位置(中央)に配置されている。ユーザは、画像730を参照することにより、撮像対象装置150の現在の動作モードがCDモードであること、再生中の楽曲やCDに関連する情報を知ることができる。
また、表示制御装置100は、撮像画像に撮像対象装置150の背面の様子を示す画像が含まれていると判別した場合、例えば、図11に示す全体画像である画像740を生成することができる。なお、画像740は、撮像対象装置150の背面を示す画像を含む撮像画像を背景画像として、撮像画像の手前に機能提示画像を重ねることにより生成される画像である。
画像740は、撮像画像の一部である画像741と、機能提示画像である画像742〜画像750と、を含んでいる。
画像741は、撮像画像の全体から、画像742〜画像750が重畳された部分を除外した部分を示す画像である。
画像742は、電源接続部241の位置を示す画像である。画像742は、「電源」という文字列を示す画像である。画像742は、例えば、撮像画像のうち、電源接続部241を表す部分の近傍に重なるように、画像740内に配置される。
画像743は、「テレビ」という文字列を示す画像である。画像747は、テレビ接続部242の位置を示す画像であり、画像743の引き出し線を示す画像である。従って、画像747は、撮像画像のうち、テレビ接続部242を表す部分と画像743とを結ぶように、画像740内に配置される。
画像744は、「外部音声入力」という文字列を示す画像である。画像748は、外部音声入力部243の位置を示す画像であり、画像744の引き出し線を示す画像である。従って、画像748は、撮像画像のうち、外部音声入力部243を表す部分と画像744とを結ぶように、画像740内に配置される。
画像745は、「スマートフォン」という文字列を示す画像である。画像749は、スマートフォン接続部244の位置を示す画像であり、画像745の引き出し線を示す画像である。従って、画像749は、撮像画像のうち、スマートフォン接続部244を表す部分と画像745とを結ぶように、画像740内に配置される。
画像746は、スピーカを示す画像である。画像750は、スピーカ接続部245の位置を示す画像であり、画像746の引き出し線を示す画像である。従って、画像750は、撮像画像のうち、スピーカ接続部245を表す部分と画像746とを結ぶように、画像740内に配置される。
なお、画像746は、表示制御装置100が過去に撮像画像内に含まれている撮像対象装置として認識したスピーカを表す画像であってもよい。この場合、表示制御装置100は、例えば、撮像画像のうち、撮像対象装置として認識したスピーカを表す画像をハードディスク105などに記憶し、以後、適宜、機能提示画像として全体画像に重畳してもよい。
ユーザは、画像740を参照することにより、撮像対象装置150が備える機能に関する情報、例えば、撮像対象装置150が備える機能やこの機能を実現するための構成もしくは配置に関する情報を知ることができる。
表示制御装置100は、撮像画像と機能関連画像とが重ならないように配置された全体画像を生成することができる。
図12は、撮像画像である画像761とGUI画像である画像762とが上下に並べて配置された全体画像である画像760を示す図である。画像760は、下方の領域に撮像画像である画像761を含み、上方の領域にGUI画像である画像762を含んでいる。
画像761は、撮像対象装置150の全体の様子を示す撮像画像である。
画像762は、動作モードがCDモードもしくはスマートフォンモードである場合に、楽曲の再生に関するGUIを提供するためのGUI画像である。画像762は、画像1201〜画像1204を含む。
画像1201は、再生対象の楽曲を現在選択されている楽曲の1つ前の楽曲に切り替えるためのボタンを表す画像である。なお、CPU101は、タッチスクリーン112に表示された画像1201がタッチされたことを検出すると、前曲選択ボタン209が押圧されたときに実行する処理(つまり、再生対象の楽曲を1つ前の楽曲に切り替える処理)を撮像対象装置150に実行させるための制御信号を生成し、生成した制御信号を通信モジュール107を介して撮像対象装置150に送信する。
画像1202は、楽曲が再生中である場合に楽曲の再生を一時停止し、楽曲が一時停止中である場合に楽曲を再生するためのボタンを表す画像である。なお、CPU101は、タッチスクリーン112に表示された画像1202がタッチされたことを検出すると、再生ボタン205もしくは一時停止ボタン206が押圧されたときに実行する処理(つまり、現在選択されている楽曲を再生する処理、もしくは、現在選択されている楽曲の再生を一時停止する処理)を撮像対象装置150に実行させるための制御信号を生成し、生成した制御信号を通信モジュール107を介して撮像対象装置150に送信する。
画像1203は、再生対象の楽曲を現在選択されている楽曲の1つ後の楽曲に切り替えるためのボタンを表す画像である。なお、CPU101は、タッチスクリーン112に表示された画像1203がタッチされたことを検出すると、次曲選択ボタン210が押圧されたときに実行する処理(つまり、再生対象の楽曲を1つ後の楽曲に切り替える処理)を撮像対象装置150に実行させるための制御信号を生成し、生成した制御信号を通信モジュール107を介して撮像対象装置150に送信する。
画像1204は、現在選択されている楽曲の全体における、現在再生中の位置を示すとともに、位置の変更を受け付けるためのスクロールバーを示す画像である。なお、CPU101は、タッチスクリーン112に表示された画像1204が操作されたことを検出すると、現在選択されている楽曲の全体における、現在再生中の位置を変更する処理を撮像対象装置150に実行させるための制御信号を生成し、生成した制御信号を通信モジュール107を介して撮像対象装置150に送信する。
ユーザは、画像760を参照することにより、撮像対象装置150の現在の状態を知ることができる。また、ユーザは、画像760が表示されたタッチスクリーン112を操作することにより、撮像対象装置150が備える操作部を直接操作したときと同様の処理を撮像対象装置150に実行させることができる。
撮像画像とGUI画像とに基づいて全体画像を生成する手法は、図12に示す画像760を参照して説明した上記手法に限定されない。例えば、表示制御装置100は、撮像画像とGUI画像とを重ねて、全体画像を生成してもよい。
図13は、撮像画像とGUI画像とが重ねて配置されることにより生成された全体画像である画像770を示す図である。画像770は、撮像画像の一部である画像771と撮像画像の手前に重ねられたGUI画像である画像772とを含んでいる。
画像771は、撮像対象装置150の全体の様子を示す撮像画像から、GUI画像である画像772との重複部分が除外された画像である。
画像772は、画像762と同様のGUI画像である。なお、表示制御装置100が、GUI画像に対する操作に応答して、制御信号を撮像対象装置150に送信する処理は、図12を用いて説明した処理と同様である。
次に、図14に示すフローチャートを参照して、本実施形態に係る表示制御装置100が実行する表示制御処理について説明する。なお、表示制御装置100は、ユーザによりなされた表示制御の開始指示を検知したことや電源が投入されたことを検知した場合に、表示制御処理を実行する。
まず、CPU101は、通信可能な装置を検索する(ステップS101)。具体的には、CPU101は、例えば、通信モジュール107を制御して、表示制御装置100の近傍の装置に向けて、返信を指示する信号(以下「返信指示信号」という。)を発信する。一方、表示制御装置100の近傍に存在する装置は、この返信指示信号に応答して、表示制御装置100に返信する。
CPU101は、ステップS101の処理を完了すると、通信可能な装置があるか否かを判別する(ステップS102)。つまり、CPU101は、いずれかの装置から返信を受けた場合、通信可能な装置があると判別し、いずれの装置からも返信を受けなかった場合、通信可能な装置がないと判別する。
CPU101は、通信可能な装置があると判別すると(ステップS102:YES)、通信可能な装置から装置特定情報を受信する(ステップS103)。CPU101は、受信した装置特定情報を、RAM103などに記憶する。なお、CPU101は、ステップS101において、返信指示信号の代わりに、装置特定情報の送信を要求する信号(以下「装置特定情報送信要求信号」という。)を近傍の装置に向けて送信してもよい。
CPU101は、ステップS103の処理を完了した場合、もしくは、通信可能な装置がないと判別した場合(ステップS102:NO)、撮像対象装置150を撮像する(ステップS104)。具体的には、CPU101は、カメラ106に撮像指示信号を供給する。一方、カメラ106は、CPU101から供給された撮像指示信号に従って、撮像対象装置150を撮像する。そして、カメラ106は、生成した撮像画像をCPU101に供給する。CPU101は、供給された撮像画像を、RAM103などに記憶する。
CPU101は、ステップS104の処理を完了すると、画像認識処理を実行する(ステップS105)。具体的には、まず、CPU101は、通信モジュール107などを制御して、RAM103に記憶されている装置特定情報により特定される装置のパターン画像や装置構成特定情報を、サーバ300などから取得する。そして、CPU101は、取得したパターン画像や装置構成特定情報と装置特定情報とを対応付けて、RAM103などに記憶する。ここで、CPU101は、RAM103に記憶されている、撮像画像とパターン画像と装置構成特定情報とに基づいて、パターンマッチング処理を実行する。CPU101は、撮像画像内にパターン画像と一致するパターンがあると判別した場合、このパターン画像に対応付けられた装置特定情報により特定される装置が、撮像対象装置150であると判別する。
なお、ステップS103で取得した装置特定情報が複数ある場合、CPU101は、複数の装置特定情報のそれぞれにより特定される装置のパターン画像と装置構成特定情報とを取得する。そして、CPU101は、取得したパターン画像のうち、撮像画像内に含まれるパターン画像に対応付けられた装置特定情報により特定される装置が、撮像対象装置150であると判別する。
一方、ステップS103で取得した装置特定情報がない場合、CPU101は、撮像対象装置150として考えられるあらゆる装置のパターン画像と装置構成特定情報とを取得する。そして、CPU101は、取得したあらゆる装置のパターン画像のうち、撮像画像内に含まれるパターン画像に対応付けられた装置特定情報により特定される装置が、撮像対象装置150であると判別する。
なお、撮像対象装置150として考えられるあらゆる装置のパターン画像と装置構成特定情報とが、あらかじめ、装置特定情報と対応付けられて、ハードディスク105などに記憶されていてもよい。もしくは、撮像対象装置150として考えられる代表的な装置のパターン画像と装置構成特定情報とが、あらかじめ、装置特定情報と対応付けられて、ハードディスク105などに記憶されていてもよい。
また、パターン画像は、1つの装置に対して、複数対応付けられていてもよい。例えば、1つの装置に、この1つの装置を6方向から撮像したときの6個のパターン画像が対応付けられていてもよい。
CPU101は、ステップS105の処理を完了すると、撮像画像内に装置が含まれているか否かを判別する(ステップS106)。なお、ここでいう、撮像画像内に装置が含まれている状態とは、その撮像画像における被写体に装置が含まれている状態である。このように、撮像画像における、装置を表現している部分のことを、適宜、単に装置と呼ぶ。具体的には、CPU101は、種々のパターンマッチング技術を用いて撮像画像内に装置が含まれているか否かを判別し、撮像画像内にパターンがマッチしたパターン画像があると判別した場合、撮像画像内に装置が含まれていると判別する。一方、CPU101は、撮像画像とパターンがマッチしたパターン画像がないと判別した場合、撮像画像内に装置が含まれていないと判別する。
CPU101は、撮像画像内に装置が含まれていないと判別すると(ステップS106:NO)、撮像画像を全体画像に設定する(ステップS107)。一方、CPU101は、撮像画像内に装置が含まれていると判別すると(ステップS106:YES)、撮像対象装置150と通信可能であるか否かを判別する(ステップS108)。
CPU101は、撮像対象装置150と通信可能でないと判別した場合(ステップS108:NO)、パターンマッチング技術を用いた画像認識処理の結果に基づいて、機能関連画像を生成する(ステップS109)。表示制御装置100と撮像対象装置150とが通信可能でない場合、表示制御装置100は撮像対象装置150から、動作情報を取得することができない。しかしながら、表示制御装置100は、撮像画像の画像認識処理により、撮像対象装置150の種類や動作状態などを推定できる場合がある。そこで、表示制御装置100は、画像認識処理の結果に基づいて生成することが可能な機能関連画像を生成する。または、表示制御装置100は、動作状態に依拠しない機能関連画像を生成してもよい。
CPU101は、撮像対象装置150と通信可能であると判別した場合(ステップS108:YES)、動作情報を取得する(ステップS110)。
具体的には、CPU101は、通信モジュール107を制御して、動作情報を送信することを要求する信号(以下「動作情報送信要求信号」という。)を、撮像画像内に含まれている装置である撮像対象装置150に送信する。一方、撮像対象装置150は、動作情報送信要求信号を受信したことに応答して、動作情報を表示制御装置100に送信する。CPU101は、受信した動作情報を、RAM103などに記憶する。
CPU101は、ステップS110の処理を完了すると、動作情報と装置特定情報とに基づいて機能関連画像を生成する(ステップS111)。例えば、CPU101は、動作情報と装置構成特定情報とに基づいて、機能関連画像を生成することができる。機能関連画像は、例えば、画像702〜画像709である。
CPU101は、ステップS109もしくはステップS111の処理を完了すると、機能関連画像と撮像画像とを合成して、全体画像を生成する(ステップS112)。なお、CPU101は、動作情報と装置構成特定情報とに基づいて、機能関連画像と撮像画像との位置関係をどのようにするかを決定することができる。また、CPU101は、機能関連画像と撮像画像とを重畳するか、もしくは、機能関連画像と撮像画像とを別々の領域に配置するか、などは、ハードディスク105などに記憶されている設定情報などに基づいて、適宜、調整することができる。
CPU101は、ステップS107もしくはステップS112の処理を完了すると、全体画像を表示する(ステップS113)。具体的には、CPU101は、画像処理部110を制御して、全体画像を表す画像信号を生成し、生成した画像信号をタッチスクリーン112に供給する。一方、タッチスクリーン112は、供給された画像信号に基づいて、全体画像を表示する。
CPU101は、ステップS113の処理を完了すると、撮像対象装置150と通信可能であるか否かを判別する(ステップS114)。CPU101は、撮像対象装置150と通信可能でないと判別すると(ステップS114:NO)、ステップS101に処理を戻す。一方、CPU101は、撮像対象装置150と通信可能であると判別すると(ステップS114:YES)、制御情報送信処理を実行する(ステップS115)。以降、ステップS101〜S115を繰り返しながら、制御情報送信処理を実行する条件が維持されていれば、制御情報送信処理を続ける。ここでは、理解を容易にするため、図14に示す表示制御処理におけるステップS115において、図15に示す制御情報送信処理が実行される例を示す。しかしながら、制御情報送信処理を実行する条件が維持されているときに、図14に示す表示制御処理と図15に示す制御情報送信処理とが並行して実行される構成であってもよい。制御情報送信処理については、次の図15に示すフローチャートを参照して詳細に説明する。
まず、CPU101は、機能関連画像がGUI画像であるか否かを判別する(ステップS201)。CPU101は、機能関連画像がGUI画像でないと判別すると(ステップS201:NO)、制御情報送信処理を終了して、図14に示すステップS101に処理を戻す。
一方、CPU101は、機能関連画像がGUI画像であると判別すると(ステップS201:YES)、操作入力があるか否かを判別する(ステップS202)。なお、CPU101は、タッチ操作検知部111から供給される信号を監視することにより、タッチスクリーン112に操作入力があるか否かを判別することができる。CPU101は、操作入力がないと判別すると(ステップS202:NO)、制御情報送信処理を終了して、図14に示すステップS101に処理を戻す。
一方、CPU101は、操作入力があると判別すると(ステップS202:YES)、操作位置が予め定められた制御に対応するか否かを判別する(ステップS203)。CPU101は、タッチ操作検知部111から供給される信号により示される座標情報に基づいて、操作位置を特定することができる。また、CPU101は、操作位置がGUI画像内においてボタンやスクロールバーが配置される領域内の位置である場合、操作位置がボタンやスクロールバーに対応付けられた制御に対応すると判別することができる。また、CPU101は、例えば、動作情報や装置構成特定情報に基づいて、GUI画像内においてボタンやスクロールバーが配置される領域を特定することができる。CPU101は、操作位置が予め定められた制御に対応しないと判別すると(ステップS203:NO)、制御情報送信処理を終了して、図14に示すステップS101に処理を戻す。
一方、CPU101は、操作位置が予め定められた制御に対応すると判別すると(ステップS203:YES)、予め定められた制御に対応する情報を送信する(ステップS204)。CPU101は、例えば、通信モジュール107を制御して、GUI画像内におけるボタンやスクロールバーが操作された旨を示す制御情報を、撮像対象装置150に送信する。一方、撮像対象装置150は、表示制御装置100からこの制御情報を受信したことに応答して、この制御情報により示される処理、つまり、撮像対象装置150に配置された、上記ボタンやスクロールバーに対応する操作部が直接操作されたことに応答して実行する処理を実行する。CPU101は、ステップS204の処理を完了すると、制御情報送信処理を完了する。CPU101は、ステップS115の制御情報送信処理を完了すると、図14に示すステップS101に処理を戻す。
本実施形態によれば、撮像対象装置150の機能に関する種々の情報を提示することができる。例えば、撮像対象装置150の動作状態を示す情報、撮像対象装置150が備える各部の配置を示す情報、を提示することができる。また、本実施形態によれば、撮像対象装置150が備える操作部に対応するGUI画像が提示される。このため、操作部に操作をなす場合に撮像対象装置150が実行する処理の実行を、GUI画像に対するタッチ操作により指示することができる。
また、本実施形態によれば、撮像対象装置150の候補を特定してからパターンマッチング処理が実行されるため、パターンマッチング処理による負荷が軽減される。
(第2の実施形態)
第1の実施形態では、撮像対象装置150の動作状態に関連する全ての動作状態提示画像が提示される例について説明した。本発明において、ユーザに提示される動作状態提示画像が、撮像対象装置150の動作状態に関連する全ての動作状態提示画像の中から、適宜、選択されてもよい。以下、全体画像がタッチスクリーン112に表示される場合に、タッチスクリーン112上におけるタッチされた位置の近傍に表示されるべき動作状態提示画像だけが、表示される動作状態提示画像として選択される例について説明する。なお、第2の実施形態に係る表示制御装置100は、基本的には、第1の実施形態に係る表示制御装置100と同様の構成である。従って、以下の説明では、第1の実施形態と異なる部分を中心に説明する。
図16は、撮像対象装置150の動作モードがCDモードである場合に、全ての動作状態提示画像のうち、画像705だけが、全体画像である画像780に含まれている様子を示している。なお、画像780は、撮像画像の一部である画像781と、動作状態提示画像である画像705と、を含んでいる。
ここで、撮像対象装置150の動作モードがCDモードに対応する動作状態提示画像は、画像705〜画像708であるが、画像705のみが提示されている。これは、画像780が表示されているタッチスクリーン112の画像705が表示されるべき領域を囲む領域1601が、ユーザの指1600などによりタッチされているためである。なお、領域1601は、撮像対象装置150の各部位の位置に対応して設定される。例えば、撮像対象装置150の操作手段(操作ボタン等)の位置に対応して設定される。例えば、撮像画像内における撮像対象装置150の位置が移動すれば領域1601の座標位置も移動することとなる。
つまり、本実施形態によれば、ユーザが注目していると考えられる画像780内における位置の近傍に表示されるべき動作状態提示画像のみが提示される。このため、ユーザが知りたいと考えられる情報を、分かり易く提示することが期待できる。
次に、図17に示すフローチャートを参照して、本実施形態に係る表示制御装置100が実行する表示制御処理について説明する。なお、表示制御装置100は、ユーザによりなされた表示制御の開始指示を検知したことや電源が投入されたことを検知した場合に、表示制御処理を実行する。
まず、CPU101は、通信可能な装置を検索する(ステップS301)。
CPU101は、ステップS301の処理を完了すると、通信可能な装置があるか否かを判別する(ステップS302)。
CPU101は、通信可能な装置があると判別すると(ステップS302:YES)、通信可能な装置から装置特定情報を取得する(ステップS303)。
CPU101は、ステップS303の処理を完了した場合、もしくは、通信可能な装置がないと判別した場合(ステップS302:NO)、撮像対象装置150を撮像する(ステップS304)。
CPU101は、ステップS304の処理を完了すると、画像認識処理を実行する(ステップS305)。
CPU101は、ステップS305の処理を完了すると、撮像画像内に装置が含まれているか否かを判別する(ステップS306)。
CPU101は、撮像画像内に装置が含まれていないと判別すると(ステップS306:NO)、撮像画像を全体画像に設定する(ステップS307)。一方、CPU101は、撮像画像内に装置が含まれていると判別すると(ステップS306:YES)、撮像対象装置150と通信可能であるか否かを判別する(ステップS308)。
CPU101は、撮像対象装置150と通信可能でないと判別した場合(ステップS308:NO)、画像認識処理の結果に基づいて、機能関連画像を生成する(ステップS309)。一方、CPU101は、撮像対象装置150と通信可能であると判別した場合(ステップS308:YES)、動作情報を取得する(ステップS310)。
CPU101は、ステップS310の処理を完了すると、動作情報と装置特定情報とに基づいて機能関連画像を生成する(ステップS311)。
CPU101は、ステップS309もしくはステップS311の処理を完了すると、操作入力があるか否かを判別する(ステップS312)。CPU101は、タッチスクリーン112に対して操作入力がないと判別すると(ステップS312:NO)、撮像画像を全体画像に設定する(ステップS307)。
一方、CPU101は、タッチスクリーン112に対して操作入力があると判別すると(ステップS312:YES)、操作位置に対応する機能関連画像があるか否かを判別する(ステップS313)。CPU101は、タッチ操作検知部111から供給される信号により示される座標情報に基づいて、操作位置を特定することができる。また、CPU101は、例えば、動作情報や装置構成特定情報に基づいて、操作位置に対応する機能関連画像があるか否かを判別することができる。CPU101は、操作位置に対応する機能関連画像がないと判別すると(ステップS313:NO)、撮像画像を全体画像に設定する(ステップS307)。
一方、CPU101は、操作位置に対応する機能関連画像があると判別すると(ステップS313:YES)、機能関連画像と撮像画像とを合成して、全体画像を生成する(ステップS314)。なお、CPU101は、操作位置に対応する機能関連画像のみを撮像画像と合成することができる。
CPU101は、ステップS307もしくはステップS314の処理を完了すると、全体画像を表示する(ステップS315)。CPU101は、ステップS315の処理を完了すると、撮像対象装置150と通信可能であるか否かを判別する(ステップS316)。CPU101は、撮像対象装置150と通信可能でないと判別すると(ステップS316:NO)、ステップS301に処理を戻す。一方、CPU101は、撮像対象装置150と通信可能であると判別すると(ステップS316:YES)、制御情報送信処理を実行する(ステップS317)。以降、ステップS301〜S317を繰り返しながら、制御情報送信処理を実行する条件が維持されていれば、制御情報送信処理を続ける。
本実施形態によれば、ユーザが注目する情報を分かり易く提示することができる。また、提示する画像が絞られるため、見やすい表示にすることができる。
(第3の実施形態)
第3の実施形態では、タッチスクリーン112に表示された全体画像に含まれる画像に対する操作入力により、この画像が示す撮像対象装置150の操作部が操作されたときに撮像対象装置150が実行する操作を指示することを可能とする例について説明する。なお、第3の実施形態に係る制御装置130は、物理的には、第1の実施形態に係る表示制御装置100と同様の構成である。従って、以下の説明では、第3の実施形態に係る制御装置130が第1の実施形態に係る表示制御装置100とは異なる機能や処理を中心に説明する。
まず、図18を参照して、本実施形態に係る制御装置130の基本的な機能について説明する。図18に示すように、制御装置130は、機能的には、撮像部11、画像判別部12、記憶部13、表示制御部14、表示部15、通信部16、操作入力受付部19、通信制御部20、を備える。
なお、制御装置130の構成は、図18に示す例に限定されない。例えば、制御装置130は、図18に示されていない構成要素を備えていてもよいし、図18に示す構成要素の一部を備えていなくてもよい。また、複数の構成要素の間で授受される情報は、図18において矢印で示すものに限定されない。従って、制御装置130は、図18において矢印で示されていない情報を授受してもよいし、図18において矢印で示した情報の一部を授受しなくてもよい。
撮像部11は、撮像対象の装置である撮像対象装置150を撮像する。撮像部11は、例えば、カメラ106を含む。
画像判別部12は、操作入力受付部19により指定された位置が、撮像対象装置150の予め定められた部分に対応する位置であるか否かを判別する。画像判別部12は、例えば、CPU101を含む。
画像判別部12は、通信部16が取得した情報に基づいて、操作入力により指定された位置が、予め定められた部分に対応する位置であるか否かを判別してもよい。
記憶部13は、撮像画像、機能関連画像、装置特定情報、パターン画像、装置構成特定情報などを記憶する。記憶部13は、例えば、ハードディスク105を含む。
表示制御部14は、撮像部11が撮像した撮像画像を表示するように表示部15を制御する。表示制御部14は、例えば、CPU101、画像処理部110を含む。
表示部15は、表示制御部14から供給された画像信号により表される画像を表示する。表示部15は、例えば、タッチスクリーン112を含む。
通信部16は、撮像対象装置150と通信する。通信部16は、例えば、通信モジュール107を含む。なお、撮像対象装置150は、通信部16と同様の機能を有する通信部151と、予め定められた部分に操作を受け付ける操作受付部152と、を備える。
通信部16は、撮像対象装置150の候補の装置から、候補の装置を特定する情報を取得してもよい。
ここで、候補の装置は、予め定められた部分に、操作を受け付ける操作受付部152を備えてもよい。候補の装置を特定する情報は、予め定められた部分を特定する情報を含んでいてもよい。
操作入力受付部19は、撮像画像内における位置を指定する操作入力を受け付ける。操作入力受付部19は、例えば、タッチ操作検知部111、タッチスクリーン112を含む。
通信制御部20は、画像判別部12が、操作入力により指定された位置が、予め定められた部分に対応する位置であると判別した場合、予め定められた部分に対応する情報を、撮像対象装置150に送信するように通信部16を制御する。通信制御部20は、例えば、CPU101を含む。
通信制御部20は、画像判別部12が、操作入力により指定された位置が、予め定められた部分に対応する位置であると判別した場合、操作受付部152が操作を受け付けたことに応答して撮像対象装置150が実行する処理を撮像対象装置150に実行させるための制御情報を、撮像対象装置150に送信するように通信部16を制御してもよい。
次に、図19を参照して、タッチスクリーン112に表示される全体画像について説明する。なお、本実施形態では、全体画像である画像790は、撮像画像791そのものである。そして、画像790は、撮像画像における撮像画像791の表示位置に対応して、領域1901〜領域1910が設定されている。なお、領域1901〜領域1910の位置がわかるように枠等の指標を表示してもよい。
領域1901は、電源ボタン201を示す画像を囲む領域である。ここで、CPU101は、タッチスクリーン112に表示された全体画像内の領域1901が指1600などによりタッチされたことを検知すると、電源ボタン201が押圧されたときに撮像対象装置150が実行する処理を撮像対象装置150に実行することを指示する制御情報を、通信モジュール107を制御して、撮像対象装置150に送信する。
領域1902は、動作モード切替ボタン202を示す画像を囲む領域である。CPU101は、領域1902に対するタッチ操作に応答して、動作モード切替ボタン202に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1903は、前局選択ボタン203を示す画像を囲む領域である。CPU101は、領域1903に対するタッチ操作に応答して、前局選択ボタン203に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1904は、次局選択ボタン204を示す画像を囲む領域である。CPU101は、領域1904に対するタッチ操作に応答して、次局選択ボタン204に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1905は、再生ボタン205を示す画像を囲む領域である。CPU101は、領域1905に対するタッチ操作に応答して、再生ボタン205に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1906は、一時停止ボタン206を示す画像を囲む領域である。CPU101は、領域1906に対するタッチ操作に応答して、一時停止ボタン206に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1907は、イジェクトボタン207を示す画像を囲む領域である。CPU101は、領域1907に対するタッチ操作に応答して、イジェクトボタン207に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1908は、停止ボタン208を示す画像を囲む領域である。CPU101は、領域1908に対するタッチ操作に応答して、停止ボタン208に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1909は、前曲選択ボタン209を示す画像を囲む領域である。CPU101は、領域1909に対するタッチ操作に応答して、前曲選択ボタン209に対応する制御信号を撮像対象装置150に送信することは同様である。
領域1910は、次曲選択ボタン210を示す画像を囲む領域である。CPU101は、領域1910に対するタッチ操作に応答して、次曲選択ボタン210に対応する制御信号を撮像対象装置150に送信することは同様である。
以上の制御信号等に係る情報は、予め記憶しておいてもよいし、外部のサーバ等から取得してもよい。
次に、図20に示すフローチャートを参照して、本実施形態に係る制御装置130が実行する制御処理について説明する。なお、制御装置130は、ユーザによりなされた制御の開始指示を検知したことや電源が投入されたことを検知した場合に、制御処理を実行する。
まず、CPU101は、通信可能な装置を検索する(ステップS401)。
CPU101は、ステップS401の処理を完了すると、通信可能な装置があるか否かを判別する(ステップS402)。
CPU101は、通信可能な装置があると判別すると(ステップS402:YES)、通信可能な装置から装置特定情報を取得する(ステップS403)。
CPU101は、ステップS403の処理を完了した場合、もしくは、通信可能な装置がないと判別した場合(ステップS402:NO)、撮像対象装置150を撮像する(ステップS404)。
CPU101は、ステップS404の処理を完了すると、画像認識処理を実行する(ステップS405)。
CPU101は、ステップS405の処理を完了すると、撮像画像内に装置が含まれているか否かを判別する(ステップS406)。
CPU101は、撮像画像内に装置が含まれていると判別すると(ステップS406:YES)、撮像対象装置150と通信可能であるか否かを判別する(ステップS407)。
CPU101は、撮像対象装置150と通信可能でないと判別した場合(ステップS407:NO)、画像認識処理の結果に基づいて、装置特定情報などを取得する(ステップS408)。表示制御装置100と撮像対象装置150とが通信可能でない場合、表示制御装置100は撮像対象装置150から、装置特定情報や動作情報を取得することができない。しかしながら、表示制御装置100は、撮像画像の画像認識処理により、撮像対象装置150の種類や動作状態などを推定できる場合がある。そこで、表示制御装置100は、画像認識処理の結果に基づいて取得することが可能な情報を取得する。
CPU101は、撮像対象装置150と通信可能であると判別した場合(ステップS407:YES)、動作情報を取得する(ステップS409)。
CPU101は、ステップS408もしくはステップS409の処理を完了した場合、撮像画像内に装置が含まれていないと判別した場合(ステップS406:NO)、撮像画像を全体画像に設定する(ステップS410)。
CPU101は、ステップS410の処理を完了すると、全体画像を表示する(ステップS411)。
CPU101は、ステップS411の処理を完了すると、操作入力があるか否かを判別する(ステップS412)。CPU101は、タッチスクリーン112に対して操作入力がないと判別すると(ステップS412:NO)、ステップS401に処理を戻す。
一方、CPU101は、タッチスクリーン112に対して操作入力があると判別すると(ステップS412:YES)、操作位置が、撮像画像における撮像画像791の表示位置に応じて予め定められた部位(例えば領域1901〜領域1910)に対応する否かを判別する(ステップS413)。CPU101は、タッチ操作検知部111から供給される信号により示される座標情報に基づいて、操作位置を特定することができる。また、CPU101は、例えば、動作情報や装置構成特定情報に基づいて、操作位置に対応する部位があるか否かを判別することができる。CPU101は、操作位置が予め定められた部位に対応していないと判別すると(ステップS413:NO)、ステップS401に処理を戻す。
一方、CPU101は、操作位置が予め定められた部分に対応すると判別すると(ステップS413:YES)、撮像対象装置150と通信可能であるか否かを判別する(ステップS414)。CPU101は、撮像対象装置150と通信可能でないと判別すると(ステップS414:NO)、ステップS401に処理を戻す。一方、CPU101は、撮像対象装置150と通信可能であると判別すると(ステップS414:YES)、予め定められた部位に対応する制御情報を送信する(ステップS415)。CPU101は、ステップS415の処理を完了すると、ステップS401に処理を戻す。
本実施形態によれば、撮像対象装置150を撮像して得られた撮像画像が表示されているタッチスクリーン112に対する操作入力により、撮像対象装置150に指示を与えることができる。従って、撮像対象装置150をリモートコントローラなどを用いて操作する場合と異なり、撮像対象装置150の本体が備える操作部と同様の操作方法を提供することができる。
(変形例)
本発明は、上記実施形態に開示したものに限られない。
第1〜3の実施形態では、機能関連画像が全体画像内に固定される例について説明した。本発明において、機能関連画像が全体画像内において、回転、移動してもよい。例えば、CDの再生中に画像708が全体画像内において回転し、CDの再生停止中に画像708が全体画像内において回転しないようにしてもよい。
第1〜3の実施形態では、全体画像に撮像画像が含まれる例について説明した。本発明において、全体画像に撮像画像が含まれていなくてもよい。この場合、全体画像は機能関連画像のみを含むことができる。例えば、全体画像に撮像画像が含まれることが一度検知された後に、機能関連画像のみを表示するようにしてもよい。
第1〜3の実施形態では、操作入力受付部19が、タッチ操作検知部111とタッチスクリーン112とにより構成される例を示した。本発明において、操作入力受付部19は、マウスやボタンなど他のインターフェースにより構成されていてもよい。
第2、3の実施形態では、操作入力が検知される領域が、この操作入力により実行される処理を指示するための操作部を表す画像の領域を囲む例について説明した。本発明において、操作入力が検知される領域とこの操作部を表す画像の領域との大小関係や位置関係は適宜調整することができる。例えば、操作入力が検知される領域は、この操作部を表す画像の領域以下であってもよい。
第1〜3の実施形態では、表示制御装置100と撮像対象装置150とが通信可能な状態であるか否かや、表示制御装置100から撮像対象装置150に制御情報が適切に送信されたか否かなどを示す画像(以下「通信状態提示画像」という。)を提示しない例について説明した。本発明において、通信状態提示画像を撮像画像に重畳してユーザに提示することができる。かかる構成によれば、ユーザは、撮像画像に重畳されている通信状態提示画像を参照することで、表示制御装置100と撮像対象装置150との間の通信状態を詳細に把握することができる。なお、通信状態提示画像は、例えば、アイコンなどの画像である。撮像画像に通信状態提示画像を重畳させることは、第3実施形態のように、撮像画像に機能関連画像を重畳しない場合に特に有効である。
機能関連画像は、第1〜3の実施形態で説明したものに限定されない。例えば、動作状態提示画像は、例えば、ラジオ番組表を表す画像であってもよい。
また、例えば、表示制御装置100が備える構成の一部をサーバ300が備えるようにしてもよいし、サーバ300が備える構成の一部を表示制御装置100が備えるようにしてもよい。例えば、表示制御装置100が、サーバ300が備えるデータベースを備えていれば、表示制御装置100はサーバ300へのアクセスを必要としない。
第1〜3の実施形態で説明した構成や機能は、適宜、組み合わせて実行することができる。
第1〜3の実施形態では、表示制御装置100もしくは制御装置130がCPU101とROM102とRAM103とを備え、CPU101が、ROM102に記憶されているプログラムに従って、ソフトウェアにより表示制御処理もしくは制御処理が実現される例を示した。しかし、表示制御装置100もしくは制御装置130が実行する表示制御処理もしくは制御処理は、ソフトウェアにより実現されるものに限定されない。例えば、表示制御装置100もしくは制御装置130は、マイクロコンピュータ、FPGA(Field Programmable Gate Array)、PLD(Programmable Logic Device)、DSP(Digital Signal Processor)などにより構成されてもよい。
なお、本発明に係る表示制御装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、MO(Magnet Optical Disk)などのコンピュータ読み取り可能な記録媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行する表示制御装置もしくは制御装置を構成しても良い。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
11 撮像部
12 画像判別部
13 記憶部
14 表示制御部
15 表示部
16 通信部
17 動作情報取得部
18 画像重畳部
19 操作入力受付部
100 表示制御装置
101 CPU
102 ROM
103 RAM
104 RTC
105 ハードディスク
106 カメラ
107 通信モジュール
108 音声処理部
109 スピーカ
110 画像処理部
111 タッチ操作検知部
112 タッチスクリーン
120 バス
130 制御装置
150 撮像対象装置
151 通信部
152 操作受付部
200 基地局
201 電源ボタン
202 動作モード切替ボタン
203 前局選択ボタン
204 次局選択ボタン
205 再生ボタン
206 一時停止ボタン
207 イジェクトボタン
208 停止ボタン
209 前曲選択ボタン
210 次曲選択ボタン
220 メッセージ表示LCD
231 CDモード対応部位
232 スマートフォンモード対応部位
241 電源接続部
242 テレビ接続部
243 外部音声入力部
244 スマートフォン接続部
245 スピーカ接続部
300 サーバ
301 CPU
302 ROM
303 RAM
304 NIC
305 ハードディスク
306 RTC
320 バス
400 電気通信網
600、700〜711、720、721、730、731、740〜750、760〜762、770〜772、780、781、790、791、1201〜1204 画像
1000 表示制御システム
1600 指
1601、1901〜1910 領域

Claims (12)

  1. 撮像対象の装置である撮像対象装置を撮像する撮像部と、
    前記撮像部が撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別部と、
    前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御部と、を備える、
    ことを特徴とする表示制御装置。
  2. 前記撮像対象装置と通信する通信部と、
    前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記通信部を介して、前記撮像対象装置の動作状態を表す情報である動作情報を取得する動作情報取得部と、をさらに備え、
    前記表示制御部は、前記動作情報取得部が取得した動作情報により表される動作状態に応じた画像を含む全体画像を表示するように前記表示部を制御する、
    ことを特徴とする請求項1に記載の表示制御装置。
  3. 前記撮像部が撮像した撮像画像に、前記動作状態に応じた画像を重畳する画像重畳部、をさらに備え、
    前記表示制御部は、前記撮像画像に前記動作状態に応じた画像を重畳することにより得られる全体画像を表示するように前記表示部を制御する、
    ことを特徴とする請求項2に記載の表示制御装置。
  4. 前記表示制御部は、
    前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別している間、前記動作状態に応じた画像を含む全体画像を表示するように前記表示部を制御し、
    前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていないと判別している間、前記動作状態に応じた画像を含む全体画像を表示しないように前記表示部を制御する、
    ことを特徴とする請求項2又は3に記載の表示制御装置。
  5. 前記表示制御部は、前記動作状態に応じた画像を、前記撮像画像内における前記撮像対象装置の位置に対応した位置に配置することにより得られる全体画像を表示するように前記表示部を制御する、
    ことを特徴とする請求項2乃至4のいずれか1項に記載の表示制御装置。
  6. 前記表示制御部は、前記動作状態に応じた画像を、前記撮像画像内における前記撮像対象装置の前記動作状態に応じた部位に対応した位置に配置することにより得られる全体画像を表示するように前記表示部を制御する、
    ことを特徴とする請求項2乃至4のいずれか1項に記載の表示制御装置。
  7. 前記通信部は、前記撮像対象装置の候補の装置から、前記候補の装置を特定する情報を取得し、
    前記画像判別部は、前記撮像画像内に、前記通信部が取得した情報により特定される候補の装置を表す画像が含まれているか否かを判別する、
    ことを特徴とする請求項2乃至6のいずれか1項に記載の表示制御装置。
  8. 前記動作状態に応じた画像は、前記撮像対象装置を操作するためのGUI画像である、
    ことを特徴とする請求項2乃至7のいずれか1項に記載の表示制御装置。
  9. 前記全体画像は、前記撮像画像を含み、
    前記全体画像内における位置を指定する操作入力を受け付ける操作入力受付部、をさらに備え、
    前記画像判別部は、前記操作入力により指定された位置が、前記撮像対象装置の予め定められた部分に対応する位置であるか否かをさらに判別し、
    前記表示制御部は、前記画像判別部が、前記操作入力により指定された位置が、前記予め定められた部分に対応する位置であると判別した場合、前記予め定められた部分に対応する前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように前記表示部を制御する、
    ことを特徴とする請求項1乃至8のいずれか1項に記載の表示制御装置。
  10. 前記画像判別部は、前記操作入力により指定された位置が、前記撮像対象装置におけるどの部分に対応するのかを特定し、特定した部分が、前記撮像対象装置の予め定められた部分に対応するか否かを判別する、
    ことを特徴とする請求項9に記載の表示制御装置。
  11. 撮像対象の装置である撮像対象装置を撮像する撮像ステップと、
    前記撮像ステップで撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別ステップと、
    前記画像判別ステップで、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御ステップと、を備える、
    ことを特徴とする表示制御方法。
  12. 撮像対象の装置である撮像対象装置を撮像する撮像部を備える制御装置のコンピュータを、
    前記撮像部が撮像した撮像画像内に、前記撮像対象装置を表す画像が含まれているか否かを判別する画像判別部、
    前記画像判別部が、前記撮像画像内に前記撮像対象装置を表す画像が含まれていると判別した場合、前記撮像対象装置の機能に応じた画像を含む全体画像を表示するように表示部を制御する表示制御部、として機能させる、
    ことを特徴とするプログラム。
JP2012200991A 2012-09-12 2012-09-12 表示制御装置、表示制御方法、及び、プログラム Pending JP2014057222A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012200991A JP2014057222A (ja) 2012-09-12 2012-09-12 表示制御装置、表示制御方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012200991A JP2014057222A (ja) 2012-09-12 2012-09-12 表示制御装置、表示制御方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2014057222A true JP2014057222A (ja) 2014-03-27

Family

ID=50614171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012200991A Pending JP2014057222A (ja) 2012-09-12 2012-09-12 表示制御装置、表示制御方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP2014057222A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184779A (ja) * 2018-04-09 2019-10-24 シャープ株式会社 端末装置、情報処理装置、表示システム、情報表示方法、情報処理方法、制御プログラム、及び電気機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184779A (ja) * 2018-04-09 2019-10-24 シャープ株式会社 端末装置、情報処理装置、表示システム、情報表示方法、情報処理方法、制御プログラム、及び電気機器

Similar Documents

Publication Publication Date Title
CN110381197B (zh) 多对一投屏中音频数据的处理方法、装置及系统
EP3220651B1 (en) Live video broadcasting method and device
CN109618212B (zh) 信息显示方法、装置、终端及存储介质
CN108401124B (zh) 视频录制的方法和装置
EP3051514A1 (en) Method and device for remote control
US20220057984A1 (en) Music playing method, device, terminal and storage medium
KR20160014226A (ko) 이동단말기 및 그 제어방법
CN109068008B (zh) 铃声设置方法、装置、终端及存储介质
CN109144346B (zh) 歌曲分享方法、装置及存储介质
US20230421900A1 (en) Target User Focus Tracking Photographing Method, Electronic Device, and Storage Medium
EP3327548A1 (en) Method, device and terminal for processing live shows
CN113573122B (zh) 音视频播放方法及装置
CN110996305A (zh) 连接蓝牙设备的方法、装置、电子设备及介质
CN109982129B (zh) 短视频的播放控制方法、装置及存储介质
CN111142838A (zh) 音频播放方法、装置、计算机设备及存储介质
KR20180000511A (ko) 이동단말기 및 그 제어방법
CN105100897A (zh) 快捷播放的控制方法及装置
EP3086221A2 (en) Electronic apparatus, image display system, control program, and method for operating electronic apparatus
CN109089137B (zh) 卡顿检测方法及装置
CN106358064A (zh) 控制电视机的方法及设备
CN110286839B (zh) 消息发送方法、装置、终端及存储介质
CN108966026B (zh) 制作视频文件的方法和装置
CN112073768A (zh) 蓝牙通信方法及显示设备
JP2014057222A (ja) 表示制御装置、表示制御方法、及び、プログラム
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品