JP2016015704A - 制御システム - Google Patents

制御システム Download PDF

Info

Publication number
JP2016015704A
JP2016015704A JP2014210889A JP2014210889A JP2016015704A JP 2016015704 A JP2016015704 A JP 2016015704A JP 2014210889 A JP2014210889 A JP 2014210889A JP 2014210889 A JP2014210889 A JP 2014210889A JP 2016015704 A JP2016015704 A JP 2016015704A
Authority
JP
Japan
Prior art keywords
display
unit
control unit
information
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014210889A
Other languages
English (en)
Inventor
創一郎 三浦
Soichiro Miura
創一郎 三浦
塩見 誠
Makoto Shiomi
誠 塩見
高橋 昌之
Masayuki Takahashi
昌之 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014210889A priority Critical patent/JP2016015704A/ja
Priority to PCT/JP2015/066502 priority patent/WO2015190442A1/ja
Priority to US15/317,436 priority patent/US9736417B2/en
Publication of JP2016015704A publication Critical patent/JP2016015704A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control

Abstract

【課題】高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させるとともに、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる制御システムを実現することを目的とする。【解決手段】制御システム1000では、リモートコントロール装置2の第2表示部23の表示画面の1点を特定することで、すなわち、1点特定情報を取得することで、絶対位置座標による表示位置変更処理(移動処理)を行うことができる。したがって、例えば、制御対象装置1を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部23に、制御対象装置の表示画面を表示させるとともに、当該表示の移動を、感覚的な操作により、迅速に実行することができる。【選択図】図1

Description

本発明は、高解像度ディスプレイ装置等の表示装置を有する機器と、当該機器を制御するためのリモートコントロール装置(例えば、タッチパネル付き表示装置)とを備える制御システムに関する。
近年、ハイビジョン放送やデータ放送等を受信するテレビ受信機として、高解像度ディスプレイ装置を有するテレビ受信機が多く用いられるようになってきている。このようなテレビ受信機において、データ放送等のコンテンツや、ハイビジョン放送と同時に送信される番組表のデータ等を表示し、当該表示に基づいて、インタラクティブな操作を実行することで、多様な機能を実現することができるようになってきている。このようなインタラクティブな操作を、表示装置を有するリモートコントロール装置を用いて、実行できるようにする技術も開発されている。例えば、特許文献1には、リモートコントロール装置にテレビ受信機の画面を表示させ、当該画面を見ながら、インタラクティブな操作を実行できるようにする技術が開示されている。
特開2001−157284号公報
しかしながら、特許文献1に開示されている技術では、制御対象機器に表示される映像の解像度があまり高くない場合が想定されており、特許文献1の技術を用いて、例えば、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面全体を、リモートコントロール装置の表示画面に表示させると、ディテール部分がつぶれてしまう。
このような課題に対処するために、リモートコントロール装置において、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させるとともに、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができるようにする技術の実現が求められている。
そこで、本発明は、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させるとともに、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる制御システムを実現することを目的とする。
上記課題を解決するために、第1の構成は、制御対象装置と、リモートコントロール装置とを備える制御システムである。
制御対象装置は、映像を表示させるための第1表示部と、第1表示制御部と、調整部と、主装置制御部と、主装置側インターフェース部と、を備える。
リモートコントロール装置は、映像を表示させるための第2表示部と、第2表示制御部と、入力制御部と、モード切替部と、のコントローラ側インターフェース部と、を備える。
第1表示制御部は、第1表示部に映像を表示させるために、第1表示部に対して、駆動制御を行う。
調整部は、第1表示部に表示される映像から、映像の一部または全部を抽出することで、調整後映像信号を取得する。
主装置制御部は、第1表示制御部および調整部を制御する。
主装置側インターフェース部は、調整部により取得された調整後映像信号をリモートコントロール装置に送信するためのインターフェースである。
第2表示制御部は、第2表示部に映像を表示させるために、第2表示部に対して、駆動制御を行う。
入力制御部は、第2表示部に表示される映像の表示を制御するための情報を入力する。
モード切替部は、第2表示部に表示されている映像の表示を変更するための表示操作モードと、制御対象装置の機器操作を行うための機器操作モードとを切り替える。
コントローラ側インターフェース部は、制御対象装置の主装置側インターフェース部と通信するためのインターフェースである。
そして、表示操作モードに設定されている場合であって、第2表示部の表示画面上の1点を特定する情報である1点特定情報が入力制御部に入力された場合、
入力制御部は、1点特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、
主装置制御部は、第1表示部の表示画面全体に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、絶対位置座標を設定し、
調整部は、1点特定情報が示す点P2に相当する、第1表示部の表示画面の絶対位置座標上の点P1を含む画像領域AR1であって、第1表示部に表示されている画像領域AR1を形成する調整後映像信号を取得し、
第2表示制御部は、調整後映像信号に基づいて、画像領域AR1を第2表示部に表示させる。
本発明によれば、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させるとともに、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる制御システムを実現することができる。
第1実施形態に係る制御システム1000の概略構成図。 絶対位置座標による表示位置変更処理について説明するための図。 絶対位置座標による表示位置変更処理後の制御対象装置1と、リモートコントロール装置2との状態を示す図。 絶対位置座標について、説明するための図。 相対位置座標による表示位置変更処理について説明するための図。 相対位置座標による表示位置変更処理後の制御対象装置1と、リモートコントロール装置2との状態を示す図。 相対位置座標について、説明するための図。 表示拡大率変更処理について説明するための図。 表示拡大率変更処理後の制御対象装置1と、リモートコントロール装置2との状態を示す図。 表示角度変更処理について説明するための図。 表示角度変更処理後の制御対象装置1と、リモートコントロール装置2との状態を示す図。 第2実施形態に係る制御システム2000の概略構成図。 第3実施形態に係る制御システム3000の概略構成図。 第3実施形態に係る制御システム3000の制御対象装置1Aおよびリモートコントロール装置2Bを模式的に示した図。 第4実施形態に係る制御システム4000の概略構成図。 絶対位置座標による表示位置変更処理について説明するための図。 リモートコントロール装置2Cの第2表示部23に表示させる画像領域を変更する場合の操作について説明するための図。 表示拡大率変更処理について説明するための図。 マーカーの呼び出し処理について説明するための図。 第5実施形態に係る制御システム5000の概略構成図。 表示角度変更処理について、説明するための図。 表示角度変更処理について、説明するための図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:制御システムの構成>
図1は、第1実施形態に係る制御システム1000の概略構成図である。
制御システム1000は、図1に示すように、制御対象装置1と、制御対象装置1を制御するリモートコントロール装置2と、を備える。
制御対象装置1は、図1に示すように、映像合成部11と、第1表示制御部12と、第1表示部13と、主装置制御部14と、調整部15と、主装置側インターフェース部16と、を備える。制御対象装置1は、例えば、ハイビジョン方法やデータ放送等を受信することができるテレビ受信機である。なお、図1では、制御対象装置1が、ハイビジョン方法やデータ放送等を受信するテレビ受信機である場合に必要となる機能部(アンテナ受信部、RF復調部、デジタル復調部、デコード部等)については、図示を省略している。
映像合成部11は、映像信号Vinと、データ信号Dinと、を入力する。また、映像合成部11は、主装置制御部14から出力される制御信号ctl1を入力する。映像合成部11は、制御信号ctl1に基づいて、(1)映像信号Vinをそのまま映像信号D0として、第1表示制御部12に出力する、あるいは、(2)映像信号Vinと、データ信号Dinに基づいて生成される映像信号(例えば、OSD(On Screen Display)信号)とを重畳させることで生成される映像信号を映像信号D0として、第1表示制御部12に出力する、あるいは、(3)データ信号Dinに基づいて生成される映像信号(例えば、OSD(On Screen Display)信号)を映像信号D0として、第1表示制御部12に出力する。
第1表示制御部12は、映像合成部11から出力される映像信号D0と、主装置制御部14から出力される制御信号ctl0とを入力する。第1表示制御部12は、制御信号ctl0に基づいて、映像信号D0を、VRAM(ビデオRAM)等のメモリ(不図示)に書き込み、制御信号ctl0に基づいて、当該メモリから、映像信号D1として読み出し、第1表示部13に出力し、第1表示部13に表示させる。第1表示制御部12は、第1表示部13に映像信号D1を表示させるために、例えば、映像信号D1と、第1表示部13(例えば、高解像度液晶パネル)を駆動する駆動信号(例えば、ソース駆動信号およびゲート駆動信号)とを第1表示部13に出力する。
また、第1表示制御部12は、映像信号D1を調整部15にも出力する。
第1表示部13は、第1表示制御部12から出力される映像信号D1および駆動信号を入力する。そして、第1表示部13は、第1表示制御部12からの駆動信号に基づいて、映像信号D1を、表示させる。第1表示部13は、例えば、高解像度ディスプレイパネル(例えば、高解像度液晶パネル)である。
主装置制御部14は、制御対象装置1の各機能部を制御する制御部である。主装置制御部14は、第1表示制御部12を制御するための制御信号ctl0を生成し、生成した制御信号ctl0を第1表示制御部12に出力する。また、主装置制御部14は、映像合成部11を制御するための制御信号ctl1を生成し、生成した制御信号ctl1を映像合成部11に出力する。
また、主装置制御部14は、主装置側インターフェース部16から出力される信号Dp2を入力することができる。この信号Dp2には、(1)リモートコントロール装置2の表示操作についての情報、(2)制御対象装置1の機器装置についての情報、および、(3)モード情報modeが含まれている。主装置制御部14は、入力された信号Dp2に基づいて、リモートコントロール装置2に表示させる映像を生成するための調整信号Adjを生成する。そして、主装置制御部14は、生成した調整信号Adjを調整部15に出力する。
調整部15は、第1表示制御部12から出力される映像信号D1と、主装置制御部14から出力される調整信号Adjとを入力する。調整部15は、調整信号Adjに基づいて、映像信号D1から、リモートコントロール装置2に表示させる映像領域(画像領域)を形成する調整後映像信号D2を取得する。そして、調整部15は、取得した調整後映像信号D2と、調整後映像信号D2が形成する画像領域を特定するための座標情報z1と、を主装置側インターフェース部16に出力する。
主装置側インターフェース部16は、図1に示すように、主装置側変調部161と、主装置側復調部162とを備える。主装置側インターフェース部16は、リモートコントロール装置2とデータの送受信を行うためのインターフェースである。
主装置側変調部161は、調整部15から出力される調整後映像信号D2と座標情報z1とを入力とする。主装置側変調部161は、入力された調整後映像信号D2および座標情報z1をリモートコントロール装置2に送信するために、リモートコントロール装置2への伝送に適した信号に変調を行う。例えば、制御対象装置1からリモートコントロール装置2に無線によりデータ送信を行う場合、主装置側変調部161は、調整後映像信号D2および座標情報z1に対してRF変調処理を行うことで、無線信号Roを生成し、生成した無線信号Roを、リモートコントロール装置2のコントローラ側インターフェース部21に出力する。
主装置側復調部162は、リモートコントロール装置2から受信する無線信号Riを入力とする。主装置側復調部162は、受信した無線信号Riに対してRF復調処理を行うことで、信号Dp2を取得する。そして、主装置側復調部162は、取得した信号Dp2を主装置制御部14に出力する。
リモートコントロール装置2は、図1に示すように、コントローラ側インターフェース部21と、第2表示制御部22と、第2表示部23と、タッチパネル制御部24と、タッチパネル25と、モード切替部26と、を備える。
コントローラ側インターフェース部21は、図1に示すように、コントローラ側復調部211と、コントローラ側変調部212とを備える。コントローラ側インターフェース部21は、制御対象装置1とデータの送受信を行うためのインターフェースである。
コントローラ側復調部211は、制御対象装置1から受信する無線信号Roを入力とする。コントローラ側復調部211は、受信した無線信号Roに対してRF復調処理を行うことで、映像信号D3(映像信号D2に相当する信号)および座標情報z2(座標情報z1に相当する信号)を取得する。そして、コントローラ側復調部211は、取得した映像信号D3および座標情報z2を第2表示制御部22に出力する。
コントローラ側変調部212は、タッチパネル制御部24から出力される信号Dp1を入力とする。コントローラ側変調部212は、入力された信号Dp1を制御対象装置1に送信するために、制御対象装置1への伝送に適した信号に変調を行う。例えば、リモートコントロール装置2から制御対象装置1に無線によりデータ送信を行う場合、コントローラ側変調部212は、信号Dp1に対してRF変調処理を行うことで、無線信号Riを生成し、生成した無線信号Riを、制御対象装置1の主装置側インターフェース部16に出力する。
第2表示制御部22は、コントローラ側インターフェース部21のコントローラ側復調部211から出力される映像信号D3および座標情報z2を入力とする。第2表示制御部22は、入力された映像信号D2を第2表示部23に表示させる。
第2表示制御部22は、例えば、映像信号D3と、第2表示部23(例えば、液晶パネル)を駆動する駆動信号(例えば、ソース駆動信号およびゲート駆動信号)とを第2表示部23に出力する。
また、第2表示制御部22は、座標情報z2をタッチパネル制御部24に出力する。
第2表示部23は、第2表示制御部22から出力される映像信号D3および駆動信号を入力する。そして、第2表示部23は、第2表示制御部22からの駆動信号に基づいて、映像信号D3を、表示させる。第2表示部23は、例えば、表示パネル(例えば、液晶パネル)である。
タッチパネル制御部24は、タッチパネル25上の電界変化を示す信号を入力する。また、タッチパネル制御部24は、第2表示制御部22から出力される座標情報z2と、モード切替部26から出力されるモード情報modeを入力する。
タッチパネル制御部24は、タッチパネル25上の電界変化を示す信号から、タッチ数、タッチ位置等を検出し、検出結果を示す情報を含む信号Dp1を生成し、コントローラ側インターフェース部21に出力する。なお、タッチパネル制御部24は、モード情報modeが示すモードが「表示操作モード」である場合に、生成した信号Dp1をコントローラ側インターフェース部21に出力する。モード情報modeが示す操作モードには、(1)機器操作モードと、(2)表示操作モードとがある(詳細については後述)。
タッチパネル25は、例えば、静電容量式のタッチパネルであり、タッチパネル制御部24により駆動される。そして、タッチパネル25上において、指等でタッチされた場合の電界変化に対応する信号を、タッチパネル制御部24に出力する。
モード切替部26は、(1)機器操作モードと、(2)表示操作モードとを切り替えるための機能部である。そして、モード切替部26は、切り替えられた(設定された)モードを示す情報(モード情報)modeを、タッチパネル制御部24に出力する。
<1.2:制御システムの動作>
以上のように構成された制御システム1000の動作について、以下、説明する。
以下では、「表示操作モード」における制御システム1000の動作と、「機器操作モード」における制御システム1000の動作とに分けて、説明する。
(1.2.1:表示操作モード)
まず、「表示操作モード」における制御システム1000の動作について、説明する。
「表示操作モード」では、(A1)絶対位置座標による表示位置変更処理、(A2)相対位置座標による表示位置変更処理、(B)表示拡大率変更処理、および、(C)表示角度変更処理を実行することができる。以下では、これらの処理について、説明する。
≪A1:絶対位置座標による表示位置変更処理≫
まず、絶対位置座標による表示位置変更処理について、説明する。
図2は、絶対位置座標による表示位置変更処理について説明するための図である。具体的には、図2は、制御対象装置1と、リモートコントロール装置2とを模式的に示した図であり、制御対象装置1の第1表示部13に、番組表を表示させた状態を示している。また、図2は、リモートコントロール装置2の第2表示部23に、第1表示部13の領域AR1を拡大表示させている状態を示している。
なお、図2に示すように、X軸およびY軸を設定するものとする。そして、図2に示すように、制御対象装置1の第1表示部13の表示画面の領域は、X座標において、最小値がXmin(1)であり、最大値がXmax(1)であり、Y座標において、最小値がYmin(1)であり、最大値がYmax(1)であるものとする。
また、図2に示すように、リモートコントロール装置2の第2表示部23の表示画面の領域は、X座標において、最小値がXmin(2)であり、最大値がXmax(2)であり、Y座標において、最小値がYmin(2)であり、最大値がYmax(2)であるものとする。
図2の状態において、ユーザーが、リモートコントロール装置2のボタンBtn1を押下することで、「表示操作モード」に設定される。例えば、ボタンBtn1を押下することで、トグル動作により、「表示操作モード」と「機器操作モード」とが切り替えられる。なお、設定されたモードを、第2表示部23、および/または、第1表示部13に表示するようにしてもよい。
表示操作モードに設定されている状態において、ユーザーが、リモートコントロール装置2の第2表示部23の表示画面の1点をタッチすると、制御対象装置1の第1表示部13の表示画面における当該タッチ位置に相当する位置を中心とする画像を、リモートコントロール装置2の第2表示部23に表示させることができる。
例えば、図2において、ユーザーが、リモートコントロール装置2の第2表示部23のP1(2)点を、1点によりタッチすると、リモートコントロール装置2の第2表示部23に表示されていた表示は、第1表示部13の領域AR1から、第1表示部13の点P1(1)を中心とする領域の表示へと更新させることができる。
つまり、リモートコントロール装置2の第2表示部23の表示画面全体に設定された座標平面が、制御対象装置1の第1表示部13の表示画面全体に設定された座標平面に対応付けた場合に、第2表示部23の表示画面(座標平面)上のP1(2)点に相当する、第1表示部13の表示画面(座標平面)上の点P1(1)点を中心とする領域の表示へと更新させることができる。なお、第1表示部13の表示画面全体に設定された座標平面における点P1(1)の座標を(X2(1),Y2(1))とし、第2表示部23の表示画面全体に設定された座標平面における点P1(2)の座標を(X2(2),Y2(2))とすると、
(X2(1)−Xmin(1))/(Xmax(1)−Xmin(1))
=(X2(2)−Xmin(2))/(Xmax(2)−Xmin(2))
であり、かつ、
(Y2(1)−Ymin(1))/(Ymax(1)−Ymin(1))
=(Y2(2)−Ymin(2))/(Ymax(2)−Ymin(2))
である。
図3は、上記操作後の制御対象装置1と、リモートコントロール装置2との状態を示す図である。
図3に示すように、リモートコントロール装置2の第2表示部23には、制御対象装置1の第1表示部13の領域AR2が表示されている。
上記操作を行った場合における制御システム1000の動作について、図1を参照しながら説明する。
映像合成部11では、番組表に関するデータDinが入力され、主装置制御部14からの制御信号ctl1により、番組表に関するデータDinに基づいて、番組表を表示する映像信号D0が生成される。そして、生成された映像信号D0は、第1表示制御部12に出力される。
第1表示制御部12は、映像信号D0を第1表示部13に表示させるように、第1表示部13を駆動制御する。
調整部15では、主装置制御部14から出力される調整信号Adjに基づいて、図2の領域AR1を形成する映像信号D2が生成される。
また、調整部15は、領域AR1の座標情報z1として、図2に示すように設定されたXY座標平面における座標情報を取得する。調整部15は、例えば、領域AR1の左上端点の座標情報(X0(1),Y0(1))と、領域AR1の右下端点の座標情報(X1(1),Y1(1))とを、リモートコントロール装置2の第2表示部23に表示させる領域AR1についての座標情報z1として取得する。
調整部15は、上記のように取得した、図2の領域AR1を形成する映像信号D2と、領域AR1についての座標情報z1とを主装置側インターフェース部16の主装置側変調部161に出力する。
主装置側変調部161では、入力された映像信号D2と座標情報z1とに対して、RF変調処理が実行され、無線信号Roが生成される。そして、生成された無線信号Roは、主装置側変調部161からコントローラ側インターフェース部21に出力される。
コントローラ側インターフェース部21のコントローラ側復調部211は、無線信号Roを受信し、RF復調処理を実行し、映像信号D3(領域AR1を形成する映像信号D2に相当する信号)および座標情報z2(領域AR1の座標情報z1に相当する信号)を取得する。そして、コントローラ側復調部211は、取得した映像信号D3および座標情報z2を第2表示制御部22に出力する。
第2表示制御部22では、領域AR1を形成する映像信号D2が、第2表示部23に表示されるように、第2表示部23を駆動制御する。これにより、図2に示すように、第2表示部23に、領域AR1と同じ画像(映像)が表示される。
また、第2表示制御部22は、領域AR1についての座標情報z2をタッチパネル制御部24に出力する。
モード切替部26は、ユーザーにより、図2に示すボタンBtn1が押下されることにより、「表示操作モード」に設定されると、「表示操作モード」に設定されていることを示すモード情報modeを生成し、生成したモード情報modeをタッチパネル制御部24に出力する。
タッチパネル25上において、図2に示す点P1(2)の位置を1点でユーザーがタッチした場合、タッチパネル制御部24は、タッチパネル25から出力される信号(タッチパネル25上の電界変化を示す信号)に基づいて、タッチされているのが1点であることを認識し、タッチ点の座標位置を検出する。図2の場合では、タッチ点の座標位置(X2(2),Y2(2))が、タッチ点の座標情報として取得される。
タッチパネル制御部24は、上記検出結果、すなわち、(1)タッチされているのが1点であること、および、(2)タッチ点の座標位置(X2(2),Y2(2))についての情報を含めた信号Dp1を生成する。そして、タッチパネル制御部24は、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14は、信号Dp2から、リモートコントロール装置2のタッチパネル25において、(1)タッチされているのが1点であること、および、(2)タッチ点の座標位置(X2(2),Y2(2))であることを認識する。
そして、主装置制御部14は、タッチされているのが1点である場合、絶対位置座標による表示位置変更処理(移動処理)を実行する。これについて、図4を用いて説明する。
図4は、絶対位置座標について、説明するための図である。
図4に示すように、絶対位置座標による表示位置変更処理(移動処理)を実行する場合、制御対象装置1の第1表示部13の表示画面全体に設定される座標全体を、リモートコントロール装置2の第2表示部23の表示画面全体に設定される座標全体に対応付ける。
つまり、図4に示すように、制御対象装置1の第1表示部13の表示画面に左上端点の座標(Xmin(1),Ymin(1))を、リモートコントロール装置2の第2表示部23の表示画面に左上端点の座標(Xmin(2),Ymin(2))に対応付け、制御対象装置1の第1表示部13の表示画面に右下端点の座標(Xmax(1),Ymax(1))を、リモートコントロール装置2の第2表示部23の表示画面に右下端点の座標(Xmax(2),Ymax(2))に対応付ける。このように、制御対象装置1の第1表示部13の表示画面全体に設定した座標平面と、リモートコントロール装置2の第2表示部23の表示画面全体とを1:1に対応付けることで規定される座標を、「絶対位置座標」という。つまり、絶対位置座標により規定される、制御対象装置1の第1表示部13の表示画面全体に設定される座標平面は、(Xmin(1),Ymin(1))−(Xmax(1),Ymax(1))の矩形領域を有する平面である。そして、絶対位置座標により規定される、リモートコントロール装置2の第2表示部23の表示画面全体に設定される座標平面は、(Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))の矩形領域を有する平面である。
なお、「(x1,y1)−(x2,y2)の矩形領域」との表記は、左上端点を(x1,y1)とし、右下端点を(x2,y2)とする矩形の領域を示す(以下、同様)。
主装置制御部14は、信号Dp2により、リモートコントロール装置2のタッチパネル25において、タッチされているのが1点であると判定した場合、絶対位置座標による表示位置変更処理(移動処理)を実行する。すなわち、図2の場合、上記のように設定した絶対位置座標では、第2表示部23の点P1(2)の座標(X2(2),Y2(2))は、第1表示部13の点P1(1)の座標(X2(1),Y2(1))に対応する。
したがって、主装置制御部14は、図2の場合、第1表示部13の点P1(1)を中心とする領域AR2(図3に示す領域AR2)が、リモートコントロール装置2の第2表示部23に表示されるように調整信号Adjを生成する。そして、主装置制御部14は、生成した調整信号Adjを調整部15に出力する。
調整部15は、主装置制御部14からの調整信号Adjに基づいて、映像信号D1から、領域AR2を形成する映像信号D2を生成し、生成した映像信号D2を主装置側インターフェース部16に出力する。また、調整部15は、主装置制御部14からの調整信号Adjに基づいて、領域AR2についての座標情報z1を生成し、生成した座標情報z1を主装置側インターフェース部16に出力する。
以降の処理については、上記で、領域AR1を表示させる場合の処理と同様である。
以上の処理により、リモートコントロール装置2の第2表示部23に、図3に示すように、領域AR2の画像が表示されるようになる。
このように、制御システム1000では、リモートコントロール装置2の第2表示画面を1点によりタッチすることで、絶対位置座標による表示位置変更処理(移動処理)を行うことができる。
≪A2:相対位置座標による表示位置変更処理≫
次に、相対位置座標による表示位置変更処理について、説明する。
図5は、相対位置座標による表示位置変更処理について説明するための図である。具体的には、図5は、制御対象装置1と、リモートコントロール装置2とを模式的に示した図であり、制御対象装置1の第1表示部13に、番組表を表示させた状態を示している。また、図5は、リモートコントロール装置2の第2表示部23に、第1表示部13の領域AR1を拡大表示させている状態を示している。
なお、図5に示すように、X軸およびY軸を設定するものとする。そして、図5に示すように、制御対象装置1の第1表示部13の表示画面の領域は、X座標において、最小値がXmin(1)であり、最大値がXmax(1)であり、Y座標において、最小値がYmin(1)であり、最大値がYmax(1)であるものとする。
また、図5に示すように、リモートコントロール装置2の第2表示部23の表示画面の領域は、X座標において、最小値がXmin(2)であり、最大値がXmax(2)であり、Y座標において、最小値がYmin(2)であり、最大値がYmax(2)であるものとする。
図5の状態において、ユーザーが、リモートコントロール装置2のボタンBtn1を押下することで、「表示操作モード」に設定される。
表示操作モードに設定されている状態において、ユーザーが、リモートコントロール装置2の第2表示部23の表示画面の2点をタッチしながら、任意の方向Dir1にずらすと、制御対象装置1の第1表示部13の表示画面において、ずらした方向Dir1の逆方向に存在する画像を、リモートコントロール装置2の第2表示部23に表示させることができる。
例えば、図5において、ユーザーが、リモートコントロール装置2の第2表示部23のP2(2)点およびP3(2)点の2点をタッチしながら、矢印Dir1で示す方向にずらすと、リモートコントロール装置2の第2表示部23に表示されていた表示は、第1表示部13の領域AR1から、第1表示部13の領域AR3の表示へと更新させることができる。
図6は、上記操作後の制御対象装置1と、リモートコントロール装置2との状態を示す図である。
図6に示すように、リモートコントロール装置2の第2表示部23には、制御対象装置1の第1表示部13の領域AR3が表示されている。
上記操作を行った場合における制御システム1000の動作について、図1を参照しながら説明する。
なお、上記「A1:絶対位置座標による表示位置変更処理」と同様の処理については、説明を省略する。
タッチパネル25上において、図5に示す点P2(2)および点P3(2)の2点を、ユーザーがタッチした場合、タッチパネル制御部24は、タッチパネル25から出力される信号(タッチパネル25上の電界変化を示す信号)に基づいて、タッチされているのが2点であることを認識し、タッチ点の座標位置を検出する。図5の場合では、タッチ点P2(2)の座標位置およびタッチ点P3(2)の座標位置が座標情報として取得される。
タッチパネル制御部24は、上記検出結果、すなわち、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置についての情報を含めた信号Dp1を生成する。そして、タッチパネル制御部24は、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14は、信号Dp2から、リモートコントロール装置2のタッチパネル25において、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置を認識する。
さらに、主装置制御部14は、上記処理により、所定の時間内に連続して取得される信号Dp2から、タッチパネル25上において、点P2(2)および点P3(2)の2つのタッチ点が、タッチされた状態で方向Dir1にずらされていることを認識する。また、所定の時間内におけるタッチ点の移動距離から、タッチ点の移動速度を算出する。
主装置制御部14は、2つのタッチ点が、タッチパネル25からリリースされたことを確認するまで、上記処理を繰り返し、2つのタッチ点の移動距離を算出する。そして、算出した2つのタッチ点の移動距離に基づいて、第2表示部23において、新たに表示させるための領域を決定する。図5の場合、この新たに表示させるための領域が領域AR3であるものとする。
このように、主装置制御部14は、タッチされているのが2点である場合、相対位置座標による表示位置変更処理(移動処理)を実行する。これについて、図7を用いて説明する。
図7は、相対位置座標について、説明するための図である。
図7に示すように、相対位置座標による表示位置変更処理(移動処理)を実行する場合、制御対象装置1の第1表示部13の表示画面の一部の領域に設定される座標全体を、リモートコントロール装置2の第2表示部23の表示画面全体に設定される座標全体に対応付ける。
つまり、図7に示すように、制御対象装置1の第1表示部13の表示画面の一部の領域の左上端点の座標(Xmin_r(1),Ymin_r(1))を、リモートコントロール装置2の第2表示部23の表示画面に左上端点の座標(Xmin(2),Ymin(2))に対応付け、制御対象装置1の第1表示部13の表示画面の一部の領域の右下端点の座標(Xmax_r(1),Ymax_r(1))を、リモートコントロール装置2の第2表示部23の表示画面に右下端点の座標(Xmax(2),Ymax(2))に対応付ける。
主装置制御部14は、信号Dp2により、リモートコントロール装置2のタッチパネル25において、タッチされているのが2点であると判定した場合、当該2点の移動距離に基づいて、相対位置座標による表示位置変更処理(移動処理)を実行する。すなわち、図5の場合、上記のように設定した相対位置座標では、第2表示部23の点P2(2)および点P3(2)が方向Dir1にずらされているので、主装置制御部14は、第2表示部23の表示が、領域AR1の表示から領域AR3の表示に更新されるように、調整信号Adjを生成する。なお、第2表示部23の点P2(2)および点P3(2)の方向Dir1の移動距離が、領域AR1と領域AR2との間の距離に対応するものとする。
そして、主装置制御部14は、生成した調整信号Adjを調整部15に出力する。
調整部15は、主装置制御部14からの調整信号Adjに基づいて、映像信号D1から、領域AR3を形成する映像信号D2を生成し、生成した映像信号D2を主装置側インターフェース部16に出力する。また、調整部15は、主装置制御部14からの調整信号Adjに基づいて、領域AR3についての座標情報z1を生成し、生成した座標情報z1を主装置側インターフェース部16に出力する。
以降の処理については、上記で、領域AR1を表示させる場合の処理と同様である。
以上の処理により、リモートコントロール装置2の第2表示部23に、図6に示すように、領域AR3の画像が表示されるようになる。
このように、制御システム1000では、リモートコントロール装置2の第2表示画面を2点によりタッチしながら、所定の方向にずらすことで、相対位置座標による表示位置変更処理(移動処理)を行うことができる。
≪B:表示拡大率変更処理≫
次に、表示拡大率変更処理について、説明する。
図8は、表示拡大率変更処理について説明するための図である。具体的には、図8は、制御対象装置1と、リモートコントロール装置2とを模式的に示した図であり、制御対象装置1の第1表示部13に、番組表を表示させた状態を示している。また、図8は、リモートコントロール装置2の第2表示部23に、第1表示部13の領域AR1を拡大表示させている状態を示している。
なお、図8に示すように、X軸およびY軸を設定するものとする。そして、図8に示すように、制御対象装置1の第1表示部13の表示画面の領域は、X座標において、最小値がXmin(1)であり、最大値がXmax(1)であり、Y座標において、最小値がYmin(1)であり、最大値がYmax(1)であるものとする。
また、図8に示すように、リモートコントロール装置2の第2表示部23の表示画面の領域は、X座標において、最小値がXmin(2)であり、最大値がXmax(2)であり、Y座標において、最小値がYmin(2)であり、最大値がYmax(2)であるものとする。
図8の状態において、ユーザーが、リモートコントロール装置2のボタンBtn1を押下することで、「表示操作モード」に設定される。
表示操作モードに設定されている状態において、ユーザーが、リモートコントロール装置2の第2表示部23の表示画面の2点をタッチしながら、タッチした2点間の距離を変更することで、制御対象装置1の第1表示部13の表示画面における表示拡大率を変更することができる。なお、表示倍率を変更するときの中心点は、タッチした2点間の中点である。
例えば、図8において、ユーザーが、リモートコントロール装置2の第2表示部23のP4(2)点およびP5(2)点の2点をタッチしながら、当該2点間の距離が大きくなるように点P4(2)を矢印Dir2の方向にずらすと同時に、点P5(2)を矢印Dir3の方向にずらすと、リモートコントロール装置2の第2表示部23に表示されていた画像の表示拡大率を変更することができる。このとき、表示倍率を変更するときの中心点は、タッチした2点間の中点P6(2)である。
図9は、上記操作後の制御対象装置1と、リモートコントロール装置2との状態を示す図である。
図9に示すように、リモートコントロール装置2の第2表示部23には、制御対象装置1の第1表示部13の領域AR4が表示されている。
上記操作を行った場合における制御システム1000の動作について、図1を参照しながら説明する。
なお、上記「A1:絶対位置座標による表示位置変更処理」と同様の処理については、説明を省略する。
タッチパネル25上において、図8に示す点P4(2)および点P5(2)の2点を、ユーザーがタッチした場合、タッチパネル制御部24は、タッチパネル25から出力される信号(タッチパネル25上の電界変化を示す信号)に基づいて、タッチされているのが2点であることを認識し、タッチ点の座標位置を検出する。図8の場合では、タッチ点P4(2)の座標位置およびタッチ点P5(2)の座標位置が座標情報として取得される。
タッチパネル制御部24は、上記検出結果、すなわち、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置についての情報を含めた信号Dp1を生成する。そして、タッチパネル制御部24は、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14は、信号Dp2から、リモートコントロール装置2のタッチパネル25において、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置を認識する。
さらに、主装置制御部14は、上記処理により、所定の時間内に連続して取得される信号Dp2から、タッチパネル25上において、点P4(2)および点P5(2)の2つのタッチ点が、タッチされた状態で、2つのタッチ点の間の距離が変化していることを認識する。また、所定の時間内における2つのタッチ点の間の移動の変化量から、タッチ点の移動速度を算出する。
主装置制御部14は、2つのタッチ点が、タッチパネル25からリリースされたことを確認するまで、上記処理を繰り返し、2つのタッチ点の移動距離を算出する。そして、算出した2つのタッチ点の移動距離に基づいて、表示拡大率を決定し、第2表示部23において、新たに表示させるための領域を決定する。図8の場合、この新たに表示させるための領域が、図9の領域AR4であるものとする。
このように、主装置制御部14は、タッチされているのが2点であり、当該2点の距離が変更されている場合、相対位置座標による表示拡大率変更処理を実行する。つまり、図8、図9の場合、表示拡大率変更処理が実行される前は、領域AR1((X0(1),Y0(1))−(X1(1),Y1(1))の領域)が、第2表示部23の画面全体の領域((Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))の領域)に設定されている。そして、表示拡大率変更処理が実行された後は、領域AR4((X5(1),Y5(1))−(X6(1),Y6(1))の領域)が、第2表示部23の画面全体の領域((Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))の領域)に設定されている。
主装置制御部14は、信号Dp2により、リモートコントロール装置2のタッチパネル25において、タッチされているのが2点であると判定した場合、当該2点間の距離の変化量に基づいて、相対位置座標による表示拡大率変更処理を実行する。すなわち、図8、図9の場合、主装置制御部14は、第2表示部23の表示が、領域AR1の表示から領域AR4の表示に更新されるように、調整信号Adjを生成する。
そして、主装置制御部14は、生成した調整信号Adjを調整部15に出力する。
調整部15は、主装置制御部14からの調整信号Adjに基づいて、映像信号D1から、領域AR4を形成する映像信号D2を生成し、生成した映像信号D2を主装置側インターフェース部16に出力する。また、調整部15は、主装置制御部14からの調整信号Adjに基づいて、領域AR4についての座標情報z1を生成し、生成した座標情報z1を主装置側インターフェース部16に出力する。
以降の処理については、上記で、領域AR1を表示させる場合の処理と同様である。
以上の処理により、リモートコントロール装置2の第2表示部23に、図9に示すように、領域AR4の画像が表示されるようになる。
このように、制御システム1000では、リモートコントロール装置2の第2表示画面を2点によりタッチしながら、タッチされている2点の距離が変化することで、表示拡大率変更処理を行うことができる。
≪C:表示角度変更処理≫
次に、表示角度変更処理について、説明する。
図10は、表示角度変更処理について説明するための図である。具体的には、図10は、制御対象装置1と、リモートコントロール装置2とを模式的に示した図であり、制御対象装置1の第1表示部13に、番組表を表示させた状態を示している。また、図10は、リモートコントロール装置2の第2表示部23に、第1表示部13の領域AR1を拡大表示させている状態を示している。
なお、図10に示すように、X軸およびY軸を設定するものとする。そして、図10に示すように、制御対象装置1の第1表示部13の表示画面の領域は、X座標において、最小値がXmin(1)であり、最大値がXmax(1)であり、Y座標において、最小値がYmin(1)であり、最大値がYmax(1)であるものとする。
また、図10に示すように、リモートコントロール装置2の第2表示部23の表示画面の領域は、X座標において、最小値がXmin(2)であり、最大値がXmax(2)であり、Y座標において、最小値がYmin(2)であり、最大値がYmax(2)であるものとする。
図10の状態において、ユーザーが、リモートコントロール装置2のボタンBtn1を押下することで、「表示操作モード」に設定される。
表示操作モードに設定されている状態において、ユーザーが、リモートコントロール装置2の第2表示部23の表示画面の2点をタッチしながら、所定の回転方向にずらすことで、制御対象装置1の第1表示部13の表示画面における表示角度を変更することができる。なお、表示角度を変更するときの中心点は、変更しないようにしてもよい。
例えば、図10において、ユーザーが、リモートコントロール装置2の第2表示部23のP7(2)点およびP8(2)点の2点をタッチしながら、時計方向(矢印Dir4および矢印Dir5の方向)にずらすと、リモートコントロール装置2の第2表示部23に表示されていた画像の表示角度を変更することができる。このとき、表示角度を変更するときの中心点は、変更しない。
図11は、上記操作後の制御対象装置1と、リモートコントロール装置2との状態を示す図である。
図11に示すように、リモートコントロール装置2の第2表示部23には、制御対象装置1の第1表示部13の領域AR5が表示されている。
上記操作を行った場合における制御システム1000の動作について、図1を参照しながら説明する。
なお、上記「A1:絶対位置座標による表示位置変更処理」と同様の処理については、説明を省略する。
タッチパネル25上において、図10に示す点P7(2)および点P8(2)の2点を、ユーザーがタッチした場合、タッチパネル制御部24は、タッチパネル25から出力される信号(タッチパネル25上の電界変化を示す信号)に基づいて、タッチされているのが2点であることを認識し、タッチ点の座標位置を検出する。図10の場合では、タッチ点P7(2)の座標位置およびタッチ点P8(2)の座標位置が座標情報として取得される。
タッチパネル制御部24は、上記検出結果、すなわち、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置についての情報を含めた信号Dp1を生成する。そして、タッチパネル制御部24は、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14は、信号Dp2から、リモートコントロール装置2のタッチパネル25において、(1)タッチされているのが2点であること、および、(2)2つのタッチ点の座標位置を認識する。
さらに、主装置制御部14は、上記処理により、所定の時間内に連続して取得される信号Dp2から、タッチパネル25上において、点P7(2)および点P8(2)の2つのタッチ点が、タッチされた状態で、所定の回転方向にずらされていることを認識する。
主装置制御部14は、2つのタッチ点が、タッチパネル25からリリースされたことを確認するまで、上記処理を繰り返し、2つのタッチ点の回転方向を検出する。そして、検出した回転方向に基づいて、表示角度を決定し、第2表示部23において、新たに表示させるための領域を決定する。図10の場合、この新たに表示させるための領域が、図11の領域AR5であるものとする。
このように、主装置制御部14は、タッチされているのが2点であり、当該2点が所定の回転方向にずらされている場合、相対位置座標による表示拡大率変更処理を実行する。つまり、図10、図11の場合、表示角度変更処理が実行される前は、領域AR1((X0(1),Y0(1))−(X1(1),Y1(1))の領域)が、第2表示部23の画面全体の領域((Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))の領域)に設定されている。そして、表示角度変更処理が実行された後は、領域AR5((X7(1),Y7(1))−(X8(1),Y8(1))の領域)が、第2表示部23の画面全体の領域((Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))の領域)に設定されている。
主装置制御部14は、信号Dp2により、リモートコントロール装置2のタッチパネル25において、タッチされているのが2点であると判定した場合、当該2点の回転方向に基づいて、相対位置座標による表示角度変更処理を実行する。すなわち、図10、図11の場合、主装置制御部14は、第2表示部23の表示が、領域AR1の表示から領域AR5(領域AR1を、タッチされている2点の回転方向(図10、図11の場合、時計方向)の逆方向(図10、図11の場合、反時計方向)に回転させた位置に存在する領域AR5)の表示に更新されるように、調整信号Adjを生成する。
そして、主装置制御部14は、生成した調整信号Adjを調整部15に出力する。
調整部15は、主装置制御部14からの調整信号Adjに基づいて、映像信号D1から、領域AR5を形成する映像信号D2を生成し、生成した映像信号D2を主装置側インターフェース部16に出力する。また、調整部15は、主装置制御部14からの調整信号Adjに基づいて、領域AR5についての座標情報z1を生成し、生成した座標情報z1を主装置側インターフェース部16に出力する。
以降の処理については、上記で、領域AR1を表示させる場合の処理と同様である。
以上の処理により、リモートコントロール装置2の第2表示部23に、図11に示すように、領域AR5の画像が表示されるようになる。
このように、制御システム1000では、リモートコントロール装置2の第2表示画面を2点によりタッチしながら、タッチされている2点を所定の回転方向にずらすことで、表示角度変更処理を行うことができる。
以上のように、制御システム1000では、タッチパネル25において、所定のタッチ操作を行うことで、リモートコントロール装置2の第2表示部23において、表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる。
(1.2.2:機器操作モード)
次に、「機器操作モード」における制御システム1000の動作について、説明する。
例えば、図2に示すボタンBtn1をユーザーが押下することで、制御システム1000は、「機器操作モード」に設定される。
制御システム1000は、機器操作モードに設定されると、リモートコントロール装置2の第2表示部23における、表示の移動、表示倍率変更、表示角度変更等の処理を禁止する。
つまり、タッチパネル制御部24は、モード情報modeが「機器操作モード」に設定されている場合、信号Dp1に、「機器操作モード」に設定されていることを示すモード情報modeを含める。そして、タッチパネル制御部24は、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14は、信号Dp2から、機器操作モードに設定されていることを認識し、制御対象機器の各機能部において、機器操作が可能な状態にする。また、主装置制御部14は、調整部15に対して、調整信号Adjを出力しないことで、第2表示部23において、表示の移動、表示倍率変更、表示角度変更等の処理が実行されないようにする。
主装置制御部14は、リモートコントロール装置2の第2表示部23の表示と、所定の機器操作とが割り当ての対応を把握しており、タッチパネル25において、所定の機器操作が割り当てられている領域がタッチされた場合、当該領域に割り当てられている機器操作を実行させる。例えば、図2において、番組表の各番組の情報を表示している領域が、当該番組を視聴する機器操作に割り当てられている場合、ユーザーが、各番組の情報を表示している領域に対応するタッチパネル上の領域をタッチすることで、当該番組を視聴することができる。
図2に示すように、リモートコントロール装置2の第2表示部23に、表示されている番組の領域(例えば、図2では、「音楽の宴」という番組の領域)が表示されているときに、機器操作モードで、ユーザーが、当該番組の表示領域(例えば、図2の「音楽の宴」という番組の表示領域)をタッチすることで、当該番組(例えば、図2では、「音楽の宴」という番組)を視聴することができる。
つまり、機器操作モードにおいて、タッチパネル25上でタッチされた位置が、「音楽の宴」という番組の表示領域内であることを、上記と同様の処理により、主装置制御部14が把握すると、主装置制御部14は、制御対象装置1において、「音楽の宴」という番組の視聴されるように、各機能部を制御する(チャンネル切替制御等を行い、所望の番組の映像が第1表示部13に表示されるように制御する)。
このように、制御システム1000では、「機器操作モード」において、リモートコントロール装置2の第2表示部23に表示され、所定の機器操作に割り当てられた領域を、ユーザーがタッチすることで、制御対象装置1に所定の機器操作を実行させることができる。
以上のように、制御システム1000では、リモートコントロール装置2に、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させ、「表示操作モード」において、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる。さらに、制御システム1000では、「機器操作モード」において、リモートコントロール装置2の第2表示部23に表示され、所定の機器操作に割り当てられた領域を、ユーザーがタッチすることで、制御対象装置1に所定の機器操作を、簡単に、実行させることができる。
[第2実施形態]
次に、第2実施形態について、説明する。
なお、上記実施形態と同様の部分については、同一符号を付して、詳細な説明を省略する。
図12は、第2実施形態に係る制御システム2000の概略構成図である。
図12に示すように、制御システム2000は、第1実施形態の制御システム1000において、リモートコントロール装置2をリモートコントロール装置2Aに置換した構成を有している。
リモートコントロール装置2Aは、図12に示すように、リモートコントロール装置2において、タッチパネル25およびタッチパネル制御部24を、入力制御部27、第1入力装置28、および、第2入力装置に置換した構成を有している。それ以外については、リモートコントロール装置2Aは、リモートコントロール装置2と同様である。
制御システム2000では、タッチパネルを有しないリモートコントロール装置2Aにより、第1実施形態と同様の処理を実行することができる。
以下では、説明便宜のため、第1入力装置28がキーボードであり、第2入力装置がホイール付きマウスである場合について、説明する。
「表示操作モード」と「機器操作モード」の切替は、第1実施形態と同様に、リモートコントロール装置2Aに所定のボタンを設置させ、当該ボタンを押下することで、「表示操作モード」と「機器操作モード」の切替処理を実行するようにしてもよい。また、第1入力装置28であるキーボードの所定のキーにより、「表示操作モード」と「機器操作モード」の切替処理を実行するようにしてもよい。また、リモートコントロール装置2Aの第2表示装置に所定の表示をさせて、当該表示を選択することで、「表示操作モード」と「機器操作モード」の切替処理を実行するようにしてもよい。
入力制御部27は、第1入力装置28であるキーボードの所定のキーの状態を示す信号と、第2入力装置29であるマウスの状態を示す信号とを入力する。入力制御部27は、マウスの位置に対応するマウスポインタが、第2表示部23に表示されるように、マウスの位置情報に関する信号を含む制御信号ctl2を第2表示制御部22に出力する。
第2表示制御部22は、制御信号ctl2に基づいて、マウス位置を示すマウスカーソルを第2表示部23に表示させる。
「表示操作モード」において、制御システム2000では、(A1)絶対位置座標による表示位置変更処理、(A2)相対位置座標による表示位置変更処理、(B)表示拡大率変更処理、および、(C)表示角度変更処理に、例えば、以下の操作を割り当てる。
(A1)絶対位置座標による表示位置変更処理:
ユーザーが、マウスの左クリック操作により、第2表示部23の表示画面の1点を特定する。そして、特定した1点の座標情報は、入力制御部27により取得され、信号Dp1に含められてコントローラ側インターフェース部21に出力される。つまり、本実施形態のマウスの左クリック操作により、第2表示部23の表示画面の1点を特定する操作は、第1実施形態のタッチパネル25の1点によるタッチに相当する操作に対応する。
以降の処理については、第1実施形態と同様である。
第1実施形態と同様に、本実施形態においても、第2表示部23の表示画面の1点を特定する操作を行うことで、絶対位置座標による表示位置変更処理を行うことができる。
(A2)相対位置座標による表示位置変更処理:
ユーザーが、マウスの左クリックをしながら、マウスをドラッグする操作により、第2表示部23の表示画面の表示位置をずらす処理を実行させる。つまり、上記操作を行うことで、制御システム2000においても、第1実施形態と同様に、相対位置座標による表示位置変更処理を実行させることができる。
(B)表示拡大率変更処理:
ユーザーが、マウスのホイールを回転させる操作を行うことで、第2表示部23の表示画面の表示拡大率を変更する処理を実行させる。
(C)表示角度変更処理:
ユーザーが、キーボードの所定のキー(例えば、シフトキーやコントロールキー)を押下し、かつ、マウスの左クリックをし、マウスを所定の回転方向にドラッグすることで、第2表示部23の表示角度変更処理を実行させる。
以上のように、制御システム2000では、タッチパネルを有しないリモートコントロール装置2Aを用いて、所定の操作を割り当てることで、第1実施形態と同様に、感覚的な操作により、「表示操作モード」において、リモートコントロール装置2の表示の移動、表示倍率変更、表示角度変更等の処理を実行することができる。
なお、「表示操作モード」において、リモートコントロール装置2の表示の移動、表示倍率変更、表示角度変更等の処理を実行するための操作の割り当ては、上記に限定されることはなく、他の操作を割り当てるようにしてもよい。
また、制御システム2000において、「機器操作モード」では、例えば、マウスのクリックにより、リモートコントロール装置2Aの第2表示部23に表示され、所定の機器操作に割り当てられた領域を、選択することで、制御対象装置1に所定の機器操作を、簡単に、実行させることができる。
[第3実施形態]
次に、第3実施形態について、説明する。
なお、上記実施形態と同様の部分については、同一符号を付して、詳細な説明を省略する。
図13は、第3実施形態に係る制御システム3000の概略構成図である。
図14は、第3実施形態に係る制御システム3000の制御対象装置1Aおよびリモートコントロール装置2Bを模式的に示した図である。
図13に示すように、制御システム3000は、第1実施形態の制御システム1000において、制御対象装置1を制御対象装置1Aに置換し、リモートコントロール装置2をリモートコントロール装置2Bに置換した構成を有している。
制御対象装置1Aは、図13に示すように、制御対象装置1において、主装置制御部14を主装置制御部14Aに置換し、赤外線送信部17を追加した構成を有している。
主装置制御部14Aは、第1実施形態と同様の機能に加えて、赤外線送信部17を制御するための制御信号ctl3を生成し、制御信号ctl3を赤外線送信部17に出力する。
赤外線送信部17は、主装置制御部14Aからの制御信号ctl3に基づいて、赤外線を照射する。なお、赤外線送信部17は、図14に示すように、制御対象装置1Aの第1表示部の外周部の4隅に、それぞれ設けられた、4つの赤外光用発光ダイオードLED1〜LED4を含む。赤外線送信部17は、4つの赤外光用発光ダイオードLED1〜LED4から赤外線(赤外光)IRを外部に照射する。
リモートコントロール装置2Bは、図13に示すように、リモートコントロール装置2において、タッチパネル制御部24を入力制御部27Aに置換し、赤外線受信部30を追加した構成を有している。
入力制御部27Aは、タッチパネル制御部24と同様の機能を有している。入力制御部27Aは、赤外線受信部30から出力される信号posを入力とする。この点において、入力制御部27Aは、タッチパネル制御部24と相違する。
赤外線受信部30は、制御対象装置1Aの赤外線送信部17から照射される赤外線(赤外光)IRを受信し、受信した赤外線IRから、リモートコントロール装置2Bの赤外線受信部30が指している第1表示部13上の座標情報を取得する。赤外線受信部30は、例えば、赤外光用撮像装置(赤外光用カメラ)である。
例えば、図14に示す場合、赤外線受信部30は、赤外光用LEDである、LED1〜LED4が含まれるように撮像画像を取得する。そして、赤外線受信部30の撮像パラメータ(絞り、画角、焦点距離、ズーム倍率)および赤外線受信部30の光学系の光軸の方向を考慮して、取得した撮像画像上のLED1〜LED4の位置関係から、赤外線受信部30の光軸の延長線上であって、第1表示部13の表示画面上の点C1(例えば、図14に示した点C1)を検出する。
赤外線受信部30は、上記のようにして取得した点C1の座標情報(第1表示部13の表示画面上に設定された絶対位置座標上の座標情報)を取得する。そして、赤外線受信部30は、取得した点C1についての座標情報を示す信号posを、入力制御部27Aに出力する。
なお、リモートコントロール装置2Bの傾き、つまり、赤外線受信部30の光学系の光軸の角度によっては、赤外線送信部17の4つの赤外光用発光ダイオードLED1〜LED4からの赤外光IRを十分に受光できない場合がある。この場合、例えば、ある期間T1において、赤外光用発光ダイオードLED1およびLED2のみから赤外光を照射し、期間T1の次の期間T2(期間T1と同じ長さの期間T2)において、赤外光用発光ダイオードLED3およびLED4のみから赤外光を照射する。つまり、赤外光用発光ダイオードLED1およびLED2からの照射と、赤外光用発光ダイオードLED3およびLED4からの照射とを、交互に行う(時分割での上下のLEDを交互に点灯させる)。これにより、リモートコントロール装置2Bが傾いている場合、つまり、赤外線受信部30の光学系の光軸が傾いている場合であっても、精度良く、赤外線受信部30の光学系の光軸が向いている先を検出することができる。つまり、リモートコントロール装置2Bの傾いている場合であっても、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1を精度良く検出することができる。
また、制御対象装置1Aから照射されている赤外光がある場合、赤外線受信部30により撮像された画像において、輝度が所定値よりも大きい領域に、赤外光用発光ダイオードLED1〜LED4が存在すると判定するようにしてもよい。
上記のようにして、赤外線受信部30により取得された赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1の座標情報を示す信号posは、入力制御部27に入力される。
入力制御部27Aでは、入力される信号posに基づいて、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1の座標情報を信号Dp1に含める。つまり、第1実施形態では、タッチパネル25上に1点でタッチした場合に取得された当該タッチ点の座標情報を信号Dp1に含めて、絶対位置座標による表示位置変更処理を実行していたが、本実施形態では、上記処理により取得された赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1の座標情報を信号Dp1に含めることで、絶対位置座標による表示位置変更処理を実行することができる。
なお、入力制御部27Aは、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1が一定の距離D_th1以上移動したことを検出した場合に、当該交点C1の座標情報を信号Dp1に含めるようにしてもよい。これにより、上記交点C1が一定の距離以上移動したときのみ、表示位置変更処理が実行される。つまり、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1の座標情報を、常時、信号Dp1を含めるようにすると、感度が良すぎる状態となり、表示位置変更処理が頻繁に実行されることになり、かえってユーザーにとって操作性が悪くなることがある。そこで、上記のように、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1が一定の距離D_th1以上移動したことを検出した場合に、当該交点C1の座標情報を信号Dp1に含めるようにすることで、適度に、表示位置変更処理が実行されるので、操作性を向上させることができる。
また、上記の距離D_th1は、ユーザーにより、任意に設定されるものであってもよい。
また、入力制御部27Aは、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1(交点C1の座標を(x_C1,y_C1)とする)を、所定の方向に、所定の距離d0だけシフトした点C2(交点C1の座標を(x_C2,y_C2)とする)の座標情報を信号Dp1に含めるようにしてもよい。つまり、入力制御部27Aは、
(x_C2,y_C2)=(x_C1,y_C1)+(a,b)
d0=sqrt(a^2+b^2)
sqrt(x):xの平方根を取得する関数
に相当する処理により取得した点C2の座標情報を信号Dp1に含めるようにしてもよい。
このように、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1を所定の方向に所定の距離だけシフトさせた点C2の座標情報を信号Dp1に含めることで、絶対位置座標による表示位置変更処理を実行することができる。
赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1を、そのまま、表示位置変更処理の基準点(例えば、第2表示部23の表示画面の中心点)として利用すると、赤外線受信部30(カメラ)の取りつけ位置、赤外線受信部30の光学系の光軸の第2表示部23の表示画面との角度等によっては、操作性が悪くなってしまうことがある。
例えば、赤外線受信部30(カメラ)が、第2表示部23の表示画面に対して、上向きに装着されている場合、つまり、赤外線受信部30(カメラ)の光学系の光軸が、第2表示部23の表示画面に対して、上方向に傾いている場合、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1は、第1表示部13の表示面において、第2表示部23の表示画面を含む平面と、第1表示部13の表示面との交線よりも上側に位置する。つまり、この場合、第1表示部13の表示面において、交点C1は、ユーザーが注視しやすい領域(第2表示部23の表示画面を含む平面と、第1表示部13の表示面との交線付近の領域)よりも上側に位置するので、ユーザーは操作性が悪いと感じやすい。
そこで、上記の場合、赤外線受信部30の光学系の光軸と第1表示部13の表示面との交点C1を、第1表示部13の表示面において、下方向にシフトした点C2を、表示位置変更処理の基準点(例えば、第2表示部23の表示画面の中心点)として利用することで、ユーザーの操作性を向上させることができる。
つまり、制御システム3000では、赤外線受信部30(カメラ)の取りつけ位置、赤外線受信部30の光学系の光軸の第2表示部23の表示画面との角度等がどのようなものであっても、当該取り付け位置等の状況に対応させて、所定の方向に、所定の距離だけシフトした点C2を用いて、上記処理を行うことで、良好な操作性を保証することができる。なお、点C2を取得するためのシフト量は、ユーザーが設定(入力)できるものであってもよい。
入力制御部27Aが出力した信号Dp1についての処理は、第1実施形態と同様である。
このように、本実施形態の制御システム3000では、リモートコントロール装置2Bの向きを変えることで、絶対位置座標による表示位置変更処理を実行することができるため、さらに、操作性を向上させることができる。
なお、本実施形態の制御システム3000においても、表示拡大率変更処理、表示角度変更処理、機器操作モードにおける処理については、第1実施形態と同様に、実行することができる。
また、本実施形態の制御システム3000において、例えば、リモートコントロール装置2Bに、表示位置変更の可否を決定するボタンを追加するようにしてもよい。つまり、本実施形態のリモートコントロール装置2Bに、第1実施形態と同様、「表示操作モード」と「機器操作モード」とを切り替えるボタン(これを「ボタン1」という)と、表示位置変更の可否を決定するボタン(これを「ボタン2」という)とを設けるようにしてもよい。
つまり、本実施形態では、ボタン1、ボタン2のON/OFFにより、以下の4つのモードを設定するようにしてもよい。
(1)機器操作モード1
制御対象装置1Aの操作、および、表示位置変更処理が可能なモード。
(2)機器操作モード2
制御対象装置1Aの操作のみが可能なモード。
(3)表示操作モード1
表示位置変更処理、表示拡大率変更処理、および、表示角度変更処理が可能なモード。
(4)表示操作モード2
表示拡大率変更処理、および、表示角度変更処理が可能なモード。
なお、上記4つのモードの情報は、モード切替部26から出力されるモード情報modeに含めるようにしてもよい。
上記のように、4つのモードにより制御することで、リモートコントロール装置2Bの向きを変えたときに、ユーザーが意図していない表示位置変更処理が実行されることを防止することができる。
[第4実施形態]
次に、第4実施形態について、説明する。
なお、上記実施形態と同様の部分については、同一符号を付して、詳細な説明を省略する。
図15は、第4実施形態に係る制御システム4000の概略構成図である。
<4.1:制御システムの構成>
図15に示すように、制御システム4000は、第1実施形態の制御システム1000において、制御対象装置1を制御対象装置1Bに置換し、リモートコントロール装置2をリモートコントロール装置2Cに置換した構成を有している。
第4実施形態の制御システム4000では、リモートコントロール装置2Cの第2表示部23で表示されている画像が、制御対象装置1Bの第1表示部13に表示されている画像のどの部分であるかを明示するマーカーを、第1表示部13に表示されている画像上に表示させる。これにより、ユーザーは、リモートコントロール装置2Cに表示されている画像が、制御対象装置1Bに表示されている画像のどの部分であるかを容易に知ることができ、操作性を向上させることができる。
制御対象装置1Bは、第1実施形態の制御対象装置1Aにおいて、主装置制御部14を主装置制御部14Bに置換し、記憶部18を追加した構成を有している。
主装置制御部14Bは、リモートコントロール装置2Cから、主装置側インターフェース部16を介して信号Dp2を受信し、信号Dp2に含まれる情報(表示操作情報、機器操作情報、リモートコントロール装置2Cの動作状態及び表示状態を表す情報、マーカーの表示/非表示情報等)を取得する。
主装置制御部14Bは、リモートコントロール装置2Cより取得した情報に基づいて、第1表示制御部12を制御するための制御信号ctl0と、映像合成部11を制御するための制御信号ctl1と、リモートコントロール装置2Cに送る映像の調整を行うための調整信号Adjとを生成する。
そして、主装置制御部14Bは、生成した制御信号ctl0を第1表示制御部12に出力する。
また、主装置制御部14Bは、生成した制御信号ctl1を映像合成部11に出力する。なお、主装置制御部14Bは、マーカーの表示/非表示情報、および、リモートコントロール装置2Cでの表示情報に基づいて、マーカーの表示/非表示情報、マーカーの種類・表示位置・大きさ・角度情報等を制御信号ctl1に含める。
また、主装置制御部14Bは、調整信号Adjを調整部15に出力する。
また、主装置制御部14Bは、映像データVinと合わせて送られてくるマーカーの情報である第1マーカー情報M_inを入力する。第1マーカー情報は、送信側が予め設定したマーカーに関する情報であり、例えば、制御システム4000において表示されるマーカーのデフォルトのサイズや形状等に関する情報である。制御システム4000が受信した第1マーカー情報M_inによりマーカーの設定をすることができるので、制御システム4000において、マーカーの情報を設定する等の手間が省かれる。
また、主装置制御部14Bは、入力された第1マーカー情報M_inを記憶部18に記憶させる。
また、主装置制御部14Bは、図15に示すように、記憶部18と接続されている。主装置制御部14Bは、信号Dp2により、リモートコントロール装置2Cからマーカーの保存操作が行われたことを示す情報を取得した場合、その時点において第1表示部13に表示されているマーカーの種類、マーカー位置、マーカーのサイズの情報等を第2マーカー情報として記憶部18に記憶させる。
また、主装置制御部14Bは、信号Dp2により、リモートコントロール装置2Cにおいて、マーカーの呼び出し操作が行われたことを示す情報を取得した場合、当該情報に基づいて、マーカーの一部または全部の第2マーカー情報を記憶部18から読み出し、読み出した第2マーカー情報を制御信号ctl1に含めて、当該制御信号を映像合成部11に出力する。また、主装置制御部14Bは、マーカー情報に対応した調整信号Adjを出力する。調整部15は、調整信号Adjを取得し、取得した調整信号Adjに基づいて、映像信号D1から、リモートコントロール装置2に表示させる映像領域(画像領域)を形成する調整後映像信号D2を取得する。そして、調整部15は、取得した調整後映像信号D2と、調整後映像信号D2が形成する画像領域を特定するための座標情報z1を主装置側インターフェース部16の主装置側変調部161に出力する。
このように、主装置制御部14Bが、記憶部18に保存されているマーカー情報を呼び出す(取得する)ことにより、マーカー情報を記憶した時点の画像領域が第2表示部に表示されるため、ユーザーが第2表示部23の表示位置を再調整する手間を省くことができる。
記憶部18は、主装置制御部14Bに接続されており、主装置制御部14Bからの指令により、データの読み出し処理、データの書き込み処理を実行する。
リモートコントロール装置2Cは、図15に示すように、コントローラ側インターフェース部21と、第2映像合成部31と、第2表示制御部22Aと、第2表示部23と、タッチパネル25と、操作ボタン26Aと、入力制御部27Bと、を備える。
なお、コントローラ側インターフェース部21、第2表示部23、および、タッチパネル25は、第1実施形態のものと同様のものである。
第2映像合成部31は、コントローラ側インターフェース部21から出力される映像信号D3と、入力制御部27Bから出力される重ね合わせ用映像信号Don(操作ボタンの情報、状態表示情報等に基づいて生成された映像信号Don)と、入力制御部27Bから出力される映像合成調整用情報を含む制御信号ctl3と、を入力する。第2映像合成部31は、これらの情報に基づいて、映像信号D3と映像信号Donとを合成し映像信号D4を生成する。そして、第2映像合成部31は、生成した映像信号を合成後映像信号D4として、第2表示制御部22Aに出力する。なお、映像信号Donは、ユーザー操作用ボタン、あるいは、装置の状態などの表示映像である。
第2表示制御部22Aは、第2映像合成部31から出力される合成後映像信号D4と、入力制御部27から出力される制御信号ctl4とを入力する。第2表示制御部22Aは、制御信号ctl4に従い、合成後映像信号D4を映像信号D5として、第2表示部23に出力する。
操作ボタン26Aは、例えば、リモートコントロール装置2Cの筐体に設置されており、ユーザーが操作ボタン26Aを押下することで、操作ボタン26Aに割り当てられている機能を実現する。図15に示すように、操作ボタン26Aの操作情報を示す信号ctl5は、入力制御部27Bに出力される。なお、操作ボタン26Aの数は、任意でよい。例えば、操作ボタン26Aとして、リモートコントロール装置2Cの筐体に4つのボタン(例えば、図16等に示すボタンBtn1〜Btn4)を設置してもよい。
タッチパネル25は、タッチ操作より得られたタッチ位置座標情報を含む信号tchを入力制御部27Bに出力する。
入力制御部27Bは、操作ボタン26Aから出力される操作ボタン26Aの操作情報を示す信号ctl5と、タッチパネル25から出力されるタッチ位置座標情報を含む信号tchと、を入力とする。入力制御部27Bは、信号ctl5に含まれる操作ボタンの操作情報と、信号tchに含まれるタッチパネル操作情報とに基づいて、映像信号D3と合成するための映像信号Donを生成し、生成した映像信号Donを第2映像合成部31に出力する。映像信号Donによる映像は、例えば、操作ボタンの状態を明示する映像、あるいは、制御部システムの状態表示情報を明示する映像等である。また、入力制御部27Bは、映像信号D3と映像信号Donとを合成するときに必要となる映像合成調整用情報(合成映像の合成位置・大きさの情報)を含む制御信号ctl3を生成し、生成した制御信号ctl3を第2映像合成部31に出力する。
また、入力制御部27Bは、表示制御情報を含む制御信号ctl4を生成し、生成した制御信号ctl4を第2表示制御部22Aに出力する。
また、入力制御部27Bは、リモートコントロール装置2Cの表示状態情報および制御対象装置1Bの制御情報を含む信号Dp1を生成し、コントローラ側インターフェース部21のコントローラ側変調部212に出力する。なお、信号Dp1に含める制御情報には、マーカーの表示/非表示情報が含まれる。
なお、第1〜第3実施形態と同様に、リモートコントロール装置2Cにモード切替部26を設けるように、モード切替部26が、モードを示す情報(モード情報)modeを、入力制御部27Bに出力するようにしてもよい。
本実施形態のリモートコントロール装置2Cでは、操作ボタン26A、および/または、タッチパネル25の操作により、(1)機器操作モードと、(2)表示操作モードとを切り替える。本実施形態のリモートコントロール装置2Cにおいて、例えば、以下の操作により、モードを切り替えるようにしてもよい。
(1)操作ボタンにより、(1)機器操作モードと、(2)表示操作モードとを切り替える。で行う。
(2)第2表示部にボタンを表示させ、タッチパネル25上において、当該ボタンの座標位置がタッチされた場合に、所定のモードに切り替える(設定する)。
(3)タッチパネル25において、所定のタッチジェスチャー(例えば、3点タッチ、ダブルタッチ(タッチパネル25上におけるダブルクリックと同様の操作))により、所定のモードに切り替える。
入力制御部27Bが、操作ボタン26A、および/または、タッチパネル25の操作に対応する信号ctl5、信号tchに基づいて、モードを設定し、設定したモードを示す情報(モード情報)modeを、信号Dp1に含めて、コントローラ側インターフェース部21に出力する。
<4.2:制御システムの動作>
以上のように構成された制御システム4000の動作について、以下、説明する。
なお、上記実施形態と同様の部分については、詳細な説明を省略する。
(4.2.1:マーカー表示)
図16は、絶対位置座標による表示位置変更処理について説明するための図である。具体的には、図16は、制御対象装置1Bと、リモートコントロール装置2Cとを模式的に示した図であり、制御対象装置1の第1表示部13に、番組表を表示させた状態を示している。また、図16は、リモートコントロール装置2Cの第2表示部23に、第1表示部13の領域AR1を拡大表示させている状態を示している。
なお、図16に示すように、X軸およびY軸を設定するものとする。そして、図16に示すように、制御対象装置1の第1表示部13の表示画面の領域は、X座標において、最小値がXmin(1)であり、最大値がXmax(1)であり、Y座標において、最小値がYmin(1)であり、最大値がYmax(1)であるものとする。
また、図16に示すように、リモートコントロール装置2Cの第2表示部23の表示画面の領域は、X座標において、最小値がXmin(2)であり、最大値がXmax(2)であり、Y座標において、最小値がYmin(2)であり、最大値がYmax(2)であるものとする。
図16の状態において、例えば、ユーザーが、リモートコントロール装置2のボタンBtn1を押下することで、「表示操作モード」に設定される。例えば、ボタンBtn1を押下することで、トグル動作により、「表示操作モード」と「機器操作モード」とが切り替えられる。なお、設定されたモードを、第2表示部23、および/または、第1表示部13に表示するようにしてもよい。
図16の状態において、入力制御部27Bは、第2表示部23に表示されている矩形領域(Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))が、第1表示部13に表示されている矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))であることを示す情報を信号Dp1に含め、コントローラ側インターフェース部21を介して、制御対象装置1Bに送信する。
制御対象装置1Bの主装置制御部14Bは、主装置側インターフェース部16を介して、信号Dp1に対応する信号Dp2を受信し、第2表示部23に表示されている矩形領域(Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))が、第1表示部13に表示されている矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))であることを示す情報を取得する。
そして、主装置制御部14Bは、第1表示部13の矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))がマーカーを重畳した状態で表示されるように制御する。つまり、主装置制御部14Bは、記憶部18からマーカー情報を取得し、取得したマーカー情報に基づいて、第1表示部13の矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))が、図16に示すように、マーカーが重畳された状態で表示されるように、制御信号ctl1を生成する。そして、主装置制御部14Bは、生成した制御信号ctl1を映像合成部11に出力する。
映像合成部11は、主装置制御部14Bからの制御信号ctl1に基づいて、第1表示部13の矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))が、マーカーで重畳された映像信号D0を生成し、生成した映像信号D0を第1表示制御部12に出力する。
第1表示制御部12は、映像合成部11からの映像信号D0が第1表示部13に表示されるように、第1表示部13に対して表示制御を行う。
上記処理により、制御システム4000では、リモートコントロール装置2Cの第2表示部23に表示されている矩形領域(Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))に対応する制御対象装置1Bの第1表示部13上の矩形領域(X0(1),Y0(1))―(X1(1),Y1(1))(領域AR1)にマーカーが表示される。これにより、ユーザーは、リモートコントロール装置2Cの第2表示部23に表示されている画像(映像)が、制御対象装置1Bの第1表示部13に表示されている画像(映像)のどの部分であるのかを容易に認識することができる。
(4.2.2:表示位置変更処理(マーカー表示))
次に、リモートコントロール装置2Cの第2表示部23に表示させる画像領域を変更する場合の操作(表示位置変更処理)について説明する。
図17は、リモートコントロール装置2Cの第2表示部23に表示させる画像領域を変更する場合の操作について説明するための図である。
なお、図16の矩形領域AR_tgが目標とする移動先の矩形領域であるとして、以下、説明する。
例えば、図16において、ユーザーが、リモートコントロール装置2Cの第2表示部23のP1(2)点を、1点によりタッチすると、リモートコントロール装置2Cの第2表示部23に表示されていた表示は、第1表示部13の領域AR1から、第1表示部13の点P1(1)を中心とする領域の表示へと更新させることができる。
つまり、リモートコントロール装置2Cの第2表示部23の表示画面全体に設定された座標平面が、制御対象装置1の第1表示部13の表示画面全体に設定された座標平面に対応付けた場合に、第2表示部23の表示画面(座標平面)上のP1(2)点に相当する、第1表示部13の表示画面(座標平面)上の点P1(1)点を中心とする領域の表示へと更新させることができる。なお、第1表示部13の表示画面全体に設定された座標平面における点P1(1)の座標を(X2(1),Y2(1))とし、第2表示部23の表示画面全体に設定された座標平面における点P1(2)の座標を(X2(2),Y2(2))とすると、
(X2(1)−Xmin(1))/(Xmax(1)−Xmin(1))
=(X2(2)−Xmin(2))/(Xmax(2)−Xmin(2))
であり、かつ、
(Y2(1)−Ymin(1))/(Ymax(1)−Ymin(1))
=(Y2(2)−Ymin(2))/(Ymax(2)−Ymin(2))
である。
図17は、上記操作後の制御対象装置1Bと、リモートコントロール装置2Cとの状態を示す図である。図17に示すように、リモートコントロール装置2Cの第2表示部23には、制御対象装置1の第1表示部13の領域AR2が表示されている。
上記操作を行った場合における制御システム4000の動作について、図17を参照しながら説明する。なお、制御システム4000は、「表示操作モード」に設定されているものとして、説明する。
タッチパネル25上において、図17に示す点P1(2)の位置を1点でユーザーがタッチした場合、入力制御部27Bは、タッチパネル25から出力される信号(タッチパネル25上の電界変化を示す信号)に基づいて、タッチされているのが1点であることを認識し、タッチ点の座標位置を検出する。図17の場合では、タッチ点の座標位置(X2(2),Y2(2))が、タッチ点の座標情報として取得される。
入力制御部27Bは、上記検出結果、すなわち、(1)タッチされているのが1点であること、および、(2)タッチ点の座標位置(X2(2),Y2(2))についての情報を含めた信号Dp1を生成する。そして、入力制御部27Bは、生成した信号Dp1を、コントローラ側変調部212に出力する。
コントローラ側変調部212では、信号Dp1に対してRF変調処理が実行され、無線信号Riが生成される。そして、生成された無線信号Riは、コントローラ側変調部212から主装置側復調部162に送信される。
主装置側復調部162では、受信した無線信号RiがRF復調され、信号Dp1に相当する信号Dp2が取得される。そして、取得された信号Dp2は、主装置制御部14に出力される。
主装置制御部14Bは、信号Dp2から、リモートコントロール装置2のタッチパネル25において、(1)タッチされているのが1点であること、および、(2)タッチ点の座標位置(X2(2),Y2(2))であることを認識する。
そして、主装置制御部14Bは、タッチされているのが1点である場合、絶対位置座標による表示位置変更処理(移動処理)を実行する。
また、主装置制御部14Bは、リモートコントロール装置2Cの第2表示部23の表示画像上の点P1(2)に対応する、制御対象装置1Bの第1表示部13の表示画像上の点P1(1)を特定し、点P1(1)を中心とする矩形領域AR2がマーカーを重畳した状態で表示されるように制御する。つまり、主装置制御部14Bは、記憶部18からマーカー情報を取得し、取得したマーカー情報に基づいて、第1表示部13の矩形領域AR2が、図17に示すように、マーカーが重畳された状態で表示されるように、制御信号ctl1を生成する。そして、主装置制御部14Bは、生成した制御信号ctl1を映像合成部11に出力する。
映像合成部11は、主装置制御部14Bからの制御信号ctl1に基づいて、第1表示部13の矩形領域AR2が、マーカーで重畳された映像信号D0を生成し、生成した映像信号D0を第1表示制御部12に出力する。
第1表示制御部12は、映像合成部11からの映像信号D0が第1表示部13に表示されるように、第1表示部13に対して表示制御を行う。
そして、第1実施形態と同様の処理により、矩形領域AR2に対応する画像(映像)が、リモートコントロール装置2Cの第2表示部23に表示される。
図17に示すように、この段階で、リモートコントロール装置2Cの第2表示部23に表示されている画像(映像)は、目標とする移動先の矩形領域AR_tgと若干ずれていることが、制御対象装置1Bの第1表示部13のマーカーにより一目瞭然である。
そして、ユーザーは、第1表示部13に表示されているマーカーの位置から、目標とする移動先の矩形領域AR_tgを表示させるためには、点P1(2)よりも若干左下の点P2(2)を1点タッチすればよいことが容易に分かる。したがって、ユーザーは、点P2(2)をタッチすることで、制御システム4000では、上記と同様の処理が実行され、目標とする移動先の矩形領域AR_tgに対応する画像を、リモートコントロール装置2Cの第2表示部23に表示させることができる。
このように、制御システム4000では、表示位置変更処理(表示を移動させる処理)と、ユーザーによる視覚による位置確認とを繰り返すことで、容易に、目標とする移動先の矩形領域AR_tgに対応する画像を、リモートコントロール装置2Cの第2表示部23に表示させることができる。
(4.2.3:表示拡大率変更処理(マーカー表示))
次に、表示拡大率変更処理(マーカー表示)について、説明する。
図18は、表示拡大率変更処理について説明するための図である。具体的には、図18は、制御対象装置1Bと、リモートコントロール装置2Cとを模式的に示した図であり、制御対象装置1Bの第1表示部13に、番組表を表示させた状態を示している。図18の左上図は、表示拡大率変更処理前の制御対象装置1Bを示しており、図18の左下図は、表示拡大率変更処理前のリモートコントロール装置2Cを示している。図18の右上図は、表示拡大率変更処理後の制御対象装置1Bを示しており、図18の右下図は、表示拡大率変更処理後のリモートコントロール装置2Cを示している。
なお、図18の矩形領域AR_tg2が目標とする表示拡大率変更処理後の矩形領域であるとして、以下、説明する。また、制御システム4000は、「表示操作モード」に設定されているものとする。
上記実施形態と同様に、表示操作モードに設定されている状態において、ユーザーが、リモートコントロール装置2Cの第2表示部23の表示画面の2点をタッチしながら、タッチした2点間の距離を変更することで、制御対象装置1Bの第1表示部13の表示画面における表示拡大率を変更することができる。なお、表示倍率を変更するときの中心点は、タッチした2点間の中点である。
例えば、図18の左下図のリモートコントロール装置2の第2表示部23の中心部において、ユーザーが2点をタッチしながら、当該2点間の距離が小さくなるようにずらすと、前述の実施形態と同様の処理が実行され、制御対象装置1Bの第1表示部13の表示倍率を変更(表示を縮小)することができる。
ユーザーにより上記操作がなされた場合、主装置制御部14Bは、受信した信号Dp2に基づいて、表示拡大率変更処理後にリモートコントロール装置2Cの第2表示部23に表示される画像に対応する第1表示部13上の矩形領域を決定し、決定した矩形領域がマーカー表示されるように制御する。例えば、表示拡大率変更処理後にリモートコントロール装置2Cの第2表示部23に表示される画像に対応する第1表示部13上の矩形領域が図18の矩形領域AR_tg2である場合、主装置制御部14Bは、第1表示部13の矩形領域AR_tg2がマーカーを重畳した状態で表示されるように制御する。つまり、主装置制御部14Bは、記憶部18からマーカー情報を取得し、取得したマーカー情報に基づいて、第1表示部13の矩形領域AR_tg2が、図18の右図に示すように、マーカーが重畳された状態で表示されるように、制御信号ctl1を生成する。そして、主装置制御部14Bは、生成した制御信号ctl1を映像合成部11に出力する。
映像合成部11は、主装置制御部14Bからの制御信号ctl1に基づいて、第1表示部13の矩形領域AR_tg2が、マーカーで重畳された映像信号D0を生成し、生成した映像信号D0を第1表示制御部12に出力する。
第1表示制御部12は、映像合成部11からの映像信号D0が第1表示部13に表示されるように、第1表示部13に対して表示制御を行う。
上記処理により、制御システム4000では、表示拡大率変更処理においても、リモートコントロール装置2Cの第2表示部23に表示されている矩形領域(Xmin(2),Ymin(2))−(Xmax(2),Ymax(2))に対応する制御対象装置1Bの第1表示部13上の矩形領域にマーカーが表示される。これにより、ユーザーは、リモートコントロール装置2Cの第2表示部23に表示されている画像(映像)が、制御対象装置1Bの第1表示部13に表示されている画像(映像)のどの部分であるのかを容易に認識することができる。このため、制御システム4000において、表示拡大率変更処理の操作性がさらに向上する。
なお、表示角度変更処理についても、制御システム4000では、マーカーの表示を行いながら、表示角度変更処理を実行することで、操作性を向上させることができる。
(4.2.4:マーカー保存処理・呼び出し処理)
次に、マーカーの保存処理・呼び出し処理について、説明する。
まず、マーカーの保存処理について説明する。
制御システム4000は、ユーザーがマーカー保存操作を行うと、当該操作を行った時点のリモートコントロール装置2Cの表示状態情報(表示位置、表示範囲、表示角度)をマーカーとして保存する。
「マーカー保存操作」は、例えば、(1)リモートコントロール装置2Cの操作ボタン26Aの所定のボタンを押下する操作、(2)リモートコントロール装置2Cの第2表示部に表示された所定の画像領域(ボタンやアイコン等の表示領域)をユーザーがタッチする操作、あるいは、(3)リモートコントロール装置2Cのタッチパネル25上でのユーザーによる所定のタッチアクションを行う操作、である。
ユーザーがマーカー保存操作を行った場合、リモートコントロール装置2Cの入力制御部27Bは、第2表示部23の表示状態情報(表示位置、表示範囲、表示角度)を信号Dp1に含め、信号Dp1をコントローラ側インターフェース部21を介して、制御対象装置1Bに送信する。
そして、制御対象装置1Bの主装置制御部14Bは、主装置側インターフェース部16を介して、信号Dp2を受信することで、リモートコントロール装置2Cから送信された表示状態情報(表示位置、表示範囲、表示角度)を取得する。
主装置制御部14Bは、取得した表示状態情報(表示位置、表示範囲、表示角度)を記憶部18に保存する。
なお、記憶部18に保存する表示状態情報の数を予め決めておくようにしてもよい。この場合、主装置制御部14Bが、記憶部18に記憶できる数を超えて、表示状態情報を保存しようとした場合、主装置制御部14Bは、もっとも古い表示状態情報を記憶部18から削除し、新しい表示状態情報を記憶部18に保存するようにしてもよい。
次に、マーカーの呼び出し処理について説明する。
図19は、マーカーの呼び出し処理について説明するための図である。
制御システム4000は、ユーザーがマーカー呼び出し操作を行うと、保存されているマーカーが、制御対象装置1Bの第1表示部13の画面上に表示される(マーカー選択状態)。
「マーカー呼び出し操作」は、例えば、(1)リモートコントロール装置2Cの操作ボタン26Aの所定のボタンを押下する操作、(2)リモートコントロール装置2Cの第2表示部に表示された所定の画像領域(ボタンやアイコン等の表示領域)をユーザーがタッチする操作、あるいは、(3)リモートコントロール装置2Cのタッチパネル25上でのユーザーによる所定のタッチアクションを行う操作、である。
ユーザーがマーカー呼び出し操作を行った場合、リモートコントロール装置2Cの入力制御部27Bは、マーカー呼び出し操作が実行されてことを示す情報を信号Dp1に含め、信号Dp1をコントローラ側インターフェース部21を介して、制御対象装置1Bに送信する。
そして、制御対象装置1Bの主装置制御部14Bは、主装置側インターフェース部16を介して、信号Dp2を受信することで、リモートコントロール装置2Cにおいて、マーカー呼び出し操作が実行されてことを示す情報を取得する。
そして、主装置制御部14Bは、記憶部18に記憶されているマーカーに関する情報(マーカーの表示位置、表示範囲、表示角度)を取得し、記憶部18に記憶されているマーカーが制御対象装置1Bの第1表示部13に表示するための制御信号ctl1を生成し、映像合成部11に出力する。
映像合成部11は、主装置制御部14Bからの制御信号ctl1に基づいて、記憶部18に記憶されているマーカーが表示されるように、映像信号D0を生成し、生成した映像信号D0を第1表示制御部12に出力する。
第1表示制御部12は、映像合成部11からの映像信号D0が第1表示部13に表示されるように、第1表示部13に対して表示制御を行う。
図19の左上図は、マーカー呼び出し操作が実行され、第1表示部13に、記憶部18に記憶されているマーカーが表示されている状態(マーカー選択状態)を示している。図19の左上図は、3つのマーカーが記憶部18に記憶されており、3つのマーカーが呼び出されたときの状態を示している。なお、説明便宜上、図19に示すように、(1)1つ目のマーカーは、矩形領域AR1にマーカー表示するマーカーであり、(2)2つ目のマーカーは、矩形領域AR7にマーカー表示するマーカーであり、(3)3つ目のマーカーは、矩形領域AR8にマーカー表示するマーカーであるものとする。
制御システム4000では、図19の左図の状態において、ユーザーがマーカーを選択することができる。例えば、(1)操作ボタン26Aの1番目のボタンBtn1を1つ目のマーカー(矩形領域AR1のマーカー)に割り当て、(2)操作ボタン26Aの2番目のボタンBtn2を2つ目のマーカー(矩形領域AR7のマーカー)に割り当て、(3)操作ボタン26Aの3番目のボタンBtn3を3つ目のマーカー(矩形領域AR8のマーカー)に割り当てる。
そして、例えば、2つ目のマーカー(矩形領域AR7のマーカー)を選択する場合、ユーザーが2番目のボタンBtn2を押下することで、2つ目のマーカーに対応する矩形領域AR7が、リモートコントロール装置2Cの第2表示部23に表示される。
別の方法として、ユーザーがリモートコントロール装置2Cの第2表示部23の画面上の1点をタッチし、当該タッチした点に対応する制御対象装置1Bの座標点と最も近いマーカーを選択し、選択したマーカーに対応する画像がリモートコントロール装置2Cの第2表示部23に表示されるようにしてもよい。例えば、2つ目のマーカー(矩形領域AR7のマーカー)を選択する場合、図19の点Pm(2)をタッチする。点Pm(2)に対応する、第1表示部13の画面上の点は、図19の点Pm(1)であり、点Pm(1)に一番近いマーカーは、2つ目のマーカーであるので、2つ目のマーカー(矩形領域AR7のマーカー)が選択される。
上記操作が行われた場合、リモートコントロール装置2Cの入力制御部27Bが、タッチ点Pm(2)の座標情報を信号Dp1に含め、制御対象装置1Bに送信する。そして、制御対象装置1Bの主装置制御部14Bが、信号Dp2により、タッチ点Pm(2)の座標情報を取得し、タッチ点Pm(2)に対応する第1表示部13の表示画面上の点Pm(1)の座標情報を算出する。主装置制御部14Bは、算出した点Pm(1)の座標情報に基づいて、第1表示部13の表示画面上で点Pm(1)と最も近い位置に表示されるマーカーを特定し、特定したマーカーが表示される矩形領域の情報を調整部15に出力する。
また、主装置制御部14Bは、マーカー情報に対応した調整信号Adjを出力する。調整部15は、調整信号Adjを取得し、取得した調整信号Adjに基づいて、映像信号D1から、リモートコントロール装置2に表示させる映像領域(画像領域)を形成する調整後映像信号D2を取得する。そして、調整部15は、取得した調整後映像信号D2と、調整後映像信号D2が形成する画像領域を特定するための座標情報z1と、を主装置側インターフェース部16の主装置側変調部161に出力する。
リモートコントロール装置2Cの第2映像合成部31は、コントローラ側インターフェース部21を介して、座標情報z1に対応する座標情報z2と、調整後映像信号D2に対応する調整後映像信号D3とを受信する。そして、第2映像合成部31は、座標情報z2に基づいて、調整後映像信号D3と映像信号Donとを合成した映像信号D4を第2表示制御部22Aに出力する。第2表示制御部22Aは、映像信号D4を映像信号D5として、第2表示部23に出力し、第2表示部23は、映像信号D5を表示する。
これにより、リモートコントロール装置2Cでは、特定されたマーカーが表示されている矩形情報に基づいて、当該マーカーに対応する画像領域に対応する画像(映像)が、第2表示部23に表示される。図19の右図は、2つ目のマーカー選択後の状態を示している。図19の右図から分かるように、リモートコントロール装置2Cの第2表示部23には、第1表示部13のマーカーが重畳されている部分の画像(映像)が表示されている。
以上のようにして、制御システム4000において、マーカーの呼び出し処理が実行される。
なお、マーカー選択状態において、選択されているマーカー(選択されているマーカーに対応する矩形領域)を明示するために、選択されているマーカーの枠を点滅させる、あるいは、強調表示(マーカーの色を変化させる表示)させる等の処理を行うようにしてもよい。これにより、複数のマーカーが表示される場合、ユーザーは、どのマーカーを選択しているかが分かり、操作性が向上する。
また、タッチパネル25に対するタッチ操作でマーカーを選択する場合、1点をタッチしている状態を保持しているときに、マーカーを点滅等させ、当該マーカーを一時選択状態にし、指を離すと、当該マーカーの選択を確定するようにしてもよい。
また、所定のマーカーが一定時間以上選択されている場合、当該マーカーの選択を確定し、当該マーカーに対応する矩形領域が、リモートコントロール装置2Cの第2表示部23の画面に表示されるようにしてもよい。
[第5実施形態]
次に、第5実施形態について、説明する。
本実施形態の制御システム5000では、第4実施形態の制御システム4000のように、第1表示部13の表示画面にマーカーを重畳させて表示するのではなく、リモートコントロール装置2Dの第2表示部23の表示画面上に、第1表示部13の表示画面をマーカーを重畳させて縮小表示する。
なお、上記実施形態と同様の部分については、同一符号を付して、詳細な説明を省略する。
<5.1:制御システムの構成>
図20は、第5実施形態に係る制御システム5000の概略構成図である。
図20に示すように、制御システム5000は、第4実施形態の制御システム4000において、制御対象装置1Bを制御対象装置1Cに置換し、リモートコントロール装置2Cをリモートコントロール装置2Dに置換した構成を有している。
制御対象装置1Cは、第4実施形態の制御対象装置1Bにおいて、調整部15を調整部15Aに置換した構成を有している。また、主装置制御部14Bは、第4実施形態と異なり、マーカーに関する情報を映像合成部11に出力することはせず、調整部15Aにマーカーに関する情報を送信する。
調整部15Aは、マーカーに関する情報をマーカー情報z1として、主装置側インターフェース部16の主装置側変調部161に出力する。それ以外については、調整部15Aは、前述の実施形態の調整部15と同様である。
リモートコントロール装置2Dは、第4実施形態のリモートコントロール装置2Cにおいて、第2映像合成部31を第2映像合成部31Aに置換し、入力制御部27Bを入力制御部27Cに置換した構成を有している。
第2映像合成部31Aは、コントローラ側インターフェース部21から出力される映像信号D3とマーカー情報z2(マーカー情報z1を主装置側変調部161で変調し、コントローラ側復調部211で復調して取得したマーカー情報)と、入力制御部27Bから出力される重ね合わせ用映像信号Don(操作ボタンの情報、状態表示情報等に基づいて生成された映像信号Don)と、入力制御部27Bから出力される映像合成調整用情報を含む制御信号ctl3と、を入力する。第2映像合成部31Aは、これらの情報に基づいて、映像信号D3と映像信号Donとを合成し映像信号D4を生成する。そして、第2映像合成部31Aは、生成した映像信号を合成後映像信号D4として、第2表示制御部22Aに出力する。なお、映像信号Donは、ユーザー操作用ボタン、あるいは、装置の状態などの表示映像である。
合成された映像信号D4は、映像信号D3に、第1表示部13の表示画面にマーカーを重畳した縮小表示を重畳させた映像である。なお、第2映像合成部31Aは、制御信号ctl3により、第1表示部13の表示画面にマーカーを重畳した縮小表示を重畳させるか否かを決定する。
また、第2映像合成部31Aは、マーカーに関する情報を含むマーカー情報信号z3として、入力制御部27Cに出力する。
入力制御部27Cは、第2映像合成部31Aから出力されるマーカー情報信号z3と、操作ボタン26Aから出力される操作ボタン26Aの操作情報を示す信号ctl5と、タッチパネル25から出力されるタッチ位置座標情報を含む信号tchと、を入力とする。入力制御部27Cは、信号ctl5に含まれる操作ボタンの操作情報と、信号tchに含まれるタッチパネル操作情報とに基づいて、映像信号D3と合成するための映像信号Donを生成し、生成した映像信号Donを第2映像合成部31に出力する。映像信号Donによる映像は、例えば、操作ボタンの状態を明示する映像、あるいは、制御部システムの状態表示情報を明示する映像等である。また、入力制御部27Cは、映像信号D3と映像信号Donとを合成するときに必要となる映像合成調整用情報(合成映像の合成位置・大きさの情報)を含む制御信号ctl3を生成し、生成した制御信号ctl3を第2映像合成部31に出力する。なお、入力制御部27Cは、制御信号ctl3に、マーカーの表示/非表示の情報を含める。
また、入力制御部27Cは、表示制御情報を含む制御信号ctl4を生成し、生成した制御信号ctl4を第2表示制御部22Aに出力する。
また、入力制御部27Cは、リモートコントロール装置2Cの表示状態情報および制御対象装置1Bの制御情報を含む信号Dp1を生成し、コントローラ側インターフェース部21のコントローラ側変調部212に出力する。なお、信号Dp1に含める制御情報には、マーカーの表示/非表示情報が含まれる。
<5.1:制御システムの動作>
以上のように構成された制御システム5000の動作について、説明する。
制御システム5000では、例えば、所定の操作(例えば、操作ボタン26Aの所定のボタンを押す操作)により、リモートコントロール装置2Dの第2表示部23に、第1表示部13の表示画面にマーカーを重畳させた縮小画面(これを「マーカー表示部MD」という。)を表示させる。
マーカー表示部MDを表示させる操作が実行された場合、入力制御部27Cは、当該操作が実行されたことを示す情報を信号Dp1に含め、制御対象装置1Cに送信する。
制御対象装置1Cは、リモートコントロール装置2Dから受信した信号Dp2により、マーカー表示部MDを表示させる操作が実行されたことを把握し、記憶部18から、マーカー情報を取得し、取得したマーカー情報を調整信号Adjに含め、調整部15Aに出力する。
調整部15Aは、主装置制御部14Bからのマーカー情報を主装置側インターフェース部16を介してリモートコントロール装置2Dに送信する。
リモートコントロール装置2Dの第2映像合成部31Aは、コントローラ側インターフェース部21を介して、制御対象装置1Cから取得したマーカー情報に基づいて、マーカー表示部MDを重畳させた合成後映像信号D4を生成し、第2表示制御部22Aに出力する。
第2表示制御部22Aは、第2映像合成部31Aからの合成後映像信号D4を、入力制御部27Cからの制御信号ctl4に基づいて、第2表示部23に表示させる。
このように処理することで、例えば、図21に示すように、第2表示部23に、マーカー表示部MDが表示される。
なお、制御システム5000において、マーカー表示部MDの調整を実行できるようにしてもよい。
例えば、制御システム5000において、マーカー表示調整モードを設け、操作ボタン26Aの所定のボタンにマーカー表示調整モードへの移行処理を割り当て、当該ボタンがユーザーに押下されることで、マーカー表示調整モードに移行させる。
そして、マーカー表示調整モードに移行した場合、例えば、ユーザーがマーカー表示部MD部分を2点タッチし、ピッチ操作することで、マーカー表示部MDの表示を拡大あるいは縮小させるようにしてもよい。
また、マーカー表示調整モードに移行した場合、例えば、ユーザーがマーカー表示部MD部分を2点タッチし、タッチしながら所定の方向に回転させる操作を行うことで、当該方向にマーカー表示部MDの表示を回転させるようにしてもよい。
あるいは、制御システム5000において、上記処理を実行させるために、操作ボタン26Aの所定のボタンに機能割り当てを行い、所定のボタンが押下された場合、当該ボタンに割り当てられている機能が実現されるようにしてもよい。
また、制御システム5000において、表示角度変更処理が実行された場合、マーカー表示部MDの回転を、表示角度変更処理による表示の回転に連動させるようにしてもよい。
例えば、制御システム5000において、表示角度変更処理が実行され、図21に示す状態から、図22に示す状態になった場合に、リモートコントロール装置2Dの第2表示部のマーカー表示部MDの表示も、表示角度変更処理による表示の回転に連動させるようにしてもよい。
これにより、図22に示すように、表示角度変更処理後においても、リモートコントロール装置2Dの第2表示部と、マーカー表示部MDとの表示方向が一致するため、ユーザーは、マーカー位置を容易に認識することができ、操作性が向上する。
[他の実施形態]
上記実施形態(変形例を含む)の一部または全部を組み合わせて、制御システム、制御対象装置、および/または、リモートコントロール装置を実現するようにしてもよい。
また、上記実施形態の画像処理システム、画像処理装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、中央演算装置(CPU)が、ROM、あるいはRAMから当該プログラムを読み出し、実行されるものであってもよい。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
なお、本発明は、以下のようにも表現することができる。
第1の発明は、制御対象装置と、リモートコントロール装置とを備える制御システムである。
制御対象装置は、映像を表示させるための第1表示部と、第1表示制御部と、調整部と、主装置制御部と、主装置側インターフェース部と、を備える。
リモートコントロール装置は、映像を表示させるための第2表示部と、第2表示制御部と、入力制御部と、モード切替部と、のコントローラ側インターフェース部と、を備える。
第1表示制御部は、第1表示部に映像を表示させるために、第1表示部に対して、駆動制御を行う。
調整部は、第1表示部に表示される映像から、映像の一部または全部を抽出することで、調整後映像信号を取得する。
主装置制御部は、第1表示制御部および調整部を制御する。
主装置側インターフェース部は、調整部により取得された調整後映像信号をリモートコントロール装置に送信するためのインターフェースである。
第2表示制御部は、第2表示部に映像を表示させるために、第2表示部に対して、駆動制御を行う。
入力制御部は、第2表示部に表示される映像の表示を制御するための情報を入力する。
モード切替部は、第2表示部に表示されている映像の表示を変更するための表示操作モードと、制御対象装置の機器操作を行うための機器操作モードとを切り替える。
コントローラ側インターフェース部は、制御対象装置の主装置側インターフェース部と通信するためのインターフェースである。
そして、表示操作モードに設定されている場合であって、第2表示部の表示画面上の位置を特定する情報である位置特定情報が入力制御部に入力された場合、
入力制御部は、位置特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、
主装置制御部は、第1表示部の表示画面全体に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、絶対位置座標を設定し、
調整部は、位置特定情報が示す点P2に相当する、第1表示部の表示画面の絶対位置座標上の点P1を含む画像領域AR1であって、第1表示部に表示されている画像領域AR1を形成する調整後映像信号を取得し、
第2表示制御部は、調整後映像信号に基づいて、画像領域AR1を第2表示部に表示させる。
この制御システムでは、リモートコントロール装置の第2表示部の表示画面の位置(領域であってもよい。)を特定することで、すなわち、位置特定情報を取得することで、絶対位置座標による表示位置変更処理(移動処理)を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の移動を、感覚的な操作により、迅速に実行することができる。
第2の発明は、第1の発明であって、位置特定情報は、第2表示部の表示画面上の1点を特定する情報である。
これにより、この制御システムでは、第2表示部の表示画面上の1点を特定することで、位置特定情報を取得することができる。
第3の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面に表示されている画像を第1方向にシフトさせて表示更新させるための情報である表示更新用情報が入力制御部に入力された場合、入力制御部、主装置制御部、調整部、および、第2表示制御部は、以下の処理を行う。
入力制御部は、表示更新用情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力する。
主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
調整部は、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、第1方向と逆方向にずらした位置に存在する画像領域であるシフト後画像領域を形成する調整後映像信号を取得する。
第2表示制御部は、調整後映像信号に基づいて、シフト後画像領域を第2表示部に表示させる。
この制御システムでは、表示更新用情報を取得することで、相対位置座標による表示の移動処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の移動処理を、感覚的な操作により、迅速に実行することができる。
第4の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面上の2点を特定する情報である2点特定情報が入力制御部に入力された場合、入力制御部は、2点特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
そして、調整部および第2表示制御部は、以下の処理を行う。
2点特定情報が示す2つの点が、所定の方向Dir1にずらされている場合、調整部は、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、方向Dir1と逆方向にずらした位置に存在する画像領域AR2を形成する調整後映像信号を取得し、第2表示制御部は、調整後映像信号に基づいて、画像領域AR2を第2表示部に表示させる。
この制御システムでは、さらに、リモートコントロール装置の第2表示部の表示画面の2点を特定することで、すなわち、2点特定情報を取得することで、相対位置座標による表示の移動処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の移動処理を、感覚的な操作により、迅速に実行することができる。
第5の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面に表示されている画像を拡大して表示更新させるための情報である拡大表示用情報が入力制御部に入力された場合、入力制御部、主装置制御部、調整部、および、第2表示制御部は、以下の処理を行う。
入力制御部は、拡大表示用情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力する。
主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
調整部は、拡大表示用情報に基づいて、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、縮小した大きさの画像領域である縮小後画像領域を形成する調整後映像信号を取得する。
第2表示制御部は、調整後映像信号に基づいて、縮小後画像領域を第2表示部に表示させる。
この制御システムでは、拡大表示用情報を取得することで、相対位置座標による表示の拡大率変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の拡大率変更処理を、感覚的な操作により、迅速に実行することができる。
第6の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面上の2点を特定する情報である2点特定情報が入力制御部に入力された場合、入力制御部は、2点特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
そして、調整部および第2表示制御部は、以下の処理を行う。
2点特定情報が示す2つの点の間の距離が大きくなるように変化している場合、調整部は、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、縮小した大きさの画像領域AR3を形成する調整後映像信号を取得し、第2表示制御部は、調整後映像信号に基づいて、画像領域AR3を第2表示部に表示させる。
この制御システムでは、さらに、リモートコントロール装置の第2表示部の表示画面の2点を特定することで、すなわち、2点特定情報を取得することで、相対位置座標による表示の拡大率変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の拡大率変更処理を、感覚的な操作により、迅速に実行することができる。
第7の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面に表示されている画像を縮小して表示更新させるための情報である縮小表示用情報が入力制御部に入力された場合、入力制御部、主装置制御部、調整部、および、第2表示制御部は、以下の処理を行う。
入力制御部は、縮小表示用情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力する。
主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
調整部は、縮小表示用情報に基づいて、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、拡大した大きさの画像領域である拡大後画像領域を形成する調整後映像信号を取得する。
第2表示制御部は、調整後映像信号に基づいて、拡大後画像領域を第2表示部に表示させる。
この制御システムでは、縮小表示用情報を取得することで、相対位置座標による表示の拡大率変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の拡大率変更処理を、感覚的な操作により、迅速に実行することができる。
第8の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面上の2点を特定する情報である2点特定情報が入力制御部に入力された場合、入力制御部は、2点特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
そして、調整部および第2表示制御部は、以下の処理を行う。
2点特定情報が示す2つの点の間の距離が小さくなるように変化している場合、調整部は、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、拡大した大きさの画像領域AR4を形成する調整後映像信号を取得し、第2表示制御部は、調整後映像信号に基づいて、画像領域AR3を第2表示部に表示させる。
この制御システムでは、さらに、リモートコントロール装置の第2表示部の表示画面の2点を特定することで、すなわち、2点特定情報を取得することで、相対位置座標による表示の拡大率変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の拡大率変更処理を、感覚的な操作により、迅速に実行することができる。
第9の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面に表示されている画像を第1回転方向に回転して表示更新させるための情報である回転表示用情報が入力制御部に入力された場合、入力制御部、主装置制御部、調整部、および、第2表示制御部は、以下の処理を行う。
入力制御部は、回転表示用情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力する。
主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
調整部は、回転表示用情報に基づいて、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、第1回転方向と逆方向に回転した位置に存在する画像領域である回転後画像領域を形成する調整後映像信号を取得する。
第2表示制御部は、調整後映像信号に基づいて、回転後画像領域を第2表示部に表示させる。
この制御システムでは、回転表示用情報を取得することで、相対位置座標による表示の角度変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の角度変更処理を、感覚的な操作により、迅速に実行することができる。
第10の発明は、第1または第2の発明であって、表示操作モードに設定されている場合であって、第2表示部の表示画面上の2点を特定する情報である2点特定情報が入力制御部に入力された場合、入力制御部は、2点特定情報を、コントローラ側インターフェース部と、主装置側インターフェース部とを介して、主装置制御部に出力し、主装置制御部は、第1表示部の表示画面の一部に設定した座標平面を、第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定する。
そして、調整部および第2表示制御部は、以下の処理を行う。
2点特定情報が示す2つの点が所定の回転方向である第1回転方向に移動している場合、調整部は、第1表示部の表示画面上において、相対位置座標に設定されている第1表示部の表示画面の領域を、第1回転方向と逆方向に回転した位置に存在する画像領域AR5を形成する調整後映像信号を取得し、第2表示制御部は、調整後映像信号に基づいて、画像領域AR5を第2表示部に表示させる。
この制御システムでは、さらに、リモートコントロール装置の第2表示部の表示画面の2点を特定することで、すなわち、2点特定情報を取得することで、相対位置座標による表示の角度変更処理を行うことができる。
したがって、例えば、制御対象装置を、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)としたとき、リモートコントロール装置の第2表示部に、制御対象装置の表示画面を表示させるとともに、当該表示の角度変更処理を、感覚的な操作により、迅速に実行することができる。
第11の発明は、第1から第10のいずれかの発明であって、モード切替部は、表示位置変更可否情報を入力することができる。そして、第2表示部は、以下の処理を実行する。
(1)モード切替部に入力された表示位置変更可否情報が、表示位置変更を許可することを示す情報である場合、第2表示部は、調整後映像信号に基づいて、第2表示部の表示を変更させる。
(2)モード切替部に入力された表示位置変更可否情報が、表示位置変更を許可しないことを示す情報である場合、第2表示部は、調整後映像信号に基づく第2表示部の表示の変更を実行しない。
この制御システムでは、表示位置変更可否情報が表示位置変更を許可することを示す情報である場合のみ、第2表示部の表示の変更(更新)を行うことができるので、ユーザーが意図せずに、第2表示部の表示が変更(更新)されることを適切に防止することができる。その結果、この制御システムでは、さらに操作性を向上させることができる。
第12の発明は、第1から第11のいずれかの発明であって、制御対象装置は、マーカーに関する情報を記憶する記憶部をさらに備え、リモートコントロール装置は、入力制御部からの指令に基づいて、調整後映像信号に、所定の情報を含む副映像信号を合成することで、合成後映像信号を取得する第2映像合成部をさらに備える。
第2表示制御部は、第2表示部に、合成後映像信号を表示するように、第2表示部を制御する。
主装置制御部は、第2表示部に表示されている画像領域に対応する、第1表示部に表示されている表示画面上の画像領域に、マーカーが重畳して表示されるように、第1表示制御部を制御する。
この制御システム4000では、リモートコントロール装置の第2表示部に表示されている画像領域(映像領域)に対応する制御対象装置の第1表示部の表示画面上の画像領域(映像領域)にマーカーが表示される。これにより、ユーザーは、リモートコントロール装置の第2表示部に表示されている画像(映像)が、制御対象装置の第1表示部に表示されている画像(映像)のどの部分であるのかを容易に認識することができる。
第13の発明は、第12の発明であって、主装置制御部は、ユーザーによる所定の操作が実行された場合、第2表示部に表示されている画像領域に対応する、第1表示部に表示されている表示画面上の画像領域の情報をマーカー情報として、記憶部に記憶する。
これにより、この制御システムでは、ユーザーが所望のタイミングで、この制御システムでの表示状態を示すマーカー情報を記憶部に記憶することができる。
第14の発明は、第13の発明であって、主装置制御部は、ユーザーによる所定の操作が実行された場合、記憶部に記憶されているマーカー情報を読み出し、第1表示部の表示画面上において、読み出したマーカー情報により特定される画像領域に、マーカーが重畳して表示されるように、第1表示制御部を制御する。
これにより、この制御システムでは、過去に記憶したマーカー情報を呼び出して、第1表示部の表示画面上に、マーカーを表示させることができる。さらに、この制御システムでは、呼び出されたマーカーを選択することで、選択されたマーカーを保存したときと同様の状態を再現することができる。
第15の発明は、第1から第11のいずれかの発明であって、制御対象装置は、マーカーに関する情報を記憶する記憶部をさらに備え、リモートコントロール装置は、入力制御部からの指令に基づいて、調整後映像信号に、所定の情報を含む副映像信号を合成することで、合成後映像信号を取得する第2映像合成部をさらに備える。
第2表示制御部は、第2表示部に、合成後映像信号を表示するように、第2表示部を制御する。
入力制御部は、第2表示部に表示されている画像領域に対応する、第1表示部に表示されている表示画面上の画像領域に、マーカーを重畳させた映像を縮小して、調整後映像信号に、合成されることで、合成後映像信号が生成されるように、第2映像合成部を制御する。
これにより、この制御システムでは、リモートコントロール装置の第2表示部に、第2表示部に表示されている画像領域に対応する、第1表示部に表示されている表示画面上の画像領域に、マーカーを重畳させた映像(画像)を縮小して表示させることができる。
また、本発明は、以下のようにも表現することができる。
なお、以下において、「発明N」(N:1〜9のいずれかの整数)は、上記の「第Nの発明」に相当する。
[発明11]
前記リモートコントロール装置は、タッチパネルをさらに備え、
前記入力制御部は、前記タッチパネル上のタッチ点により、前記1点特定情報、前記2点特定情報、前記表示更新用情報、前記拡大表示用情報、前記縮小表示用情報、および、前記回転表示用情報の少なくとも1つを取得する、
発明2から発明10のいずれかに記載の制御システム。
[発明12]
前記制御対象装置は、外部に赤外光を照射する赤外線送信部をさらに備え、
前記リモートコントロール装置は、前記赤外線送信部から照射される赤外光を受光する赤外線受信部をさらに備え、
前記赤外線受信部は、前記赤外線送信部から受光した赤外線に基づいて、前記1点特定情報を取得し、前記入力制御部に入力させる、
発明1から発明10のいずれかに記載の制御システム。
[発明13]
前記赤外線送信部は、前記第1表示部の周辺に配置された4つの赤外光用発光ダイオードをさらに備え、
前記赤外線受信部は、前記赤外線送信部から照射された赤外線を集光する光学系を備える赤外光用撮像装置であり、
前記赤外線受信部は、前記第1表示部の周辺に配置された4つの赤外光用発光ダイオードを含むシーンを撮像することで、赤外光撮像画像を取得し、取得した前記赤外光撮像画像上の前記4つの赤外光用発光ダイオードの位置と、前記赤外線受信部の前記光学系の光軸および前記第1表示部の表示画面の位置関係とに基づいて、前記光学系の光軸と前記第1表示部の表示画面との交点の座標情報を取得し、取得した当該座標情報に基づいて、前記1点特定情報を取得する、
発明12に記載の制御システム。
第11の発明は、第2から第10のいずれかの発明であって、タッチパネルをさらに備え、入力制御部は、タッチパネル上のタッチ点により、1点特定情報、2点特定情報、表示更新用情報、拡大表示用情報、縮小表示用情報、および、回転表示用情報の少なくとも1つを取得する。
これにより、この制御システムでは、タッチパネルを用いて、1点特定情報、2点特定情報、表示更新用情報、拡大表示用情報、縮小表示用情報、および、回転表示用情報の少なくとも1つを取得することができる。
第12の発明は、第1から第10のいずれかの発明であって、制御対象装置は、外部に赤外光を照射する赤外線送信部をさらに備え、リモートコントロール装置は、赤外線送信部から照射される赤外光を受光する赤外線受信部をさらに備える。
赤外線受信部は、赤外線送信部から受光した赤外線に基づいて、1点特定情報を取得し、入力制御部に入力させる。
これにより、この制御システムでは、赤外線送信部から受光した赤外線に基づいて、1点特定情報を取得することができる。
第13の発明は、第12の発明であって、赤外線送信部は、第1表示部の周辺に配置された4つの赤外光用発光ダイオードをさらに備える。
赤外線受信部は、赤外線送信部から照射された赤外線を集光する光学系を備える赤外光用撮像装置である。
赤外線受信部は、第1表示部の周辺に配置された4つの赤外光用発光ダイオードを含むシーンを撮像することで、赤外光撮像画像を取得し、取得した赤外光撮像画像上の4つの赤外光用発光ダイオードの位置と、赤外線受信部の光学系の光軸および第1表示部の表示画面の位置関係とに基づいて、光学系の光軸と第1表示部の表示画面との交点の座標情報を取得し、取得した当該座標情報に基づいて、1点特定情報を取得する。
これにより、この制御システムでは、リモートコントロール装置(赤外線受信部の光学系の光軸)の向きを変えることで、絶対位置座標による表示位置変更処理を実行することができるため、さらに、操作性を向上させることができる。
本発明は、高解像度ディスプレイ装置を有するテレビ受信機(制御対象機器)の表示画面を表示させるとともに、当該表示の移動、表示倍率変更、表示角度変更等の処理を、感覚的な操作により、迅速に実行することができる制御システムを実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
1000、2000、3000、4000、5000 制御システム
1、1A、1B、1C 制御対象装置
12 第1表示制御部
13 第1表示部
14、14B 主装置制御部
15 調整部
16 主装置側インターフェース部
2、2A、2B、2C、2D リモートコントロール装置
21 コントローラ側インターフェース部
22、22A 第2表示制御部
23 第2表示部
24 タッチパネル制御部
25 タッチパネル
26 モード切替部
27、27A、27B、27C 入力制御部
31 第2映像合成部

Claims (15)

  1. 制御対象装置と、リモートコントロール装置とを備える制御システムであって、
    前記制御対象装置は、
    映像を表示させるための第1表示部と、
    前記第1表示部に映像を表示させるために、前記第1表示部に対して、駆動制御を行う第1表示制御部と、
    前記第1表示部に表示される前記映像から、前記映像の一部または全部を抽出することで、調整後映像信号を取得する調整部と、
    前記第1表示制御部および前記調整部を制御する主装置制御部と、
    前記調整部により取得された前記調整後映像信号を前記リモートコントロール装置に送信するための主装置側インターフェース部と、
    を備え、
    前記リモートコントロール装置は、
    映像を表示させるための第2表示部と、
    前記第2表示部に映像を表示させるために、前記第2表示部に対して、駆動制御を行う第2表示制御部と、
    前記第2表示部に表示される映像の表示を制御するための情報を入力する入力制御部と、
    前記第2表示部に表示されている映像の表示を変更するための表示操作モードと、前記制御対象装置の機器操作を行うための機器操作モードとを切り替えるモード切替部と、
    前記制御対象装置の前記主装置側インターフェース部と通信するためのコントローラ側インターフェース部と、
    を備え、
    前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面上の位置を特定する情報である位置特定情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記位置特定情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面全体に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、絶対位置座標を設定し、
    前記調整部は、前記位置特定情報が示す点に相当する、前記第1表示部の表示画面の前記絶対位置座標上の点を含む画像領域であって、前記第1表示部に表示されている前記画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記画像領域を前記第2表示部に表示させる、
    制御システム。
  2. 前記位置特定情報は、前記第2表示部の表示画面上の1点を特定する情報である、
    請求項1に記載の制御システム。
  3. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面に表示されている画像を第1方向にシフトさせて表示更新させるための情報である表示更新用情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記表示更新用情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記調整部は、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、前記第1方向と逆方向にずらした位置に存在する画像領域であるシフト後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記シフト後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  4. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面上の2点を特定する情報である2点特定情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記2点特定情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記2点特定情報が示す2つの点が、第1方向にずらされている場合、
    前記調整部は、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、前記第1方向と逆方向にずらした位置に存在する画像領域であるシフト後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記シフト後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  5. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面に表示されている画像を拡大して表示更新させるための情報である拡大表示用情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記拡大表示用情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記調整部は、前記拡大表示用情報に基づいて、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、縮小した大きさの画像領域である縮小後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記縮小後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  6. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面上の2点を特定する情報である2点特定情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記2点特定情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記2点特定情報が示す2つの点の間の距離が大きくなるように変化している場合、
    前記調整部は、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、縮小した大きさの画像領域である縮小後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記縮小後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  7. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面に表示されている画像を縮小して表示更新させるための情報である縮小表示用情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記縮小表示用情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記調整部は、前記縮小表示用情報に基づいて、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、拡大した大きさの画像領域である拡大後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記拡大後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  8. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面上の2点を特定する情報である2点特定情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記2点特定情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記2点特定情報が示す2つの点の間の距離が小さくなるように変化している場合、
    前記調整部は、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、拡大した大きさの画像領域である拡大後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記拡大後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  9. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面に表示されている画像を第1回転方向に回転して表示更新させるための情報である回転表示用情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記回転表示用情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記調整部は、前記回転表示用情報に基づいて、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、前記第1回転方向と逆方向に回転した位置に存在する画像領域である回転後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記回転後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  10. 前記表示操作モードに設定されている場合であって、前記第2表示部の表示画面上の2点を特定する情報である2点特定情報が前記入力制御部に入力された場合、
    前記入力制御部は、前記2点特定情報を、前記コントローラ側インターフェース部と、前記主装置側インターフェース部とを介して、前記主装置制御部に出力し、
    前記主装置制御部は、前記第1表示部の表示画面の一部に設定した座標平面を、前記第2表示部の表示画面全体に設定した座標平面に対応付けることで、相対位置座標を設定し、
    前記2点特定情報が示す2つの点が所定の回転方向である第1回転方向に移動している場合、
    前記調整部は、前記第1表示部の表示画面上において、前記相対位置座標に設定されている前記第1表示部の表示画面の領域を、前記第1回転方向と逆方向に回転した位置に存在する画像領域である回転後画像領域を形成する前記調整後映像信号を取得し、
    前記第2表示制御部は、前記調整後映像信号に基づいて、前記回転後画像領域を前記第2表示部に表示させる、
    請求項1または2に記載の制御システム。
  11. 前記モード切替部は、
    表示位置変更可否情報を入力することができ、
    (1)前記モード切替部に入力された前記表示位置変更可否情報が、表示位置変更を許可することを示す情報である場合、
    前記第2表示部は、前記調整後映像信号に基づいて、前記第2表示部の表示を変更させ、
    (2)前記モード切替部に入力された前記表示位置変更可否情報が、表示位置変更を許可しないことを示す情報である場合、
    前記第2表示部は、前記調整後映像信号に基づく前記第2表示部の表示の変更を実行しない、
    請求項1から10のいずれかに記載の制御システム。
  12. 前記制御対象装置は、
    マーカーに関する情報を記憶する記憶部をさらに備え、
    前記リモートコントロール装置は、
    前記入力制御部からの指令に基づいて、前記調整後映像信号に、所定の情報を含む副映像信号を合成することで、合成後映像信号を取得する第2映像合成部をさらに備え、
    前記第2表示制御部は、前記第2表示部に、前記合成後映像信号を表示するように、前記第2表示部を制御し、
    前記主装置制御部は、前記第2表示部に表示されている画像領域に対応する、前記第1表示部に表示されている表示画面上の画像領域に、マーカーが重畳して表示されるように、前記第1表示制御部を制御する、
    請求項1から11のいずれかに記載の制御システム。
  13. 前記主装置制御部は、ユーザーによる所定の操作が実行された場合、前記第2表示部に表示されている画像領域に対応する、前記第1表示部に表示されている表示画面上の画像領域の情報をマーカー情報として、前記記憶部に記憶する、
    請求項12に記載の制御システム。
  14. 前記主装置制御部は、ユーザーによる所定の操作が実行された場合、前記記憶部に記憶されている前記マーカー情報を読み出し、前記第1表示部の表示画面上において、読み出した前記マーカー情報により特定される画像領域に、マーカーが重畳して表示されるように、前記第1表示制御部を制御する、
    請求項13に記載の制御システム。
  15. 前記制御対象装置は、
    マーカーに関する情報を記憶する記憶部をさらに備え、
    前記リモートコントロール装置は、
    前記入力制御部からの指令に基づいて、前記調整後映像信号に、所定の情報を含む副映像信号を合成することで、合成後映像信号を取得する第2映像合成部をさらに備え、
    前記第2表示制御部は、前記第2表示部に、前記合成後映像信号を表示するように、前記第2表示部を制御し、
    前記入力制御部は、前記第2表示部に表示されている画像領域に対応する、前記第1表示部に表示されている表示画面上の画像領域に、マーカーを重畳させた映像を縮小して、前記調整後映像信号に、合成されることで、前記合成後映像信号が生成されるように、前記第2映像合成部を制御する、
    請求項1から11のいずれかに記載の制御システム。
JP2014210889A 2014-06-13 2014-10-15 制御システム Pending JP2016015704A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014210889A JP2016015704A (ja) 2014-06-13 2014-10-15 制御システム
PCT/JP2015/066502 WO2015190442A1 (ja) 2014-06-13 2015-06-08 制御システム
US15/317,436 US9736417B2 (en) 2014-06-13 2015-06-08 Control system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014122155 2014-06-13
JP2014122155 2014-06-13
JP2014210889A JP2016015704A (ja) 2014-06-13 2014-10-15 制御システム

Publications (1)

Publication Number Publication Date
JP2016015704A true JP2016015704A (ja) 2016-01-28

Family

ID=54833533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014210889A Pending JP2016015704A (ja) 2014-06-13 2014-10-15 制御システム

Country Status (3)

Country Link
US (1) US9736417B2 (ja)
JP (1) JP2016015704A (ja)
WO (1) WO2015190442A1 (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
JP2000244989A (ja) * 1999-02-19 2000-09-08 Sharp Corp 双方向リモコン制御システム
US6407779B1 (en) * 1999-03-29 2002-06-18 Zilog, Inc. Method and apparatus for an intuitive universal remote control system
JP2001157284A (ja) 1999-11-25 2001-06-08 Hitachi Ltd リモートコントローラ、制御対象機器および制御システム
KR100689849B1 (ko) * 2005-10-05 2007-03-08 삼성전자주식회사 원격조정제어장치, 영상처리장치, 이를 포함하는 영상시스템 및 그 제어방법
KR20140061551A (ko) * 2007-09-18 2014-05-21 톰슨 라이센싱 셋톱 박스를 위한 사용자 인터페이스
JP5750238B2 (ja) 2010-05-25 2015-07-15 株式会社タイトー 位置指示装置、ゲーム装置
US9264753B2 (en) * 2010-08-03 2016-02-16 Broadcom Corporation Method and apparatus for interactive control of media players
JP5382815B2 (ja) * 2010-10-28 2014-01-08 シャープ株式会社 リモコンおよびリモコン用プログラム
JP5692904B2 (ja) 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
TWI441051B (zh) * 2011-01-25 2014-06-11 Compal Electronics Inc 電子裝置及其資訊呈現方法
JP2015039084A (ja) * 2011-02-28 2015-02-26 シャープ株式会社 画像表示装置セット
JP5095021B2 (ja) * 2011-04-04 2012-12-12 シャープ株式会社 表示装置、情報処理システム、プログラム及びテレビジョン受信機
JP5209808B2 (ja) * 2011-06-14 2013-06-12 シャープ株式会社 システム、テレビジョン受像機、情報端末、制御方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
WO2015190442A1 (ja) 2015-12-17
US20170127010A1 (en) 2017-05-04
US9736417B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
JP3996852B2 (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
US9414125B2 (en) Remote control device
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
KR101326697B1 (ko) 조작세트로 변경가능한 메뉴세트를 이용한 메뉴 제공방법및 이를 적용한 멀티미디어 기기
US20100229125A1 (en) Display apparatus for providing a user menu, and method for providing user interface (ui) applicable thereto
US20110061023A1 (en) Electronic apparatus including touch panel and displaying method of the electronic apparatus
KR20150065976A (ko) 포인팅 정보를 표시하는 방법 및 이를 위한 디바이스
WO2013031134A1 (en) Information processing apparatus, information processing method, and program
WO2017056762A1 (ja) 医療用制御装置、制御方法、プログラム、および医療用制御システム
US20080252737A1 (en) Method and Apparatus for Providing an Interactive Control System
US20160054860A1 (en) Input device
JP5728588B2 (ja) 表示制御方法、コンピュータプログラム、表示制御装置及び画像表示システム
JP2013033462A (ja) マルチタッチの操作方法及びそのシステム
JP2008090563A (ja) 投影装置
JP2006330027A (ja) 画像出力装置、画像出力システム、およびプログラム
US20070101277A1 (en) Navigation apparatus for three-dimensional graphic user interface
JP2015053020A (ja) 情報表示装置、情報表示方法およびプログラム
WO2015190442A1 (ja) 制御システム
JP5323367B2 (ja) 画像表示装置、画像送信サーバ、画像表示システム、画像表示方法、画像表示プログラム、および、記録媒体
JP2016143254A (ja) 電子機器、表示制御方法及びプログラム
JP5115496B2 (ja) コンテンツ遠隔操作システム及び遠隔操作端末
JP5397388B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012103914A (ja) 表示装置、表示用プログラム、および表示方法
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20170308509A1 (en) Image display device