JP2017151894A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017151894A
JP2017151894A JP2016036017A JP2016036017A JP2017151894A JP 2017151894 A JP2017151894 A JP 2017151894A JP 2016036017 A JP2016036017 A JP 2016036017A JP 2016036017 A JP2016036017 A JP 2016036017A JP 2017151894 A JP2017151894 A JP 2017151894A
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
remote controller
operation device
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016036017A
Other languages
English (en)
Inventor
成瀬　哲也
Tetsuya Naruse
哲也 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Priority to JP2016036017A priority Critical patent/JP2017151894A/ja
Priority to US15/405,646 priority patent/US10200526B2/en
Priority to EP17153340.9A priority patent/EP3211516A1/en
Publication of JP2017151894A publication Critical patent/JP2017151894A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】操作デバイスを有するリモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。【選択図】図５

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
操作を行うことが可能なリモートコントローラを撮像した撮像画像に基づいて、操作を行うことが可能な仮想的なリモートコントローラを表示画面に表示させる技術が開発されている。上記仮想的なリモートコントローラを表示画面に表示させる技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２００９−２４６６４６号公報
例えば特許文献１に記載の技術が用いられる場合には、仮想的な制御キー（仮想的な操作デバイスの一例）を含む仮想的なリモートコントローラが表示画面に表示される。また、例えば特許文献１に記載の技術が用いられる場合には、表示画面に表示された制御キーに対するキー操作が可能である。
しかしながら、例えば特許文献１に記載の技術が用いられる場合には、リモートコントローラから送信される制御対象の機器を制御するための操作に応じた信号（以下、「操作信号」と示す。）と、仮想的なリモートコントローラにおける仮想的な操作デバイスとの対応付けを、手動で行う必要がある。また、例えば特許文献１に記載の技術では、リモートコントローラにおいて操作された操作デバイスと、リモートコントローラから送信された操作信号とを対応付けることについては、考慮されていない。そのため、例えば特許文献１に記載の技術が用いられる場合には、仮想的なリモートコントローラにおける手動で操作信号と対応付けられた仮想的な操作デバイスと、リモートコントローラにおいて実際に操作された操作デバイスとが、対応しないことが起こりうる。
本開示では、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。
また、本開示によれば、リモートコントローラが有する操作デバイスに対する操作に応じて、上記リモートコントローラから送信される操作信号を受信する受信部と、上記リモートコントローラが撮像された撮像画像に基づいて、上記操作が行われた上記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、上記外部装置から送信された、上記操作が行われた上記操作デバイスの認識結果と、上記リモートコントローラから送信された上記操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が、提供される。
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた上記操作デバイスを認識することが可能な外部装置から送信された、上記操作が行われた上記操作デバイスの認識結果と、上記リモートコントローラから送信された、上記操作に応じた操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が、提供される。
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラムが、提供される。
本開示によれば、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
第１の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。 第１の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。 本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルの一例を示す説明図である。 第１の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図である。 第１の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。 第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 第２の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。 第２の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。 第２の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図である。 第２の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。 第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第２の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．第１の実施形態に係る情報処理方法
２．第１の実施形態に係る情報処理装置
３．第２の実施形態に係る情報処理方法
４．第２の実施形態に係る情報処理装置
５．本実施形態に係るプログラム
（第１の実施形態に係る情報処理方法）
まず、第１の実施形態に係る情報処理方法について説明する。以下では、第１の実施形態に係る情報処理方法に係る処理を、第１の実施形態に係る情報処理装置が行う場合を例に挙げる。
［１］第１の実施形態に係る情報処理方法に係る処理
上述したように、例えば特許文献１に記載の技術が用いられる場合には、操作信号と、仮想的なリモートコントローラにおける仮想的な操作デバイスとの対応付けを、手動で行う必要がある。また、例えば特許文献１に記載の技術が用いられる場合には、仮想的なリモートコントローラにおける手動で操作信号と対応付けられた仮想的な操作デバイスと、リモートコントローラにおいて実際に操作された操作デバイスとが、対応しないことが起こりうる。
また、リモートコントローラにおける操作が行われた操作デバイスと操作信号とを対応付ける方法としては、例えば“リモートコントローラの型番を示すデータなどの、リモートコントローラが有する操作デバイスと操作信号との関係を特定することが可能なデータを用いる方法”が、考えられる。
しかしながら、上記方法が用いられる場合には、リモートコントローラの型番を示すデータなどを取得することができない場合には、操作デバイスと操作信号とを対応付けることができない。
そこで、第１の実施形態に係る情報処理装置は、“操作デバイスを有するリモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理”（以下、「第１の実施形態に係る対応付け処理」と示す。）を、行う。
ここで、本実施形態に係る撮像画像としては、例えば、第１の実施形態に係る情報処理装置が備える撮像部（後述する）を構成する撮像デバイス、または、第１の実施形態に係る情報処理装置の外部の撮像デバイスによって撮像された画像（動画像、または静止画像）が挙げられる。第１の実施形態に係る情報処理装置は、撮像部（後述する）を構成する撮像デバイスから取得された撮像画像、または、外部の撮像デバイスから取得された撮像画像を、第１の実施形態に係る対応付け処理に用いる。
また、リモートコントローラから送信される操作信号は、例えば、第１の実施形態に係る情報処理装置が備える受信部（後述する）を構成する通信デバイス、または、第１の実施形態に係る情報処理装置の外部の通信デバイスによって、受信される。第１の実施形態に係る情報処理装置は、受信部（後述する）を構成する通信デバイスにより受信された操作信号、または、外部の通信デバイスにより受信された操作信号を、第１の実施形態に係る対応付け処理に用いる。
より具体的には、第１の実施形態に係る情報処理装置は、撮像画像に基づいて、リモートコントローラにおいて操作が行われた操作デバイスを認識する。
ここで、第１の実施形態に係る情報処理装置は、撮像画像に対して任意の物体認識処理を行うことによって、リモートコントローラ、リモートコントローラが有するボタンなどの操作デバイス、および操作デバイスを操作するユーザの手などの操作体を、それぞれ検出することによって、リモートコントローラにおいて操作が行われた操作デバイスを認識する。
また、第１の実施形態に係る情報処理装置は、撮像画像に対して、ひずみ補正や色調補正などの１または２以上の画像処理を、さらに行ってもよい。ひずみ補正や色調補正などがさらに行われることによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることができる。
なお、操作が行われた操作デバイスの認識の精度の向上を図る方法は、上記に示す例に限られない。
例えば、撮像画像がステレオカメラにより生成されたステレオ画像である場合など、リモートコントローラに対する操作体の深さを示す深さ情報が、撮像画像から得られる場合には、第１の実施形態に係る情報処理装置は、深さ情報が示す深さをさらに考慮することによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることができる。
また、リモートコントローラが撮像された熱画像が取得される場合には、第１の実施形態に係る情報処理装置は、取得された熱画像が示すリモートコントローラの温度を考慮することによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることも可能である。
例えば上記のように、撮像画像に基づいて操作が行われた操作デバイスが認識されると、第１の実施形態に係る情報処理装置は、認識された操作デバイスと、リモートコントローラから送信される操作信号とを対応付ける。第１の実施形態に係る情報処理装置は、例えば、認識された操作デバイスと操作信号とを、操作デバイスと操作信号とが一対一に対応付けられるテーブル（またはデータベース。以下、同様とする。）などに記録することによって、認識された操作デバイスと操作信号とを対応付ける。本実施形態に係る操作デバイスと操作信号との対応付けの具体例については、後述する。
第１の実施形態に係る情報処理方法に係る処理として、上記第１の実施形態に係る対応付け処理が行われる場合には、リモートコントローラに対する操作体による操作が撮像された撮像画像に基づいて、操作が行われた操作デバイスが認識される。
また、上記リモートコントローラに対する操作体による操作に応じて、リモートコントローラは、当該操作に応じた操作信号を送信する。つまり、第１の実施形態に係る情報処理装置において撮像画像に基づいて操作が行われた操作デバイスが認識されたときに、第１の実施形態に係る情報処理装置において受信された操作信号は、当該操作に応じてリモートコントローラから送信された送信信号である可能性が高い。
したがって、第１の実施形態に係る情報処理装置は、上記第１の実施形態に係る対応付け処理を行うことによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、第１の実施形態に係る情報処理装置は、上記のように、撮像画像に基づいて操作が行われた操作デバイスを認識し、撮像画像に基づき認識された操作デバイスと、リモートコントローラから送信される操作信号とを対応付ける。よって、例えば、第１の実施形態に係る情報処理装置のユーザは、操作デバイスと操作信号とを手動で対応付ける必要はない。また、第１の実施形態に係る情報処理装置は、リモートコントローラの型番を示すデータなどに依存せずに、操作デバイスと操作信号とを対応付けることができる。
［２］第１の実施形態に係る情報処理方法に係る他の処理
なお、第１の実施形態に係る情報処理方法に係る処理は、上記第１の実施形態に係る対応付け処理に限られない。
例えば、第１の実施形態に係る情報処理装置は、“生成した仮想的なリモートコントローラを表示画面に表示させ、仮想的なリモートコントローラを制御する処理”（以下、「仮想リモートコントローラ制御処理」と示す。）を、さらに行うことが可能である。
ここで、仮想的なリモートコントローラには、上記第１の実施形態に係る対応付け処理により操作信号と対応付けられた操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる。以下では、上記第１の実施形態に係る対応付け処理により操作信号と対応付けられた操作デバイスに対応する仮想的な操作デバイスを、「操作デバイスに対応する仮想的な操作デバイス」、または、単に「仮想的な操作デバイス」と示す場合がある。
操作デバイスに対応する仮想的な操作デバイスとしては、例えば、操作デバイスの種類、操作デバイスの形状、および操作デバイスに付された表示のうちの、１または２以上が、当該操作デバイスと同一である、仮想的な操作デバイスが挙げられる。
仮想的な操作デバイスに対する操作としては、例えば、下記に示す例が挙げられる。
・表示画面に表示されている仮想的な操作デバイスに対する、ユーザの手などの任意の操作体による直接的な操作（例えば、表示画面を構成する表示デバイスが、タッチパネルなど、表示とユーザ操作とが可能なデバイスである場合）
・物理的なボタンなどの物理的な操作デバイスを操作することによる、表示画面に表示されている仮想的な操作デバイスに対する間接的な操作（例えば、表示画面を構成する表示デバイスが表示とユーザ操作とが可能なデバイスである場合、または、表示画面を構成する表示デバイスが表示のみが可能なデバイスである場合）
また、第１の実施形態に係る情報処理装置が生成する仮想的なリモートコントローラにおける、仮想的な操作デバイスの配置としては、例えば下記に示す例が挙げられる。
・仮想的なリモートコントローラにおける仮想的な操作デバイスの配置が、リモートコントローラにおける操作デバイスの配置と同一である。
・仮想的なリモートコントローラにおける仮想的な操作デバイスの配置が、リモートコントローラにおける操作デバイスの配置と異なっている。
第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”を生成する場合には、表示画面に表示される仮想的なリモートコントローラは、リモートコントローラに準じたレイアウトを有することとなる。よって、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”が生成される場合には、第１の実施形態に係る情報処理装置は、物理的なリモートコントローラと同様の操作性を実現することが可能な、仮想的なリモートコントローラを、生成することができる。
第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”を生成する場合には、表示画面に表示される仮想的なリモートコントローラは、リモートコントローラに準じないレイアウトを有することとなる。よって、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”が生成される場合には、第１の実施形態に係る情報処理装置は、よりレイアウトの自由度が高い仮想的なリモートコントローラを、生成することができる。
第１の実施形態に係る情報処理装置は、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”と、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”との一方、または双方を生成する。
第１の実施形態に係る情報処理装置は、例えば、仮想的なリモートコントローラの生成に係る設定に基づいて、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”と“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”とのうちの一方を生成する。ここで、上記仮想的なリモートコントローラの生成に係る設定は、固定の設定であってもよいし、ユーザの操作などに基づき変更可能な可変の設定であってもよい。
また、例えば、第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”、および“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”の双方を生成する場合には、第１の実施形態に係る情報処理装置は、仮想的なリモートコントローラをユーザが選択することが可能な選択画面を、表示画面に表示させてもよい。上記選択画面を表示画面に表示させることによって、仮想的なリモートコントローラを用いるユーザにとって、より使いやすい仮想的なリモートコントローラを、ユーザ自身に選択させることが可能となる。よって、上記選択画面を表示画面に表示させる場合には、第１の実施形態に係る情報処理装置は、ユーザの利便性の向上を図ることができる。
また、第１の実施形態に係る情報処理装置が生成する仮想的なリモートコントローラは、例えば、操作デバイスに対応する仮想的な操作デバイスのみで構成されていてもよいし、操作を行うことができないオブジェクトを含んで構成されていてもよい。
生成される仮想的なリモートコントローラが、操作デバイスに対応する仮想的な操作デバイスのみで構成される場合には、仮想的なリモートコントローラを操作するユーザは、仮想的な操作デバイスをより容易に認識することができる。
また、第１の実施形態に係る情報処理装置は、仮想的なリモートコントローラに含まれる仮想的な操作デバイスを、明示させてもよい。第１の実施形態に係る情報処理装置は、例えば、仮想的な操作デバイスを点滅させること、仮想的な操作デバイスを枠で囲むことなど、仮想的なリモートコントローラを操作するユーザに対して、仮想的な操作デバイスが存在することを視覚的に通知することが可能な任意の表現によって、仮想的な操作デバイスを明示させる。
任意の表現によって仮想的な操作デバイスが明示されることによって、仮想的なリモートコントローラを操作するユーザは、仮想的な操作デバイスをより容易に認識することができる。
第１の実施形態に係る情報処理装置は、例えば上記のような仮想的なリモートコントローラを生成し、生成した仮想的なリモートコントローラを、表示画面に表示させる。
また、表示画面に表示された仮想的なリモートコントローラにおいて、仮想的な操作デバイスに対する操作が検出された場合、第１の実施形態に係る情報処理装置は、操作が検出された仮想的な操作デバイスに対応する操作デバイスに対応付けられている操作信号を、送信させる。以下では、操作が検出された仮想的な操作デバイスに対応する操作デバイスに対応付けられている操作信号を、「仮想的な操作デバイスに対応する操作信号」と示す場合がある。
第１の実施形態に係る情報処理装置は、例えば、第１の実施形態に係る情報処理装置が備える送信部（後述する）を構成する通信デバイス、または、第１の実施形態に係る情報処理装置の外部の通信デバイスに、仮想的な操作デバイスに対応する操作信号を送信させる。ここで、送信部（後述する）を構成する通信デバイスと、上述した受信部（後述する）を構成する通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。同様に、仮想的な操作デバイスに対応する操作信号を送信する外部の通信デバイスと、リモートコントローラから送信された操作信号を受信する外部の通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。
［３］第１の実施形態に係る情報処理方法に係る処理の具体例
次に、上述した第１の実施形態に係る情報処理方法に係る処理の具体例を、説明する。
図１Ａは、第１の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。また、図１Ｂは、第１の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。図１Ａ、図１Ｂでは、符号１００で示す装置が、第１の実施形態に係る情報処理装置の一例に該当する。また、図１Ａにおいて符号１０で示す装置が、リモートコントローラの一例に該当し、図１Ｂにおいて符号２０で示す装置が、リモートコントローラによる制御の対象の装置（以下「制御対象」と示す。）の一例に該当する。
以下では、第１の実施形態に係る情報処理装置に該当する装置を「情報処理装置１００」と示す。また、以下では、リモートコントローラに該当する装置を「リモートコントローラ１０」と示し、制御対象に該当する装置を「制御対象２０」と示す。なお、情報処理装置１００、リモートコントローラ１０、および制御対象２０それぞれが、図１Ａ、図１Ｂに示す例に限られないことは、言うまでもない。
例えば、情報処理装置１００においてリモートコントローラアプリケーションが実行され、リモートコントローラアプリケーションの登録モードが設定されると、情報処理装置１００が備える撮像部（後述する）を構成する撮像デバイスが起動する。リモートコントローラアプリケーションにおける登録モードの設定は、例えば、情報処理装置１００のユーザの操作に基づき行われる。なお、リモートコントローラアプリケーションにおける登録モードの設定は、所定の条件を満たす場合（例えば、操作デバイスと操作信号とが対応付けられていない初期状態の場合など）に自動的に行われてもよい。
例えば、図１ＡのＡに示すように、上記撮像デバイスによりリモートコントローラ１０が撮像されている状態で、情報処理装置１００のユーザが、リモートコントローラ１０が有するボタン（操作デバイスの一例）を押下する操作を行う場合を想定する。
このとき、情報処理装置１００は、撮像画像に基づいて、リモートコントローラ１０において操作が行われたボタンを認識する。また、情報処理装置１００は、リモートコントローラ１０から赤外線通信などにより送信された操作信号を受信する。そして、情報処理装置１００は、例えば、認識されたボタンと受信した操作信号とを対応付けてテーブルに記録する。本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルは、例えば、情報処理装置１００が備える記憶部（後述する）を構成する記録媒体や、情報処理装置１００の外部の記録媒体などの記録媒体に、記憶される。
図２は、本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルの一例を示す説明図である。図２のＡは、リモートコントローラ１０を示しており、図２のＢは、操作デバイスと操作信号とが対応付けられるテーブルの一例を示している。
ここで、図２のＢに示す“リモートコントローラキー”は、操作が行われた操作デバイスの名称を示している。図２のＢに示すテーブルにおいて“リモートコントローラキー”の列に記録されるデータが、操作が行われた操作デバイスの認識結果の一例に該当する。また、図２のＢに示す“リモートコントローラコード”は、操作信号が示す操作された操作デバイスに対応する処理を示すコードを示している。図２のＢに示すテーブルにおいて“リモートコントローラコード”
の列に記録されるデータが、操作信号を示すデータの一例に該当する。
例えば図２のＡにおいて符号１で示されるボタンが押下された場合、図２のＢに示すテーブルには、登録番号１で示されるようなデータが記録される。また、例えば図２のＡにおいて符号２〜５でそれぞれ示されるボタンが押下された場合、図２のＢに示すテーブルには、登録番号２〜５でそれぞれ示されるようなデータが記録される。
なお、操作デバイスと操作信号とが対応付けられるテーブルの例は、図２のＢに示す例に限られない。例えば、操作デバイスと操作信号とが対応付けられるテーブルでは、操作信号の生の波形が記録されてもよく、また、操作信号に対応するデジタル信号が記録されてもよい。また、操作デバイスと操作信号とが対応付けられるテーブルには、例えば、図２のＢに示す“リモートコントローラキー”の代わりに、操作が行われた操作デバイスを示す任意のデータが記録されてもよい。
情報処理装置１００は、例えば、撮像画像に基づいてリモートコントローラ１０において操作が行われた操作デバイスを認識するごとに、図２のＢに示すようなテーブルを更新する。例えば、図２のＡに示すリモートコントローラ１０が有する全てのボタンが押下された場合には、リモートコントローラ１０が有する各ボタンと、各ボタンにそれぞれ対応する操作信号とが対応付けられ、図２のＢに示すようなテーブルに記録される。
なお、例えばリモートコントローラ１０において同一の操作デバイスが複数回操作された場合、すなわち、操作が行われた操作デバイスと同一の“リモートコントローラキー”または操作が行われた操作デバイスと同一の“リモートコントローラコード”を有するレコードが、図２のＢに示すようなテーブルに既に存在する場合には、情報処理装置１００は、当該テーブルにおける既に存在するレコードを上書き更新してもよいし、当該テーブルを更新しなくてもよい。
再度図１Ａ、図１Ｂを参照して、第１の実施形態に係る情報処理方法に係る処理により実現されるユースケースの一例を説明する。
リモートコントローラアプリケーションの制御モードが設定されると、例えば図１ＡのＢに示すように、仮想的なリモートコントローラが、表示画面に表示される。リモートコントローラアプリケーションにおける制御モードの設定は、例えば、情報処理装置１００のユーザの操作に基づき行われる。なお、リモートコントローラアプリケーションにおける制御モードの設定は、例えば、上記登録モードの自動設定に係る所定の条件を満たさない場合に、自動的に行われてもよい。
ここで、例えば図１ＡのＢに示すように、表示画面には、仮想的なリモートコントローラの一部分が表示される。また、表示画面には、仮想的なリモートコントローラの全体が表示されてもよい。仮想的なリモートコントローラの一部分が表示画面に表示される場合には、仮想的なリモートコントローラの全体が表示画面に表示される場合よりも、より大きな表示サイズで、仮想的なリモートコントローラを表示させることが可能となる。仮想的なリモートコントローラの一部分が表示画面に表示される場合、表示画面に表示される仮想的なリモートコントローラの一部分は、例えばユーザの操作によって変わる。また、図１ＡのＢでは示していないが、仮想的なリモートコントローラの一部分が表示画面に表示される場合、スクロールバーなどが表示されていてもよい。
また、例えば図１ＡのＢにおいて符号Ｏで示すように、表示画面に表示される仮想的なリモートコントローラでは、仮想的な操作デバイスが明示されていてもよい。
例えば図１Ｂに示すように、情報処理装置１００のユーザが、仮想的な操作デバイスである仮想的なボタンを操作すると、情報処理装置１００は、操作された仮想的なボタンに対応付けられている操作信号を送信させる。ここで、図１Ｂに示す例では、仮想的なリモートコントローラがタッチパネルの表示画面に表示され、表示されている仮想的なボタンを指で押下すること（表示画面に対する直接的な操作の一例）によって、操作信号が送信される例を示している。
情報処理装置１００において実行されているリモートコントローラアプリケーションは、例えば、仮想的なリモートコントローラを表示画面に表示させる際に、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係を得る。リモートコントローラアプリケーションは、例えば、撮像画像に基づいてリモートコントローラをマッピングすることによって、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係を得る。また、リモートコントローラアプリケーションは、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係に基づき、どの仮想的なボタンが押下されたかを特定する。そして、リモートコントローラアプリケーションは、押下された仮想的なボタンに対応付けられている操作信号を送信させる。
情報処理装置１００から送信された操作信号によって、制御対象２０は、リモートコントローラ１０から操作信号が送信される場合と同様に、操作される。
図３は、第１の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図であり、図４は、第１の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。図３、図４に示す処理は、図１Ａ、図１Ｂを参照して示したユースケースに係る処理の一例を示している。図３は、リモートコントローラアプリケーションの登録モードが選択される場合における処理の一例を示しており、図４は、リモートコントローラアプリケーションの制御モードが選択される場合における処理の一例を示している。
［３−１］リモートコントローラアプリケーションの登録モードが選択される場合における処理の一例（図３）
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動し（Ｓ１００）、動作モードを登録モードに設定する（Ｓ１０２）。
情報処理装置１００は、例えば撮像部（図示せず）を構成する撮像デバイスを制御して、リモートコントローラ１０を撮像する（Ｓ１０４）。
情報処理装置１００は、ユーザがリモートコントローラ１０のボタンを押下しているところが撮像されると、撮像画像に基づいてリモートコントローラ１０においてどのボタンが押下されたかを認識する（Ｓ１０６）。
また、情報処理装置１００は、リモートコントローラ１０から送信される操作信号を受信する（Ｓ１０８）。なお、図１では、ステップＳ１０６の処理の後にステップＳ１０８の処理が行われる例が示しているが、情報処理装置１００は、ユーザによるリモートコントローラ１０の操作によって、ステップＳ１０６の処理とステップＳ１０８の処理とを、それぞれ並列に行うことが可能である。
情報処理装置１００は、ステップＳ１０６において認識されたボタンと、ステップＳ１０８において受信された操作信号とを対応付ける（Ｓ１１０）。情報処理装置１００は、例えば、図２に示すようなテーブルに、ステップＳ１０６において認識されたボタンに対応するデータと、ステップＳ１０８において受信された操作信号に対応するデータとを対応付けて記録することによって、認識されたボタンと受信された操作信号とを対応付ける。
情報処理装置１００は、リモートコントローラアプリケーションを終了するか否かを判定する（Ｓ１１２）。情報処理装置１００は、例えば、リモートコントローラアプリケーションを終了する操作が行われたことが検出された場合に、リモートコントローラアプリケーションを終了すると判定する。
ステップＳ１１２においてリモートコントローラアプリケーションを終了すると判定されない場合、情報処理装置１００は、ステップＳ１０６からの処理を繰り返す。
また、ステップＳ１１２においてリモートコントローラアプリケーションを終了すると判定された場合には、情報処理装置１００は、実行されているリモートコントローラアプリケーションを終了させて、図３の処理を終了する。
［３−２］リモートコントローラアプリケーションの制御モードが選択される場合における処理の一例（図４）
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動し（Ｓ２００）、動作モードを制御モードに設定する（Ｓ２０２）。例えば制御モードに設定されることによって、表示画面には、仮想的なリモートコントローラが表示される。
情報処理装置１００は、図１のステップＳ１１２と同様に、リモートコントローラアプリケーションを終了するか否かを判定する（Ｓ２０４）。
ステップＳ２０４においてリモートコントローラアプリケーションを終了すると判定されない場合、情報処理装置１００は、表示画面に表示されているボタンが操作されたか否かを判定する（Ｓ２０６）。例えば、仮想的なリモートコントローラがタッチパネルの表示画面に表示されている場合、情報処理装置１００は、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係に基づき、どのボタンが押下されたかが特定されたときに、表示画面に表示されているボタンが操作されたと判定する。
ステップＳ２０６において表示画面に表示されているボタンが操作されたと判定されない場合、情報処理装置１００は、ステップＳ２０４からの処理を繰り返す。
また、ステップＳ２０６において表示画面に表示されているボタンが操作されたと判定された場合には、情報処理装置１００は、操作されたボタンに対応する操作信号を送信させる（Ｓ２０８）。そして、情報処理装置１００は、ステップＳ２０４からの処理を繰り返す。
ステップＳ２０４においてリモートコントローラアプリケーションを終了すると判定された場合には、情報処理装置１００は、実行されているリモートコントローラアプリケーションを終了させて、図４の処理を終了する。
例えば図３、図４に示す処理が情報処理装置１００において行われることによって、図１Ａ、図１Ｂを参照して示したユースケースが実現される。なお、第１の実施形態に係る情報処理方法に係る処理の例が、図３、図４に示す例に限られないことは、言うまでもない。
（第１の実施形態に係る情報処理装置）
次に、上述した第１の実施形態に係る情報処理方法に係る処理を行うことが可能な第１の実施形態に係る情報処理装置の構成の一例について、説明する。
図５は、第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、受信部１０２と、送信部１０４と、制御部１０６とを備える。
また、情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
ＲＯＭ（図示せず）は、制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０６により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第１の実施形態に係る情報処理方法に係るデータや、リモートコントローラアプリケーションなどの各種アプリケーションなど、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
図６は、第１の実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、ＩＲ送受信デバイス１６４と、通信インタフェース１６６と、撮像デバイス１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、処理部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第１の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
ＩＲ送受信デバイス１６４は、情報処理装置１００が備える一の通信手段であり、赤外線により信号の送受信を行う。ＩＲ送受信デバイス１６４は、リモートコントローラから送信される送信信号を受信する受信部１０２、および操作信号を送信する送信部１０４として機能する。
通信インタフェース１６６は、情報処理装置１００が備える他の通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば外部装置などと無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１６６としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。
撮像デバイス１６８は、情報処理装置１００が備える撮像手段であり、撮像部（図示せず）として機能する。撮像デバイス１６８は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
情報処理装置１００は、例えば図６に示す構成によって、第１の実施形態に係る情報処理方法に係る処理を行う。なお、第１の実施形態に係る情報処理装置１００のハードウェア構成は、図６に示す構成に限られない。
例えば、情報処理装置１００は、接続されている外部のＩＲ送受信デバイスを介して外部装置と通信を行う場合には、ＩＲ送受信デバイス１６４を備えていなくてもよい。
また、情報処理装置１００は、例えば、ＩＲ送受信デバイス１６４の代わりに、リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスを備えていてもよい。ここで、上記リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスは、受信部１０２、および送信部１０４として機能する。
また、情報処理装置１００は、例えば、受信部１０２として機能する通信デバイスと、受信部１０２として機能する通信デバイスとを、それぞれ備えていてもよい。
また、情報処理装置１００は、例えば、接続されている外部の撮像デバイスを介して撮像を行う場合には、撮像デバイス１６８を備えていなくてもよい。
また、情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、表示デバイス１６２、および通信インタフェース１６６のうちの１または２以上を備えない構成をとることが可能である。
また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
また、例えば、図６に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated Circuit）で実現されてもよい。
再度図５を参照して、情報処理装置１００の構成の一例について説明する。受信部１０２は、リモートコントローラから送信される操作信号を受信する。受信部１０２としては、例えば、ＩＲ送受信デバイス１６４が挙げられる。
送信部１０４は、操作信号を送信する。送信部１０４としては、例えば、ＩＲ送受信デバイス１６４が挙げられる。
制御部１０６は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０６は、例えば、処理部１１０を備え、第１の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部１１０は、第１の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部１１０は、例えば、第１の実施形態に係る対応付け処理を行い、リモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。処理部１１０は、例えば、受信部１０２により受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
また、処理部１１０は、例えば、仮想リモートコントローラ制御処理をさらに行ってもよい。
処理部１１０は、仮想的なリモートコントローラを生成して、仮想的なリモートコントローラを表示画面に表示させる。そして、処理部１１０は、例えば仮想的なリモートコントローラに対するユーザの操作に基づいて、仮想的なリモートコントローラを制御する。
仮想的な操作デバイスに対する操作が検出された場合、処理部１１０は、操作が検出された仮想的な操作デバイスに対応する操作信号を、送信させる。処理部１１０は、送信部１０４に操作信号を送信させる。
情報処理装置１００は、例えば図５に示す構成によって、第１の実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置１００は、例えば図５に示す構成によって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、例えば図５に示す構成によって、情報処理装置１００は、上述したような第１の実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、第１の実施形態に係る情報処理装置の構成は、図５に示す構成に限られない。
例えば、第１の実施形態に係る情報処理装置は、図５に示す処理部１１０を、制御部１０６とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部１１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
また、第１の実施形態に係る情報処理方法に係る処理を実現するための構成は、図５に示す構成に限られず、第１の実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、受信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第１の実施形態に係る情報処理装置は、受信部１０２を備えていなくてもよい。第１の実施形態に係る情報処理装置が受信部１０２を備えない構成である場合、処理部１１０は、上記外部の通信デバイスにより受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
また、例えば、送信部１０４と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第１の実施形態に係る情報処理装置は、送信部１０４を備えていなくてもよい。第１の実施形態に係る情報処理装置が送信部１０４を備えない構成である場合、処理部１１０は、上記外部の通信デバイスに操作信号を送信させる。
また、第１の実施形態に係る情報処理装置は、撮像部（図示せず）をさらに備えていてもよい。撮像部（図示せず）をさらに備える場合、処理部１１０は、撮像部（図示せず）により生成された撮像画像に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
以上、第１の実施形態として、情報処理装置を挙げて説明したが、第１の実施形態は、かかる形態に限られない。第１の実施形態は、例えば、“スマートフォンなどの通信装置”や、“ＰＣ（Personal Computer）などのコンピュータ”、“アイウェア型の装置、時計型の装置、腕輪型の装置などのようなユーザの身体に装着して用いられる任意のウェアラブル装置”、“タブレット型の装置”、“デジタルビデオカメラ、デジタルスチルカメラなどの撮像装置”、“ゲーム機”、“自動車などの移動体”など、第１の実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、第１の実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
（第２の実施形態に係る情報処理方法）
上述した第１の実施形態では、第１の実施形態に係る情報処理装置が、リモートコントローラから送信される送信信号を受信する機能、および送信信号を送信する機能を有する実施形態を示した。
しかしながら、第１の実施形態に係る情報処理方法に係る処理を行う情報処理装置が、常に、リモートコントローラから送信される送信信号を受信する機能、および送信信号を送信する機能を有しているとは限られない。
そこで、次に、第２の実施形態に係る情報処理方法として、“リモートコントローラ１０と第１の実施形態に係る情報処理方法に係る処理を行う情報処理装置１００との間における送信信号の送受信”、および“情報処理装置１００と制御対象２０との間における送信信号の送受信”をそれぞれ中継することが可能な装置に適用される、情報処理方法を説明する。以下では、第２の実施形態に係る情報処理方法に係る処理を、第２の実施形態に係る情報処理装置が行う場合を例に挙げる。
［Ｉ］第２の実施形態に係る情報処理方法に係る処理
第２の実施形態に係る情報処理装置は、“外部装置から送信された、リモートコントローラにおいて操作が行われた操作デバイスの認識結果と、リモートコントローラから送信された操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理”（以下、「第２の実施形態に係る対応付け処理」と示す。）を、行う。
ここで、リモートコントローラにおいて操作が行われた操作デバイスの認識結果とは、上記第１の実施形態に係る対応付け処理における認識結果、すなわち、撮像画像に基づいて、リモートコントローラにおいて操作が行われた操作デバイスが認識された結果である。リモートコントローラにおいて操作が行われた操作デバイスの認識結果としては、例えば、図２のＢに示す“リモートコントローラキー”を示すデータなどの、操作が行われた操作デバイスを示すデータが挙げられる。
また、リモートコントローラにおいて操作が行われた操作デバイスの認識結果を送信する外部装置としては、例えば、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置が、挙げられる。
第２の実施形態に係る情報処理装置は、第２の実施形態に係る情報処理装置が備えている通信部（後述する）を構成する通信デバイス、または、接続されている外部の通信デバイスによって、情報処理装置１００などの外部装置と通信を行う。
また、第２の実施形態に係る情報処理装置は、第２の実施形態に係る情報処理装置が備えている受信部（後述する）を構成する通信デバイス、または、第２の実施形態に係る情報処理装置の外部の通信デバイスによって、リモートコントローラから送信される送信信号を受信する。第２の実施形態に係る情報処理装置は、受信部（後述する）を構成する通信デバイスにより受信された操作信号、または、外部の通信デバイスにより受信された操作信号を、第２の実施形態に係る対応付け処理に用いる。
第２の実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置と同様に、例えば図２のＢに示すようなテーブルを用いて、操作が行われた操作デバイスと操作信号とを対応付ける。
第２の実施形態に係る情報処理方法に係る処理として、上記第２の実施形態に係る対応付け処理が行われる場合には、“情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置において、撮像画像に基づき認識された、操作が行われた操作デバイス”と、“リモートコントローラから送信された操作信号”とが対応付けられる。
ここで、情報処理装置１００などにおいて撮像画像に基づいて操作が行われた操作デバイスが認識されたときに、第２の実施形態に係る情報処理装置において受信された操作信号は、当該操作に応じてリモートコントローラから送信された送信信号である可能性が高い。
したがって、第２の実施形態に係る情報処理装置は、上記第２の実施形態に係る対応付け処理を行うことによって、上述した第１の実施形態に係る情報処理方法が用いられる場合と同様に、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、第２の実施形態に係る情報処理装置は、上記のように、“情報処理装置１００などにおいて撮像画像に基づき認識された、操作が行われた操作デバイス”と“リモートコントローラから送信された操作信号”とを対応付ける。よって、例えば、第２の実施形態に係る情報処理装置のユーザは、操作デバイスと操作信号とを手動で対応付ける必要はない。また、第２の実施形態に係る情報処理装置は、リモートコントローラの型番を示すデータなどに依存せずに、操作デバイスと操作信号とを対応付けることができる。
［ＩＩ］第２の実施形態に係る情報処理方法に係る他の処理
なお、第２の実施形態に係る情報処理方法に係る処理は、上記第２の実施形態に係る対応付け処理に限られない。
例えば、第２の実施形態に係る情報処理装置は、“操作デバイスを示す指示信号に基づいて、指示信号が示す操作デバイスに対応付けられている操作信号を、送信させる処理”（以下、「送信制御処理」と示す。）を、さらに行ってもよい。
本実施形態に係る指示信号としては、例えば、図２のＢに示す“リモートコントローラキー”を示す信号などの、操作デバイスを示すことが可能な任意の信号が挙げられる。指示信号は、例えば、仮想的なリモートコントローラに対応する操作に応じて、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置から送信され、通信部（後述する）により受信される。
一例を挙げると、“リモートコントローラキー”を示す指示信号を受信した場合、第２の実施形態に係る情報処理装置は、図２のＢに示すテーブルを参照することによって、指示信号が示す“リモートコントローラキー”に対応する“リモートコントローラコード”を特定する。そして、第２の実施形態に係る情報処理装置は、特定された“リモートコントローラコード”に対応する操作信号（指示信号が示す操作デバイスに対応付けられている操作信号の一例）を、送信させる。
第２の実施形態に係る情報処理装置は、例えば、第２の実施形態に係る情報処理装置が備える送信部（後述する）を構成する通信デバイス、または、第２の実施形態に係る情報処理装置の外部の通信デバイスに、指示信号が示す操作デバイスに対応付けられている操作信号を送信させる。ここで、送信部（後述する）を構成する通信デバイスと、上述した受信部（後述する）を構成する通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。同様に、指示信号が示す操作デバイスに対応付けられている操作信号を送信する外部の通信デバイスと、リモートコントローラから送信された操作信号を受信する外部の通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。
また、本実施形態に係る指示信号には、例えば、装置を示すＩＤなどの識別情報が含まれていてもよい。
指示信号に識別情報が含まれる場合、第２の実施形態に係る情報処理装置は、識別情報が第２の実施形態に係る情報処理装置を示すときに、送信制御処理を行う。また、指示信号に識別情報が含まれる場合、第２の実施形態に係る情報処理装置は、識別情報が第２の実施形態に係る情報処理装置を示さないときには、送信制御処理を行わない。
上記のように、第２の実施形態に係る情報処理装置が、識別情報に基づき選択的に送信制御処理を行うことによって、例えば、“ある空間内に、第２の実施形態に係る情報処理装置が複数存在する場合であっても、識別情報に対応する特定の第２の実施形態に係る情報処理装置のみにおいて、送信制御処理が行われること”を、実現することができる。
また、第２の実施形態に係る情報処理装置は、“制御対象（リモートコントローラによる制御の対象の装置）の状態の検出結果に基づく処理”を、さらに行ってもよい。
制御対象の状態は、例えば、制御対象を撮像することが可能な撮像デバイスにおける撮像により生成された撮像画像に基づいて、推定される。例えば、制御対象がテレビジョン放送受像機である場合、テレビジョン放送受像機の表示画面に画像が表示されているか否か、または、テレビジョン放送受像機の電源ランプの色などを撮像画像から検出することによって、電源の状態を推定することが可能である。また、例えば、制御対象がエアコンディショナである場合、エアコンディショナの表示ランプの色などを撮像画像から検出することによって、エアコンディショナの運転状態を推定することが可能である。
また、制御対象の状態は、例えば、第２の実施形態に係る情報処理装置が制御対象と通信を行い、第２の実施形態に係る情報処理装置が、制御対象の状態を示す状態情報を制御対象から取得することによって、特定されてもよい。
制御対象の状態の検出結果に基づく処理としては、例えば、“指示信号に基づく操作信号により実現された制御対象の状態を示す情報を、受信された指示信号に対する応答として、送信する処理”が挙げられる。
制御対象の状態を示す情報が、指示信号を送信した外部装置に対して送信されることによって、当該外部装置では、制御対象の状態を把握することが可能となる。よって、例えば、上記外部装置が、“把握された制御対象の状態を示す文字や画像などを表示画面に表示させることによる視覚的な通知”と、“把握された制御対象の状態を示す音声をスピーカなどの音声出力デバイスから出力させることによる聴覚的な通知”との一方または双方を行うことによって、仮想的なリモートコントローラを操作したユーザに対して、操作の結果をフィードバックすることが、実現される。
なお、制御対象の状態の検出結果に基づく処理は、上記“指示信号に基づく操作信号により実現された制御対象の状態を示す情報を、受信された指示信号に対する応答として、送信する処理”に限られない。
例えば、第２の実施形態に係る情報処理装置は、“制御対象の状態を示す情報を、定期的または非定期的に、設定されている所定の装置に対して送信する処理”を行うことも可能である。ここで、上記所定の装置としては、例えば、制御対象を管理するサーバなどが挙げられる。
第２の実施形態に係る情報処理装置が、上記“制御対象の状態を示す情報を、定期的または非定期的に、設定されている所定の装置に対して送信する処理”を行う場合には、第２の実施形態に係る情報処理装置は、例えば、制御対象をモニタリングする装置として機能することができる。
［ＩＩＩ］第２の実施形態に係る情報処理方法に係る処理の具体例
次に、上述した第２の実施形態に係る情報処理方法に係る処理の具体例を、説明する。
図７Ａは、第２の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。また、図７Ｂは、第２の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。図７Ａ、図７Ｂでは、符号１００で示す装置が、第１の実施形態に係る情報処理装置の一例に該当する。また、図７Ａ、図７Ｂでは、符号２００で示す装置が、第２の実施形態に係る情報処理装置の一例に該当する。また、図７Ａにおいて符号１０で示す装置が、リモートコントローラの一例に該当し、図７Ｂにおいて符号２０で示す装置が、リモートコントローラによる制御の対象である制御対象の一例に該当する。
以下では、第１の実施形態に係る情報処理装置に該当する装置を「情報処理装置１００」と示し、第２の実施形態に係る情報処理装置に該当する装置を「情報処理装置２００」と示す。また、以下では、リモートコントローラに該当する装置を「リモートコントローラ１０」と示し、制御対象に該当する装置を「制御対象２０」と示す。なお、情報処理装置１００、情報処理装置２００、リモートコントローラ１０、および制御対象２０それぞれが、図７Ａ、図７Ｂに示す例に限られないことは、言うまでもない。
例えば、情報処理装置１００においてリモートコントローラアプリケーションが実行されると、情報処理装置１００と情報処理装置２００との間で、通信が開始される。情報処理装置１００と情報処理装置２００との間の通信としては、例えば、ＩＥＥＥ８０２．１５．１規格による通信、ＩＥＥＥ８０２．１１規格による通信などの、通信を行うことが可能な任意の無線通信、または任意の有線通信が挙げられる。情報処理装置１００と情報処理装置２００との間の通信がＩＥＥＥ８０２．１５．１規格による通信である場合を例に挙げると、情報処理装置１００および情報処理装置２００それぞれにおいて、ペアリングと呼ばれる処理が行われることによって、情報処理装置１００と情報処理装置２００との間で通信路が確立され、通信が開始される。
情報処理装置１００のユーザの操作によりリモートコントローラアプリケーションの登録モードが選択されると、情報処理装置１００が備える撮像部（後述する）を構成する撮像デバイスが起動する。
例えば、図７ＡのＡに示すように、上記撮像デバイスによりリモートコントローラ１０が撮像されている状態で、情報処理装置１００のユーザが、リモートコントローラ１０が有するボタン（操作デバイスの一例）を押下する操作を行う場合を想定する。
このとき、情報処理装置１００は、撮像画像に基づいて、リモートコントローラ１０において操作が行われたボタンを認識する。情報処理装置１００は、操作が行われたボタンの認識結果を、情報処理装置２００との間で確立されている通信路によって、情報処理装置２００に送信する。
また、情報処理装置２００は、リモートコントローラ１０から赤外線通信などにより送信された操作信号を受信する。
情報処理装置２００は、情報処理装置１００から取得された操作が行われたボタンの認識結果と、受信した操作信号とを対応付けて、例えば図２のＢに示すようなテーブルに記録する。本実施形態に係る操作が行われた操作デバイスの認識結果と操作信号とが対応付けられるテーブルは、例えば、情報処理装置２００が備える記憶部（後述する）を構成する記録媒体、または、情報処理装置２００の外部の記録媒体などの記録媒体に、記憶される。
また、情報処理装置２００は、受信した操作信号を、情報処理装置１００との間で確立されている通信路によって、情報処理装置１００に送信する。
情報処理装置１００は、認識されたボタンと受信した操作信号とを対応付けて、例えば図２のＢに示すようなテーブルに記録する。
情報処理装置１００のユーザの操作によりリモートコントローラアプリケーションの制御モードが選択されると、図１ＡのＢと同様に、図７ＡのＢに示すような仮想的なリモートコントローラが、表示画面に表示される。
例えば図７Ｂに示すように、情報処理装置１００のユーザが、仮想的な操作デバイスである仮想的なボタンを押下すると、情報処理装置１００は、押下された仮想的なボタンに対応付けられている操作デバイスを示す指示信号を、情報処理装置２００との間で確立されている通信路によって、情報処理装置２００に送信する。ここで、図７Ｂに示す例では、図１Ｂに示す場合と同様に、仮想的なリモートコントローラがタッチパネルの表示画面に表示され、表示画面に対する直接的な操作によって、指示信号が送信される例を示している。
指示信号を受信した情報処理装置２００は、指示信号が示す操作デバイスに対応付けられている操作信号を、赤外線通信などのリモートコントローラが操作信号を送信させる通信方式の通信によって、送信させる。
情報処理装置２００から送信された操作信号によって、制御対象２０は、リモートコントローラ１０から操作信号が送信される場合と同様に、操作される。
図８は、第２の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図であり、図９は、第２の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。図８、図９に示す処理は、図７Ａ、図７Ｂを参照して示したユースケースに係る、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を示している。図８は、情報処理装置１００においてリモートコントローラアプリケーションの登録モードが選択される場合における処理の一例を示しており、図９は、情報処理装置１００においてリモートコントローラアプリケーションの制御モードが選択される場合における処理の一例を示している。
［ＩＩＩ−１］情報処理装置１００においてリモートコントローラアプリケーションの登録モードが選択される場合における処理の一例（図８）
以下、図８を参照して、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を説明する。
［ＩＩＩ−１−１］情報処理装置１００における処理の一例
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動する（Ｓ３００）。リモートコントローラアプリケーションが起動されると、情報処理装置１００は、ペアリングに係る処理を行い（Ｓ３０２）、情報処理装置２００との間で通信路が確立される。
情報処理装置１００は、ユーザの操作などに基づいて、動作モードを登録モードに設定する（Ｓ３０４）。
情報処理装置１００は、例えば撮像部（図示せず）を構成する撮像デバイスを制御して、リモートコントローラ１０を撮像する（Ｓ３０６）。
情報処理装置１００は、撮像画像に基づいて、ユーザがリモートコントローラ１０のボタンを押下したか否かを判定する（Ｓ３０８）。情報処理装置１００は、図３のステップＳ１０６と同様に、撮像画像に基づいてリモートコントローラ１０においてどのボタンが押下されたかを認識することによって、ステップＳ３０８の処理を行う。
ステップＳ３０８において、ユーザがリモートコントローラ１０のボタンを押下したと判定された場合には、情報処理装置１００は、操作が認識されたボタンに対応するキー情報を送信する（Ｓ３１０）。そして、情報処理装置１００は、ステップＳ３０６からの処理を繰り返す。本実施形態に係るキー情報としては、例えば、図２のＢに示す“リモートコントローラキー”を示すデータ、または、操作デバイスを特定することが可能な番号を示すデータが挙げられる。また、ステップＳ３１０において送信されるキー情報は、操作が行われた操作デバイスの認識結果を示すデータの一例に該当する。
また、ステップＳ３０８において、ユーザがリモートコントローラ１０のボタンを押下したと判定されない場合には、情報処理装置１００は、登録モードを終了するか否かを判定する（Ｓ３１２）。情報処理装置１００は、登録モードを終了する操作が行われたことが検出された場合に、登録モードを終了すると判定する。
ステップＳ３１２において登録モードを終了すると判定されない場合、情報処理装置１００は、ステップＳ３０６からの処理を繰り返す。
また、ステップＳ３１２において登録モードを終了すると判定された場合には、情報処理装置１００は、登録モードを終了させて、図８の処理を終了する。
［ＩＩＩ−１−２］情報処理装置２００における処理の一例
情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される信号をトリガとして、ペアリングに係る処理を行い（Ｓ４００）、情報処理装置１００との間で通信路が確立される。また、情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される信号をトリガとして、動作の状態を、スリープ状態から、処理を行うことが可能な状態（例えば、主電源がＯＮとされる状態）へと遷移させてもよい。
情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される登録モードを示す情報に基づいて、登録モードを設定する（Ｓ４０２）。
情報処理装置２００は、例えば受信部（後述する）において、リモートコントローラ１０から送信される操作信号を受信すると（Ｓ４０４）、ステップＳ３１０において情報処理装置１００から送信されたキー情報と操作信号とを、例えば図２のＢに示すテーブルなどに対応付けて記録する（Ｓ４０６）。図８では、キー情報と操作信号とが対応付けて記録される情報を、「キー情報と操作信号をマッピングした情報」と示している。
情報処理装置２００は、登録モードを終了するか否かを判定する（Ｓ４０８）。情報処理装置２００は、情報処理装置１００から送信される登録モードを終了する旨の信号が、受信された場合に、登録モードを終了すると判定する。
ステップＳ４０８において登録モードを終了すると判定されない場合、情報処理装置２００は、ステップＳ４０４からの処理を繰り返す。
また、ステップＳ４０８において登録モードを終了すると判定された場合には、情報処理装置２００は、登録モードを終了させて、図８の処理を終了する。
［ＩＩＩ−２］情報処理装置１００においてリモートコントローラアプリケーションの制御モードが選択される場合における処理の一例（図９）
以下、図９を参照して、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を説明する。
［ＩＩＩ−２−１］情報処理装置１００における処理の一例
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動する（Ｓ５００）。リモートコントローラアプリケーションが起動されると、情報処理装置１００は、ペアリングに係る処理を行い（Ｓ５０２）、情報処理装置２００との間で通信路が確立される。
情報処理装置１００は、ユーザの操作などに基づいて、動作モードを制御モードに設定する（Ｓ５０４）。
情報処理装置１００は、図４のステップＳ２０６と同様に、表示画面に表示されているボタンが操作されたか否かを判定する（Ｓ５０６）。
ステップＳ５０６において、表示画面に表示されているボタンが操作されたと判定された場合には、情報処理装置１００は、操作が認識されたボタンに対応するキー情報を送信する（Ｓ５０８）。そして、情報処理装置１００は、ステップＳ５０６からの処理を繰り返す。ここで、ステップＳ５０８において送信されるキー情報は、操作デバイスを示す指示信号の一例に該当する。
また、ステップＳ５０６において、表示画面に表示されているボタンが操作されたと判定されない場合には、情報処理装置１００は、制御モードを終了するか否かを判定する（Ｓ５１０）。情報処理装置１００は、制御モードを終了する操作が行われたことが検出された場合に、制御モードを終了すると判定する。
ステップＳ５１０において制御モードを終了すると判定されない場合、情報処理装置１００は、ステップＳ５０６からの処理を繰り返す。
また、ステップＳ５１０において制御モードを終了すると判定された場合には、情報処理装置１００は、制御モードを終了させて、図９の処理を終了する。
［ＩＩＩ−２−２］情報処理装置２００における処理の一例
情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される信号をトリガとして、ペアリングに係る処理を行い（Ｓ６００）、情報処理装置１００との間で通信路が確立される。また、情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される信号をトリガとして、動作の状態を、スリープ状態から、処理を行うことが可能な状態（例えば、主電源がＯＮとされる状態）へと遷移させてもよい。
情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される制御モードを示す情報に基づいて、制御モードを設定する（Ｓ６０２）。
情報処理装置２００は、ステップＳ５０８において情報処理装置１００から送信されたキー情報を受信すると、キー情報に対応する操作信号を送信する（Ｓ６０４）。情報処理装置２００は、図２のＢに示すテーブルなどの、キー情報と操作信号とが対応付けて記録される情報を参照することによって、キー情報に対応する操作信号を送信する。図９では、キー情報と操作信号とが対応付けて記録される情報を、「キー情報と操作信号をマッピングした情報」と示している。
情報処理装置２００は、制御モードを終了するか否かを判定する（Ｓ６０６）。情報処理装置２００は、情報処理装置１００から送信される制御モードを終了する旨の信号が、受信された場合に、制御モードを終了すると判定する。
ステップＳ６０６において制御モードを終了すると判定されない場合、情報処理装置２００は、ステップＳ６０４からの処理を繰り返す。
また、ステップＳ６０６において制御モードを終了すると判定された場合には、情報処理装置２００は、制御モードを終了させて、図９の処理を終了する。
例えば図８、図９に示す処理が情報処理装置１００および情報処理装置２００それぞれにおいて行われることによって、図７Ａ、図７Ｂを参照して示したユースケースが実現される。なお、第２の実施形態に係る情報処理方法に係る処理の例が、図８、図９に示す情報処理装置２００における処理の例に限られないことは、言うまでもない。
（第２の実施形態に係る情報処理装置）
次に、上述した第２の実施形態に係る情報処理方法に係る処理を行うことが可能な第２の実施形態に係る情報処理装置の構成の一例について、説明する。
図１０は、第２の実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。情報処理装置２００は、例えば、受信部２０２と、送信部２０４と、通信部２０６と、制御部２０８とを備える。
また、情報処理装置２００は、例えば、ＲＯＭ（図示せず）や、ＲＡＭ（図示せず）、記憶部（図示せず）、情報処理装置２００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。また、情報処理装置２００は、例えば、情報処理装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
ＲＯＭ（図示せず）は、制御部２０８が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部２０８により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、情報処理装置２００が備える記憶手段であり、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第２の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、情報処理装置２００から着脱可能であってもよい。
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置２００のハードウェア構成例］
図１１は、第２の実施形態に係る情報処理装置２００のハードウェア構成の一例を示す説明図である。情報処理装置２００は、例えば、ＭＰＵ２５０と、ＲＯＭ２５２と、ＲＡＭ２５４と、記録媒体２５６と、入出力インタフェース２５８と、操作入力デバイス２６０と、表示デバイス２６２と、ＩＲ送受信デバイス２６４と、通信インタフェース２６６とを備える。また、情報処理装置２００は、例えば、データの伝送路としてのバス２６８で各構成要素間を接続する。
ＭＰＵ２５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置２００全体を制御する制御部２０８として機能する。また、ＭＰＵ２５０は、情報処理装置２００において、例えば、後述する処理部２１０の役目を果たす。なお、処理部２１０は、処理部２１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ２５０とは別体のプロセッサなど）で構成されていてもよい。
ＲＯＭ２５２は、ＭＰＵ２５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ２５４は、例えば、ＭＰＵ２５０により実行されるプログラムなどを一時的に記憶する。
記録媒体２５６は、記憶部（図示せず）として機能し、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第２の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体２５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体２５６は、情報処理装置２００から着脱可能であってもよい。
入出力インタフェース２５８は、例えば、操作入力デバイス２６０や、表示デバイス２６２を接続する。操作入力デバイス２６０は、操作部（図示せず）として機能し、また、表示デバイス２６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース２５８としては、例えば、ＵＳＢ端子や、ＤＶＩ端子、ＨＤＭＩ（登録商標）端子、各種処理回路などが挙げられる。
また、操作入力デバイス２６０は、例えば、情報処理装置２００上に備えられ、情報処理装置２００の内部で入出力インタフェース２５８と接続される。操作入力デバイス２６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス２６２は、例えば、情報処理装置２００上に備えられ、情報処理装置２００の内部で入出力インタフェース２５８と接続される。表示デバイス２６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。
なお、入出力インタフェース２５８が、情報処理装置２００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス２６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
ＩＲ送受信デバイス２６４は、情報処理装置２００が備える一の通信手段であり、赤外線により信号の送受信を行う。ＩＲ送受信デバイス２６４は、リモートコントローラから送信される送信信号を受信する受信部２０２、および操作信号を送信する送信部２０４として機能する。
通信インタフェース２６６は、情報処理装置２００が備える他の通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば情報処理装置１００などの外部装置などと、無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース２６６としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。
情報処理装置２００は、例えば図１１に示す構成によって、第２の実施形態に係る情報処理方法に係る処理を行う。なお、第２の実施形態に係る情報処理装置２００のハードウェア構成は、図１１に示す構成に限られない。
例えば、情報処理装置２００は、接続されている外部のＩＲ送受信デバイスを介して外部装置と通信を行う場合には、ＩＲ送受信デバイス２６４を備えていなくてもよい。
また、情報処理装置２００は、例えば、ＩＲ送受信デバイス２６４の代わりに、リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスを備えていてもよい。ここで、上記リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスは、受信部２０２、および送信部２０４として機能する。
また、情報処理装置２００は、例えば、受信部２０２として機能する通信デバイスと、受信部２０２として機能する通信デバイスとを、それぞれ備えていてもよい。
また、例えば、情報処理装置２００は、通信インタフェース２６６に対応する外部の通信デバイスを介して、情報処理装置１００などの外部装置と通信を行う場合には、通信インタフェース２６６を備えていなくてもよい。
また、情報処理装置２００は、撮像部（図示せず）として機能する撮像デバイスを、さらに備えていてもよい。
また、情報処理装置２００は、例えば、記録媒体２５６、操作入力デバイス２６０、表示デバイス２６２のうちの１または２以上を備えない構成をとることが可能である。
また、情報処理装置２００は、例えば、後述する情報処理装置２００の適用例に応じた構成をとることが可能である。
また、例えば、図１１に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣで実現されてもよい。
再度図１０を参照して、情報処理装置２００の構成の一例について説明する。受信部２０２は、リモートコントローラから送信される操作信号を受信する。受信部２０２としては、例えば、ＩＲ送受信デバイス２６４が挙げられる。
送信部２０４は、操作信号を送信する。送信部２０４としては、例えば、ＩＲ送受信デバイス２６４が挙げられる。
通信部２０６は、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な外部装置と、通信を行う。通信部２０６としては、例えば、通信インタフェース２６６が挙げられる。
制御部２０８は、例えばＭＰＵなどで構成され、情報処理装置２００全体を制御する役目を果たす。また、制御部２０８は、例えば、処理部２１０を備え、第２の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部２１０は、第２の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部２１０は、例えば、第２の実施形態に係る対応付け処理を行い、通信部２０６により受信された操作が行われた操作デバイスの認識結果と、受信部２０２により受信された操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
また、処理部２１０は、例えば、送信制御処理と、制御対象の状態の検出結果に基づく処理との一方または双方を、さらに行ってもよい。
情報処理装置２００は、例えば図１０に示す構成によって、第２の実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置２００は、例えば図１０に示す構成によって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、例えば図１０に示す構成によって、情報処理装置２００は、上述したような第２の実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、第２の実施形態に係る情報処理装置の構成は、図１０に示す構成に限られない。
例えば、第２の実施形態に係る情報処理装置は、図１０に示す処理部２１０を、制御部２０８とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部２１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
また、第２の実施形態に係る情報処理方法に係る処理を実現するための構成は、図１０に示す構成に限られず、第２の実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、受信部２０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、受信部２０２を備えていなくてもよい。第２の実施形態に係る情報処理装置が受信部２０２を備えない構成である場合、処理部２１０は、上記外部の通信デバイスにより受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
また、例えば、送信部２０４と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、送信部２０４を備えていなくてもよい。第２の実施形態に係る情報処理装置が送信部２０４を備えない構成である場合、処理部２１０は、上記外部の通信デバイスに操作信号を送信させる。
また、例えば、通信部２０６と同様の機能、構成を有する外部の通信デバイスを介して、情報処理装置１００などの外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、通信部２０６を備えていなくてもよい。
また、第２の実施形態に係る情報処理装置は、撮像部（図示せず）をさらに備えていてもよい。撮像部（図示せず）をさらに備える場合、処理部２１０は、例えば、撮像部（図示せず）により生成された撮像画像に基づいて、制御対象の状態の検出結果に基づく処理を行う。
以上、第２の実施形態として、情報処理装置を挙げて説明したが、第２の実施形態は、かかる形態に限られない。第２の実施形態は、例えば、“上述した第１の実施形態に係る情報処理装置のアクセサリとして機能する装置”、“時計、照明器具、スピーカなど、空間（または環境）に設けられうる任意の機器”など、第２の実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、第２の実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
（本実施形態に係るプログラム）
［ｉ］第１の実施形態に係るプログラム
コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“第１の実施形態に係る対応付け処理”や“第１の実施形態に係る対応付け処理、および仮想リモートコントローラ制御処理”などの、第１の実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第１の実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
［ｉｉ］第２の実施形態に係るプログラム
コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“第２の実施形態に係る対応付け処理”や“第２の実施形態に係る対応付け処理、および送信制御処理”、“第２の実施形態に係る対応付け処理、および制御対象の状態の検出結果に基づく処理”、“第２の実施形態に係る対応付け処理、送信制御処理、および制御対象の状態の検出結果に基づく処理”などの、第２の実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
また、コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第２の実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
また、例えば、上記では、コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
（２）
前記処理部は、
前記撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識し、
認識された前記操作デバイスと前記操作信号とを対応付ける、（１）に記載の情報処理装置。
（３）
前記処理部は、仮想的なリモートコントローラを生成して、前記仮想的なリモートコントローラを表示画面に表示させ、
前記仮想的なリモートコントローラには、前記操作信号と対応付けられた前記操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる、（１）、または（２）に記載の情報処理装置。
（４）
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と同一である、（３）に記載の情報処理装置。
（５）
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と異なる、（３）、または（４）に記載の情報処理装置。
（６）
前記仮想的なリモートコントローラは、前記仮想的な操作デバイスのみで構成される、（３）〜（５）のいずれか１つに記載の情報処理装置。
（７）
前記処理部は、前記仮想的な操作デバイスを明示させる、（３）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記仮想的な操作デバイスに対する操作が検出された場合、前記処理部は、操作が検出された前記仮想的な操作デバイスに対応する、前記操作デバイスに対応付けられている前記操作信号を、送信させる、（３）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、（８）に記載の情報処理装置。
（１０）
前記撮像画像を生成する撮像部をさらに備え、
前記処理部は、前記撮像部により生成された前記撮像画像に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記操作信号を受信する受信部をさらに備え、
前記処理部は、前記受信部により受信された前記操作信号に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、（１）〜（１０）のいずれか１つに記載の情報処理装置。
（１２）
リモートコントローラが有する操作デバイスに対する操作に応じて、前記リモートコントローラから送信される操作信号を受信する受信部と、
前記リモートコントローラが撮像された撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、
前記外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された前記操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
（１３）
前記通信部が、前記操作デバイスを示す指示信号を受信した場合、
前記処理部は、前記指示信号が示す前記操作デバイスに対応付けられている前記操作信号を、送信させる、（１２）に記載の情報処理装置。
（１４）
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、（１３）、または（１４）に記載の情報処理装置。
（１５）
前記処理部は、さらに、前記リモートコントローラによる制御の対象である制御対象の状態の検出結果に基づく処理を行う、（１２）〜（１４）のいずれか１つに記載の情報処理装置。
（１６）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
（１７）
操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた前記操作デバイスを認識することが可能な外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された、前記操作に応じた操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
（１８）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラム。
１０ リモートコントローラ
２０ 制御対象
１００、２００ 情報処理装置
１０２、２０２ 受信部
１０４、２０４ 送信部
１０６、２０８ 制御部
１１０、２１０ 処理部
２０６ 通信部

Claims (18)

  1. 操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
  2. 前記処理部は、
    前記撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識し、
    認識された前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
  3. 前記処理部は、仮想的なリモートコントローラを生成して、前記仮想的なリモートコントローラを表示画面に表示させ、
    前記仮想的なリモートコントローラには、前記操作信号と対応付けられた前記操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる、請求項１に記載の情報処理装置。
  4. 前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と同一である、請求項３に記載の情報処理装置。
  5. 前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と異なる、請求項３に記載の情報処理装置。
  6. 前記仮想的なリモートコントローラは、前記仮想的な操作デバイスのみで構成される、請求項３に記載の情報処理装置。
  7. 前記処理部は、前記仮想的な操作デバイスを明示させる、請求項３に記載の情報処理装置。
  8. 前記仮想的な操作デバイスに対する操作が検出された場合、前記処理部は、操作が検出された前記仮想的な操作デバイスに対応する、前記操作デバイスに対応付けられている前記操作信号を、送信させる、請求項３に記載の情報処理装置。
  9. 前記操作信号を送信する送信部をさらに備え、
    前記処理部は、前記送信部に前記操作信号を送信させる、請求項８に記載の情報処理装置。
  10. 前記撮像画像を生成する撮像部をさらに備え、
    前記処理部は、前記撮像部により生成された前記撮像画像に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
  11. 前記操作信号を受信する受信部をさらに備え、
    前記処理部は、前記受信部により受信された前記操作信号に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
  12. リモートコントローラが有する操作デバイスに対する操作に応じて、前記リモートコントローラから送信される操作信号を受信する受信部と、
    前記リモートコントローラが撮像された撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、
    前記外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された前記操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
  13. 前記通信部が、前記操作デバイスを示す指示信号を受信した場合、
    前記処理部は、前記指示信号が示す前記操作デバイスに対応付けられている前記操作信号を、送信させる、請求項１２に記載の情報処理装置。
  14. 前記操作信号を送信する送信部をさらに備え、
    前記処理部は、前記送信部に前記操作信号を送信させる、請求項１３に記載の情報処理装置。
  15. 前記処理部は、さらに、前記リモートコントローラによる制御の対象である制御対象の状態の検出結果に基づく処理を行う、請求項１２に記載の情報処理装置。
  16. 操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
  17. 操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた前記操作デバイスを認識することが可能な外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された、前記操作に応じた操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
  18. 操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラム。
JP2016036017A 2016-02-26 2016-02-26 情報処理装置、情報処理方法、およびプログラム Pending JP2017151894A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016036017A JP2017151894A (ja) 2016-02-26 2016-02-26 情報処理装置、情報処理方法、およびプログラム
US15/405,646 US10200526B2 (en) 2016-02-26 2017-01-13 Information processing device, information processing method, and program
EP17153340.9A EP3211516A1 (en) 2016-02-26 2017-01-26 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016036017A JP2017151894A (ja) 2016-02-26 2016-02-26 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017151894A true JP2017151894A (ja) 2017-08-31

Family

ID=57963008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016036017A Pending JP2017151894A (ja) 2016-02-26 2016-02-26 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US10200526B2 (ja)
EP (1) EP3211516A1 (ja)
JP (1) JP2017151894A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199132A (ja) * 2019-06-11 2020-12-17 株式会社トッパンインフォメディア ゲーム装置及びゲームカード

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100531141B1 (ko) 2003-04-01 2005-11-28 최동욱 Ｉｒ 및 ｒｆ 통합 리모콘 모듈을 이용한 홈 오토메이션 시스템 및 그 방법
JP2007511128A (ja) 2003-11-04 2007-04-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ タッチスクリーンを有するユニバーサル・リモートコントロール装置
KR100835378B1 (ko) 2007-04-03 2008-06-04 삼성전자주식회사 통합리모컨의 기기 제어 방법
JP2009246646A (ja) 2008-03-31 2009-10-22 Kenwood Corp リモコン装置及び設定方法
CN103098108B (zh) * 2010-11-25 2017-09-08 松下电器（美国）知识产权公司 通信设备
CN102819946A (zh) 2012-08-29 2012-12-12 杭州尚思科技有限公司 一种万能遥控器关联方法及其系统
CN113766161B (zh) * 2014-12-14 2023-06-20 深圳市大疆创新科技有限公司 视频处理的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199132A (ja) * 2019-06-11 2020-12-17 株式会社トッパンインフォメディア ゲーム装置及びゲームカード
JP7437884B2 (ja) 2019-06-11 2024-02-26 株式会社トッパンインフォメディア ゲーム装置及びゲームカード

Also Published As

Publication number Publication date
US20170251095A1 (en) 2017-08-31
EP3211516A1 (en) 2017-08-30
US10200526B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6259368B2 (ja) 携帯端末の制御方法
US11682355B2 (en) Display apparatus, display control method, and portable terminal apparatus, and program
JP2007259329A (ja) 遠隔制御装置、システムおよび方法
CN105554567A (zh) 电视控制方法和装置
US11726589B2 (en) Electronic device and feedback providing method
JP2012105131A (ja) サーバ装置、表示操作端末、および遠隔操作システム
EP2985980B1 (en) Method and device for playing stream media data
US20140270199A1 (en) Notification control device, notification control method and storage medium
KR20130080278A (ko) 스마트폰을 이용한 디지털기기 제어 및 홈 오토메이션 시스템
JP2013246743A (ja) 画像処理装置、およびプログラム
CN105357449A (zh) 拍摄方法、装置及图像处理方法、装置
CN106358064A (zh) 控制电视机的方法及设备
JP2017151894A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2012119935A (ja) 情報機器、操作対象機器、操作方法
JP5929535B2 (ja) エフェクト制御装置、エフェクト制御方法、およびプログラム
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
US20170310873A1 (en) Terminal apparatus, information acquisition system, information acquisition method, and computer-readable recording medium
JP2010088032A (ja) 遠隔制御システム
JP2008085533A (ja) 撮像装置および撮像機能付き携帯電話機
JP6574941B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20100119837A (ko) 카메라 및 화상인식기술을 이용한 가정용 음향기기 및 휴대용 음향기기의 사용자 조작 인터페이스 방법
CN116486729A (zh) 显示校准方法及装置、芯片、电子设备和存储介质
JP2014057222A (ja) 表示制御装置、表示制御方法、及び、プログラム
CN117636610A (zh) 设备控制方法、装置、智能手表、可读存储介质及芯片
JP2009124384A (ja) 携帯端末装置および制御プログラム