JP2016103073A - 情報処理装置、情報処理方法および情報処理システム - Google Patents

情報処理装置、情報処理方法および情報処理システム Download PDF

Info

Publication number
JP2016103073A
JP2016103073A JP2014239856A JP2014239856A JP2016103073A JP 2016103073 A JP2016103073 A JP 2016103073A JP 2014239856 A JP2014239856 A JP 2014239856A JP 2014239856 A JP2014239856 A JP 2014239856A JP 2016103073 A JP2016103073 A JP 2016103073A
Authority
JP
Japan
Prior art keywords
signal
information processing
mode
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014239856A
Other languages
English (en)
Inventor
健太郎 井田
Kentaro Ida
健太郎 井田
山本 一幸
Kazuyuki Yamamoto
一幸 山本
真 城間
Makoto Shiroma
真 城間
邦仁 澤井
Kunihito Sawai
邦仁 澤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014239856A priority Critical patent/JP2016103073A/ja
Priority to PCT/JP2015/073486 priority patent/WO2016084435A1/ja
Priority to US15/527,772 priority patent/US10452158B2/en
Publication of JP2016103073A publication Critical patent/JP2016103073A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】画面に表示される画像の位置の算出をより柔軟に行う技術を提供する。【解決手段】情報処理装置110は、第一の入力装置120から第一の信号を受信する第一の受信部111と、第二の入力装置130から第一の信号とは異なる第二の信号を受信する第二の受信部112と、第一の信号または第二の信号に基づいて、画面に表示される画像の位置を算出する算出部114と、前記位置に前記画像を表示させる表示制御部116と、を備える。算出部は、第一の信号に基づいて画像の位置を算出する第一のモードと第二の信号に基づいて画像の位置を算出する第二のモードとを有し、第一のモードにおいてユーザ操作イベントが検出された場合に第一のモードから第二のモードへのモードの切り替えを行う。【選択図】図2

Description

本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
近年、入力装置から信号を受信し、受信した信号に基づいて画面に表示される画像の位置を算出し、算出した位置に画像を表示させる情報処理装置が存在する(例えば、特許文献1参照)。かかる技術によれば、入力装置から受信した信号に応じた位置に画像を表示させることが可能である。
特願2013−140856
しかしながら、画面に表示される画像の位置の算出をより柔軟に行うことが可能な技術が提供されることが望ましい。
本開示によれば、第一の入力装置から第一の信号を受信する第一の受信部と、第二の入力装置から前記第一の信号とは異なる第二の信号を受信する第二の受信部と、前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、前記位置に前記画像を表示させる表示制御部と、を備え、前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、情報処理装置が提供される。
本開示によれば、第一の入力装置から第一の信号を受信することと、第二の入力装置から前記第一の信号とは異なる第二の信号を受信することと、前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出することと、前記位置に前記画像を表示させることと、を含み、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行うこと、を含む、情報処理方法が提供される。
本開示によれば、第一の信号を送信する第一の入力装置と、前記第一の信号とは異なる第二の信号を送信する第二の入力装置と、前記第一の入力装置から前記第一の信号を受信する第一の受信部と、前記第二の入力装置から前記第二の信号を受信する第二の受信部と、前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、前記位置に前記画像を表示させる表示制御部と、を備え、前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、情報処理装置と、を有する、情報処理システムが提供される。
以上説明したように本開示によれば、画面に表示される画像の位置の算出をより柔軟に行うことが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理システムの機能構成例を示す図である。 同実施形態に係る出力装置の構成例を示す図である。 赤外線信号の送受信の例を示す図である。 相対座標指定モードと絶対座標指定モードとの間の切り替え手法の例を示す図である。 トリガ発生パターンの第一の例を説明するための図である。 トリガ発生パターンの第二の例を説明するための図である。 トリガ発生パターンの第三の例を説明するための図である。 トリガ発生パターンの第四の例を説明するための図である。 絶対座標指定モードおよび相対座標指定モードそれぞれにおいて表示される画像の例を示す図である。 画像の位置が画面の内部から外れた場合における画像の表示例を示す図である。 画面の内部に画像の位置が入った場合における画像の表示例を示す図である。 画像の位置が画面の内部に入った場合におけるトリガ発生パターンの例を説明するための図である。 情報処理システムのハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの概要
2.情報処理システムの機能構成例
3.情報処理システムの機能詳細
4.情報処理システムのハードウェア構成例
5.むすび
<1.情報処理システムの概要>
まず、本開示の実施形態に係る情報処理システム10の構成例について説明する。図1は、本開示の実施形態に係る情報処理システム10の構成例を説明するための図である。図1に示すように、情報処理システム10は、情報処理装置110、第一の入力装置120、第二の入力装置130、操作検出装置140、出力装置150および表示装置160を備える。
表示装置160は、画面を表示する機能を有する。また、表示装置160は、情報処理装置110から出力された位置に画像を表示する機能を有する。本明細書においては、表示装置160がプロジェクタ161である場合を主に説明する。しかし、表示装置160は、画面に画像を表示する機能を有すればよく、LCD(Liquid Crystal Display)であってもよいし、PDP(Plasma Display Panel)であってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、ホログラムの表示装置であってもよい。
出力装置150は、第一の信号を第一の入力装置120に送信する機能を有する。本明細書においては、第一の信号が画面に照射される光の位置である場合を主に説明する。しかし、第一の信号は画面に照射される光の位置でなくてもよい。また、本明細書においては、画面に照射される光が赤外線である場合を主に説明する(出力装置150がIR(infrared)発光装置151である場合を主に説明する)。しかし、画面に照射される光は、赤外線に限定されない。例えば、画面に照射される光は、赤外線、可視光およびレーザの少なくともいずれか一つを含んでよい。以下の説明においては、画面に照射される光の位置を「赤外線信号」と称する。
操作検出装置140は、ユーザからの操作を検出する機能を有する。例えば、操作検出装置140は、ユーザからのタップ操作および長押し操作を検出する機能を有する。本明細書においては、操作検出装置140がタッチパネル141である場合を主に説明するが、操作検出装置140は、ユーザからの操作を検出する機能を有すればよく、スイッチなどであってもよい。さらに、操作検出装置140がタッチパネル141である場合、タッチパネルの種類は限定されない。
第一の入力装置120は、第一の信号を出力装置150から受信して情報処理装置110に送信する機能を有する。本明細書においては、第一の入力装置120が画面に照射された光の位置を検出する入力装置である場合を主に説明する。特に、本明細書においては、第一の入力装置120が赤外線を検出するイメージセンサ121である場合を主に説明する。しかし、画面に照射される光が可視光である場合には、第一の入力装置120は可視光の位置を検出する入力装置であってよい。また、画面に照射される光がレーザである場合には、第一の入力装置120はレーザの位置を検出する入力装置であってよい。
第二の入力装置130は、第一の信号とは異なる第二の信号を情報処理装置110に送信する機能を有する。例えば、第二の入力装置130は、所定のセンサを有している場合、所定のセンサによって検出された動きを情報処理装置110に送信してよい。本明細書においては、第二の入力装置130がジャイロセンサ131であり、動きがジャイロセンサによって検出された角速度である場合を主に説明する。しかし、第二の入力装置130はジャイロセンサ131に限定されない。例えば、動きは、ジャイロセンサによって検出された角速度、加速度センサによって検出された加速度およびジェスチャ認識により認識された所定の物体(例えば、ユーザの身体など)の移動量の少なくともいずれか一つを含んでよい。
情報処理装置110は、第一の入力装置120から赤外線を受信する機能および第二の入力装置130から角速度を受信する機能を有する。また、情報処理装置110は、赤外線に基づいて画像の位置を算出することも可能であり、角速度に基づいて画像の位置を算出することも可能である。また、情報処理装置110は、算出した位置を表示装置160に出力することが可能である。また、情報処理装置110は、所望のタイミングになると、出力装置150に対して赤外線の送信要求(以下、「ID LED点灯通知」とも言う。)を送信することが可能である。
以上、本開示の実施形態に係る情報処理システム10の構成例について説明した。
<2.情報処理システムの機能構成例>
続いて、本開示の実施形態に係る情報処理システム10の機能構成例について説明する。図2は、本開示の実施形態に係る情報処理システム10の機能構成例を示す図である。図2に示すように、情報処理システム10は、情報処理装置110、第一の入力装置120、第二の入力装置130、操作検出装置140、出力装置150および表示装置160を備える。
情報処理装置110は、記憶媒体に記憶されるプログラムを実行することにより情報処理装置110が有する様々な機能を発揮する。図2に示すように、情報処理装置110は、第一の受信部111、第二の受信部112、検出部113、算出部114、出力制御部115および表示制御部116などの各機能ブロックを有する。これら各機能ブロックが有する機能の詳細については後に説明する。
なお、検出部113、算出部114、出力制御部115および表示制御部116などは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on Chip)などのプロセッサにより構成されてよい。また、これらの各部は、各種の演算処理を実行するための電子回路により構成されてよい。
以上、本開示の実施形態に係る情報処理システム10の機能構成例について説明した。
<3.情報処理システムの機能詳細>
続いて、本開示の実施形態に係る情報処理システム10の機能詳細について説明する。まず、IR発光装置151の構成例について説明する。図3は、IR発光装置151の構成例を示す図である。図3に示すように、IR発光装置151は、IR LED151a、固定台151b、フレネルレンズ151cおよび把持部151dを備えてよい。固定台151bには、IR LED151aが固定される。フレネルレンズ151cは、LED151aから発射された赤外線を集光して平行に近い光線を生成して外部に送り出す。把持部151dは、フレネルレンズ151cを把持する。
ここで、フレネルレンズ151cの直径d1、LED151aとフレネルレンズ151cとの距離d2は特に限定されないが、直径d1は10mmであってもよく、距離d2は15mmであってもよい。以上、IR発光装置151の構成例について説明したが、IR発光装置151の構成は、かかる例に限定されない。
続いて、赤外線信号の通信の例について説明する。図4は、赤外線信号の送受信の例を示す図である。図4を参照すると、IR発光装置151によって画面Gに赤外線が照射されている。画面Gは、イメージセンサ121によって撮像され、イメージセンサ121による撮像結果は、情報処理装置110に送信される。情報処理装置110においては、第一の受信部111によってイメージセンサ121による撮像結果が受信され、算出部114によって撮像結果に基づいて画面Gにおける画像の位置が決定される。
より具体的には、算出部114は、画面Gに照射された赤外線の位置を画像の位置として決定すればよい(赤外線信号によって絶対座標が指定されてもよい)。表示制御部116は、決定された位置に画像を表示させる。なお、図4には、第一の入力装置120の例としてイメージセンサ121を用いる例が示されているが、イメージセンサ121の代わりにPSD(Position Sensing Device)が用いられてもよい。あるいは、イメージセンサ121の代わりにフォトダイオードの配列が用いられてもよい。以上、赤外線信号の通信の例について説明した。
続いて、角速度の通信の例について説明する。ジャイロセンサ131によって角速度が検出されると、角速度はジャイロセンサ131から情報処理装置110に送信される。情報処理装置110においては、第二の受信部112によって角速度が受信され、算出部114によって、角速度に基づいて画面Gにおける画像の位置が算出される。具体的には、算出部114は、角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置を決定すればよい(角速度によって相対座標が指定されてもよい)。
例えば、角速度に応じた画面Gにおけるベクトルの算出の手法については、国際公開第2009/008372号に開示されている。しかし、角速度に応じた画面Gにおけるベクトルの算出の手法は特に限定されない。表示制御部116は、算出部114によって算出された位置に画像を表示させる。
以上に説明したように、算出部114は、画面Gに照射された赤外線の位置を画像の位置として決定する第一のモード(以下、「絶対座標指定モード」とも言う。)を有する。また、算出部114は、角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置を決定する第二のモード(以下、「相対座標指定モード」とも言う。)を有する。
そして、算出部114は、絶対座標指定モードにおいてユーザ操作イベントが検出された場合に絶対座標指定モードから相対座標指定モードへのモードの切り替えを行う。かかる構成によれば、画面Gに表示される画像の位置の算出をより柔軟に行うことが可能となる。例えば、絶対座標指定モードから相対座標指定モードへのモードの切り替えがなされることによって、以下に示すような利点が享受され得る。
例えば、絶対座標指定モードでは、画面Gに照射された赤外線の位置を画像の位置として決定するため、赤外線が画面Gに照射されるように出力装置150の向きを変える必要が生じ、操作性が向上しない可能性がある。一方、相対座標指定モードでは、角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することによって新たな画像の位置を決定するため、出力装置150の向きに対する制限が低減される。したがって、絶対座標指定モードから相対座標指定モードへのモードの切り替えがなされることによって、操作性が向上し得る。
また、例えば、絶対座標指定モードにおいて用いられる第一の入力装置120および出力装置150の消費電力は、相対座標指定モードにおいて用いられる第二の入力装置130の消費電力よりも大きいことがある。例えば、出力装置150が光を照射する場合には、出力装置150の消費電力が大きくなりやすい。より具体的には、出力装置150がIR発光装置151である場合、IR LED151aの消費電流が数十mA程度であるのに対して、第二の入力装置130がジャイロセンサ131である場合、ジャイロセンサ131の消費電流が数mA程度であり得る。この場合には、前者が後者の数十倍の電力を消費し得る。
ここで、IR LED151aを間欠動作によって点滅させる方式を採用することも想定されるが、ジャイロセンサ131と同程度の消費電力程度まで、IR LED151aの消費電力を低減することは困難である。したがって、絶対座標指定モードから相対座標指定モードへのモードの切り替えがなされることによって、消費電力を低減することが可能となる。
また、絶対座標指定モードでは、出力装置150から照射される光が外乱(蛍光灯から照射される光や太陽光など)によって妨害されて検出されない可能性がある。例えば、出力装置150から照射される光が赤外線である場合、外乱に赤外線の波長と一致する波長を有する成分が含まれる場合があり得るため、外乱が赤外線のノイズとなってしまう。さらに、赤外線と外乱成分とを分離できない場合には、赤外線が照射された位置を正しく検出することができない可能性がある。したがって、絶対座標指定モードから相対座標指定モードへの切り替えがなされることによって、出力装置150から照射される光の検出精度を向上させることが可能となる。
一方、算出部114は、相対座標指定モードにおいてユーザ操作イベントが検出された場合に相対座標指定モードから絶対座標指定モードへの切り替えを行ってもよい。かかる構成によれば、画面Gに表示される画像の位置の算出をさらに柔軟に行うことが可能となる。例えば、相対座標指定モードから絶対座標指定モードへの切り替えがなされることによって、以下に示すような利点が享受され得る。
例えば、相対座標指定モードでは、角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することによって新たな画像の位置を決定するため、画像の位置をダイレクトに指定する感覚をユーザに与えることが困難である。そのため、画面Gにおける位置を直感的に指定するようなユーザインタフェースには不向きである。したがって、相対座標指定モードから絶対座標指定モードへの切り替えがなされることによって、画像の位置をよりダイレクトに指定する感覚をユーザに与えることが可能である。
例えば、相対座標指定モードでは、角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することによって新たな画像の位置を決定するため、前回の画像の位置をユーザが把握していない場合などには、画像の位置をユーザが見失いやすくなる。さらに、画面Gの高解像度化および高画角化が進むと、画面Gの全体に占める画像サイズが小さくなり、より画像を見失いやすくなるという状況に陥る。したがって、相対座標指定モードから絶対座標指定モードへの切り替えがなされることによって、画像の位置をユーザが見失う可能性を低減することが可能である。
なお、赤外線は、生体に与える影響がレーザなどより少ないと考えられるため、赤外線が用いられるのがより好適である。さらに、画面Gに照射された可視光は、ユーザの目に見えやすいが、画面Gに照射された赤外線は、ユーザの目には見えにくい。そこで、画面Gに表示された画像の位置と照射された可視光の位置とのずれよりも、画面Gに表示された画像の位置と照射された赤外線の位置とのずれのほうがユーザにとって把握しにくいため、赤外線が用いられるのがより好適である。
続いて、相対座標指定モードと絶対座標指定モードとの間の切り替え手法の例について説明する。図5は、相対座標指定モードと絶対座標指定モードとの間の切り替え手法の例を示す図である。なお、図5に示した相対座標指定モードと絶対座標指定モードとの間の切り替え手法の例は、一例に過ぎないため、相対座標指定モードと絶対座標指定モードとの間の切り替え手法は、図5に示した例に限定されない。また、図5に示した例では、第二の入力装置130と出力装置150とが同一のリモートコントローラに組み込まれている。
図5に示したように、出力制御部115は、IR LED点灯トリガ(赤外線信号の送信開始トリガ)が検出された場合(S11)、IR LED点灯通知(赤外線信号の送信開始要求)を出力装置150に出力する(S12)。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。IR LED151aの点灯開始によって赤外線が照射され始めると、画面における赤外線が照射された位置が赤外線信号として、第一の入力装置120に入力され、情報処理装置110によって赤外線信号に応じた位置に画像が表示される。
一方、出力制御部115は、IR LED消灯トリガ(赤外線信号の送信終了トリガ)が検出された場合(S21)、IR LED消灯通知(赤外線信号の送信終了要求)を出力装置150に出力する(S22)。出力装置150は、IR LED消灯通知を受信すると、IR LED151aの点灯を終了する。IR LED151aの点灯終了によって赤外線の照射が終了すると、第一の入力装置120への赤外線信号の入力が停止される。
一方、出力制御部115は、Gyro ONトリガ(角速度の送信開始トリガ)が検出された場合(S31)、Gyro ON通知(角速度の送信開始要求)を第二の入力装置130に出力する(S32)。第二の入力装置130は、Gyro ON通知を受信すると、ジャイロセンサ131の電源をONにする。ジャイロセンサ131の電源がONにされると、ジャイロセンサ131によって検出された角速度が情報処理装置110に送信され、情報処理装置110によって角速度に応じた位置に画像が表示される。
一方、出力制御部115は、Gyro OFFトリガ(角速度の送信終了トリガ)が検出された場合(S41)、Gyro OFF通知(角速度の送信終了トリガ)を出力装置150に出力する(S42)。出力装置150は、Gyro OFF通知を受信すると、ジャイロセンサ131の電源をOFFにする。ジャイロセンサ131の電源がOFFにされると、ジャイロセンサ131による角速度の検出が停止される。
以上、相対座標指定モードと絶対座標指定モードとの間の切り替え手法の例について説明した。続いて、各種のトリガ発生の例について説明する。図6は、トリガ発生パターンの第一の例を説明するための図である。図6を参照すると、時刻T11〜T17それぞれにおいてIR LED151aが点灯しているか消滅しているかが把握されるように示されている。また、図6に示した例においても、ジャイロセンサ131とIR LED151aとが同一のリモートコントローラに組み込まれている。
まず、ユーザによってリモートコントローラが静止された状態から移動された状態に遷移されたとすると(時刻T11〜T12)、ジャイロセンサ131によって検出される角速度が変化する。すると、出力制御部115は、角速度が変化したことを、IR LED点灯トリガとして検出する。出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。
その後、IR LED151aの点灯開始によって赤外線が照射され始め、画面Gに赤外線が照射されると(時刻T13)、画面Gにおける赤外線が照射された位置が赤外線信号として第一の入力装置120に入力される。そして、第一の入力装置120から赤外線信号が情報処理装置110によって受信されると、情報処理装置110によって赤外線信号に応じた位置に画像B11が表示される(表示制御部116は、赤外線が照射された位置に画像B11を表示させる)。また、出力制御部115は、第一の受信部111によって赤外線信号が受信されると、赤外線信号が受信されたことを、IR LED消灯トリガとして検出する。
続いて、出力制御部115は、IR LED消灯トリガが検出された場合、IR LED消灯通知を出力装置150に出力する。出力装置150は、IR LED消灯通知を受信すると、IR LED151aの点灯を終了する(時刻T14)。IR LED151aの点灯終了によって赤外線の照射が終了すると、第一の入力装置120への赤外線信号の入力が停止される。また、図6を参照すると、表示制御部116は、赤外線が消灯された位置に画像B12を表示させている。
赤外線が消灯された後、算出部114は、ジャイロセンサ131によって検出された角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置を算出し、表示制御部116は、新たな画像の位置に画像を表示させる(時刻T14〜T15)。続いて、画像B13の位置が画面Gの内部から外れたとする。すると、出力制御部115は、画像B13の位置が画面Gの内部から外部に外れたことを、IR LED点灯トリガとして検出する(時刻T15〜T16)。
出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始するとともに画像B13を非表示とする。続いて、角速度が所定時間変化しなかったとする(時刻T17)。すると、出力制御部115は、角速度が所定時間変化しないことを、IR LED消灯トリガとして検出する。続いて、出力制御部115は、IR LED消灯トリガが検出された場合、IR LED消灯通知を出力装置150に出力する。出力装置150は、IR LED消灯通知を受信すると、IR LED151aの点灯を終了する(時刻T18)。その後の状態は時刻T11と同じ状態に戻ってよい。
図7は、トリガ発生パターンの第二の例を説明するための図である。図7を参照すると、時刻T21〜T27それぞれにおいてIR LED151aが点灯しているか消滅しているかが把握されるように示されている。また、図7に示した例においても、ジャイロセンサ131とIR LED151aとが同一のリモートコントローラに組み込まれている。
まず、ジャイロセンサ131によって検出される角速度が変化すると、出力制御部115は、ジャイロセンサ131によって検出される角速度が変化したことを、赤外線信号の送信開始および送信終了を定期的に繰り返すトリガとして検出する(時刻T21)。すなわち、出力制御部115は、ジャイロセンサ131によって検出される角速度が変化したことが検出された場合、IR LED点灯トリガとIR LED消灯トリガとを定期的に交互に出力装置150に出力する。
出力装置150は、IR LED点灯通知を受信した場合には、IR LED151aの点灯を開始し(時刻T22、T24、T26)、IR LED消灯通知を受信した場合には、IR LED151aの点灯を終了する(時刻T23、T25、T27)。IR LED151aの点灯開始によって赤外線が照射され始めると(時刻T13)、情報処理装置110によって赤外線信号に応じた位置に画像B21、B23、B25が表示される(表示制御部116は、赤外線が照射された位置に画像B21、B23、B25を表示させる)。赤外線の定期的な利用により、画像の位置が定期的に調整され得る。
一方、ジャイロセンサ131によって検出される角速度が変化しなくなると、出力制御部115は、ジャイロセンサ131によって検出される角速度が変化しないことを、IR LED消灯トリガとして検出する。IR LED151aの点灯終了によって赤外線が照射されなくなると、算出部114は、ジャイロセンサ131によって検出された角速度に応じた画面Gにおけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置B22、B24を算出し、表示制御部116は、新たな画像の位置B22、B24に画像を表示させる。
図8は、トリガ発生パターンの第三の例を説明するための図である。図8を参照すると、時刻T31〜T35それぞれにおいてIR LED151aが点灯しているか消滅しているかが把握されるように示されている。また、図8に示した例においても、ジャイロセンサ131とIR LED151aとが同一のリモートコントローラに組み込まれている。
まず、ユーザによってリモートコントローラが静止された状態から移動された状態に遷移されたとすると(時刻T31〜T32)、ジャイロセンサ131によって検出される角速度が変化する。すると、出力制御部115は、角速度が変化したことを、IR LED点灯トリガとして検出する。出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。また、出力制御部115は、角速度が変化したことを、Gyro OFFトリガとして検出する。出力制御部115は、Gyro OFFトリガが検出された場合、Gyro OFF通知を第二の入力装置130に出力する。第二の入力装置130は、Gyro OFF通知を受信すると、ジャイロセンサ131の電源をONにする。
その後、IR LED151aの点灯開始によって赤外線が照射され始め、画面Gに赤外線が照射されると(時刻T32)、画面Gにおける赤外線が照射された位置が赤外線信号として第一の入力装置120に入力される。そして、第一の入力装置120から赤外線信号が情報処理装置110によって受信されると、情報処理装置110によって赤外線信号に応じた位置に画像B31〜B33が表示される(表示制御部116は、赤外線が照射された位置に画像B31〜B33を表示させる)。
続いて、画像B33の位置が画面Gの内部から外れ、第一の受信部111によって赤外線信号が受信されなくなったとする。すると、出力制御部115は、第一の受信部111によって赤外線信号が受信されなくなったことを、Gyro ONトリガとして検出する(時刻T35)。例えば、出力制御部115は、所定の周期ごとに赤外線信号が受信されたか否かを確認してよい。
出力制御部115は、Gyro ONトリガが検出された場合、Gyro ON通知を第二の入力装置130に出力する。第二の入力装置130は、Gyro ON通知を受信すると、ジャイロセンサ131の電源をONにするとともに画像B13を非表示とする。その後の状態は時刻T31と同じ状態に戻ってよい。
図9は、トリガ発生パターンの第四の例を説明するための図である。図9を参照すると、時刻の変化に従って遷移する画面G1から画面G4までが表示されている。タッチパネル141へのタップ操作が行われていない状態においては、IR LED151aも消灯しており、ジャイロセンサ131の電源もONにされていない(画面G1)。そして、ユーザによってタッチパネル141へのタップ操作がなされると、出力制御部115は、タッチパネル141へのタップ操作がなされたことを、IR LED点灯トリガとして検出する。
出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。IR LED151aの点灯開始によって赤外線が照射され始め、画面における赤外線が照射された位置が赤外線信号として、第一の入力装置120に入力されると、情報処理装置110によって赤外線信号に応じた位置に画像B41が表示される(画面G2)。
なお、赤外線信号が画面G2に照射されずに第一の入力装置120に赤外線信号が入力されなかった場合には(例えば、赤外線の照射が画面G2に向いていない場合や、赤外線が画面G2に到達しない場合など)、前回の画像の位置に画像B41が表示されてもよい。その後、出力制御部115は、所定時間が経過したことを、IR LED消灯トリガとして検出し、IR LED消灯通知を出力装置150に出力する。出力装置150は、IR LED消灯通知を受信すると、IR LED151aの点灯を終了する。
タッチパネル141へのタップ操作に引き続いて、タッチパネル141への長押し操作がユーザによってなされた場合、出力制御部115は、タッチパネル141への長押し操作がなされたことを、Gyro ONトリガとして検出する。出力制御部115は、Gyro ONトリガが検出された場合、Gyro ON通知を第二の入力装置130に出力する。第二の入力装置130は、Gyro ON通知を受信すると、ジャイロセンサ131の電源をONにする。ジャイロセンサ131の電源がONにされると、ジャイロセンサ131によって検出された角速度が情報処理装置110に送信され、情報処理装置110によって角速度に応じた位置に画像B42、B43が表示される(画面G3)。
タッチパネル141への長押し操作が終了された場合、出力制御部115は、タッチパネル141への長押し操作が終了されたことを、Gyro OFFトリガとして検出する。出力制御部115は、Gyro OFFトリガが検出された場合、Gyro OFF通知を出力装置150に出力する。出力装置150は、Gyro OFF通知を受信すると、ジャイロセンサ131の電源をOFFにする。ジャイロセンサ131の電源がOFFにされると、ジャイロセンサ131による角速度の検出が停止され、画像B44の位置が停止する(画面G4)。
以上、トリガ発生パターンの第一の例から第四の例までを説明した。ここで、絶対座標指定モードおよび相対座標指定モードのいずれのモードで動作しているのかをユーザが容易に把握できるとよい。そのため、表示制御部116は、絶対座標指定モードと相対座標指定モードとにおいて異なる画像を表示させるとよい。図10は、絶対座標指定モードおよび相対座標指定モードそれぞれにおいて表示される画像の例を示す図である。
例えば、図10に示したように、表示制御部116は、絶対座標指定モードと相対座標指定モードとにおいて表示される画像の色、サイズ、形状およびアニメーションの有無の少なくともいずれか一つを変化させてもよい。より具体的には、画像Ba1と画像Ba2との間では色が異なっている。画像Bb1と画像Bb2との間ではサイズが異なっている。画像Bc1と画像Bc2との間では形状が異なっている。画像Bd1と画像Bd2とはアニメーションの有無が異なっている。
なお、モードと色(または、サイズ、形状、アニメーションの有無)の対応関係については特に限定されない。表示制御部116は、絶対座標指定モードと相対座標指定モードとにおいて表示される画像の色、サイズ、形状およびアニメーションの有無の少なくともいずれか一つを徐々に変化させてもよい。また、絶対座標指定モードと相対座標指定モードとにおいて異なる振動パターンがリモートコントローラに与えられてもよい。
以上に説明した例においては、画像の位置が画面の内部に存在する場合を主に説明した。しかし、画像の位置が画面の内部から外れた場合であっても、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて、画面の拡張平面上における仮想的な画像の位置を算出し、表示制御部116は、画像を表示させることが可能である。図11は、画像の位置が画面の内部から外れた場合における画像の表示例を示す図である。図11を参照すると、時刻の変化に従って遷移する画面G1から画面G4までが表示されている。
まず、図11に示すように、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面の内部における画像の位置を算出する(画面G1および画面G2、x座標(x)からx座標(0)まで)。このとき、表示制御部116は、x座標(x)からx座標(0)までに従って、画像B51から画像B52までを表示させてよい。画面G2においては、画像B52の位置が画面G2の端部に達しているとする。
続いて、画像の位置が画面の内部から外れた場合、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面の拡張平面上における仮想的な画像の位置を算出することが可能である(画面G3および画面G4、x座標(−x1)からx座標(−x2)まで)。このとき、表示制御部116は、画面の拡張平面上における仮想的な画像の位置と画面の端部との距離(x1からx2まで)に応じて変形した画像B53から画像B54までを表示させてよい。
以上、画像の位置が画面の内部から外れた場合における画像の表示例を説明した。続いて、画面の内部に画像の位置が入った場合における画像の表示例を説明する。図12は、画面の内部に画像の位置が入った場合における画像の表示例を示す図である。図12を参照すると、時刻の変化に従って遷移する画面G1から画面G4までが表示されている。
まず、画像の位置が画面の内部に入った場合、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面の拡張平面上における仮想的な画像の位置を算出することが可能である(画面G1および画面G2、x座標(−x2)からx座標(−x1)まで)。このとき、表示制御部116は、画面の拡張平面上における仮想的な画像の位置と画面の端部との距離(x2からx1まで)に応じて変形した画像B61から画像B62までを表示させてよい。画面G2においては、画像B62の位置が画面G2の端部に達しているとする。
続いて、図12に示すように、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面の内部における画像の位置を算出する(画面G3および画面G4、x座標(0)からx座標(x)まで)。このとき、表示制御部116は、x座標(0)からx座標(x)までに従って、画像B63から画像B64までを表示させてよい。
以上、画面の内部に画像の位置が入った場合における画像の表示例を説明した。続いて、画像の位置が画面の内部に入った場合におけるトリガ発生パターンの例を説明する。図13は、画像の位置が画面の内部に入った場合におけるトリガ発生パターンの例を説明するための図である。かかるトリガ発生パターンは、上記のトリガ発生パターンの第一の例から第四の例までのいずれにも適用可能である。
図13に示すように、画像B41の位置が画面Gの内部から外れた場合(時刻T41〜T43)、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面Gの拡張平面上における仮想的な画像の位置を算出することが可能である。そして、画像B41の位置が画面Gの内部に入った場合(時刻T44)、出力制御部115は、画像B41の位置が画面Gの内部に入ったことを、IR LED点灯トリガとして検出する。
出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。その後、IR LED151aの点灯開始によって赤外線が照射され始め、画面Gに赤外線が照射されると(時刻T45)、画面Gにおける赤外線が照射された位置が赤外線信号として第一の入力装置120に入力される。そして、第一の入力装置120から赤外線信号が情報処理装置110によって受信されると、表示制御部116は、赤外線が照射された位置に画像B41を表示させる。
画像の位置が画面の内部に入った場合におけるトリガ発生パターンの他の例について説明する。かかるトリガ発生パターンも、上記のトリガ発生パターンの第一の例から第四の例までのいずれにも適用可能である。まず、出力制御部115は、画像B41の位置が画面Gの内部から外れた場合、画像B41の位置が画面Gの内部から外れたことを、IR LED点灯トリガとして検出する。
出力制御部115は、IR LED点灯トリガが検出された場合、IR LED点灯通知を出力装置150に出力する。出力装置150は、IR LED点灯通知を受信すると、IR LED151aの点灯を開始する。その後、IR LED151aの点灯開始によって赤外線が照射され始めるともに、算出部114は、ジャイロセンサ131によって検出された角速度に基づいて画面Gの拡張平面上における仮想的な画像の位置を算出する。
続いて、出力制御部115は、画像B41の位置が画面Gの内部に入った場合、その旨を検出する。一方、画面Gにおける赤外線が照射された位置が赤外線信号として第一の入力装置120に入力され、第一の入力装置120から赤外線信号が情報処理装置110によって受信される。表示制御部116は、算出部114によって算出された画像B41の位置と受信された赤外線が照射された位置とのうち、先に入力された位置に画像B41を表示し、後に入力された位置に基づいて双方の位置のずれを補正すればよい。
以上、本開示の実施形態に係る情報処理システム10の機能詳細について説明した。
<4.情報処理システムのハードウェア構成例>
続いて、本開示の実施形態に係る情報処理システム10のハードウェア構成例について説明する。図14は、本開示の実施形態に係る情報処理システム10のハードウェア構成例を示す図である。ただし、図14に示したハードウェア構成例は、情報処理システム10のハードウェア構成の一例を示したに過ぎない。したがって、情報処理システム10のハードウェア構成は、図14に示した例に限定されない。
図14に示したように、情報処理システム10は、CPU(Central Processing Unit)801と、ROM(Read Only Memory)802と、RAM(Random Access Memory)803と、センサ804と、入力装置808と、出力装置810と、ストレージ装置811と、ドライブ812と、撮像装置813と、通信装置815とを備える。
CPU801は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム10内の動作全般を制御する。また、CPU801は、マイクロプロセッサであってもよい。ROM802は、CPU801が使用するプログラムや演算パラメータなどを記憶する。RAM803は、CPU801の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
センサ804は、情報処理システム10の状態を検知するための状態検知センサなどの各種検知用センサとその周辺回路とを含む。センサ804としては、例として、測位センサ、傾きセンサ、加速度センサ、ジャイロセンサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ804による検知信号は、CPU801に送られる。これにより、CPU801は、情報処理システム10の状態(位置、傾き、加速度、角速度、方位、温度、湿度、照度など)を知ることができる。
入力装置808は、マウス、キーボード、タッチパネル、ボタン(電源ボタンなど)、マイクロフォン、スイッチ、ダイヤルおよびレバーなどユーザが情報を入力するための操作部と、ユーザによる入力に基づいて入力信号を生成し、CPU801に出力する入力制御回路などから構成されている。情報処理システム10のユーザは、該入力装置808を操作することにより、情報処理システム10に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、これらの操作部が設けられる位置は特に限定されない。例えば、情報処理システム10の筐体側面に当該操作部が設けられてもよいし、ディスプレイが設けられる面と同一面上に設けられてもよい。
出力装置810は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)およびランプなどの表示装置を含んでよい。さらに、出力装置810は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
ストレージ装置811は、情報処理システム10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置811は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置811は、CPU801が実行するプログラムや各種データを格納する。
ドライブ812は、記憶媒体用リーダライタであり、情報処理システム10に内蔵、あるいは外付けされる。ドライブ812は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、RAM803に出力する。また、ドライブ812は、リムーバブル記憶媒体に情報を書き込むこともできる。
撮像装置813は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置813は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
通信装置815は、ネットワークを介して(あるいは、直接的に)外部装置と通信する。通信装置815は、無線通信用のインタフェースであってもよく、例えば、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。無線通信用のインタフェースの具体的な例としては、CDMA(Code Division Multiple
Access)、W−CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)、Wi−fi(登録商標)(Wireless Fidelity)のような通信方式に対応したモデムなどの通信ユニットが挙げられる。
また、通信装置815は、有線通信用のインタフェースであってもよく、例えば、接続端子、伝送回路およびその他の通信処理用の回路を含んでもよい。また、CPU801と通信装置815とは1つのチップにより構成されてもよいし、別々のデバイスとして実現されてもよい。また、図14には図示していないが、情報処理システム10は、例えば、充電式電池のような電力源から供給される電力により駆動してもよく、当該電力源は、情報処理システム10に対して着脱可能に構成されていてもよい。
以上、本開示の実施形態に係る情報処理システム10のハードウェア構成例について説明した。例えば、出力装置150および表示装置160は、通信装置815および出力装置810によりそれぞれ実現され得る。また、情報処理装置110は、CPU801および通信装置815により実現され得る。したがって、情報処理装置110を有する情報処理システム10としてコンピュータを機能させるためのプログラムがストレージ装置811、ROM802またはRAM803に保持され、CPU801が当該プログラムを実行し得る。
<5.むすび>
以上説明したように、本開示の実施形態によれば、第一の入力装置120から赤外線信号を受信する第一の受信部111と、第二の入力装置130から角速度を受信する第二の受信部112と、赤外線信号または角速度に基づいて、画面に表示される画像の位置を算出する算出部114と、算出された位置に画像を表示させる表示制御部116と、を備える、情報処理装置110が提供される。
ここで、算出部114は、赤外線信号に基づいて画像の位置を算出する絶対座標指定モードと角速度に基づいて画像の位置を算出する相対座標指定モードと、を有し、絶対座標指定モードにおいてユーザ操作イベントが検出された場合に絶対座標指定モードから相対座標指定モードへのモードの切り替えを行う。かかる構成によれば、画面に表示される画像の位置の算出をより柔軟に行うことが可能となり、絶対座標指定モードと相対座標指定モードとの双方の利点が享受され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、出力装置150がリモートコントローラに組み込まれており、画面から離れた位置からリモートコントローラにより光が照射される例を説明した。しかし、出力装置150は、ペン形状の出力装置であってもよい。かかる場合、ユーザは、ペン形状の出力装置を画面における所望の位置に接触させることによって、出力装置150から第一の入力装置120に信号を送信させることが可能である。
また、例えば、情報処理システム10の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、情報処理システム10の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した情報処理システム10が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第一の入力装置から第一の信号を受信する第一の受信部と、
第二の入力装置から前記第一の信号とは異なる第二の信号を受信する第二の受信部と、
前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、
前記位置に前記画像を表示させる表示制御部と、を備え、
前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、
情報処理装置。
(2)
前記第一の信号は、前記画面に照射された光の位置である、
前記(1)に記載の情報処理装置。
(3)
前記第二の信号は、所定のセンサによって検出された動きである、
前記(1)に記載の情報処理装置。
(4)
前記画面に照射された光は、赤外線、可視光およびレーザの少なくともいずれか一つを含む、
前記(2)に記載の情報処理装置。
(5)
前記動きは、ジャイロセンサによって検出された角速度、加速度センサによって検出された加速度およびジェスチャ認識により認識された所定の物体の移動量の少なくともいずれか一つを含む、
前記(3)に記載の情報処理装置。
(6)
前記算出部は、前記第一のモードにおいては、前記画面に照射された光の位置を前記画像の位置として決定する、
前記(2)に記載の情報処理装置。
(7)
前記算出部は、前記第二のモードにおいては、前記動きに応じた前記画面におけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置を決定する、
前記(3)に記載の情報処理装置。
(8)
前記情報処理装置は、
前記第一の信号の送信開始トリガが検出された場合、前記第一の信号の送信開始要求を出力装置に出力し、前記第一の信号の送信終了トリガが検出された場合、前記第一の信号の送信終了要求を前記出力装置に出力する出力制御部を備える、
前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記出力制御部は、前記第二の信号の送信開始トリガが検出された場合、前記第二の信号の送信開始要求を前記第二の入力装置に出力し、前記第二の信号の送信終了トリガが検出された場合、前記第二の信号の送信終了要求を前記第二の入力装置に出力する、
前記(8)に記載の情報処理装置。
(10)
前記出力制御部は、前記第二の信号が変化したことを、前記第一の信号の前記送信開始トリガとして検出する、
前記(9)に記載の情報処理装置。
(11)
前記出力制御部は、前記画像の位置が前記画面の内部から外れたことを、前記第一の信号の前記送信開始トリガとして検出する、
前記(9)に記載の情報処理装置。
(12)
前記出力制御部は、タッチパネルへのタップ操作がなされたことを、前記第一の信号の前記送信開始トリガとして検出する、
前記(9)に記載の情報処理装置。
(13)
前記出力制御部は、前記第一の信号が受信されたことを、前記第一の信号の前記送信終了トリガまたは前記第二の信号の前記送信終了トリガとして検出する、
前記(9)に記載の情報処理装置。
(14)
前記出力制御部は、前記第二の信号が所定時間変化しないことを、前記第一の信号の前記送信終了トリガとして検出する、
前記(9)に記載の情報処理装置。
(15)
前記出力制御部は、タッチパネルへの長押し操作がなされたことを、前記第二の信号の前記送信開始トリガとして検出する、
前記(9)に記載の情報処理装置。
(16)
前記出力制御部は、前記第一の信号が受信されなくなったことを、前記第二の信号の前記送信開始トリガとして検出する、
前記(9)に記載の情報処理装置。
(17)
前記出力制御部は、前記第二の信号が変化したことを、前記第一の信号の送信開始および送信終了を定期的に繰り返すトリガとして検出する、
前記(9)に記載の情報処理装置。
(18)
前記表示制御部は、前記第一のモードと前記第二のモードとにおいて異なる前記画像を表示させる、
前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
第一の入力装置から第一の信号を受信することと、
第二の入力装置から前記第一の信号とは異なる第二の信号を受信することと、
前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出することと、
前記位置に前記画像を表示させることと、を含み、
前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行うこと、
を含む、情報処理方法。
(20)
第一の信号を送信する第一の入力装置と、
前記第一の信号とは異なる第二の信号を送信する第二の入力装置と、
前記第一の入力装置から前記第一の信号を受信する第一の受信部と、
前記第二の入力装置から前記第二の信号を受信する第二の受信部と、
前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、
前記位置に前記画像を表示させる表示制御部と、を備え、
前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、
情報処理装置と、
を有する、情報処理システム。
10 情報処理システム
110 情報処理装置
111 第一の受信部
112 第二の受信部
113 検出部
114 算出部
115 出力制御部
116 表示制御部
120 第一の入力装置
121 イメージセンサ
130 第二の入力装置
131 ジャイロセンサ
140 操作検出装置
141 タッチパネル
150 出力装置
151 IR発光装置
151a LED
151b 固定台
151c フレネルレンズ
151d 把持部
160 表示装置
161 プロジェクタ
特開2008−287625号公報

Claims (20)

  1. 第一の入力装置から第一の信号を受信する第一の受信部と、
    第二の入力装置から前記第一の信号とは異なる第二の信号を受信する第二の受信部と、
    前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、
    前記位置に前記画像を表示させる表示制御部と、を備え、
    前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、
    情報処理装置。
  2. 前記第一の信号は、前記画面に照射された光の位置である、
    請求項1に記載の情報処理装置。
  3. 前記第二の信号は、所定のセンサによって検出された動きである、
    請求項1に記載の情報処理装置。
  4. 前記画面に照射された光は、赤外線、可視光およびレーザの少なくともいずれか一つを含む、
    請求項2に記載の情報処理装置。
  5. 前記動きは、ジャイロセンサによって検出された角速度、加速度センサによって検出された加速度およびジェスチャ認識により認識された所定の物体の移動量の少なくともいずれか一つを含む、
    請求項3に記載の情報処理装置。
  6. 前記算出部は、前記第一のモードにおいては、前記画面に照射された光の位置を前記画像の位置として決定する、
    請求項2に記載の情報処理装置。
  7. 前記算出部は、前記第二のモードにおいては、前記動きに応じた前記画面におけるベクトルを前回の画像の位置に対して加算することにより新たな画像の位置を決定する、
    請求項3に記載の情報処理装置。
  8. 前記情報処理装置は、
    前記第一の信号の送信開始トリガが検出された場合、前記第一の信号の送信開始要求を出力装置に出力し、前記第一の信号の送信終了トリガが検出された場合、前記第一の信号の送信終了要求を前記出力装置に出力する出力制御部を備える、
    請求項1に記載の情報処理装置。
  9. 前記出力制御部は、前記第二の信号の送信開始トリガが検出された場合、前記第二の信号の送信開始要求を前記第二の入力装置に出力し、前記第二の信号の送信終了トリガが検出された場合、前記第二の信号の送信終了要求を前記第二の入力装置に出力する、
    請求項8に記載の情報処理装置。
  10. 前記出力制御部は、前記第二の信号が変化したことを、前記第一の信号の前記送信開始トリガとして検出する、
    請求項9に記載の情報処理装置。
  11. 前記出力制御部は、前記画像の位置が前記画面の内部から外れたことを、前記第一の信号の前記送信開始トリガとして検出する、
    請求項9に記載の情報処理装置。
  12. 前記出力制御部は、タッチパネルへのタップ操作がなされたことを、前記第一の信号の前記送信開始トリガとして検出する、
    請求項9に記載の情報処理装置。
  13. 前記出力制御部は、前記第一の信号が受信されたことを、前記第一の信号の前記送信終了トリガまたは前記第二の信号の前記送信終了トリガとして検出する、
    請求項9に記載の情報処理装置。
  14. 前記出力制御部は、前記第二の信号が所定時間変化しないことを、前記第一の信号の前記送信終了トリガとして検出する、
    請求項9に記載の情報処理装置。
  15. 前記出力制御部は、タッチパネルへの長押し操作がなされたことを、前記第二の信号の前記送信開始トリガとして検出する、
    請求項9に記載の情報処理装置。
  16. 前記出力制御部は、前記第一の信号が受信されなくなったことを、前記第二の信号の前記送信開始トリガとして検出する、
    請求項9に記載の情報処理装置。
  17. 前記出力制御部は、前記第二の信号が変化したことを、前記第一の信号の送信開始および送信終了を定期的に繰り返すトリガとして検出する、
    請求項9に記載の情報処理装置。
  18. 前記表示制御部は、前記第一のモードと前記第二のモードとにおいて異なる前記画像を表示させる、
    請求項1に記載の情報処理装置。
  19. 第一の入力装置から第一の信号を受信することと、
    第二の入力装置から前記第一の信号とは異なる第二の信号を受信することと、
    前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出することと、
    前記位置に前記画像を表示させることと、を含み、
    前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行うこと、
    を含む、情報処理方法。
  20. 第一の信号を送信する第一の入力装置と、
    前記第一の信号とは異なる第二の信号を送信する第二の入力装置と、
    前記第一の入力装置から前記第一の信号を受信する第一の受信部と、
    前記第二の入力装置から前記第二の信号を受信する第二の受信部と、
    前記第一の信号または前記第二の信号に基づいて、画面に表示される画像の位置を算出する算出部と、
    前記位置に前記画像を表示させる表示制御部と、を備え、
    前記算出部は、前記第一の信号に基づいて前記画像の位置を算出する第一のモードと前記第二の信号に基づいて前記画像の位置を算出する第二のモードとを有し、前記第一のモードにおいてユーザ操作イベントが検出された場合に前記第一のモードから前記第二のモードへのモードの切り替えを行う、
    情報処理装置と、
    を有する、情報処理システム。
JP2014239856A 2014-11-27 2014-11-27 情報処理装置、情報処理方法および情報処理システム Pending JP2016103073A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014239856A JP2016103073A (ja) 2014-11-27 2014-11-27 情報処理装置、情報処理方法および情報処理システム
PCT/JP2015/073486 WO2016084435A1 (ja) 2014-11-27 2015-08-21 情報処理装置、情報処理方法および情報処理システム
US15/527,772 US10452158B2 (en) 2014-11-27 2015-08-21 Information processing device, information processing method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014239856A JP2016103073A (ja) 2014-11-27 2014-11-27 情報処理装置、情報処理方法および情報処理システム

Publications (1)

Publication Number Publication Date
JP2016103073A true JP2016103073A (ja) 2016-06-02

Family

ID=56074016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014239856A Pending JP2016103073A (ja) 2014-11-27 2014-11-27 情報処理装置、情報処理方法および情報処理システム

Country Status (3)

Country Link
US (1) US10452158B2 (ja)
JP (1) JP2016103073A (ja)
WO (1) WO2016084435A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6169238B1 (ja) * 2016-09-21 2017-07-26 京セラ株式会社 電子機器、プログラムおよび制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325069A (ja) * 2000-03-07 2001-11-22 Nikon Gijutsu Kobo:Kk 位置検出装置およびその方法
KR100819618B1 (ko) * 2001-10-24 2008-04-04 소니 가부시끼 가이샤 화상 정보 표시 장치
US7640518B2 (en) 2006-06-14 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for switching between absolute and relative pointing with direct input devices
JP5104697B2 (ja) 2008-09-30 2012-12-19 カシオ計算機株式会社 ポインティング装置及びその情報送信方法と外部情報処理装置、及びプログラム
JP2011110136A (ja) 2009-11-25 2011-06-09 Nonomura Denshi Giken:Kk アミューズメント装置
JP2015039084A (ja) 2011-02-28 2015-02-26 シャープ株式会社 画像表示装置セット
JP2015014882A (ja) 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体

Also Published As

Publication number Publication date
US10452158B2 (en) 2019-10-22
WO2016084435A1 (ja) 2016-06-02
US20170322639A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
JP7326328B2 (ja) 光学式位置追跡デバイスの電力管理
JP2009250772A (ja) 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
JP5681633B2 (ja) 視覚情報を通信するためのコントロールデバイス
KR20060132219A (ko) 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
CN104321683A (zh) 用于感测环境光的方法和系统
JP2009050701A (ja) 対話画像システム、対話装置及びその運転制御方法
JP2012113624A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US10672187B2 (en) Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects
US20130335576A1 (en) Dynamic adaptation of imaging parameters
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2016031350A1 (ja) 制御装置、制御方法、及びプログラム
JP2015170175A (ja) 情報処理装置、および情報処理方法
WO2015104884A1 (ja) 情報処理システム、情報処理方法およびプログラム
JP5976787B2 (ja) レーザー・ダイオード・モード
TW201448484A (zh) 指向式機器人之遙控系統
US20080244466A1 (en) System and method for interfacing with information on a display screen
JP2018207151A (ja) 表示装置、受信装置、プログラム、及び受信装置の制御方法。
WO2016084435A1 (ja) 情報処理装置、情報処理方法および情報処理システム
TWI607343B (zh) 資訊科技裝置輸入系統及相關方法
TW201303637A (zh) 互動影像系統、互動控制裝置及其運作方法
US20170168592A1 (en) System and method for optical tracking
JP2012027769A (ja) インタラクティブホワイトボード装置、画像表示装置、及びキャリブレーション方法
US20210302587A1 (en) Power-efficient hand tracking with time-of-flight sensor
JP2009200846A (ja) 指示システム、指示プログラム及び指示装置
CN104536556B (zh) 一种信息处理方法及电子设备