JP2019117994A - 情報処理装置、情報処理方法および情報処理システム - Google Patents

情報処理装置、情報処理方法および情報処理システム Download PDF

Info

Publication number
JP2019117994A
JP2019117994A JP2017250390A JP2017250390A JP2019117994A JP 2019117994 A JP2019117994 A JP 2019117994A JP 2017250390 A JP2017250390 A JP 2017250390A JP 2017250390 A JP2017250390 A JP 2017250390A JP 2019117994 A JP2019117994 A JP 2019117994A
Authority
JP
Japan
Prior art keywords
input
information processing
imaging
user
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017250390A
Other languages
English (en)
Inventor
拓也 池田
Takuya Ikeda
拓也 池田
健太郎 井田
Kentaro Ida
健太郎 井田
佑理 日下部
Yuri Kusakabe
佑理 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017250390A priority Critical patent/JP2019117994A/ja
Priority to CN201880075750.1A priority patent/CN111373732A/zh
Priority to PCT/JP2018/038249 priority patent/WO2019130729A1/ja
Priority to US16/765,804 priority patent/US11501459B2/en
Priority to EP18893651.2A priority patent/EP3734960A4/en
Publication of JP2019117994A publication Critical patent/JP2019117994A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】入力に関連するオブジェクトがより高精度にセンシングされる技術が提供されることが望まれる。【解決手段】第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定する判定部と、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、を備える、情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
近年、映像によって監視対象に関する情報を収集する技術が開示されている。例えば、監視領域を撮影する俯瞰カメラからの映像に基づいて監視対象の位置情報を検出し、俯瞰カメラが撮影する領域よりも狭い領域を注視して撮影する注視カメラの映像から監視対象の特徴を表すイベント情報を検出し、位置情報とイベント情報から追跡情報を得て、位置情報、イベント情報および追跡情報を用いて注視カメラによる注視対象を切り替える技術が開示されている（例えば、特許文献１参照）。
特開２０１３−１６８７５７号公報
しかし、ユーザによる入力が行われる場合がある。かかる場合、ユーザによる入力に関連するオブジェクトが監視対象となり得る。このとき、入力に関連するオブジェクトがより高精度にセンシングされる技術が提供されることが望まれる。
本開示によれば、第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定する判定部と、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、を備える、情報処理装置が提供される。
本開示によれば、第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定することと、プロセッサにより、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定することと、を含む、情報処理方法が提供される。
本開示によれば、第１の撮像装置と情報処理装置とを有する情報処理システムであって、前記第１の撮像装置は、撮像画像を撮像し、前記情報処理装置は、前記撮像画像に基づいて、ユー力状態を判定する判定部と、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、を備える、情報処理システムが提供される。
以上説明したように本開示によれば、入力に関連するオブジェクトがより高精度にセンシングされる技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの基本的な動作の例を説明するための図である。 俯瞰センサによって撮像された撮像画像の例を示す図である。 ホーミングセンサによって撮像された入力画像の例を示す図である。 本開示の実施形態に係る情報処理システムの概略構成図である。 本開示の実施形態に係る情報処理システムの機能構成例を示す図である。 本開示の実施形態に係る情報処理システムの基本的な処理を示すフローチャートである。 本開示の実施形態に係る情報処理システムの基本的な処理の変形例を示すフローチャートである。 ユーザによる入力手法を特定する処理の例を示すフローチャートである。 入力装置の使用状況を示すデータの例を示す図である。 ホーミングセンサを決定する処理の例を示すフローチャートである。 評価項目ごとの評価値範囲および重み係数の例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 評価項目の具体例を示す図である。 センシング方式が２Ｄ認識である場合における入力座標の検出を説明するための図である。 センシング方式が３Ｄ認識である場合における入力座標の検出を説明するための図である。 使用環境の第１の応用例を説明するための図である。 使用環境の第２の応用例を説明するための図である。 使用環境の第３の応用例を説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
０．概要
１．実施形態の詳細
１．１．システム構成例
１．２．基本的な処理の流れ
１．２．１．入力手法の特定
１．２．２．ホーミングセンサの決定
１．２．３．ホーミングセンサ駆動
１．２．４．入力座標検出
１．２．５．ユーザ入力終了
１．３．発展例
１．４．ハードウェア構成例
２．むすび
＜０．概要＞
近年、プロジェクタの小型化が進み、会議室や個人の部屋などにプロジェクタが持ち込まれて利用されるケースも少なくない。また、近年の研究では、プロジェクタによって投影されたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をユーザが操作するといったインタラクティブなプロジェクタの活用方法が提案されている。これらの研究では、室内環境において任意の場所に対する操作体（例えば、手、指など）による入力に対するセンシングが行われ得る。このようなユースケースでは、センシング精度がユーザの入力体験に大きく影響を与え得る。したがって、本開示の実施形態に係る情報処理システムは、このようなユースケースにおいてユーザによる入力に対するセンシング精度を向上させることが可能である。
図１は、本開示の実施形態に係る情報処理システムの基本的な動作の例を説明するための図である。図１を参照すると、複数のスクリーンＳｃ（スクリーンＳｃ−Ａ、スクリーンＳｃ−Ｂ、スクリーンＳｃ−Ｃ）が示されている。これらのスクリーンＳｃには、プロジェクタ４２０から映像が投影されることが想定されている。しかし、プロジェクタ４２０の代わりに他の表示装置が利用される場合には、スクリーンＳｃの代わりに他の表示面が用いられてもよい。
図１に示した例では、壁面および床面がスクリーンＳｃとして用いられる場合を示している。しかし、壁面および床面以外の表示面がスクリーンＳｃとして用いられてもよい。例えば、表示面は、後にも説明するようにテーブル面などであってもよいし、事前に登録された一般的な物体であってもよい。また、表示面は、平面であってもよいし、曲面であってもよい。また、スクリーンＳｃは、操作体によって指し示されるポインティング面の例である。ポインティングは、スクリーンＳｃに対する操作体の接触によって可能であってもよいし、スクリーンＳｃに対する操作体の非接触によって可能であってもよい。
図１には、操作体の例として入力装置２００が示されている。特に、図１には、入力装置２００の例として、ペン型の入力装置が用いられる場合が示されている。しかし、入力装置２００としては、ペン型の入力装置の代わりに、他の入力装置が用いられてもよい。また、操作体としては、入力装置２００の代わりに入力装置２００以外の他の操作体（例えば、ユーザの手、指など）が用いられてよい。本開示の実施形態においては、操作体として、ユーザの手または指（以下、ユーザの「手指」と言う場合がある。）または入力装置２００が用いられる場合を主に想定する。
図１を参照すると、俯瞰センサ３２０およびホーミングセンサ３１０が設けられている。図１に示されるように、ホーミングセンサ３１０は、回転可能に構成されている。なお、本開示の実施形態においては、出力装置４００がホーミングセンサ３１０と一体として構成されている場合を主に想定する。しかし、出力装置４００はホーミングセンサ３１０と別体として構成されていてもよい。
図２は、俯瞰センサ３２０によって撮像された撮像画像の例を示す図である。図２を参照すると、俯瞰センサ３２０によって撮像された撮像画像の例としての俯瞰センサ画像Ｇ１０が示されている。俯瞰センサ画像Ｇ１０は、想定される環境（例えば、室内環境）において、壁面、床面などを含んだ環境全体が俯瞰されるように撮像されている。また、図２を参照すると、スクリーンＳｃ−Ａ、スクリーンＳｃ−Ｂ、スクリーンＳｃ−Ｄ、スクリーンＳｃ−Ｅには、壁面が利用され、スクリーンＳｃ−Ｃ、スクリーンＳｃ−Ｇには、床面が利用され、スクリーンＳｃ−Ｆには、テーブル面が利用されている。図２に示された例では、複数のスクリーンＳｃ同士が離れて存在するが、複数のスクリーンＳｃ同士が連続していてもよい。
図３は、ホーミングセンサ３３０によって撮像された入力画像の例を示す図である。図３を参照すると、ホーミングセンサ３１０によって撮像された入力画像の例としてのホーミングセンサ画像ｇ１０が示されている。図３を参照すると、図２に示された俯瞰センサ画像Ｇ１０と比較して、ホーミングセンサ画像ｇ１０には、スクリーンＳｃ−Ａと入力装置２００とが広範囲に写っている。すなわち、ホーミングセンサ３１０の画角は、俯瞰センサ３２０の画角と比較して狭くなっている。あるいは、ホーミングセンサ３１０の解像度が、俯瞰センサ３２０の解像度と比較して高くなっていてもよい。
したがって、俯瞰センサ３２０は、入力装置２００によってどのスクリーンＳｃに対してポインティングがなされているか（あるいは、ポインティングがなされようとしているか）を判定するための撮像画像を提供するのに適している。一方、ホーミングセンサ３１０は、入力装置２００によってポインティングがなされている（あるいは、ポインティングがなされようとしている）スクリーンＳｃ（図１に示された例では、スクリーンＳｃ−Ａ）を撮像することによって高精度に入力装置２００によるポインティング座標を検出するための入力画像を提供するのに適している。
なお、図１に示された例では、俯瞰センサ３２０は１台であり、ホーミングセンサ３１０は１台である。しかし、後にも説明するように、俯瞰センサ３２０は複数台であってもよいし、ホーミングセンサ３１０は複数台であってもよい。なお、俯瞰センサ３２０は、撮像画像を撮像する第１の撮像装置の一例に過ぎないため、俯瞰センサ３２０の代わりに他の撮像装置が利用されてもよい。同様に、ホーミングセンサ３１０は、入力画像を撮像する第２の撮像装置の一例に過ぎないため、ホーミングセンサ３１０の代わりに他の撮像装置が利用されてもよい。
入力装置２００は、ユーザによって先端がスクリーンＳｃ（図１に示された例では、スクリーンＳｃ−Ａ）に接触されると、先端がスクリーンＳｃから受ける圧力によって入力装置２００のスイッチが押されることによって、ＩＲ ＬＥＤ（ｉｎｆｒａｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）がＩＲを発光するように構成されている。そのため、入力装置２００によって発光されたＩＲの輝点が俯瞰センサ３２０によって検出されると（Ｓ１１）、ＩＲの輝点の位置に基づいて、スクリーンＳｃ−Ａに対して入力装置２００によってポインティングがなされている（あるいは、ポインティングがなされようとしている）ことが検出され、ホーミングセンサ３１０に対して、スクリーンＳｃ−Ａを向くように指示が出される（Ｓ１２）。
ホーミングセンサ３１０は、指示に従ってスクリーンＳｃ−Ａを向き、入力装置２００によって発光されたＩＲの輝点を検出することによって、高精度に入力装置２００によるポインティング座標を検出する。ポインティング座標が高精度に検出されると、プロジェクタ４２０によって、ポインティング座標に対して先端の軌跡が投影される（Ｓ１３）。なお、プロジェクタ４２０によって投影される軌跡は、プロジェクタ４２０によって投影される第１の映像の一例に過ぎないため、プロジェクタ４２０によって軌跡以外の他の映像が投影されてもよい。
以上に説明したように、本開示の実施形態に係る情報処理システムの基本的な動作によって、ユーザによる入力に対するセンシング精度を向上させることが可能である。
＜１．実施形態の詳細＞
［１．１．システム構成例］
続いて、図４および図５を参照しながら本開示の実施形態に係る情報処理システム１の構成例について説明する。図４は、本開示の実施形態に係る情報処理システム１の概略構成図である。図４に示されるように、情報処理システム１は、情報処理装置１００、入力装置２００、ホーミングセンサ３１０−１、３１０−２、俯瞰センサ３２０を備える。
ホーミングセンサ３１０−１、３１０−２それぞれは、プロジェクタ４２０と一体に構成されている。ここで、ホーミングセンサ３１０の数は、限定されず、１または複数であればよい。図４に示される例では、ユーザＵ１０は、操作体の例としての入力装置２００を用いてスクリーンＳｃ−Ａをポインティングしようとしている。一方、ユーザＵ２０は、操作体の例としての指を用いてスクリーンＳｃ−Ｆを用いてポインティングしようとしている。
例えば、情報処理装置１００は、俯瞰センサ３２０による撮像画像に基づいて、ユーザＵ１０による入力に対して高精度なセンシングが可能なホーミングセンサ３１０を選択する。そして、情報処理装置１００は、選択したホーミングセンサ３１０によってユーザＵ１０による入力に対するセンシングを開始する。このとき、ホーミングセンサ３１０は、ユーザＵ１０による入力に対してセンシング可能となるまで回転可能であってよい。スクリーンＳｃ−Ｆによる入力に対するセンシングも同様に開始されてよい。
図５は、本開示の実施形態に係る情報処理システム１の機能構成例を示す図である。図１に示したように、情報処理システム１は、情報処理装置１００と、入力装置２００と、ホーミングセンサ３１０−１〜３１０−ｎ（ｎは自然数）と、俯瞰センサ３２０と、出力装置４００とを備える。
情報処理装置１００は、Ｉ／Ｆ部１１０を備える。また、情報処理装置１００は、環境認識部１２１、入力手法識別部１２２、ユーザ認識部１２３、入力精度解析部１２４、ジェスチャ認識部１２５、入力装置認識部１２６、ホーミングセンサ制御部１３１および入力制御部１３２といった制御部を有する。
このうち、ユーザ認識部１２３および入力精度解析部１２４は、俯瞰センサ３２０の撮像画像に基づいて、ユーザの入力状態を判定する判定部として機能し得る。また、ホーミングセンサ制御部１３１は、ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と入力状態とに基づいて、俯瞰センサ３２０とは異なるホーミングセンサ３１０によって入力画像が撮像される撮像位置を決定するセンサ制御部として機能し得る。入力制御部１３２は、入力画像に関する処理を行う機能を有する。かかる構成によれば、入力に関連するオブジェクトがより高精度にセンシングされ得る。
以下では、入力関連オブジェクトがスクリーン（ポインティング面）である場合を主に想定する。しかし、入力関連オブジェクトは、操作体であってもよい。すなわち、入力関連オブジェクトは、操作体とスクリーン（ポインティング面）とのうち少なくともいずれか一方を含んでよい。また、以下に説明するように、入力状態は、操作体によってスクリーン（ポインティング面）が指し示された状態、および、ユーザとスクリーン（ポインティング面）との距離が所定の距離よりも小さい状態の少なくともいずれか一方を含んでよい。以下では、入力状態の例として、これら２つの状態を主に用いて説明する。
また、以下では、複数の撮像候補位置それぞれにホーミングセンサ３１０があらかじめ設けられている場合を主に想定する。このとき、ホーミングセンサ制御部１３１は、入力関連オブジェクトと複数の撮像候補位置それぞれに設けられたホーミングセンサ３１０（撮像候補装置）との位置関係と入力状態とに基づいて、ホーミングセンサ３１０（撮像候補装置）から、入力画像を撮像するホーミングセンサ３１０を選択する。これによって、ホーミングセンサ制御部１３１は、入力画像を撮像するホーミングセンサ３１０が設けられた位置を撮像位置として決定する。
かかる制御部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されてよい。かかる制御部がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
俯瞰センサ３２０は、環境全体を俯瞰するように撮像する。本開示の実施形態においては、俯瞰センサ３２０として、赤外光を観測する（可視光をカットする）カメラ３２１とデプスセンサ３２２とが用いられる場合を主に想定する。しかし、カメラ３２１は、可視光カメラを含んでもよい。また、俯瞰センサ３２０として、サーモセンサ３２３、広視野をセンシングするレーダ測距センサ３２４などが用いられてもよい。また、俯瞰センサ３２０は、ズームを行ったり絞りを変更したりするモードを備えていてもよい。
俯瞰センサ３２０による撮像画像（センシング情報）は、情報処理装置１００におけるＩ／Ｆ部１１０を介して、環境認識部１２１、入力手法識別部１２２、ユーザ認識部１２３、入力精度解析部１２４に送られる。
環境認識部１２１は、俯瞰センサ３２０による撮像画像に基づいて、環境の３次元形状や、スクリーンの３次元位置を認識する。入力手法識別部１２２は、ユーザによる入力手法が、指（または手）による入力手法（ハンド入力手法）であるか、入力装置による入力手法であるかを特定する。
ユーザ認識部１２３は、俯瞰センサ３２０による撮像画像に基づいて、ユーザの３次元位置を認識する。
入力精度解析部１２４は、スクリーンに対するポインティング座標およびユーザの位置などを認識し、ユーザがスクリーンに対してポインティングしているかどうか（あるいは、ポインティングしようとしているかどうか）を判定する。これらの情報は、ホーミングセンサ制御部１３１に送られ、ホーミングセンサ制御部１３１は、これらの情報に基づいて、ユーザの入力に対するセンシングに適したホーミングセンサ３１０を決定する。
ホーミングセンサ３１０は、ユーザによる入力を俯瞰センサ３２０より高精度にセンシングする。ここで、ホーミングセンサ３１０は、任意の方向をセンシングし得るよう駆動機構３１１を有する。例えば、駆動機構３１１は、２軸駆動機構であってよい。このように、本開示の実施形態においては、ホーミングセンサ３１０が回転可能である（ホーミングセンサ３１０の向きが変化し得る）場合を主に想定する。しかし、ホーミングセンサ３１０は、回転可能であるだけではなく移動可能であってもよい（ホーミングセンサ３１０の位置が変化可能であってもよい）。
本開示の実施形態においては、ホーミングセンサ３１０として、赤外光を観測する（可視光をカットする）カメラ３１２とデプスセンサ３１３とが用いられる場合を主に想定する。しかし、カメラ３１２は、可視光カメラを含んでもよい。また、ホーミングセンサ３１０として、サーモセンサ、操作体をセンシング可能なレーダ測距センサ３１４などが用いられてもよい。また、ホーミング３１０は、ズームを行ったり絞りを変更したりするモードを備えていてもよい。
ホーミングセンサ３１０によって撮像された入力画像（センシング情報）は、情報処理装置１００におけるＩ／Ｆ部１１０を介して、ジェスチャ認識部１２５、入力装置認識部に送られる。ジェスチャ認識部１２５は、ユーザが手指による入力を行っている場合、ホーミングセンサ３１０によって撮像された入力画像に基づいて、ユーザの手指の３次元位置とスクリーンの３次元位置とを認識し、これらの位置を入力情報として入力制御部１３２に送る。入力装置認識部１２６は、ユーザが入力装置による入力を行っている場合、ホーミングセンサ３１０によって撮像された入力画像から入力装置の２次元位置とスクリーンの２次元位置とを認識し、これらの情報を入力情報として入力制御部１３２に送る。
入力装置２００は、ユーザによる入力に用いられるデバイスである。上記したように、本開示の実施形態においては、先端にＬＥＤ２１０（ＩＲ ＬＥＤ）が搭載されたペン型のデバイスが用いられる場合を主に想定する。例えば、入力装置２００は、ユーザによってスクリーンに押し付けられるとＬＥＤ２１０が発光する機構を持つ。ＬＥＤ２１０による発光位置（輝点）は、俯瞰センサ３２０およびホーミングセンサ３１０によって検出され、情報処理装置１００に送られる。
入力装置２００には、再帰性反射マーカ２５０が付与されていてもよい。その場合には、投光器とカメラとを有するデバイスによってマーカ位置が検出され、マーカ位置が入力情報として入力制御部１３２に送られる。また、入力装置２００は、レーザポインタのように指向性がある光を用いたデバイスでもよい。かかる場合には、ペンで書くように入力を行うのではなく、スクリーンから離れた位置からのポインティングによって入力が行われ得る。
また、入力装置２００としては、スマートフォンなどの携帯端末や、腕輪型やメガネ型のウェアラブルデバイスが用いられてもよい。例えば、これらのデバイスの形状からデバイスの位置が認識され、かつ、コンピュータとの接続状態が認識された場合、デバイスの位置やコンピュータとの接続状態などが複合的に処理されることによって、これらのデバイスが入力装置として用いられ得る。
また、ジャイロセンサ２６０、加速度センサ２３０、地磁気センサ２２０など（ＩＭＵ：慣性計測装置）の組み合わせを用いることによって、入力装置２００の自己位置推定が行われてもよい。このとき、ホーミングセンサ３１０によって入力装置２００の位置が直接的に検出可能な場合には、ホーミングセンサ３１０によって入力装置２００の絶対位置が検出されてよい。
一方、ホーミングセンサ３１０によって入力装置２００の位置が直接的に検出不可能な場合には、過去に検出された絶対位置を基準としたＩＭＵセンサに基づく相対位置によって入力装置２００の絶対位置が検出されてよい。これによって、ユーザや障害物の遮蔽などが原因となり、ホーミングセンサ３１０によって入力装置２００が検出されない場合であっても、入力装置２００の位置（２次元位置または３次元位置）が取得され得る。
また、入力装置２００は、通信モジュール２４０を備える。入力装置２００は、通信モジュール２４０によって、情報処理装置１００の入力手法識別部１２２に通信情報やＩＭＵによる動き情報を送る。通信情報は、無線通信に使用されるＩＤ（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のＩＤ、Ｗｉ−Ｆｉ（登録商標）のＩＤなど）であってよい。これらの通信情報や動き情報と俯瞰センサ３２０による撮像画像とに基づいて、ユーザの入力手法が特定される。
情報処理装置１００は、各センサや入力装置２００から情報を受け取り、各部で処理を行った後、ホーミングセンサ制御部１３１によって、ホーミングセンサ３１０へ情報を送り、入力制御部１３２は、出力装置４００に情報を送る。ホーミングセンサ制御部１３１は、適切なホーミングセンサ３１０を決定した後、スクリーンの位置へホーミングセンサ３１０を駆動させ、ホーミングセンサ３１０によるセンシングを開始させる。入力制御部１３２は、入力座標（ポインティング座標）を検出し、入力座標に基づいて映像を生成して出力装置４００に映像を送る。
出力装置４００は、任意の場所へ映像を提示可能な装置である。本開示の実施形態においては、駆動機構４１０を有し、ユーザが入力を行っている任意の場所へ映像を投影できるプロジェクタ４２０が利用される場合を主に想定する。また、本開示の実施形態においては、ホーミングセンサ３１０と同軸上にプロジェクタ４２０が搭載されている場合を想定する。
しかし、ホーミングセンサ３１０とプロジェクタ４２０とは、必ずしも同軸上に配置されていなくてもよい。ただし、ホーミングセンサ３１０とプロジェクタ４２０との位置関係は既知である必要がある。また、駆動機構４１０は、プロジェクタ４２０の向きを変えるだけでなく、プロジェクタ４２０を移動可能な機構を併せ持ってもよい。また、出力装置４００は、入力情報をディスプレイ４３０から表示してもよい。
出力装置４００は、全方位に映像を投影可能なプロジェクタを有してもよいし、全面ディスプレイを有してもよい（全面ディスプレイで埋められたような環境が提供されてもよい）。また、事前に登録された任意の３次元形状の物体がスクリーンとして利用されてもよい。かかる場合には、上記したようにスクリーンの２次元位置または３次元位置が認識される場合と同様に、３次元形状の物体の位置が認識されることによって、３次元形状の物体の位置に基づいて、ホーミングセンサ３１０によるセンシングが行われ得る。
以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
［１．２．基本的な処理の流れ］
続いて、本開示の実施形態に係る情報処理システム１の基本的な処理の流れについて説明する。
図６は、本開示の実施形態に係る情報処理システム１の基本的な処理を示すフローチャートである。まず、入力手法識別部１２２は、俯瞰センサ３２０から得られた情報と入力デバイスからの情報を用いて、ユーザによる入力手法を特定する（Ｓ２１０）。本開示の実施形態においては、入力手法識別部１２２が、ユーザによる入力手法が、入力装置による入力手法であるか、ユーザの手指による入力手法であるかを特定する。これによって、入力装置による入力手法のセンシング方式として２Ｄ認識が決定され、ユーザの手指による入力手法のセンシング方式として３Ｄ認識が決定される。
なお、センシング方式がどのようにして決定されるかは、特に限定されない。例えば、複数のカメラそれぞれの撮像画像において、スクリーンに対する操作体の視差が存在しない場合には、操作体がスクリーンに接していることが想定されるため、センシング方式として２Ｄ認識が用いられてもよい。一方、複数のカメラそれぞれの撮像画像において、スクリーンに対する操作体の視差が存在する場合には、操作体がスクリーンに接していないことが想定されるため、センシング方式として３Ｄ認識が用いられてもよい。
２Ｄ認識と３Ｄ認識との間には、以下に示すような差異がある。すなわち、２Ｄ認識では、画像から入力装置による２次元のポインティング座標が検出され、検出された２次元のポインティング座標から２次元のスクリーン座標への座標変換が行われる。一方、３Ｄ認識では、デプス情報からスクリーンの３次元位置と手指の３次元位置とが算出され、これらに基づいてスクリーンに対する指先の３次元の接触位置を検出し、３次元の接触位置から２次元のスクリーン座標への座標変換が行われる。
次に、ホーミングセンサ制御部１３１は、ユーザによる入力をセンシングするホーミングセンサ３１０を決定する（Ｓ２２０）。ここでは、ホーミングセンサ制御部１３１は、Ｓ２１０において決定されたユーザ入力手法、ユーザの位置と、スクリーン（あるいは、操作体）とホーミングセンサ３１０との位置関係に基づいて、複数のホーミングセンサ３１０それぞれに対して評価値を算出し、各評価値に基づいてホーミングセンサ３１０を決定する。
続いて、入力制御部１３２は、決定されたホーミングセンサ３１０に対して、スクリーンをセンシングするように駆動させる（Ｓ２３０）。そして、入力制御部１３２によって、ホーミングセンサ３１０の入力画像に関する処理が、操作体によってスクリーン（ポインティング面）が指し示されたことが検出されたことによって開始される。これによって、ユーザによる入力が高解像度にセンシングされる。
ホーミングセンサ３１０によって、ユーザによる入力がセンシングされると、入力制御部１３２は、センシングによって得られた画像から入力座標（ポインティング座標）を検出し（Ｓ２４０）、入力座標（ポインティング座標）をスクリーン座標へ変換し、スクリーン座標に基づいて映像を投影する（Ｓ２５０）。続いて、ユーザ入力が終了しない場合には（Ｓ２６０において「Ｎｏ」）、動作がＳ２４０に移行されるが、ユーザ入力が終了した場合には（Ｓ２６０において「Ｙｅｓ」）、動作が終了される。
図７は、本開示の実施形態に係る情報処理システム１の基本的な処理の変形例を示すフローチャートである。変形例においても、図６に示された例と同様に、ユーザ入力手法が特定される（Ｓ２１０）。次に、ホーミングセンサ制御部１３１は、ユーザによる入力をセンシングするホーミングセンサ３１０の決定を試みる（Ｓ２２０）。ここでは、ホーミングセンサ制御部１３１は、ホーミングセンサ３１０の利用状況、Ｓ２１０において決定されたユーザ入力手法、ユーザの位置と、スクリーン（あるいは、操作体）とホーミングセンサ３１０との位置関係に基づいて、複数のホーミングセンサ３１０それぞれに対して評価値を算出し、各評価値に基づいてホーミングセンサ３１０を決定する。
入力制御部１３２は、ホーミングセンサが決定されたか否かを判定する（Ｓ２７１）。入力制御部１３２は、使用可能なホーミングセンサ３１０が存在する場合には（Ｓ２７１において「Ｙｅｓ」）、図６に示された例と同様に、Ｓ２３０に動作を移行させる。一方、入力制御部１３２は、使用可能なホーミングセンサ３１０が存在しない場合には（Ｓ２７１において「Ｎｏ」）、俯瞰センサ３２０に基づく入力座標（ポインティング座標）の検出を行い（Ｓ２７２）、入力座標（ポインティング座標）に基づいて映像を投影する（Ｓ２５０）。ユーザ入力が終了しない場合には（Ｓ２６０において「Ｎｏ」）、動作がＳ２２０に移行される。入力制御部１３２は、ユーザによって入力されている間にも、随時使用可能なホーミングセンサ３１０が存在するかどうか評価を行い（Ｓ２２０）、使用可能なホーミングセンサ３１０が存在したら（Ｓ２７１において「Ｙｅｓ」）、可能なタイミングでホーミングセンサ３１０をユーザによってポインティングされているスクリーンへ駆動させる（Ｓ２３０）。一方、ユーザ入力が終了した場合には（Ｓ２６０において「Ｙｅｓ」）、動作が終了される。
以下では、「入力手法の識別」、「ホーミングセンサ決定」、「ホーミングセンサ駆動」、「入力座標検出」「ユーザ入力終了」について詳しく述べる。
（１．２．１．入力手法の特定）
まず、ユーザによる入力手法の特定（Ｓ２１０）について説明する。図８は、ユーザによる入力手法を特定する処理の例を示すフローチャートである。図８に示されるように、入力手法識別部１２２は、俯瞰センサ３２０によるセンシングデータを取得し（Ｓ２１１）、センシングデータに基づいて、ユーザがスクリーンに近づいたかどうかを判定する。次に、入力手法識別部１２２は、ユーザによる入力手法を特定する。すなわち、入力手法識別部１２２は、ユーザによる入力手法が２Ｄ認識による入力手法であるか、３Ｄ認識による入力手法であるかを判定する。
より具体的には、デプスセンサ３２２が、広視野に利用環境を観測し、スクリーン（室内の壁面や物体など）とユーザとの位置関係をセンシングする。そして、入力手法識別部１２２は、スクリーンとユーザとの距離が閾値よりも小さくなったか否かによって、スクリーン付近にユーザが検出されたか否かを判定する（ユーザがスクリーンに近づいたか否かを判定する）（Ｓ２１２）。スクリーンとユーザとの距離が閾値よりも小さくなったことは、入力手法識別部１２２によってユーザの入力状態として判定され得る。あるいは、入力手法識別部１２２は、俯瞰センサ３２０によるセンシングデータに基づいて、手指または入力装置２００による入力が検出されたか否かを判定する（Ｓ２１２）。手指または入力装置２００による入力が検出されたことは、入力手法識別部１２２によってユーザの入力状態として判定され得る。
例えば、手指による入力は、スクリーンとユーザの手指との位置関係に基づいて、手指がスクリーンに接触したか否かによって判定され得る。また、入力装置２００による入力は、入力装置２００がペン型の入力装置である場合、俯瞰センサ３２０によるセンシングデータからＩＲの輝点が検出されたか否かによって判定され得る。
続いて、入力手法識別部１２２は、ユーザによる入力手法を特定する。まず、入力手法識別部１２２は、入力装置２００とコンピュータとのネットワ−ク接続状況を確認する。入力手法識別部１２２は、入力装置２００とコンピュータとがネットワ−ク接続されている場合には（Ｓ２１４において「Ｙｅｓ」）、ユーザが入力装置２００を用いて入力しようとしていると判定し、センシング方式を２Ｄ認識と決定する（Ｓ２１５）。
一方、入力手法識別部１２２は、入力装置２００とコンピュータとがネットワ−ク接続されていない場合には（Ｓ２１４において「Ｎｏ」）、ユーザが手指を用いて入力しようとしていると判定し、センシング方式を３Ｄ認識と決定する（Ｓ２１６）。
あるいは、入力手法識別部１２２は、入力装置２００のＩＭＵセンサが動きを検出したか否かによって、ユーザが入力装置２００を動かして使用し始めているか否かを判断することも可能である（Ｓ２１４）。
複数ユーザが入力装置２００を用いる場合には、入力装置２００の使用状況をコンピュータに保持させおく。図９は、入力装置２００の使用状況を示すデータの例を示す図である。図９に示された例では、Device_1は、ネットワークを介してコンピュータに接続されており、あるユーザによって使用されている。Device_2は、ネットワークを介してコンピュータに接続されているが、ユーザによって使用されていない。このとき、入力手法識別部１２２は、俯瞰センサ３２０によるセンシングデータに基づいてあるユーザがスクリーンに近づいたと判定した場合、他のユーザがDevice_2で入力しようとしている状態であるため、センシング方式を２Ｄ認識と決定する。
以上により、ユーザによる入力手法が特定され得る。
（１．２．２．ホーミングセンサの決定）
次に、ホーミングセンサ３１０の決定（Ｓ２２０）について説明する。上記したように、ホーミングセンサ制御部１３１は、入力関連オブジェクト（例えば、スクリーン、操作体など）と複数の撮像候補位置それぞれとの位置関係に基づいて、ホーミングセンサ３１０によって入力画像が撮像される撮像位置を決定する。このとき、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係は、入力関連オブジェクトと複数の撮像候補位置それぞれとの距離を含んでもよい。より具体的には、距離が小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。また、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係は、入力関連オブジェクトを基準とした複数の撮像候補位置それぞれの方向を含んでもよい。より具体的には、入力関連オブジェクトに応じた所定の方向と入力関連オブジェクトを基準とした複数の撮像候補位置それぞれの方向との角度を含んでもよい。ここで、所定の方向は、入力関連オブジェクトがスクリーンである場合、スクリーンの法線方向であってよい。このとき、スクリーンの法線方向と入力関連オブジェクトを基準とした撮像候補位置の方向との角度が小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
あるいは、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係には、複数のホーミングセンサ３１０（撮像候補装置）それぞれの撮像画像に写る入力関連オブジェクトのサイズが考慮されてもよい。すなわち、ホーミングセンサ３１０が、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に関連する評価値に基づいて、入力画像を撮像するホーミングセンサ３１０を決定する場合、かかる評価値は、複数のホーミングセンサ３１０それぞれによる撮像画像に写る入力関連オブジェクトのサイズを含んでもよい。より具体的には、入力関連オブジェクトを大きく撮像しているホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
あるいは、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係には、複数のホーミングセンサ３１０それぞれの回転角度が考慮されてもよい。すなわち、ホーミングセンサ３１０が、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に関連する評価値に基づいて、入力画像を撮像するホーミングセンサ３１０を決定する場合、かかる評価値は、入力関連オブジェクトが撮像範囲に収まるまでに要する複数のホーミングセンサ３１０それぞれの回転角度を含んでもよい。より具体的には、入力関連オブジェクトが撮像範囲に収まるまでに要する回転角度が小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
あるいは、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係には、複数のホーミングセンサ３１０それぞれの撮像画像が障害物またはユーザによって遮蔽される領域が考慮されてもよい。すなわち、ホーミングセンサ３１０が、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に関連する評価値に基づいて、入力画像を撮像するホーミングセンサ３１０を決定する場合、かかる評価値は、複数のホーミングセンサ３１０それぞれの撮像画像に写る障害物またはユーザによるスクリーン（ポインティング面）の遮蔽領域サイズを含んでもよい。より具体的には、撮像画像の遮蔽領域サイズが小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
あるいは、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係には、複数のホーミングセンサ３１０それぞれの撮像画像に写るスクリーンのうち、利用されない可能性が高い領域が考慮されてもよい。すなわち、ホーミングセンサ３１０が、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に関連する評価値に基づいて、入力画像を撮像するホーミングセンサ３１０を決定する場合、かかる評価値は、複数のホーミングセンサ３１０それぞれの撮像画像に写るスクリーンのうちユーザの位置を基準とした所定方向の領域サイズを含んでもよい。より具体的には、撮像画像に写るスクリーンのうち、ユーザの位置を基準とした所定方向の領域サイズが小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
入力画像を撮像するホーミングセンサ３１０には、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係以外の情報がさらに考慮されてもよい。例えば、ホーミングセンサ制御部１３１は、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に追加して、複数のホーミングセンサ３１０それぞれの分解能に基づいて、撮像位置を決定してもよい。より具体的には、分解能が高いホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
また、ホーミングセンサ制御部１３１は、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に追加して、複数のホーミングセンサ３１０それぞれによる外光の検出結果に基づいて、撮像位置を決定してもよい。より具体的には、外光の検出量が閾値を超える領域サイズが小さいホーミングセンサ３１０ほど、入力画像を撮像するホーミングセンサ３１０として決定されやすくてよい。
以下では、ホーミングセンサ制御部１３１が、複数のホーミングセンサ３１０それぞれについて、上記のように入力画像を撮像するホーミングセンサ３１０としてどの程度決定されやすいかを示す評価値を、複数の評価項目ごとに算出する場合を主に想定する。そして、ホーミングセンサ制御部１３１が、複数の評価値と複数の評価値それぞれの重み係数（例えば、重み係数は、操作体の種類に基づいて決定される）とに基づいて撮像位置を決定する場合を主に想定する。しかし、評価値は、複数でなくてもよく、１つであってもよいし、重み係数は特に用いられてなくてもよい。
図１０は、ホーミングセンサ３１０を決定する処理の例を示すフローチャートである。
図１０に示されるように、ホーミングセンサ制御部１３１は、複数存在するホーミングセンサ候補それぞれが、どの程度センシングに適しているかを示す評価値を算出する（Ｓ２２１）。このとき、ホーミングセンサ制御部１３１は、ユーザによる入力手法に応じて評価項目ごとに重み付けを加味し（Ｓ２２２）、総評価値を算出する（Ｓ２２３）。最後に、ホーミングセンサ制御部１３１は、総評価値が最も高いホーミングセンサを決定する（Ｓ２２４）。以下に、これらの処理の詳細を述べる。
図１１は、評価項目ごとの評価値範囲および重み係数の例を示す図である。図１２〜図２０は、評価項目の具体例を示す図である。図１２〜図２０を参照しながら、評価項目の具体例について説明する。
＜スクリーンとの距離（Dist）＞
図１２に示されるように、ホーミングセンサ制御部１３１は、ホーミングセンサ３１０の位置とスクリーンＳｃの位置とに基づいて、ホーミングセンサ３１０とスクリーンＳｃとの距離Distを算出する。ここで、ホーミングセンサ３１０は、スクリーンＳｃとの距離が小さいほど、高精度にセンシングを行うことが可能である。そのため、ホーミングセンサ制御部１３１は、スクリーンＳｃに近いホーミングセンサ３１０ほど、評価値を高く算出する。
ここでは、ホーミングセンサ制御部１３１は、想定環境におけるホーミングセンサ３１０からスクリーンＳｃへの最大距離をMaxDistとし、ホーミングセンサ３１０の特性の範囲およびスクリーンＳｃが画角内に収まる範囲で、ホーミングセンサ３１０がセンシング可能な最小距離をMinDistとし、算出したDistを、下記の（数式１）に示されるように、MaxDistとMinDistとによって正規化した評価値DistNormを算出する。
DistNorm
=1-(Dist-MinDist)/(MaxDist-MinDist)・・・（数式１）
＜スクリーンへのセンシング分解能(Resolution)＞
図１３に示されるように、ホーミングセンサ制御部１３１は、ホーミングセンサ３１０のカメラの解像度とスクリーンＳｃがセンサ画角に占める領域とに基づいて、スクリーンＳｃのセンシング精度Resolutionを算出する。例えば、ホーミングセンサ制御部１３１は、スクリーンＳｃの横幅が実物大でObjectSize(m)であり、ホーミングセンサ３１０によって観測されたスクリーンＳｃの横幅がObjectPixel(pixel)である場合には、下記の（数式２）に示されるように、評価値Resolutionを算出する。
Resolution
=ObjectPixel/ObjectSize・・・（数式２）
ここで、Resolutionの単位は（pixel/m）である。すなわち、Resolutionは、1m辺りのセンシング可能なpixel量を示している。したがって、ホーミングセンサ制御部１３１は、Resolutionが大きいほど高解像度にセンシングが可能であるため、評価値を高く算出する。ここでは、ホーミングセンサ制御部１３１は、センサの最大解像度をMaxResolutionとし、最小解像度を0とし、下記の（数式３）に示されるように正規化した評価値ResolutionNormを算出する。
ResolutionNorm=Resolution/MaxResolution・・・（数式３）
＜スクリーンへのセンシング距離分解能（DepthResolution）＞
図１４に示されるように、ホーミングセンサ制御部１３１は、スクリーンＳｃまでの距離Distとデプスセンサの距離分解能とに基づいて、スクリーンＳｃへのセンシング距離分解能DepthResolutionを算出する。この評価項目は３Ｄ認識の場合にのみ適用され得る。デプスセンサは、被写体までの距離が、近いほど分解能やデプス値精度が高く、遠いほど分解能やデプス値精度にばらつきが生じる。また、デプスセンサによっては、被写体までの距離がある距離より小さい場合に、デプス値が検出されない場合があり得る。ホーミングセンサ制御部１３１は、デプスセンサの最大検出デプス値をMaxDepthとし、最小検出デプス値をMinDepthとし、下記の（数式４）に示されるように正規化した評価値DepthResolutionNormを算出する。
DepthResolutionNorm=(DepthResolution-MinDepth)/(MaxDepth-MinDepth)
・・・（数式４）
＜スクリーンとセンサの角度（Angle）＞
図１５に示されるように、ホーミングセンサ制御部１３１は、ホーミングセンサ３１０がスクリーンＳｃを向くように駆動された場合におけるスクリーンＳｃの法線の方向とホーミングセンサ３１０の方向との角度Angleを算出する。この角度Angleが大きいほど、観測されるスクリーンＳｃの歪みが大きくなってしまい、検出精度が低下してしまうことが想定される。そこで、ホーミングセンサ制御部１３１は、角度が0°である場合における評価値が1となり、180°である場合における評価値が0となるように、下記の（数式５）によって正規化した評価値AngleNormを算出する。
AngleNorm
=1-Angle/180 ・・・（数式５）
＜スクリーンまでのセンサ駆動角度（MovingAngle）＞
図１６に示されるように、ホーミングセンサ制御部１３１は、現在のホーミングセンサ３１０の向きからホーミングセンサ３１０がスクリーンＳｃを向くまでのホーミングセンサ３１０の回転角度（駆動角度）MovingAngleを算出する。回転角度（駆動角度）が大きいほど、駆動時間を多く要するため、ユーザの入力センシングに時間を要してしまう。そのため、ホーミングセンサ制御部１３１は、回転角度（駆動角度）が小さいほど、評価値を高く算出する。ここでは、回転角度（駆動角度）が0°である場合における評価値が1となり、180°である場合における評価値が0となるように、下記の（数式６）によって正規化した評価値MovingAngleNormを算出する。
MovingAngleNorm=1-MovingAngle/180・・・（数式６）
＜障害物による遮蔽領域＞
図１７に示されるように、ホーミングセンサ制御部１３１は、ホーミングセンサ３１０とスクリーンＳｃとの間に存在する障害物Ｂ１０による遮蔽領域Ｒ１０のサイズObjectOcclusionを算出する。より具体的に、ホーミングセンサ制御部１３１は、センシング画角（すなわち、俯瞰センサ３２０によって撮像された撮像画像ｇ１１）においてスクリーンＳｃ以外の物体（障害物Ｂ１０）が写る領域の横幅を、その障害物Ｂ１０による遮蔽領域Ｒ１０のサイズObjectOcclusion（単位はPixel）として算出し得る。
＜ユーザによる遮蔽領域＞
図１８に示されるように、ホーミングセンサ制御部１３１は、ユーザＵ１０によるスクリーンＳｃの遮蔽領域Ｒ２０のサイズHumanOcclusionを算出する。より具体的に、ホーミングセンサ制御部１３１は、センシング画角（すなわち、俯瞰センサ３２０によって撮像された撮像画像ｇ１２）においてユーザが写る領域の横幅を、そのユーザＵ１０による遮蔽領域Ｒ２０のサイズHumanOcclusion（単位はPixel）として算出し得る。
＜利用されないと予測される領域＞
図１９に示されるように、ホーミングセンサ制御部１３１は、ユーザＵ１０によってスクリーンＳｃに対して入力が行われる場合において利用されないと予測される領域HumanPredictOcclusionを推定する。ここでは、ホーミングセンサ制御部１３１は、ユーザＵ１０の利き手を認識する。図１９に示された例では、ユーザＵ１０は右利きであるため、利き手である右手によって多く入力されることが予測できる。また、左手は、利き手と反対側の手であるため、ユーザによってあまり入力されないことが予測できる。そのため、ホーミングセンサ制御部１３１は、ユーザの利き手側と反対側の領域を利用されない領域と予測する。
例えば、ホーミングセンサ制御部１３１は、上記３つの領域（障害物による遮蔽領域、ユーザによる遮蔽領域、利用されないと予測される領域）に対して、領域ごとの和（OR）を取ることによって、ホーミングセンサ３１０がセンシング可能な領域を求めることができる。ここでは、ホーミングセンサ制御部１３１は、センサの解像度SensorSize（pixel）を、下記の（数式７）によって正規化した評価値OcclusionNormを算出する。
OcclusionNorm=1-
(ObjectOcclusion || HumanOcclusion
|| HumanPredictOcclusion) / SensorSize・・・（数式７）
＜外光＞
ホーミングセンサ制御部１３１は、外光によるセンシングの影響を評価する。ここでは、赤外光がホーミングセンサ３１０によってセンシングされており、太陽光やハロゲンライトなどの外光によってセンシング精度に影響が出る場合を想定する。図２０には、外光による影響例が示されている。ホーミングセンサ３１０−１からの赤外画像ｇ２１には、直接的に太陽Ｓｕからの光は観測されない。一方、ホーミングセンサ３１０−２は、太陽Ｓｕが位置する方向に観測するため、赤外画像ｇ２２が太陽光で明るくなってしまう。
ここでは、ホーミングセンサ制御部１３１は、赤外光の検出量が閾値を超える領域の面積に基づいて評価値を算出する。例えば、ホーミングセンサ制御部１３１は、赤外光の検出量が閾値を超える領域の面積BrighterAreaに対して、下記の（数式８）によって正規化した評価値BrightAreaNormを算出する。
BrightAreaNorm=1-
BrighterArea / SensorSize・・・（数式８）
また、赤外光の検出量が閾値を超える領域は、画像中の領域に該当する。そのため、上記３つの領域（障害物による遮蔽領域、ユーザによる遮蔽領域、利用されないと予測される領域）の和（OR）に対して、さらに赤外光の検出量が閾値を超える領域の和（OR）を取ることによって、すなわち、（数式７）を変形した、1- (ObjectOcclusion || HumanOcclusion || HumanPredictOcclusion ||
BrighterArea) / SensorSizeによって、評価値BrightAreaNormが算出され得る。
上記では、複数の撮像候補位置それぞれにホーミングセンサ３１０があらかじめ設けられている場合を主に想定した。しかし、複数の撮像候補位置それぞれにホーミングセンサ３１０があらかじめ設けられていなくてもよい。例えば、ホーミングセンサ３１０が移動可能な場合には、ホーミングセンサ制御部１３１は、決定した撮像位置にホーミングセンサ３１０を移動させてもよい。そのとき、上記において、複数の撮像候補位置それぞれに設けられたホーミングセンサ３１０の位置が、ホーミングセンサ３１０が移動可能な複数の撮像候補位置に置き換えられた上で、評価値が算出されてよい。
また、例えば、ホーミングセンサ３１０が移動可能な場合には、ホーミングセンサ制御部１３１は、入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係に追加して、ホーミングセンサ３１０が複数の撮像候補位置それぞれに到達するまでの移動距離に基づいて、撮像位置を決定してもよい。より具体的には、ホーミングセンサ３１０が到達するまでの移動距離が小さい撮像候補位置ほど、撮像位置として決定されやすくてよい。すなわち、ホーミングセンサ３１０が複数の撮像候補位置それぞれに到達するまでの移動距離も、評価値として用いられ得る。
＜入力手法による評価値の重み付け＞
ここでは、ホーミングセンサ制御部１３１は、入力手法による評価値の重み付けを行う。例えば、図１１に示されたような重み係数が設けられている。センシング方式が３Ｄ認識の場合は、距離や分解能などが大きくセンシングに影響することが想定される。そのため、重み係数が１より大きく設定されるのがよい。ホーミングセンサ制御部１３１は、これらの重み係数を上記した評価値に対して乗算することによって得られる値を各評価項目の最終的な評価値とするとよい。
＜総評価値算出＞
最後に、ホーミングセンサ制御部１３１は、総評価値を算出する。より具体的には、ホーミングセンサ制御部１３１は、上記によって算出した各評価項目の最終的な評価値を足し合わせることによって総評価値を算出する。例えば、ホーミングセンサ制御部１３１は、候補となっているホーミングセンサ３１０ごとに総評価値を算出し、最も総評価値が高いホーミングセンサ３１０をユーザの入力センシングに用いる。
（１．２．３．ホーミングセンサ駆動）
ホーミングセンサ制御部１３１は、決定したホーミングセンサ３１０をスクリーンＳｃの方向へ回転（駆動）させる。ホーミングセンサ制御部１３１は、スクリーンＳｃおよびホーミングセンサの３次元的な位置関係をあらかじめデプスセンサによって求めておく。ホーミングセンサ制御部１３１は、３次元的な位置関係に基づいて、ホーミングセンサ３１０の回転角度（駆動角度）を算出し、回転角度（駆動角度）に基づいて、ホーミングセンサ３１０を回転（駆動）させる。駆動完了後、ホーミングセンサ３１０は、ユーザによる入力をセンシングし、入力制御部１３２は、入力座標（ポインティング座標）を検出する。
なお、上記した例では、入力箇所が特定された後、ホーミングセンサ３１０が決定され、ホーミングセンサ３１０が駆動される場合を主に説明した。しかし、ホーミングセンサ制御部１３１は、ターゲットの入力状況や入力座標を追跡し、次の目的地を予測して予測結果に基づいてホーミングセンサ３１０を動かしたり、別のセンサを向かわせたりしてもよい。また、ホーミングセンサ制御部１３１は、複数センサを同じスクリーンＳｃに向けることによって、複数センサによるセンシング結果を組み合わせてセンシング精度を上げてもよい。
また、ホーミングセンサ制御部１３１は、決定したホーミングセンサ３１０がスクリーンＳｃまで回転（駆動）されない場合、スクリーンＳｃの付近のホーミングセンサ３１０が駆動可能な場所（すなわち、スクリーンＳｃの付近のホーミングセンサ３１０が向くことが可能なスクリーンＳｃ）を映像や音声でユーザに提示してもよい。
（１．２．４．入力座標検出）
最後に、入力座標の検出について説明する。ここでは、センシング方式が２Ｄ認識である場合、および、センシング方式が３Ｄ認識である場合それぞれにおける入力座標の検出について説明する。
＜２Ｄ認識による入力＞
図２１は、センシング方式が２Ｄ認識である場合における入力座標の検出を説明するための図である。図２１に示されるように、入力制御部１３２は、ホーミングセンサ３１０のカメラによって入力画像ｇ４１が撮像され（Ｓ３１０）、入力画像ｇ４２から入力座標（x,y）が検出されると（Ｓ３２０）、入力座標（x,y）に対して２次元から２次元への射影変換行列（Homography行列）を乗算することによって、入力座標（x,y）をカメラ座標系からプロジェクタによって投影されているスクリーン座標系に変換できる（Ｓ３３０）。その後、入力制御部１３２は、スクリーン座標系における入力座標（x',y'）に基づいて、投影映像（第１の映像）を生成する（Ｓ３４０）。
例えば、Homography行列については、以下のページが参照されてよい。
http://shogo82148.github.io/homepage/memo/geometry/homography/
＜３Ｄ認識による入力＞
図２２は、センシング方式が３Ｄ認識である場合における入力座標の検出を説明するための図である。図２２に示されるように、入力制御部１３２は、デプスセンサによって得られたスクリーンＳｃとユーザＵ１０の手指のデプス情報から検出された３次元位置Icam(X,Y,Z)を取得する。そして、入力制御部１３２は、カメラ座標系で得られた３次元位置Icam (X,Y,Z)をプロジェクタの座標系に変換する。より具体的に、入力制御部１３２は、カメラ（ホーミングセンサ３１０）の位置からプロジェクタ４２０の位置までの回転と並進との行列を表す外部パラメータ（RT）をIcam (X,Y,Z)に乗算することによって、Iproj(X',Y',Z')変換を行う。
次に、入力制御部１３２は、変換後の３次元位置Iproj(X',Y',Z')に対して、プロジェクタの内部パラメータ（IntrinsicParam）を乗算することによって、３次元位置Iproj(X',Y',Z')からプロジェクタスクリーン座標系における入力座標Iscreen(x',y')への座標変換を行う。入力制御部１３２は、プロジェクタスクリーン座標系における入力座標Iscreen(x',y')に基づいて、投影映像を生成する。
＜映像投影＞
入力制御部１３２は、ホーミングセンサ３１０のカメラによって撮像された入力画像に関する処理の例として、入力画像から認識される操作体による第１のポインティング座標に基づいて、第１の映像を表示させる表示処理を行う。かかる表示処理は、プロジェクタによってスクリーン（ポインティング面）に第１の映像が投影されることによって実行されてよい。
このとき、ユーザによる入力が開始されるタイミングと比較して、第１の映像を表示させる表示処理が実行されるタイミングが遅延してしまう可能性が想定される。かかる遅延への対策として、入力制御部１３２は、第１の映像を表示させる表示処理の前に俯瞰センサ３２０の撮像画像から認識される操作体による第２のポインティング座標に基づいて、第２の映像を表示させてもよい。
（１．２．５．ユーザ入力終了）
ここでは、入力終了の条件について説明する。入力制御部１３２は、ユーザが入力装置による入力を行っている場合には、入力装置とコンピュータとの接続が切断された場合、ユーザが明示的に入力装置の電源をＯＦＦにした場合（入力装置への電源供給が終了された場合）、または、ＩＭＵセンサから動きが所定の時間以上検出されなかった場合に、入力（入力画像に関する処理）を終了してよい。
一方、入力制御部１３２は、手指または入力装置による入力を行っている場合は、入力座標の認識と同時にユーザの位置を認識し、ユーザがホーミングセンサ３１０によって撮像されなくなった場合に（ユーザがホーミングセンサ３１０のセンシング範囲から居なくなったことを検出した場合に）、入力（入力画像に関する処理）を終了してよい。あるいは、入力制御部１３２は、操作体によってスクリーン（ポインティング面）が指し示されなくなってから第１の時間が経過した場合に（ユーザによって所定の時間以上入力が行われなかった場合に）、入力（入力画像に関する処理）を終了してもよい。あるいは、入力制御部１３２は、操作体の動きが検出されなくなってから第２の時間が経過した場合に、入力（入力画像に関する処理）を入力してもよい。
［１．３．発展例］
ここでは、本技術が適用可能なケースについて述べる。
＜使用環境の応用例＞
図２３は、使用環境の第１の応用例を説明するための図である。上記では、室内環境でのシステムの利用が想定されている。しかし、図２３に示されるように、車内環境に同様のシステムが構築されてもよい。車内環境に俯瞰センサとホーミングセンサおよび表示装置を設けることによって、室内環境と同様に、車内の任意場所で入力を行うことが可能である。今後、自動運転により車内でのコンテンツ体験が大きく変わる可能性がある。本開示の実施形態に係るシステムを構築することによって、ユーザの入力システムを導入可能である。
図２４は、使用環境の第２の応用例を説明するための図である。図２４に示されるように、会議室環境でも同様のシステムが構築され得る。上記したようなペン型の入力装置を用いて会議室の任意場所に対して入力を行うことが可能となる。図２５は、使用環境の第３の応用例を説明するための図である。図２５に示されるように、室内エンターテインメント向けに、本開示の実施形態に係るシステムを応用することも可能である。会議室環境と同様に、ペン型の入力装置を用いて、会議室内のどこに対してでもお絵かきができるような体験の構築が可能である。
＜システムの応用例＞
本開示の実施形態に係るシステムは、１つの室内環境において利用される場合を主に想定している。しかし、異なる室内環境に構築された複数のシステムがネットワーク通信を行ってもよい。これにより、遠隔地に対して入力を行うことが可能となり、遠隔地とのコミュニケーションや作業支援といったアプリケーションを構築可能である。上記したお絵かきが行われる場合においても、同様な応用が可能である。
［１．４．ハードウェア構成例］
次に、図２６を参照して、本開示の実施形態に係る情報処理装置１００のハードウェア構成について説明する。図２６は、本開示の実施形態に係る情報処理装置１００のハードウェア構成例を示すブロック図である。
図２６に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）８０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０５を含む。また、情報処理装置１００は、ホストバス８０７、ブリッジ８０９、外部バス８１１、インターフェース８１３、ストレージ装置８１９、ドライブ８２１、接続ポート８２３、通信装置８２５を含んでもよい。情報処理装置１００は、ＣＰＵ８０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、ＲＯＭ８０３、ＲＡＭ８０５、ストレージ装置８１９、またはリムーバブル記録媒体８２７に記録された各種プログラムに従って、情報処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ８０３は、ＣＰＵ８０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ８０５は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ８０１、ＲＯＭ８０３、およびＲＡＭ８０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス８０７により相互に接続されている。さらに、ホストバス８０７は、ブリッジ８０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス８１１に接続されている。
ストレージ装置８１９は、情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置８１９は、ＣＰＵ８０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ８２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体８２７のためのリーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ８２１は、装着されているリムーバブル記録媒体８２７に記録されている情報を読み出して、ＲＡＭ８０５に出力する。また、ドライブ８２１は、装着されているリムーバブル記録媒体８２７に記録を書き込む。
接続ポート８２３は、機器を情報処理装置１００に直接接続するためのポートである。接続ポート８２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート８２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート８２３に外部接続機器８２９を接続することで、情報処理装置１００と外部接続機器８２９との間で各種のデータが交換され得る。
通信装置８２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置８２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置８２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置８２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置８２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
＜２．むすび＞
以上説明したように、本開示の実施形態によれば、第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定する判定部と、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、を備える、情報処理装置が提供される。かかる構成によれば、入力に関連するオブジェクトがより高精度にセンシングされる技術が提供される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定する判定部と、
前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、
を備える、情報処理装置。
（２）
前記位置関係は、前記入力関連オブジェクトと前記複数の撮像候補位置それぞれとの距離または前記入力関連オブジェクトを基準とした前記複数の撮像候補位置それぞれの方向を含む、
前記（１）に記載の情報処理装置。
（３）
前記第２の撮像装置は、前記第１の撮像装置と比較して画角が狭い、または、前記第１の撮像装置と比較して解像度が高い、
前記（１）または（２）に記載の情報処理装置。
（４）
前記第１の撮像装置は、俯瞰センサであり、前記第２の撮像装置は、ホーミングセンサである、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記情報処理装置は、前記入力画像に関する処理を行う入力制御部を含む、
前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記入力関連オブジェクトは、操作体とポインティング面とのうち少なくともいずれか一方を含む、
前記（５）に記載の情報処理装置。
（７）
前記入力画像に関する前記処理は、前記操作体によって前記ポインティング面が指し示されることによって開始される、
前記（６）に記載の情報処理装置。
（８）
前記入力画像に関する前記処理は、前記操作体によって前記ポインティング面が指し示されなくなってから第１の時間が経過した場合、前記第２の撮像装置によって前記ユーザが撮像されなくなった場合、前記操作体の動きが検出されなくなってから第２の時間が経過した場合、入力装置とコンピュータとの接続が切断された場合、または、前記入力装置への電源供給が終了された場合に終了される、
前記（６）または（７）に記載の情報処理装置。
（９）
前記入力状態は、前記操作体によって前記ポインティング面が指し示された状態、および、前記ユーザと前記ポインティング面との距離が所定の距離よりも小さい状態の少なくともいずれか一方を含む、
前記（６）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記入力画像に関する前記処理は、前記入力画像から認識される前記操作体による第１のポインティング座標に基づいて、第１の映像を表示させる表示処理を含む、
前記（６）〜（８）のいずれか一項に記載の情報処理装置。
（１１）
前記入力制御部は、前記表示処理の前に前記第１の撮像装置の撮像画像から認識される前記操作体による第２のポインティング座標に基づいて、第２の映像を表示させる、
前記（１０）に記載の情報処理装置。
（１２）
前記表示処理は、プロジェクタによって前記ポインティング面に前記第１の映像が投影されることによって実行される、
前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記センサ制御部は、前記位置関係に応じた評価値を含む複数の評価値と前記複数の評価値それぞれの重み係数とに基づいて前記撮像位置を決定し、
前記重み係数は、前記操作体の種類に基づいて決定される、
前記（６）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記センサ制御部は、前記入力関連オブジェクトと前記複数の撮像候補位置それぞれに設けられた撮像候補装置との位置関係と前記入力状態とに基づいて、前記複数の撮像候補装置から前記第２の撮像装置を選択することによって、前記第２の撮像装置が設けられた位置を前記撮像位置として決定する、
前記（６）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記センサ制御部は、前記位置関係に応じた評価値と前記入力状態とに基づいて、前記撮像位置を決定し、
前記評価値は、前記複数の撮像候補装置それぞれによる撮像画像に写る前記入力関連オブジェクトのサイズ、前記入力関連オブジェクトが撮像範囲に収まるまでに要する前記複数の撮像候補装置それぞれの回転角度、前記撮像画像に写る障害物または前記ユーザによる前記ポインティング面の遮蔽領域サイズ、または、前記撮像画像に写る前記ポインティング面のうち前記ユーザの位置を基準とした所定方向の領域サイズを含む、
前記（１４）に記載の情報処理装置。
（１６）
前記センサ制御部は、前記複数の撮像候補装置それぞれの分解能または前記複数の撮像候補装置それぞれによる外光の検出結果と前記位置関係と前記入力状態とに基づいて、前記撮像位置を決定する、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記センサ制御部は、決定した前記撮像位置に前記第２の撮像装置を移動させる、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１８）
前記センサ制御部は、前記第２の撮像装置が前記複数の撮像候補位置それぞれに到達するまでの移動距離と前記位置関係と前記入力状態とに基づいて、前記撮像位置を決定する、
前記（１７）に記載の情報処理装置。
（１９）
第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定することと、
プロセッサにより、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定することと、
を含む、情報処理方法。
（２０）
第１の撮像装置と情報処理装置とを有する情報処理システムであって、
前記第１の撮像装置は、撮像画像を撮像し、
前記情報処理装置は、
前記撮像画像に基づいて、ユーザの入力状態を判定する判定部と、
前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、
を備える、情報処理システム。
１ 情報処理システム
１００ 情報処理装置
１１０ Ｉ／Ｆ部
１２１ 環境認識部
１２２ 入力手法識別部
１２３ ユーザ認識部
１２４ 入力精度解析部
１２５ ジェスチャ認識部
１２６ 入力装置認識部
１３１ ホーミングセンサ制御部
１３２ 入力制御部
２００ 入力装置
２１０ ＬＥＤ
２２０ 地磁気センサ
２３０ 加速度センサ
２４０ 通信モジュール
２５０ 再帰性反射マーカ
２６０ ジャイロセンサ
３１０ ホーミングセンサ
３１０ ホーミング
３１１ 駆動機構
３１２ カメラ
３１３ デプスセンサ
３１４ レーダ測距センサ
３２０ 俯瞰センサ
３２１ カメラ
３２２ デプスセンサ
３２３ サーモセンサ
３２４ レーダ測距センサ
３３０ ホーミングセンサ
４００ 出力装置
４１０ 駆動機構
４２０ プロジェクタ
４３０ ディスプレイ

Claims (20)

  1. 第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定する判定部と、
    前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、
    を備える、情報処理装置。
  2. 前記位置関係は、前記入力関連オブジェクトと前記複数の撮像候補位置それぞれとの距離または前記入力関連オブジェクトを基準とした前記複数の撮像候補位置それぞれの方向を含む、
    請求項１に記載の情報処理装置。
  3. 前記第２の撮像装置は、前記第１の撮像装置と比較して画角が狭い、または、前記第１の撮像装置と比較して解像度が高い、
    請求項１に記載の情報処理装置。
  4. 前記第１の撮像装置は、俯瞰センサであり、前記第２の撮像装置は、ホーミングセンサである、
    請求項１に記載の情報処理装置。
  5. 前記入力関連オブジェクトは、操作体とポインティング面とのうち少なくともいずれか一方を含む、
    請求項１に記載の情報処理装置。
  6. 前記情報処理装置は、前記入力画像に関する処理を行う入力制御部を含む、
    請求項５に記載の情報処理装置。
  7. 前記入力画像に関する前記処理は、前記操作体によって前記ポインティング面が指し示されることによって開始される、
    請求項６に記載の情報処理装置。
  8. 前記入力画像に関する前記処理は、前記操作体によって前記ポインティング面が指し示されなくなってから第１の時間が経過した場合、前記第２の撮像装置によって前記ユーザが撮像されなくなった場合、前記操作体の動きが検出されなくなってから第２の時間が経過した場合、入力装置とコンピュータとの接続が切断された場合、または、前記入力装置への電源供給が終了された場合に終了される、
    請求項６に記載の情報処理装置。
  9. 前記入力状態は、前記操作体によって前記ポインティング面が指し示された状態、および、前記ユーザと前記ポインティング面との距離が所定の距離よりも小さい状態の少なくともいずれか一方を含む、
    請求項６に記載の情報処理装置。
  10. 前記入力画像に関する前記処理は、前記入力画像から認識される前記操作体による第１のポインティング座標に基づいて、第１の映像を表示させる表示処理を含む、
    請求項６に記載の情報処理装置。
  11. 前記入力制御部は、前記表示処理の前に前記第１の撮像装置の撮像画像から認識される前記操作体による第２のポインティング座標に基づいて、第２の映像を表示させる、
    請求項１０に記載の情報処理装置。
  12. 前記表示処理は、プロジェクタによって前記ポインティング面に前記第１の映像が投影されることによって実行される、
    請求項１０に記載の情報処理装置。
  13. 前記センサ制御部は、前記位置関係に応じた評価値を含む複数の評価値と前記複数の評価値それぞれの重み係数とに基づいて前記撮像位置を決定し、
    前記重み係数は、前記操作体の種類に基づいて決定される、
    請求項６に記載の情報処理装置。
  14. 前記センサ制御部は、前記入力関連オブジェクトと前記複数の撮像候補位置それぞれに設けられた撮像候補装置との位置関係と前記入力状態とに基づいて、前記複数の撮像候補装置から前記第２の撮像装置を選択することによって、前記第２の撮像装置が設けられた位置を前記撮像位置として決定する、
    請求項６に記載の情報処理装置。
  15. 前記センサ制御部は、前記位置関係に関連する評価値と前記入力状態とに基づいて、前記撮像位置を決定し、
    前記評価値は、前記複数の撮像候補装置それぞれによる撮像画像に写る前記入力関連オブジェクトのサイズ、前記入力関連オブジェクトが撮像範囲に収まるまでに要する前記複数の撮像候補装置それぞれの回転角度、前記撮像画像に写る障害物または前記ユーザによる前記ポインティング面の遮蔽領域サイズ、または、前記撮像画像に写る前記ポインティング面のうち前記ユーザの位置を基準とした所定方向の領域サイズを含む、
    請求項１４に記載の情報処理装置。
  16. 前記センサ制御部は、前記複数の撮像候補装置それぞれの分解能または前記複数の撮像候補装置それぞれによる外光の検出結果と前記位置関係と前記入力状態とに基づいて、前記撮像位置を決定する、
    請求項１４に記載の情報処理装置。
  17. 前記センサ制御部は、決定した前記撮像位置に前記第２の撮像装置を移動させる、
    請求項１に記載の情報処理装置。
  18. 前記センサ制御部は、前記第２の撮像装置が前記複数の撮像候補位置それぞれに到達するまでの移動距離と前記位置関係と前記入力状態とに基づいて、前記撮像位置を決定する、
    請求項１７に記載の情報処理装置。
  19. 第１の撮像装置の撮像画像に基づいて、ユーザの入力状態を判定することと、
    プロセッサにより、前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定することと、
    を含む、情報処理方法。
  20. 第１の撮像装置と情報処理装置とを有する情報処理システムであって、
    前記第１の撮像装置は、撮像画像を撮像し、
    前記情報処理装置は、
    前記撮像画像に基づいて、ユーザの入力状態を判定する判定部と、
    前記ユーザによる入力に関連する入力関連オブジェクトと複数の撮像候補位置それぞれとの位置関係と、前記入力状態とに基づいて、前記第１の撮像装置とは異なる第２の撮像装置によって入力画像が撮像される撮像位置を決定するセンサ制御部と、
    を備える、情報処理システム。


JP2017250390A 2017-12-27 2017-12-27 情報処理装置、情報処理方法および情報処理システム Pending JP2019117994A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017250390A JP2019117994A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法および情報処理システム
CN201880075750.1A CN111373732A (zh) 2017-12-27 2018-10-15 信息处理装置、信息处理方法和信息处理系统
PCT/JP2018/038249 WO2019130729A1 (ja) 2017-12-27 2018-10-15 情報処理装置、情報処理方法および情報処理システム
US16/765,804 US11501459B2 (en) 2017-12-27 2018-10-15 Information processing apparatus, method of information processing, and information processing system
EP18893651.2A EP3734960A4 (en) 2017-12-27 2018-10-15 DEVICE, PROCESS, AND SYSTEM FOR PROCESSING INFORMATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250390A JP2019117994A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法および情報処理システム

Publications (1)

Publication Number Publication Date
JP2019117994A true JP2019117994A (ja) 2019-07-18

Family

ID=67066995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017250390A Pending JP2019117994A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法および情報処理システム

Country Status (5)

Country Link
US (1) US11501459B2 (ja)
EP (1) EP3734960A4 (ja)
JP (1) JP2019117994A (ja)
CN (1) CN111373732A (ja)
WO (1) WO2019130729A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281813A1 (ja) * 2021-07-09 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250364A (ja) 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 人物監視装置
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
US20110149126A1 (en) * 2009-12-22 2011-06-23 Olympus Corporation Multiband image pickup method and device
JP5891061B2 (ja) 2012-02-15 2016-03-22 株式会社日立製作所 映像監視装置、監視システム、監視システム構築方法
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
JP5880199B2 (ja) 2012-03-27 2016-03-08 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10152119B2 (en) * 2014-12-11 2018-12-11 Htc Corporation Head-mounted display apparatus and calibration method thereof
CN104735416A (zh) 2015-03-31 2015-06-24 宣城状元郎电子科技有限公司 跟踪摄像、录音信息采集处理直播网络教学系统
JP2017084307A (ja) 2015-10-30 2017-05-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2018067115A (ja) * 2016-10-19 2018-04-26 セイコーエプソン株式会社 プログラム、追跡方法、追跡装置
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281813A1 (ja) * 2021-07-09 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20200320729A1 (en) 2020-10-08
US11501459B2 (en) 2022-11-15
EP3734960A1 (en) 2020-11-04
EP3734960A4 (en) 2021-01-27
WO2019130729A1 (ja) 2019-07-04
CN111373732A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
EP3218781B1 (en) Spatial interaction in augmented reality
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
US8971565B2 (en) Human interface electronic device
EP4198694A1 (en) Positioning and tracking method and platform, head-mounted display system, and computer-readable storage medium
JP6121647B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US20140240225A1 (en) Method for touchless control of a device
US20110115892A1 (en) Real-time embedded visible spectrum light vision-based human finger detection and tracking method
TW201911133A (zh) 用於多個自由度之控制器追蹤
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US11886643B2 (en) Information processing apparatus and information processing method
JP2012238293A (ja) 入力装置
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
CN110446995B (zh) 信息处理装置、信息处理方法及程序
US8970479B1 (en) Hand gesture detection
TWI499938B (zh) 觸控系統
WO2019130729A1 (ja) 情報処理装置、情報処理方法および情報処理システム
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230300290A1 (en) Information display system, information display method, and non-transitory recording medium
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
US9761009B2 (en) Motion tracking device control systems and methods
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102702585B1 (ko) 전자 장치 및 이의 제어 방법