JP2021165865A - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
JP2021165865A
JP2021165865A JP2018126759A JP2018126759A JP2021165865A JP 2021165865 A JP2021165865 A JP 2021165865A JP 2018126759 A JP2018126759 A JP 2018126759A JP 2018126759 A JP2018126759 A JP 2018126759A JP 2021165865 A JP2021165865 A JP 2021165865A
Authority
JP
Japan
Prior art keywords
indicated
output
light
instruction
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018126759A
Other languages
English (en)
Inventor
悠 青木
Yu Aoki
健太郎 井田
Kentaro Ida
拓也 池田
Takuya Ikeda
文彦 飯田
Fumihiko Iida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018126759A priority Critical patent/JP2021165865A/ja
Priority to DE112019003374.3T priority patent/DE112019003374T5/de
Priority to US17/254,595 priority patent/US20210132705A1/en
Priority to CN201980043371.9A priority patent/CN112334866A/zh
Priority to PCT/JP2019/024213 priority patent/WO2020008877A1/ja
Publication of JP2021165865A publication Critical patent/JP2021165865A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】位置指示装置による指示位置の検出精度を向上させる。
【解決手段】情報処理装置は、位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行う指示位置検出部と、前記指示位置の検出結果に基づいて、前記位置指示装置の前記指示光の出力を制御する指示光制御部とを備える。本技術は、例えば、駆動型プロジェクタの制御を行う装置に適用できる。
【選択図】図2

Description

本技術は、情報処理装置、情報処理方法、及び、記録媒体に関し、特に、位置指示装置による指示位置の検出精度を向上させるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
従来、カラーホイールが備える複数の色のフィルタセグメントを介して投影された投影画像に、レーザポインタによりポインタを指し示す場合に、レーザポインタの色に近いフィルタセグメントからの投影光が投影面に投影されていない間に、投影面の画像を撮影することにより、レーザ光の照射点を安定して検出できるようにすることが提案されている(例えば、特許文献1参照)。
特開2015−37250号公報
しかしながら、特許文献1に記載の発明では、投影画像にポインタを指し示す場面以外では、レーザポインタの照射点(指示位置)の検出精度を向上させることができない。
本技術は、このような状況に鑑みてなされたものであり、位置指示装置による指示位置の検出精度を向上させるようにするものである。
本技術の一側面の情報処理装置は、位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行う指示位置検出部と、前記指示位置の検出結果に基づいて、前記位置指示装置の前記指示光の出力を制御する指示光制御部とを備える。
本技術の一側面の情報処理方法は、位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、前記指示位置の検出結果に基づいて、前記指示光の出力を制御する。
本技術の一側面の記録媒体は、位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、前記指示位置の検出結果に基づいて、前記指示光の出力を制御する処理を実行させるためのプログラムが記録されている。
本技術の一側面においては、位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出が行われ、前記指示位置の検出結果に基づいて、前記位置指示装置の前記指示光の出力が制御される。
本技術の一側面によれば、位置指示装置による指示位置の検出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した情報処理システムの第1の実施の形態を示すブロック図である。 センサ部、情報処理装置、及び、処理部の構成例を示すブロック図である。 位置指示装置の構成例を示すブロック図である。 情報処理装置の設置例を示す図である。 指示位置検出処理を説明するためのフローチャートである。 指示位置の検出に成功した画像例を示す図である。 指示位置の検出に失敗した画像例を示す図である。 指示位置の検出に失敗した画像例を示す図である。 指示位置の検出に失敗した画像例を示す図である。 制御パラメータ調整処理の詳細を説明するためのフローチャートである。 本技術を適用した情報処理システムの第2の実施の形態を示す図である。 本技術を適用した情報処理システムの第3の実施の形態を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.変形例
5.その他
<<1.第1の実施の形態>>
まず、図1乃至図11を参照して、本技術の第1の実施の形態について説明する。
<情報処理システム1の構成例>
図1は、本技術を適用した情報処理システム1の構成例を示すブロック図である。
情報処理システム1は、センサ部11、情報処理装置12、位置指示装置13、及び、処理部14を備える。
センサ部11は、位置指示装置13により位置が指示される空間、すなわち、位置指示装置13から出力される指示光により指示位置が示される空間(以下、指示対象空間と称する)の状況を検出する。センサ部11は、指示対象空間の状況の検出結果を示すセンサデータを情報処理装置12に供給する。
情報処理装置12は、センサ部11からのセンサデータ、及び、位置指示装置13の指示光の出力状態を示す出力情報に基づいて、位置指示装置13による指示位置の検出を行う。情報処理装置12は、指示位置の検出結果を示す指示位置情報を処理部14に供給する。また、情報処理装置12は、指示位置の検出結果等に基づいて、センサ部11の制御に用いるセンサパラメータを設定し、センサ部11に供給する。さらに、情報処理装置12は、指示位置の検出結果等に基づいて、位置指示装置13の指示光の出力の制御に用いる出力制御情報を生成し、位置指示装置13に送信する。
位置指示装置13は、例えば、指示光を出力し、指示光が照射される位置により指示位置を示す照射型の位置指示装置により構成される。例えば、位置指示装置13は、レーザマーカ等により構成される。位置指示装置13は、情報処理装置12から受信した出力制御情報に基づいて、指示光の出力を制御する。また、位置指示装置13は、指示光の出力状態を示す出力情報を生成し、情報処理装置12に送信する。
処理部14は、指示位置の検出結果に基づいて、各種の処理を行う。
<センサ部11、情報処理装置12、及び、処理部14の構成例>
図2は、センサ部11、情報処理装置12、及び、処理部14の構成例を示している。
センサ部11は、例えば、カメラ等からなる画像センサ31を備える。画像センサ31は、指示対象空間の撮影を行い、得られた撮影画像のデータを情報処理装置12に供給する。
情報処理装置12は、入力部41、制御部42、指示位置検出部43、I/F(インタフェース)部44、通信部45、及び、記憶部46を備える。
入力部41は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイスを備える。入力部41は、ユーザにより入力されたデータや指示等に基づいて入力信号を生成し、制御部42に供給する。
制御部42は、入力部41からの入力信号、画像センサ31からの撮影画像のデータ、及び、位置指示装置13からの出力情報等に基づいて、センサ部11、情報処理装置12、位置指示装置13、及び、処理部14の各種の処理の制御を行う。制御部42は、指示光制御部51、センサ制御部52、及び、検出制御部53を備える。
指示光制御部51は、位置指示装置13の指示光の出力の制御を行う。例えば、指示光制御部51は、位置指示装置13の指示光の出力方法を制御する。より具体的には、例えば、指示光制御部51は、指示光の出力方法を示す出力パラメータを設定し、出力パラメータを含む出力制御情報を生成する。指示光制御部51は、出力制御情報を、通信部45を介して位置指示装置13に送信する。また、指示光制御部51は、出力パラメータを記憶部46に記憶させる。
センサ制御部52は、センサ部11の画像センサ31の撮影の制御を行う。例えば、センサ制御部52は、画像センサ31の撮影の制御に用いるセンサパラメータを設定し、I/F部44を介してセンサ部11に供給したり、記憶部46に記憶させたりする。
検出制御部53は、指示位置検出部43による指示位置の検出の制御を行う。例えば、検出制御部53は、指示位置の検出に用いられる検出パラメータを設定し、指示位置検出部43に供給したり、記憶部46に記憶させたりする。
指示位置検出部43は、画像センサ31からの撮影画像、位置指示装置13からの出力情報、及び、検出パラメータに基づいて、位置指示装置13による指示位置の検出処理を行う。指示位置検出部43は、指示位置の検出結果を示す指示位置情報を制御部42に供給するとともに、I/F部44を介して処理部14に供給したり、記憶部46に記憶させたりする。
I/F部44は、センサ部11及び処理部14との間のデータの授受等を行う。なお、情報処理装置12とセンサ部11及び処理部14との間の通信は、有線又は無線のいずれであってもよい。
通信部45は、位置指示装置13と通信を行う。通信部45は、送信部61及び受信部62を備える。
送信部61は、位置指示装置13と無線通信を行い、出力制御情報等の情報を位置指示装置13に送信する。
受信部62は、位置指示装置13と無線通信を行い、位置指示装置13から出力情報等の情報を受信し、制御部42及び指示位置検出部43に供給する。
記憶部46は、制御パラメータ(出力パラメータ、センサパラメータ、及び、検出パラメータ)等の情報処理装置12の処置に必要な情報等を記憶する。
処理部14は、プロジェクタ71を備える。
プロジェクタ71は、画像の投影方向が可変の駆動型プロジェクタにより構成される。プロジェクタ71は、指示位置情報に基づいて、画像の投影位置を制御する。
<位置指示装置13の構成例>
図3は、位置指示装置13の構成例を示している。
位置指示装置13は、入力部101、制御部102、指示光出力部103、通信部104、及び、記憶部105を備える。
入力部101は、例えば、ボタン、スイッチ等の操作デバイスを備える。入力部101は、例えば、位置指示装置13の電源のオン/オフ、指示光の出力のオン/オフの操作等に用いられる。入力部101は、ユーザにより入力されたデータや指示等に基づいて入力信号を生成し、制御部102に供給する。
制御部102は、入力部41からの入力信号、及び、情報処理装置12からの出力制御情報等に基づいて、位置指示装置13の各種の処理の制御を行う。制御部102は、出力制御部111を備える。
出力制御部111は、入力部101からの入力信号、及び、情報処理装置12からの出力制御情報に基づいて、指示光出力部103による指示光の出力を制御する。また、出力制御部111は、出力制御情報を記憶部105に記憶させる。さらに、出力制御部111は、指示光の出力状態を示す出力情報を生成し、通信部104に供給する。
指示光出力部103は、例えば、レーザ光源又はLED等を備える。指示光出力部103は、出力制御部111の制御の下に、指示光の出力を制御する。
なお、指示光は、可視光でもよいし、赤外光等の非可視光でもよい。指示光が赤外光の場合、例えば、赤外光を検出可能な画像センサが画像センサ31に用いられる。また、指示光の波長(色)は、可変であってもよいし、固定であってもよい。
なお、以下、指示光が可視光であり、色が可変の場合の例について説明する。
通信部104は、情報処理装置12と通信を行う。通信部104は、受信部121及び送信部122を備える。
受信部121は、情報処理装置12の送信部61と無線通信を行い、出力制御情報等の情報を送信部61から受信し、制御部102に供給する。
送信部122は、情報処理装置12の受信部62と無線通信を行い、出力情報等の情報を受信部62に送信する。
記憶部105は、出力制御情報等の位置指示装置13の処理に必要な情報等を記憶する。
<情報処理システム1の設置例>
図4は、情報処理システム1の設置例を示している。
図4の例では、情報処理システム1は、指示対象空間である部屋151内に設置されている。部屋151は、天井161、床162、及び、壁163a乃至壁163d(ただし、壁163dは不図示)により囲まれた空間である。
なお、以下、壁163a乃至壁163dを個々に区別する必要がない場合、単に壁163と称する。
画像センサ31は、天井161から部屋151全体を見下ろすように設置され、部屋151内を撮影する。
プロジェクタ71は、床162の上に設置され、位置指示装置13による指示位置Pに応じて、画像Iの投影位置を移動させる。例えば、プロジェクタ71は、壁163a乃至壁163dのうち指示位置Pが検出された壁163に画像Iを投影する。
情報処理装置12は、部屋151内に設置されてもよいし、部屋151の外に設置されてもよい。
なお、画像センサ31及びプロジェクタ71の位置は、画像Iの投影を行う範囲等に応じて変更される。
<指示位置検出処理>
次に、図5のフローチャートを参照して、情報処理装置12により実行される指示位置検出処理について説明する。
この処理は、例えば、入力部41を介して、指示位置検出処理の開始の指令が制御部42に入力されたとき開始される。
ステップS1において、制御部42は、制御パラメータを初期値に設定する。
具体的には、指示光制御部51は、出力パラメータの初期値を記憶部46から読み出し、読み出した出力パラメータを含む出力制御情報を生成する。指示光制御部51は、送信部61を介して、出力制御情報を位置指示装置13に送信する。
出力パラメータは、例えば、指示光の強度、断面の形状、色、及び、時間的パターンを含む。
なお、指示光の断面の形状は、指示光の断面の大きさ及び形を示す。指示光の断面の大きさ又は形が変化すると、指示光が壁等に照射されることにより形成される像(以下、指示像と称する)の大きさ又は形が変化する。
指示光の時間的パターンは、例えば、指示光の時系列の変化パターンを示す。例えば、指示光の時間的パターンは、指示光の点滅パターン、すなわち、指示光が点滅を繰り返す場合の点灯時間及び消灯時間のパターンを示す。或いは、例えば、指示光の時間的パターンは、指示光の強度、色、断面の大きさ、及び、断面の形のうち少なくとも1つ以上のパラメータが時系列に変化する場合のパラメータの値及び変化するタイミング等を示す。
なお、出力パラメータの初期値には、例えば、所定のデフォルト値が用いられるか、或いは、前回の指示位置検出処理において指示位置の検出に成功したときの値が用いられる。
これに対して、位置指示装置13の出力制御部111は、受信部121を介して、出力制御情報を受信する。指示光出力部103は、出力制御部111の制御の下に、出力制御情報に含まれる出力パラメータに基づいて、指示光の出力を行う。すなわち、出力パラメータにより、指示光の強度、形状、色、及び、時間的パターンが制御される。
センサ制御部52は、画像センサ31のセンサパラメータの初期値を記憶部46から読み出し、I/F部44を介してセンサ部11に供給する。
センサパラメータは、例えば、画像センサ31の撮影パラメータを含む。具体的には、センサパラメータは、例えば、画像センサ31のシャッタ速度、ゲイン、絞り等を含む。
なお、センサパラメータの初期値には、例えば、所定のデフォルト値が用いられるか、或いは、前回の指示位置検出処理において指示位置の検出に成功したときの値が用いられる。
これに対して、画像センサ31は、センサ制御部52により設定されたセンサパラメータに基づいて、指示対象空間内の撮影を行う。
検出制御部53は、指示位置検出部43の検出パラメータの初期値を記憶部46から読み出し、指示位置検出部43に供給する。
検出パラメータは、例えば、撮影画像内の指示像の検出に用いるパラメータを含み、出力パラメータ及びセンサパラメータ等に応じて設定される。具体的には、検出パラメータは、例えば、検出対象とする指示像の輝度、大きさ、形、色、及び、時間的パターンを含む。
なお、指示像の輝度、大きさ、形、及び、色については、例えば、各パラメータの範囲が設定される。例えば、指示光の強度等に基づいて、指示像の輝度の範囲が設定される。また、指示像の時間的パターンは、指示光の時間的パターンに応じて設定される。
なお、検出パラメータの初期値には、例えば、所定のデフォルト値が用いられるか、或いは、前回の指示位置検出処理において指示位置の検出に成功したときの値が用いられる。或いは、例えば、検出パラメータの初期値を、出力パラメータの初期値及びセンサパラメータの初期値に基づいて設定するようにしてもよい。
ステップS2において、指示位置検出部43は、出力情報を取得する。
具体的には、位置指示装置13の出力制御部111は、指示光の出力状態を示す出力情報を生成し、送信部122を介して、情報処理装置12に送信する。
出力情報は、例えば、指示光の出力の有無、及び、指示光の出力方法を含む。
指示光の出力の有無は、指示光出力部103から指示光が出力されているか否かを示す。
指示光の出力方法は、例えば、指示光の出力に用いられている出力パラメータを含む。
指示位置検出部43は、位置指示装置13から送信された出力情報を、受信部62を介して受信する。
ステップS3において、指示位置検出部43は、位置指示装置13により位置が指示されているか否かを判定する。指示位置検出部43は、位置指示装置13から指示光が出力されていることが出力情報に示されている場合、位置指示装置13により位置が指示されていると判定し、処理はステップS4に進む。
ステップS4において、指示位置検出部43は、撮影画像を取得する。
具体的には、画像センサ31は、指示対象空間内を撮影し、得られた撮影画像のデータを情報処理装置12に供給する。
指示位置検出部43は、画像センサ31から供給された撮影画像のデータを、I/F部44を介して取得する。
ステップS5において、指示位置検出部43は、指示位置の検出を行う。具体的には、指示位置検出部43は、検出パラメータに基づいて、撮影画像内の指示像の検出を行う。また、指示位置検出部43は、指示像の検出に成功した場合、撮影画像内の指示像の位置に基づいて、指示対象空間内における指示位置を検出する。
ステップS6において、指示位置検出部43は、指示位置の検出に成功したか否かを判定する。指示位置の検出に成功したと判定された場合、処理はステップS7に進む。
図6は、指示位置の検出に成功した撮影画像を2値化した画像の例を示している。図6の画像においては、点線の枠A1内に指示像が写っており、この指示像の画像内の位置に基づいて、指示位置が検出される。
ステップS7において、指示位置検出部43は、指示位置情報を出力する。具体的には、指示位置検出部43は、指示位置の検出結果を含む指示位置情報を生成する。指示位置検出部43は、指示位置情報をI/F部44を介して処理部14に供給するとともに、制御部42に供給する。
これに対して、処理部14のプロジェクタ71は、例えば、指示位置情報に基づいて、画像の投影位置を制御する。具体的には、プロジェクタ71は、指示位置に基づいて画像の投影位置を設定する。例えば、プロジェクタ71は、指示位置を中心とする所定の範囲を投影位置に設定する。或いは、例えば、プロジェクタ71は、指示位置が検出された面(例えば、図4の壁163のいずれか)の所定の位置を投影位置に設定する。そして、プロジェクタ71は、設定した投影位置への画像の投影を開始する。
ステップS8において、情報処理装置12は、指示位置の検出に成功した制御パラメータを保存する。
例えば、指示光制御部51は、現在の出力パラメータを、指示位置の検出に成功した最新の出力パラメータとして記憶部46に記憶させる。このとき、指示光制御部51は、過去に指示位置の検出に成功したときの出力パラメータが記憶部46に記憶されている場合、過去の出力パラメータを残すようにしてもよいし、消去するようにしてもよい。
センサ制御部52は、現在のセンサパラメータを、指示位置の検出に成功した最新のセンサパラメータとして記憶部46に記憶させる。このとき、過去に指示位置の検出に成功したときのセンサパラメータが記憶部46に記憶されている場合、センサ制御部52は、過去のセンサパラメータを残すようにしてもよいし、消去するようにしてもよい。
検出制御部53は、現在の検出パラメータを、指示位置の検出に成功した最新の検出パラメータとして記憶部46に記憶させる。このとき、過去に指示位置の検出に成功したときの検出パラメータが記憶部46に記憶されている場合、検出制御部53は、過去の検出パラメータを残すようにしてもよいし、消去するようにしてもよい
その後、処理はステップS12に進む。
一方、ステップS6において、指示位置の検出に失敗したと判定された場合、処理はステップS9に進む。
図7乃至図9は、指示位置の検出に失敗した撮影画像を2値化した画像の例を示している。
図7の画像では、点線の枠A2内と枠A3内において、指示像の候補となるオブジェクトがそれぞれ検出されている。すなわち、指示像以外に、ノイズ(例えば、外乱光)等による他のオブジェクトが検出されている。この場合、指示像と他のオブジェクトとの識別が困難であり、指示位置の検出は失敗する。
図8の画像では、点線の枠A4内に指示像が写っている。しかし、枠A4内の指示像は小さく、ノイズ等の誤検出も想定され、指示像の検出結果に対する信頼度が非常に低くなる。その結果、指示位置の検出に失敗したと判定される。
図9の画像では、例えば、指示像が非常に小さかったり、指示像の輝度が非常に低かったりして、指示像の候補となるオブジェクトが検出されていない。その結果、指示位置の検出は失敗する。
ステップS9において、制御部42は、制御パラメータを調整するか否かを判定する。例えば、制御部42は、まだ試していない制御パラメータのパターン(制御パターンの組合せ)が残っている場合、制御パラメータを調整すると判定し、処理はステップS10に進む。
ステップS10において、情報処理装置12は、制御パラメータ調整処理を実行し、その後、処理はステップS11に進む。
ここで、図10のフローチャートを参照して、制御パラメータ調整処理の詳細について説明する。
ステップS51において、指示光制御部51は、出力パラメータを調整するか否かを判定する。例えば、指示光制御部51は、まだ試していない出力パラメータのパターン(出力パラメータの組合せ)が残っている場合、出力パラメータを調整すると判定し、処理はステップS52に進む。
ステップS52において、指示光制御部51は、出力パラメータを調整する。例えば、指示光制御部51は、撮影画像内において指示像が顕著に現れ、指示位置の検出精度が向上するように、出力パラメータを調整する。
なお、出力パラメータの調整方法は、任意に設定することができる。例えば、撮影画像内の指示像の検出結果に基づいて、出力パラメータが調整される。
例えば、上述した図7の例のように、指示像の候補が複数検出されている場合、指示像が他のオブジェクトと明確に識別されるように、出力パラメータが調整される。
例えば、指示光の色及び時間的パターンのうち少なくとも1つが優先的に変更される。例えば、指示像の色が他のオブジェクトと異なるように、指示光の色が変更される。或いは、例えば、指示光の時系列の変化(例えば、点滅)が開始されたり、指示光の時間的パターン(例えば、点滅パターン)が変更されたりする。
指示光の色及び時間的パターンを変更しても指示位置の検出が失敗する場合、例えば、指示像が他のオブジェクトより顕著に大きくなるように、指示光の断面積が大きくされる。この場合、指示光の断面積が大きくされることにより、光が拡散し、指示像の輝度が低下する場合、指示光の強度が上げられる。或いは、例えば、指示像の形が他のオブジェクトと異なるように、指示光の断面の形が変更される。
また、上述した図8及び図9の例のように、指示像とノイズとの識別が困難な場合や、指示像の候補が検出されなかった場合、指示像がノイズ等と明確に識別されるように、出力パラメータが調整される。
例えば、指示光の強度、断面の大きさ、及び、断面の形のうち少なくとも1つが優先的に変更される。例えば、指示像がノイズと比較して顕著に大きくなるように、指示光の断面積が大きくされる。この場合、指示光の断面積が大きくされることにより、光が拡散し、指示像の輝度が低下する場合、指示光の強度が上げられる。また、例えば、指示像の形がノイズ等と顕著に異なるように、指示光の断面積の形が変更される。指示光の強度、断面の大きさ、及び、断面の形を変更しても指示位置の検出が失敗する場合、例えば、指示光の色又は時間的パターンが変更される。
或いは、例えば、指示光制御部51は、撮影画像における指示像の検出結果に関わらず、所定の順序で出力パラメータを変更する。
例えば、指示光の強度が所定の間隔で徐々に引き上げられる。
次に、指示光の断面積が所定の間隔で徐々に大きくされる。
次に、指示光の形が所定の順序で変更される。
次に、指示光の色が所定の順序で変更される。
次に、指示光の時間的パターンが所定の順序で変更される。例えば、指示光を点滅させる場合、指示光の点滅間隔が徐々に短くされる。
なお、出力パラメータを変更する順序は任意に設定することが可能である。また、2種類以上の出力パラメータを同時に変更するようにしてもよい。
なお、指示光の強度及び時間的パターンは、位置指示装置13の消費電力に与える影響が特に大きい。そこで、例えば、指示位置の検出が成功した後、指示位置の検出が失敗しない範囲で、指示光の強度を下げたり、指示光の時間的パターンの間隔を長くしたりすることが望ましい。
指示光制御部51は、調整後の出力パラメータを含む出力制御情報を生成し、送信部61を介して位置指示装置13に送信する。
これに対して、位置指示装置13の出力制御部111は、受信部121を介して、出力制御情報を受信する。指示光出力部103は、出力制御部111の制御の下に、調整後の出力パラメータに基づいて、指示光の出力を行う。
その後、処理はステップS53に進む。
一方、ステップS51において、例えば、指示光制御部51は、全ての出力パラメータのパターンをすでに試している場合、出力パラメータを調整しないと判定し、ステップS52の処理はスキップされ、処理はステップS53に進む。
ステップS53において、センサ制御部52は、センサパラメータを調整するか否かを判定する。例えば、センサ制御部52は、まだ試していないセンサパラメータのパターン(センサパラメータの組合せ)が残っている場合、センサパラメータを調整すると判定し、処理はステップS54に進む。
ステップS54において、センサ制御部52は、センサパラメータを調整する。
例えば、センサ制御部52は、撮影画像内の指示像の輝度が適切な値になるように、画像センサ31のシャッタ速度、ゲイン、絞り等を調整する。
センサ制御部52は、調整後のセンサパラメータを、I/F部44を介してセンサ部11に供給する。
これに対して、画像センサ31は、調整後のセンサパラメータに基づいて、指示対象空間内の撮影を行う。
その後、処理はステップS55に進む。
一方、ステップS53において、例えば、センサ制御部52は、全てのセンサパラメータのパターンをすでに試している場合、センサパラメータを調整しないと判定し、ステップS54の処理はスキップされ、処理はステップS55に進む。
ステップS55において、検出制御部53は、検出パラメータを調整するか否かを判定する。例えば、検出制御部53は、出力パラメータ及びセンサパラメータの調整内容等に基づいて、検出パラメータの変更の必要性を判定する。検出制御部53は、検出パラメータの変更が必要であると判定した場合、検出パラメータを調整すると判定し、処理はステップS56に進む。
ステップS56において、検出制御部53は、検出パラメータを調整する。例えば、検出制御部53は、出力パラメータ及びセンサパラメータ等に応じて、検出対象とする指示像の輝度の範囲、大きさの範囲、形の範囲、色の範囲、及び、時間的パターンを調整する。
なお、例えば、検出制御部53は、出力パラメータ及びセンサパラメータが変更されていなくても、指示像が検出されるように、検出パラメータを調整し、試行するようにしてもよい。
その後、制御パラメータ調整処理は終了する。
一方、ステップS55において、検出制御部53は、検出パラメータの変更が必要でないと判定した場合、検出パラメータを調整しないと判定し、制御パラメータ調整処理は終了する。
図5に戻り、一方、ステップS9において、例えば、制御部42は、全ての制御パラメータのパターンをすでに試している場合、制御パラメータを調整しないと判定し、処理はステップS11に進む。
ステップS11において、情報処理装置12は、指示位置の検出不可を通知する。例えば、指示位置検出部43は、指示位置の検出不可であることを示す指示位置情報を生成し、I/F部44を介して処理部14に供給するとともに、制御部42に供給する。
これに対して、例えば、プロジェクタ71は、指示位置が検出できないため、画像の投影位置を制御できないことを、所定の方法でユーザに通知する。
その後、処理はステップS12に進む。
ステップS12において、制御部42は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップS2に戻る。
その後、ステップS12において、処理を終了すると判定されるまで、ステップS2乃至ステップS12の処理が繰り返し実行される。
一方、ステップS12において、例えば、制御部42は、入力部41を介して、指示位置検出処理の終了の指令が入力された場合、処理を終了すると判定し、指示位置検出処理は終了する。
以上のようにして、制御パラメータ(出力パラメータ、センサパラメータ、及び、検出パラメータ)が適切に調整され、指示位置の検出精度が向上する。
また、例えば、環境等の変化等に対してロバストなシステムが実現される。例えば、指示対象空間の環境(例えば、照明環境等)、位置指示装置13による指示位置、及び、画像センサ31の設置位置等が変化しても、適切に制御パラメータが設定されるため、指示位置の検出精度が良好に保たれる。
さらに、ユーザが制御パラメータを調整する必要がないため、ユーザの負担が軽減される。
なお、例えば、情報処理システム1が環境等の条件の変動が小さい場所に据え置かれる場合、上述した指示位置検出処理を、情報処理システム1の初期設定に適用することが可能である。すなわち、情報処理システム1の設置時に、設置場所に対して適切な制御パラメータを検出し、設定することができる。
<<2.第2の実施の形態>>
次に、図11を参照して、本技術の第2の実施の形態について説明する。
第2の実施の形態では、位置指示装置13a及び位置指示装置13bの2つの位置指示装置、並びに、画像センサ31a及び画像センサ31bの2つの画像センサが設けられている。
そして、画像センサ31a及び画像センサ31bにより撮影された撮影画像に基づいて、位置指示装置13aによる指示位置Pa及び位置指示装置13bによる指示位置Pbが検出される。
この場合、位置指示装置13aの指示光及び位置指示装置13bの指示光は、個別に制御される。そして、指示位置Pa及び指示位置Pbが明確に識別されるように、例えば、各指示光がそれぞれ異なる出力方法で出力される。
例えば、情報処理装置12の指示光制御部51から、送信部61を介して、位置指示装置13a及び位置指示装置13bに個別に出力制御情報が送信される。そして、位置指示装置13aの指示光による指示像と、位置指示装置13bの指示光による指示像とが明確に識別できるように、出力パラメータが異なる値に設定される。例えば、各指示光の強度、断面の大きさ、断面の形、色、及び、時間的パターンのうち少なくとも1つが異なる値に設定される。
このとき、上述した処理により、煩雑な調整作業を行うことなく、各位置指示装置13の出力パラメータ、及び、各画像センサ31のセンサパラメータを適切に設定することができる。
なお、位置指示装置13の数、及び、画像センサ31の数を、それぞれ3以上に設定することも可能である。
<<3.第3の実施の形態>>
次に、図12を参照して、本技術の第3の実施の形態について説明する。
第3の実施の形態は、指示光が出力される位置により指示位置が示される出力型の位置指示装置201a乃至位置指示装置201dを、照射型の位置指示装置13の代わりに用いた例を示している。
以下、位置指示装置201a乃至位置指示装置201dを個々に区別する必要がない場合、単に位置指示装置201と称する。
各位置指示装置201は、例えば、設置型のマーカにより構成される。各位置指示装置201は、壁163aの所定の位置に設置されている。
例えば、ユーザは、情報処理装置12の入力部41を介して、指示光を出力させる位置指示装置201を選択する。情報処理装置12の指示光制御部51は、出力パラメータを含む出力制御情報を生成し、送信部61を介して、指示光を出力する位置指示装置201に送信する。
出力制御情報を受信した位置指示装置201は、出力制御情報に含まれる出力パラメータに基づいて、指示光の出力を行う。そして、指示光を出力した位置指示装置201の位置により、すなわち、指示光が出力された位置により、指示位置が示される。
これに対して、プロジェクタ71は、上述した例と同様に、指示位置に基づいて、画像Iの投影位置を制御する。
また、上述した例と同様に、指示位置の検出に失敗した場合、指示位置の検出が成功するように、位置指示装置201の指示光の強度、断面の大きさ、断面の形、色、及び、時間的パターンが調整される。
なお、図12の位置指示装置201の数や設置位置は、その一例であり、任意に変更することが可能である。例えば、位置指示装置201は、天井161、床162、及び、壁163a以外の壁163等に設置することが可能である。
<<4.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
<制御パラメータの制御方法に関する変形例>
上述した制御パラメータの制御方法は、その一例であり、他の方法を採用することも可能である。
例えば、情報処理装置12が、指示対象空間の環境に基づいて、制御パラメータを制御するようにしてもよい。
例えば、照射型の位置指示装置13の場合、指示光が照射されている面(以下、照射面と称する)と位置指示装置13との間の距離により、指示像の輝度及び大きさが変化する。そこで、例えば、照射面と位置指示装置13との間の距離に基づいて、指示光の強度及び断面の大きさのうち少なくとも1つが制御されるようにしてもよい。例えば、照射面と位置指示装置13との間の距離が離れるほど、指示像の輝度が低下したり、指示像が小さくなるため、指示光の強度が上げられたり、指示光の断面積が大きくされたりする。
なお、照射面と位置指示装置13との間の距離は、例えば、位置指示装置13に測距センサ等を設けることにより、検出される。
例えば、照射型の位置指示装置13の場合、照射面の反射率により、指示像の輝度が変化する。そこで、例えば、照射面の反射率に基づいて、指示光の強度が制御されるようにしてもよい。例えば、照射面の反射率が低下するほど、指示像の輝度が低下するため、指示光の強度が上げられる。
なお、照射面の反射率は、例えば、センサ部11又は位置指示装置13に、反射率を測定するセンサを設けることにより、検出される。或いは、指示対象空間が固定される場合には、例えば、指示対象空間内の各面の反射率を予め測定し、測定結果を情報処理装置12の記憶部46に記憶させておくようにしてもよい。
例えば、照射型の位置指示装置13及び出力型の位置指示装置201のいずれの場合においても、指示対象空間内の照明の色が、指示像の検出精度に影響を与える。例えば、指示光の色と照明の色が近くなるほど、指示像の検出精度が低下し、その結果、指示位置の検出精度が低下する。そこで、例えば、照明の色に応じて、指示光の色が制御されるようにしてもよい。例えば、指示光の色が、照明光の色との差が大きい色に設定される。
なお、照明の色は、例えば、画像センサ31により撮影される撮影画像に基づいて検出される。或いは、例えば、分光器等をセンサ部11に設けて、照明の色を検出するようにしてもよい。
例えば、照射型の位置指示装置13及び出力型の位置指示装置201のいずれの場合においても、指示位置が示される面(以下、指示面と称する)の色が、指示像の検出精度に影響を与える。なお、照射型の位置指示装置13の場合、指示面と照射面が等しくなる。出力型の位置指示装置201の場合、例えば、位置指示装置201が設けられている面が指示面となる。例えば、指示光の色と指示面の色が近くなるほど、指示像の検出精度が低下し、その結果、指示位置の検出精度が低下する。そこで、例えば、指示面の色に応じて、指示光の色が制御されるようにしてもよい。例えば、指示光の色が、指示面の色との差が大きい色に設定される。
なお、指示面の色は、例えば、画像センサ31により撮影される撮影画像に基づいて検出される。或いは、例えば、分光器等をセンサ部11に設けて、指示面の色を検出するようにしてもよい。
例えば、照射型の位置指示装置13及び出力型の位置指示装置201のいずれの場合においても、指示面に投影される画像の色が、指示像の検出精度に影響を与える。例えば、プロジェクタ71が、DLP(Digital Light Processing、登録商標)のように各色の投影光を時分割に出力する場合(例えば、赤、緑、青の投影光を時分割に出力する場合)、投影光の色が指示光の色に近くなると、指示像の検出精度が低下し、その結果、指示位置の検出精度が低下する。そこで、例えば、投影光の色の時間的パターンと重ならないように、指示光の色の時間的パターンが制御されるようにしてもよい。
なお、指示対象空間の環境に基づいて出力パラメータを制御する場合、例えば、指示対象空間の照明環境が固定されており、照明の色等がほとんど変化しないとき、指示光の強度、指示光の断面の大きさ、及び、指示光の断面の形のうち少なくとも1つが優先的に変更される。また、出力パラメータの変更に合わせて、センサパラメータが変更される。
一方、指示対象空間の照明環境が大きく変化するとき、又は、照明環境が不明なとき、例えば、指示光の色が優先的に変更される。
なお、照明光の色や指示面の色が固定されており、ほとんど変化しない場合、例えば、指示光の色を固定し、変更しないようにしてもよい。
また、例えば、指示光が照射面により反射されるときに、照射面の影響により反射光の色が変化し、指示像の色が指示光の色と大きく異なる場合が想定される。この場合、検出パラメータに含まれる指示像の色の範囲が不適切となり、指示像の検出精度が低下し、その結果、指示位置の検出精度が低下するおそれがある。これに対して、例えば、指示光の色、又は、検出パラメータの指示像の色の範囲を調整することにより、指示像の検出精度が向上する。
なお、例えば、撮影画像における指示像の検出結果、及び、指示対象空間の環境の両方に基づいて、制御パラメータを制御するようにしてもよい。
また、例えば、位置指示装置13から受信した出力情報に基づいて、制御パラメータ(特に、検出パラメータ)を制御するようにしてもよい。
<制御パラメータに関する変形例>
上述した制御パラメータ(出力パラメータ、検出パラメータ、及び、センサパラメータ)の種類は、その一例であり、パラメータの種類を追加したり、削減したりすることが可能である。
また、検出パラメータ及びセンサパラメータのうちの少なくとも一方を固定し、自動調整を行わないようにしてもよい。例えば、出力パラメータのみを自動調整したり、出力パラメータ及び検出パラメータのみを自動調整したり、出力パラメータ及びセンサパラメータのみを自動調整したりするようにしてもよい。検出パラメータ及びセンサパラメータのうちの少なくとも一方を固定しても、出力パラメータを自動調整することにより、指示光の出力方法が適切に設定されるため、指示位置の検出精度は向上する。
<その他の変形例>
以上の説明では、画像センサ31により撮影された撮影画像に基づいて、指示位置を検出する例を示したが、本技術は、その他のセンサにより得られたセンサデータに基づいて、指示位置を検出する場合にも適用することができる。
また、図2に示されるセンサ部11、情報処理装置12、及び、処理部14の機能の分担は、その一例であり、変更することが可能である。例えば、センサ部11及び処理部14の少なくとも一方を情報処理装置12に設けることが可能である。また、例えば、情報処理装置12の機能の一部を、センサ部11及び処理部14の少なくとも一方に設けることが可能である。
さらに、例えば、出力情報から、指示光の出力方法を削除することも可能である。
また、以上の説明では、指示位置の検出結果に基づいて、プロジェクタ71の画像の投影位置を制御する例を示したが、指示位置の検出結果を他の用途に使用することも可能である。この場合、指示位置の検出結果を使用するハードウエア及びソフトウエアのうち少なくとも1つが、処理部14に設けられる。
さらに、本技術は、照射型の位置指示装置13と出力型の位置指示装置201の両方を用いるシステムにも適用することができる。この場合も、例えば、各位置指示装置に対して、個別に出力制御情報を送信し、出力パラメータを設定することにより、各位置指示装置の指示光が個別に制御される。
<<5.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ500において、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータ500では、CPU501が、例えば、記憶部508に記録されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ500(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ500では、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行う指示位置検出部と、
前記指示位置の検出結果に基づいて、前記位置指示装置の前記指示光の出力を制御する指示光制御部と
を備える情報処理装置。
(2)
前記指示光制御部は、前記指示光の出力方法を制御する
前記(1)に記載の情報処理装置。
(3)
前記指示光制御部は、前記指示光の出力方法を示す出力パラメータを制御する
前記(2)に記載の情報処理装置。
(4)
前記出力パラメータは、前記指示光の強度、断面の大きさ、断面の形、色、及び、時間的パターンのうちの少なくとも1つを含む
前記(3)に記載の情報処理装置。
(5)
前記指示光の出力方法に基づいて、前記指示位置の検出に用いられる検出パラメータを制御する検出制御部を
さらに備える前記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記検出パラメータは、前記指示光による像である指示像の輝度、大きさ、形、色、及び、時間的パターンのうち少なくとも1つを含む
前記(5)に記載の情報処理装置。
(7)
前記指示光制御部は、複数の前記位置指示装置がそれぞれ異なる出力方法で前記指示光を出力するように制御する
前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記指示位置の検出結果に基づいて、前記センサデータを検出するセンサの制御に用いられるセンサパラメータを制御するセンサ制御部を
さらに備える前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記センサは、画像センサであり、
前記センサパラメータは、前記画像センサのゲイン、シャッタ速度、及び、絞りのうち少なくとも1つを含む
前記(8)に記載の情報処理装置。
(10)
前記センサデータは、前記空間内を撮影した画像のデータであり、
前記指示光制御部は、前記画像内の前記指示光による像である指示像の検出結果に基づいて、前記指示光の出力を制御する
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記指示光制御部は、前記画像内において前記指示像の候補が検出されていない場合、前記指示光の強度、断面の大きさ、及び、断面の形のうち少なくとも1つを優先的に変更する
前記(10)に記載の情報処理装置。
(12)
前記指示光制御部は、前記画像内において前記指示像の候補が複数検出されている場合、前記指示光の色及び時間的パターンのうち少なくとも1つを優先的に変更する
前記(10)又は(11)に記載の情報処理装置。
(13)
前記指示光制御部は、前記空間の環境に基づいて、前記指示光の出力を制御する
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記指示光制御部は、前記指示光が照射されている照射面と前記位置指示装置との間の距離に基づいて、前記指示光の強度及び断面の大きさのうち少なくとも1つを制御する
前記(13)に記載の情報処理装置。
(15)
前記指示光制御部は、前記指示光が照射されている照射面の反射率に基づいて、前記指示光の強度を制御する
前記(13)又は(14)に記載の情報処理装置。
(16)
前記指示光制御部は、前記空間内の照明の色、及び、前記指示位置が示されている面の色のうち少なくとも1つに基づいて、前記指示光の色を制御する
前記(13)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記指示光制御部は、前記指示位置が示されている面に投影される画像の色の時間的パターンに基づいて、前記指示光の色の時間的パターンを制御する
前記(13)乃至(16)のいずれかに記載の情報処理装置。
(18)
前記出力情報は、前記指示光の出力の有無を含む
前記(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記出力情報は、さらに前記指示光の出力方法を含む
前記(18)に記載の情報処理装置。
(20)
前記指示位置は、前記指示光が照射される位置である
前記(1)乃至(19)のいずれかに記載の情報処理装置。
(21)
前記指示位置は、前記指示光が出力される位置である
前記(1)乃至(19)のいずれかに記載の情報処理装置。
(22)
前記指示位置は、画像の投影位置を変更可能なプロジェクタの投影位置の制御に用いられる
前記(1)乃至(21)のいずれかに記載の情報処理装置。
(23)
前記指示光制御部は、前記指示光の出力の制御に用いられる出力制御情報を生成し、
前記出力制御情報を前記位置指示装置に送信する送信部と、
前記出力情報を前記位置指示装置から受信する受信部と
をさらに備える前記(1)乃至(22)のいずれかに記載の情報処理装置。
(24)
位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、
前記指示位置の検出結果に基づいて、前記指示光の出力を制御する
情報処理方法。
(25)
位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、
前記指示位置の検出結果に基づいて、前記指示光の出力を制御する
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
(26)
指示位置を示すための指示光を出力する指示光出力部と、
前記指示光の出力の制御に用いられる出力制御情報を情報処理装置から受信する受信部と、
前記出力制御情報に基づいて前記指示光の出力を制御するとともに、前記指示光の出力状態を示す出力情報を生成する出力制御部と、
前記出力情報を前記情報処理装置に送信する送信部と
を備える位置指示装置。
(27)
前記出力情報は、前記指示光の出力の有無を含む
前記(26)に記載の位置指示装置。
(28)
前記出力情報は、前記指示光の出力方法をさらに含む
前記(27)に記載の位置指示装置。
(29)
前記出力制御情報は、前記指示光の出力方法を示す出力パラメータを含む
前記(26)乃至(28)のいずれかに記載の位置指示装置。
(30)
前記出力パラメータは、前記指示光の強度、断面の大きさ、断面の形、色、及び、時間的パターンのうちの少なくとも1つを含む
前記(29)に記載の位置指示装置。
(31)
位置指示装置と、
情報処理装置と、
を備え、
前記位置指示装置は、
指示位置を示すための指示光を出力する指示光出力部と、
前記指示光の出力の制御に用いられる出力制御情報を前記情報処理装置から受信する第1の受信部と、
前記出力制御情報に基づいて前記指示光の出力を制御するとともに、前記指示光の出力状態を示す出力情報を生成する出力制御部と、
前記出力情報を前記情報処理装置に送信する第1の送信部と
を備え、
前記情報処理装置は、
前記出力情報を前記位置指示装置から受信する第2の受信部と、
前記出力情報、及び、前記指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行う指示位置検出部と、
前記指示位置の検出結果に基づいて、前記出力制御情報を生成する指示光制御部と、
前記出力制御情報を前記位置指示装置に送信する第2の送信部と、
を備える情報処理システム。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
1 情報処理システム, 11 センサ部, 12 情報処理装置, 13,13a,13b 位置指示装置, 14 処理部, 31,31a,31b 画像センサ, 42 制御部, 43 指示位置検出部, 45 通信部, 51 指示光制御部, 52 センサ制御部, 53 検出制御部, 61 送信部, 62 受信部, 102 制御部, 103 指示光出力部, 104 通信部, 111 出力制御部, 121 受信部, 122 送信部, 201a乃至201d 位置指示装置

Claims (20)

  1. 位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行う指示位置検出部と、
    前記指示位置の検出結果に基づいて、前記位置指示装置の前記指示光の出力を制御する指示光制御部と
    を備える情報処理装置。
  2. 前記指示光制御部は、前記指示光の出力方法を制御する
    請求項1に記載の情報処理装置。
  3. 前記指示光の出力方法に基づいて、前記指示位置の検出に用いられる検出パラメータを制御する検出制御部を
    さらに備え、
    前記指示光制御部による前記指示光の出力方法を示す出力パラメータの制御、及び、前記検出制御部による前記検出パラメータの制御のうち少なくとも1つを行う
    請求項2に記載の情報処理装置。
  4. 前記出力パラメータは、前記指示光の強度、断面の大きさ、断面の形、色、及び、時間的パターンのうちの少なくとも1つを含み、
    前記検出パラメータは、前記指示光による像である指示像の輝度、大きさ、形、色、及び、時間的パターンのうち少なくとも1つを含む
    請求項3に記載の情報処理装置。
  5. 前記指示光制御部は、複数の前記位置指示装置がそれぞれ異なる出力方法で前記指示光を出力するように制御する
    請求項2に記載の情報処理装置。
  6. 前記指示位置の検出結果に基づいて、前記センサデータを検出するセンサの制御に用いられるセンサパラメータを制御するセンサ制御部を
    さらに備える請求項1に記載の情報処理装置。
  7. 前記センサデータは、前記空間内を撮影した画像のデータであり、
    前記指示光制御部は、前記画像内の前記指示光による像である指示像の検出結果に基づいて、前記指示光の出力を制御する
    請求項1に記載の情報処理装置。
  8. 前記指示光制御部は、前記画像内において前記指示像の候補が検出されていない場合、前記指示光の強度、断面の大きさ、及び、断面の形のうち少なくとも1つを優先的に変更する
    請求項7に記載の情報処理装置。
  9. 前記指示光制御部は、前記画像内において前記指示像の候補が複数検出されている場合、前記指示光の色及び時間的パターンのうち少なくとも1つを優先的に変更する
    請求項7に記載の情報処理装置。
  10. 前記指示光制御部は、前記空間の環境に基づいて、前記指示光の出力を制御する
    請求項1に記載の情報処理装置。
  11. 前記指示光制御部は、前記指示光が照射されている照射面と前記位置指示装置との間の距離に基づいて、前記指示光の強度及び断面の大きさのうち少なくとも1つを制御する
    請求項10に記載の情報処理装置。
  12. 前記指示光制御部は、前記指示光が照射されている照射面の反射率に基づいて、前記指示光の強度を制御する
    請求項10に記載の情報処理装置。
  13. 前記指示光制御部は、前記空間内の照明の色、及び、前記指示位置が示されている面の色のうち少なくとも1つに基づいて、前記指示光の色を制御する
    請求項10に記載の情報処理装置。
  14. 前記指示光制御部は、前記指示位置が示されている面に投影される画像の色の時間的パターンに基づいて、前記指示光の色の時間的パターンを制御する
    請求項10に記載の情報処理装置。
  15. 前記出力情報は、前記指示光の出力の有無を含む
    請求項1に記載の情報処理装置。
  16. 前記出力情報は、さらに前記指示光の出力方法を含む
    請求項15に記載の情報処理装置。
  17. 前記指示位置は、画像の投影位置を変更可能なプロジェクタの投影位置の制御に用いられる
    請求項1に記載の情報処理装置。
  18. 前記指示光制御部は、前記指示光の出力の制御に用いられる出力制御情報を生成し、
    前記出力制御情報を前記位置指示装置に送信する送信部と、
    前記出力情報を前記位置指示装置から受信する受信部と
    をさらに備える請求項1に記載の情報処理装置。
  19. 位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、
    前記指示位置の検出結果に基づいて、前記指示光の出力を制御する
    情報処理方法。
  20. 位置指示装置の指示光の出力状態を示す出力情報、及び、前記指示光により指示位置が示される空間において検出されたセンサデータに基づいて、前記指示位置の検出を行い、
    前記指示位置の検出結果に基づいて、前記指示光の出力を制御する
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2018126759A 2018-07-03 2018-07-03 情報処理装置、情報処理方法、及び、記録媒体 Pending JP2021165865A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018126759A JP2021165865A (ja) 2018-07-03 2018-07-03 情報処理装置、情報処理方法、及び、記録媒体
DE112019003374.3T DE112019003374T5 (de) 2018-07-03 2019-06-19 Informationsverarbetungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
US17/254,595 US20210132705A1 (en) 2018-07-03 2019-06-19 Information processing apparatus, information processing method, and recording medium
CN201980043371.9A CN112334866A (zh) 2018-07-03 2019-06-19 信息处理设备、信息处理方法和记录介质
PCT/JP2019/024213 WO2020008877A1 (ja) 2018-07-03 2019-06-19 情報処理装置、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018126759A JP2021165865A (ja) 2018-07-03 2018-07-03 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
JP2021165865A true JP2021165865A (ja) 2021-10-14

Family

ID=69060218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018126759A Pending JP2021165865A (ja) 2018-07-03 2018-07-03 情報処理装置、情報処理方法、及び、記録媒体

Country Status (5)

Country Link
US (1) US20210132705A1 (ja)
JP (1) JP2021165865A (ja)
CN (1) CN112334866A (ja)
DE (1) DE112019003374T5 (ja)
WO (1) WO2020008877A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867205B2 (ja) * 2002-08-30 2007-01-10 カシオ計算機株式会社 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
JP2012145646A (ja) * 2011-01-07 2012-08-02 Sanyo Electric Co Ltd 投写型映像表示装置
US11029766B2 (en) * 2013-06-26 2021-06-08 Sony Corporation Information processing apparatus, control method, and storage medium
JP2015014882A (ja) * 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP6492588B2 (ja) * 2014-12-01 2019-04-03 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US9857918B2 (en) * 2015-03-31 2018-01-02 Fujitsu Limited Content display control method and system
JP6507905B2 (ja) * 2015-03-31 2019-05-08 富士通株式会社 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム
JP6719768B2 (ja) * 2016-02-29 2020-07-08 国立大学法人東京工業大学 多重情報表示システム及びこれに用いる照光装置

Also Published As

Publication number Publication date
DE112019003374T5 (de) 2021-03-25
CN112334866A (zh) 2021-02-05
WO2020008877A1 (ja) 2020-01-09
US20210132705A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
EP3314299B1 (en) Methods and apparatus for performing exposure estimation using a time-of-flight sensor
JP6320503B1 (ja) 撮像装置、フリッカ検出方法、およびプログラム
TW202004217A (zh) 結構化的光系統之飛行時間距離探測器
JP5810136B2 (ja) 追尾装置、追尾方法及び追尾プログラム
WO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
JP2007293195A (ja) 自動輝度調整機構を有するプロジェクタと自動輝度調整方法
JP2011070136A (ja) 投影装置
US20210400252A1 (en) Imaging method, imaging system, manufacturing system, and method for manufacturing a product
US9565409B2 (en) Technologies for projecting a noncontinuous image
JP2017225073A (ja) 撮像装置とその制御方法、プログラム及び撮像システム
JP2021165865A (ja) 情報処理装置、情報処理方法、及び、記録媒体
US9733726B2 (en) Projector and method for controlling projector
US9871982B2 (en) Image pickup apparatus that detects flash band and control method therefor
JP2015022043A (ja) 画像処理装置及び画像処理システム
CN111164508B (zh) 用于改进的相机闪光的系统和方法
JP6611525B2 (ja) 撮像装置及び撮像システム
WO2022153817A1 (ja) 情報処理装置、輝度制御方法、及び、プログラム
JP2016114991A (ja) 位置検出装置、画像投写装置及び画像操作システム
EP3486719B1 (en) Image pickup apparatus and control method thereof
US11587324B2 (en) Control apparatus, control method, storage medium, and imaging control system
JP2019075617A (ja) 撮像装置、および画像処理システム
US11388346B2 (en) Image capturing control apparatus and image capturing control method
JP7023614B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP5769518B2 (ja) 撮像装置
US20210409592A1 (en) Object detection device, system, method, and recording medium