JP2018014078A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018014078A
JP2018014078A JP2017043969A JP2017043969A JP2018014078A JP 2018014078 A JP2018014078 A JP 2018014078A JP 2017043969 A JP2017043969 A JP 2017043969A JP 2017043969 A JP2017043969 A JP 2017043969A JP 2018014078 A JP2018014078 A JP 2018014078A
Authority
JP
Japan
Prior art keywords
input device
pointer
information processing
information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017043969A
Other languages
English (en)
Other versions
JP6834614B2 (ja
JP2018014078A5 (ja
Inventor
諒 横山
Ryo Yokoyama
諒 横山
伊藤　鎮
Osamu Ito
鎮 伊藤
庸介 松崎
Yosuke Matsuzaki
庸介 松崎
山野　郁男
Ikuo Yamano
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018014078A publication Critical patent/JP2018014078A/ja
Priority to US15/902,497 priority Critical patent/US10668372B2/en
Priority to CN201810171478.9A priority patent/CN108572728B/zh
Priority to DE102018105289.8A priority patent/DE102018105289A1/de
Publication of JP2018014078A5 publication Critical patent/JP2018014078A5/ja
Application granted granted Critical
Publication of JP6834614B2 publication Critical patent/JP6834614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8023—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game the game being played by multiple players at a common site, e.g. in an arena, theatre, shopping mall using a large public display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】多数の入力デバイスからの入力に基づいて所定の触覚刺激を対応する入力デバイスに提示し、よりリアリティのある直感的な触覚インターフェースを実現することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】１または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、を備える、情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
以前から、無線通信によりテレビジョン等と接続し、操作を行うリモートコントローラーが知られている。
また、映画またはビデオゲーム等のコンテンツの現実感を向上させるため、映像または音声に合わせて振動等の触覚出力をユーザに与える手法が一般的となっている。例えば下記特許文献１では、コンテンツの仮想空間におけるイベントの発生位置に基づいてコントローラーからの触覚出力を遅延させることでコンテンツの現実感を向上させる技術が記載されている。
特開２０１５−１６６８９０号公報
しかしながら、上述した従来技術は、家庭やアミューズメント施設において少数のユーザによりコントローラーが操作される場合を想定しており、多数のコントローラーを判別してそれぞれに対応する振動等の触覚刺激を出力させることは困難であった。
そこで、本開示では、多数の入力デバイスからの入力に基づいて所定の触覚刺激を対応する入力デバイスに提示し、よりリアリティのある直感的な触覚インターフェースを実現することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、１または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、１または複数のセンサデータに基づいて複数のポインタ情報を取得することと、前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別すること部と、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、１または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、多数の入力デバイスからの入力に基づいて所定の触覚刺激を対応する入力デバイスに提示し、よりリアリティのある直感的な触覚インターフェースを実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について示す図である。 本実施形態による表示装置と３Ｄプロジェクターとユーザとの配置の一例を示す図である。 本実施形態による入力デバイスに内蔵される振動部と触覚刺激出力デバイスの一例を示す図である。 本実施形態によるジャケット型の触覚刺激出力デバイスを示す図である。 本実施形態による情報処理システムの全体構成を説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 第１の実施形態による情報処理システムの概要を説明する図である。 第１の実施形態による入力デバイスの構成の一例を示すブロック図である。 第１の実施形態による動作処理を示すフローチャートである。 第１の実施形態において２種類の波長を用いて３個の入力デバイスを判別する場合について説明する図である。 第１の実施形態において３種類の波長を用いた場合の各入力デバイスの発光波長の組み合わせの一例について説明する図である。 第１の実施形態による２種類の波長を用いて９個の入力デバイスを判別する場合について説明する図である。 第１の実施形態による高フレームレートカメラを使用した場合の入力デバイスの判別方法について説明する図である。 第２の実施形態による入力デバイスの構成の一例を示すブロック図である。 第２の実施形態による動作処理を示すフローチャートである。 第２の実施形態の判別手法における速度算出を説明するための図である。 第２の実施形態の判別手法における角度算出を説明するための図である。 第２の実施形態の判別手法による速度算出の他の例について説明する図である。 第２の実施形態の第１の変形例による動作処理を示すフローチャートである。 第２の実施形態の第１の変形例による判別手法における速度および角度の算出について説明する図である。 第２の実施形態による第２の変形例の概要を説明する図である。 本変形例による推定した発光軌跡の速度の算出について説明する図である。 本変形例によるＩＲセンサの他の配置例について説明する図である。 複数のＩＲセンサで同時にＩＲが検知された場合について説明する図である。 本変形例による発光タイミングと検知タイミングの同期制御について説明する図である。 本開示の一実施形態による情報処理システムの構成を示すブロック図である。 本実施形態による情報処理システムの動作を示す模式図である。 本実施形態による情報処理システムの動作を示す模式図である。 本開示の一実施形態による情報処理システムの動作を示すブロック図である。 本実施形態による情報処理システムの動作を示す模式図である。 本実施形態による情報処理システムの動作を示す模式図である。 本実施形態による情報処理システムの動作を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．全体構成
２−２．情報処理装置の構成
３．第１の実施形態
３−１．概要
３−２．入力デバイスの構成
３−３．動作処理
３−４．その他
４．第２の実施形態
４−１．入力デバイスの構成
４−２．動作処理
４−３．第１の変形例
４−４．第２の変形例
５．補足
６．まとめ
７．伝送遅延について
８．入力デバイスの識別について
９．変形例
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本開示の一実施形態による情報処理システムの概要について図１を参照して説明する。本実施形態による情報処理システムは、多数のユーザがそれぞれ入力デバイス２（２Ａ〜２Ｋ）を所持し、前方のスクリーン３に表示された立体視オブジェクト３０に対して入力デバイス２を振る等の操作を行う。入力デバイス２は、赤外線等の非可視光線を発光する発光部を有し、スクリーン３に対してポインタの照射を行い得る。
スクリーン３には、プロジェクター５により３Ｄ映像が投影されるため、ユーザは目の前に迫る立体視オブジェクト３０に対して入力デバイス２を振って攻撃したり等の操作を行い得る。
次いで、図２に、本実施形態によるスクリーン３とプロジェクター５とユーザとの配置の一例を示す。図２に示すように、多数のユーザが入力デバイス２を所持して大型のスクリーン３に対面し、ユーザの上方にはプロジェクター５が配置されスクリーン３に３Ｄ映像を投影している。また、図１および図２には図示しないが周辺にはスピーカ７（図５）が配置されている。図２に示す例では、各ユーザは立った状態であるが、座っている状態であってもよい。また、図２に示す例では、プロジェクター５が天井に配置されているが、他の場所に配置されていてもよい。
また、各ユーザが所持する入力デバイス２の形状は、例えば図１および図２に示すような棒状のものであってもよいし、杖、銃等の武器を模した形状であってもよい。入力デバイス２は、情報処理装置１（図５参照）の制御に従って振動する構造を有し、ユーザが立体視オブジェクト３０に対して所定の操作を行った際に、所定の振動によるフィードバックを返すことで、仮想空間の仮想物体に対する感触等のリアリティを実現することができる。入力デバイス２の先端には、赤外線等を発光する発光部２２（図８参照）が設けられ、ユーザが入力デバイス２をスクリーン３に対して操作している際、スクリーン３には赤外線ポインタが照射され得る。情報処理装置１は、スクリーン３に照射されたポインタの位置と立体視オブジェクト３０の表示位置に基づいて、例えばポインタが立体視オブジェクト３０に重複した場合、立体視オブジェクト３０に入力デバイス２が接触したように知覚させる振動をユーザにフィードバックする。
続いて、入力デバイス２が有する振動機能について図３を参照して説明する。図３は、本実施形態による入力デバイスに内蔵される振動部と触覚刺激出力デバイスの一例を示す図である。入力デバイス２には、上述した発光部の他、図３に示すように複数の振動部２４が内蔵され、情報処理装置１（図５参照）の制御に従って振動する。入力デバイス２と情報処理装置１は、有線または無線により接続され、データの送受信が可能である。内蔵される振動部２４は複数であってもよいし単数であってもよい。また、振動部２４は、入力デバイス２のユーザが把持する柄の部分に内蔵されていてもよいし、他の場所に内蔵されていてもよい。
さらに本実施形態では、図３に示すように、各ユーザの身体に触覚刺激出力デバイス４が装着されている。各触覚刺激出力デバイス４と情報処理装置１は、有線または無線により接続され、データの送受信が可能である。触覚刺激出力デバイス４の形状は特に限定しないが、例えば図３に示すようなバンド型であってもよい。バンド型触覚刺激出力デバイス４−１には、１以上の振動部４１が内蔵され、情報処理装置１の制御に従って振動する。なお触覚刺激出力デバイス４の形状はこれに限定されず、例えば図４に示すようなジャケット型であってもよい。
ジャケット型触覚刺激出力デバイス４−２には、例えば図４に示すように複数の振動部４２が配置されている。振動部４２の数および配置は図４に示す例に限定されず、例えば背面や側面に設けられていてもよい。また、ジャケット型の場合、バンド型と異なり、ユーザが装着した際に各振動部４２が大凡身体のどの位置に配置されるかを把握することができるため、より正確に身体の目的の部分に振動を与えることができる。なお図４に示す例ではジャケット型を図示しているが、本実施形態はこれに限定されず、例えば触覚刺激出力デバイス４は、袖のある上着、トップス、ズボン、手袋、帽子、靴下、靴等の他の衣服であってもよい。また、上記バンド型触覚刺激出力デバイス４−１は、腕の他、足や胴体、頭等にも装着され得る。
また、図４に示すように、ジャケット型触覚刺激出力デバイス４−２の肩の部分にはステレオスピーカ４３が配置されている。ステレオスピーカ４３は、情報処理装置１から送信された音声を出力する。かかる音声（音響）は、例えばユーザの入力デバイス２の操作に応じて個々人に提示され得る。
このように、本実施形態では、３Ｄ映像、音声、および振動といった複数の感覚をユーザに提示することで、仮想空間への没入感を高め、より高度なリアリティを実現することができる。
以上説明した例では、触覚刺激出力デバイス４の触覚刺激の一例として「振動」を用いたが、本実施形態はこれに限定されず、電気刺激、温度、風、または水等の他の触覚刺激を利用してもよい。
また、本実施形態ではスクリーン３に３Ｄ映像が投影されているが、代わりに大型の表示装置を配置してもよい。
続いて、本開示の一実施形態による情報処理システムの各構成について図面を参照して具体的に説明する。
＜＜２．構成＞＞
＜２−１．全体構成＞
図５は、本実施形態による情報処理システムの全体構成を示す図である。図５に示すように、本実施形態による情報処理システムは、情報処理装置１、多数の入力デバイス２（２Ａ〜２Ｃ）、多数の触覚刺激出力デバイス４（４Ａ〜４Ｃ）、プロジェクター５、カメラ６、およびスピーカ７を有する。
カメラ６は、例えばスクリーン３を撮像するＩＲカメラであって、撮像画像を情報処理装置１に出力する。
情報処理装置１は、入力デバイス２、触覚刺激出力デバイス４、カメラ６、プロジェクター５、およびスピーカ７と接続し、各周辺装置の制御を行う。例えば情報処理装置１は、プロジェクター５によるスクリーン３への３Ｄ映像投影を制御し、スピーカ７からの音声出力を制御する。また、情報処理装置１は、カメラ６から出力された撮像画像に基づいて、各入力デバイス２のスクリーン３の表示画面に対する入力状態を把握し、入力状態に応じて所定の触覚刺激を対応する入力デバイス２および当該入力デバイスを所持するユーザの触覚刺激出力デバイス４から出力するよう制御する。
入力デバイス２は、発光部２２および振動部２４（図８参照）を有する入力装置であって、各ユーザに所持される。また、入力デバイス２は、情報処理装置１からの制御に従って振動部２４から振動出力を行い得る。
触覚刺激出力デバイス４は、振動部４２（図３、図４参照）を有する出力装置であって、各ユーザに装着される。また、触覚刺激出力デバイス４は、情報処理装置１からの制御に従って振動部４２から振動出力を行い得る。
プロジェクター５は、投影部を有する出力装置であって、情報処理装置１からの制御に従って、スクリーン３に例えば３Ｄ映像を投影する。
スピーカ７は、音声を出力する出力装置であって、情報処理装置１からの制御に従って、音声信号の出力を行う。
＜２−２．情報処理装置の構成＞
図６は、本実施形態による情報処理装置１の構成の一例を示すブロック図である。図６に示すように、情報処理装置１は、制御部１０、通信部１１、入力部１２、出力部１３、および記憶部１４を有する。
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部１０は、情報解析部１０１、判別部１０２、および出力信号生成部１０３としても機能する。
情報解析部１０１は、１または複数のセンサデータを解析し、スクリーン３の表示画面上における複数のポインタ情報を取得する。具体的には、情報解析部１０１は、ポインタの表示画面上における位置座標や、ポインタの特徴（複数波長の組み合わせ、マーク形状、スイング中の状態、マークの状態、軌跡等）を特定する。センサデータとは、例えば１以上のカメラ６により撮像されたIR撮像画像である。
判別部１０２は、情報解析部１０１により取得された複数のポインタ情報の特徴に基づいて、各ポインタに対応する入力デバイス２を判別する。本実施形態では、一の表示画面に対して多数の入力デバイス２から入力（例えば赤外線による発光）が行われ、情報処理装置１の判別部１０２において、表示画面上のどのポインタがどの入力デバイスのものであるかの判別を行う。この際、判別部１０２は、情報解析部１０１により解析されたポインタ情報の特徴や入力デバイス２からの出力情報（例えばセンサ情報）を用いて入力デバイス２の判別を行う。具体的な判別方法については、各実施形態において具体的に説明する。
出力信号生成部１０３は、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する。具体的には、例えばポインタの位置や軌道が立体視オブジェクト３０に重複した場合、当該立体視オブジェクト３０に入力デバイス２が接触したように知覚させるための触覚刺激信号を生成する。この際、立体視オブジェクト３０に入力デバイス２が接触した時の仮想的な感触（固さ、柔らかさ等の質感）を知覚させる触覚刺激信号が生成される。また、出力信号生成部１０３は、立体視オブジェクト３０に入力デバイス２が接触した時の仮想的な音を知覚させる併せて音声信号を併せて生成してもよい。生成された触覚刺激信号は、通信部１１から対応する入力デバイス２に出力（送信）される。また、生成された音声信号は、スピーカを有する対応する触覚刺激出力デバイス４に出力（送信）される。
また、出力信号生成部１０３は、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイス２を所持するユーザ着用の触覚刺激出力デバイス４に出力する所定の触覚刺激信号をさらに生成してもよい。生成された触覚刺激信号は、通信部１１から対応する触覚刺激出力デバイス４に出力される。
これにより、本実施形態による情報処理装置１は、例えば立体視オブジェクト３０を入力デバイス２で仮想的に叩くゲームの場合に、入力デバイス２で立体視オブジェクト３０を実際に叩いたように知覚させる振動と音をユーザに提示させることができる。また、情報処理装置１は、叩いた際の衝撃をユーザの身体に与えるよう、ユーザ着用のジャケット型触覚刺激出力デバイス４−２（図４参照）から所定の振動を出力させることも可能である。また、情報処理装置１は、攻撃が失敗して立体視オブジェクト３０がユーザに当たったり、立体視オブジェクト３０がユーザへ攻撃してくる映像と共に、実際に身体の特定の個所が攻撃されたように知覚させる所定の振動をユーザ着用のジャケット型触覚刺激出力デバイス４−２から出力させることもできる。
通信部１１は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１１は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Bluetooth（登録商標）、近距離／非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。例えば本実施形態による通信部１１は、触覚刺激信号を入力デバイス２や触覚刺激出力デバイス４に送信する。
入力部１２は、管理者等による操作指示を受付け、その操作内容を制御部１０に出力する。入力部１２は、ディスプレイと一体的に設けられるタッチセンサ、圧力センサ、若しくは近接センサであってもよい。或いは、入力部１２は、キーボード、ボタン、スイッチ、およびレバーなど物理的構成であってもよい。また、入力部１２はマイクロホンであってもよい。
出力部１３は、例えば管理者用の操作画面やメニュー画面等を出力するディスプレイである。具体的には、例えば液晶ディスプレイ（ＬＣＤ：Liquid CrystalDisplay）、有機ＥＬ（Electroluminescence）ディスプレイなどが挙げられる。また出力部１３は、さらに音声を出力するスピーカーを含んでもよい。
記憶部１４は、上述した制御部１０が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部１４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。なお、この記憶部１４は、例えば、Ｆｌａｓｈ ＲＯＭ（又はＦｌａｓｈ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの不揮発性メモリ、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などの光ディスク、並びに、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
以上、本開示の一実施形態による情報処理システムの各構成について具体的に説明した。続いて、本実施形態による情報処理システムの各実施形態について図面を参照して具体的に説明する。
＜＜３．第１の実施形態＞＞
＜３−１．概要＞
上述したように、本実施形態による情報処理装置１は、判別部１０２により表示画面上の各ポインタがどの入力デバイス２により発光されたポインタであるかを判別することで、各入力デバイス２の入力（すなわちポインタの位置や動き）に応じてそれぞれに所定の触覚刺激出力をフィードバックすることを可能とする。
ここで、波長の異なるＩＲ発光器と、各波長に対応するバンドパスフィルタを有するカメラとを用いることで、表示画面上のポインタの位置の特定と、対応するＩＲ発光器との対応付けを判別することが可能である。しかしながら、フィルターの精度を考慮するとある程度波長帯域を離さなければならず、800nm、850nm、900nm、950nmといったように４種類程度が限度であって、４個のＩＲ発光器しか判別できず、大人数を同時に識別することができなかった。
そこで、第１の実施形態では、ｎ種類のＩＲ波長のうち１または複数のＩＲ波長を発光する入力デバイスと、ｎ波長バンドパスフィルタをそれぞれ有するカメラを用いて、大人数を同時に識別することを可能とする。図７は、第１の実施形態による情報処理システムの概要を説明する図である。
図７に示すように、本実施形態では、１または複数のＩＲ波長を発光する多数の入力デバイス２−１（２−１Ａ、２−１Ｂ、・・・）と、スクリーン３を撮像する、それぞれ異なる波長のバンドフィルタを有するカメラ６Ａ〜６ｎを用いる。
本実施形態による情報処理装置１は、カメラ６Ａ〜６ｎから出力された各撮像画像を解析し、表示画面上の各ポインタと対応する入力デバイス２を判別する。本実施形態では、複数のＩＲ波長を発光する入力デバイス２を含むことで、ｎ種類の波長を用いた場合は２ｎ−１人の識別が可能となる。
＜３−２．入力デバイスの構成＞
まず、本実施形態による入力デバイス２−１の構成について図８を参照して説明する。図８は、本実施形態による入力デバイス２−１の構成の一例を示すブロック図である。図８に示すように、入力デバイス２−１は、制御部２０、操作部２１、発光部２２、通信部２３、および振動部２４を有する。
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従って入力デバイス２−１の動作全般を制御する。制御部２０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
本実施形態による制御部２０は、例えば操作部２１からの操作に従って発光部２２の発光ＯＮ／ＯＦＦを制御したり、通信部２３を介して情報処理装置１から送信された触覚刺激信号に従って振動部２４の振動出力を制御したりする。
操作部２１は、ユーザ操作に応じて入力デバイス２−１の電源ＯＮ／ＯＦＦ、発光部２２の発光ＯＮ／ＯＦＦを切り替える。操作部２１は、例えばスイッチ、ボタン、レバー、タッチセンサ、または圧力センサ等により実現される。
発光部２２は、赤外線等の非可視光線を発光する。本実施形態による発光部２２は、例えばｎ種類のＩＲ波長を発光する機能を有する。
通信部２３は、有線または無線により情報処理装置１と接続し、データの送受信を行う。例えば通信部２３は、情報処理装置１から触覚刺激信号を受信する。
振動部２４は、触覚刺激の一例である振動刺激を出力する小型の振動アクチュエータである。振動部２４は単数または複数の振動アクチュエータを含む。
＜３−３．動作処理＞
続いて、第１の実施形態による動作処理について図９を参照して説明する。図９は、本実施形態による動作処理を示すフローチャートである。
図９に示すように、まず、情報処理装置１は、カメラ６Ａ〜６ｎで撮像された各撮像画像を取得する（ステップＳ１０３）。
次に、情報処理装置１の情報解析部１０１は、撮像画像の画像解析を行い、ポインタ（発光点）の座標位置を特定する（ステップＳ１０６）。
次いで、情報処理装置１の判別部１０２は、２以上の撮像画像における各ポインタの座標を比較し（ステップＳ１０９）、ポインタに対応する入力デバイスを判別する（ステップＳ１１２）。ポインタ座標の比較と対応する入力デバイスの判別手法について、以下図１０および図１１を参照して説明する。
図１０は、２種類の波長を用いて３つの入力デバイス２を判別する場合について説明する図である。図１０に示す例では、入力デバイス２−１Ａから波長１のＩＲが発光され、入力デバイス２−１Ｂから波長２のＩＲが発光され、入力デバイス２−１Ｃから波長１および波長２のＩＲが発光されている。また、図１０には、波長１のバンドパスフィルタを有するカメラ６Ａにより撮像された撮像画像６０と、波長２のバンドパスフィルタを有するカメラ６Ｂにより撮像された撮像画像６１が示されている。
判別部１０２は、情報解析部１０１により特定された撮像画像６０のポインタ座標Ｐ１(x1,y1)、Ｐ２(x2,y2)と、撮像画像６１のＰ３(x'1,y'1)、Ｐ４(x3,y3)とをそれぞれ比較し、複数の撮像画像で略同一座標を示すポインタを、対応する複数種類のＩＲ波長を発光する入力デバイス２−１Ｃのものであると判別する。各入力デバイス２−１のＩＲ発光波長の情報は、例えば記憶部１４に予め登録されている。
略同一座標を判断するための算出式の一例を下記に示す。ここでは一例としてＰ２(x2,y2)とＰ３(x'1,y'1)とを比較する場合の算出式を示す。判別部１０２は、下記式を満たす場合に両者が略同一座標を示すものであると判断し、波長１と波長２のＩＲを発光する入力デバイス２−１Ｃが対応する入力デバイスであると判別する。
Figure 2018014078
図１１は、３種類の波長を用いた場合の各入力デバイスの発光波長の組み合わせの一例について説明する図である。図１１に示すように、波長１、波長２、波長３の３種類のＩＲ波長を用いる場合、入力デバイス２−１Ａ〜２−１Ｇの７個の入力デバイス、すなわち７人の識別が可能となる。この場合、ＩＲカメラは、波長１のバンドパスフィルタを有するカメラ６Ａと、波長２のバンドパスフィルタを有するカメラ６Ｂと、波長３のバンドパスフィルタを有するカメラ６Ｃとが用いられる。
また、図示しないが、４種類のＩＲ波長を用いた場合は、１５個の入力デバイス、すなわち１５人の識別が可能となる。
以上、入力デバイス２−１の判別手法について具体的に説明した。
次に、情報処理装置１の出力信号生成部１０３は、特定されたポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイス２−１に出力する所定の触覚刺激信号を生成する（ステップＳ１１５）。例えば、ポインタが立体視オブジェクト３０に重複した場合、出力信号生成部１０３は、立体視オブジェクト３０に入力デバイス２−１が接触したように知覚させるための触覚刺激信号を生成する。
そして、情報処理装置１は、生成した触覚刺激信号を通信部１１から対象の入力デバイス２−１に送信し、入力デバイス２−１から当該触覚刺激を出力させる（ステップＳ１１８）。
＜３−４．その他＞
以上説明した例では、ｎ種類の波長を用いて２ｎ−１人の識別を可能とするが、さらに以下のようなポインタ特徴を持たせることで、さらに大人数の識別が可能となる。
（マーク形状）
例えばポインタのマーク形状、マークの大きさ、マークの向き、点光源の配置、線光源による文字等により、さらに入力デバイスの判別数を増やすことが可能である。図１２は、２種類の波長を用いて９個の入力デバイスを判別する場合について説明する図である。
図１２に示す例では、波長１を発光する入力デバイス２−１Ａ〜２−１Ｃがそれぞれ第１〜第３のマークを照射し、波長２を発光する入力デバイス２−１Ｄ〜２−１Ｆがそれぞれ第１〜第３のマークを照射し、波長１および波長２を発光する入力デバイス２−１Ｇ〜２−１Ｉがそれぞれ第１〜第３のマークを照射する。
判別部１０２は、波長１のバンドパスフィルタを有するカメラ６Ａにより撮像された撮像画像６２のポインタ座標Ｐ１１〜１６と、波長２のバンドパスフィルタを有するカメラ６Ｂにより撮像された撮像画像６３のポインタ座標Ｐ１７〜Ｐ２２の位置とマーク形状に基づいて、各入力デバイス２−１を判別する。各入力デバイス２−１の発光波長とマーク形状の情報は、例えば予め記憶部１４に記憶されている。
例えば判別部１０２は、対応する波長とマーク形状の相違により、撮像画像６２におけるポインタ座標Ｐ１１〜Ｐ１３の入力デバイス２−１Ａ〜２−１Ｃを判別し、撮像画像６３におけるポインタ座標Ｐ１７〜Ｐ１９の入力デバイス２−１Ｄ〜２−１Ｆを判別し得る。また、判別部１０２は、撮像画像６２のポインタ座標Ｐ１４〜Ｐ１６は、撮像画像６３のポインタ座標Ｐ２０〜Ｐ２２とそれぞれ略同一座標およびそれぞれ同一のマーク形状であることから、対応する入力デバイス２−１Ｇ〜２−１Ｉを判別し得る。
（スイング中の特徴）
判別部１０２は、入力デバイス２のスイング中であってもポインタの発光軌跡の状態に基づいて相違を認識し、入力デバイスの判別を行うことが可能である。ポインタが静止状態であれば図１２に示すように各マーク形状を認識できるが、スイング中の場合は露光時間に応じてボケるため、異なるマーク形状やマークの大きさに応じて発光軌跡が異なる。判別部１０２は、発光軌跡の太さや本線、どの方向にスイングされているかといったポインタ特徴に基づいて、対応する入力デバイス２を判別し得る。
（マークの状態）
また、各入力デバイス２−１から発光されるＩＲの輝度値の大きさを異ならせる（すなわち、明るさの相違）により、対応する入力デバイス２−１を判別することも可能である。
また、各入力デバイス２−１から発光するＩＲを点滅させて、点滅パターンの相違により対応する入力デバイス２−１を判別することも可能である。
（高フレームレートカメラの使用）
情報処理装置１は、入力デバイス２−１での発光タイミングとカメラ６のシャッタータイミングを同期させて、それぞれのポインタが特定倍数フレームにしか映らないようにすることで、単一波長を用いた場合でも複数の入力デバイス２−１を判別することを可能とする。以下、図１３を参照して具体的に説明する。
図１３は、本実施形態による高フレームレートカメラを使用した場合の入力デバイスの判別方法について説明する図である。情報処理装置１は、各入力デバイス２−１からの発光タイミングと、カメラ６による表示画面の撮像タイミングとを同期させ、図１３に示すように、それぞれのポインタが特定倍数フレームにしか映らないように制御する。これにより、情報処理装置１の判別部１０２は、例えば入力デバイス２−１Ａを発光したタイミングで取得したフレーム１に映るポインタＡは入力デバイス２−１Ａに対応し、入力デバイス２−１Ｂを発光したタイミングで取得したフレーム２に映るポインタＢは入力デバイス２−１Ａに対応すると判別することが可能となる。
（各手法の組み合わせ）
上述した各手法内でのパターンの組み合わせにより、さらに入力デバイス２−１の判別数を増やすことも可能である。例えば上述した実施形態で説明したような複数波長の組み合わせが考えられる。
（異なる手法の組み合わせ）
上述した異なる手法を組み合わせて、さらに入力デバイス２−１の判別数を増やすことも可能である。例えば２種類のＩＲ波長を用いる場合に、さらにマーク形状、大きさ、明るさ、点滅等による多数の識別を組み合わせて、より多くの人数の識別に対応することが可能である。
＜＜４．第２の実施形態＞＞
次に、第２の実施形態による情報処理システムについて図１４〜図２０を参照して説明する。本実施形態では、ＩＲ発光機能を有する入力デバイス２−２に、さらに動きや姿勢を検知するセンサを設けて、入力デバイス２−２の動きと、カメラ６により撮像した表示画面の撮像画像に基づいて、各ポインタに対応する入力デバイス２−２の判別を行う。
＜４−１．入力デバイスの構成＞
図１４は、本実施形態による入力デバイス２−２の構成の一例を示すブロック図である。図１４に示すように、入力デバイス２−２は、制御部２０、操作部２１、発光部２２、通信部２３、振動部２４、およびセンサ部２５を有する。ここでは、第１の実施形態による入力デバイス２−１と異なる部分について説明し、共通する部分についての説明は省略する。
制御部２０は、発光部２２および振動部２４の制御の他、センサ部２５により検知されたセンサ情報を、通信部２３を介して情報処理装置１へ送信するよう制御する。
センサ部２５は、入力デバイス２−２の動きや姿勢を検知するセンサであって、例えば６軸センサ（具体的には、加速度センサおよびジャイロセンサ）と姿勢センサ（具体的には、地磁気センサ）であってもよい。なお６軸センサおよび姿勢センサは、センサ部２５の一例であって、本実施形態はこれに限定されず、例えば加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくともいずれかを用いてもよいし、速度センサまたは振動センサ等をさらに用いてもよい。
＜４−２．動作処理＞
次に、本実施形態の動作処理について説明する。図１５は、本実施形態による動作処理を示すフローチャートである。
図１５に示すように、まず、情報処理装置１は、入力デバイス２−２の先端に設けられたセンサ部２５により検知された６軸センサ情報を取得し（ステップＳ２０３）、判別部１０２により、入力デバイス２−２の先端の速度ｖを算出する。入力デバイス２−２は、センサ部２５で検知したセンサ情報を継続的に情報処理装置１に送信している。ここで、図１６に、本実施形態の判別手法における速度算出を説明するための図を示す。図１６に示すように、入力デバイス２−２の先端には、センサ部２５が設けられている。ユーザは、棍棒等の武器の形状を模した入力デバイス２−２を振り、スクリーン３に映る目の前の立体視オブジェクト（図１６では不図示）に対して攻撃等を行う。この時、判別部１０２は、６軸センサ情報（具体的には角速度）および入力デバイス２−２の長さｌに基づいて下記式により入力デバイス２−２の先端の速度ｖを算出する。
Figure 2018014078
次に、情報処理装置１は、上記先端の速度を算出した際に用いた６軸センサ情報が検知された時刻と略同じ時刻のスクリーン３の撮像画像をカメラ６から取得する（ステップＳ２０９）。
次いで、判別部１０２は、情報解析部１０１による上記取得した撮像画像の解析結果に基づいて、発光軌跡の速度Ｖを算出する（ステップＳ２１２）。図１６に示すように、入力デバイス２−２の先端からはＩＲが発光されるため、ユーザが入力デバイス２−２をスクリーン３に対して振り下ろすと、スクリーン３上にはＩＲによる発光軌跡３１が生じる。判別部１０２は、振り下ろしタイミングにおけるＩＲ撮像画像における発光軌跡３１の長さ（始点から終点までの長さ）および時間（始点から終点までのポインタの移動時間）に基づいて、発光軌跡の速度Ｖを算出する。
一方、情報処理装置１は、入力デバイス２−２の先端に設けられたセンサ部２５により検知された同時刻（入力デバイス２−２を振り下ろしたタイミング）の姿勢センサ情報を取得し（ステップＳ２１５）、判別部１０２により、入力デバイス２−２の先端の振り下ろし角度φを算出する。
次に、情報処理装置１は、上記振り下ろしの角度を算出した際に用いた姿勢センサ情報が検知された時刻と略同じ時刻のスクリーン３の撮像画像をカメラ６から取得する（ステップＳ２２１）。
次いで、判別部１０２は、情報解析部１０１による上記取得した撮像画像の解析結果に基づいて、発光軌跡の角度Φを算出する（ステップＳ２２４）。
ここで、図１７に、本実施形態の判別手法における角度算出を説明するための図を示す。図１７の上段に示すように、カメラ６により撮像されたＩＲカメラ画像６５には発光軌跡３１が映り、判別部１０２は画像解析結果に基づいて振り下ろし時の発光軌跡３１の角度Φを算出することが可能である。また、図１７下段には、ユーザが入力デバイス２−２を振り下ろした際の後ろから見た図を示す。判別部１０２は、入力デバイス２−２を振り下ろした際の角度φを、入力デバイス２−２に設けられたセンサ部２５により検知された姿勢センサ情報に基づいて算出する。
続いて、判別部１０２は、入力デバイス２−２の操作時の先端の速度と発光軌跡３１の速度、および入力デバイス２−２の操作時の角度と発光軌跡３１の角度に基づいて、発光軌跡に対応する入力デバイス２−２の判別を行う（ステップＳ２２７）。図１６〜図１７では、説明の都合上、入力デバイス２−２と発光軌跡３１を各々一つしか図示していないが、実際は図１および図２に示すように多数のユーザが入力デバイス２−２を所持して、それぞれにスクリーン３に映る立体視オブジェクト３０に対して入力デバイス２−２を振って操作するため、スクリーン３を撮像した同時刻のＩＲカメラ画像６５には多数の発光軌跡３１が生じていることが想定される。判別部１０２は、各入力デバイス２−２の操作時の速度および角度と、各発光軌跡の速度および角度をそれぞれ比較し、発光軌跡に対応する入力デバイス２−２を判別する。より具体的には、例えば判別部１０２は、下記式を満たす場合、入力デバイス２−２と発光軌跡は対応するものであると判断する。下記式左辺は、ユーザ位置の範囲が予め既知である場合にユーザ位置からスクリーン３までの距離Ｌを考慮することで入力デバイス２−２の先端の速度ｖに応じた発光軌跡３１の速度Ｖが推定できることに基づくものである。
Figure 2018014078
次に、情報処理装置１の出力信号生成部１０３は、特定された発光軌跡の位置や動きが所定の条件を満たす場合、当該発光軌跡に対応する入力デバイス２−２に出力する所定の触覚刺激信号を生成する（ステップＳ２３０）。例えば、発光軌跡が立体視オブジェクト３０に重複した場合、出力信号生成部１０３は、立体視オブジェクト３０に入力デバイス２−２が接触したように知覚させるための触覚刺激信号を生成する。
そして、情報処理装置１は、生成した触覚刺激信号を通信部１１から対象の入力デバイス２−２に送信し、入力デバイス２−２から当該触覚刺激を出力させる（ステップＳ２３３）。
以上、第２の実施形態による動作処理について具体的に説明した。なお、上述した動作処理では、速度と角度の両方の条件を用いることで判別の精度を高めているが、本実施形態はこれに限定されず、いずれか一方の条件のみで判別することも可能である。
また、入力デバイスの操作速度に基づいた判別手法として、長さｌに依存しない速度Ｖ'を算出し、対応する入力デバイス２−２を判別することも可能である。以下、図１８を参照して説明する。
図１８は、本実施形態の判別手法による速度算出の他の例について説明する図である。図１８に示すように、ユーザの位置範囲が既知である場合に、ユーザの位置からスクリーン３までの距離Ｌと、入力デバイス２−２に設けられたセンサ部２５により検知された６軸センサ情報（具体的には角速度）を考慮して、判別部１０２は、入力デバイス２−２の長さに依存しない速度Ｖ'を下記式により求める。
Figure 2018014078
そして、判別部１０２は、同時刻において下記式を満たす場合、入力デバイス２−２と発光軌跡は対応するものであると判断する。
Figure 2018014078
＜４−３．第１の変形例＞
以上説明した例では、入力デバイス２−２のセンサ部２５により検知されたセンサ情報を用いて判別する手法について説明したが、本実施形態はこれに限定されない。例えばユーザ側を撮影するＩＲカメラを用意し、当該ＩＲカメラにより撮像された撮像画像を用いることで、センサ部２５のセンサ情報を用いずに発光軌跡に対応する入力デバイスを判別することが可能である。以下、図１９〜図２０を参照して具体的に説明する。
図１９は、第２の実施形態の第１の変形例による動作処理を示すフローチャートである。図１９に示すように、まず、情報処理装置１は、ユーザの動きを前方から撮像するカメラ６ｂ（例えばＩＲカメラ）により撮像された撮像画像（ＩＲカメラ画像６７）を取得する（ステップＳ３０３）。ここで、図２０に、本変形例による判別手法における速度および角度の算出について説明する図を示す。図２０に示すように、本変形例では、スクリーン３を撮像するカメラ６ａ（ＩＲカメラ）と、ユーザの動き（すなわち入力デバイス２−１の動き）を前方から撮像するカメラ６ｂ（ＩＲカメラ）が配置される。入力デバイス２−１の構成は図８を参照して説明した第１の実施形態と同様であり、先端にはＩＲを発光する発光部２２が設けられている。
次に、情報解析部１０１は、カメラ６ｂから取得した撮像画像（ＩＲカメラ画像６６）を解析し、入力デバイス２−１のモーション軌跡を認識する（ステップＳ３０６）。入力デバイス２−１のモーション軌跡とは、例えば入力デバイス２−１の先端の軌道である。
次いで、判別部１０２は、画像解析結果に基づいてモーション軌跡の速度および角度を算出する（ステップＳ３０９）。具体的には、判別部１０２は、図２０に示すように、ＩＲカメラ画像６６から認識されたモーション軌跡２９の速度ｖおよび角度φを算出する。
一方、情報処理装置１は、スクリーン３の表示画面を撮像するカメラ６ａ（ＩＲカメラ）により撮像された撮像画像を取得する（ステップＳ３１２）。
次に、情報解析部１０１は、カメラ６ａから取得した撮像画像を解析し、発光軌跡を認識する（ステップＳ３１５）。
次いで、判別部１０２は、画像解析結果に基づいて発光軌跡の速度および角度を算出する（ステップＳ３１８）。具体的には、判別部１０２は、図２０に示すように、ＩＲカメラ画像６７から認識された発光軌跡３１の速度Ｖおよび角度Φを算出する。
続いて、判別部１０２は、入力デバイス２−１の操作時の先端の速度（すなわちモーション軌道２９の速度）と発光軌跡３１の速度、および入力デバイス２−１の操作時の角度（すなわちモーション軌道２９の速度）と発光軌跡３１の角度に基づいて、発光軌跡に対応する入力デバイス２−１の判別を行う（ステップＳ３２１）。図２０では、説明の都合上、入力デバイス２−１と発光軌跡３１を各々一つしか図示していないが、実際は図１および図２に示すように多数のユーザが入力デバイス２−１を所持して、それぞれにスクリーン３に映る立体視オブジェクト３０に対して入力デバイス２−１を振って操作するため、スクリーン３を撮像した同時刻のＩＲカメラ画像６７には多数の発光軌跡３１が生じていることが想定される。判別部１０２は、各入力デバイス２−１のモーション軌跡の速度および角度と、各発光軌跡の速度および角度をそれぞれ比較し、発光軌跡に対応する入力デバイス２−１を判別する。カメラ６ｂはユーザ毎に配置されていてもよいし、複数人まとめて撮像されてもよい。ユーザの位置が概ね特定されている場合、各モーション軌跡がどの入力デバイスに対応するかは例えば並び順等に基づいて識別され得る。
発光軌跡に対応する入力デバイス２−１の判別に関し、より具体的には、例えば判別部１０２は、各速度および角度が下記式を満たす場合、入力デバイス２−１と発光軌跡３１は対応するものであると判断する。下記式左辺は、ユーザ位置の範囲が予め既知である場合にユーザ位置からスクリーン３までの距離Ｌを考慮することで入力デバイス２−１の先端の速度ｖに応じた発光軌跡３１の速度Ｖが推定できることに基づくものである。
Figure 2018014078
次に、情報処理装置１の出力信号生成部１０３は、特定された発光軌跡の位置や動きが所定の条件を満たす場合、当該発光軌跡に対応する入力デバイス２−１に出力する所定の触覚刺激信号を生成する（ステップＳ３２４）。例えば、発光軌跡が立体視オブジェクト３０に重複した場合、出力信号生成部１０３は、立体視オブジェクト３０に入力デバイス２−１が接触したように知覚させるための触覚刺激信号を生成する。
そして、情報処理装置１は、生成した触覚刺激信号を通信部１１から対象の入力デバイス２−１に送信し、入力デバイス２−１から当該触覚刺激を出力させる（ステップＳ３２７）。
＜４−４．第２の変形例＞
以上説明した例では、スクリーン３上の発光軌跡を、スクリーン３を撮像するカメラ６で撮像したＩＲ撮像画像を解析して認識していたが、本実施形態はこれに限定されない。例えば、スクリーン３の周囲にＩＲセンサを配置し、当該ＩＲセンサの検知結果に基づいて、スクリーン３を撮像するカメラ６を用いずにスクリーン３上の発光軌跡を推定することが可能である。以下、図２１〜図２５を参照して具体的に説明する。
図２１は、本変形例の概要を説明する図である。図２１に示すように、スクリーン３の周辺にＩＲセンサ８が配置されている。ＩＲセンサ８は、例えばスクリーン３の周辺に２列で配置され、外側のＩＲセンサ列８０と内側のＩＲセンサ列８１から成る。また、図２１に示す例では、スクリーンの上辺および左右両辺にＩＲセンサ列８０およびＩＲセンサ列８１が配置されている。各ＩＲセンサは、検知結果を情報処理装置１に送信する。
ユーザが、ＩＲを発光する入力デバイス２Ａをスクリーン３に向けて振ると、例えば上辺の外側ＩＲセンサ８０−１と内側ＩＲセンサ８１−１で順次検知される。この場合、情報処理装置１の制御部１０は、外側ＩＲセンサ８０−１と内側ＩＲセンサ８１−１を結ぶ線の延長線上に発光軌跡３２が生じているものと推定する。
また、他のユーザが、入力デバイス２Ｂをスクリーン３に向けて振ると、例えば左辺の外側ＩＲセンサ８０−２と内側ＩＲセンサ８１−２で順次検知される。この場合、情報処理装置１の制御部１０は、外側ＩＲセンサ８０−２と内側ＩＲセンサ８１−２を結ぶ線の延長線上に発光軌跡３３が生じているものと推定する。
入力デバイス２から発光されたＩＲがスクリーン３を横切った後、内側ＩＲセンサ８１−ｎと外側ＩＲセンサ８０−ｎに順次検知されてしまう場合も想定される。また、外側ＩＲセンサ８０−ｎで検知されてから内側ＩＲセンサ８１−ｎで検知されるまでの時間が長く、入力デバイス２の動きがあまりにも遅い場合は、立体視オブジェクト３０に対する攻撃等の操作ではないと考えられる。そこで、制御部１０は、外側ＩＲセンサ８０−ｎによる検知時間t1と内側ＩＲセンサ８１−ｎによる検知時間t2とが下記の式を満たす場合、これらのＩＲセンサが配置されている辺からＩＲが入射したものとして発光軌跡を推定するようにしてもよい。
0 < t2 - t1 < Tth
このようにスクリーン３の周辺に配置したＩＲセンサ８を用いて発光軌跡を推定する場合、スクリーン３のＩＲの反射光ではなく、ＩＲを直接検知した結果に基づくため、より正確に発光軌跡を推定することができる。
また、推定した発光軌跡に対応する入力デバイス２の判別は、例えば入力デバイス２の速度（入力デバイス２の６軸センサにより検知可能。若しくは、ユーザ側を撮像した撮像画像の解析により算出可能）と発光軌跡の速度とを比較して、上記「数３」に示す式の左辺や、上記「数６」に示す式の左辺を満たす場合に、対応する入力デバイス２が判別される。
ここで、図２２を参照して推定した発光軌跡の速度の算出について説明する。図２２に示すように、外側ＩＲセンサ８０−１、内側ＩＲセンサ８１−１で順次検知された場合、下記式により求められる速度ｖを発光軌跡の速度と推定する。下記式において、t1は外側ＩＲセンサ８０−１の検知時間、t2は内側ＩＲセンサ８１−１の検知時間、ｘは図２２に示すように外側ＩＲセンサ８０−１と内側ＩＲセンサ８１−１の横方向の離隔距離、ｙは外側ＩＲセンサ８０−１と内側ＩＲセンサ８１−１の縦方向の離隔距離、距離Ｌは外側ＩＲセンサ８０−１と内側ＩＲセンサ８１−１の直線距離である。
Figure 2018014078
また、スクリーン３の周辺に配置されるＩＲセンサ８の配置は、図２１に示す例に限定されず、例えば図２３に示すように３列以上としてもよい。図２１には、外側ＩＲセンサ列８２、中央ＩＲセンサ列８３、および内側ＩＲセンサ列８４から成るＩＲセンサ８Ａが示される。この場合、外側ＩＲセンサ８２−１、中央ＩＲセンサ列８３−１、および内側ＩＲセンサ列８４−１で順次ＩＲが検知され、それらを結ぶ延長線上に発光軌跡が存在すると推定される。なおＩＲセンサを３列以上にすることで、発光軌跡の推定には少なくとも２列以上の検知が必要であるため、いずれかの列で検知できなかった場合も発光軌跡を推定することが可能となる。
図２４は、複数のＩＲセンサで同時にＩＲが検知された場合について説明する図である。例えば３列のＩＲセンサ８Ａに対して十分速いスピードでＩＲが通過した場合、図２４に示すように複数のＩＲセンサ８２−１、８３−１、８４−１で同時にＩＲが検知されてしまうことが想定される。また、照射サイズが大きい場合、図２４に示すように周りのＩＲセンサ８２−２、８２−３、８３−２、８３−３、８４−２、８４−３でもＩＲが検知されてしまうことが想定される。この場合、情報処理装置１の制御部１０は、各ＩＲセンサの検知結果に基づいて、その強度分布から中心軸を判断し、発光軌跡を推定することが可能である。
図２５は、発光タイミングと検知タイミングの同期制御について説明する図である。本変形例では、入力デバイス２でのＩＲ発光タイミングとＩＲセンサ８でのＩＲ検知タイミングを同期させて、各入力デバイス２からのＩＲが特定タイミングでしか検知されてないようにすることで、単一波長でも複数人を識別（複数の入力デバイス２を判別）することが可能となる。例えば情報処理装置１の制御部１０は、入力デバイス２Ａを発光したタイミングで取得したＩＲセンサの検知結果は入力デバイス２Ａに対応し、入力デバイス２Ｂを発光したタイミングで取得したＩＲセンサの検知結果は入力デバイス２Ｂに対応するものと判断する。そして、例えば入力デバイス２Ａに対応する外側ＩＲセンサと内側ＩＲセンサの検知結果を取得すると、これらを結ぶ延長線上に入力デバイス２Ａの発光軌跡が存在すると推定する。
以上説明した第２の変形例では、非可視光線を検知するセンサの一例としてＩＲセンサを用いたが、本実施形態はこれに限定されず、入力デバイス２から発光される光を検知できる他のセンサを配置してもよい。
＜＜５．補足＞＞
続いて、本開示の一実施形態による情報処理システムについて補足を行う。
上述した実施形態では、入力デバイス２の入力として赤外線等の非可視光線を発光する場合について説明したが、本開示はこれに限定されず、光源は可視光であってもよいし、また、指向性を有する音源であってもよい。可視光線を発光する場合、自身の入力デバイス２がスクリーン上のどこを照射しているかが見えるため、画面に影響を及ぼし、ユーザがそのフィードバックを感じることができる。
入力デバイス２からの光源や音源は、入力デバイス２に設けられた操作部２１でユーザが操作して入力ＯＮになっている間だけ出力されるようにしてもよい。
本情報処理システムの用途としては、一の表示画面や特定のエリア、オブジェクト（実体物を含む）を複数人で共有する場合が想定される。
判別部１０２は、スクリーン３の反射強度に基づいて、スクリーン３に対する投射方向（入射角）を推定し、入力デバイスを判別することも可能である。具体的には、入力デバイス２の明るさ（輝度値）を各々異ならせて明るさの相違により対応する入力デバイス２を判別する際に、スクリーン３を撮像する撮像画像からスクリーン３側における反射強度および投射方向に基づいて判別することが可能である。この際、スクリーン３に対するユーザの位置は概ね固定され、既知である。
入力デバイス２は、操作部２１が操作された入力ＯＮになっている間だけ発光部２２から発光すると共に、通信部２３からセンサ部２５により検知したリアルタイムのセンサ情報を情報処理装置１に送信するようにしてもよい。また、入力デバイス２は、センサ情報に基づいて所定の閾値判定やジェスチャ認識を行い、条件を満たす場合のみ入力ＯＮにして発光部２２から発光するよう制御してもよい。例えば入力デバイス２は、入力デバイス２が所定値以上の速さで振られた場合や、所定の動きをした場合にのみ、発光部２２からの発光やセンサ情報の送信を行うよう制御してもよい。なお入力デバイス２は、センサ情報を一回送信した後や一回発光させた後は所定時間スリープモードにしてもよい。
また、情報処理装置１は、ユーザ毎の入力デバイス２の振り癖を学習して、入力デバイス２の判別の精度を上げることが可能である。
ユーザ個人識別が可能である場合、ユーザ毎に異なった触覚刺激信号や音声信号を提示することも可能である。例えば大人と子供は振動を知覚する強さが異なる場合があるため、大人も子供も同程度の振動を知覚できるよう、触覚刺激信号を状況に応じて変えてもよい。また、提示情報における使用言語等をユーザ属性に応じて変えることも可能である。また、高齢者や妊婦、怪我人、身体に障がいを有する者等の場合は弱めの触覚刺激信号を生成するようにしてもよい。
情報処理装置１は、入力デバイス２の判別により誰がどの立体視オブジェクト３０を攻撃したかが分かるため、誰が撃ったかによってスクリーン３へのビジュアルフィードバックやエフェクトも変えることも可能である。
第１の実施形態で説明したｎ種類の波長と入力デバイス２との組み合わせは動的に変化させることも可能である。例えば情報処理装置１は、第１のユーザが入力デバイス２ａを操作した際は第１の波長を発光させ、その操作中に第２のユーザが入力デバイス２ｂを操作した際は第２の波長を発光させる。次いで、第１のユーザが入力デバイス２ａの操作をし終えたが第２のユーザは入力デバイス２の操作中の場合に第３のユーザが入力デバイス２ｃを操作した場合、入力デバイス２ｃからは第１の波長を発光させる。続いて、第２のユーザおよび第３のユーザが操作中に第１のユーザが再び入力デバイス２ａの操作を行った場合、入力デバイス２ａからは第１の波長と第２の波長（複数波長）を発光させる。このように、情報処理装置１は、入力デバイス２の操作中（または入力ＯＮにされた場合）に発光制御する場合において、他の発光中の波長と重複しない波長を発光させるよう制御することで、同時に識別できる人数を増やすことができる。例えば２種類の波長を用いて４人以上の識別をすることができる。
また、情報処理装置１は、ポインタに対応する入力デバイス２の判別が出来ない場合、複数のポインタのうち良い方（条件を満たすもの）のフィードバックを当該判別出来ない複数の入力デバイス２に対して返すようにしてもよい。
また、情報処理装置１は、入力デバイス２毎に、予め各種閾値をキャリブレーションしておいてもよい。これにより、例えば発光強度が弱くなった場合にも対応することが可能となり、多数の入力デバイス２の固体差を吸収することができる。また、ユーザ属性（大人、子供、年齢）毎に、各種閾値をキャリブレーションしてもよい。例えば一定の速度以上で入力デバイス２を振った時に発光制御を行う場合、大人と子供とで力の差があるため、発光制御を行う閾値をユーザ属性に応じて調整する。
また、上述した判別方法を複数組み合わせて、入力デバイス２の判別数（すなわち個人識別数）を増やしていくことが可能である。
＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、多数の入力デバイスからの入力に基づいて所定の触覚刺激を対応する入力デバイスに提示し、よりリアリティのある直感的な触覚インターフェースを実現することを可能とする。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１、または入力デバイス２に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、情報処理装置１、または入力デバイス２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
＜＜７伝送遅延について＞＞
上記各実施形態において、情報処理装置１が備える通信部１１と入力デバイス２が備える通信部２３の間で無線通信を実行する際、遅延が発生する。この遅延に対しては以下のように対応することが可能である。
図２６は、本開示の一実施形態による情報処理システムの構成を示すブロック図である。同図に示すように、情報処理装置１は、通信部１１、タイミング生成部１１１及び露光コントローラー１１２を備える。また、入力デバイス２は、通信部２３、発光コントローラー２１１及び発光部２２を備える。情報処理装置１及び入力デバイス２の他の構成については上記実施形態と同様である。
タイミング生成部１１１は、タイミング信号を生成し、露光コントローラー１１２及び発光コントローラー２１１に供給する。
露光コントローラー１１２は、カメラ６に接続され、タイミング生成部１１１から供給されたタイミング信号に応じてカメラの露光（シャッター）を制御する。発光コントローラー２１１はタイミング生成部１１１から供給されたタイミング信号に応じて発光部２２の発光を制御する。
図２７及び図２８は、情報処理システムの動作を示す模式図である。図２７に示すように、タイミング生成部１１１が所定の間隔ごと（ｎＨｚ）にタイミング信号を生成し、露光コントローラー１１２及び発光コントローラー２１１に供給する。
露光コントローラー１１２はタイミング信号が供給されるとカメラ６の露光を開始する。また、タイミング信号は通信部１１から通信部２３に無線によって送信され、発光コントローラー２１１に供給される。発光コントローラー２１１はタイミング信号が供給されると発光部２２の発光を開始する。
ここで、通信部１１と通信部２３の間の無線通信において一定の遅延が発生するため、発光コントローラー２１１が発光を開始するタイミングは露光開始タイミングから遅延する。これにより、カメラ６の露光タイミングと発光部２２の発光タイミングにずれが生じ、カメラ６によって撮像された画像に発光部２２の発光によるポインタが写らない、あるいはポインタの光量が減少するという問題が生じる。
そこで、タイミング生成部１１１は、タイミング信号に遅延情報を含めて発光コントローラー２１１に供給する。遅延情報は通信部１１と通信部２３の無線通信によって生じる遅延時間を示す情報である。タイミング生成部１１１は事前に通信部１１から通信部２３にタイミング信号と同サイズのデータを送信させ、通信部２３から通信部１１に当該データが返送されるまでの時間の半分の時間を遅延時間とすることができる。
発光コントローラー２１１は、図２８に示すように遅延情報に基づいて発光タイミングをずらし、カメラ６の次の露光タイミングに合わせて発光するように発光部２２を制御する。これにより、発光部２２の発光タイミングがカメラ６の露光タイミングに一致し、カメラ６によって撮像された画像にポインタが確実に含まれるようにすることができる。なお、発光コントローラー２１１は遅延時間が大きい場合にはさらに後の露光タイミングに合わせて発光部２２を発光させてもよい。
また、タイミング生成部１１１はタイミング信号に入力デバイス２を識別するためのデバイス識別情報を含めてもよい。これにより、複数の入力デバイス２がタイミング信号を受信した場合であっても、発光コントローラー２１１は自己が信頼すべきタイミング情報を識別することが可能となる。
また、入力デバイス２がタイマーを備えてもよい。タイミング生成部１１１はタイミング信号に周波数情報を含めて入力デバイス２に伝送することにより、入力デバイスは自らタイミングを刻むことが可能となる。
また、タイミング生成部１１１は、複数の入力デバイス２のうち１つ用のタイミング信号と入力デバイス２の数をタイミング信号に含めてもよい。発光コントローラー２１１は、当該タイミング信号に含まれる１つのデバイス識別情報と自己のデバイス識別情報の差分のから遅延時間を計算し、自らのタイミングで発光部２２を発光させることができる。例えば、デバイス番号１番の入力デバイス２用のタイミング信号が送信されると、デバイス番号５番の入力デバイス２が備える発光コントローラー２１１は、自己の順番になるまで待機した後、発光部２２を発光させることができる。
また、タイミング生成部１１１は、短い間隔（例えば１００ｍｓ）を空けて同一のタイミング信号２つを連続して送信させてもよい。発光コントローラー２１１は、当該間隔で２つのタイミング信号を受信できた場合に、伝送ミスがないものとして扱うことができる。発光コントローラー２１１は、当該間隔で２つのタイミング信号を受信できなかった場合にはタイミング信号を信頼しないものとすることができる。
さらに、タイミング生成部１１１は、重要なタイミングでは同一のタイミング信号を複数回送信し、あるいはタイミング信号の間隔を長くしてもよい。重要なタイミングは予めプログラムしておき、あるいは間隔情報をヘッダに含めてもよい。
また、通信環境が悪化する等、無線の通信状態が変化したらタイミング信号の間隔を長くし、あるいは入力デバイス２が独自に判断し、点滅を開始してもよい。また、通信が途絶した場合、ローカル処理に切り替え、無線の使用を控えることも可能である。無線の利用ができない場合、一定時間（例えば１０分）後の先のデータをまとめて送信し、あるいは通信の間隔を空けてもよい。送信信号の信頼性により処理を変えることが可能である。
また、無線遅延が激しいときにはコンテンツを切り替えることも可能である。例えば、複数回無線信号を受信できていない場合に、コンテンツを差し替える、あるいは遅延が気にならないコンテンツに切り替えることができる。
上記構成では、タイミング生成部１１１が、複数の入力デバイス２の発光タイミングをコントロールしているが、入力デバイス２が相互に通信し、整合性が合うように発光タイミングを決定してもよい。入力デバイス２が相互に通信している同期モードの場合、発光間隔を長くし、同期が完了すると、発光間隔を短くしてもよい。
＜＜８．入力デバイスの識別について＞＞
上記のように、カメラ６の露光タイミング及び発光部２２の発光タイミングを制御する場合の入力デバイス２の識別について説明する。図２９乃至図３２は、入力デバイス２の識別方法を示す模式図である。以下に示す例では通信部１１及び通信部２３の通信は有線通信であるものとするが、無線通信であってもよい。また、複数の入力デバイス２をそれぞれ入力デバイス２ａ、２ｂ、２ｃとする。
図３０に示すように、タイミング生成部１１１が所定の間隔ごと（ｎＨｚ）にタイミング信号を生成し、露光コントローラー１１２及び発光コントローラー２１１に供給する。
露光コントローラー１１２はタイミング信号が供給されるとカメラ６の露光を開始する。また、発光コントローラー２１１はタイミング信号が供給されると発光を開始する。カメラ６は、露光によって生成した画像を含むデータ（以下、センシング結果）を制御部１０に伝送する。カメラ６はセンシング結果に画像を識別するためのＩＤ（以下、センシングＩＤ）を含めることができる。
この場合、制御部１０は、センシング結果からセンシングＩＤを判別することができるが、センシングＩＤが示す画像に含まれるポインタがいずれの入力デバイス２の発光によるものかを判別することができない。
このため、図３１に示すように、一つの入力デバイス２（図では入力デバイス２ａ）が備える発光コントローラー２１１のみが発光部２２を発光させ、カメラ６がセンシング結果を制御部１０に伝送する。これにより制御部１０は特定のセンシング結果（例えば２フレームおき）が入力デバイス２ａの発光によるポインタを含むものと判別することができる。他の入力デバイス（入力デバイス２ｂ、２ｃ）においても同様にその入力デバイス２のみを発光させることにより、センシング結果と入力デバイス２を関連付け、センシングＩＤと入力デバイス２の識別子（以下、制御ＩＤ）を同期させることが可能となる。
また他の方法として、図２９及び図３２に示すように、タイミング生成部１１１がカメラ６を露光させると、カメラ６はセンシングＩＤをタイミング生成部１１１に伝送する。同時にタイミング生成部１１１は、いずれかの入力デバイス２を発光させ、当該入力デバイスの制御ＩＤとカメラ６から伝送されたセンシングＩＤを関連付ける。タイミング生成部１１１は、制御ＩＤとセンシングＩＤのペアを制御部１０に伝送する。これにより、制御部１０は、制御ＩＤとセンシングＩＤを同期させることが可能となる。
＜＜９．変形例＞＞
本技術に係る情報処理システムにおいて、情報処理装置１と入力デバイス２は遠隔地に配置されてもよい。各構成の動作はクラウドサーバ等を利用することにより実現することが可能である。
上記説明においては、カメラ６によって入力デバイス２の発光（赤外線）を撮像する構成としたが、これに限られない。カメラ６に代えて各種センサを利用し、入力デバイス２は当該センサによって検出可能な動作を行うものであればよい。
発光コントローラー２１１は、上記のように遅延情報に基づいて発光タイミングをずらし、カメラ６の次の露光タイミングに合わせて発光するように発光部２２を制御するとしたが、発光部２２の発光タイミングとカメラ６の露光タイミングのログが蓄積されると、機械学習等を利用してレイテンシを短縮することが可能である。
なお、本技術は以下のような構成も取ることができる。
（１）
１または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
を備える、情報処理装置。
（２）
前記生成部は、前記ポインタの位置または軌道が特定の立体視オブジェクトと重複した場合、所定の前記触覚刺激信号を生成する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記生成された触覚刺激信号を、対応する入力デバイスに送信する送信部をさらに備える、前記（１）または（２）のいずれか１項に記載の情報処理装置。
（４）
前記生成部は、前記ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスを所持するユーザ着用の触覚刺激出力デバイスに出力する所定の触覚刺激信号をさらに生成する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記センサデータは、ポインタが照射されている表示画面を撮像した撮像画像情報である、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ポインタ情報の特徴は、複数波長の組み合わせである、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記ポインタ情報の特徴は、マークの形状である、前記（６）に記載の情報処理装置。
（８）
前記ポインタ情報の特徴は、スイング中の状態である、前記（６）に記載の情報処理装置。
（９）
前記ポインタ情報の特徴は、マークの状態である、前記（６）に記載の情報処理装置。
（１０）
前記複数波長の組み合わせと対応する入力デバイスは動的に構築される、前記（６）に記載の情報処理装置。
（１１）
前記判別部は、異なる各波長にそれぞれ対応するバンドパスフィルタを有する複数の撮像装置で撮像された各撮像画像情報に基づいて、複数の撮像画像上の略同じ座標のポインタに対応する入力デバイスを判別する、前記（６）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記取得部は、前記入力デバイスの入力タイミングに応じたポインタ情報を取得する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記判別部は、前記入力デバイスのセンサにより検知されたセンサ情報と前記ポインタ情報の特徴に基づいて、各ポインタに対応する入力デバイスを判別する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記入力デバイスのセンサにより検知されたセンサ情報が所定の条件を満たす場合、前記入力デバイスによる入力が行われる、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記入力デバイスの入力は、前記入力デバイスに設けられた発光部からの発光である、前記（１２）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記判別部は、前記入力デバイスから出力された動きセンサ情報または姿勢センサ情報の少なくともいずれかと、前記ポインタ情報の特徴で示されるポインタの軌跡または軌跡の角度に基づいて、当該ポインタに対応する入力デバイスを判別する、前記（１３）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記送信部は、複数ポインタに対応する各入力デバイスの判別が出来なかった場合、複数ポインタのうち前記所定の条件を満たすものがあれば、当該条件を満たすポインタに対応する入力デバイスに出力する所定の触覚刺激信号を、前記判別の出来ない全ての入力デバイスに送信する、前記（３）に記載の情報処理装置。
（１８）
プロセッサが、
１または複数のセンサデータに基づいて複数のポインタ情報を取得することと、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別すること部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成することと、
を含む、情報処理方法。
（１９）
コンピュータを、
１または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
として機能させるための、プログラム。
１ 情報処理装置
２、２−１、２−２ 入力デバイス
３ スクリーン
４ 触覚刺激出力デバイス
４−１ バンド型触覚刺激出力デバイス
４−２ ジャケット型触覚刺激出力デバイス
５ プロジェクター
６ カメラ
７ スピーカ
１０ 制御部
１１ 通信部
１２ 入力部
１３ 出力部
１４ 記憶部
２０ 制御部
２１ 操作部
２２ 発光部
２３ 通信部
２４ 振動部
２５ センサ部
３０ 立体視オブジェクト
４１ 振動部
４２ 振動部
４３ ステレオスピーカ
１０１ 情報解析部
１０２ 判別部
１０３ 出力信号生成部
１１１ タイミング生成部
１１２ 露光コントローラー
２１１ 発光コントローラー

Claims (19)

  1. １または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
    前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
    ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
    を備える、情報処理装置。
  2. 前記生成部は、前記ポインタの位置または軌道が特定の立体視オブジェクトと重複した場合、所定の前記触覚刺激信号を生成する、請求項１に記載の情報処理装置。
  3. 前記情報処理装置は、前記生成された触覚刺激信号を、対応する入力デバイスに送信する送信部をさらに備える、請求項１に記載の情報処理装置。
  4. 前記生成部は、前記ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスを所持するユーザ着用の触覚刺激出力デバイスに出力する所定の触覚刺激信号をさらに生成する、請求項１に記載の情報処理装置。
  5. 前記センサデータは、ポインタが照射されている表示画面を撮像した撮像画像情報である、請求項１に記載の情報処理装置。
  6. 前記ポインタ情報の特徴は、複数波長の組み合わせである、請求項１に記載の情報処理装置。
  7. 前記ポインタ情報の特徴は、マークの形状である、請求項６に記載の情報処理装置。
  8. 前記ポインタ情報の特徴は、スイング中の状態である、請求項６に記載の情報処理装置。
  9. 前記ポインタ情報の特徴は、マークの状態である、請求項６に記載の情報処理装置。
  10. 前記複数波長の組み合わせと対応する入力デバイスは動的に構築される、請求項６に記載の情報処理装置。
  11. 前記判別部は、異なる各波長にそれぞれ対応するバンドパスフィルタを有する複数の撮像装置で撮像された各撮像画像情報に基づいて、複数の撮像画像上の略同じ座標のポインタに対応する入力デバイスを判別する、請求項６に記載の情報処理装置。
  12. 前記取得部は、前記入力デバイスの入力タイミングに応じたポインタ情報を取得する、請求項１に記載の情報処理装置。
  13. 前記判別部は、前記入力デバイスのセンサにより検知されたセンサ情報と前記ポインタ情報の特徴に基づいて、各ポインタに対応する入力デバイスを判別する、請求項１に記載の情報処理装置。
  14. 前記入力デバイスのセンサにより検知されたセンサ情報が所定の条件を満たす場合、前記入力デバイスによる入力が行われる、請求項１に記載の情報処理装置。
  15. 前記入力デバイスの入力は、前記入力デバイスに設けられた発光部からの発光である、請求項１２に記載の情報処理装置。
  16. 前記判別部は、前記入力デバイスから出力された動きセンサ情報または姿勢センサ情報の少なくともいずれかと、前記ポインタ情報の特徴で示されるポインタの軌跡または軌跡の角度に基づいて、当該ポインタに対応する入力デバイスを判別する、請求項１３に記載の情報処理装置。
  17. 前記送信部は、複数ポインタに対応する各入力デバイスの判別が出来なかった場合、複数ポインタのうち前記所定の条件を満たすものがあれば、当該条件を満たすポインタに対応する入力デバイスに出力する所定の触覚刺激信号を、前記判別の出来ない全ての入力デバイスに送信する、請求項３に記載の情報処理装置。
  18. プロセッサが、
    １または複数のセンサデータに基づいて複数のポインタ情報を取得することと、
    前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別すること部と、
    ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成することと、
    を含む、情報処理方法。
  19. コンピュータを、
    １または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
    前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
    ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
    として機能させるための、プログラム。
JP2017043969A 2016-07-12 2017-03-08 情報処理装置、情報処理方法、およびプログラム Active JP6834614B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/902,497 US10668372B2 (en) 2016-07-12 2018-02-22 Information processing apparatus, information processing method, and program
CN201810171478.9A CN108572728B (zh) 2016-07-12 2018-03-01 信息处理设备、信息处理方法和程序
DE102018105289.8A DE102018105289A1 (de) 2016-07-12 2018-03-07 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016137894 2016-07-12
JP2016137894 2016-07-12

Publications (3)

Publication Number Publication Date
JP2018014078A true JP2018014078A (ja) 2018-01-25
JP2018014078A5 JP2018014078A5 (ja) 2020-04-09
JP6834614B2 JP6834614B2 (ja) 2021-02-24

Family

ID=60952503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017043969A Active JP6834614B2 (ja) 2016-07-12 2017-03-08 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US11027195B2 (ja)
JP (1) JP6834614B2 (ja)
CN (1) CN108572728B (ja)
DE (2) DE112017003556T5 (ja)
WO (1) WO2018012062A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484586B2 (ja) 2020-08-31 2024-05-16 株式会社Ｊｖｃケンウッド 表示制御装置、及び表示制御プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156473B2 (en) * 2016-08-18 2021-10-26 Sony Corporation Information processing apparatus, information processing system, and information processing method
US10945484B1 (en) * 2017-06-28 2021-03-16 Apple Inc. Haptic output devices
CN109364478B (zh) * 2018-09-07 2022-08-23 深圳市腾讯信息技术有限公司 信息同步方法、装置及存储介质
EP3869300A4 (en) * 2018-10-19 2021-12-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2020080433A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2021145026A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理端末

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003260A (en) * 1987-05-28 1991-03-26 Auchterlonie Richard C Inductive position sensor having plural phase windings on a support and a displaceable phase sensing element returning a phase indicating signal by electromagnetic induction to eliminate wire connections
JP3744418B2 (ja) * 2001-12-17 2006-02-08 株式会社日立製作所 情報表示装置
EP1958043A1 (en) * 2005-11-30 2008-08-20 Koninklijke Philips Electronics N.V. Light pen input system and method, particularly for use with large area non-crt displays
JP5004518B2 (ja) * 2006-06-22 2012-08-22 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
JP5410710B2 (ja) * 2007-09-12 2014-02-05 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
US7986352B2 (en) * 2008-06-18 2011-07-26 Panasonic Corporation Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
US20110276113A1 (en) * 2010-04-12 2011-11-10 Cybulski James S RF Tissue Modulation Devices and Methods of Using the Same
JP5279482B2 (ja) * 2008-12-25 2013-09-04 キヤノン株式会社 画像処理装置、方法及びプログラム
WO2010116308A1 (en) * 2009-04-05 2010-10-14 Radion Engineering Co. Ltd. Unified input and display system and method
JP2012014361A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置およびその制御方法
CA2823807A1 (en) * 2011-01-12 2012-07-19 Smart Technologies Ulc Method for supporting multiple menus and interactive input system employing same
JP6112807B2 (ja) * 2012-09-11 2017-04-12 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
JP6175913B2 (ja) * 2013-06-04 2017-08-09 船井電機株式会社 入力装置、入力システム及び入力方法
US10349031B2 (en) * 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
FR3028051B1 (fr) * 2014-10-31 2016-12-09 Thales Sa Systeme de visualisation stereoscopique a multiplexage de longueur d'onde actif
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
WO2016114015A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 撮像制御装置、撮像制御方法及びプログラム
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484586B2 (ja) 2020-08-31 2024-05-16 株式会社Ｊｖｃケンウッド 表示制御装置、及び表示制御プログラム

Also Published As

Publication number Publication date
US10668372B2 (en) 2020-06-02
DE102018105289A1 (de) 2018-09-13
JP6834614B2 (ja) 2021-02-24
US11027195B2 (en) 2021-06-08
WO2018012062A1 (ja) 2018-01-18
US20190291002A1 (en) 2019-09-26
CN108572728B (zh) 2022-11-08
CN108572728A (zh) 2018-09-25
DE112017003556T5 (de) 2019-03-28
US20180256974A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3425481B1 (en) Control device
US10486065B2 (en) Systems and methods for immersive interaction with virtual objects
US11016569B2 (en) Wearable device and method for providing feedback of wearable device
JP2020091904A (ja) システムおよびコントローラ
TWI377055B (en) Interactive rehabilitation method and system for upper and lower extremities
BR112012000698B1 (pt) Método para aplicar uma animação em uma representação visual de um usuário e memória legível por computador
WO2010138470A2 (en) Gesture coach
KR20150116897A (ko) Ｎｕｉ 관여의 검출
KR20150086278A (ko) 주체와 객체의 연관
WO2019163260A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018116544A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017097696A (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
JP3138145U (ja) 脳トレーニング装置
WO2018079383A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP6209252B1 (ja) 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置
JP2018010665A (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2019171830A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111589099A (zh) 一种激光感应系统及激光感应方法
KR20230031765A (ko) 감각 전달이 가능한 핸드 트래킹 시스템
TWI549728B (zh) 偵測多人體感之管理方法及其系統
JP2017097835A (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R151 Written notification of patent or utility model registration

Ref document number: 6834614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151