JP2019159389A - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

Abstract

【課題】より好適なユーザ体験を提供する。【解決手段】所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得する取得部と、前記推定結果に応じた表示態様で表示情報が提示されるように制御する制御部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。

ユーザ入力に応じて各種情報を提示することで、ユーザに多様な体験を提供可能とする技術が各種提案されている。例えば、特許文献１には、所謂エアホッケーゲーム装置において、盤面上のパックの動きに応じて、予測されるパックの進路を示す演出画像を提示することでゲームを盛り上げる技術の一例が開示されている。

特開２０１２−２９７５０号公報

一方で、実空間内の物体の動きが当該物体の周囲の環境に応じて変化するような状況も想定され得る。このような状況を鑑みると、例えば、実空間内の所定の対象物（物体）の動きの変化に応じてユーザへの各種情報の提示が制御されることで、当該ユーザに対して新たな体験を提供可能となる効果が期待される。

そこで、本開示では、より好適なユーザ体験を提供することが可能な技術を提案する。

本開示によれば、所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得する取得部と、前記推定結果に応じた表示態様で表示情報が提示されるように制御する制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、コンピュータが、所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、を実行させるプログラムが記録された記録媒体が提供される。

以上説明したように本開示によれば、より好適なユーザ体験を提供することが可能な技術が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 対象物の位置の検出方法の一例について説明するための説明図である。 対象物の位置の検出結果の履歴に応じて、当該対象物の動きを推定する処理の概要について説明するための説明図である。 同実施形態に係る情報処理装置による対象物の動きの推定方法の一例について説明するための説明図である。 撮像部と出力部との間における座標変換の概要について説明するための説明図である。 対象物に重畳するように提示される表示情報の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 変形例１に係る対象物の動きの推定方法の一例について概要を説明するための説明図である。 変形例１に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 変形例１に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 変形例２に係る情報処理装が対象物の動きの推定結果に応じて提示する情報の提示態様の一例について説明するための説明図である。 変形例２に係る情報処理装置が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。 変形例２に係る情報処理装置が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。 変形例２に係る情報処理装置が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。 変形例３に係る情報処理装置による対象物の動きの推定方法の一例について説明するための説明図である。 変形例３に係る情報処理装置による対象物の動きの推定方法の他の一例について説明するための説明図である。 同実施形態に係る情報処理システムの応用例１について概要を説明するための説明図である。 応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の一例について説明するための説明図である。 応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。 応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。 応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。 同実施形態に係る情報処理システムの応用例２について概要を説明するための説明図である。 同実施形態に係る情報処理システムの応用例２の他の一態様について説明するための説明図である。 同実施形態に係る情報処理システムの応用例３について概要を説明するための説明図である。 応用例３に係る情報処理システムにおいてユーザに視認される情報の一例について説明するための説明図である。 応用例３に係る情報処理システムにおいてユーザに視認される情報の他の一例について説明するための説明図である。 本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成
２．機能構成
３．処理
４．変形例
４．１．変形例１：対象物の動きの推定方法の他の一例
４．２．変形例２：ビジュアル表現の一例
４．３．変形例３：対象物の動きの推定に係る制御の一例
５．応用例
５．１．応用例１：３次元的な処理への拡張例
５．２．応用例２：手書き入力システムへの応用例
５．３．応用例３：ＡＲ技術への応用例
６．ハードウェア構成
７．むすび

＜＜１．システム構成＞＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明するための説明図である。図１に示す例では、本実施形態に係る情報処理システムを、所謂エアホッケーのゲームシステムとして実現した場合の一例を示している。具体的には、情報処理システム１は、所定の形状のステージＭ１０５に配置されたパックＭ１０１を所定の対象物として認識し、当該パックＭ１０１の動きの認識結果に応じて、当該ステージＭ１０５上に映像を投影することで、ユーザに対して新たな体験を提供する。

具体的には、図１に示すように本実施形態に係る情報処理システム１は、情報処理装置１００と、撮像部１５１と、出力部１５５とを含む。また、情報処理システム１は、投光部１５３を含んでもよい。

撮像部１５１は、所定の領域内（即ち、撮像範囲内）の被写体の画像を撮像し、撮像した当該画像を情報処理装置１００に出力する。図１において、参照符号Ｒ１０１は、撮像部１５１の撮像範囲（換言すると、撮像部１５１の画角）を模式的に示している。即ち、図１に示す例では、ステージＭ１０５は、撮像部１５１の撮像範囲Ｒ１０１内に位置するように配設される。このような構成により、ステージＭ１０５にパックＭ１０１が配置された状況下では、当該パックＭ１０１が被写体として上記画像中に撮像されることとなる。即ち、当該画像を解析することで、ステージＭ１０５におけるパックＭ１０１の位置を検出することも可能となる。

また、パックＭ１０１の検出に、赤外光（ＩＲ）等のような所定の波長の光が利用されてもよい。例えば、投光部１５３は、赤外光を発光する光源を備え、所定の領域内に当該赤外光を投光する。図１に示す例では、ステージＭ１０５は、投光部１５３が赤外光を投光する範囲内に位置するように配設される。また、図１に示す例では、パックＭ１０１の表面に対して、赤外光を反射する再帰性反射マーカＭ１０３が付されている。このような構成により、ステージＭ１０５に向けて投光部１５３から赤外光が投光されると、当該赤外光のうちの一部がパックＭ１０１に付された再帰性反射マーカＭ１０３で反射し、反射光（赤外光）が撮像部１５１により検出（撮像）される。即ち、撮像部１５１の撮像範囲内（画角内）における当該反射光が検出された位置に応じて、ステージＭ１０５におけるパックＭ１０１の位置を検出することも可能となる。

出力部１５５は、所謂プロジェクタに相当し、所定の領域内に情報を映像（表示情報）として投影することで、当該情報を提示する。図１において、参照符号Ｒ１０３は、出力部１５５により映像が投影される範囲（以下、「出力範囲」とも称する）を模式的に示している。例えば、図１に示す例では、ステージＭ１０５は、出力部１５５の出力範囲Ｒ１０３内に位置するように配設される。このような構成により、出力部１５５は、ステージＭ１０５の所望の位置に映像を投影することが可能となる。

また、出力部１５５は、映像の投影とは異なる他の方法で情報を提示するための構成を備えていてもよい。具体的な一例として、出力部１５５は、スピーカ等のような音響出力部を備えてもよい。このような構成により、出力部１５５は、音響（例えば、楽曲や効果音等）や音声として情報を提示することも可能となる。

以上のような構成の基で、情報処理装置１００は、撮像部１５１により撮像された画像に対して上述したような解析処理を施すことで、当該画像中に被写体として撮像された所定の対象物（即ち、パックＭ１０１）を認識する。また、このとき情報処理装置１００は、撮像部１５１により逐次撮像された画像を逐次解析することで、パックＭ１０１の時系列に沿った位置の検出結果の履歴を取得してもよい。このようにして取得された履歴を解析することで、情報処理装置１００は、パックＭ１０１の画像が撮像されたタイミング（即ち、パックＭ１０１の位置を検出したタイミング）以降における当該パックＭ１０１の動きを推定する。そして、情報処理装置１００は、パックＭ１０１の動きの推定結果に応じて、ステージＭ１０５の所望の位置に所望の映像が投影されるように出力部１５５の動作を制御する。このような制御により、例えば、ステージＭ１０５内を動き回るパックＭ１０１に対して所望の映像が重畳するように、出力部１５５による当該映像の投影を制御することが可能となる。なお、以降の説明では、図１に示すパックＭ１０１のように、情報処理装置１００が、動きの推定の対象とする物体を便宜上、単に「対象物」と称する場合がある。そのため、以降の説明では、「対象物」と記載した場合には、特に説明が無い限りは、情報処理装置１００が動きの推定の対象とする物体を示すものとする。

また、本実施形態に係る情報処理装置１００は、対象物（例えば、パックＭ１０１）の周囲の環境を認識することで、当該環境を加味して、当該対象物の動きを推定してもよい。例えば、図１に示す例の場合には、情報処理装置１００は、撮像部１５１により撮像された画像の解析によりステージＭ１０５の外壁を認識することで、当該外壁に対するパックＭ１０１の衝突に応じた、当該パックＭ１０１の動きの変化を推定することも可能となる。このような構成により、情報処理装置１００は、壁面への衝突に応じたパックＭ１０１の動きの変化を加味して、当該パックＭ１０１に対して所望の映像が重畳するように制御することが可能となる。また、他の一例として、情報処理装置１００は、パックＭ１０１が壁面に衝突するタイミングに同期して、当該パックＭ１０１と壁面とが衝突する位置に所望の映像（例えば、衝突を演出する映像）を投影したり、パックＭ１０１に重畳させた映像の表示態様を制御することも可能となる。

また、情報処理装置１００は、ステージＭ１０５の底面の認識結果に応じて、当該底面の材質を推定し、当該材質の推定結果に応じて、動き回るパックＭ１０１と当該底面との間の摩擦を推定してもよい。これにより、情報処理装置１００は、パックＭ１０１と、ステージＭ１０５の底面との間に働く摩擦力に応じた、当該パックＭ１０１の動きの変化を推定することも可能となる。

以上のように、本開示の一実施形態に係るシステム１において、情報処理装置１００は、実空間内の対象物の時系列に沿った位置の検出結果の履歴を利用することで、当該対象物の動きを推定する。また、このとき情報処理装置１００は、上記対象物の周囲の環境を認識することで、当該環境の認識結果、特に、上記対象物の運動に影響を及ぼすことが推定される外的要因の認識結果に応じて、当該対象物の動きを推定してもよい。そして、情報処理装置１００は、上記対象物の動きの推定結果に応じて情報（例えば、映像等の表示情報）が提示されるように制御する。具体的な一例として、情報処理装置１００は、対象物の動きの推定結果に応じた位置に表示情報が提示されるように制御してもよい。また、他の一例として、情報処理装置１００は、対象物の動きの推定結果に応じた表示態様で表示情報が提示されるように制御してもよい。このような構成により、本実施形態に係る情報処理システムは、ユーザに対して多様な体験をより好適な態様で提供することが可能となる。

なお、図１に示したシステム構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム１のシステム構成を限定するものではない。具体的な一例として、情報処理システム１の各構成のうち少なくとも２以上の構成が一体的に構成されていてもよい。具体的な一例として、撮像部１５１、投光部１５３、及び出力部１５５が一体的に構成されていてもよい。また、情報処理装置１００の機能が、互いに連携して動作する複数の装置により実現されてもよい。

以上、図１を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明した。

＜＜２．機能構成＞＞
続いて、本開示の一実施形態に係る情報処理システムの機能構成の一例について、特に、情報処理装置１００の機能構成に着目して説明する。例えば、図２は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。

図２において、情報処理装置１００、撮像部１５１、投光部１５３、及び出力部１５５は、図１に示す情報処理装置１００、撮像部１５１、投光部１５３、及び出力部１５５にそれぞれ相当する。また、図２に示すように、情報処理装置１００は、収集処理部１０１と、環境情報生成部１０３と、記憶部１０５と、対象物検出部１０７と、推定処理部１０９と、出力制御部１１１とを含む。

収集処理部１０１は、所定の領域内の対象物や、当該対象物の周囲の環境を認識するための情報を収集する。具体的な一例として、収集処理部１０１は、撮像部１５１に撮像される画像を当該撮像部１５１から所定のフレームごとに逐次取得する。また、収集処理部１０１は、撮像部１５１が画像を撮像するタイミングにあわせて、投光部１５３が当該撮像部１５１の撮像範囲内に赤外光を投光するように、当該投光部１５３の動作を制御してもよい。このような構成により、例えば、図１に示す例のように、対象物となるパックＭ１０１に対して再帰性反射マーカＭ１０３が付されている場合には、当該再帰性反射マーカＭ１０３で反射した赤外光が画像中に撮像されることとなる。そして、収集処理部１０１は、収集した情報（例えば、撮像部１５１により撮像された画像）を、環境情報生成部１０３及び対象物検出部１０７に出力する。

なお、以降では、主に撮像部１５１により撮像された画像に基づき対象物等のような実空間内の物体や、当該物体の周囲の環境を認識するものとして説明するが、当該物体や当該環境を認識することが可能であればそのための構成は特に限定されない。具体的な一例として、デプスセンサや測距センサ等を利用して、実空間内の物体までの距離を測定することで、当該物体や、当該物体の周囲の環境を認識することも可能である。なお、実空間内の物体との間の距離を測定（推定）する手法としては、例えば、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の技術に基づく手法が挙げられる。また、上記では、投光部１５３により投光され対象物で反射した赤外光を撮像部１５１により検出する例について説明したが、当該赤外光を検出する構成が撮像部１５１とは別に設けられていてもよい。具体的な一例として、可視光を遮断するフィルタが用いられた撮像部を別途設けることで、対象物で反射した赤外光を効率よく検出することも可能である。また、光センサや磁気センサ等の各種センサが、実空間内の物体（例えば、上記対象物）や当該物体の周囲の環境を認識するための情報の取得に利用されてもよい。また、複数種類の情報を実空間内の物体や当該物体の周囲の環境の認識に利用することで、当該認識の精度をより向上させることも可能である。

環境情報生成部１０３は、収集処理部１０１により収集された各種情報に基づき、所定の領域内（例えば、撮像部１５１の撮像範囲内）における、対象物の周囲の環境を認識する。具体的な一例として、環境情報生成部１０３は、上記対象物以外の他の物体等のように、当該対象物の運動に影響を及ぼすことが推定される外的要因を認識してもよい。より具体的な一例として、環境情報生成部１０３は、撮像部１５１により撮像された画像に対して画像解析を施すことで、当該画像に被写体として撮像されたステージＭ１０５の外壁を、対象物であるパックＭ１０１の周囲の環境（即ち、当該パックＭ１０１の運動に影響を及ぼすことが推定される外的要因）として認識してもよい。また、あらかじめ生成された環境情報が参照されてもよい。あらかじめ環境情報を生成する方法としては、例えば、ＣＡＤデータなど寸法データを取り込む方法や、類似環境での環境情報を流用する方法等が挙げられる。なお、環境情報生成部１０３が認識の対象とする上記外的要因に応じて、当該外的要因の認識に利用される情報（即ち、収集処理部１０１により収集される情報）や、当該認識の方法は適宜変更されてもよい。

また、図１に示す例では、撮像部１５１、投光部１５３、及び出力部１５５が所定の位置に固定的に保持されているが、撮像部１５１、投光部１５３、及び出力部１５５が移動可能に保持される場合も想定され得る。このような場合においては、所謂自己位置推定技術を利用することで、撮像部１５１、投光部１５３、及び出力部１５５の周囲の環境を認識することで、対象物の周囲の環境を認識してもよい。

ここで、自己位置推定に係る技術のより具体的な一例として、ＳＬＡＭ（simultaneous localization and mapping）と称される技術について概要を説明する。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

そして、環境情報生成部１０３は、所定の領域内おける、所定の対象物の周囲の環境の認識結果に応じた情報を、所定の記憶領域（例えば、記憶部１０５）に記憶させる。

記憶部１０５は、各種データを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１０５には、情報処理装置１００が各種機能を実行するためのデータが記憶されていてもよい。具体的な一例として、記憶部１０５には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）や各種設定等を管理するための管理データ等が記憶されていてもよい。また、上述の通り、記憶部１０５には、環境情報生成部１０３による環境の認識結果に応じた情報が記憶されてもよい。

対象物検出部１０７は、収集処理部１０１により収集された各種情報に基づき、所定の領域内（例えば、撮像部１５１の撮像範囲内）における、対象物の位置を検出する。また、このとき対象物検出部１０７は、対象物検出部１０７により所定のフレームごとに逐次収集される情報に基づき、上記対象物の位置を逐次検出し、フレームごとの当該対象物の位置の検出結果を時系列に沿って履歴として記録してもよい。

ここで、図３を参照して、所定の領域内における対象物の位置の検出方法の一例として、投光部１５３により投光され対象物で反射した赤外光の検出結果を利用して対象物の位置を検出する方法の一例について説明する。図３は、対象物の位置の検出方法の一例について説明するための説明図である。具体的には、図３に示す例では、対象物の位置を検出するための情報として、可視光を遮断するフィルタが用いられた撮像部により撮像された、上記所定の領域内のＩＲ画像を利用している。例えば、図３において参照符号Ｖ１１が付された入力画像は、当該ＩＲ画像の一例を示している。図３に示すように、入力画像Ｖ１１には、対象物で反射した赤外光が被写体として撮像されている。

対象物検出部１０７は、入力画像Ｖ１１に対して２値化の処理を施す。例えば、参照符号Ｖ１２は、入力画像Ｖ１１に対して２値化の処理が施された画像（以下、「２値化画像Ｖ１２」とも称する）を示している。以上のように２値化が施されることで、入力画像Ｖ１１に比べて、被写体として撮像された反射光（赤外光）の輪郭がより強調される。このような特性を利用し、対象物検出部１０７は、２値化画像Ｖ１２に対して画像解析を施すことで、被写体として撮像された赤外光の輪郭を抽出する。例えば、参照符号Ｖ１３は、２値化画像Ｖ１２からの被写体として撮像された反射光の輪郭の抽出結果を示している。次いで、対象物検出部１０７は、輪郭の抽出結果Ｖ１３に基づき、被写体として撮像された反射光の重心の位置を特定する。参照符号Ｖ１４は、輪郭の抽出結果に基づき特定された当該輪郭の重心を模式的に示している。対象物検出部１０７は、以上のようにして特定した重心の位置を、対象物（例えば、図１に示すパックＭ１０１）の位置として検出する。

なお、図３を参照して説明した例はあくまで一例であり、対象物検出部１０７による対象物の位置の検出に係る処理の内容を限定するものではない。具体的な一例として、対象物に対してカラーマーカを付したうえで、対象物検出部１０７は、撮像部により撮像されたカラー画像から色抽出処理等により当該カラーマーカを抽出することで、当該対象物の位置を検出してもよい。また、他の一例として、対象物検出部１０７は、対象物の特徴的な形状（例えば、エッジ等）の特徴量等に基づき、撮像部により撮像された画像から対象物を抽出することで、当該対象物の位置を検出してもよい。

また、対象物を追従するように位置を検出する場合には、検出対象となる画像中における対象物（被写体）の探索範囲が制御されてもよい。例えば、対象物検出部１０７は、あるフレームについて対象物の位置を検出する場合に、当該フレームより前のフレームにおいて検出された対象物の位置を基点として、当該基点のより近傍から優先的に探索を行ってもよい。また、他の一例として、対象物検出部１０７は、あるフレームについて対象物の位置を検出する場合に、当該フレームより前のフレームにおける対象物の位置の検出結果に基づき当該対象物の動きをベクトルとして算出し、当該ベクトル方向を優先して探索を行ってもよい。以上のような制御により、対象物検出部１０７は、画像全体を探索せずとも、当該画像中から対象物（被写体）を効率よく検出することが可能となる。

そして、対象物検出部１０７は、所定の領域内における対象物の位置の検出結果に応じた情報（換言すると、対象物の位置の検出結果の履歴に応じた情報）を、上記所定のフレームごとに推定処理部１０９に逐次出力する。

推定処理部１０９は、所定のフレームごとに対象物検出部１０７から逐次出力される、対象物の位置の検出結果に応じた情報に基づき、当該位置が検出された最新のフレーム（即ち、検出された位置に実際に対象物が位置していたタイミング）以降における対象物の動きを推定する。例えば、図４は、対象物の位置の検出結果の履歴に応じて、当該対象物の動きを推定する処理の概要について説明するための説明図である。

図４において、参照符号ｔ_−３、ｔ_−２、ｔ_−１、ｔ_０、ｔ_＋１のそれぞれは、対象物の位置の検出に利用される情報が取得されるフレーム（換言すると、位置が検出されるタイミング）を模式的に示しており、この順序で順次新しくなる。なお、以降の説明では、便宜上、フレームｔ_０を、対象物の位置が検出された最新のフレーム（換言すると、対象物の位置の検出タイミングのうち最新のタイミング）とする。また、図４において、参照符号ｔ_０、ｔ_−１、ｔ_−２、及びｔ_−３のそれぞれが関連付けられたマーカは、フレームｔ_０、ｔ_−１、ｔ_−２、及びｔ_−３それぞれにおける対象物の位置の検出結果を模式的に示している。

ここで、フレームｔ_−１及びｔ_０間、フレームｔ_−３及びｔ_−２間、及びフレームｔ_−２及びｔ_−１間における対象物の速度の変化をそれぞれΔＶ_０、ΔＶ_２、及びΔＶ_１とし、隣接するフレーム間の時間差をΔＴとする。このとき、フレームｔ_−１及びｔ_０間、フレームｔ_−３及びｔ_−２間、及びフレームｔ_−２及びｔ_−１間のそれぞれにおける対象物の加速度ａ_１、ａ_２、及びａ_３は、以下に（式１−１）〜（式１〜３）として示す計算式で表される。

また、最新のフレームｔ_０からｎフレーム先における対象物の位置を予測点とした場合に、予測点の座標Ｐ（ｘ_ｎ，ｙ_ｎ）は、以下に（式２）として示す計算式で表される。なお、（式２）において、ｘ_０及びｙ_０は、フレームｔ_０における対象物の位置のｘ座標及びｙ座標に相当する。同様に、ｘ_−１及びｙ_−１は、フレームｔ_−１における対象物の位置のｘ座標及びｙ座標に相当する。

以上のようにして、推定処理部１０９は、最新のフレームｔ_０以降における対象物の位置を推定する（即ち、予測点を算出する）。もちろん、上述した予測点の推定方法はあくまで一例であり、対象物の位置の検出結果に基づき予測点を推定することが可能であれば、予測点の推定方法は特に限定されない。

また、推定処理部１０９は、予測点の算出に際し、対象物の周囲の環境の認識結果を加味してもよい。具体的には、推定処理部１０９は、所定の記憶領域（例えば、記憶部１０５）に記憶された対象物の周囲の環境の認識結果に応じた情報を、予測点の算出に利用してもよい。

例えば、図５は、本実施形態に係る情報処理装置による対象物の動きの推定方法の一例について説明するための説明図であり、対象物の周囲の環境を加味した当該対象物の動きの推定方法の一例について示している。図５に示す例では、対象物となるパックＭ１０１が障害物（例えば、図１に示すステージＭ１０５の壁面）に衝突し、当該パックＭ１０１の動きが変化する場合の一例を示している。

例えば、フレームｔ_１では、パックＭ１０１は、壁面に向けて直進している。フレームｔ_１に対応する図面において、参照符号Ｐ１０１は、検出されたパックＭ１０１の位置（以下、「検出点」とも称する）のうち最新のものを示している。また、参照符号Ｐ１０３は、検出点の履歴から算出された予測点を示している。

なお、図５に示すように、対象物であるパックＭ１０１の位置が検出されてから当該パックＭ１０１の動き（換言すると、予測点）が推定されるまでの間には遅延が生じ、パックＭ１０１が運動している場合には、この遅延期間中においてもパックＭ１０１の位置が変化する。そのため、算出される予測点の中には、実質的には、過去におけるパックＭ１０１の位置を示すものも含まれ得る。なお、各予測点がどのタイミング（フレーム）におけるパックＭ１０１の位置を示しているかについては、例えば、パックＭ１０１の速度や加速度の変化に応じて推定することが可能である。

即ち、フレームｔ_１では、推定処理部１０９は、検出点Ｐ１０１の検出結果に基づく予測点Ｐ１０３の算出結果と、パックＭ１０１の周囲の環境の認識結果と、に基づき、当該パックＭ１０１が直線運動を行っていることを推定することとなる。

次いで、フレームｔ_２では、パックＭ１０１が壁面に衝突している。フレームｔ_２に対応する図面において、参照符号Ｐ１０５は、検出点のうち最新のものを示している。また、参照符号Ｐ１０７は、検出点の履歴から算出された予測点を示している。この場合には、推定処理部１０９は、検出点Ｐ１０５の検出結果に基づく予測点Ｐ１０７の算出結果と、パックＭ１０１の周囲の環境の認識結果と、に基づき、直線運動する当該パックＭ１０１が壁面に衝突することを推定する。

次いで、フレームｔ_３では、パックＭ１０１が壁面に衝突し、当該パックＭ１０１の運動方向が変化している。フレームｔ_３に対応する図面において、参照符号Ｐ１０９は、検出点のうち最新のものを示している。また、参照符号Ｐ１１１及びＰ１１３は、検出点の履歴から算出された予測点を示している。なお、検出点Ｐ１０９に基づき算出される予測点Ｐ１１１及びＰ１１３のうち、予測点Ｐ１１３については、パックＭ１０１が衝突する壁面の位置と略一致するか、または当該壁面よりも奥側に位置する（即ち、オーバーシュートする）こととなる。このような場合には、推定処理部１０９は、パックＭ１０１の周囲の環境の認識結果に基づき、壁面でのパックＭ１０１の反射による当該パックＭ１０１の運動方向の変化を推定し、当該推定結果に応じて、壁面よりも奥側に位置する予測点Ｐ１１３の位置を補正してもよい。例えば、参照符号Ｐ１１５は、当該補正後の予測点を示している。なお、壁面での反射によるパックＭ１０１の運動方向の変化については、例えば、壁面の形状の認識結果、当該壁面とパックＭ１０１との位置関係、及びパックＭ１０１の運動方向等に基づき推定することが可能である。

以上のような制御により、推定処理部１０９は、対象物（例えば、パックＭ１０１）が壁面や他の物体と衝突することで当該対象物の動きが変化するような状況下においても、対象物の動きをより正確に推定する（ひいては、予測する）ことが可能となる。

なお、上記では、対象物が障害物に衝突することにより当該対象物の運動方向が変化する場合について説明したが、対象物の運動に影響を及ぼすことが推定される外的要因は、上述のような障害物等の存在のみには限定されない。具体的な一例として、エアや水流等の外力が対象物に働くことで当該対象物の動きが変化する場合や、対象物に働く摩擦力により当該対象物の動きが変化する場合が挙げられる。また、対象物が車両等のように複数の部品が連動することで移動可能に構成されている場合には、当該部品間に働く摩擦力についても、対象物の運動に影響を及ぼす可能性のある外的要因としてみなすことが可能である。このような場合においても、当該外的要因が検出可能なものであれば、当該外的要因の影響を加味して対象物の動きの変化を推定することが可能である。なお、外的要因の影響による対象物の動きの変化の推定方法については特に限定されない。例えば、対象物のサイズや重量等の既知の情報を加味して、運動方程式等のような物理法則を示す公式に基づき、当該対象物の動きが推定されてもよい。また、対象物の動きの推定に、所謂機械学習が利用されてもよい。この場合には、変化前の対象物の動き、外的要因の影響、及び当該外的要因の影響による変化後の対象物の動き等の情報を、機械学習のための教師データの生成に利用することが可能である。また、外的要因に応じた推定方法が適宜利用されてもよい。

そして、推定処理部１０９は、対象物の動きの推定結果を示す情報（例えば、対象物の周囲の環境の影響を加味した予測点の算出結果）を出力制御部１１１に出力する。なお、推定処理部１０９が、対象物の動きを推定する「推定部」の一例に相当する。

出力制御部１１１は、出力部１５５に所望の情報を出力させることでユーザに当該情報を提示する。例えば、図１に示す例のように、出力部１５５がプロジェクタとして構成されている場合には、出力制御部１１１は、当該出力部１５５に表示情報を映像として投影させることで、当該表示情報をユーザに提示する。

また、出力制御部１１１は、推定処理部１０９から対象物の動きの推定結果を示す情報を取得し、当該推定結果に応じて、出力部１５５を介した情報の提示を制御してもよい。具体的な一例として、出力制御部１１１は、図１に示す例のように、所定の領域内（例えば、ステージＭ１０５内）を運動するパックＭ１０１に対して表示情報が重畳するように、出力部１５５が表示情報を投影する位置を制御してもよい。なお、前述したように、対象物（例えば、パックＭ１０１）の位置が検出されてから（即ち、検出点が特定されてから）予測点が算出されるまでの間に遅延が生じ得る。そのため、例えば、出力制御部１１１は、当該遅延を加味したうえで、表示情報が投影される位置に相当する予測点を決定してもよい。このような制御により、例えば、ステージＭ１０５内を動き回るパックＭ１０１に表示情報が重畳するように、当該表示情報の投影位置を当該パックＭ１０１の動きに追従させることが可能となる。換言すると、表示情報の投影位置の制御をパックＭ１０１の動きに同期させることが可能となる。

なお、上述した例では、推定処理部１０９から取得される情報は、撮像部１５１により撮像された画像に基づき推定された対象物の動きを示している。そのため、予測点の位置等については、撮像部１５１に関連付けられた座標系に基づき算出されている。一方で、撮像部１５１と出力部１５５とのそれぞれの設置位置は必ずしも一致するとは限らない。そのため、撮像部１５１に関連付けられた座標系と、出力部１５５に関連付けられた座標系との間には、当該撮像部１５１と当該出力部１５５との間の相対的な位置関係に応じてずれが生じる場合がある。このような状況を鑑み、出力制御部１１１は、推定処理部１０９から取得される情報に基づく対象物の位置の推定結果を、出力部１５５の座標系における位置に変換したうえで、当該座標系における当該対象物の位置に応じて表示情報が投影される位置を制御してもよい。

例えば、図６は、撮像部１５１と出力部１５５との間における座標変換の概要について説明するための説明図である。図６に示すように、撮像部１５１による撮像画像中の位置（即ち、撮像部１５１の座標系における位置）をＰ_ｃａｍ（ｘ_ｃａｍ，ｙ_ｃａｍ）とし、出力部１５５による投影画像中の位置（即ち、出力部１５５の座標系における位置）をＰ_ｐｒｊ（ｘ_ｐｒｊ，ｙ_ｐｒｊ）とする。このとき、以下に（式３）として示す、撮像部１５１と出力部１５５との間の射影変換行列Ｈを利用した変換式に基づき、撮像画像中の位置Ｐ_ｃａｍ（ｘ_ｃａｍ，ｙ_ｃａｍ）を、投影画像中の位置Ｐ_ｐｒｊ（ｘ_ｐｒｊ，ｙ_ｐｒｊ）に変換することが可能である。なお、射影変換行列Ｈは、撮像部１５１と出力部１５５との間の相対的な位置関係に応じて算出され、例えば、以下に示す（式４）のように表される。

また、図７は、対象物に重畳するように提示される表示情報の一例について説明するための説明図であり、図１に示すパックＭ１０１を対象物とした場合における、表示情報の投影によるビジュアル表現の一例を示している。図７の左側の図は、映像が投影される前のパックＭ１０１の状態を示している。これに対して、図７の中心の図は、パックＭ１０１の表面（上面）の少なくとも一部（例えば、当該表面全体）が塗りつぶされるように、当該パックＭ１０１に対して映像Ｖ１０１を重畳させた場合の一例を示している。また、図７の右側の図は、パックＭ１０１の輪郭がより強調されるように、当該パックＭ１０１に対してリング状の映像Ｖ１０３を重畳させた場合の一例を示している。もちろん、上記はあくまで一例であり、本実施形態に係る情報処理システム１において対象物の動きの推定結果に応じて提示される情報は必ずしも図７に示す例には限定されない。

また、出力制御部１１１は、対象物の動きの推定結果に応じて、出力部１５５に提示させる表示情報の表示態様を制御してもよい。具体的な一例として、出力制御部１１１は、対象物が他の物体（例えば、障害物）に衝突する等により、対象物の動きが変化することが推定（予測）される場合には、当該動きの変化のタイミングに同期して表示情報の表示態様（例えば、サイズ、色、及び形状のうち少なくともいずれか）を制御してもよい。なお、表示態様の制御の一例については、具体例を別途後述する。

なお、出力制御部１１１が、対象物の動きの推定結果に応じた表示態様で表示情報が提示されるように制御する「制御部」の一例に相当する。また、出力制御部１１１のうち、対象物の動きの推定結果に関する情報を推定処理部１０９から取得する部分が、「取得部」の一例に相当する。

また、上述した機能構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム１の機能構成を限定するものではない。具体的な一例として、情報処理装置１００、撮像部１５１、投光部１５３、及び出力部１５５のうち少なくとも２以上の構成が一体的に構成されていてもよい。また、情報処理装置１００の各構成のうち、一部の構成が情報処理装置１００の外部に設けられていてもよい。具体的な一例として、記憶部１０５として、情報処理装置１００に外付けされた記憶装置や、情報処理装置１００とネットワークを介して接続された記憶装置が利用されてもよい。また、情報処理装置１００の各機能が、互いに連携して動作する複数の装置により実現されてもよい。

以上、図２〜図７を参照して、本開示の一実施形態に係る情報処理システムの機能構成の一例について、特に、情報処理装置１００の機能構成に着目して説明した。

＜＜３．処理＞＞
続いて、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１００の処理に着目して説明する。例えば、図８は、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。

図８に示すように、情報処理装置１００（対象物検出部１０７）は、撮像部１５１により所定の領域が撮像された画像等に基づき、当該領域中における対象物の位置を検出する。このとき、情報処理装置１００は、所定のフレームごとに逐次撮像される上記画像に基づき、上記対象物の位置を逐次検出し、フレームごとの当該対象物の位置の検出結果を時系列に沿って履歴として記録してもよい。このような制御により、情報処理装置１００は、所定の領域内を運動する対象物の追跡を試みる（Ｓ１０１）。

対象物の位置検出及び追跡に成功すると（Ｓ１０３、ＹＥＳ）、情報処理装置１００（環境情報生成部１０３）は、撮像部１５１により所定の領域が撮像された画像等に基づき、対象物の周囲の環境を認識する（Ｓ１０５）。

次いで、情報処理装置１００（推定処理部１０９）は、対象物の位置検出及び追跡の結果に基づき、当該位置が検出された最新のフレーム以降における当該対象物の動きを推定する。換言すると、情報処理装置１００は、予測点を算出する。また、このとき情報処理装置１００は、対象物の周囲の環境の認識結果を加味して、当該対象物の動きを推定してもよい。具体的な一例として、情報処理装置１００は、算出した予測点のうち少なくとも一部の予測点を、対象物の周囲の環境の認識結果に応じて補正してもよい（Ｓ１０７）。

そして、情報処理装置１００（出力制御部１１１）は、対象物の動きの推定結果に応じて、所定の出力部を介した情報の提示を制御する。具体的な一例として、情報処理装置１００は、対象物の動きの推定結果に応じた位置（例えば、対象物の位置）に表示情報が提示されるように、当該表示情報の提示位置を制御してもよい。これにより、例えば、運動する対象物に対して映像が投影されるように制御することが可能となる。また、情報処理装置１００は、対象物の動きの推定結果に応じて、表示情報の表示態様を制御してもよい。具体的な一例として、情報処理装置１００は、対象物が他の物体に衝突する等により、当該対象物の動きが変化することが推定（予測）された場合に、当該対象物の動きが変化するタイミングに同期して表示情報の表示態様を制御してもよい。これにより、例えば、対象物が障害物と衝突するタイミングに同期して、当該衝突を演出するような映像を提示することも可能となる。

なお、情報処理装置１００は、対象物の位置検出及び追跡に失敗した場合には（Ｓ１０３、ＮＯ）、参照符号Ｓ１０５〜Ｓ１０９で示した処理については実行しなくてもよい。以上のようにして、情報処理装置１００は、一連の処理の終了が指示されない限り（Ｓ１１１、ＮＯ）、参照符号Ｓ１０１〜Ｓ１０９で示した一連の処理を逐次実行する。そして、一連の処理の終了が指示されると（Ｓ１１１、ＹＥＳ）、情報処理装置１００は、参照符号Ｓ１０１〜Ｓ１０９で示した一連の処理の実行を終了する。

以上、図８を参照して、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１００の処理に着目して説明した。

＜＜４．変形例＞＞
続いて、本開示の一実施形態に係る情報処理システムの変形例について説明する。

＜４．１．変形例１：対象物の動きの推定方法の他の一例＞
まず、変形例１として、対象物の動きの推定方法の一例として、図５を参照して説明した環境に応じて予測点の推定結果を補正する例とは異なる他の一例について説明する。なお、以降の説明では、図５を参照して説明した対象物の動きの推定方法を「第１の推定方法」とも称し、本変形例に係る対象物の動きの推定方法を「第２の推定方法」とも称する。また、第１の推定方法に係る処理が「第１の処理」の一例に相当し、第２の推定方法に係る処理が「第２の処理」の一例に相当する。

第１の推定方法では、対象物の周囲の環境の認識結果を加味して、一般的な物理法則に基づき対象物の動きを推定している。そのため、第１の推定方法では、予測点の算出に係る遅延を加味したうえで、さらに未来における対象物の動きを予測することが可能である。一方で、対象物の運動に影響を及ぼすことが推定される外的要因が複数存在するような状況下では、当該外的要因を加味した対象物の動きの予測に係る処理が複雑化し、ひいては当該予測の精度が低下するような状況も想定され得る。

これに対して、第２の推定方法では、第１の推定方法に比べて、対象物の動きに対する追従性により重点をおいている。例えば、図９は、変形例１に係る対象物の動きの推定方法の一例について概要を説明するための説明図である。図９に示す例では、図５を参照して説明した例のように、対象物となるパックＭ１０１が障害物となる壁面に衝突し、当該パックＭ１０１の動きが変化する場合の一例を示している。

例えば、フレームｔ_１では、パックＭ１０１は、壁面に向けて直進している。フレームｔ_１に対応する図面において、参照符号Ｐ１５１は、検出点のうち最新のものを示している。また、参照符号Ｐ１５３は、検出点の履歴から算出された予測点のうち、当該フレームｔ_１において情報の提示（例えば、映像の投影）に利用される予測点（即ち、適用される予測点）を示している。また、フレームｔ_２において、パックＭ１０１が壁面に衝突している。フレームｔ_２に対応する図面において、参照符号Ｐ１５５は、検出点のうち最新のものを示している。また、参照符号Ｐ１５７は、検出点の履歴から算出された予測点のうち、当該フレームｔ_２において適用される予測点を示している。フレームｔ_１〜フレームｔ_２までの期間Ｔ２０１においては、パックＭ１０１が直線運動しており、算出される一連の予測点のいずれも壁面を超えていない。そのため、情報処理装置１００は、算出された予測点のうちパックＭ１０１の位置に相当する予測点（即ち、予測点Ｐ１５３及びＰ１５７）を適用している。

これに対して、フレームｔ_３では、フレームｔ_２に比べて最新の検出点Ｐ１５９の位置がさらに壁面に近づいている。即ち、フレームｔ_３では、検出点の履歴から算出された予測点のうち一部（例えば、参照符号Ｐ１８１で示した予測点）が、壁面の位置と重なるか、または当該壁面よりも奥側に位置する（即ち、オーバーシュートする）こととなっている。この場合には、情報処理装置１００は、情報の提示に利用する予測点として、算出された予測点のうち壁面の手前側に位置する予測点（即ち、オーバーシュートする予測点もよりも予測量の小さい予測点）を適用する。例えば、図９に示す例では、フレームｔ_３において、壁面よりも手前側に位置する予測点のうち、最新の予測点Ｐ１６１（即ち、より予測量の大きい予測点）が適用されている。また、フレームｔ_４では、最新の検出点Ｐ１６３の位置が壁面に近接し、検出点の履歴から算出された予測点の全て（即ち、参照符号Ｐ１８３で示した予測点）が、壁面の位置と重なるか、または当該壁面よりも奥側に位置する（即ち、オーバーシュートする）こととなっている。この場合には、情報処理装置１００は、最新の検出点Ｐ１６３を、情報の提示に利用する予測点として適用する。即ち、情報処理装置１００は、フレームｔ_３〜フレームｔ_４の期間Ｔ２０２においては、対象物の動きの推定に係る時系列に沿った範囲（以下、「推定範囲」とも称する）を制限することで、パックＭ１０１が壁面の奥側に位置するような予測の適用を防止している。

なお、期間Ｔ２０２においては、壁面への衝突によりパックＭ１０１の動きが既に変化しているのに対して、最新の検出点（即ち、検出点Ｐ１５９及びＰ１６３）は、パックＭ１０１が壁面に衝突する前の状態に相当する。この期間Ｔ２０２においては、対象物でパックＭ１０１が壁面への衝突後にも反射された方向に直線運動を継続しているのに対して、適用される予測点の位置は、当該パックＭ１０１が当該壁面に衝突する直前の位置に維持される。即ち、適用される予測点が、パックＭ１０１よりも徐々に遅延することとなる。

次いで、フレームｔ_５及びｔ_６に着目する。フレームｔ_５では、最新の検出点Ｐ１６５として、パックＭ１０１が壁面で反射した後の位置が検出されている。また、フレームｔ_６では、フレームｔ_５に比べて最新の検出点Ｐ１６９の位置が、パックＭ１０１の動きに追従するように、さらに壁面から離間している。このように、最新の検出点として、壁面等の外的要因により動きが変化した後の対象物（例えば、パックＭ１０１）の位置が検出された後においては、情報処理装置１００は、制限していた推定範囲を、制限前の状態に戻すことで、当該制限により生じていた適用される予測点と対象物との間との遅延を解消する。例えば、フレームｔ_５に対応する図面において、参照符号Ｐ１６７は、検出点の履歴から算出された予測点のうちの、当該フレームｔ_５において情報の提示に利用される予測点（即ち、適用される予測点）を示している。また、フレームｔ_６に対応する図面において、参照符号Ｐ１７１は、当該フレームｔ_６において適用される予測点を示している。即ち、情報処理装置１００は、フレームｔ_５〜フレームｔ_６の期間Ｔ２０３においては、期間Ｔ２０２とは逆に、予測量が徐々に大きくなるように情報の提示に利用する予測点（即ち、適用する予測点）を決定することで、上記遅延を解消する。例えば、図９に示す例では、フレームｔ_６において、パックＭ１０１の位置と、適用される予測点Ｐ１７１の位置とが略一致しており、適用される当該予測点Ｐ１７１と当該パックＭ１０１との間の遅延が解消されていることがわかる。

以上、図９を参照して、変形例１に係る対象物の動きの推定方法（即ち、第２の推定方法）の一例について概要を説明した。

次いで、図１０及び図１１を参照して、変形例１に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１００の処理に着目して説明する。例えば、図１０及び図１１は、変形例１に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。

まず、図１０を参照して、情報処理装置１００により実行される一連の処理の流れについて説明する。なお、図１０において、参照符号Ｓ２０１〜Ｓ２０５、Ｓ２０９〜Ｓ２１１で示した処理については、図８を参照して説明した例と実質的に同様であるため詳細な説明は省略する。

図１０に示すように、情報処理装置１００（対象物検出部１０７）は、撮像部１５１により所定の領域が撮像された画像等に基づき、当該領域中における対象物の位置検出及び追跡を試みる（Ｓ２０１）。対象物の位置検出及び追跡に成功すると（Ｓ２０３、ＹＥＳ）、情報処理装置１００（環境情報生成部１０３）は、撮像部１５１により所定の領域が撮像された画像等に基づき、対象物の周囲の環境を認識する（Ｓ２０５）。

次いで、情報処理装置１００（推定処理部１０９）は、対象物の位置検出及び追跡の結果に基づき、当該位置が検出された最新のフレーム以降における当該対象物の動きを推定する。換言すると、情報処理装置１００は、予測点を算出する（Ｓ２０７）。

続いて、情報処理装置１００（推定処理部１０９）は、算出した予測点のうち、情報の提示に利用する予測点（即ち、適用する予測点）を決定する（Ｓ２３０）。なお、当該処理の詳細については、別途後述する。

そして、情報処理装置１００（出力制御部１１１）は、対象物の動きの推定結果に応じて、所定の出力部を介した情報の提示を制御する（Ｓ２０９）。

なお、情報処理装置１００は、対象物の位置検出及び追跡に失敗した場合には（Ｓ２０３、ＮＯ）、参照符号Ｓ２０５、Ｓ２０７、Ｓ２３０、及びＳ２０９で示した処理については実行しなくてもよい。以上のようにして、情報処理装置１００は、一連の処理の終了が指示されない限り（Ｓ２１１、ＮＯ）、参照符号Ｓ２０１〜Ｓ２０７、Ｓ２３０、及びＳ２０９で示した一連の処理を逐次実行する。そして、一連の処理の終了が指示されると（Ｓ１１１、ＹＥＳ）、情報処理装置１００は、参照符号号Ｓ２０１〜Ｓ２０７、Ｓ２３０、及びＳ２０９で示した一連の処理の実行を終了する。

以上、図１０を参照して、情報処理装置１００により実行される一連の処理の流れについて説明した。

次いで、図１１を参照して、図１０において参照符号Ｓ２３０で示された、情報処理装置１００が、算出した予測点の中から情報の提示に利用する予測点（即ち、適用する予測点）を決定する処理の一例について説明する。

なお、本説明では、便宜上、算出される予測点の数をｎ個とし、検出点に最も近い予測点から予測量がより大きくなる方向に向けた順に、予測点１、予測点２、・・・、予測点ｎとも称する。また、予測点ｎは、対象物の位置と略一致する予測点（即ち、対象物に対して遅延が生じていない予測点）であるものとする。また、係数ａ_ｃｕｒは、現フレームについて適用される予測点を示すための係数に相当する。具体的には、予測点ｎ−ａ_ｃｕｒ（０＜ａ_ｃｕｒ＜ｎ）が、現フレームについて適用される予測点に相当する。また、係数ａ_ｐｒｅは、前フレーム（現フレームの直前のフレーム）で適用された予測点を示すための係数に相当する。具体的には、予測点ｎ−ａ_ｐｒｅ（０＜ａ_ｐｒｅ＜ｎ）が、前フレームで適用された予測点に相当する。

図１１に示すように、情報処理装置１００（推定処理部１０９）は、対象物の位置検出及び追跡の結果（換言すると、検出点の履歴）に基づき１以上の予測点を算出すると、少なくとも一部の予測点において対象物が他の物体と衝突するか否かを判定する（Ｓ２３１）。

予測点が他物体と衝突する場合には（Ｓ２３１、ＹＥＳ）、情報処理装置１００（推定処理部１０９）は、現フレームの予測点ｎ−ａ_ｃｕｒとして、他の物体と重複しない予測点、または、当該物体で遮蔽された領域を超えない（即ち、オーバーシュートしない）予測点を適用する（Ｓ２３３）。そして、情報処理装置１００は、現フレームの予測点ｎ−ａ_ｃｕｒの適用結果に応じて係数ａ_ｐｒｅを更新する。具体的な一例として、情報処理装置１００は、予測点ｎ−ａ_ｃｕｒの適用結果に応じて、係数ａ_ｐｒｅを当該ａ_ｃｕｒに更新する（Ｓ２４１）。このような制御により、例えば、対象物が他の物体と衝突する前の状態について検出された検出点が、当該他の物体により近接するほど、より予測量の小さい予測点が適用されることとなる。

一方で、予測点が他物体と衝突しない場合には（Ｓ２３１、ＹＥＳ）、情報処理装置１００（推定処理部１０９）は、現フレームにおける係数ａ_ｐｒｅの値に応じて、現フレームの予測点ｎ−ａ_ｃｕｒを決定する。

具体的には、係数ａ_ｐｒｅ＝＝０ではない場合（Ｓ２３５、ＮＯ）には、情報処理装置１００（推定処理部１０９）は、ｎ−ａ_ｐｒｅ＜ｎ−ａ_ｃｕｒの条件を満たすように、現フレームにおいて適用する予測点ｎ−ａ_ｃｕｒを決定する（Ｓ２３７）。そして、情報処理装置１００は、現フレームの予測点ｎ−ａ_ｃｕｒの適用結果に応じて係数ａ_ｐｒｅを更新する（Ｓ２４１）。このような制御により、例えば、対象物が他の物体と衝突した後の状態について検出された検出点が、当該他の物体からより離間するほど、より予測量の大きい予測点が適用されることとなる。即ち、実際の対象物の位置と、適用される予測点（即ち、現フレームの予測点ｎ−ａ_ｃｕｒ）との間に生じた遅延が徐々に解消されることとなる。

また、係数ａ_ｐｒｅ＝＝０の場合（Ｓ２３５、ＹＥＳ）には、情報処理装置１００（推定処理部１０９）は、ａ_ｃｕｒ＝＝０の条件を満たすように、現フレームにおいて適用する予測点ｎ−ａ_ｃｕｒを決定する。即ち、情報処理装置１００は、予測点ｎを適用することとなる（Ｓ２４１）。そして、情報処理装置１００は、現フレームの予測点ｎ−ａ_ｃｕｒの適用結果に応じて係数ａ_ｐｒｅを更新する（Ｓ２４１）。なお、この場合には、対象物の位置と、現フレームの予測点ｎ−ａ_ｃｕｒの位置とが略一致する（即ち、対象物に当該予測点ｎ−ａ_ｃｕｒが重畳する）こととなる。

以上、図１１を参照して、図１０において参照符号Ｓ２３０で示された、情報処理装置１００が、算出した予測点の中から情報の提示に利用する予測点（即ち、適用する予測点）を決定する処理の一例について説明した。なお、上記は主に対象物が障害物と衝突する場合に着目して説明したが、上述した実施形態と同様に、対象物の運動に影響を及ぼすことが推定される外的要因は、上述のような障害物等の存在のみには限定されない。即ち、エアや水流等の外力が対象物に働くことで当該対象物の動きが変化する場合や、対象物に働く摩擦力により当該対象物の動きが変化する場合が挙げられる。このような場合においても、上記外的要因の影響を加味した対象物の動きの変化の推定結果に応じて適用される予測点が決定されてもよい。

以上説明したように、第２の推定方法においては、対象物が他の物体に衝突する等のように当該対象物の動きが変化するタイミングにおいて、適用される予測点と対象物との間に遅延が生じる場合がある。一方で、第２の推定方法においては、第１の推定方法のように周囲の環境を加味した対象物の動きの予測（例えば、障害物で反射した後の対象物の動きの予測）が制限されている。そのため、複数の外的要因の影響により対象物の動きの変化の予測が困難な状況下においても、誤った予測が適用される事態の発生を防止し、適用される予測点を対象物の動きにより正確に追従させることが可能となる。

＜４．２．変形例２：ビジュアル表現の一例＞
続いて、変形例２として、対象物の動きの推定結果に応じて情報を提示する態様の一例（即ち、ビジュアル表現の一例）について説明する。前述したように、本実施形態に係る情報処理装置１００は、対象物の動きの変化が予測される場合に、当該対象物の動きが変化するタイミングに同期して提示する表示情報の表示態様を制御することも可能である。

（ビジュアル表現例１：衝突時にバウンドする表現）
例えば、図１２は、変形例２に係る情報処理装置１００が対象物の動きの推定結果に応じて提示する情報の提示態様の一例について説明するための説明図である。図１２に示す例では、フレームｔ_１〜フレームｔ_６の期間中に、対象物であるパックＭ１０１が壁面（例えば、図１のステージＭ１０５の壁面）に衝突して反射している状況を示している。図１２に、おいて、参照符号Ｐ２０１、Ｐ２０３、Ｐ２０５、Ｐ２０７、Ｐ２０９、及びＰ２１１は、それぞれフレームｔ_１、ｔ_２、ｔ_３、ｔ_４、ｔ_５、及びｔ_６における検出点を示している。

具体的には、フレームｔ_１〜フレームｔ_２の期間Ｔ２１１では、パックＭ１０１が壁面に向けて直進運動をしている。この場合には、対象物Ｍ１０１に対して表示情報Ｖ１１１が重畳するように当該表示情報Ｖ１１１が提示される。即ち、期間Ｔ２１１においては、運動するパックＭ１０１（対象物）の軌跡と、当該パックＭ１０１に重畳するように提示される表示情報Ｖ１１１の軌跡とが略一致することとなる。

次いで、フレームｔ_３〜フレームｔ_４の期間Ｔ２１２において、パックＭ１０１が壁面で反射し、当該パックＭ１０１の動きが変化している。この場合には、情報処理装置１００は、検出点（例えば、検出点Ｐ２０５及びＰ２０７）に基づく予測点の算出結果に応じて、パックＭ１０１が壁面に衝突することを予測することとなる。そして、図１２に示す例では、情報処理装置１００は、当該予測の結果に基づき、パックＭ１０１が壁面に衝突するタイミングに同期して、あたかも表示情報Ｖ１１１が壁面でバウンドしているように、当該表示情報Ｖ１１１の形状を変化させている。このような制御により、表示情報Ｖ１１１が、壁面への衝突に伴い、当該壁面でバウンドしているような表現を演出することが可能となる

また、フレームｔ_５〜フレームｔ_６の期間Ｔ２１３は、パックＭ１０１が壁面で反射した後の状態を示している。なお、フレームｔ_５においては、表示情報Ｖ１１１の提示位置は、バウンドを演出したビジュアル表現の提示により、パックＭ１０１に対して遅延が生じている。このような場合においても、情報処理装置１００は、徐々に予測量の大きい予測点が適用されるように制御することで、表示情報Ｖ１１１がパックＭ１０１に追い付いた後に当該パックＭ１０１に再度重畳するように当該表示情報Ｖ１１１を提示することが可能となる。

（ビジュアル表現例２：衝突時に斥力が働く軌道表現）
また、図１３は、変形例２に係る情報処理装置１００が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。図１３に示す例では、図１２に示す例と同様に、フレームｔ_１〜フレームｔ_６の期間中に、対象物であるパックＭ１０１が壁面に衝突して反射している状況を示している。図１３に、おいて、参照符号Ｐ２５１、Ｐ２５３、Ｐ２５５、Ｐ２５７、Ｐ２５９、及びＰ２６１は、それぞれフレームｔ_１、ｔ_２、ｔ_３、ｔ_４、ｔ_５、及びｔ_６における検出点を示している。

具体的には、フレームｔ_１〜フレームｔ_２の期間Ｔ２２１では、パックＭ１０１が壁面に向けて直進運動をしている。この場合には、対象物Ｍ１０１に対して表示情報Ｖ１１３が重畳するように当該表示情報Ｖ１１３が提示される。即ち、期間Ｔ２２１においては、運動するパックＭ１０１（対象物）の軌跡と、当該パックＭ１０１に重畳するように提示される表示情報Ｖ１１３の軌跡とが略一致することとなる。

次いで、フレームｔ_３〜フレームｔ_４の期間Ｔ２２２において、パックＭ１０１が壁面で反射し、当該パックＭ１０１の動きが変化している。この場合には、情報処理装置１００は、検出点（例えば、検出点Ｐ２５５及びＰ２５７）に基づく予測点の算出結果に応じて、パックＭ１０１が壁面に衝突することを予測することとなる。そして、図１３に示す例では、情報処理装置１００は、当該予測の結果に基づき、パックＭ１０１が壁面に衝突するタイミングに同期して、表示情報Ｖ１１３が壁面に衝突しないように、当該表示情報Ｖ１１１の軌道（即ち、表示情報Ｖ１１３の提示位置）を制御している。例えば、図１３の下図に示した参照符号Ｖ１１３ａは、期間Ｔ２２２における表示情報Ｖ１１３の軌道の一例を示している。このような制御により、あたかも壁面から斥力により表示情報Ｖ１１３の軌道が変化しているような表現を演出することが可能となる。

また、フレームｔ_５〜フレームｔ_６の期間Ｔ２２３は、パックＭ１０１が壁面で反射した後の状態を示している。なお、フレームｔ_５においては、表示情報Ｖ１１３の提示位置は、斥力による軌道変化を演出したビジュアル表現の提示により、パックＭ１０１の位置との間にずれが生じている。このような場合においても、情報処理装置１００は、表示情報Ｖ１１３が提示される位置を徐々に予測点に近づけるように制御することで、表示情報Ｖ１１３がパックＭ１０１に追い付いた後に当該パックＭ１０１に再度重畳するように当該表示情報Ｖ１１３を提示することが可能となる。

（ビジュアル表現例３：衝突時にエフェクトサイズを変化させる表現）
また、図１４は、変形例２に係る情報処理装置１００が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。図１４に示す例では、図１２に示す例と同様に、フレームｔ_１〜フレームｔ_６の期間中に、対象物であるパックＭ１０１が壁面に衝突して反射している状況を示している。図１４に、おいて、参照符号Ｐ３０１、Ｐ３０３、Ｐ３０５、Ｐ３０７、Ｐ３０９、及びＰ３０１は、それぞれフレームｔ_１、ｔ_２、ｔ_３、ｔ_４、ｔ_５、及びｔ_６における検出点を示している。

図１４に示す例では、情報処理装置１００は、運動するパックＭ１０１（対象物）に対して重畳するように表示情報Ｖ１１５を提示し、パックＭ１０１が壁面等に衝突した場合に、当該表示情報Ｖ１１５のサイズを制御する。

具体的には、フレームｔ_１〜フレームｔ_２の期間Ｔ２３１では、パックＭ１０１が壁面に向けて直進運動をしている。この場合には、表示情報Ｖ１１５のサイズが、パックＭ１０１のサイズと略一致するように制御される。

次いで、フレームｔ_３〜フレームｔ_４の期間Ｔ２３２において、パックＭ１０１が壁面で反射し、当該パックＭ１０１の動きが変化している。この場合には、情報処理装置１００は、検出点（例えば、検出点Ｐ３０５及びＰ３０７）に基づく予測点の算出結果に応じて、パックＭ１０１が壁面に衝突することを予測することとなる。そして、図１４に示す例では、情報処理装置１００は、当該予測の結果に基づき、パックＭ１０１が壁面に衝突するタイミングに同期して、表示情報Ｖ１１５のサイズが従前よりも拡大するように（即ち、パックＭ１０１よりもサイズが大きくなるように）制御している。

また、フレームｔ_５〜フレームｔ_６の期間Ｔ２３３は、パックＭ１０１が壁面で反射した後の状態を示している。この場合には、情報処理装置１００は、拡大させた表示情報Ｖ１１５のサイズが元のサイズに戻るように（即ち、パックＭ１０１のサイズと略一致するように）、当該表示情報Ｖ１１５のサイズを徐々に縮小させてもよい。また、表示情報Ｖ１１５のサイズを変化させる演出により、当該表示情報Ｖ１１５が提示される位置と、パックＭ１０１の位置との間にずれが生じる場合も想定され得る。このような場合においても、情報処理装置１００は、表示情報Ｖ１１５が提示される位置を徐々に予測点に近づけるように制御することで、表示情報Ｖ１１５が提示される位置と、パックＭ１０１の位置との間のずれを補正することが可能である。

（ビジュアル表現例４：環境側のビジュアル表現の例）
前述した例では、対象物の動きに追従するように提示される表示情報の表示態様を制御する場合の一例について説明した。これに対して、対象物の周囲の環境（例えば、他の物体等）に重畳するように表示情報が提示されてもよいし、対象物の動きの推定結果に応じて、当該表示情報の表示態様が制御されてもよい。

例えば、図１５は、変形例２に係る情報処理装置１００が対象物の動きの推定結果に応じて提示する情報の提示態様の他の一例について説明するための説明図である。図１５に示す例では、対象物の動きの推定結果に応じて、当該対象物の周囲の環境に重畳するように提示される表示情報を制御する場合の一例を示している。

例えば、図１５の左側の図は、壁面等のような対象物とは異なる他の物体が、あたかも弾力を有しているかのように、当該他の物体に関連付けて表示情報を提示する場合の一例である。より具体的な一例として、情報処理装置１００は、対象物が壁面に衝突することを予測した場合に、当該壁面に当該対象物が近接するタイミングに同期して、当該壁面があたかも弾力を有しているように、当該壁面に重畳させる表示情報の表示態様を制御してもよい。

また、図１５の右側の図は、壁面等のような対象物とは異なる他の物体から、あたかも斥力が発生しているかのように、当該他の物体に関連付けて表示情報を提示する場合の一例である。より具体的な一例として、情報処理装置１００は、対象物が壁面に衝突することを予測した場合に、当該壁面に当該対象物が近接するタイミングに同期して、当該壁面から斥力が発生しているように、当該壁面の近傍に提示させる表示情報の表示態様を制御してもよい。

もちろん、なお上述した例はあくまで一例であり、必ずしも本開示の一実施形態に係る情報処理装置１００による情報の提示態様を限定するものではない。具体的な一例として、対象物が壁面等の障害物に衝突する際に、当該障害物から飛沫が飛び散る等のような衝突を演出する表示情報が表示されるように制御されてもよい。また、衝突に限らず、対象物の動きが変化した場合には、当該変化に応じて情報が提示されてもよい。具体的な一例として、対象物の速度が低下した場合に、当該速度の低下を演出する情報が提示されてもよい。より具体的な一例として、対象物の速度が低下した場合に、対象物の進行方向とは逆側（即ち、後方）に向けてあたかもゴム等の弾性体が伸びるように、当該対象物に重畳するように提示されている表示情報の形状が制御されてもよい。また、対象物の周囲に当該対象物の速度を低下させ得る外的要因が存在する場合には、当該外的要因が存在する位置に関連付けて対象物の速度の低下を示唆する情報が提示されてもよい。具体的な一例として、対象物の速度が低下する可能性のある場所に対して、坂道のような傾斜を示す情報（即ち、速度の低下を印象付ける）が提示されてもよい。

以上、変形例２として、図１２〜図１５を参照して、対象物の動きの推定結果に応じて情報を提示する態様の一例（即ち、ビジュアル表現の一例）について説明した。

＜４．３．変形例３：対象物の動きの推定に係る制御の一例＞
続いて、変形例３として、対象物の動きの推定に係る制御の一例として、状況に応じて、上述した第１の推定方法及び第２の推定方法を選択的に切り替える制御について説明する。

前述したように、第１の推定方法では、対象物の周囲の環境に応じて対象物の動きが変化する場合に、当該環境による影響を加味して、一般的な物理法則に基づき対象物の動きを推定する。そのため、第１の推定方法では、予測点の算出に係る遅延を加味したうえで、さらに未来における対象物の動きを予測することが可能である。一方で、第１の推定法においては、対象物の運動に影響を及ぼすことが推定される外的要因が複数存在するような状況下では、当該外的要因を加味した対象物の動きの予測に係る処理が複雑化し、ひいては当該予測の精度が低下するような状況も想定され得る。また、一部の外的要因が、ユーザにより操作される等により、一般的な物理法則に従った動作を行わないような状況も想定され得る。このような場合においても、第１の推定方法では、対象物の動きの予測に係る精度が低下する場合がある。

これに対して、第２の推定方法では、第１の推定方法に比べて、対象物の動きに対する追従性により重点をおいている。そのため、第２の推定方法においては、対象物が他の物体に衝突する等のように当該対象物の動きが変化するタイミングにおいて、適用される予測点と対象物との間に遅延が生じる場合がある。このような遅延は、対象物の速度がより高いほど、より顕在化しやすい傾向にある。一方で、第２の推定方法においては、第１の推定方法のように周囲の環境を加味した対象物の動きの予測（例えば、障害物で反射した後の対象物の動きの予測）が制限されている。そのため、複数の外的要因の影響により対象物の動きの変化の予測が困難な状況下においても、誤った予測が適用される事態の発生を防止し、適用される予測点を対象物の動きにより正確に追従させることが可能となる。そのため、一部の外的要因が、ユーザにより操作される等により、一般的な物理法則に従った動作を行わないような場合においても、第２の推定方法では、適用される予測点を対象物の動きにより正確に追従させることが可能である。

以上のような特性を鑑み、変形例３に係る情報処理装置１００は、対象物の動きの推定に係る処理を、状況に応じて、第１の推定方法に係る第１の処理と、第２の推定方法に係る第２の処理との間で選択的に切り替える。

例えば、図１６は、変形例３に係る情報処理装置１００による対象物の動きの推定方法の一例について説明するための説明図である。図１６に示す例では、情報処理装置１００は、対象物の動きの検出対象となる一連の領域を複数の部分領域に分けて、当該部分領域ごとに対象物の動きの推定に係る処理を選択的に切り替える。

具体的には、参照符号Ｒ２０１で示された部分領域は、障害物等のような対象物の運動に影響を及ぼすことが推定される外的要因が少なく、対象物の動きが変化した場合においても、当該対象物の動きの変化を予測することが比較的容易である。そのため、情報処理装置１００は、対象物が部分領域Ｒ２０１に位置する場合には、当該対象物の動きの推定に係る処理として、上記第１の処理を適用する。

これに対して、参照符号Ｒ２０３ａ〜Ｒ２０３ｄで示された部分領域は、周囲を囲う壁面が複雑な形状を有しており、当該壁面での反射に伴い対象物の動きも複雑に変化することが推定される。そのため、情報処理装置１００は、対象物が部分領域Ｒ２０３ａ〜Ｒ２０３ｄのうちのいずれかに位置する場合には、当該対象物の動きの推定に係る処理として、上記第２の処理を適用する。

また、図１７は、変形例３に係る情報処理装置１００による対象物の動きの推定方法の他の一例について説明するための説明図である。図１７に示す例では、対象物の動きの検出対象となる領域Ｒ２１１内に、複雑な形状を有する物体Ｍ２１１が載置されている。このような場合には、物体Ｍ２１１への衝突に伴い対象物の動きが複雑に変化することが推定される。そのため、情報処理装置１００は、領域Ｒ２１１のうち、物体Ｍ２１１の近傍の部分領域では、対象物の動きの推定に係る処理として、上記第２の処理を適用してもよい。また、情報処理装置１００は、領域Ｒ２１１のうち、物体Ｍ２１１から離間した部分領域においては、対象物の動きの推定に係る処理として、上記第１の処理を適用してもよい。

上述のように、情報処理装置１００は、物理法則に基づき対象物の動きの推定に係る処理の煩雑さや、当該処理の負荷の高さ、ひいては対象物の動きの予測が可能か否か等に応じて、第１の処理と第２の処理とのうちのいずれを適用するかを決定してもよい。

もちろん、上記はあくまで一例であり、変形例３に係る情報処理装置１００による第１の処理と第２の処理との間の切り替えに係る制御を限定するものではない。即ち、情報処理装置１００が、対象物の動きの推定に係る処理を、各種状況に応じて第１の処理と第２の処理との間で選択的に切り替えることが可能であれば、そのための条件は特に限定されない。

具体的な一例として、対象物の速度に応じて、当該対象物の動きの推定に係る処理を切り替えてもよい。より具体的には、対象物の速度が閾値以上の場合には第１の処理が適用され、当該速度が閾値未満の場合には第２の処理が適用されてもよい。また、ユーザからの指示に基づき、対象物の動きの推定に係る処理が、第１の処理と第２の処理とのいずれかに切り替えられてもよい。また、対象物の動きの推定に係る処理の信頼度に応じて、第１の処理と第２の処理とのいずれを適用するかが決定されてもよい。具体的な一例として、アプリケーションの起動直後等は、検出点のサンプル数が少なく、対象物の動きの推定に係る信頼度が低くなる傾向にあるため第２の処理を適用し、その後、信頼度の向上に伴い、第１の処理に切り替えられてもよい。また、対象物に応じて、当該対象物の動きの推定に係る処理が決定されてもよい。例えば、図１に示すエアホッケーゲームを想定した場合には、物理法則に従って運動するパックの動きの推定には第１の処理が適用し、ユーザが把持するマレッとの動きの推定には第２の処理が適用されてもよい。

また、上記では、第１の処理と第２の処理とを切り替える場合の一例について説明したが、第１の処理及び第２の処理のうち少なくともいずれかを含む複数の処理が状況に応じて選択的に切り替えられれば、切り替えの対象となる処理の一覧は特に限定されない。

以上、変形例３として、図１６及び図１７を参照して、対象物の動きの推定に係る制御の一例として、状況に応じて、上述した第１の推定方法及び第２の推定方法を選択的に切り替える制御について説明した。

＜＜５．応用例＞＞
上記では、主に、本実施形態に係る情報処理システムを、所謂エアホッケーのゲームシステムとして実現する場合の一例について説明した。一方で、所定の対象物の動きを推定し、当該対象物の動きの推定結果に応じて情報を提示するようなシステムであれば、本開示に係る技術を応用することが可能である。そこで、以下に、本開示の一実施形態に係る情報処理システムの応用例について説明する。

＜５．１．応用例１：３次元的な処理への拡張例＞
まず、応用例１として、本開示の一実施形態に係る情報処理システムによる対象物の動きの推定に係る処理や、当該推定の結果に応じた情報の提示に係る処理を、３次元的な処理に拡張する場合の一例について説明する。なお、本応用例では、本実施形態に係る情報処理システムが、所謂卓球のゲームシステムとして実現する場合の一例について説明する。

例えば、図１８は、本開示の一実施形態に係る情報処理システムの応用例１について概要を説明するための説明図であり、当該応用例に係る情報処理システムの概略的なシステム構成の一例を示している。

図１８において、参照符号１５１、１５３、及び１５５で示した構成は、図１に示す例における撮像部１５１、投光部１５３、及び出力部１５５に相当する。即ち、参照符号Ｒ１０１は、撮像部１５１の撮像範囲を模式的に示している。また、参照符号Ｒ１０３は、出力部１５５の出力範囲を模式的に示している。また、図１８では明示的に図示はしていないが、図１に示す例における情報処理装置１００が含まれ、当該情報処理装置１００により、撮像部１５１、投光部１５３、及び出力部１５５の動作が制御される。

このような構成の基で、図１８に示す例では、所謂ピンポン玉に相当するボールＭ３０１が対象物に相当し、当該ボールＭ３０１の動きの推定結果に応じて、卓球台Ｍ３０３を含む領域内（即ち、出力範囲Ｒ１０３内）に表示情報が提示される。例えば、図１８に示す例では、ボールＭ３０１に重畳するように、表示情報Ｖ３０１が提示されている。また、図１８に示す例では、卓球台Ｍ３０３やラケットＭ３０５ａ及びＭ３０５ｂが、対象物であるボールＭ３０１の運動に影響を及ぼすことが推定される外的要因（即ち、ボールＭ３０１の周囲の環境）として認識される。

なお、図１８に示す例では、ボールＭ３０１は、水平方向に加えて垂直方向（即ち、高さ方向）にも位置が変化する。そのため、ボールＭ３０１の位置を検出するための構成として、所謂デプスセンサ等のように、撮像部１５１や出力部１５５に対する深度情報を検出するための構成が設けられていてもよい。このような構成により、撮像部１５１や出力部１５５とボールＭ３０１との間の距離を検出することで、当該距離の検出結果から、当該ボールＭ３０１の鉛直方向の位置を検出することも可能となる。これは、卓球台Ｍ３０３やラケットＭ３０５ａ及びＭ３０５ｂの位置（特に、鉛直方向の位置）を検出する場合についても同様である。

以上のような構成の基で、応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の一例（即ち、ビジュアル表現の一例）について説明する。

例えば、図１９は、応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の一例について説明するための説明図である。図１９に示す例では、フレームｔ_１〜フレームｔ_３の期間中に、対象物であるボールＭ３０１が卓球台Ｍ３０３の底面に衝突して反射（バウンド）している状況を示している。具体的には、フレームｔ_２においてボールＭ３０１が卓球台Ｍ３０３の底面でバウンドしており、フレームｔ_１及びフレームｔ_３は、それぞれ当該バウンドの前後のタイミングを示している。

図１９に示す例では、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突する前のフレームｔ_１において、表示情報Ｖ３１１が当該ボールＭ３０１に重畳するように当該表示情報Ｖ３１１が提示される。次いで、フレームｔ_２において、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突すると、当該衝突のタイミングに同期して、当該ボールＭ３０１が衝突する位置に上記表示情報Ｖ３１１が一時的に表示される。そして、フレームｔ_３において、卓球台Ｍ３０３の底面で反射したボールＭ３０１が当該底面から離間するように運動すると、当該底面に提示されていた上記表示情報Ｖ３１１が当該ボールＭ３０１に追従するように（即ち、ボールＭ３０１に重畳するように）提示位置が制御される。

また、図２０は、応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。図２０に示す例では、図１９に示す例と同様に、フレームｔ_１〜フレームｔ_３の期間中に、対象物であるボールＭ３０１が卓球台Ｍ３０３の底面に衝突して反射（バウンド）している状況を示している。具体的には、フレームｔ_２においてボールＭ３０１が卓球台Ｍ３０３の底面でバウンドしており、フレームｔ_１及びフレームｔ_３は、それぞれ当該バウンドの前後のタイミングを示している。

図２０に示す例では、フレームｔ_２において、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突すると、当該衝突のタイミングに同期して、当該ボールＭ３０１が衝突する位置に表示情報Ｖ３１５が提示される。当該表示情報Ｖ３１５は、例えば、あたかも波紋が広がるように、時間の経過に応じて徐々に広がり、時間の経過に応じて消えるように表示態様が制御される。

また、図２１は、応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。図２１に示す例では、図１９に示す例と同様に、フレームｔ_１〜フレームｔ_３の期間中に、対象物であるボールＭ３０１が卓球台Ｍ３０３の底面に衝突して反射（バウンド）している状況を示している。具体的には、フレームｔ_２においてボールＭ３０１が卓球台Ｍ３０３の底面でバウンドしており、フレームｔ_１及びフレームｔ_３は、それぞれ当該バウンドの前後のタイミングを示している。

図２１に示す例では、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突することが予測された場合に、当該衝突が予測される位置に情報が提示される。例えば、図２１に示す例では、フレームｔ_１において、卓球台Ｍ３０３の底面のうちのボールＭ３０１の衝突が予測される位置に表示情報Ｖ３１７が提示されている。表示情報Ｖ３１７は、フレームｔ_２として示すように、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突するまで提示され、フレームｔ_３として示すように、当該衝突後は提示が終了する。

また、図２２は、応用例１に係る情報処理システムにおける、対象物の動きの推定結果に応じた情報の提示態様の他の一例について説明するための説明図である。図２２に示す例では、図１９に示す例と同様に、フレームｔ_１〜フレームｔ_３の期間中に、対象物であるボールＭ３０１が卓球台Ｍ３０３の底面に衝突して反射（バウンド）している状況を示している。具体的には、フレームｔ_２においてボールＭ３０１が卓球台Ｍ３０３の底面でバウンドしており、フレームｔ_１及びフレームｔ_３は、それぞれ当該バウンドの前後のタイミングを示している。

図２２に示す例では、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突する前のフレームｔ_１において、表示情報Ｖ３１９が当該ボールＭ３０１に重畳するように当該表示情報Ｖ３１９が提示される。次いで、フレームｔ_２において、ボールＭ３０１が卓球台Ｍ３０３の底面に衝突すると、当該衝突のタイミングに同期して、上記表示情報Ｖ３１９の提示が一時的に制限される（例えば、表示情報Ｖ３１９が一時的に消える）。そして、フレームｔ_３において、卓球台Ｍ３０３の底面で反射したボールＭ３０１が当該底面から離間するように運動すると、上記制限が解除され、ボールＭ３０１に重畳するように表示情報Ｖ３１９が再度提示される。

なお、図１９〜図２２を参照して説明した表示情報の提示態様（即ち、ビジュアル表現）はあくまで一例であり、対象物であるボールＭ３０１の動きの推定結果に応じて情報の提示が制御されれば、当該情報の提示態様は特に限定されない。具体的な一例として、図１５を参照して説明した例と同様の思想に基づき、卓球台Ｍ３０３やラケットＭ３０５ａ及びＭ３０５ｂに関連付けて情報が提示されてもよい。

また、上記では、本開示の一実施形態に係る情報処理システムを、卓球のゲームシステムとして実現した場合の一例について説明したが、本実施形態に係る情報処理システムの応用先を限定するものではない。具体的な一例として、本実施形態に係る技術を、ビリヤード、ボーリング、パターゴルフ等のような他のスポーツや遊戯のためのシステムの構築に応用することも可能である。

以上、応用例１として、図１８〜図２２を参照して、本開示の一実施形態に係る情報処理システムによる対象物の動きの推定に係る処理や、当該推定の結果に応じた情報の提示に係る処理を、３次元的な処理に拡張する場合の一例について説明した。

＜５．２．応用例２：手書き入力システムへの応用例＞
続いて、応用例２として、本開示の一実施形態に係る情報処理システムを、所謂手書き入力システムとして実現する場合の一例について説明する。

例えば、図２３は、本開示の一実施形態に係る情報処理システムの応用例２について概要を説明するための説明図であり、当該応用例に係る情報処理システムの概略的なシステム構成の一例を示している。

図２３において、参照符号１５１、１５３、及び１５５で示した構成は、図１に示す例における撮像部１５１、投光部１５３、及び出力部１５５に相当する。即ち、参照符号Ｒ１０１は、撮像部１５１の撮像範囲を模式的に示している。また、参照符号Ｒ１０３は、出力部１５５の出力範囲を模式的に示している。また、図２３では明示的に図示はしていないが、図１に示す例における情報処理装置１００が含まれ、当該情報処理装置１００により、撮像部１５１、投光部１５３、及び出力部１５５の動作が制御される。

このような構成の基で、図２３に示す例では、所謂ペンやスタイラスのように手書き入力を行うための入力デバイスＭ３３１が対象物に相当し、当該入力デバイスＭ３３１の動きの推定結果に応じて、スクリーンＭ３３３の投影面（換言すると、出力範囲Ｒ１０３内）に表示情報が提示される。

なお、図２３に示す例では、対象物である入力デバイスＭ３３１自体に赤外光を発光する発光部が設けられていてもよい。この場合には、投光部１５３は設けられていなくてもよい。

また、図２４は、本開示の一実施形態に係る情報処理システムの応用例２の他の一態様について説明するための説明図であり、当該応用例に係る情報処理システムの概略的なシステム構成の他の一例を示している。図２３に示す手書き入力システムを、所謂リアプロジェクション方式で実現した場合の一例である。この場合には、例えば、図２３に示す例におけるスクリーンＭ３３３に替えて、赤外光を透過するスクリーンＭ３３５を適用すればよい。これにより、例えば、入力デバイスＭ３３１で反射した赤外光（もしくは、入力デバイスＭ３３１が発行した赤外光）を、スクリーンＭ３３５の背面に位置する検出部（例えば、撮像部１５１）により検出することが可能である。

以上、応用例２として、図２３及び図２４を参照して、本開示の一実施形態に係る情報処理システムを、所謂手書き入力システムとして実現する場合の一例について説明した。

＜５．３．応用例３：ＡＲ技術への応用例＞
続いて、応用例３として、本開示の一実施形態に係る技術をＡＲ技術に応用した場合の一例について説明する。

例えば、図２５は、本開示の一実施形態に係る情報処理システムの応用例３について概要を説明するための説明図であり、当該応用例に係る情報処理システムの概略的なシステム構成の一例を示している。

図２５に示すように、応用例３に係る情報処理システムは、入出力装置４００を含む。入出力装置４００は、各種入力情報の取得や、当該入出力装置４００を保持するユーザに対して各種出力情報の提示を行うための構成である。入出力装置４００は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２５に示す例では、入出力装置４００は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、左右のレンズのうち少なくともいずれかが透過型のディスプレイ（出力部４１５）として構成されている。また、入出力装置４００は、実空間上の物体の認識に係る入力情報を取得するための構成として、撮像部４１１及び投光部４１３を含んでもよい。撮像部４１１及び投光部４１３は、例えば、図１に示す例における撮像部１５１及び投光部１５３に相当する。また、図２５において参照符号Ｒ４０１で示した領域は、入出力装置４００（撮像部４１１）により入力情報が取得される範囲を模式的に示している。なお、実空間上の物体（特に、本開示に係る対象物）を認識することが可能であれば、当該認識のための構成は、必ずしも撮像部４１１や投光部４１３には限定されない。

また、入出力装置４００は、所謂自己位置推定の技術により、実空間内における自身の位置や姿勢を認識可能に構成されていてもよい。当該自己位置推定の技術の一例としては、例えば、前述したＳＬＡＭと称される技術が挙げられる。もちろん、入出力装置４００が、実空間内における自身の位置や姿勢を認識可能であれば、そのために適用される技術は限定されず、適用される技術に応じて入出力装置４００の構成が適宜変更されてもよい。

以上のように、入出力装置４００は、例えば、自己位置推定の技術を利用することで、自身の周囲に位置する対象物や、当該対象物とは異なる他の物体を、自身の周囲の環境として認識することが可能となる。

また、本応用例に係る情報処理システムは、入出力装置４００とは別の装置として、入出力装置４００と所定のネットワークを介して通信可能に構成された、当該入出力装置４００の動作を制御するための装置（例えば、図１に示す例における情報処理装置１００相当の装置）を含んでもよい。

以上のような構成の基で、例えば、実空間上の運動する物体に対してＡＲ技術に基づき映像を重畳表示させるような状況下において、上述した本開示の一実施形態に係る技術を応用することが可能である。より具体的な一例として、図２５に示す例では、運動するボールＭ４０１が対象物に相当し、当該ボールＭ４０１の動きの推定結果に応じて、表示情報が当該ボールＭ４０１に重畳するように、出力部４１５に当該表示情報が提示される。また、図２５に示す例では、壁面Ｍ４０３が、対象物であるボールＭ４０１の運動に影響を及ぼすことが推定される外的要因（即ち、ボールＭ４０１の周囲の環境）として認識される。例えば、図２５に示す例では、壁面Ｍ４０３上の位置Ｐ４０１においてボールＭ４０１が当該壁面Ｍ４０１に衝突することで、当該ボールＭ４０１の動きが変化している状況を示している。

次いで、本応用例における情報処理システムにおける、入出力装置４００の出力部４１５を介したユーザへの情報の提示態様の一例について説明する。

例えば、図２６は、応用例３に係る情報処理システムにおいてユーザに視認される情報の一例について説明するための説明図であり、対象物の動きの推定に係る処理として第１の処理を適用した場合における情報の提示態様の一例を示している。即ち、図２６に示す例では、ボールＭ４０１の位置の検出結果の履歴に応じて、当該ボールＭ４０１が壁面Ｍ４１５上の位置Ｐ４０１に衝突して反射（バウンド）することと、当該反射後における当該ボールＭ４０１の動きとが予測される。そして、当該予測の結果に応じて、ボールＭ４０１に表示情報Ｖ４０１が重畳するように、出力部４１５に当該表示情報Ｖ４０１が表示される。

また、図２７は、応用例３に係る情報処理システムにおいてユーザに視認される情報の他の一例について説明するための説明図であり、対象物の動きの推定に係る処理として第２の処理を適用した場合における情報の提示態様の一例を示している。即ち、図２７に示す例では、ボールＭ４０１の位置の検出結果の履歴に応じて、当該ボールＭ４０１が壁面Ｍ４１５上の位置Ｐ４０１に衝突して反射（バウンド）することが推定される。そして当該推定の結果を加味して、所謂オーバーシュートが発生しないように、当該ボールＭ４０１の動きに表示情報Ｖ４０１が追従するように（ひいては、当該ボールＭ４０１に表示情報Ｖ４０１が重畳するように）、出力部４１５に当該表示情報Ｖ４０１が表示される。

また、詳細な説明は省略するが、本応用例においても、前述した実施形態、変形例、及び他の応用例と同様に、各種制御や各種ビジュアル表現を適用することが可能である。

以上、応用例３として、図２５〜図２７を参照して、本開示の一実施形態に係る技術をＡＲ技術に応用した場合の一例について説明する。

＜＜６．ハードウェア構成＞＞
次に、図２８を参照しながら、前述した情報処理装置１００ように、本実施形態に係る情報処理システムを構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図２８は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。

本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図２を参照して前述した、収集処理部１０１、環境情報生成部１０３、対象物検出部１０７、推定処理部１０９、及び出力制御部１１１は、例えば、ＣＰＵ９０１により実現され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図２を参照して前述した、出力部１５５は、例えば、出力装置９１７により実現され得る。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。なお、図２を参照して前述した記憶部１０５は、例えば、ＲＡＭ９０５及びストレージ装置９１９の少なくともいずれかにより実現され得る。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２８では図示しないが、本実施形態に係る情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。

＜＜７．むすび＞＞
以上説明したように、本開示の一実施形態に係る情報処理装置１００は、所定の対象物の時系列に沿った位置の検出結果の履歴と、当該対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得する。そして、情報処理装置１００は、上記推定結果に応じた表示態様で表示情報が提示されるように制御する。以上のような構成により、本実施形態に係る情報処理装置１００は、例えば、対象物の周囲の環境に応じた当該対象物の動きの変化を加味してユーザに情報を提示することが可能となる。より具体的な一例として、情報処理装置１００は、障害物や外力等の外的要因により対象物の動きの変化が推定される場合に、当該対象物の動きの変化に同期して、当該動きの変化を演出するような映像をユーザに提示することも可能となる。このように、本実施形態に係る情報処理装置１００は、ユーザに対してより好適な体験を提供することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ユーザに対して情報を提示するための出力部の構成は特に限定されない。具体的な一例として、所謂一般的なディスプレイ等のような表示装置が出力部として利用されてもよい。この場合には、例えば、テーブルトップ型のディスプレイ上に対象物が載置された場合に、当該対象物の位置や動きに応じて当該ディスプレイ上の所望の位置に映像を表示させるような制御も可能である。また、ユーザに対して提示される情報は、映像等のような表示情報には限定されない。具体的な一例として、他の物体との衝突等に応じて対象物の動きが変化した場合に、当該対象物の動きが変化するタイミングに同期して、効果音や音声等のような音響が提示されてもよいし、振動等により触覚や力覚が提示されてもよい。また、対象物が所定の位置（例えば、ユーザの位置）に向けて運動する場合に、当該対象物の接近状況に応じて上述した各種情報が提示されてもよい。

また、対象物の周囲の環境が動的に変化するような状況も想定され得る。このような場合には、対象物の周囲の環境の認識をリアルタイムで実施し、当該環境の認識結果を、当該対象物の動きの推定に係る処理に適宜適用すればよい。また、前述したように、対象物の動きを認識するための装置（例えば、撮像部等）や、ユーザに情報を提示するための装置（例えば、出力部等）の位置や姿勢が変化する場合も想定され得る。このような場合には、これらの装置（即ち、撮像部や出力部）の自己位置を推定し、当該自己位置の推定結果に応じて当該装置の周囲の環境（ひいては、対象物の周囲の環境）を動的に認識すればよい。

また、対象物の動きを推定するための方法や、当該推定のための情報を取得する構成等についても限定されない。具体的な一例として、障害物等のような対象物とは異なる他の物体に対して各種センサ（例えば、振動センサ等）を設けることで、当該センサの検知結果に基づき、当該他の物体への対象物の衝突が検出されてもよい。また、マイクロフォン等の集音部により周囲の環境から衝突音が集音された場合に、対象物が他の物体に衝突したのと判定されてもよい。また、このとき集音部の指向性を制御することで、当該集音部が衝突音を集音する領域を制限することも可能である。このような構成により、衝突音が集音された集音部の設置位置に応じて、対象物と他の物体との衝突が発生した位置を推定することも可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得する取得部と、
前記推定結果に応じた表示態様で表示情報が提示されるように制御する制御部と、
を備える、情報処理装置。
（２）
前記対象物の時系列に沿った位置の検出結果の履歴と、前記環境の認識結果と、に応じて、前記対象物の動きを推定する推定部を備える、前記（１）に記載の情報処理装置。
（３）
前記推定部は、前記環境の認識結果に応じた前記対象物の未来の動きを予測し、
前記制御部は、前記予測の結果に応じた表示態様で前記表示情報が提示されるように制御する、
前記（２）に記載の情報処理装置。
（４）
前記推定部は、前記対象物の運動に影響を及ぼすことが推定される外的要因の認識結果に応じて、前記対象物の未来の動きを予測する、前記（３）に記載の情報処理装置。
（５）
前記推定部は、前記対象物と他の物体との間の位置関係と、前記対象物に働く摩擦力と、前記対象物に働く外力と、の少なくともいずれかに応じて、当該対象物の未来の動きを予測する、前記（４）に記載の情報処理装置。
（６）
前記推定部は、前記対象物と前記他の物体とが衝突することが予測される場合には、当該衝突に伴う当該対象物の運動方向の変化の推定結果に応じて、当該対象物の未来の動きを予測する、前記（５）に記載の情報処理装置。
（７）
前記推定部は、
前記環境の認識結果に応じた前記対象物の未来の動きを予測する第１の処理と、
前記対象物の位置の検出結果と、前記環境の認識結果と、に応じて、当該位置の検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制御する第２の処理と、
を、所定の条件に応じて選択的に切り替える、
前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記推定部は、前記対象物と他の物体との間の位置関係に応じて、前記第１の処理と前記第２の処理とを選択的に切り替える、前記（７）に記載の情報処理装置。
（９）
前記推定部は、前記対象物の位置の検出結果と、前記環境の認識結果と、に応じて、当該位置の検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制御する、前記（２）に記載の情報処理装置。
（１０）
前記推定部は、前記対象物が他の物体との間の位置関係と、前記対象物に働く摩擦力と、前記対象物に働く外力と、の少なくともいずれかに応じて、前記検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制限する、前記（９）に記載の情報処理装置。
（１１）
前記推定部は、前記対象物が他の物体に衝突することが推定される場合に、当該対象物の動きの推定に係る時系列に沿った範囲を、前記衝突が推定されるタイミング以前までに制限する、前記（１０）に記載の情報処理装置。

（１２）
前記制御部は、前記推定結果に応じた位置に前記表示情報が提示されるように制御する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記制御部は、前記推定結果に応じて、前記対象物に前記表示情報が重畳するように制御する、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記推定結果に応じて、以降に前記対象物が到達することが推定される位置に前記表示情報が提示されるように制御する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、前記表示態様として、前記表示情報のサイズ、色、及び形状うち少なくともいずれかを制御する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記制御部は、前記推定結果に応じて、前記対象物の動きに同期して前記表示態様を制御する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記制御部は、前記対象物の運動の変化の推定結果に応じて、前記表示態様を制御する、前記（１６）に記載の情報処理装置。
（１８）
前記制御部は、前記推定結果に基づき、前記対象物の運動に影響を及ぼすことが推定される外的要因に応じて、前記表示情報が提示されるように制御する、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１９）
前記制御部は、前記表示情報を投影する投影部の動作を制御する、前記（１）〜（１８）のいずれか一項に記載の情報処理装置。
（２０）
前記対象物の位置を逐次検出する検出部と、
前記環境を認識する認識部と、
のうち少なくともいずれかを備える、
前記（１）〜（１９）のいずれか一項に記載の情報処理装置。
（２１）
前記検出部は、所定の領域内に所定の波長の光を投光し、前記対象物で反射した前記光を検出することで、当該対象物の位置を検出する、前記（２０）に記載の情報処理装置。
（２２）
コンピュータが、
所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、
前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、
を含む、情報処理方法。
（２３）
コンピュータに、
所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、
前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、
を実行させるプログラムが記録された記録媒体。

１ 情報処理システム
１００ 情報処理装置
１０１ 収集処理部
１０３ 環境情報生成部
１０５ 記憶部
１０７ 対象物検出部
１０９ 推定処理部
１１１ 出力制御部
１５１ 撮像部
１５３ 投光部
１５５ 出力部

Claims (20)

1. 所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得する取得部と、
   前記推定結果に応じた表示態様で表示情報が提示されるように制御する制御部と、
   を備える、情報処理装置。
2. 前記対象物の時系列に沿った位置の検出結果の履歴と、前記環境の認識結果と、に応じて、前記対象物の動きを推定する推定部を備える、請求項１に記載の情報処理装置。
3. 前記推定部は、前記環境の認識結果に応じた前記対象物の未来の動きを予測し、
   前記制御部は、前記予測の結果に応じた表示態様で前記表示情報が提示されるように制御する、
   請求項２に記載の情報処理装置。
4. 前記推定部は、前記対象物の運動に影響を及ぼすことが推定される外的要因の認識結果に応じて、前記対象物の未来の動きを予測する、請求項３に記載の情報処理装置。
5. 前記推定部は、前記対象物と他の物体との間の位置関係と、前記対象物に働く摩擦力と、前記対象物に働く外力と、の少なくともいずれかに応じて、当該対象物の未来の動きを予測する、請求項４に記載の情報処理装置。
6. 前記推定部は、前記対象物と前記他の物体とが衝突することが予測される場合には、当該衝突に伴う当該対象物の運動方向の変化の推定結果に応じて、当該対象物の未来の動きを予測する、請求項５に記載の情報処理装置。
7. 前記推定部は、
   前記環境の認識結果に応じた前記対象物の未来の動きを予測する第１の処理と、
   前記対象物の位置の検出結果と、前記環境の認識結果と、に応じて、当該位置の検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制御する第２の処理と、
   を、所定の条件に応じて選択的に切り替える、
   請求項３に記載の情報処理装置。
8. 前記推定部は、前記対象物と他の物体との間の位置関係に応じて、前記第１の処理と前記第２の処理とを選択的に切り替える、請求項７に記載の情報処理装置。
9. 前記推定部は、前記対象物の位置の検出結果と、前記環境の認識結果と、に応じて、当該位置の検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制御する、請求項２に記載の情報処理装置。
10. 前記推定部は、前記対象物が他の物体との間の位置関係と、前記対象物に働く摩擦力と、前記対象物に働く外力と、の少なくともいずれかに応じて、前記検出タイミング以降における、当該対象物の動きの推定に係る時系列に沿った範囲を制限する、請求項９に記載の情報処理装置。
11. 前記推定部は、前記対象物が他の物体に衝突することが推定される場合に、当該対象物の動きの推定に係る時系列に沿った範囲を、前記衝突が推定されるタイミング以前までに制限する、請求項１０に記載の情報処理装置。
    
12. 前記制御部は、前記推定結果に応じた位置に前記表示情報が提示されるように制御する、請求項１に記載の情報処理装置。
13. 前記制御部は、前記推定結果に応じて、前記対象物に前記表示情報が重畳するように制御する、請求項１に記載の情報処理装置。
14. 前記制御部は、前記推定結果に応じて、以降に前記対象物が到達することが推定される位置に前記表示情報が提示されるように制御する、請求項１に記載の情報処理装置。
15. 前記制御部は、前記表示態様として、前記表示情報のサイズ、色、及び形状うち少なくともいずれかを制御する、請求項１に記載の情報処理装置。
16. 前記制御部は、前記推定結果に応じて、前記対象物の動きに同期して前記表示態様を制御する、請求項１に記載の情報処理装置。
17. 前記制御部は、前記対象物の運動の変化の推定結果に応じて、前記表示態様を制御する、請求項１６に記載の情報処理装置。
18. 前記制御部は、前記推定結果に基づき、前記対象物の運動に影響を及ぼすことが推定される外的要因に応じて、前記表示情報が提示されるように制御する、請求項１に記載の情報処理装置。
19. コンピュータが、
    所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、
    前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、
    を含む、情報処理方法。
20. コンピュータに、
    所定の対象物の時系列に沿った位置の検出結果の履歴と、前記対象物の周囲の環境の認識結果と、に応じた、当該対象物の動きの推定結果を示す情報を取得することと、
    前記推定結果に応じた表示態様で表示情報が提示されるように制御することと、
    を実行させるプログラムが記録された記録媒体。
    
    

Images