JP2021516576A - 仮想テニスシミュレーションシステム、これに用いるセンシング装置及びセンシング方法 - Google Patents

Abstract

【課題】本発明は、テニスというダイナミックなスポーツの特性をプレーヤーが経験し、様々な情報を提供してもらうための仮想テニスシミュレーションシステムを提供するためのものである。【解決手段】プレーヤーが打撃したボールに対するセンシングはもちろん、プレーヤーの動きに対するセンシングや分析など多様な情報のセンシングと分析を通じて、従来のスクリーンテニスでは実現できなかったダイナミックで臨場感ある仮想テニスプレーを提供し、プレーヤーに仮想テニスプレーに対する多様な分析情報の提供などを具現できる仮想テニスシミュレーションシステム、これに利用されるセンシング装置及びセンシング方法を提供する。【選択図】 図１

Description

本発明は、所定の室内空間において仮想の相手方によるテニスプレー映像が具現化されるスクリーンが設けられ、スクリーンを通じてボールマシンから発射されるテニスボールをユーザがラケットで打撃する方式でテニスの練習又はテニスの競技を可能にする仮想テニスシミュレーションシステム、これに用いられるセンシング装置及びセンシング方法に関する。

近年、ゴルフや野球などのようにボールを利用して楽しむスポーツに対して、室内の狭い空間においても実際のフィールドでゴルフや野球をするような練習や競技のための仮想コンテンツを提供する、いわゆるスクリーンゴルフやスクリーン野球などの大衆的な人気とそれに伴う技術的発展によってボールを利用する最も代表的なスポーツであるテニスについても、いわゆるスクリーンテニスシステムが登場するようになった。

テニスというスポーツは、ゴルフや野球とは違って、使用者が一ヵ所でボールを打撃し続けるのではなく、ラケットを持った使用者が非常にダイナミックに動きながら、相手選手とボールを持続的にやり取りするラリーを繰り広げるスポーツで、このようなテニススポーツの特徴をスクリーンテニスシステムで適切に実現し、スクリーンテニスを利用する使用者が多様な位置でボールを打撃しながら、映像内の相手と持続的なラリーを、臨場感を持たせることができるようにして、テニススポーツのリアリティーを実現しながらも、実際のテニススポーツでは容易に把握しにくい多様な分析情報を得ることがカギといえる。

従来のスクリーンテニスシステム及びこれに用いられるセンシング装置等に関する先行特許文献として、特許出願第１０−２０１５−００１００７７号、特許出願第１０−２０１５−０１３８８７６号、米国登録特許第６，７７６，７３２号、米国登録特許第３，９８９，２４６号などが公開されている。

しかし、従来のスクリーンテニスシステムは、プレーヤーがボールを打撃すると、その打撃を受けたボールに対してのみセンシングを行い、そのセンシングは、従来のスクリーンゴルフシステムにおいて広く用いられる方式、すなわちボールがスタートする際のスタート速度、スタート角度及び方向情報のみを利用して全体の軌跡を予測する方式であることから、センシングの範囲が極めて限定的かつ正確性が低かった。 したがって、コートで広範囲に移動しながらダイナミックにプレーするテニスというスポーツの特性に合った多様な情報をセンシング・分析し、その結果によって使用者にテニスの特性に合った多様な情報を提供するという点で、従来のスクリーンテニスシステムがかなり不十分であるという問題点があった。

さらに、従来のスクリーンテニスシステムは、上記のような問題点により、プレーが非常に単調で、退屈で、単純な繰り返しが行われるだけで、テニスというスポーツの特性をスクリーンテニスシステムが十分に取り込んでいないという問題点があった。

本発明は、テニスというダイナミックなスポーツの特性をプレーヤーが経験できるようにし、また、プレーヤーが様々な情報を提供してもらうための仮想テニスシミュレーションシステムを提供するためのものであり、プレーヤーが打撃したボールに対するセンシングはもちろん、プレーヤーの動きに対するセンシングや分析など多様な情報のセンシングと分析によって、従来のスクリーンテニスでは実現できなかったダイナミックで臨場感のある仮想テニスプレーを提供し、プレーヤーに仮想テニスプレーに関する様々な分析情報を提供できる仮想テニスシミュレーションシステム、これに用いられるセンシング装置、およびセンシング方法を提供するためのものである。

本発明の一実施例による仮想テニスシミュレーションシステムは、プレーヤーがテニスプレーを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、スクリーンの背面に備えられ、プレーヤーにボールを提供するボールマシンと、予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、取得されたイメージからボールに該当するオブジェクトを抽出し分析することにより、ボールに対するボール運動モデルを算出するセンシング処理ユニットと、プレーヤーがプレーする相手である仮想の相手プレーヤーに対する映像を具現化し、予め設定された人工知能に従って仮想の相手プレーヤーがプレーするように制御し、センシング処理ユニットによって算出されたボール運動モデルを用いて仮想テニスシミュレーション映像の生成及び処理とボールマシンの制御を行う制御装置を含み、制御装置は、プレーヤーのボール打撃に応じてカメラユニットにより取得されたイメージの分析を行い、センシング処理ユニットがボール運動モデルを算出したことを用いて、ボール運動モデルに対応するように映像上で仮想のボールが仮想の相手のプレーヤーがいる仮想のコート側に移動するシミュレーション映像を具現し、予め設定された人工知能に従って、仮想の相手プレーヤーが仮想のボールを打撃することにより、打撃を受けた仮想のボールが移動するシミュレーション映像を具現し、仮想のボールが移動する延長線上において、ボールマシンがボールを提供し、プレーヤーをして打撃できるようにする方式であって、プレーヤーがボールを打撃したことに対して、仮想の相手のプレーヤーが仮想のボールを打撃することを繰り返しながら、プレーヤーと映像上の仮想の相手のプレーヤーがテニスラリーを具現できるようにする。

一方、本発明の他の実施例による仮想テニスシミュレーションシステムは、プレーヤーがテニスプレーを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、スクリーンの背面に備えられ、プレーヤーにボールを提供するボールマシンと、予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、ボールに対するボール運動モデルを算出し、取得されたイメージからプレーヤーに該当するオブジェクトを抽出して分析することによりプレーヤーの位置を検出するセンシング処理ユニットと、センシング処理ユニットにより算出されたボール運動モデルを用いて、仮想テニスシミュレーション映像の生成および処理と、ボールマシンの制御を行い、センシング処理ユニットにより検出されるプレーヤーの位置に基づいてプレーヤーに提供されるボールの方向を決定し、それに対応して仮想テニスシミュレーション映像の処理およびボールマシンの制御を行う制御装置と、を含む。

一方、本発明のもう一つの実施例によるセンシング装置は、仮想テニスシミュレーション映像に基づき、プレーヤーがコート底部上でテニスプレーを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置で、あらかじめ設定された領域を含む撮影範囲に対する画像を継続的に取得するカメラユニットと、取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、ボールに対するボール運動モデルを算出し、取得されたイメージからプレーヤーに該当するオブジェクトを抽出して分析することにより、プレーヤーの位置を検出するセンシング処理ユニットを含む。

一方、本発明の一実施例による仮想テニスシミュレーションシステムの制御方法は、プレーヤーがテニスプレーを行うコート底部と、コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、スクリーンの背面に備えられてプレーヤーにボールを提供するボールマシンと、プレーヤー及びプレーヤーがプレーするボールに対してセンシングするセンシング装置と、仮想テニスシミュレーション映像の生成及び処理と、ボールマシンの制御を行う制御装置と、を含む仮想テニスシミュレーションシステムの制御方法として、予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、ボールの運動に対するセンシングデータを算出する段階と、算出されたボール運動に対するセンシングデータを用いて、ボール運動に対応するように映像上で仮想のボールが仮想の相手プレーヤーのいる仮想のコート側に移動するシミュレーション映像を具現する段階と、予め設定された人工知能に従って、仮想の相手プレーヤーが仮想のボールを打撃することにより、打撃を受けた仮想のボールが移動するシミュレーション映像を具現する段階と、仮想のボールが移動する延長線上において、ボールマシンがボールを提供してプレーヤーに打撃を与える方式であって、プレーヤーがボールを打撃したのに対して、仮想の相手プレーヤーが仮想のボールを打撃することを繰り返しながらプレーヤーと映像上の仮想の相手プレーヤーがテニスラリーを具現する段階と、を含む。

一方、本発明の他の実施例による仮想テニスシミュレーションシステムの制御方法は、プレーヤーがテニスプレーを行うコート底部と、コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、スクリーンの背面に備えられてプレーヤーにボールを提供するボールマシンと、プレーヤー及びプレーヤーがプレーするボールに対してセンシングするセンシング装置と、仮想テニスシミュレーション映像の生成及び処理と、ボールマシンの制御を行う制御装置と、を含む仮想テニスシミュレーションシステムの制御方法として、予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、取得されたイメージからプレーヤーに該当するオブジェクトを抽出し、分析することによりプレーヤーの位置を検出する段階と、取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、ボールの運動に対するセンシングデータを算出する段階と、算出されたボール運動センシングデータを用いて、仮想テニスシミュレーション映像を生成・処理する段階と、検出されたプレーヤーの位置に基づいてプレーヤーに提供されるボールの方向を決定し、それに対応して仮想テニスシミュレーション映像を処理し、ボールマシンを制御する段階と、を含む。

一方、本発明の一実施例によるセンシング方法は、仮想テニスシミュレーション映像に基づき、プレーヤーがコート底部上でテニスプレーを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法として、予め設定された領域を含む撮影範囲に対するイメージをリアルタイムで取得する段階と、予め用意された背景イメージと、リアルタイムに取得されるイメージそれぞれとの次映像を抽出し、抽出された次映像から検出されるそれぞれのオブジェクトの輪郭線を検出する段階と、輪郭線が検出された複数のオブジェクトのうち、予め設定された範囲内のオブジェクトを一元化することにより、プレーヤーに該当するオブジェクトを抽出し、プレーヤーの位置を検出する段階と、取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、ボールに対するボール運動モデルを算出する段階と、を含む。

本発明による仮想テニスシミュレーションシステム、それに用いるセンシング装置及びセンシング方法は、テニスというダイナミックなスポーツの特性をプレーヤーが経験し、様々な情報を得るための仮想テニスシミュレーションシステムを提供するためのものであり、プレーヤーが打撃したボールに対するセンシングはもちろん、上記プレーヤーの動きに対するセンシング及び分析など、様々な情報のセンシングと分析を通じて従来のスクリーンテニスでは実現できなかったダイナミックでリアルな仮想テニスプレーを提供し、プレーヤーに仮想テニスプレーに対する様々な分析情報を提供することにより、仮想のプレーヤーに対するプレーヤーにおいて楽しむことができる興味を向上させることにより、プレーヤー科がある。

本発明の一実施例による仮想テニスシミュレーションシステムとしてスクリーンテニスシステムが具現された例を示す。 図１に示される仮想テニスシミュレーションシステムのスクリーン及びその周辺の構成について示した図面である。 図１に示された 図１に示される仮想テニスシミュレーションシステムが提供する映像コンテンツの一例を示した図面である。 図１に示される仮想テニスシミュレーションシステムの構成を示したブロック図である。 本発明の一実施例による仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法に関するフローチャートを示すフローチャートである。 本発明の一実施例による仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法に関するフローチャートを示すフローチャートである。 それぞれ撮影された画像において、プレーヤー及びそれ以外の第三者を検出するものの一例について示した図面である。 それぞれ撮影された画像において、プレーヤー及びそれ以外の第三者を検出するものの一例について示した図面である。 本発明の一実施例による仮想テニスシミュレーションシステムに用いられるセンシング装置のラケット検出に対するプロセスを説明するフローチャートである。 図９に示されるフローチャートによって撮影された画像からユーザが持っているラケットを検出する過程を示した図面である。 図１０に示される過程により、それぞれ検出されたラケットに該当するオブジェクトとして各オブジェクトの動作を時系列的に表した図面である。 本発明の一実施例による仮想テニスシミュレーションシステムにおいて、プレーヤー（Ｐ）と映像上の仮想の相手プレーヤー（ＶＰ）との間のプレーとそれに伴うボールマシンの駆動について説明するための図面である。

本発明による仮想テニスシミュレーションシステム、これに用いられるセンシング装置及びセンシング方法の具体的な内容を、図面を参照して説明する。

まず、図１から図４を参照して、本発明の一実施例による仮想テニスシミュレーションシステムの構成について説明する。

図１は本発明の一実施例による仮想テニスシミュレーションシステムとしてスクリーンテニスシステムが具現された例を示し、図２は図１に示される仮想テニスシミュレーションシステムのスクリーン及びその周辺の構成に関して示した図面であり、図３は図１に示される仮想テニスシミュレーションシステムが提供する映像コンテンツのー例を示した図面であり、図４は図１に示される仮想テニスシミュレーションシステムの構成を示したブロック図である。

図１に示すように、本発明の一実施例による仮想テニスシミュレーションシステムは、所定の空間にコート底部（３０）及びネット（３２）、そしてプレーヤー（Ｐ）の前方にスクリーン（２０）を備え、スクリーン（２０）の後方にはラケットを持ってテニスプレーを行うプレーヤー（Ｐ）にプレーヤー（Ｐ）が打撃可能にボールを提供するボールマシン（１００）が設けられ、空間の片側にスクリーン（２０）に映像を投影する映像出力部（４２０）とプレーヤー（Ｐ）が打撃する ボールとプレーヤー（Ｐ）の動き、プレーヤー（Ｐ）が使用するラケット等に対するセンシングデータを収集するセンシング装置（２００）が設置され構成されることがある。

ボールマシン（１００）、センシング装置（２００）及び映像出力部（４２０）等の装置は制御装置（３００）と接続され、制御装置（３００）はセンシング装置（２００）のセンシングデータを受け取って処理し、使用者の仮想テニス練習及び競技のための映像コンテンツを生成して映像出力部（４２０）に伝達し、 映像出力部（４２０）は、受け取った映像コンテンツをスクリーン（２０）に投影し、ボールマシン（１００）のボール発射及び発射されるボールの方向、速度等のボール発射パラメータの制御を行う。

ボールマシン（１００）は、スクリーン（２０）の後方に設けられ、スクリーン（２０）に形成されたボール発射ホール（２２）を 通じてコート底部（３０）上の予め計算された位置にボール（１）を発射するように構成され、図１に示すようにボールマシン（１００）は、多様な位置に多様な速度のボール（１）を発射できるように発射角制御及び発射速度制御が可能に構成される。

図２では、本発明の一実施例による仮想テニスシミュレーションシステムを実際に具現し、スクリーン（２０）周辺の構成について撮影された写真を示す。

図２ に示すように、ボール発射ホール（２２）はスクリーン（２０）上のおおむね中程度の位置に備えられる。 もちろんスクリーン（２０）上のどの位置にでも設置することができるが、多様な軌跡のボールに対する（相手側プレーヤーの）レシーブを具現するにあたって、図２に示すようにおおむね中程度の位置が望ましい。

スクリーン（２０）の前側には、使用者がスクリーン（２０）に向かって打撃したボールがスクリーン（２０）に衝突した後、再び使用者側に転がらずに再びボールマシン（１００）側に回収されるように、ネット（３２）と傾斜構造で設置される底引き網（３２ａ）などが設けられ、両側面には外部にボールが飛び出ないように安全網（３３，３４）が設けられることが望ましい。

ネット（３２）及び底引き網（３２ａ）によって集まるボール（２）は、スクリーン（２０）下段の回収口（４０）側に集まり、再びボールマシン側に移送されるように構成できる。

一方、図３は、本発明の一実施例による仮想テニスシミュレーションシステムで提供する映像コンテンツの一例を示す。

図３に示すように、全映像（ＩＭ）にはメイン映像（５００）とミニマップ映像（６００）が含まれる。

メイン映像（５００）は使用者がプレーするコート底部の反対側の部分に対する仮想環境が実現され、仮想の相手プレーヤー（ＶＰ）、審判などに対するコンテンツ映像が含まれうる。

メイン映像（５００）において、あたかも実際のテニスマッチで相手がプレーするように、仮想の相手プレーヤー（ＶＰ）は予め設定された人工知能（以下"ＡＩ"と称することにする）によって仮想のボール（ＶＢ）をレシーブ（打撃）し、その際図３に示されたように仮想の相手プレーヤー（ＶＰ）が打撃した仮想のボール（ＶＢ）の軌跡（Ｔｂ）が表示されることもあり、表示されないようにすることもできる。 軌跡の表示可否とは関係なく、仮想のボール（ＶＢ）の軌跡は計算されなければならず、その軌跡に応じて映像コンテンツの制御及びボールマシンにおけるボール発射パラメータが算出され、具現されることができる。 これについての具体的な説明は後述する。

一方、ミニマップ映像（６００）は、使用者がプレーするコート底部および反対側の部分の仮想環境に関する部分を一つの全体テニスコートとし、これを上から見た平面図として所定サイズに縮小して表示される部分である。

ミニマップ映像（６００）部分には、使用者の現在の位置、使用者を基準とする設定された領域、仮想プレーヤーの空間上の位置と軌跡、ボールの位置など、様々な情報が表示されうる。

一方、図４を参照して、図１に示されるような本発明の一実施例による仮想テニスシミュレーションシステムを構成する各構成要素の制御系統について説明するようにする。

図４に示されたように、本発明の一実施例による仮想テニスシミュレーションシステムは、ボールマシン（１００）、センシング装置（２００）、制御装置（３００）及び映像出力部（４２０）を含めて構成され得る。

制御装置（３００）は、データ保存部（３２０）、映像処理部（３３０）、制御部（３１０）などを含んで具備でき、映像出力部（４２０）は、映像処理部（３３０）によって処理された映像がスクリーン（２０）上に投影されるようにするプロジェクション装置等によって具現化され得る。

データ保存部（３２０）は、仮想テニスシミュレーションシステムで行われるテニス練習又は競技に関する背景映像、仮想のプレーヤーに対する映像、打撃ボール等に対するシミュレーション映像等の処理のためのデータが格納される部分である。 データ保存部（３２０）は、サーバ（未図示）から送信されたデータを一時的に保存するメモリーの役割を果たすように構成され得る。

映像処理部（３３０）は仮想のテニスコートに関する映像、選手と審判、観客等に関する映像等のバックグラウンド映像や仮想の相手プレーヤーがボールを打撃する映像、プレーヤーが打撃したボールの軌跡についてのシミュレーション映像等の各種シミュレーション関連映像を生成する。

一方、センシング装置（２００）は、プレーヤーがラケットで打撃することに対するイメージを連続的に撮影し、その撮影されたイメージを分析することにより、打撃されたボールの運動情報はもちろん、その打撃されたボールがスクリーン上のどの部分に到達するかを正確にセンシングするカメラセンシング方式の装置として構成することができる。

センシング装置（３００）はカメラユニット（２１０）、センシング処理ユニット（２２０）及びカメラ制御部（２３０）を含んで構成され得るが、カメラユニット（２１０）は、予め設定された領域を含む一定撮影範囲についてのイメージを連続的に取得し、センシング処理ユニット（２２０）は、カメラユニット（２１０）からイメージを受け、予め設定された事項に従ってイメージ分析を行い、仮想テニスシミュレーションに基づいてテニス練習又はテニス競技に必要な情報を算出する。

センシング装置（２００）のカメラユニット（２１０）は、異なる位置から同一の撮影範囲をそれぞれ撮影し、撮影されたイメージ上のオブジェクトに対する３次元位置情報を算出できるように第１カメラ（２１１）及び第２カメラ（２１２）を含めてステレオ方式（Ｓｔｅｒｅｏｓｃｏｐｉｃ）で構成することにより、センシング処理ユニット（２２０）が、カメラユニット（２１０）が撮影したイメージの分析からボールに対する３次元座標データを得られるようにすることが望ましい。

図面上に示されてはいないが、本発明によるシステムに具備されるセンシング装置（２００）のカメラユニット（２１０）は、その画角の中心を基準に前後左右にそれぞれティルティング可能に構成され、第１カメラ（２１１）及び第２カメラ（２１２）は、それぞれ自動的にズームインとズームアウトが可能に構成され得る。

カメラ制御部（２３０）は、第１カメラ（２１１）及び第２カメラ（２１２）それぞれの前後左右ティルティング及びズームインとズームアウトを、イメージの処理結果に応じて又は撮影されたイメージからプレーヤーが検出される位置に応じて予め設定されたプログラムに従って制御するように構成され得る。

第１ カメラ（２１１）及び第２ カメラ（２１２）がそれぞれ前後方向又は左右方向への１軸方向ティルティングを行うように構成することも可能である。

３次元空間における各カメラの位置情報とカメラの画角を参照し、３次元空間において特定領域毎のカメラのｐａｎとｚｏｏｍ値を有するデータテーブルを作製して予め格納しておき、これに基づいてプレーヤーの位置情報が検出されたときに、それぞれのカメラが該当位置を狙うようにカメラ制御部（２３０）が制御させることが可能である。

したがって、使用者がコート底部からダイナミックに動きながら多様な位置へ発射されるボールを打撃することを全て正確にキャッチしてセンシングデータ収集のためのイメージを取得することができる。

センシング処理ユニット（２２０）は、カメラユニット（２１０）の第１カメラ（２１１）及び第２カメラ（２１２）それぞれから撮影されたイメージを受け、収集しながらその収集されたイメージそれぞれを分析し、ボールを探して各ボールに対する３次元座標データを抽出し、その抽出された３次元座標データを用いて（プレーヤーのラケットにより）打撃されて運動するボールに対するボールの運動モデルを決定し、ボールの運動モデルが決定すると、これを用いて仮想テニスシミュレーションによるテニス練習及びテニス競技に必要な各種情報を算出する。

ここで、ボールの運動モデルは、打撃されて運動するボールの３次元空間上での軌跡に関する運動方程式で表現されることを意味し、図１に示されたように、本発明に従ったシステムによるテニス練習又は競技が行われる空間に対して、ｘ軸、ｙ軸及びｚ軸の３次元座標系と定義し、その定義された座標系によってボールの運動モデルが決定され得る。

すなわち、ボールの運動モデルはｘ軸方向の運動方程式、ｙ軸方向の運動方程式及びｚ軸方向の運動方程式として定義され得る。

ボールの運動モデルの算出は、従来のスクリーンゴルフシステムにおいて、センサがゴルフクラブに打撃されたボールの運動をセンシングしてセンシングデータを算出するものとは全く異なるものである。

従来のスクリーンゴルフシステムでもカメラ方式のセンシング装置が広く用いられているが、センシング装置は、ボールが打撃されたときの出発速度、出発方向角及び高さ角等の初期運動条件を算出し、仮想の空間、すなわち仮想のゴルフコースから算出した初期運動条件に基づいてボールが出発したときに物理エンジンによりシミュレーションされるボールの軌跡を算出する方式であった。

しかし、本発明による仮想テニスシミュレーションシステムのセンシング装置が算出するボールの運動モデルは、ボールが打撃されたときの初期の運動条件を算出するのではなく、実際のプレーヤーがプレーする空間、すなわち実際の３次元空間上での各座標軸方向の運動方程式に基づいて算出するボールの運動モデルとして実際のボールが移動するモデルを求めるものである。

このようなボールの運動モデルを算出することにより、単にボールの初期の運動条件をセンシングして算出する場合よりも、より多様で多くの情報提供が可能であり、特に仮想テニスシミュレーションのように現実と仮想の世界が頻繁に交差し、より緊密に結び付けなければならない場合においては、より適したセンシング方式である。

例えば、したボールの運動モデル算出が、実プレーが行われる３次元空間上でのボール運動モデルであるため、ボールが実スクリーンに到達する位置を容易に算出することができ、スクリーン到達位置の算出により、実ボールがスクリーンに到達した後、その位置から仮想ボールがシミュレーションされるようにする映像を具現することにより、現実と仮想の世界が自然につながるようにすることができる。

もちろん、別途の装置で運動するボールがスクリーンに到達する位置を感知することもできるが、本発明はボールの運動を感知するセンシング装置だけでもそうできるという点が特徴なのだ。

したボールの運動モデルの算出についてのより具体的な内容は後述するようにする。

一方、ボールマシン（１００）は、スクリーン（２０）の背面に設けられ、スクリーン（２０）上のボール発射ホール（２２）を通じてボールを発射する装置であって、図４に示すようにボール供給部（１１０）、発射駆動部（１２０）及び発射制御部（１３０）を含んで構成され得る。

ボール供給部（１１０）は、多数のボールが保管されたロッカーからボールを１枚ずつ移送して発射駆動部（１２０）に供給する、すなわちボール発射のための位置にボールを供給する構成要素である。

発射駆動部（１２０）は、ボール供給部（１１０）によって供給されたボールを発射する構成要素で、二つ以上のホイールを回転させ、そのホイールの間にボールを位置させ、ホイールの回転力によってボールを発射する方式、ボールをあたかも弾のように発射させる方式など、様々な方法により実現され得る。

発射制御部（１３０）は、予め設定された発射条件、又は仮想テニス上の仮想の相手プレーヤーに対して、予め設定されたＡＩによって決定される打撃条件及び打撃されたボールの軌跡等に応じて発射駆動部（１２０）を制御し、その設定された打撃条件上のボールの速度、球質等を制御してボール発射が行われるようにすることができる。

また、したボールマシン（１００）は、発射駆動部（１２０）を上下方向及び左右方向にそれぞれティルティングできるように構成し、発射制御部（１３０）がした打撃条件に合わせて発射駆動部（１２０）に対するティルティング駆動を制御し、スクリーン上のボール発射ホールを通じて所定角度範囲内で様々な方向にボールが発射されるようにすることができる。

一方、図５を参照し、本発明の実施例による仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法として、ボールの運動モデルの算出及びこれを活用する方法の一例について詳細に説明する。

プレーヤーによる仮想のテニスプレーの開始とともにセンシング装置が作動し、センシング装置の各カメラがその撮影範囲に対するイメージを継続的に取得する（Ｓ１００）。

そして、センシング処理ユニットは、上記のように継続的に取得されるそれぞれのイメージからボールに該当するオブジェクトを検出し（Ｓ１１０）、検出されたオブジェクトに対してボールに該当する特徴をチェックしてボールであることを確認し、ボールでないこと等の各種ノイズを除去する（Ｓ１２０）。

ここでイメージからオブジェクトを検出することは、次映像（Ｄｉｆｆｅｒｅｎｃｅ Ｉｍａｇｅ）や輪郭線検出（Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ − Ｃｏｎｔｏｕｒｉｎｇ）などの技法が利用でき、検出されたオブジェクトに対してボールに該当する特徴をチェックすることは、例えばオブジェクトの大きさ、縦横比、オブジェクトがどれだけ丸いか程度、オブジェクトの明るさなどにおけるそれぞれの該当項目をボールに該当する情報として予め設定した後、それぞれの検出されたオブジェクトにあらかじめ設定された項目ごとにチェックを行い、ボールに該当するオブジェクトを確認することである。

次映像は、初期リファレンスイメージと、以降リアルタイムに取得されるイメージと、次演算手法により次映像を求めることにより、その次映像においては運動するオブジェクトが残ることになる。

運動するオブジェクトが残っているイメージを特定のしきい値を基準に二進化映像に変換し、二進化したイメージから抽出されたオブジェクトの特徴を取り出すために輪郭線を検出する。 検出された輪郭線に関する情報でオブジェクトの形態を把握し、円（２次元映像からテニスボールは円のイメージとして出力）であることを判断する。 ボールの特徴に該当するものとして予め設定されるチェック項目は、オブジェクトの大きさ、オブジェクトの縦横比、オブジェクトの円周率比率（丸み）及びオブジェクトの明るさである。

オブジェクトの大きさを見てみると、認識されたオブジェクトのＢｌｏｂＳｉｚｅ（広さ）が実ボールのサイズに基づいて映像に出力されうるしきい値から外れるかを確認する。 これは一般にテニスをプレーする場合、画角に入って映像として出力されるボールの大きさを予測したもので、演算速度を減らすために広い範囲の絶対的なしきい値範囲を指定する。

これにより、Ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ や人など大きさで速く除外できる要素を除き、演算速度を上げることができる。

オブジェクトの縦横比を見てみると、動くボールの予想最大速度（例えば、６０ｍｓ未満）と映像撮影速度（例えば、３５０ｆｐｓ）を考慮した場合、ボールのイメージに歪みがないものと判断し、客債に対する関心領域の幅と高さが類似するものと期待し、類似度が高いほど円に近いものと判断する。

オブジェクトの円周率の割合を見てみると、輪郭線検出で引き抜いたオブジェクトの周りと広さの値を抽出できるが、これを利用してオブジェクトの広さと周りを基準に円に近いかを判断する。

円周率の割合が１に近いほど円の形に近いと判断する。

Ｓ ＝ 円の面積、ｒ ＝ 円の半径、ｌ ＝ 円の周り

∴ 円周率の割合（０〜１） ＝ ４ πＳ／（ｌ＾２）

また、ボールは映像で特定の明るさ以上に出るため、オブジェクトの明るさ値もボールを判断する基準として使える。

一方、ボールの検出とともに、イメージからノイズと判断される部分を適切に除去することが必要であるが、まず３次元Ｂｏｏｔｈの領域から外れたボール部分はプレーする３次元空間の領域情報（あらかじめ保存された情報）を利用して容易に把握でき、それはノイズと判断して除去する。

ボールの実際の大きさと３次元空間でボールの位置値を用いて、イメージから期待されるボールのＢｌｏｂ ｓｉｚｅを算出し、しきい値から外れる３Ｄボールデータをノイズとして除去することができ、ボールの実際の大きさ情報とカメラの位置を知っているので、３次元空間で算出されたボールの位置情報とカメラ位置との距離差を通して、映像で期待されるボールの広さを予想し、過度に離れるデータはノイズと判断して除去することができる。

前のように、イメージからボールを検出した場合、その検出したボールがどの方向に動くかを判断することが必要となる。 なぜなら、センシング装置がセンシングをしようとするのは、プレーヤーが打撃したボールがスクリーンに動くときのボールの運動モデル算出なので、ボールが逆にスクリーンからプレーヤーの方へ移動するときはボールの運動モデルを算出する必要がないからである。

従って、Ｓ１２０段階でボールが検出されると、そのボールがスクリーン方向に動くか判断し（Ｓ１３０）、もしスクリーン方向に動くなら、ボール運動モデルの算出プロセスが始まるようにトリガー信号が発生する（Ｓ１４０）。

もし検出されたボールがスクリーン方向に動くのでなければ、再びボールの検出に対するＳ１１０段階から再びプロセスが始まる。

Ｓ１４０段階でボール運動モデルの算出トリガーが発生すると、継続的に取得されるイメージの中からトリガー発生以前及びその後の予め設定された個数のイメージを抽出してそれぞれのイメージを分析し、まずそれぞれのイメージからボールに該当するオブジェクトを検出し（Ｓ１４２）、検出されたオブジェクトに対するボール有無の検証（Ｓ１４４）を行う。 これは、のＳ１１０ およびＳ１２０ ステップと実質的に同一の方式である。

それぞれのイメージからボールを検出し検証した場合、ボールとして検証されたそれぞれのオブジェクトに対する３次元座標情報を算出し（Ｓ１４６）、算出されたボールの座標情報を利用してプレーヤーの打撃地点からスクリーンに移動するボールに対するボール運動モデルを決定する（Ｓ１４８）。

このようなボールの運動モデルの決定にＲＡＮＳＡＣ アルゴリズムを用いることができる。

例えば、３次元ボール座標のうち２つをサンプリングし、仮想のモデルをｔｒｉａｌしながら最も多くのデータから支持されるモデルを選択する方式で、最終的なボールの運動モデルを選択することができる。

抽出した仮想モデルとボールの座標値が特定しきい値未満でモデルに隣接するデータの個数を数える。 このとき、しきい値を脱するデータはｏｕｔｌｉｅｒ（ｎｏｉｓｅ）となる。

ここで、ｉｎｌｉｅｒ （ｔｒｕｅ ｄａｔａ） と ｏｕｔｌｉｅｒ を区分するしきい値を設定する際、しきい値が大きいほどモデルを抽出する確率は高くなるが、正しくないモデルを抽出する確率も一緒に増加する。 逆に、しきい値が小さくなるとモデル抽出に失敗する確率が高くなるが、正しいモデルを抽出する確率は高くなる。

ボールの座標データがあるにもかかわらずモデル抽出に失敗する場合は、カメラやレンズの歪みからくる誤差や、ステレオカメラ技法で抽出した３次元座標のデータの精度が低いことがあるためである。

したがって、適切なしきい値を与えることが重要であるが、例えば、ＲＡＮＳＡＣ を厳格なしきい値（小さいしきい値）で １回、失敗した場合、広い範囲のしきい値（大きなしきい値）で ２回行うことにより、正しいモデルを選ぶ確率を高め、モデル抽出に失敗する確率を高めることが可能である。

一方、ボールの運動モデル決定における各３軸方向の関数は、下記の通りである。

［ｘ、ｙ軸方向の関数］
ｘ ＝ ａ＿ｘ＊ｔ＋ｂ＿ｘ

ここで、ｔは時間値、ｘはｘ方向座標値、ａ＿ｘは時間に対するｘ方向座標の増加量（関数の傾き）、ｂ＿ｘはｔが０のときのｘ方向座標値（切片）を意味する。

ｙ ＝ ａ＿ｙ＊ｔ＋ｂ＿ｙ

ここで、ｔ は時間値、ｙ はｙ 方向座標値、ａ＿ｙ は時間に対するｙ 方向座標の増加量（関数の傾き）、ｂ＿ｙ はｔ が０ の時のｙ 方向座標値（切片）を意味する。

運動するボールのｘ、ｙ軸方向運動は等速運動と仮定できるので、一次関数として表現できる。

［ｚ軸方向の関数］
ｚ ＝ ａ＿ｚ＊ｔ ＋ ｂ＿ｚ − ０．５＊ｇ＊ｔ２

ここで、ｇは重力加速度、ｔは時間値、ｚはｚ方向座標値、ａ＿ｚはｔが０の時のｚ方向速度、ｂ＿ｚはｔが０の時のｚ方向座標値（切片）を意味する。

算出されたボール運動モデルの時間ｔとｘ、ｙ、ｚ座標値情報により、期待する時間ｔの区間においてボール運動モデルに近接した一定距離内にボールがあるかを確認後、運動モデルから外れたボールが多い場合（予め設定された個数を超える場合）、正しくないモデルと判定する。

これは、一般にボールを打撃するモデルと、その他の反射によって不規則に抽出されるモデルを使い分けるのに容易である。

一方、したようにボールの運動モデルが各座標軸方向での運動方程式を用いて特定関数に決定されると、その決定されたボール運動モデルを用いてプレーヤーのプレーに用いられるボールではなく底ボールを区分して分類することができる（Ｓ１５０）。

すなわち、取得されたイメージから抽出されるボールが、ボール運動モデルから所定範囲を離れる場合、ボール運動モデル内のボールの平均高さを算出し、算出されたボールの平均高さより下に位置する場合、ボール運動モデルの平均速度を算出し、算出されたボール運動モデルの平均速度より低い速度を有する場合の少なくとも一つの場合に該当するか判断し、その該当するボールについて一つの底ボールとして分類することができる。

このとき、制御装置はセンシング処理ユニットにより、底ボールに分類されたボールの個数を確認し、底ボールに分類されたボールの個数が予め設定された個数を超える場合、プレーヤーに危険警告のためのアラームを提供したり、ボールマシンのボールボックスにボールを満たすことを要請するアラームを提供したりすることができる（Ｓ１６０）。

テニスの場合、野球と違って予想打撃位置が決まっておらず、プレー領域が野球に比べて広い。 また、ボールマシンもボールを発射する上下角度及び左右角度の範囲が多様なので、特定位置を基準に正しいピッチングモデルとヒーティングモデルを判断することが難しい。 したがって、底に転がるボールなど底ボールを除去するためにボール運動モデル内部のデータの平均高さ情報をヒーティングモデル基準にして、底に転がるボールのモデルを除去する。

また、ボール運動モデルの平均速度を確認後、特定速度未満である場合、ヒーティングモデルではないと判断できる。

テニスは打撃されたボール運動モデルの場合、一定速度以上を持つようになる確率が高いため、速度値を一つの判断要素として使用し、特定速度以上の場合、ヒーティングモデルと判断できる。

一方、本発明は、上記のようにプレーヤーが打撃したボールの動きをボール運動モデルとして算出するだけでなく、プレーヤーの動きもセンシングしてプレーヤーの位置を継続的に算出することにより、プレーヤーが打撃したボールの動きとプレーヤーの動きの両方に基づいて仮想テニスプレーを可能とすることにより、プレーヤーが多様な状況とプレースタイルに応じたダイナミックなテニスプレーを楽しめるようにすることを特徴とする。

制御装置は、プレーヤーの実力レベル、難易度、プレースタイルのうちの少なくとも一つについての情報と、映像として具現される仮想の相手プレーヤーの人工知能に応じてセンシング装置により検出されるプレーヤーの位置、及びセンシング装置により算出されるボールの運動モデルに対応して仮想の相手プレーヤーが打撃する仮想のボールに応じてプレーヤーに提供されるボールの方向や速度等を決定し、ボールマシンがそれに応じてボールを提供させることが可能である。

例えば、プレーヤーの実力レベルが高い場合、センシング装置によって検出されるプレーヤーの位置と遠く離れた位置を特定し、その位置にボールマシンがボールを提供するようにすることで、プレーヤーが厳しいレシーブ状況でボールを打撃するような仮想プレーを実現することができる。

このようにセンシング装置がプレーヤーを検出し、その位置を算出することについては、図６に示されるフローチャートでその一例を説明している。 図７ 及び図８ は、それぞれ撮影されたイメージからプレーヤー及びそれ以外の第三者を検出することの一例について示している。

図６について説明すると、先に取得された画像から背景を抽出する（Ｓ２００）。 背景検出にはＫＮＮ（Ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズムが用いられることがある。

ＫＮＮは、群集化（Ｃｌｕｓｔｅｒｉｎｇ）を行うアルゴリズムの一種であり、このアルゴリズムを活用して映像内の指定領域から入ってくるデータ値をフレーム単位でチェックし、指定位置で最も多く入ってきたデータ値を指定領域の背景であると判断する。

背景を検出し、これを イメージから除去した後、その イメージからプレーヤーに該当するオブジェクトを抽出する（Ｓ２１０）。

プレーヤーに該当するオブジェクトを検出する一例について図７で示している。 図７の（ａ）は撮影された映像であり、（ｂ）はプレーヤーが検出された映像に該当する。

抽出した背景イメージと、以降リアルタイムに取得されるイメージと次演算手法により次映像を求める。 その次映像では運動する客体が残ることになる． 図７の（ａ）に示した映像を他のリファレンス映像と次映像を求める。

このように次映像を求めると、図７の（ａ）に示すように動くオブジェクト（ＭＯ）が検出され、その動くオブジェクトに該当する部分を含む所定の領域を関心領域（Ｒａ）として設定し、その設定された関心領域（Ｒａ）を抽出して分析することができるため、素早い処理が可能である。

一方、次映像によって運動するオブジェクトが残っている映像を特定しきい値を基準に二進化映像に変換する。 二進化したイメージから抽出されたオブジェクトの特徴を抽出するために輪郭線を検出する。 検出された輪郭線に関する情報でオブジェクトの形態を把握する。

このように二進化して輪郭線が検出されたオブジェクト（Ｎｂ）について図７の（ｂ）で示している。

ところが、一般に背景イメージと取得されるイメージで次映像を求めた場合、検出しようとするオブジェクト（プレーヤー）の服装や影等により、背景の明度と差がなく、区別が付かなかったり、一つの塊オブジェクトとして認識されなかったりする場合がある。

これを補完するために、実際には唯一のプレーヤーであるが、複数のオブジェクトに分離して入力されたオブジェクトを一つのオブジェクトに一元化させる作業を行う。
これは基準オブジェクトを基盤にあらかじめ設定された距離内に存在すれば、一つのオブジェクトにくくってくれることになる。

このように一元化作業を経て検出されたオブジェクトについては、その大きさと形態を分析し、あらかじめ設定された大きさ以上であればプレーヤーと判断できる。 その際、イメージ内のプレーヤーが存在可能な領域に制限があるので、その領域を外れた場合はノイズと判断できる。

再び図６に戻り、プレーヤーに該当するオブジェクトを抽出したが、他の人体が検出されることがあるので、これを判断する（Ｓ２２０）。すなわち、検出されたプレーヤーの唯一性を確認する必要がある。

例えば，テニス・レッスンの場合，プレーヤーのほかにもレッスンのためのコーチなどがカメラの画角内に進入することがあり，これをセンシング装置が把握することである。

もし、イメージから人体が２つ以上検出された場合、それぞれの検出された人体の位置を検出し（Ｓ２２１）、危険領域内であるか否かを判断する（Ｓ２２２）。

これについての説明は図８を参照し、より具体的にする。

センシング装置は、スクリーンに隣接する予め設定された領域として、危険領域（ＳＺ）を予め設定することができる。 図面において、Ｃ３０は映像上でのコート底部を、ＣＰは映像上でのプレーヤーをそれぞれ指している。

センシング装置は、取得される毎フレームのイメージ上における危険領域（ＳＺ）内でオブジェクトを検知し、その検知されたオブジェクトから人体を検出することにより、ある人が危険領域内に存在することを制御装置やボールマシンに知らせることができる。 すなわち、センシング装置が危険領域である人体を感知した場合、制御装置やボールマシンでボールマシンの動作中断要請をすることができる（Ｓ２２３、図６参照）。

上記のようなプロセスにより、テニスレッスンを行うコーチが特定の位置（例えば、ボールマシンからボールが発射されるボール発射ホール前）に立った場合、すぐにボールマシンが中止され、別途ゲームを中止することなくスムーズにレッスンを進めることができ、プレー中に２人以上のユーザが登場した場合、危険を警告することができる。

再び図６に戻り、Ｓ２２０段階でプレーヤーに該当するオブジェクト以外に他の人体に該当するオブジェクトが検出されない場合、センシング装置は上記抽出されたプレーヤーに該当するオブジェクトの重心を上記プレーヤーの予想位置として検出することができる（Ｓ２３０）。

センシング装置は、算出されたボール運動モデルの初期位置（ボールのヒーティングされる際の初期位置）と算出されたプレーヤーの予想位置が近接しているか否かを判断するが（Ｓ２４０）、具体的にボール運動モデルの初期位置とプレーヤーの予想位置とが予め設定された距離以下である場合に算出されたプレーヤーの予想位置をプレーヤーの位置として決定することができる（Ｓ２５１）。

このようにセンシング装置は、ボール運動モデルだけでなく、プレーヤーの位置までも検出してプレーに利用できるという特長がある。

センシング装置は、さらに上記のように検出されるプレーヤーの位置情報を利用してプレーヤーの移動距離及びプレー時間データを感知し（Ｓ２５２）、これを利用してプレー時間中のプレーヤーの運動量まで算出することができる（Ｓ２５３）。

上記のようなプロセスにより、プレーヤー位置変化量の累積数値でプレーヤーの総運動量を測定し、プレーヤーの位置を基にボールマシンから提供されるボールの向きなどを設定してゲームの難易度を調節することができる。

例えば、プレーヤーの位置に基づいて仮想テニスプレー時にプレーヤーの打撃位置を指定するミッションを要求し、仮想テニスプレーの楽しさをさらに向上させることができ、サーブなどの特定プレー時のプレーヤーの位置を指定するミッションを要求することで、仮想テニスプレーの楽しさをさらに向上させることができる。

また、例えば、女性プレーヤーの場合、または子どもプレーヤーの場合、上記のようなプレーヤーの運動量測定により、プレー時間などを適切に調節することができる。

一方、本発明は、上記のようにプレーヤーが打撃したボールの動きをボール運動モデルとして算出し、プレーヤーの動きもセンシングしてプレーヤーの位置を継続的に算出するだけでなく、さらにプレーヤーの持っているラケットまで検出することにより、プレーヤーが打撃したボールの動き、プレーヤーの動き及びラケット検出によるプレーヤーのプレー時の姿勢情報全てに基づいて仮想テニスプレーを可能とすることにより、プレーヤーがより多様な状況とプレースタイルに応じたダイナミックなテニスプレーを楽しめるようにすることを特徴とする。

制御装置は、プレーヤーの実力レベル、難易度、プレースタイルのうちの少なくとも一つについての情報と、映像で具現化される仮想の相手プレーヤーの人工知能によってセンシング装置によって検出されるプレーヤーの位置、センシング装置によって算出されるボールの運動モデル、プレーヤーがバックハンド姿勢でスイングするかフォアハンド姿勢でスイングするか等に対するスイング姿勢情報に対応して、仮想の相手プレーヤーが打撃する仮想のボールに応じてプレーヤーに提供されるボールの方向と速度等を決定し、ボールマシンがそれに応じてボールを提供するようにすることが可能である。

例えば、プレーヤーの実力レベルが高い場合、センシング装置によって検出されるプレーヤーの位置と遠く離れた位置を特定し、その位置にボールマシンがボールを提供するが、そのプレーヤーが右利きか左利きかを予め把握し、レシーブが難しいバックハンドを誘導する位置にボールを提供させることで、プレーヤーがややこしいレシーブ状況でボールを打撃する仮想プレーを実現することができる。

上記のように、センシング装置がプレーヤーのラケットを検出することによりスイング姿勢についての情報を算出することに関しては、図９から図１１で説明している。

図９は上記のラケット検出に対するプロセスを説明するフローチャートであり、図１０は図９に示されるフローチャートに従って撮影されたイメージから 使用者が持っているラケットを検出する過程を表した図面である。 そして図１１は、図１０に示される過程によってそれぞれ検出されたラケットに該当するオブジェクトとして各オブジェクトの動作を時系列的に表した図面である。

図９に示すように、まずリアルタイムに取得イメージとそれ以前のイメージとの高速次映像により高速に動くオブジェクトを検出する（Ｓ３００）。

すなわち、カメラユニットによりリアルタイムに取得されるイメージと、取得されたイメージのうち次演算するイメージとして選択されたイメージとの高速次映像により、カメラユニットのイメージ取得速度以上に動くオブジェクトを検出するものである。

ゴルフや野球の場合、ゴルフクラブや野球バットは概ね長い棒状に類似しているため、イメージからライン検出等を通じてゴルフクラブや野球バットを容易に検出することができるが、テニスラケットの場合にはそのような方法では容易に検出できない。だからといって、あらかじめ決められたリファレンスイメージをリアルタイム取得イメージと次映像をする場合、ゆっくり動くオブジェクトと速く動くオブジェクトの両方が検出されるため、もう一度別途の検出によってラケットを検出しなければならないため、単純な次映像では処理時間が長くなるという問題がある。

したがって、上記のようにリアルタイムに取得されるイメージとそれ以前のイメージ（例えば、該当イメージの直前に取得されたイメージ）に対して次映像を求めると、二つのイメージとの間の時間がｍｉｌｌｉｓｅｃｏｎｄ程度のごく短い時間であるのでゆっくり動くものは、二つのイメージにほとんど変化がなく、そのまま次演算によって除去され、そのごく短い時間でも動きを見せるほど高速であること、すなわちラケットは高速次映像によって検出され得る。

高速で動くことがラケット以外にもあり得るので、上記の高速次映像により検出されたオブジェクトのうち、先に検出したプレーヤーの位置に基づいてこれに近接した（すなわち、予め設定された距離内にあるかを確認して）オブジェクトをラケットオブジェクトとして抽出することができる（Ｓ３１０）。

プレーヤーの位置に近接した予め設定された領域を関心領域として設定し、その領域内で高速次映像によるオブジェクトを探すことにより、ラケットをより速く検出することができる。

図１０の（ａ）、（ｂ）及び（ｃ）は、上記のような高速次映像を通じてラケットオブジェクト（Ｒｂ）のみ検出した結果の一例を示しており、図１０の（ｄ）、（ｅ）及び（ｆ）は、他のフレームの映像を用いて上記のような高速次映像を通じてラケットオブジェクト（Ｒｂ）を検出したことについて示している。

再び図９に戻り、上記のように、高速次映像によって抽出される複数の次映像のそれぞれから抽出されるラケットオブジェクトを分析して、ラケットの位置及び移動方向を検出することができ（Ｓ３２０）、予め格納されたプレーヤー情報と、検出されたラケットの位置及び移動方向情報を用いて、プレーヤーのスイングがフォアハンドかバックハンドかどうか及び空振りを行うかどうかのプレーヤーの姿勢についての情報を算出することができる（Ｓ３３０）。

これについては図１１で示しているが、図１１では図１０に示される（ｃ）および（ｆ）のように、それぞれのフレームの映像について検出したラケットオブジェクトに対する映像（ＰＭ１〜ＰＭ５）の一例について示している。

検出されたラケットは特定の方向性を持って運動をしていることが確認できる。図１１でラケットオブジェクトの重心がｙ軸で ＋方向に動き（図１１でＰＭ１ → ＰＭ２ → ＰＭ３ → ＰＭ４ → ＰＭ５の順）、右利きというプレーヤー情報をまとめると、プレーヤーがフォアハンドで打撃したと判断できるようになる（同様に左利きプレーヤーの場合、バックハンドで判断できる）。

上記のようなプロセスにより、プレーヤーの打撃位置とラケットの位置及び方向に基づいてプレーヤーの姿勢（バックハンドまたはフォアハンド）を類推することができ、ラケットの動きを検出し、ボール運動モデルを検出して空振りするか判断できる。

従って、プレーヤー情報、検出されたプレーヤーの位置情報、算出されたプレーヤーの姿勢情報、ボール運動モデルに応じたシミュレーション情報等を総合的に用いて、ボールマシンがプレーヤーに提供するボールの方向性等を決定し、それに応じてボール提供が行われるようにすることができる（Ｓ３４０）。すなわち、本発明の一実施例による仮想テニスシミュレーションシステムは、テニスというスポーツのダイナミズムやラリー等の特性をうまく活かし、様々なプレー状況やプレー難易度等で実現できるようにすることができる。

一方、図１２では、本発明の一実施例による仮想テニスシミュレーションシステムにおけるプレーヤー（Ｐ）と映像上の仮想の相手プレーヤー（ＶＰ）との間のプレーとそれに伴うボールマシンの駆動について説明する。

図１２は、映像コンテンツとして提供される仮想の領域を、まるで物理的領域であるかのように示した。

すなわち、プレーヤー（Ｐ）が位置するコート底部（３０）の前方に設置されたスクリーン（２０）の後方に、スクリーン（２０）上で具現化される映像コンテンツと同一の仮想の領域（ＶＷ）が存在すると仮定して、その部分を示したものである。

図１２に示すように、仮想の領域（ＶＷ）の仮想のコート（ＶＣ）において仮想のプレーヤー（ＶＰ）がボールを打撃すると、制御装置の制御部はその軌跡（Ｔｂ）を計算し、その計算された軌跡（Ｔｂ）と運動条件に応じて、軌跡（Ｔｂ）がスクリーン（２０）のボール発射部（２２）に連結され、ボール発射部（２２）からは実際のボール（１）が軌跡（Ｔｂ）と運動条件に対応して発射される （ボール（１）が同一の軌跡と運動条件で発射されることもあり、適切な加重値を適用して実際の空間を考慮してもう少し弱く発射されるようにすることもできる）。

制御装置は、プレーヤー（Ｐ）の実力レベル、難易度、プレースタイルのうち少なくとも一つについての情報を予め格納し、仮想テニスシミュレーション映像上の仮想の相手プレーヤー（ＶＰ）を人工知能により制御するように構成されることが望ましい。

制御装置は、プレーヤー（Ｐ）の実力レベル、難易度、プレースタイルのうちの少なくとも一つについての情報と、仮想の相手プレーヤー（ＶＰ）の人工知能に応じて、センシング装置によって検出されるプレーヤーの位置（及びラケット検出に伴うプレーヤーのスイング姿勢）に対応して、仮想の相手プレーヤー（ＶＰ）が打撃する仮想のボールに応じてプレーヤー（Ｐ）に提供されるボール（実際のボールとしてボールマシンが発射するボール）の方向、速度等のボール発射パラメータを決定し、その決定されるボールの方向に応じて仮想の相手プレーヤー（ＶＰ）が打撃した仮想のボールの軌跡に対するシミュレーション映像を処理し、ボールマシン（１００）のボール発射方向を決定されたボールの方向に対応するように設定し、図１２に示すように仮想の相手プレーヤー（ＶＰ）が打撃した仮想のボールの軌跡の延長線上において、ボールマシン（１００）がボール（１）を決定されたボールの方向に提供するように制御する方式で仮想テニスプレーが進められる。

このような方式で、実際のコート底部（３０）からスクリーン（２０）に向けてテニスプレーを行うプレーヤー（Ｐ）は、スクリーン（２０）に投影される映像上の仮想コート（ＶＣ）上の仮想の相手プレーヤー（ＶＰ）と現実と仮想現実とをまたぎながらテニスラリーを行うことができる。

この時、センシング装置はボールの運動のみをセンシングするように構成され、ボールの運動に対するセンシングとともにプレーヤーの位置をセンシングするように構成され、そのセンシング結果を上記のラリーの具現に反映することが可能である。

上記のようなラリーは、センシング装置のセンシングデータを利用して制御装置が行い、上記制御装置がボールマシンを制御して仮想ボールに対応して実際のボールが発射されるようにする方式で実現され得る。

具体的には、先にプレーヤーがボールを打撃したのが映像上の仮想の相手プレーヤーになる場合を説明する。

プレーヤーのボール打撃に応じて、カメラユニットにより取得されたイメージの分析により、センシング処理ユニットがボール運動モデルを算出したことを用いて、ボール運動モデルに対応付けられるように映像上で仮想のボールが仮想の相手のプレーヤーがいる仮想のコート側に移動するシミュレーション映像を具現する。

この時、映像上でシミュレーションされる仮想のボールがインプレイ（ＩＮ−ｐｌａｙ）であるか制御装置は判断を行う。
もし、インプレーでなければアウトとして処理され、ラリーが一から再開され、もし、インプレーである場合には、制御装置は予め設定している人工知能を利用して、それによって仮想の相手プレーヤーが仮想のボールを打撃する映像を具現する。

一方、プレーヤーがボールを打撃したことについて、映像上の仮想の相手プレーヤーが打撃したボールがプレーヤーになる場合について説明する。

制御装置が具現する人工知能は、プレーヤーの実力レベル、難易度、プレースタイル等とプレーヤーの打撃によりシミュレーションされて移動する仮想ボールの打球方向や球質（ボールの速度等）等を総合的に考慮し、仮想の相手プレーヤーが仮想ボールを打撃（レシーブ）する仮想ボールの運動条件（仮想ボールの出発速度と方向等又はベクトルに設定された場合には、ベクトルの方向と大きさ等）を決定し、その決定されたボールの運動条件に従って仮想ボールが打撃されて移動するシミュレーション映像が具現される。

この時、制御装置は、決定された仮想のボールの運動条件に従い、ボールマシンがプレーヤーに提供するボール（実ボール）の方向及び速度を設定し、仮想の相手のプレーヤーが打撃した仮想のボールの軌跡に対する延長線上でボールマシンが実ボールを設定されたボールの方向及び速度で提供するようにし、プレーヤーをしてボールマシンから発射されたボールを打撃するようにする。

ここで、プレーヤーがボールマシンの提供するボールを打ち返すと、再度上記の「プレーヤーがボールを打撃したのが映像上の仮想の相手プレーヤーになる場合」及び「映像上の仮想の相手プレーヤーが打撃したボールがプレーヤーになる場合」が繰り返し進行することにより、プレーヤーと映像上の仮想の相手プレーヤーが現実と仮想現実をまたぎながらテニスラリーを具現することとなる。

以上説明したように、本発明による仮想テニスシミュレーションシステムは、プレーヤーが打撃したボールに対するセンシングはもちろん、プレーヤーの動きに対するセンシングや分析、さらにはプレーヤーが持っているラケットの動きに対するセンシングや分析など、様々な情報のセンシングと分析を通じて、従来のスクリーンテニスでは実現できなかったダイナミックで臨場感のある仮想テニスプレーを提供することにより、仮想テニスプレーを楽しむプレーヤーにとっての興味を高めることができるメリットがある。

本発明による仮想テニスシミュレーションシステム、これに用いるセンシング装置及びセンシング方法は、所定サイズの室内空間においてボールマシンが提供するボールを使用者がテニスラケットで打撃し、それをセンシング装置がセンシングして前方のスクリーンを通じてシミュレーション映像を具現することにより、使用者のテニス練習又は仮想テニス競技を可能とする技術分野において産業上の利用可能性を有する。

本発明による仮想テニスシミュレーションシステム、これに用いるセンシング装置及びセンシング方法は、所定サイズの室内空間においてボールマシンが提供するボールを使用者がテニスラケットで打撃し、それをセンシング装置がセンシングして前方のスクリーンを通じてシミュレーション映像を具現することにより、使用者のテニス練習又は仮想テニス競技を可能とする技術分野において産業上の利用可能性を有する。
［項目１］
プレーヤーがテニスプレーを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、
上記スクリーンの背面に備えられ、上記プレーヤーにボールを提供するボールマシンと、
予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、
上記取得されたイメージからボールに該当するオブジェクトを抽出し分析することにより、上記ボールに対するボール運動モデルを算出するセンシング処理ユニットと、
上記プレーヤーがプレーする相手である仮想の相手プレーヤーに対する映像を具現化し、予め設定された人工知能に従って上記仮想の相手プレーヤーがプレーするように制御し、上記センシング処理ユニットによって算出されたボール運動モデルを用いて上記仮想テニスシミュレーション映像の生成及び処理と上記ボールマシンの制御を行う制御装置を含み、
上記制御装置は、
上記プレーヤーのボール打撃に応じて上記カメラユニットにより取得されたイメージの分析を行い、上記センシング処理ユニットがボール運動モデルを算出したことを用いて、上記ボール運動モデルに対応するように映像上で仮想のボールが上記仮想の相手のプレーヤーがいる仮想のコート側に移動するシミュレーション映像を具現し、
予め設定された人工知能に従って、上記仮想の相手プレーヤーが仮想のボールを打撃することにより、上記打撃を受けた仮想のボールが移動するシミュレーション映像を具現し、
上記仮想のボールが移動する延長線上において、上記ボールマシンがボールを提供し、上記プレーヤーをして打撃できるようにする方式であって、
上記プレーヤーがボールを打撃したことに対して、上記仮想の相手のプレーヤーが仮想のボールを打撃することを繰り返しながら、上記プレーヤーと映像上の上記仮想の相手のプレーヤーがテニスラリーを具現できるようにする仮想テニスシミュレーションシステム。
［項目２］
上記制御装置は、
上記プレーヤーの打撃に応じて、上記カメラユニット及びセンシング処理ユニットによりセンシングされたボールに対応して映像上でシミュレーションされる仮想のボールがインプレーであるか判断し、インプレーの場合、上記人工知能に基づいて上記仮想の相手プレーヤーが打撃する上記仮想のボールの運動条件を決定し、
上記決定された仮想ボールの運動条件に基づき、上記ボールマシンが上記プレーヤーに提供するボールの方向及び速度を設定し、
上記仮想の相手方プレーヤーが打撃した仮想のボールの軌跡に対する延長線上において、上記ボールマシンがボールを上記設定されたボールの方向及び速度で提供するようにし、上記プレーヤーに上記ボールマシンから発射されたボールを打撃させる方式で、上記プレーヤーと映像上の上記仮想の相手方プレーヤーがテニスラリーを具現できるようにしたことを特徴とする、項目１に記載の仮想テニスシミュレーションシステム。
［項目３］
上記センシング処理ユニットは、
上記カメラユニットによって取得されるイメージから上記プレーヤーに該当するオブジェクトを抽出し分析することにより、上記プレーヤーの位置を検出するように構成され、
上記制御装置は、
上記センシング処理ユニットにより検出される上記プレーヤーの位置に基づいて上記人工知能が、上記仮想の相手プレーヤーが打撃する際の仮想ボールの運動条件を決定するようにしたことを特徴とする、項目１に記載の仮想テニスシミュレーションシステム。
［項目４］
プレーヤーがテニスプレーを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、
上記スクリーンの背面に備えられ、上記プレーヤーにボールを提供するボールマシンと、
予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、
上記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、上記ボールに対するボール運動モデルを算出し、上記取得されたイメージから上記プレーヤーに該当するオブジェクトを抽出して分析することにより上記プレーヤーの位置を検出するセンシング処理ユニットと、
上記センシング処理ユニットにより算出されたボール運動モデルを用いて、上記仮想テニスシミュレーション映像の生成および処理と、上記ボールマシンの制御を行い、上記センシング処理ユニットにより検出される上記プレーヤーの位置に基づいて上記プレーヤーに提供されるボールの方向を決定し、それに対応して上記仮想テニスシミュレーション映像の処理および上記ボールマシンの制御を行う制御装置と、
を含む仮想テニスシミュレーションシステム。
［項目５］
上記センシング処理ユニットは、
上記プレーヤーがプレーする３次元空間の座標系と、各座標軸方向におけるボールの運動に対する関数を予め定義し、上記カメラユニットによって撮影されるイメージを分析し、運動するボールに対する各イメージ上での３次元空間上の座標データを検出し、上記検出されたボールの座標データを上記各座標軸方向に対して予め定義された関数に適用することにより、上記プレーヤーによって打撃され運動するボールに対するボール運動モデルを算出するように構成され、構成され、
上記制御装置は、
仮想の相手プレーヤーと、上記プレーヤーがプレーするコート底部と対応して上記仮想の相手プレーヤーがプレーする仮想のコートに関する映像を実装し、上記センシング処理ユニットにより算出されるボール運動モデルに基づいて上記仮想の相手プレーヤーとして運動する仮想のボールのシミュレーション映像を実装するように構成されることを特徴とする、項目４に記載の仮想テニスシミュレーションシステム。
［項目６］
上記センシング処理ユニットは、
上記取得されたイメージから抽出されるボールが、上記算出されたボール運動モデルから所定範囲を離れる場合、上記算出されたボール運動モデル内のボールの平均高さを算出し、上記算出されたボールの平均高さより下に位置する場合、上記算出されたボール運動モデルの平均速度を算出し、上記算出されたボール運動モデルの平均速度より低い速度を有する場合のうち少なくとも一つの場合に該当するか判断し、その該当するボールについて上記プレーヤーのプレーに用いられるボールではなく、底ボールとして分類するように構成され、
上記制御装置は、
上記センシング処理ユニットにより、上記底ボールに分類されたボールの個数を確認し、上記底ボールに分類されたボールの個数が予め設定された個数を超える場合、上記プレーヤーに危険警告のためのアラームを提供するか、上記ボールマシンのボールボックスにボールを満たすことを要請するアラームを提供するように構成されることを特徴とする、項目５に記載の仮想テニスシミュレーションシステム。
［項目７］
上記センシング処理ユニットは、
上記取得される毎フレームのイメージからそれぞれ上記プレーヤーを検出することにより上記プレーヤーの位置を追跡し、上記追跡により上記プレーヤーの移動距離及び上記プレーヤーのプレー時間を感知し、上記検知された移動距離及びプレー時間から上記プレーヤーの運動量を算出するように構成され、
上記制御装置は、
上記センシング処理ユニットにより算出される上記プレーヤーの運動量情報を映像又は音声を介して上記プレーヤーに提供するように構成されることを特徴とする、項目４に記載の仮想テニスシミュレーションシステム。
［項目８］
上記センシング処理ユニットは、
上記スクリーンに隣接する予め設定された領域として危険領域を予め設定し、上記取得される毎フレームのイメージ上で上記危険領域に該当する領域内でオブジェクトを感知し、上記感知されたオブジェクトから人体を検出するように構成され、
上記制御装置は、
上記センシング処理ユニットにより上記危険領域内で人体が検出された場合、上記ボールマシンの動作を中止するように制御することを特徴とする、項目４記載の仮想テニスシミュレーションシステム。
［項目９］
仮想テニスシミュレーション映像に基づき、プレーヤーがコート底部上でテニスプレーを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置で、
あらかじめ設定された領域を含む撮影範囲に対する画像を継続的に取得するカメラユニットと、
上記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、上記ボールに対するボール運動モデルを算出し、上記取得されたイメージから上記プレーヤーに該当するオブジェクトを抽出して分析することにより、上記プレーヤーの位置を検出するセンシング処理ユニットを含むセンシング装置。
［項目１０］
上記カメラユニットは、
互いに異なる位置から同一の画角でイメージを取得する第１カメラ及び第２カメラを含めてステレオ方式で構成され、上記第１カメラ及び第２カメラは、上記画角の中心を基準に前後方向又は左右方向の１軸ティルティング又は前後方向及び左右方向の２軸ティルティングが可能に構成され、
上記第１カメラ及び第２カメラが取得するイメージから検出される上記プレーヤーの位置に応じて上記第１カメラ及び第２カメラのティルティングを制御することにより、上記取得するイメージから上記プレーヤーが検出されるようにするカメラ制御部をさらに含むことを特徴とする、項目９に記載のセンシング装置。
［項目１１］
上記センシング処理ユニットは、
上記次映像の抽出及び輪郭線の検出により検出された複数個のオブジェクトについて、上記オブジェクトの大きさ及び形態について予め設定された事項により基準オブジェクトを選定し、上記選定された基準オブジェクトを含む大きさの関心領域を設定し、上記設定された関心領域内に存在するオブジェクトを１つのピクセルグループとして設定することにより、上記基準オブジェクトに基づいて周辺オブジェクトを一元化して上記一元化されたオブジェクトの唯一性を確認することにより、上記一元化されたオブジェクトを上記プレーヤーに該当するオブジェクトとして検出するように構成される、項目９に記載のセンシング装置。
［項目１２］
上記センシング処理ユニットは、
予め設定された領域として危険領域を予め設定し、上記取得される毎フレームのイメージ上で上記危険領域に該当する領域内でオブジェクトを検知し、上記検知されたオブジェクトの大きさ及び形態を分析し人体に該当するか判断することにより、上記プレーヤーではなく第三者が上記カメラユニットの画角内に登場しているか検知するように構成されることを特徴とする、項目９に記載のセンシング装置。
［項目１３］
上記センシング処理ユニットは、
上記カメラユニットによりリアルタイムに取得されるイメージと、上記取得されたイメージの以前に取得されたイメージのうち次演算するイメージとして選択されたイメージとの高速次映像を通じて、上記カメラユニットのイメージ取得速度以上に動くオブジェクトをラケットオブジェクトとして抽出し、上記高速次映像を通じて抽出される複数の次映像のそれぞれから抽出される上記ラケットオブジェクトを分析して上記ラケットの位置及び移動方向を検出して上記プレーヤーのスイングがフォアハンドかバックハンドかを検出するように構成される、項目９に記載のセンシング装置。
［項目１４］
プレーヤーがテニスプレーを行うコート底部と、上記コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、上記スクリーンの背面に備えられて上記プレーヤーにボールを提供するボールマシンと、上記プレーヤー及び上記プレーヤーがプレーするボールに対してセンシングするセンシング装置と、上記仮想テニスシミュレーション映像の生成及び処理と、上記ボールマシンの制御を行う制御装置とを含む仮想テニスシミュレーションシステムの制御方法として、
予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、
上記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、上記ボールの運動に対するセンシングデータを算出する段階と、
上記算出されたボール運動に対するセンシングデータを用いて、上記ボール運動に対応するように映像上で仮想のボールが仮想の相手プレーヤーのいる仮想のコート側に移動するシミュレーション映像を具現する段階と、
予め設定された人工知能に従って、上記仮想の相手プレーヤーが仮想のボールを打撃することにより、上記打撃を受けた仮想のボールが移動するシミュレーション映像を具現する段階と、
上記仮想のボールが移動する延長線上において、上記ボールマシンがボールを提供して上記プレーヤーに打撃を与える方式であって、上記プレーヤーがボールを打撃したのに対して、上記仮想の相手プレーヤーが仮想のボールを打撃することを繰り返しながら上記プレーヤーと映像上の上記仮想の相手プレーヤーがテニスラリーを具現する段階と、
を含む仮想テニスシミュレーションシステムの制御方法。
［項目１５］
プレーヤーがテニスプレーを行うコート底部と、上記コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、上記スクリーンの背面に備えられて上記プレーヤーにボールを提供するボールマシンと、上記プレーヤー及び上記プレーヤーがプレーするボールに対してセンシングするセンシング装置と、上記仮想テニスシミュレーション映像の生成及び処理と、上記ボールマシンの制御を行う制御装置とを含む仮想テニスシミュレーションシステムの制御方法として、
予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、
上記取得されたイメージから上記プレーヤーに該当するオブジェクトを抽出し、分析することにより上記プレーヤーの位置を検出する段階と、
上記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、上記ボールの運動に対するセンシングデータを算出する段階と、
上記算出されたボール運動センシングデータを用いて、上記仮想テニスシミュレーション映像を生成・処理する段階と、
上記検出されたプレーヤーの位置に基づいて上記プレーヤーに提供されるボールの方向を決定し、それに対応して上記仮想テニスシミュレーション映像を処理し、上記ボールマシンを制御する段階と、
を含む仮想テニスシミュレーションシステムの制御方法。
［項目１６］
上記制御装置は、上記プレーヤーの実力レベル、難易度、プレースタイルのうちの少なくとも一つについての情報を予め格納し、上記仮想テニスシミュレーション映像上の仮想の相手プレーヤーを人工知能によって制御するように構成され、
上記仮想テニスシミュレーション映像を処理し、上記ボールマシンを制御する段階は、
上記プレーヤーの実力レベル、難易度、プレースタイルのうち少なくとも一つについての情報と、上記仮想の相手プレーヤーの人工知能に応じて上記検出されたプレーヤーの位置に対応させて上記仮想の相手プレーヤーが打撃する仮想のボールに応じて上記プレーヤーに提供されるボールの方向を決定する段階と、
上記決定されるボールの方向に応じて上記仮想の相手プレーヤーが打撃した仮想ボールの軌跡に対するシミュレーション映像を処理する段階と、
上記ボールマシンのボール発射方向を上記決定されたボールの方向に対応するように設定する段階と、
上記仮想の相手プレーヤーが打撃した仮想のボールの軌跡への延長線上において、上記ボールマシンがボールを上記決定されたボールの方向に提供するように制御する段階と、
を含むことを特徴とする、項目１５に記載の仮想テニスシミュレーションシステムの制御方法。
［項目１７］
上記制御装置は、上記プレーヤーの実力レベル、難易度、プレースタイルのうち少なくとも一つに関する情報を予め保存し、
上記仮想テニスシミュレーション映像を処理し、上記ボールマシンを制御する段階は、
上記プレーヤーの実力レベル、難易度、プレースタイルのうち少なくとも一つに対する情報に応じて上記検出されたプレーヤーの位置に対応させて上記ボールマシンから上記プレーヤーに提供されるボールの方向を決定する段階と、
上記決定されるボールの方向に応じて、上記仮想テニスシミュレーション映像上の仮想の相手プレーヤーが打撃した仮想ボールの軌跡に対するシミュレーション映像を処理する段階と、
上記ボールマシンのボール発射方向を上記決定されたボールの方向に対応するように設定する段階と、
上記仮想の相手プレーヤーが打撃した仮想のボールの軌跡への延長線上において、上記ボールマシンがボールを上記決定されたボールの方向に提供するように制御する段階を含むことを特徴とする、項目１５に記載の仮想テニスシミュレーションシステムの制御方法。
［項目１８］
上記カメラユニットによりリアルタイムに取得されるイメージと、上記取得されたイメージの以前に取得されたイメージのうち次演算するイメージとして選択されたイメージとの高速差映像により、上記カメラユニットのイメージ取得速度以上で動くオブジェクトをラケットオブジェクトとして抽出する段階と、
上記高速次映像を通じて抽出される複数の次映像のそれぞれから抽出される上記ラケットオブジェクトを分析し、上記ラケットの位置及び移動方向を検出する段階と、
上記プレーヤーのスイングがフォアハンドかバックハンドかを検出する段階をさらに含むことを特徴とする、項目１５記載の仮想テニスシミュレーションシステムの制御方法。
［項目１９］
仮想テニスシミュレーション映像に基づき、プレーヤーがコート底部上でテニスプレーを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法として、
予め設定された領域を含む撮影範囲に対するイメージをリアルタイムで取得する段階と、
予め用意された背景イメージと、上記リアルタイムに取得されるイメージそれぞれとの次映像を抽出し、上記抽出された次映像から検出されるそれぞれのオブジェクトの輪郭線を検出する段階と、
上記輪郭線が検出された複数のオブジェクトのうち、予め設定された範囲内のオブジェクトを一元化することにより、上記プレーヤーに該当するオブジェクトを抽出し、上記プレーヤーの位置を検出する段階と、
上記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、上記ボールに対するボール運動モデルを算出する段階と、
を含むセンシング方法。
［項目２０］
上記プレーヤーの位置を検出する段階は、
上記次映像の抽出及び輪郭線の検出により検出された複数個のオブジェクトについて、上記オブジェクトの大きさ及び形態について予め設定された事項により基準オブジェクトを選定する段階と、
上記選定された基準オブジェクトを含む大きさの関心領域を設定する段階と、
上記に設定された関心領域内に存在するオブジェクトを一つのピクセルグループに設定することで、上記基準オブジェクトに基づいて周辺オブジェクトを一元化する段階と、
上記一元化されたオブジェクトの唯一性を確認し、上記一元化されたオブジェクトを上記プレーヤーに該当するオブジェクトとして検出する段階を含むことを特徴とする、項目１９記載のセンシング方法。
［項目２１］
上記プレーヤーの位置を検出する段階は、
上記抽出されたプレーヤーに該当するオブジェクトの重心を上記プレーヤーの予想位置として算出する段階と、
上記算出されたボール運動モデルの初期位置と上記算出されたプレーヤーの予想位置とが予め設定された距離以下である場合に上記算出されたプレーヤーの予想位置を上記プレーヤーの位置として決定する段階を含むことを特徴とする、項目１９に記載のセンシング方法。

Claims (21)

1. プレイヤーがテニスプレイを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、
   前記スクリーンの背面に備えられ、前記プレイヤーにボールを提供するボールマシンと、
   予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、
   前記取得されたイメージからボールに該当するオブジェクトを抽出し分析することにより、前記ボールに対するボール運動モデルを算出するセンシング処理ユニットと、
   前記プレイヤーがプレイする相手である仮想の相手プレイヤーに対する映像を具現化し、予め設定された人工知能に従って前記仮想の相手プレイヤーがプレイするように制御し、前記センシング処理ユニットによって算出されたボール運動モデルを用いて前記仮想テニスシミュレーション映像の生成及び処理と前記ボールマシンの制御を行う制御装置を含み、
   前記制御装置は、
   前記プレーヤのボール打撃に応じて前記カメラユニットにより取得されたイメージの分析を行い、前記センシング処理ユニットがボール運動モデルを算出したことを用いて、前記ボール運動モデルに対応するように映像上で仮想のボールが前記仮想の相手のプレーヤがいる仮想のコート側に移動するシミュレーション映像を具現し、
   予め設定された人工知能に従って、前記仮想の相手プレイヤーが仮想のボールを打撃することにより、前記打撃を受けた仮想のボールが移動するシミュレーション映像を具現し、
   前記仮想のボールが移動する延長線上において、前記ボールマシンがボールを提供し、前記プレーヤーをして打撃できるようにする方式であって、
   前記プレーヤがボールを打撃したことに対して、前記仮想の相手のプレーヤが仮想のボールを打撃することを繰り返しながら、前記プレーヤと映像上の前記仮想の相手のプレーヤがテニスラリーを具現できるようにする仮想テニスシミュレーションシステム。
2. 前記制御装置は、
   前記プレイヤーの打撃に応じて、前記カメラユニット及びセンシング処理ユニットによりセンシングされたボールに対応して映像上でシミュレーションされる仮想のボールがインプレーであるか判断し、インプレーの場合、前記人工知能に基づいて前記仮想の相手プレイヤーが打撃する前記仮想のボールの運動条件を決定し、
   前記決定された仮想ボールの運動条件に基づき、前記ボールマシンが前記プレイヤーに提供するボールの方向及び速度を設定し、
   前記仮想の相手方プレイヤーが打撃した仮想のボールの軌跡に対する延長線上において、前記ボールマシンがボールを前記設定されたボールの方向及び速度で提供するようにし、前記プレイヤーに前記ボールマシンから発射されたボールを打撃させる方式で、前記プレイヤーと映像上の前記仮想の相手方プレイヤーがテニスラリーを具現できるようにしたことを特徴とする、請求項１に記載の仮想テニスシミュレーションシステム。
3. 前記センシング処理ユニットは、
   前記カメラユニットによって取得されるイメージから前記プレイヤーに該当するオブジェクトを抽出し分析することにより、前記プレイヤーの位置を検出するように構成され、
   前記制御装置は、
   前記センシング処理ユニットにより検出される前記プレーヤーの位置に基づいて前記人工知能が、前記仮想の相手プレーヤーが打撃する際の仮想ボールの運動条件を決定するようにしたことを特徴とする、請求項１に記載の仮想テニスシミュレーションシステム。
4. プレイヤーがテニスプレイを行うコート底部の前方に備えられ、仮想テニスシミュレーション映像が投影されるスクリーンと、
   前記スクリーンの背面に備えられ、前記プレイヤーにボールを提供するボールマシンと、
   予め設定された領域を含む撮影範囲に対するイメージを継続的に取得するカメラユニットと、
   前記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、前記ボールに対するボール運動モデルを算出し、前記取得されたイメージから前記プレーヤーに該当するオブジェクトを抽出して分析することにより前記プレーヤーの位置を検出するセンシング処理ユニットと、
   前記センシング処理ユニットにより算出されたボール運動モデルを用いて、前記仮想テニスシミュレーション映像の生成および処理と、前記ボールマシンの制御を行い、前記センシング処理ユニットにより検出される前記プレーヤの位置に基づいて前記プレーヤに提供されるボールの方向を決定し、それに対応して前記仮想テニスシミュレーション映像の処理および前記ボールマシンの制御を行う制御装置と、
   を含む仮想テニスシミュレーションシステム。
5. 前記センシング処理ユニットは、
   前記プレーヤがプレーする３次元空間の座標系と、各座標軸方向におけるボールの運動に対する関数を予め定義し、前記カメラユニットによって撮影されるイメージを分析し、運動するボールに対する各イメージ上での３次元空間上の座標データを検出し、前記検出されたボールの座標データを前記各座標軸方向に対して予め定義された関数に適用することにより、前記プレーヤによって打撃され運動するボールに対するボール運動モデルを算出するように構成され、構成され、
   前記制御装置は、
   仮想の相手プレイヤーと、前記プレイヤーがプレイするコート底部と対応して前記仮想の相手プレイヤーがプレイする仮想のコートに関する映像を実装し、前記センシング処理ユニットにより算出されるボール運動モデルに基づいて前記仮想の相手プレイヤーとして運動する仮想のボールのシミュレーション映像を実装するように構成されることを特徴とする、請求項４に記載の仮想テニスシミュレーションシステム。
6. 前記センシング処理ユニットは、
   前記取得されたイメージから抽出されるボールが、前記算出されたボール運動モデルから所定範囲を離れる場合、前記算出されたボール運動モデル内のボールの平均高さを算出し、前記算出されたボールの平均高さより下に位置する場合、前記算出されたボール運動モデルの平均速度を算出し、前記算出されたボール運動モデルの平均速度より低い速度を有する場合のうち少なくとも一つの場合に該当するか判断し、その該当するボールについて前記プレーヤーのプレーに用いられるボールではなく、底ボールとして分類するように構成され、
   前記制御装置は、
   前記センシング処理ユニットにより、前記底ボールに分類されたボールの個数を確認し、前記底ボールに分類されたボールの個数が予め設定された個数を超える場合、前記プレーヤーに危険警告のためのアラームを提供するか、前記ボールマシンのボールボックスにボールを満たすことを要請するアラームを提供するように構成されることを特徴とする、請求項５に記載の仮想テニスシミュレーションシステム。
7. 前記センシング処理ユニットは、
   前記取得される毎フレームのイメージからそれぞれ前記プレイヤーを検出することにより前記プレイヤーの位置を追跡し、前記追跡により前記プレイヤーの移動距離及び前記プレイヤーのプレイ時間を感知し、前記検知された移動距離及びプレイ時間から前記プレイヤーの運動量を算出するように構成され、
   前記制御装置は、
   前記センシング処理ユニットにより算出される前記プレーヤーの運動量情報を映像又は音声を介して前記プレーヤーに提供するように構成されることを特徴とする、請求項４に記載の仮想テニスシミュレーションシステム。
8. 前記センシング処理ユニットは、
   前記スクリーンに隣接する予め設定された領域として危険領域を予め設定し、前記取得される毎フレームのイメージ上で前記危険領域に該当する領域内でオブジェクトを感知し、前記感知されたオブジェクトから人体を検出するように構成され、
   前記制御装置は、
   前記センシング処理ユニットにより前記危険領域内で人体が検出された場合、前記ボールマシンの動作を中止するように制御することを特徴とする、請求項４記載の仮想テニスシミュレーションシステム。
9. 仮想テニスシミュレーション映像に基づき、プレイヤーがコート底部上でテニスプレイを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置で、
   あらかじめ設定された領域を含む撮影範囲に対する画像を継続的に取得するカメラユニットと、
   前記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、前記ボールに対するボール運動モデルを算出し、前記取得されたイメージから前記プレーヤーに該当するオブジェクトを抽出して分析することにより、前記プレーヤーの位置を検出するセンシング処理ユニットを含むセンシング装置。
10. 前記カメラユニットは、
    互いに異なる位置から同一の画角でイメージを取得する第１カメラ及び第２カメラを含めてステレオ方式で構成され、前記第１カメラ及び第２カメラは、前記画角の中心を基準に前後方向又は左右方向の１軸ティルティング又は前後方向及び左右方向の２軸ティルティングが可能に構成され、
    前記第１カメラ及び第２カメラが取得するイメージから検出される前記プレーヤーの位置に応じて前記第１カメラ及び第２カメラのティルティングを制御することにより、前記取得するイメージから前記プレーヤーが検出されるようにするカメラ制御部をさらに含むことを特徴とする、請求項９に記載のセンシング装置。
11. 前記センシング処理ユニットは、
    前記次映像の抽出及び輪郭線の検出により検出された複数個のオブジェクトについて、前記オブジェクトの大きさ及び形態について予め設定された事項により基準オブジェクトを選定し、前記選定された基準オブジェクトを含む大きさの関心領域を設定し、前記設定された関心領域内に存在するオブジェクトを１つのピクセルグループとして設定することにより、前記基準オブジェクトに基づいて周辺オブジェクトを一元化して前記一元化されたオブジェクトの唯一性を確認することにより、前記一元化されたオブジェクトを前記プレーヤーに該当するオブジェクトとして検出するように構成される、請求項９に記載のセンシング装置。
12. 前記センシング処理ユニットは、
    予め設定された領域として危険領域を予め設定し、前記取得される毎フレームのイメージ上で前記危険領域に該当する領域内でオブジェクトを検知し、前記検知されたオブジェクトの大きさ及び形態を分析し人体に該当するか判断することにより、前記プレーヤーではなく第三者が前記カメラユニットの画角内に登場しているか検知するように構成されることを特徴とする、請求項９に記載のセンシング装置。
13. 前記センシング処理ユニットは、
    前記カメラユニットによりリアルタイムに取得されるイメージと、前記取得されたイメージの以前に取得されたイメージのうち次演算するイメージとして選択されたイメージとの高速次映像を通じて、前記カメラユニットのイメージ取得速度以上に動くオブジェクトをラケットオブジェクトとして抽出し、前記高速次映像を通じて抽出される複数の次映像のそれぞれから抽出される前記ラケットオブジェクトを分析して前記ラケットの位置及び移動方向を検出して前記プレーヤーのスイングがフォアハンドかバックハンドかを検出するように構成される、請求項９に記載のセンシング装置。
14. プレイヤーがテニスプレイを行うコート底部と、前記コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、前記スクリーンの背面に備えられて前記プレイヤーにボールを提供するボールマシンと、前記プレイヤー及び前記プレイヤーがプレイするボールに対してセンシングするセンシング装置と、前記仮想テニスシミュレーション映像の生成及び処理と、前記ボールマシンの制御を行う制御装置とを含む仮想テニスシミュレーションシステムの制御方法として、
    予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、
    前記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、前記ボールの運動に対するセンシングデータを算出する段階と、
    前記算出されたボール運動に対するセンシングデータを用いて、前記ボール運動に対応するように映像上で仮想のボールが仮想の相手プレイヤーのいる仮想のコート側に移動するシミュレーション映像を具現する段階と、
    予め設定された人工知能に従って、前記仮想の相手プレイヤーが仮想のボールを打撃することにより、前記打撃を受けた仮想のボールが移動するシミュレーション映像を具現する段階と、
    前記仮想のボールが移動する延長線上において、前記ボールマシンがボールを提供して前記プレーヤーに打撃を与える方式であって、前記プレーヤーがボールを打撃したのに対して、前記仮想の相手プレーヤーが仮想のボールを打撃することを繰り返しながら前記プレーヤーと映像上の前記仮想の相手プレーヤーがテニスラリーを具現する段階と、
    を含む仮想テニスシミュレーションシステムの制御方法。
15. プレイヤーがテニスプレイを行うコート底部と、前記コート底部の前方に備えられて仮想テニスシミュレーション映像が投影されるスクリーンと、前記スクリーンの背面に備えられて前記プレイヤーにボールを提供するボールマシンと、前記プレイヤー及び前記プレイヤーがプレイするボールに対してセンシングするセンシング装置と、前記仮想テニスシミュレーション映像の生成及び処理と、前記ボールマシンの制御を行う制御装置とを含む仮想テニスシミュレーションシステムの制御方法として、
    予め設定された領域を含む撮影範囲に対するイメージを継続的に取得する段階と、
    前記取得されたイメージから前記プレイヤーに該当するオブジェクトを抽出し、分析することにより前記プレイヤーの位置を検出する段階と、
    前記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、前記ボールの運動に対するセンシングデータを算出する段階と、
    前記算出されたボール運動センシングデータを用いて、前記仮想テニスシミュレーション映像を生成・処理する段階と、
    前記検出されたプレイヤーの位置に基づいて前記プレイヤーに提供されるボールの方向を決定し、それに対応して前記仮想テニスシミュレーション映像を処理し、前記ボールマシンを制御する段階と、
    を含む仮想テニスシミュレーションシステムの制御方法。
16. 前記制御装置は、前記プレイヤーの実力レベル、難易度、プレイスタイルのうちの少なくとも一つについての情報を予め格納し、前記仮想テニスシミュレーション映像上の仮想の相手プレイヤーを人工知能によって制御するように構成され、
    前記仮想テニスシミュレーション映像を処理し、前記ボールマシンを制御する段階は、
    前記プレイヤーの実力レベル、難易度、プレイスタイルのうち少なくとも一つについての情報と、前記仮想の相手プレイヤーの人工知能に応じて前記検出されたプレイヤーの位置に対応させて前記仮想の相手プレイヤーが打撃する仮想のボールに応じて前記プレイヤーに提供されるボールの方向を決定する段階と、
    前記決定されるボールの方向に応じて前記仮想の相手プレイヤーが打撃した仮想ボールの軌跡に対するシミュレーション映像を処理する段階と、
    前記ボールマシンのボール発射方向を前記決定されたボールの方向に対応するように設定する段階と、
    前記仮想の相手プレイヤーが打撃した仮想のボールの軌跡への延長線上において、前記ボールマシンがボールを前記決定されたボールの方向に提供するように制御する段階と、
    を含むことを特徴とする、請求項１５に記載の仮想テニスシミュレーションシステムの制御方法。
17. 前記制御装置は、前記プレイヤーの実力レベル、難易度、プレイスタイルのうち少なくとも一つに関する情報を予め保存し、
    前記仮想テニスシミュレーション映像を処理し、前記ボールマシンを制御する段階は、
    前記プレイヤーの実力レベル、難易度、プレイスタイルのうち少なくとも一つに対する情報に応じて前記検出されたプレイヤーの位置に対応させて前記ボールマシンから前記プレイヤーに提供されるボールの方向を決定する段階と、
    前記決定されるボールの方向に応じて、前記仮想テニスシミュレーション映像上の仮想の相手プレイヤーが打撃した仮想ボールの軌跡に対するシミュレーション映像を処理する段階と、
    前記ボールマシンのボール発射方向を前記決定されたボールの方向に対応するように設定する段階と、
    前記仮想の相手プレイヤーが打撃した仮想のボールの軌跡への延長線上において、前記ボールマシンがボールを前記決定されたボールの方向に提供するように制御する段階を含むことを特徴とする、請求項１５に記載の仮想テニスシミュレーションシステムの制御方法。
18. 前記カメラユニットによりリアルタイムに取得されるイメージと、前記取得されたイメージの以前に取得されたイメージのうち次演算するイメージとして選択されたイメージとの高速差映像により、前記カメラユニットのイメージ取得速度以上で動くオブジェクトをラケットオブジェクトとして抽出する段階と、
    前記高速次映像を通じて抽出される複数の次映像のそれぞれから抽出される前記ラケットオブジェクトを分析し、前記ラケットの位置及び移動方向を検出する段階と、
    前記プレーヤーのスイングがフォアハンドかバックハンドかを検出する段階をさらに含むことを特徴とする、請求項１５記載の仮想テニスシミュレーションシステムの制御方法。
19. 仮想テニスシミュレーション映像に基づき、プレイヤーがコート底部上でテニスプレイを可能にする仮想テニスシミュレーションシステムに用いられるセンシング装置のセンシング方法として、
    予め設定された領域を含む撮影範囲に対するイメージをリアルタイムで取得する段階と、
    予め用意された背景イメージと、前記リアルタイムに取得されるイメージそれぞれとの次映像を抽出し、前記抽出された次映像から検出されるそれぞれのオブジェクトの輪郭線を検出する段階と、
    前記輪郭線が検出された複数のオブジェクトのうち、予め設定された範囲内のオブジェクトを一元化することにより、前記プレイヤーに該当するオブジェクトを抽出し、前記プレイヤーの位置を検出する段階と、
    前記取得されたイメージからボールに該当するオブジェクトを抽出して分析することにより、前記ボールに対するボール運動モデルを算出する段階と、
    を含むセンシング方法。
20. 前記プレイヤーの位置を検出する段階は、
    前記次映像の抽出及び輪郭線の検出により検出された複数個のオブジェクトについて、前記オブジェクトの大きさ及び形態について予め設定された事項により基準オブジェクトを選定する段階と、
    前記選定された基準オブジェクトを含む大きさの関心領域を設定する段階と、
    前記に設定された関心領域内に存在するオブジェクトを一つのピクセルグループに設定することで、前記基準オブジェクトに基づいて周辺オブジェクトを一元化する段階と、
    前記一元化されたオブジェクトの唯一性を確認し、前記一元化されたオブジェクトを前記プレーヤーに該当するオブジェクトとして検出する段階を含むことを特徴とする、請求項１９記載のセンシング方法。
21. 前記プレイヤーの位置を検出する段階は、
    前記抽出されたプレイヤーに該当するオブジェクトの重心を前記プレイヤーの予想位置として算出する段階と、
    前記算出されたボール運動モデルの初期位置と前記算出されたプレーヤーの予想位置とが予め設定された距離以下である場合に前記算出されたプレーヤーの予想位置を前記プレーヤーの位置として決定する段階を含むことを特徴とする、請求項１９に記載のセンシング方法。

Images