JP2005181037A - 目標位置検出装置 - Google Patents

Abstract

【課題】 サッカーなどの団体球技を撮像して選手やボール等の対象物の正確な位置を継続して把握しようとする目標位置検出装置において、画像から目標対象物を長時間連続して自動的に検出し続ける。
【解決手段】 球技場のフィールド全域を斜め上方から撮像する所定の複数のフィールド撮像カメラと、撮像された画像をフィールドの真上から俯瞰撮像したかのような画像に変換する所定の複数の画像変換装置と、変換された所定の複数の画像を合成する画像合成装置と、合成された画像から対象物を色情報を用いて抽出する画像抽出装置と、抽出された対象物画像部の夫々の重心の位置を計算することで対象物の位置を求める位置計算装置と、対象物の位置を表示する画像表示装置とを含む、目標位置検出装置を提供する。
【選択図】図１

Description

本発明は、目標位置検出装置、特に、団体球技での選手やボールの位置を連続的且つ自動的に把握する目標位置検出装置に関する。

サッカーなどの団体球技では、チームの戦術分析のためにフィールド上の選手の動きやフォーメーションを把握する必要がある。そのために、従来は１つのカメラで撮像した画像から選手の像などを抽出することで位置を測定しようとしていた。

画像から対象物（選手など）を抽出する従来の装置として、例えば、特許文献１に示されるものがある。それは、試合や練習の様子の画像から、対象物の色情報の相違に注目しヒストグラムを用いて上記対象物の検出を行い、それら検出された対象物に相当する位置にラベルマーカを自動生成する装置である。

特許文献１も含めて従来技術に係る装置には次のような問題点がある。カメラがフィールド中央の真上に設置できる場合は、選手が重なって撮像されることが殆ど無く、比較的正確に選手等の位置を検出することができる。しかし、ほとんどの球技場にはフィールド上空に屋根がないので、撮影はスタンド上空に設置された屋根やスタンドから行われる。すると、選手が重なって撮像されることが多く、よって位置を正確に検出することが難しい。
特開平１１−３９４８８号公報

本発明は、サッカーなどの団体球技を撮像して選手やボール等の対象物の正確な位置を継続して把握しようとする目標位置検出装置において、画像から目標対象物を長時間連続して自動的に検出し続けることを目的とする。

本発明は、上記の目的を達成するためになされたものである。本発明に係る目標位置検出装置は、
球技場のフィールド全域を斜め上方から撮像する所定の複数のフィールド撮像カメラと、
撮像された画像をフィールドの真上から俯瞰撮像したかのような画像に変換する所定の複数の画像変換装置と、
変換された所定の複数の画像を合成する画像合成装置と、
合成された画像から対象物を色情報を用いて抽出する画像抽出装置と、
抽出された対象物画像部の夫々の重心の位置を計算することで対象物の位置を求める位置計算装置と、
対象物の位置を表示する画像表示装置とを含む、目標位置検出装置である。

本発明を利用することにより、次のような効果を得ることができる。

サッカーなどの団体球技の行なわれるフィールドを、複数個のフィールド撮像カメラによりそれぞれ異なる位置から撮像し、これらの撮像画像を俯瞰画像に変換して合成することにより、合成画像上では地表付近にある人物の足やボールのみが強調して表示される。この合成画像から色情報を用いて強調された部分のみを抽出し、これらの重心位置を計算して表示することにより、人物やボールが重なって撮像されても人物やボールの位置を検出できる。

以下、図面を参照して本発明に係る好適な実施の形態を説明する。以下の実施の形態の目標位置検出装置は、サッカーのフィールドにおける選手やボールの位置を検出するものであるとして、説明を進める。

実施の形態１．
図１は、本発明の実施の形態１に係る目標位置検出装置２の構成図である。当該目標位置検出装置２は、
・球技場のフィールド全域を斜め上方から撮像する２台のフィールド撮像カメラ（第１のフィールド撮像カメラ４ａ、第２のフィールド撮像カメラ４ｂ）と、
・撮像された画像をフィールドの真上から俯瞰撮像したかのような画像に変換する２つの画像変換装置６と、
・変換された２つの画像を合成する画像合成装置８と、
・合成された画像から人物（選手と審判）及びボールを色情報を用いて抽出する画像抽出装置１０と、
・抽出された人物画像部およびボール画像部それぞれの重心の位置を計算することで人物およびボールの位置を求める位置計算装置１２と、
・計算された人物およびボールの位置を表示する画像表示装置１４と
から構成されている。

なお、２つの画像変換装置６、画像合成装置８、画像抽出装置１０、位置計算装置１２及び画像表示装置１４は、１台のコンピュータ（例えば、パーソナルコンピュータ）に含まれてもよい。そのコンピュータと、２台のフィールド撮像カメラの夫々とは通信回旋で繋がるのが望ましい。

図２は、人物１８とボール２０が存在するフィールド１６をフィールド両サイドの上方から第１のフィールド撮像カメラ４ａと第２のフィールド撮像カメラ４ｂで撮像している様子を示している。図２では、２台のカメラは、いずれもサイドラインの各々の中央部上空に、２台がフィールドの中心に関して対称位置になるように、配置されている。２台のカメラは、夫々の配置位置が異なる限り、図２の配置に限定されない。但し、死角をなるべく無くすという観点から、及び、後述のように画像抽出工程を容易にしたいという観点から、少なくともフィールドの中心に関して対称位置になるように配置されるのが望ましい。

第１のフィールド撮像カメラ４ａ及び第２のフィールド撮像カメラ４ｂにより撮像される画像２２ａ、２２ｂを、夫々図３、図４に示す。これらの撮像画像２２ａ、２２ｂは、斜め上方から撮像されるものであるので、フィールドが台形に歪んでいる。

これらの撮像画像２２ａ、２２ｂを、画像変換装置６が、フィールド真上から俯瞰撮影されたかのような画像に変換する。その画像変換装置６による変換画像２２ａａ、２２ｂｂを、夫々図５、図６に示す。図から明らかなように、フィールドを台形から長方形に引き延ばす処理をすることにより、人物１８もボール２０も横方向に引き延ばされる。

次に、画像合成装置８により、これらの変換画像２２ａａ、２２ｂｂの輝度を１／２にするとともに、一方の変換画像（例えば変換画像２２ｂｂ）を１８０度回転して、夫々を足し合わせる（重ね合わせる）と、図７に示すような合成画像２２ｃが形成される。この合成画像２２ｃでは、地表付近にある人物１８とボール２０の一部（どのフィールド撮像カメラ４ａ、４ｂからも人物１８及びボール２０により隠されて撮像されないフィールド部）のみが重なり、強調された部分２４として鮮明に表示される。その強調される部分２４以外の人物１８とボール２０の画像は、輝度が半分にされているためにぼけて表示される。

仮に２台のフィールド撮像カメラ４ａ、４ｂが接近して設置されているとするならば、人物１８とボール２０の像において夫々は大部分が重なる。すると、複数の選手が接近している場合、選手の像の分離が難しくなることが予想される。よって、２つのフィールド撮像カメラ４ａ、４ｂは相当程度に離されて設置することが望ましく、本実施の形態のようにフィールドの異なるサイドに設置するのがより望ましい。

通常、フィールド１６の画像は、芝生の緑、白線の白の２色域で構成されているので、画像抽出装置１０により合成画像２２ｃからこの２色域に属さない領域を抽出し、２値化処理を行うと、図８に示すように、強調部分２４のみが残された、即ち、人物の靴（の一部）とボール（の一部）のみが表示されたような２値化画像２２ｄが得られる。

この２値化画像２２ｄにおける各強調部分２４の重心の位置を、位置計算装置１２により求める。図９に示すように、強調部分２４がボール２０の場合は、この強調部分２４の重心２６がボールの位置となる。図１０に示すように、強調部分２４が人物１８の場合は、この人物が走っているときやジャンプしているとき以外は２つの強調部分２４（地表と接している部分）が接近して表示されることになるので、接近した強調部分２４の距離ｌが任意に設定した値（１ｍ程度）以下であれば、これらの強調部分２４の重心の中点２８を人物１８の位置とすればよい。

ここで、強調部分２４が人物１８かボール２０かの判定は、人物１８が片足で立つ場合もあることを考慮に入れると、１枚の合成画像２２ｃのみから常に行なうとすると、困難若しくは不可能なものになってしまう。従って、場合によって、連続して撮像された複数枚の合成画像２２ｃを用いて判別を行なうとする。

また、ボール２０が地表面上に無い瞬間も少なからずあることを考慮に入れると、ある瞬間においてボール２０の位置を判定し得ない、という事態も想定され得る。よって、そのような場合（つまり、ボール２０が地表面上に無い場合）、連続して撮像された複数枚の合成画像２２ｃを用いてボールの経路を確定すればよい。その際、ボール２０が地表面上にあった或る瞬間におけるボール２０の位置から、次にボールが地表面上にあった瞬間におけるボール２０の位置まで、一定速度で直線状に動いた、というように想定してもよい。あるいは、周囲の人物１８の動きからボール２０の位置を自動的に推定するというようにしてもよい。

最後に、図１１に示すように、位置計算装置１２で求められた人物１８とボール２０の位置を画像表示装置１４によりフィールド１６の図に重ねて表示する。このように図示されることにより、人物とボールの位置を把握しやすくなるという利点が生じる。

本実施の形態では、２つのフィールド撮像カメラを用いたが、もちろん３つ以上用いてもよい。そうすると、カメラからの死角がより減少するので、人物とボールの位置をより精度良く計測可能になることは言うまでもない。但し、カメラをＮ台（Ｎは３以上の自然数）用いるならば、画像合成装置８では、Ｎ個の変換画像の輝度を「１／Ｎ」にするとともに、夫々を適宜回転させて足し合わせて合成画像を形成することになる。

実施の形態２．
実施の形態２に係る目標位置検出装置２は、実施の形態１に係る目標位置検出装置２と略同様のものである。よって差異を中心に説明する。

実施の形態２に係る目標位置検出装置２では、事前に人物及びボールが存在しないフィールドを予め撮像しておく。そして、画像抽出装置１０において、事前に撮像した人物およびボールが存在しないフィールドの俯瞰画像と、合成画像２２ｃとの差分を取った上で、２値化処理を行う。そうすると、図８に示すように、強調部分２４のみが残された、人物の靴（の一部）とボール（の一部）のみが表示されたような２値化画像２２ｄが得られる。

従って、この後、実施の形態１における位置計算装置１２と画像表示装置１４とを更に利用することにより、実施の形態１と同様の効果を得ることができる。

実施の形態３．
図１２は、本発明の実施の形態３に係る目標位置検出装置２’の構成図である。実施の形態３に係る目標位置検出装置２’は、実施の形態１及び実施の形態２に係る目標位置検出装置２と略同様のものである。よって差異を中心に説明する。

図１２に示すように、実施の形態３に係る目標位置検出装置２’では、フィールド撮像カメラ４’ａ、４’ｂがパースペクティブ補正レンズを備える。そうすると、実施の形態１及び実施の形態２に係る目標位置検出装置２において利用する画像変換装置６が不要になる。

ここでのパースペクティブ補正レンズとは、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）面やフィルム面と平行にレンズを移動させることでパースペクティブの補正ができるレンズである。このレンズを用いた撮影は、一般に「アオリ撮影」と呼ばれている。通常、高い建物を下から仰いで撮影すると上つぼまりに写る。その場合、このレンズを利用すると傾きの補正ができる。このレンズは建築写真などの撮影には特に有効であるとされる。

このレンズを用いることで、斜め上方からフィールドを撮像しても、図５、図６に示すように、画像変換することなくフィールドを真上から俯瞰撮像したような画像が得られ、よって、目標位置検出装置２’の全体の構成が簡単になるという効果がある。

実施の形態４．
図１３は、本発明の実施の形態４に係る目標位置検出装置２”の構成図である。実施の形態４に係る目標位置検出装置２”は、実施の形態１及び実施の形態２に係る目標位置検出装置２と略同様のものである。よって差異を中心に説明する。

図１３に示すように、実施の形態４に係る目標位置検出装置２”では、画像識別装置３０を備える。この画像識別装置３０には、各チームの選手の靴の色、審判の靴の色、及びボールの色の、夫々の情報が予め入力設定されている。画像識別装置３０は、図１４に示すように、画像抽出装置１０により抽出された合成画像２２ｃにおいて強調された部分の色が予め入力された色（各チームの選手の靴の色、審判の靴の色、又はボールの色）のどれに近いかを判断することで、識別を行ない同時に識別情報を生成する。この識別情報は、位置計算装置１２及び画像表示装置１４にまで引き継がれ、例えば、図１５のように、この識別情報により画像表示装置１４において各人物の位置にチーム名を記述表示することができる。よって、画像表示装置１４において、各チームの選手の位置が容易に把握され得る。

なお、実施の形態３に係る目標位置検出装置２’に画像識別装置３０を付加しても上記と同様の効果が得られることは言うまでもない。

実施の形態５．
実施の形態５に係る目標位置検出装置は、実施の形態１乃至実施の形態４に係る目標位置検出装置と略同様のものである。よって差異を中心に説明する。

実施の形態５に係る目標位置検出装置では、画像識別装置３０が、画像抽出装置１０により作成された２値化画像２２ｄにおいて強調された部分２４のそれぞれの円形度を計算する。

一般に、面積をＡ、周囲長をＬとするとき、円形度は（４πＡ／Ｌ^２）で表され、この値は真円において１となり、複雑な形状ほど小さくなる。合成画像２２ｃ上の人物の強調された部分２４は、靴の形つまり楕円となり、合成画像２２ｃ上のボールの強調された部分２４は、略円形となる。従って、画像識別装置３０は、計算された円形度が任意に設定したしきい値より大きければボールと、小さければ人物と、判断することができる。よって、画像識別装置３０は、合成画像２２ｃ上の強調された部分２４の形状により、人物とボールの識別が可能となる。

その他の対象への応用について．
本発明に係る目標位置検出装置は、上述のようにサッカーにおける選手やボールの位置検出に効果的である。それのみならず、他の対象での目標位置検出にも利用できる。

例えば、ラグビーフットボール、アメリカンフットボール、バスケットボール、ハンドボール、若しくは水球などの団体球技での、選手やボールの位置検出に利用できる。また、競馬、競輪、競艇などの競技での位置検出にも利用できる。

本発明の実施の形態１に係る目標位置検出装置の構成図である。 人物とボールが存在するフィールドをフィールド両サイドの上方から第１のフィールド撮像カメラと第２のフィールド撮像カメラで撮像している様子を示す。 図２の第１のフィールド撮像カメラにより撮像される画像を示す。 図２の第２のフィールド撮像カメラにより撮像される画像を示す。 画像変換装置が図３の撮像画像を変換して生成する変換画像である。 画像変換装置が図４の撮像画像を変換して生成する変換画像である。 画像合成装置が、図５の変換画像と図６の変換画像から生成する合成画像である。 画像抽出装置が、図７の合成画像から生成する２値化画像である。 図８の２値化画像のボールの強調部分から決定されるボールの位置情報を示す。 図８の２値化画像の人物の強調部分から決定される人物の位置情報を示す。 位置計算装置で求められた位置情報が表示される画像表示装置の表示画像である。 本発明の実施の形態３に係る目標位置検出装置の構成図である。 本発明の実施の形態４に係る目標位置検出装置の構成図である。 画像識別装置による識別情報を含む合成画像である。 画像識別装置による識別情報を含む画像表示装置の表示画像である。

符号の説明

２、２’、２”・・・目標位置検出装置、４ａ、４’ａ・・・第１のフィールド撮像カメラ、４ｂ、４’ｂ・・・第２のフィールド撮像カメラ、６・・・画像変換装置、８・・・画像合成装置、１０・・・画像抽出装置、１２・・・位置計算装置、１４・・・画像表示装置、１６・・・フィールド、１８・・・人物、２０・・・ボール、２２ａ、２２ｂ・・・撮像画像、２２ａａ、２２ｂｂ・・・変換画像、２２ｃ・・・合成画像、２２ｄ・・・２値化画像、２２ｅ・・・表示画像、２４・・・強調部分、２６・・・ボールの位置、２８・・・人物の位置、３０・・・画像識別装置。

Claims (5)

1. 球技場のフィールド全域を斜め上方から撮像する所定の複数のフィールド撮像カメラと、
   撮像された画像をフィールドの真上から俯瞰撮像したかのような画像に変換する所定の複数の画像変換装置と、
   変換された所定の複数の画像を合成する画像合成装置と、
   合成された画像から対象物を色情報を用いて抽出する画像抽出装置と、
   抽出された対象物画像部の夫々の重心の位置を計算することで対象物の位置を求める位置計算装置と、
   対象物の位置を表示する画像表示装置とを含む、
   目標位置検出装置。
2. 球技場のフィールド全域を斜め上方から撮像する所定の複数のフィールド撮像カメラと、
   撮像された画像をフィールドの真上から俯瞰撮像したかのような画像に変換する所定の複数の画像変換装置と、
   変換された所定の複数の画像を合成する画像合成装置と、
   合成された画像と対象物が存在しないフィールドの俯瞰撮像との差分を取ることにより対象物を抽出する画像抽出装置と、
   抽出された対象物画像部の夫々の重心の位置を計算することで対象物の位置を求める位置計算装置と、
   対象物の位置を表示する画像表示装置とを含む、
   目標位置検出装置。
3. 球技場のフィールド全域を斜め上方から撮像するパースペクティブ補正レンズ付きの所定の複数のフィールド撮像カメラにより撮像された複数の画像を、画像合成装置に入力することを特徴とする、請求項１又は請求項２に記載の目標位置検出装置。
4. 画像抽出装置により抽出された対象物画像部の色情報に基づいて、その対象物の識別情報を付加する画像識別装置が、更に含まれることを特徴とする請求項１乃至請求項３のうちのいずれか一つに記載の目標位置検出装置。
5. 画像抽出装置により抽出された対象物画像部の形状特徴に基づいて、その対象物の識別を行なう画像識別装置が、更に含まれることを特徴とする請求項１乃至請求項４のうちのいずれか一つに記載の目標位置検出装置。
   
   

Images