JP2007213264A - 移動体位置検出装置、移動体位置検出方法、移動体位置検出プログラムおよび情報記録媒体 - Google Patents

Abstract

【課題】撮像カメラ装置にて撮像された平面的な画像構成を有する画像データから各移動体の対象領域における位置データを的確に検出することができる移動体検出システムを提供すること。
【解決手段】移動体検出システムＳは、対象領域を撮像し、動画像データを出力する撮像カメラ装置１００と、対象領域内を移動する移動体と当該移動体の対象領域内における位置を検出する移動体検出装置２００と、から構成され、この移動体検出装置２００は、撮像された画像データにて構成される画像に対して、各画素毎に、画素の色含有率を算出し、当該算出された色含有率に基づいて、何れの移動体を存在しない所定領域の背景画像を基準に、複数の画素から構成される画素群毎に移動体の有無を検出するとともに、移動体の存在が認識された画素群の中心画素に基づいて、各移動体の所定領域内の位置を検出するようになっている。
【選択図】図１

Description

本発明は、スポーツの実況中継放送などの第三者が観覧することを目的とした実際に行われている物事の状況を動画像データによって中継放送する際の技術に属し、特に、当該中継放送の対象となる選手または対象物などの移動体の位置を検出する移動体位置検出装置の技術分野に属する。

近年、野球、サッカー等のスポーツの試合内容は、地上波テレビジョン放送、衛星テレビジョン放送、ケーブルテレビジョン放送等の中継技術および放送端末装置によって、映像として視聴できるようになっている。また、スポーツの放送時間および放送内容は、テレビ局の編成および編集に依存している。

一方、最近では、インターネットなどのコンピュータ・ネットワークの発達とともに、携帯用電話装置などの携帯用通信端末装置の普及、および、ネットワーク技術の進歩などにより、当該携帯用通信端末装置にて他のコンピュータなどの通信端末装置によって提供される情報を取得、および、閲覧することが一般化してきている。例えば、携帯用電話装置などの携帯用通信端末装置によってＷＷＷ（World Wide Web）サーバ装置にて提供されているホームページなどのドキュメントデータの取得または閲覧をすることができるようになっている。

特に、最近では、ＣＧ（Computer Graphics）などのアニメーション画像を用いてスポーツの試合内容を通信端末装置によって閲覧するデータ配信システムが実用に供され始めており、放送の対象となるスポーツ選手などの人物、ボールやレースカーなどの対象物の位置および動作を検出する技術の発達が所望されている。

従来、このような人物または対象物などの移動体の位置を検出する移動体検出装置としては、人・物などの移動体を撮像して当該移動体の位置情報を抽出するものが知られている。具体的には、この移動体検出装置は、撮像カメラ装置にて撮影された動画像フレーム毎に、当該撮像された移動体の像の位置（以下、「像位置」という。）を認識し、当該認識された像位置の差分に基づいて移動体の移動情報を検出するようになっている（例えば、特許文献１）。

特開２００２−１６３６７４号公報

しかしながら、従来の移動体検出装置は、野球場やサッカーのグランドまたはサーキットコースなどの中継の対象となる領域（以下、「対象領域」という。）において、選手、ボールまたはレースカーなどの移動体に対して、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の対象領域における位置情報を的確に検出することができない。

本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、撮像カメラ装置にて撮像された平面的な画像構成を有する画像データから各移動体の対象領域における位置情報を的確に検出することができる移動体検出システムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出装置であって、前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得手段と、前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出手段と、前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出手段と、前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定手段と、を備える構成を有している。

この構成により、請求項１に記載の発明は、移動体が所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出するとともに、検出された異色画素群に対応する背景画像の画像位置に基づいて所定領域における移動体の位置を特定する。

したがって、請求項１に記載の発明は、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における位置情報を的確に検出することができる。

また、請求項２に記載の発明は、請求項１に記載の移動体位置検出装置において、前記色度算出手段が、前記画素群毎に、当該画素群に含まれる各画素の前記算出された色の含有率に基づいて少なくとも２色以上の色差を示す色差値を色度として算出する構成を有している。

この構成により、請求項２に記載の発明は、色の情報における色差に基づいて、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、各色毎に演算処理などを行う必要なく、例えば、特定の２色または３色の画素の色度を一体的に演算処理することによって、的確にかつ容易に移動体を検出することができる。

また、請求項３に記載の発明は、請求項１または２に記載の移動体位置検出装置において、前記検出手段が、複数の前記画素が構成される画素群毎に、前記算出された各色度の平均値と当該平均値のばらつきを示すばらつき値を算出する平均値算出手段と、前記算出された平均値が、前記背景画像における該当する画素群の色度に基づき予め設定された第１の範囲内であり、かつ、当該平均値におけるばらつき値が前記背景画像における該当する画素群の色度に基づき予め設定された第２の範囲内であるか否かを判断する判断手段と、前記平均値が第１の範囲外に属する場合、または、前記ばらつき値が第２の範囲外に属する場合の少なくとの何れか一方の場合に、当該判断の対象となった平均値およびばらつき値を有する前記画素群を前記異色画素群として検出する画素群検出手段と、を有する構成をしている。

この構成により、請求項３に記載の発明は、複数の前記画素が構成される画素群毎に算出された各色度の算出された平均値が第１の範囲外に属する場合、または、当該平均値のばらつき値が第２の範囲外に属する場合の少なくとの何れか一方の場合に、当該判断の対象となった平均値およびばらつき値を有する画素群を異色画素群として検出する。

したがって、請求項３に記載の発明は、色度における平均値とばらつき値を用いて移動体を検出することによって、画像における変化、すなわち、背景画像に移動体が写り込んだ際の変化を検出することができるので、画像に各種の色が存在する場合であっても、的確に移動体の存在の有無を検出することができる。

なお、請求項４または５に記載された発明のように、ばらつき値が、平均値の標準偏差を示す値または平均値の分散を示す値でもよい。

また、請求項６に記載の発明は、請求項３乃至５の何れか一項に記載の移動体位置検出装置において、前記第１の範囲および前記第２の範囲が移動体毎にそれぞれ対応して予め複数設定されている場合に、前記判断手段が、前記算出された各画素群毎の平均値およびばらつき値が各第１の範囲内及び各第２の範囲内であるかそれぞれ判断し、前記特定手段が、前記異色画素群として複数の画素群が検出された場合に、複数の移動体の位置を特定する構成を有している。

この構成により、請求項６に記載の発明は、第１の範囲および第２の範囲が複数の移動体毎にそれぞれ定められているので、所定領域を撮像した画像に複数の移動体が存在する場合であっても、的確に各移動体を特定することができる。

また、請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の移動体位置検出装置において、前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づいて条件を予め設定する設定手段を更に備える構成を有している。

この構成により、請求項７に記載の発明は、移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づいて条件を予め設定するので、移動体を検出する所定領域に併せて条件を変更することができ、当該所定領域に存在する移動体を的確に検出することができる。

また、請求項８に記載の発明は、請求項７に記載の移動体位置検出装置において、前記画像が動画像の場合に、前記設定手段が、所定のタイミング毎に前記条件を設定する構成を有している。

この構成により、請求項８に記載の発明は、所定のタイミング毎に条件を設定するので、動画像などの移動体を検出する所定領域における背景画像が刻々と変化する場合であっても、的確に移動体を検出することができる。

また、請求項９に記載の発明は、撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出方法であって、前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得工程と、前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出工程と、前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出工程と、前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定工程と、を含む構成を有している。

この構成により、請求項９に記載の発明は、移動体が所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出するとともに、検出された異色画素群に対応する背景画像の画像位置に基づいて所定領域における移動体の位置を特定する。

したがって、請求項９に記載の発明は、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における位置情報を的確に検出することができる。

また、請求項１０に記載の発明は、コンピュータによって、撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出プログラムであって、前記コンピュータを、前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得手段、前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出手段、前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出手段、前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定手段、として機能させる構成を有している。

この構成により、請求項１０に記載の発明は、移動体が所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出するとともに、検出された異色画素群に対応する背景画像の画像位置に基づいて所定領域における移動体の位置を特定する。

したがって、請求項１０に記載の発明は、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における位置情報を的確に検出することができる。

本願発明は、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における位置情報を的確に検出することができる。

次に、本発明に好適な実施の形態について、図面に基づいて説明する。

なお、以下に説明する実施の形態は、スポーツの試合内容として一定の領域において行われるスポーツ、特に、サッカーを用いて説明するとともに、試合を行っている選手およびその試合で使用されるボールを移動体として検出し、当該移動体の位置を検出するためのシステム（以下、移動体検出システムという。）に対して本発明を適用した場合の実施形態である。

まず、図１を用いて本実施形態における移動体検出システムの概略構成について説明する。なお、図１は、本願に係る移動体検出システムの構成を示すブロック図である。

本実施形態の移動体検出システムＳは、図１に示すように、スポーツの試合が行われる対象となる一定の領域（以下、「対象領域」という。）を撮像し、動画像データを出力する撮像カメラ装置１００と、撮像された動画像データに基づいて試合を行っている選手および当該試合に用いられているボールなどの当該スポーツの試合に関する移動体のデータ（以下、「移動体位置データ」という。）を検出する移動体検出装置２００と、から構成される。

撮像カメラ装置１００は、競技場、体育館などのスポーツの試合が行われる会場に設けられたコートまたはグラウンドと呼ばれる一定の対象領域（以下、単に「グラウンド」ともいう。）を当該対象領域の側方（以下、「グラウンドサイド」いう。）から鳥瞰的に撮像するようになっている。また、この撮像カメラ装置１００は、一台、または、複数台、グラウンドサイドに設けられ、基本的には、グラウンド全体を鳥瞰的に撮像するようになっており、スポーツの試合中に予め定められた撮像範囲を固定して撮像するようになっている。

なお、複数台にてグラウンド内を撮像する際には、本実施形態の撮像カメラ装置１００は、当該撮像するグラウンド内の予め定められた撮像範囲毎に、グラウンドサイドに設けられている。

また、鳥瞰的に撮像するとは、グラウンドの面を基準として当該グラウンドの側方上部から当該グラウンド面を見下ろすように撮像することをいい、当該グラウンドからの高さについては特に限定はない。ただし、グラウンドの側方とは、一方の側方だけなく、他方の側方、例えば、サッカーの試合で言えば、サイドライン側だけでなく、エンドライン側も含むが、本願の撮像カメラ装置１００は、何れか一方の側方から撮像されるようになっている。

移動体検出装置２００は、各選手およびボールなどの複数の移動体がグラウンドサイドから鳥瞰的に撮像された動画像データに基づいて、当該動画像データの画像上における移動体を認識し、認識された各移動体の位置を特定するようになっており、当該特定された各移動体の位置を移動体位置データとして外部に出力するようになっている。

特に、本実施形態の移動体検出装置２００は、撮像された画像データをフレーム毎のデータ（以下、「フレームデータ」という。）に変換し、各フレームデータにて構成される画像に対して、各画素毎に、画素の色の含有率を算出し、当該算出された含有率（以下、「色含有率」という。）に基づいて、何れの移動体も存在しない所定領域の画像（以下、「背景画像」という。）を基準に、複数の画素の纏まり（以下、「画素群」という。）毎に移動体の有無を検出するようになっている。

具体的には、本実施形態の移動体検出装置２００は、各フレームデータ毎に各画素の輝度情報を除去した所定の色、詳細には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）における色含有率を色度として算出するとともに、撮像カメラ装置１００にて予め定められた画角における隣接する複数の画素から構成される画素群毎に、当該色含有率の平均値（以下、「色度平均値」という。）と、当該色度平均値における分散（以下、「色度分散」という。）または標準偏差（以下、「色度標準偏差」という。）のばらつき値（以下、「色度ばらつき値」という。）と、を算出するようになっている。

また、この移動体検出装置２００は、当該算出された各画素群毎の色度平均値および色度ばらつき値と、当該画素群に対応する、すなわち、背景画像における撮像カメラ装置１００にて予め定められた画角に対して隣接する複数の画素から構成される画素群の色含有率（以下、「基準含有率」という。）の平均値（以下、「基準平均値」という。）および当該基準平均値の分散（以下、「基準分散」という。）または標準偏差（以下、「基準標準偏差」という。）のばらつき値（以下、「基準ばらつき値」という。）と、を比較するようになっている。

そして、移動体検出装置２００は、各平均値および各ばらつき値を比較した結果、画素群毎に、各色度平均値および各色度ばらつき値が、対応する画素群の基準平均値および基準ばらつき値における予め定められた範囲内に含まれる場合には、当該画素群が背景画像の対応する画素群と同一であると判断して当該画素群に移動体が存在しないことを検出するとともに、対応する画素群の基準平均値および基準ばらつき値における予め定められた範囲内に含まれない場合には、当該画素群に移動体が存在することを検出するようになっている。

なお、本実施形態では、基準平均値および基準ばらつき値は、背景画像における各画素毎に算出された各色における基準含有率に基づき予め定められるようになっている。

すなわち、この移動体検出装置２００は、撮像された画像を構成する画素群の中心画素と撮像カメラ装置１００と所定領域において当該画素に対応する場所との位置関係が予め定められており、移動体の存在が認識された画素群の中心画素に基づいて、各移動体の所定領域内の位置を算出するようになっている。

すなわち、この移動体検出装置２００は、撮像された画像を構成する画素群の中心画素と撮像カメラ装置１００と所定領域において当該画素に対応する場所との位置関係が予め定められており、移動体の存在が認識された画素群の中心画素に基づいて、各移動体の所定領域内の位置を算出するようになっている。

また、本実施形態の移動体検出装置２００は、検出された各移動体において、予め設定された各移動体における色度平均値および色度ばらつき値の閾値、または、各移動体の色の特性および輝度の特性を示すスペクトルの分布を示すデータ（以下、「スペクトルデータ」という。）に基づいて、各移動体を特定するようになっている。

このように、本実施形態の移動体検出システムＳは、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における移動体位置データを的確に検出することができるようになっている。

次に、上述と同様に、図１を用いて本実施形態の移動体検出装置２００の構成およびその動作について説明する。

本実施形態の移動体検出装置２００は、図１に示すように、撮像カメラ装置１００によって撮像されたグラウンド内の動画像データに対して所定の処理を行い、フレームデータを出力する入力処理部２１０と、移動体の検出に用いる各種のデータが格納されているデータ格納部２２０と、各フレームデータ毎に各画素の色度含有率、色度平均値および色度ばらつき値を算出する色度算出部２３０と、色度平均値等によって移動体を検出する移動体検出部２４０と、検出された各移動体および当該移動体の位置を座標位置として特定する移動体特定部２５０と、特定された移動体の位置を移動体位置データとして外部に出力する出力処理部２６０と、を備えている。

また、この移動体検出装置２００は、操作者が所定の操作を行う際に用いる操作部２７０と、各部を制御するとともに移動体を検出するための処理（以下、「移動体検出処理」）の制御を行うシステム制御部２８０と、ＲＯＭ／ＲＡＭ２９０と、を備えている。

なお、例えば、本実施形態の入力処理部２１０は、本発明の取得手段を構成し、色度算出部２３０は、本発明の色度算出手段、検出手段および平均値算出手段を構成する。また、例えば、本実施形態の移動体検出部２４０は、本発明の検出手段、判断手段および画素群検出手段を構成し、移動体特定部２５０は、本発明の特定手段を構成する。

入力処理部２１０には、撮像カメラ装置１００から出力された動画像データが入力されるようになっており、この入力処理部２１０は、入力された動画像データに対して所定の処理を行い、予め定められたデータ形式に変換するようになっている。また、この入力処理部２１０は、データ形式が変換された動画像データを１／３０秒毎にフレームデータとして色度算出部２３０に出力するようになっている。

データ格納部２２０には、予め定められた画素群毎に、すなわち、色度平均値および色度ばらつき値を算出する際に定められた画素群毎に、基準平均値および基準分散または基準標準偏差の基準ばらつき値を示す基準色度データと、試合に登場する各選手およびボールなど検出すべき各移動体毎に、移動体の名称など移動体の種別を示す種別情報とともに、色度平均値および色度ばらつき値の閾値を示す移動体色度データ、または、各移動体の色の特性および輝度の特性を示すスペクトルデータとが格納されている。

特に、このデータ格納部２２０には、スペクトルデータとしては、試合に登場する各選手が撮像された各画像の各フレームデータに基づいて算出された各移動体のデータが格納されている。

また、このデータ格納部２２０には、撮像された画像を構成する各画素群の中心画素と撮像カメラ装置１００と所定領域において当該画素に対応する場所との位置関係を示す位置関係データが格納されている。

具体的には、本実施形態のデータ格納部２２０には、図２に示すように、固定的に撮像された所定領域の画像において、３×３の画素Ｐから構成される画素群Ａにおける中心画素Ｏと実際の所定領域における位置、詳細には、グラウンド内を示すｘ軸およびｙ軸にて表される位置とを対応付けたデータが位置関係データとして記憶されている。

すなわち、このデータ格納部２２０には、位置関係データとしては、実際の所定領域の空間における２軸、例えば、サッカーの場合には、一方のサイドラインをｘ軸、当該サイドラインと直交する他方のサイドラインをｙ軸とした座標の値を示すデータが記憶されている。

なお、図２に示す位置関係データ（ｘ、ｙ）＝（０，１９）とは、各サイドラインｘ軸およびｙ軸の位置を示すデータである。

色度算出部２３０には、各フレームデータが順次入力されるようになっており、この色度算出部２３０は、入力されたフレームデータ毎に、当該各フレームデータにて構成される画像の各画素における色含有率を算出するとともに、当該算出された各画素の色含有率に基づいて、当該色含有率の平均値およびそのばらつき値を色度平均値または色度ばらつき値として算出するようになっている。

具体的には、本実施形態の色度算出部２３０は、上述のように、入力された各フレームデータにおける各画素のＲ、Ｇ、Ｂの各色の含有率を例えば２５６階調によって解析するとともに、当該解析結果の各値から輝度的な情報を除去し、すなわち、最小の色の階調値によって正規化し、特定の２色に対してまたは３色全てに対する色含有率を算出するようになっている。そして、この色度算出部２３０は、算出された色含有率を各色の全体に対する、詳細には、各色の割合に基づく合計値に対する含有率に変換し、当該変換された色含有率（以下、「変換色含有率」という。）に基づいて、当該変換色含有率の平均値およびそのばらつき値を色度平均値または色度ばらつき値として算出するようになっている。すなわち、本実施形態の色度算出部２３０は、ＣＩＥ（Commission International de l'Eclairage：国際照明委員会）表色系におけるＲＧＢ表示系からＸＹＺ表示系（ＸＹＺ刺激値座標）に変換する際と同様に、色含有率に対して直交２軸変換することによって変換色含有率を算出し、色度平均値または色度ばらつき値を容易に算出するようになっている。

例えば、本実施形態の色度算出部２３０は、２５６階調（０〜２５５）によって（式１）のように解析すると、これらの値を正規化して、（式２）のように各階調値を算出するようになっている。

Ｒ＝６０、Ｇ＝３０、Ｂ＝１０ ・・・（式１）
Ｒ₁＝５０、Ｇ₁＝２０、Ｂ₁＝０ ・・・（式２）
ただし、（式２）は、（式１）を階調値の最小値を示す「Ｂ」について正規化していることを示す。

また、この色度算出部２３０は、正規化した各階調値に基づいて、（式３）および（式４）を用いて各色の変換色含有率を求めつつ、（式５）を用いて３色における変換色含有率「ＰＱ」を算出するようになっている。

Ｒ₂ ＝ （Ｒ₁・ｒ）／Ｙ
Ｇ₂ ＝ （Ｇ₁・ｇ）／Ｙ
Ｂ₂ ＝ （Ｂ₁・ｂ）／Ｙ ・・・（式３）
Ｙ＝（Ｒ₁・ｒ）＋（Ｇ₁・ｇ）＋（Ｂ₁・ｂ） ・・・（式４）
ＰＱ＝（Ｒ_Y、Ｇ_Y、Ｂ_Y）・Ｔ ・・・（式５）
なお、「Ｙ」は、「Ｒ₁」「Ｇ₁」および「Ｂ₁」各色の割合に基づく合計値を示し、「ｒ」、「ｇ」および「ｂ」は、種々の条件により定められる任意の値である。また、「Ｔ」は、照明または天候によって規定される明るさの条件を示す値である。

そして、この色度算出部２３０は、図３に示すように、算出された変換色含有率「ＰＱ」に基づいて、撮像カメラ装置１００にて予め定められた画角における隣接する複数の画素から構成される画素群の色度平均値および色度分散または色度標準偏差の色度ばらつき値を算出し、当該算出された色度平均値および色度ばらつき値を各画素群毎に移動体検出部２４０に出力するようになっている。

特に、この色度算出部２３０は、３×３、４×４または５×５等隣接する９、１６または２５などの各画素から構成される画素群毎に、色度平均値および色度分散または色度標準偏差の色度ばらつき値を算出するようになっている。また、本実施形態の色度算出部２３０は、各画素群の全ての画素の色含有率に基づいて色度平均値および色度ばらつき値を算出してもよいし、特定の画素、例えば、一つおきに配列された画素の色含有率に基づいて色度平均値および色度ばらつき値を算出してもよい
なお、本実施形態の色度算出部２３０は、色度平均値および色度ばらつき値として、各「Ｒ₂」「Ｇ₂」「Ｂ₂」の色度座標（三値刺激値座標）における色度図上の平均値および分散または標準偏差を算出することによって、色度平均値および色度ばらつき値を算出するようになっている。

また、本実施形態の色度算出部２３０は、算出された各色の色含有率に基づいて特定の２色または３色全てに対する色差の値（以下、「色差値」という。）を算出し、当該色差値に基づいて色度平均値および色度ばらつき値を算出するようにしてもよい。この場合には、例えば、色度算出部２３０は、色差値に対して、すなわち、各含有率により定まる値の所定のグラフ上の距離等に基づいて平均値およびばらつき値を色度平均値および色度ばらつき値として算出するようになる。

移動体検出部２４０には、各画素群毎に当該画素群に対応する色度平均値および色度ばらつき値が入力されるようになっており、この移動体検出部２４０は、入力された各画素群毎の色度平均値および色度ばらつき値と、データ格納部２２０に格納された基準色データと、を対応する画素群毎に比較するようになっている。

また、この移動体検出部２４０は、各平均値および各ばらつき値を比較した結果、画素群毎に、各色度平均値および各色度ばらつき値が、対応する画素群の基準平均値および基準ばらつき値における予め定められたそれぞれの範囲内に含まれる場合には、当該画素群が背景画像の対応する画素群と同一であると判断して移動体が存在しないことを検出し、対応する画素群の基準平均値および基準ばらつき値における予め定められた範囲内に含まれない場合には、当該画素群に移動体が存在することを検出するようになっている。

具体的には、本実施形態の移動体検出部２４０は、入力された各画素群毎の色度平均値および色度ばらつき値と、撮像カメラ装置１００にて予め定められた画角における隣接する複数の画素から構成される画素群において、入力された画素群に対応する画素群の基準平均値および基準ばらつき値と、を比較するようになっている。

すなわち、基準平均値および基準ばらつき値は、図３に示す中心及び偏差のエリアを示し、本実施形態の移動体検出部２４０は、色度平均値が図３に示す中心値に対して所定の範囲内に属し、かつ、ばらつき値が図３に示す偏差のエリアに含まれるか否かを判断するようになっており、色度平均値が図３に示す中心値に対して所定の範囲内に属し、かつ、ばらつき値が図３に示す偏差のエリアに含まれる場合には、基準平均値および基準ばらつき値によって示される色度と同一、言い換えれば、背景画像の該当する画素群と同一の色度として判断するようになっている。したがって、本実施形態の移動体検出部２４０は、対応する画素群の基準平均値および基準ばらつき値における予め定められた範囲内に含まれない場合には、当該画素群が背景画素の該当する画素群と異なる色度、すなわち、異色の画素群（以下、「異色画素群」という。）であるので、移動体が存在すると判断して、当該画素群に移動体が存在することを検出するようになっている。

なお、図３に示す補助線は、色度における明度（明るさ）にて基準平均値に基づく基準ばらつき値の範囲の変化を示している。すなわち、図３では、基準平均値が高くなる（色度における明度が高くなる）と、基準ばらつき値の範囲が広くなり、基準平均値が低くなる（色度における明度が低くなる）と、基準ばらつき値の範囲が狭くなることを示している。

移動体特定部２５０は、移動体の存在が検出された画素群がある場合に、当該画素群の色度平均値および色度ばらつき値と移動体毎にデータ格納部２２０に格納された移動体色度データとを比較し、または、当該移動体の検出対象となっているフレームデータの以前に処理された複数のフレームデータ（以下、「前フレームデータ」という。）と当該検出対象となっているフレームデータ（以下、「現フレームデータ」という。）に基づいて、データ格納部２２０に格納されたスペクトルデータを比較し、各移動体を特定するようになっている。そして、この移動体特定部２５０は、特定された移動体における識別を可能にするためにデータ格納部２２０における該当する移動体色度データに対応して記憶されている種別データを付加するようになっている。

特に、本実施形態の移動体特定部２５０は、移動体色度データにて移動体を特定する場合には、各移動体毎に定められた色度平均値および色度ばらつき値と比較し、移動体の存在が検出された画素群毎に、移動体の色度平均値および色度ばらつき値に属する移動体を特定するようになっている。

また、本実施形態の移動体特定部２５０は、スペクトルデータにて移動体を特定する場合には、前フレームデータにて検出された移動体の各位置と連関性を有する現フレームデータにおいて各移動体を認識し、認識された各移動体に対応する複数のフレームデータの各画素群の変化とデータ格納部に格納された各スペクトルデータを比較して各移動体を特定するようになっている。

すなわち、連続したフレームデータにおいては、移動体は、前フレームデータにて特定された位置から次のフレームデータにおいてその位置または当該位置の周辺に存在することになるので、移動体特定部２５０は、処理の対象となっているフレームデータを含め、複数のフレームデータに基づいて、各フレームデータにおける移動体の連関性を特定し、具体的には、一のフレームデータにおいて識別された各移動体と他のフレームデータにて識別された各移動体を関連付け、複数フレームに渡って存在する各移動体、例えば、サッカーの場合には、選手２２人とボールを特定するとともに、当該各移動体の各フレームデータの画像位置を特定し、各移動体の複数フレームデータにおける該当する画素群と、スペクトルデータを比較することによって処理の対象となっているフレームデータにおける各移動体を特定するようになっている。

一方、移動体特定部２５０は、移動体の存在が検出された画素群がある場合に、データ格納部２２０に格納された位置データに基づいて、当該画素群の中心位置における所定領域の位置を特定し、当該特定した移動体位置データを特定された移動体の種別データとともに出力処理部２６０に出力するようになっている。

特に、本実施形態の移動体特定部２５０は、上述のように、移動体位置データとして実際の所定領域の空間における２軸、すなわち、サッカーの場合には、一方のサイドラインをｘ軸、当該サイドラインと直交する他方のサイドラインをｙ軸とした座標の値を示すをデータを特定するようになっている。

出力処理部２６０には、移動体特定部２５０において特定された移動体の種別データとその移動体位置データが入力されるようになっている。また、この出力処理部２６０は、入力された各移動体の種別データおよび移動体位置データを所定のデータ形式に変換して出力端子Ｔを介して外部に出力するようになっている。

操作部２７０は、各種確認ボタン、各操作指令を入力する操作ボタン、テンキーおよびその他の数字キーなどの多数のキーにより構成され、本実施形態では、ユーザによって操作され、基準色度データ、種別データ、移動体色度データなどの各種のデータの設定、登録、および修正の際に、または、移動体の位置を検出する処理（以下、「移動体位置検出処理」という。）を開始する際に用いられるようになっている。

システム制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、移動体検出装置２００の全般的な機能を総括的に制御するようになっており、各部とはバスＢによって接続されている。そして、このシステム制御部２８０は、ＲＯＭ／ＲＡＭに格納される制御プログラムを読み出すようになっており、当該ＲＯＭ／ＲＡＭに処理中のデータを一時的に保持しつつ、読み出された制御プログラムに基づいて各種の処理を実行するようになっている。特に、本実施形態では、システム制御部２８０は、各フレームデータ毎に移動体の位置を検出する移動体位置検出処理の制御を行うようになっている。

次に、図４を用いて本実施形態における移動体位置検出処理の動作について説明する。なお、図４は、本実施形態における移動体位置検出処理の動作を示すフローチャートである。

以下の説明において、基準平均値および基準ばらつき値を示す基準色度データと、移動体色度データまたはスペクトルデータと、が予めデータ格納部２２０に記憶されているものとする。

まず、撮像カメラ装置１００が固定設置され撮像を開始し、操作部２７０を介してシステム制御部２８０が移動体位置検出処理の動作開始を検出すると（ステップＳ１０１）、システム制御部２８０は、入力処理部２１０に所定の入力処理を実行させ、撮像カメラ装置１００によって撮像された動画像データをフレームデータとして色度算出部２３０に出力させ（ステップＳ１０２）、各部を制御してフレームデータ毎に以下の処理を実行させる。

次いで、色度算出部２３０にフレームデータが入力されると、当該色度算出部２３０は、各画素の色含有率を算出するとともに、予め定められた画素群毎に色度平均値および色度ばらつきを算出し、算出された色度平均値および色度ばらつき値を各画素群に対応付けてデータとして移動体検出部２４０に出力する（ステップＳ１０３）。

次いで、移動体検出部２４０に各画素群に算出された色度平均値および色度ばらつき値が入力されると、当該移動体検出部２４０はデータ格納部２２０に格納された基準色度データに基づいて各画素群毎に背景画像の該当する画素群と異なる色度平均値または色度ばらつき値を有する異色画素群を検出し、当該移動体が存在すると検出された画素群の画像を構成する際の位置をデータとして移動体特定部２５０に出力する（ステップＳ１０４）。

次いで、移動体特定部２５０に移動体が存在すると検出された画素群の画像を構成する際の位置が入力されると、当該移動体特定部２５０は、データ格納部２２０に格納された移動体色度データまたはスペクトルデータに基づいて、当該移動体が存在すると検出された画素群に存在する移動体を特定する（ステップＳ１０５）。

なお、移動体特定部２５０は、移動体色度データに基づいて移動体が存在すると検出された画素群に存在する移動体を特定する場合には、移動体検出部２４０において該当する画素群の色度平均値および色度ばらつきを取得して移動体を特定し、スペクトルデータに基づいて移動体が存在すると検出された画素群に存在する移動体を特定する場合には、当該フレームデータと当該フレームデータ前に入力された前フレームデータとに基づいて移動体を特定する。

次いで、移動体特定部２５０は、移動体が存在すると検出された画素群の中心画素を認識するとともに、データ格納部２２０に格納された位置関係データに基づいて当該中心画素の所定領域における位置を特定し、特定された移動体と中心画像の位置を移動体位置データとして出力処理部２６０に出力する（ステップＳ１０６）。

次いで、出力処理部２６０は、入力された各移動体位置データを所定のデータ形式に変換して出力端子を介して外部に出力する（ステップＳ１０７）。

最後に、システム制御部２８０は、次のフレームデータがある否かを判断し（ステップＳ１０８）、次のフレームデータがあると判断した場合には、入力処理部２１０に該当するフレームデータを色度算出部２３０に出力させ、ステップＳ１０３の処理に移行する。

以上本実施形態の移動体検出システムＳは、画像の各画素の色の情報である色度に基づいて所定領域を平面的に撮像した２次元画像における移動体の存在の有無および当該画像内の移動体の位置を認識することができるので、２次元画像として撮像された画像データにおける画像の位置と対象領域を対応付けることによって、色に関する情報のみに基づき当該画像から各移動体の対象領域における位置データを的確に検出することができる。

また、本実施形態の移動体検出システムＳは、複数の前記画素が構成される画素群毎に算出された各色度の算出された平均値または当該平均値のばらつき値が予め定められた基準平均値および基準ばらつき値の所定の範囲外である場合に、当該判断の対象となった平均値およびばらつき値を有する画素群を異色画素群として検出し、当該異色画素群に移動体が存在することを検出する。

したがって、この移動体検出システムＳは、色度における平均値とばらつき値を用いて移動体を検出することによって、画像における変化、すなわち、背景画像に移動体が写り込んだ際の変化を検出することができるので、画像に各種の色が存在する場合であっても、的確に移動体の存在の有無を検出することができる。

なお、本実施形態の移動体検出システムＳは、予め移動体が存在すべき所定領域を背景画像として撮像するとともに、当該背景画像の各色の階調値を解析することによって基準平均値および基準ばらつき値を設定し、データ格納部２２０に格納するようにしてもよい。

また、本実施形態の移動体検出システムＳは、所定のタイミング毎に背景画像を撮像し、当該背景画像が撮像される毎に、基準平均値および基準ばらつき値を算出してデータ格納部２２０に格納するようにしてもよい。これにより、動画像などの移動体を検出する所定領域における背景画像が刻々と変化する場合であっても、的確に移動体を検出することができる。

また、本実施形態の移動体検出装置２００は、色含有率として、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の含有率を算出するようになっているが、１色、特定の２色、または、他の色であってもよい。

また、本実施形態の各部は、移動体位置検出処理の動作に従って当該移動体位置検出処理における各動作を行うようになっているが、当該移動体位置検出処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の移動体検出処理の動作を行うようにしてもよい。

また、本実施形態の移動体検出装置２００は、予め固定設置された撮像カメラ装置１００にて撮像された画像データ（フレームデータ）から予め記憶された位置関係データに基づいて移動体の座標位置を特定するようになっているが、画像データからグラウンド内の座標軸を算出し、当該算出されたグラウンドの座標軸に基づいて各移動体の座標位置を特定するようにしてもよい。

具体的には、本実施形態の移動体検出装置２００は、撮像された画像データにおいて、予め定められたグラウンドの地点を認識し、当該各地点の位置関係、すなわち、相対的な位置関係に基づいてグラウンドの各座標軸を認識するようになっており、当該認識された座標軸（ｘ軸およびｙ軸）に基づいて、各移動体が認識された画素位置に対応付けて当該各移動体の座標位置を特定する。

例えば、サッカーグランドの場合には、本実施形態の移動体検出装置２００は、センターサークル内の中心点、センターラインとサイドラインの交点（以下、「ライン交点」という。）およびゴールエリアの交点（以下、「ゴールエリア交点」という。）を、画像データ内から認識し、予め定められた中心点、ライン交点およびサイドライン交点の距離および相対的な位置関係に基づいて、当該画像データにおけるグラウンドの座標軸（ｘ軸およびＹ軸）を認識する。そして、この移動体検出装置２００は、認識された座標軸に基づいて各移動体の座標位置を認識する。このような構成を有することにより、たとえ、撮像カメラ装置１００が固定設置されず、移動体とともに追従したとしても、予め定められたグラウンドの各地点を認識することができれば、画像データにおける座標軸を認識することができるので、各移動体の座標位置を特定することができるようになっている。

本願に係る移動体検出システムの構成を示すブロック図である。 一実施形態におけるデータ格納部に格納される位置関係データを説明するための図である。 一実施形態における色度算出部にて算出される色度平均値および色度ばらつき値の算出に関して説明するための図である。 一実施形態の移動体位置検出処理の動作を示すフローチャートである。

符号の説明

Ｓ … 移動体検出システム
１００ … 撮像カメラ装置
２００ … 移動体検出装置
２１０ … 入力処理部
２２０ … データ格納部
２３０ … 色度算出部
２４０ … 移動体検出部
２５０ … 移動体特定部
２６０ … 出力処理部
２７０ … 操作部
２８０ … システム制御部
２９０ … ＲＯＭ／ＲＡＭ

Claims (11)

1. 撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出装置であって、
   前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得手段と、
   前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出手段と、
   前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出手段と、
   前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定手段と、
   を備えること特徴とする移動体位置検出装置。
2. 請求項１に記載の移動体位置検出装置において、
   前記色度算出手段が、前記画素群毎に、当該画素群に含まれる各画素の前記算出された色の含有率に基づいて少なくとも２色以上の色差を示す色差値を色度として算出することを特徴とする移動体位置検出装置。
3. 請求項１または２に記載の移動体位置検出装置において、
   前記検出手段が、
   複数の前記画素が構成される画素群毎に、前記算出された各色度の平均値と当該平均値のばらつきを示すばらつき値を算出する平均値算出手段と、
   前記算出された平均値が、前記背景画像における該当する画素群の色度に基づき予め設定された第１の範囲内であり、かつ、当該平均値におけるばらつき値が前記背景画像における該当する画素群の色度に基づき予め設定された第２の範囲内であるか否かを判断する判断手段と、
   前記平均値が第１の範囲外に属する場合、または、前記ばらつき値が第２の範囲外に属する場合の少なくとの何れか一方の場合に、当該判断の対象となった平均値およびばらつき値を有する前記画素群を前記異色画素群として検出する画素群検出手段と、
   を有することを特徴とする移動体位置検出装置。
4. 請求項３に記載の移動体位置検出装置において、
   前記ばらつき値が、前記平均値の標準偏差を示す値であることを特徴とする移動体位置検出装置。
5. 請求項３に記載の移動体位置検出装置において、
   前記ばらつき値が、前記平均値の分散を示す値であることを特徴とする移動体位置検出装置。
6. 請求項３乃至５の何れか一項に記載の移動体位置検出装置において、
   前記第１の範囲および前記第２の範囲が移動体毎にそれぞれ対応して予め複数設定されている場合に、
   前記判断手段が、前記算出された各画素群毎の平均値およびばらつき値が各第１の範囲内及び各第２の範囲内であるかそれぞれ判断し、
   前記特定手段が、前記異色画素群として複数の画素群が検出された場合に、複数の移動体の位置を特定することを特徴とする移動体位置検出装置。
7. 請求項１乃至６の何れか一項に記載の移動体位置検出装置において、
   前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づいて前記条件を予め設定する設定手段を更に備えることを特徴とする移動体位置検出装置。
8. 請求項７に記載の移動体位置検出装置において、
   前記画像が動画像の場合に、
   前記設定手段が、所定のタイミング毎に前記条件を設定することを特徴とする移動体位置検出装置。
9. 撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出方法であって、
   前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得工程と、
   前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出工程と、
   前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出工程と、
   前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定工程と、
   を含むこと特徴とする移動体位置検出方法。
10. コンピュータによって、撮像カメラ装置にて所定領域内を撮像した画像に基づいて当該所定領域内を移動する移動体の位置を検出する移動体位置検出プログラムであって、
    前記コンピュータを、
    前記撮像カメラ装置によって撮像された所定領域の画像を取得する取得手段、
    前記取得された画像を構成する各画素毎に当該画素を構成する所定の色の含有率を算出し、各画素の色の度合いを示す色度を算出する色度算出手段、
    前記移動体が前記所定領域に存在しない場合の画像からなる背景画像に基づき予め定められた条件を基準に、複数の前記画素にて構成される画素群毎に、当該画素群に含まれる各画素の前記算出された色度に基づいて前記背景画像における該当する画素群と異なる色度を有する画素群を異色画素群として検出する検出手段、
    前記検出された異色画素群に対応する背景画像の画像位置に基づいて前記所定領域における移動体の位置を特定する特定手段、
    として機能させることを特徴とする移動体位置検出プログラム。
11. 請求項１０に記載の移動体位置情報検出プログラムをコンピュータに読み取り可能に記録したことを特徴とする情報記録媒体。

Images