JP2001273500A

JP2001273500A - 運動物体計測装置および球技分析システムおよびデータサービスシステム

Info

Publication number: JP2001273500A
Application number: JP2000087138A
Authority: JP
Inventors: Kazuya Takahashi; 一哉高橋; Katsutoshi Kobayashi; 克年小林; Yoshiaki Usami; 芳明宇佐美; Masanori Miyoshi; 雅則三好; Hideki Fujii; 秀樹藤井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-03-23
Filing date: 2000-03-23
Publication date: 2001-10-05

Abstract

(57)【要約】【課題】球技を撮影したＴＶ画像からボールの高さを含
むワールド座標を検出することができない。【解決手段】ＴＶカメラ１１と、運動物体が存在する空
間を基準とした座標系であるワールド座標軌跡を抽出す
るワールド座標軌跡抽出セット１２を設け、前記ＴＶカ
メラによって撮影した画像から運動物体を検出して該運
動物体の軌跡をカメラ基準の座標系からワールド座標に
変換して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、サッカー，バレー
ボール，水球，バスケットボール，ハンドボールなどの
球技におけるボールや選手の運動軌跡を抽出する運動物
体計測装置および球技分析システムおよびそのデータサ
ービスシステムに関する。

【０００２】

【従来の技術】運動物体計測装置は、例えば、吉田=小
沢：「サッカー中継のシーン解析」：第２回画像センシ
ングシンポジウム：F-4(1966) に見られるように、単一
方向からの映像を画像処理してボールと選手を検出して
ディスプレイ上の座標即ちカメラ座標を特定し、ボール
と選手は常にグランド面に接しているという仮定のもと
に、カメラ座標をグランド上座標即ちワールド座標に変
換している。

【０００３】ここで、カメラ座標とワールド座標につい
て説明する。グランド上を移動あるいは飛翔している運
動物体をＴＶカメラで撮影すると、グランド上の３次元
の世界はカメラの結像面上に２次元のＴＶ画像として透
視変換される。グランド上には３次元の座標系を設ける
ことができ、グランド上の運動物体の存在位置や移動
は、この３次元の座標系で表現することができる。この
３次元座標をワールド座標と言う。

【０００４】一方、カメラの結像面上の２次元座標でカ
メラ画像上の運動物体の存在位置や移動を表現すること
ができる。この２次元座標をカメラ座標と言う。

【０００５】ワールド座標からカメラ座標への変換は、
３次元座標から２次元座標への変換であり、情報を減ず
る変換であるから１方向からのカメラで十分である。し
かし、カメラ座標からワールド座標への変換は、２次元
座標から３次元座標への情報が増える変換であるから、
何らかの情報や運動物体存在位置の拘束条件をカメラ座
標に加えなければならない。

【０００６】吉田=小沢は、画像処理で得た選手とボー
ルのカメラ座標に運動物体はグランド面に接していると
いう条件を加えてワールド座標に変換している。変換法
は、８個のカメラパラメータを用いるもので、キャリブ
レーション操作で前記８個のカメラパラメータを求めた
上で連立方程式を解いてカメラ座標からワールド座標へ
変換する方法をとっている。

【０００７】

【発明が解決しようとする課題】従来法では、選手とボ
ールはグランド面に接している前提であるので、実際の
ゲームにおけるボールの高さを含むワールド座標を検出
することができないという課題がある。

【０００８】本発明の目的は、カメラで撮影して得た画
像に基づいて運動物体の３次元ワールド座標を検出する
ことにある。

【０００９】

【課題を解決するための手段】本発明の運動物体計測装
置は、このような課題を解決するもので、第１の解決手
段は、一方向のカメラで撮影した撮影画像を画像処理手
段で処理する構成であり、この画像処理手段は、画像入
力，選手とボールの検出処理，ボール識別処理，選手と
ボール追跡処理，座標変換処理，ボール接地検出処理，
ボール座標修正処理，ボール高さ計測処理，選手とボー
ルの軌跡抽出処理を１サイクルとして行うように構成し
た。

【００１０】この第１の解決手段は、選手とボールの検
出処理とボール識別処理で両者を区別して検出し、選手
とボールの追跡処理によってカメラ座標上での選手座標
とボール座標を求める。時々刻々と計測される選手とボ
ールの座標列は、それぞれのカメラ軌跡となる。そし
て、座標変換処理で選手軌跡とボール軌跡をそれぞれワ
ールド座標軌跡に変換する。選手は略グランド面に接し
ているので前記ワールド座標軌跡はそのまま所望の選手
の軌跡とする。一方、ボールは必ずしもグランドに接し
ていないので、ボール軌跡は所望のボールの軌跡ではな
い。そこで、ボール接地検出処理によって前記ボールの
接地位置のワールド座標を求めた上で、前記ボールの設
置位置同士を直線あるいはモデル曲線で結び、これをボ
ールのグランド面上での軌跡として前記ボールのワール
ド座標軌跡を置き換える。そして、修正前のワールド座
標と修正後のワールド座標を使って、ボール高さ計測処
理でボールの高さを算出する。この修正済みのボールの
ワールド座標軌跡に前記ボールの高さを加えて３次元の
ワールド座標軌跡を得る。

【００１１】第２の解決手段は、複数方向のカメラで撮
影した画像を画像処理する構成であり、各方向のカメラ
毎に画像処理手段と通信手段を備え、画像処理手段は、
画像入力，選手とボールの検出処理，ボール識別処理，
選手とボール追跡処理，座標変換処理，軌跡通信処理を
１サイクルとして行うように構成した。

【００１２】この第２の解決手段は、各方向のカメラで
撮影した画像を画像処理して、選手とボールの検出処理
とボール識別処理で両者を区別して検出し、選手とボー
ルの追跡処理によってカメラ座標上での選手座標とボー
ル座標を求める。これを座標変換処理でワールド座標の
選手とボールの座標とする。ここで、選手は略グランド
面に接しているので、前記ワールド座標の列はそのまま
所望の選手のワールド座標軌跡となる。

【００１３】一方、ボールのワールド座標は、ボールが
グランド面に接している仮定での座標であるから、ボー
ルが宙に浮いている場合は該ワールド座標よりもカメラ
に近くなる。従って、その分範囲を広げた線分状の座標
として軌跡通信処理でデータ統合手段に送る。このデー
タ統合手段は、各方向のカメラの画像によるワールド座
標軌跡データを統合する。選手のワールド座標軌跡デー
タは、そのまま所望の選手軌跡データである。

【００１４】また、ボールの時々刻々の線分状のワール
ド座標が交差する場所が高さを除いたボールの２次元の
ワールド座標である。

【００１５】更に、ボールの２次元ワールド座標とある
画像のワールド座標からボール高さ算出手段でボールの
高さ座標を求める。そして、グランド面上の２次元ワー
ルド座標にボールの高さ座標を合わせて、所望の３次元
ワールド座標軌跡を得る。

【００１６】

【発明の実施の形態】本発明の運動物体計測装置の実施
の形態を詳細に説明する。

【００１７】ここで、カメラ座標軌跡とワールド座標軌
跡の意味を明確にする。画像処理によって自動的に、あ
るいはＴＶ画面（ＴＶ画像＝撮影画像）を目視すること
によってフレーム毎に運動物体（選手とボール）のカメ
ラ座標での存在位置を検出することができる。フレーム
毎あるいは所定間隔フレーム中の運動物体のカメラ座標
の集合（座標列）をカメラ座標軌跡と呼ぶ。また、フレ
ーム毎あるいは所定間隔フレーム中の運動物体のカメラ
座標をワールド座標に変換して得た座標列をワールド座
標軌跡と言う。なお、運動物体における選手は、グラン
ド上に実質的に拘束されて運動する非飛翔物体であり、
ボールはグランド上を離れて運動する可能性がある飛翔
物体である。

【００１８】図１は、本発明の運動物体計測装置の第１
の実施の形態であるサッカーゲーム計測装置のブロック
図である。ボールは図示を省略し、選手も人数を減じて
図示している。

【００１９】この実施の形態におけるサッカーゲーム計
測装置は、複数組のＴＶカメラ１１とワールド座標軌跡
抽出セット１２を備える。各ワールド座標軌跡抽出セッ
ト１２は、画像処理手段１３と記憶手段１４と通信手段
１５を備える。

【００２０】この実施の形態では、グランドの総てを覆
う（賄う）ために、広さに応じて、複数組のＴＶカメラ
１１とワールド座標軌跡抽出セット１２を設置している
が、各ワールド座標軌跡抽出セット１２のＴＶカメラ１
１は、同一方向または異なる方向を向かせる必要はな
く、各ワールド座標軌跡抽出セット１２は、独立にワー
ルド座標軌跡を抽出して記憶手段１４に記録する。ま
た、各ワールド座標軌跡抽出セット１２の通信手段１５
は、各ワールド座標軌跡抽出セット１２の抽出軌跡デー
タをローカルネット通信でデータ統合手段１６に送信し
て一元管理するようにしても良い。

【００２１】図２は、画像処理手段１３が実行する画像
処理のフローチャートである。

【００２２】ステップ２００背景画像データを作成する。この背景画像は、抽出すべ
き選手やボールが存在しない競技場の画像である。背景
画像は、周知の様々な方法で作成することができるが、
例えば複数フレームの平均画像でも良いし、フレーム間
で輝度差異の生じない部分の画像をパッチワーク的に張
り合わせる方法で作成しても良い。

【００２３】ステップ２０１カメラ座標をワールド座標に変換する際に必要なカメラ
パラメータをカメラキャリブレーションによって求めて
設定する。

【００２４】ステップ２０２ＴＶカメラ１１で撮影したＴＶ画像（撮影画像）データ
を入力する。

【００２５】ステップ２０３入力したＴＶ画像から選手とボールを検出する。この検
出は、例えば、ステップ２００で作成した背景画像とス
テップ２０２において入力したＴＶ画像の輝度差で物体
を検出する背景差分法によって実現することができる。
この方法では、輝度差のある領域は選手あるいはボール
であると判断する。

【００２６】ステップ２０４検出物体の中から、大きさによって選手とボールを区別
する。即ち、所定の大きさよりも大きい物体を選手と判
定し、それ以外のものをボールと判定する。更に、ボー
ルが両チームのユニフォームの色よりも輝度が際立って
大きい場合は、所定の輝度以上の物体をボールと判定す
ることもできる。

【００２７】ステップ２０５選手とボールを２つのフレームにまたがって追跡する。
即ち、前のフレームにおける物体（選手とボール）の大
きさおよび存在位置と、現フレームにおける物体（選手
とボール）の大きさおよび存在位置の差が所定の値より
も小さい場合は、同一物体が前記２フレームの間に移動
したとみなす。現フレームで始めて発生した物体は、次
のＴＶ画像入力サイクルにおいて追跡処理の対象とす
る。

【００２８】ステップ２０６選手とボールの検出座標をカメラ座標からワールド座標
に変換する。これには８個のカメラパラメータの値が必
要であるが、これは事前にキャリブレーション操作で求
まっているものとする。選手はグランド面に略接してい
るので、このステップで変換したワールド座標がそのま
ま選手のワールド座標になる。しかし、ボールは、グラ
ンド（地面）の遥か上空を飛んでいる場合があるので、
このステップで変換したワールド座標がそのままボール
のワールド座標にはならず、修正が必要である。

【００２９】ステップ２０７物体追跡ではフレーム間の移動方向をベクトル化して、
所定の時間以上隔たりのある２フレーム間での移動ベク
トルを経過時間で除したものを速度ベクトルと言う。そ
して、ボールの速度ベクトルの変化を検出し、変化の大
きい瞬間にボールが地面上でバウンドあるいは選手に蹴
られたものと判断し、この座標を記憶する。

【００３０】ステップ２０８ボールがグランド面に接しているとき、即ち、ステップ
２０７で接地を検出した時点のワールド座標はそのまま
ボールのワールド座標となる。そこで、接地時のボール
のワールド座標同士を直線あるいは予め定めたモデル曲
線で結ぶ。これが、ボールをグランド上に平行投影した
場合のワールド座標とみなし、ボールのワールド座標を
修正する。

【００３１】ステップ２０９修正済みのグランド上のボールのワールド座標と、修正
前のボールのワールド座標を用いてボールの高さを計測
する。

【００３２】ステップ２１０前記修正済みのグランド上のボールのワールド座標とス
テップ２０９で計測したボールの高さ情報を合わせる
と、ボールの３次元ワールド座標となるのでこれを記憶
手段１４に記憶する。選手の軌跡は、ステップ２０６で
変換したワールド座標を記録する。

【００３３】以上に説明した処理の流れで、ステップ２
０２からステップ２１０までをサイクリックに繰り返す
る。

【００３４】次に、カメラパラメータを求めるためのキ
ャリブレーション法を説明する。

【００３５】図３の（ａ）はカメラ座標系ｘ−ｙのＴＶ
画像（ＴＶ画面＝撮影画像）であり、左上隅を原点とし
て、水平方向にｘ軸をとり、垂直方向にｙ軸をとってい
る。図３の（ｂ）はサッカーグランド上のワールド座標
系Ｘ−Ｙ−Ｚであり、サッカーグランド中心を原点と
し、両ゴール方向をＸ軸、直交方向にＹ軸、サッカーグ
ランド面に対して鉛直に空の方向にＺ軸をとっている。

【００３６】この実施の形態では、最初は選手もボール
もグランドに接しているとみなして変換するので、ワー
ルド座標系のＺ軸の値は常に０である。従って、カメラ
座標系からワールド座標系への変換は２次元座標系から
２次元座標系の変換となり、カメラパラメータは、Ｃ１
１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２２，Ｃ２３，Ｃ３
１，Ｃ３２の８個となり、カメラ座標（ｘ，ｙ）とワー
ルド座標（Ｘ，Ｙ）の間

【００３７】には

【数１】の関係がある。

【００３８】

【数１】

【００３９】

【数２】

【００４０】数１は数２と同値である。数２でＨを消去
し、カメラパラメータを未知数として整理すると数３と
なる。

【００４１】

【数３】

【００４２】

【数４】

【００４３】数３と数４は同値である。図３の（ａ）の
任意の点、例えば点３１Ｃの座標（ｘ１，ｙ１）と対応
するワールド座標の点３１Ｗの座標（Ｘ１，Ｙ１）の対
が既知であるとすると、数４は数５となる。

【００４４】

【数５】

【００４５】

【数６】

【００４６】求むべき未知数のカメラパラメータは８個
であるので、数４を解くには８本の連立方程式が必要で
あるが、前記既知のカメラ座標とワールド座標の１対に
つき数５の如く式が２本できるから、４対以上の既知の
カメラ座標とワールド座標の対があれば、キャリブレー
ション可能で、８個のカメラパラメータを算出すること
ができる。

【００４７】図３のＴＶ画面（ａ）とワールド座標
（ｂ）には、３１Ｃと３１Ｗ、３２Ｃと３２Ｗ、３３Ｃ
と３３Ｗ、３４Ｃと３４Ｗ、３５Ｃと３５Ｗ、３６Ｃと
３６Ｗ、３７Ｃと３７Ｗ、３８Ｃと３８Ｗの８個の対を
示している。この中から一直線上にない４対以上を選択
すれば良い。例えば、３３Ｃと３３Ｗ、３４Ｃと３４
Ｗ、３５Ｃと３５Ｗ、３６Ｃと３６Ｗ、３７Ｃと３７
Ｗ、３８Ｃと３８Ｗの６対を選び、座標がそれぞれ、
（ｘ１，ｙ１）と（Ｘ１，Ｙ１）、（ｘ２，ｙ２）と
（Ｘ２，Ｙ２）、（ｘ３，ｙ３）と（Ｘ３，Ｙ３）、
（ｘ４，ｙ４）と（Ｘ４，Ｙ４）、（ｘ５，ｙ５）と
（Ｘ５，Ｙ５）、（ｘ６，ｙ６）と（Ｘ６，Ｙ６）であ
ったとすると数６となる。

【００４８】ここで、数７，数８，数９と置くと、数６
は数１０になる。

【００４９】

【数７】

【００５０】

【数８】

【００５１】

【数９】

【００５２】

【数１０】

【００５３】そして、数１１によってＣ、即ち、８個の
カメラパラメータを得ることができる。ここで、Ａ^tは
Ａの転置行列を表わし、（Ａ^t・Ａ）^-1はＡ^t・Ａの逆行
列を表わす。

【００５４】

【数１１】

【００５５】次に、ステップ２０６における座標変換処
理、即ち、８個の既知のカメラパラメータを用いて検出
物体のカメラ座標をワールド座標に変換する処理につい
て説明する。

【００５６】先ず、数２のＨを消去して、ワールド座標
（Ｘ，Ｙ）を未知数として整理すると数１２になる。数
１２は、逆行列を使って数１３と表わすことができる。

【００５７】

【数１２】

【００５８】

【数１３】

【００５９】数１３で、カメラ座標（ｘ，ｙ）はステッ
プ２０５の選手とボールの追跡処理で既知であるから、
ワールド座標（Ｘ，Ｙ）を求めることができる。

【００６０】次に、座標変換処理(ステップ２０６)の具
体的な一例を説明する。図４は、選手がグランド上を移
動した様子を示す図である。図４の（ａ）はグランドの
ＴＶ画像（ＴＶ画面）であり、（ｂ）はグランドを見下
ろした図である。（ａ）のＴＶ画像上の位置４０Ｃにい
た選手が数秒後に位置４１Ｃに移動したものとする。こ
のとき、ＴＶ画像上の選手のカメラ座標軌跡は４２Ｃで
ある。

【００６１】ここで、この選手のＴＶ画像上の足元位置
４０Ｃ、即ち、カメラ座標をワールド座標に変換すると
位置４０Ｗのワールド座標が求まる。但し、このとき、
選手の足元はグランドに接しているか、あまり離れてい
ないものとみなし、Ｚ＝０である。もう１つの選手足元
位置４１Ｃのカメラ座標をワールド座標に変換すると、
ワールド座標４１Ｗが求まる。足元位置４０Ｃから４１
Ｃまでの間の座標を総てワールド座標に変換することに
より、ワールド座標軌跡４２Ｗを求めることができる。

【００６２】次に、ステップ２０９におけるボール高さ
計測処理を説明する。図５は、ＴＶカメラ１１でボール
５０を撮影している様子を示しており、ＴＶカメラ１１
のレンズ中心Ｐとボール存在位置Ｓを通り、グランドに
垂直な平面上の様子（側面図）を示している。

【００６３】図５において、宙に浮いたボール５０がＴ
Ｖカメラ１１の視野に入っている。グランド上の位置Ｑ
に設置された高さＫのＴＶカメラ１１のレンズ中心Ｐか
らボール５０の位置Ｓを通りグランド上の位置Ｒ’に達
する線分ＰＲ’は視線を表わしている。

【００６４】グランド上の位置Ｒの上の高さｋのボール
５０を数１３でワールド座標に変換すると、グランド面
に接して位置Ｒ’にボールが存在することになる。ここ
で、ＴＶカメラ１１の高さをＫ、ＴＶカメラ１１の設置
位置ＱからＲ’までの距離をＹ、ＴＶカメラ１１の設置
位置Ｑからボール５０の真の位置Ｒまでの距離をｙとす
ると、直角三角形の相似の関係より数１４が成り立つ。
依って、Ｋが既知で計測によってｙとＹが分かればボー
ル５０の高さｋを計算することができる。

【００６５】

【数１４】

【００６６】Ｙに関してワールド座標変換で求めること
ができることは先に説明した。そこで、次に、ｙの求め
方を説明する。

【００６７】図６は、選手間をボールが飛んで行く様子
を示す図であって、（ａ）はＴＶ画像（ＴＶ画面）、
（ｂ）はグランドを真上から見下ろした図である。ボー
ル５０が選手６０から選手６１へ、更に選手６１から選
手６２へ渡る様子である。

【００６８】図６の（ａ）のＴＶ画像では、ボール軌跡
６３は湾曲しているが、（ｂ）のグランドを真上から見
下ろした図では、この軌跡６３の投影像６４は略線分で
ある。軌跡の投影像６４は、（ａ）では破線で示してい
る。そして、線分５４の端点は選手６０と選手６１の立
ち位置と同じで、しかも、ステップ２０７で求めたボー
ル５０の接地位置と同じである。そこで、接地位置６１
が求まった時点で過去に遡って接地位置６０と接地位置
６１の間のボール５０のワールド座標を計算し直す。そ
のためには、ボール５０が接地位置６０から接地位置６
１に至るまでのカメラ座標列を記憶しておく必要があ
る。

【００６９】図７は、飛翔中のボール５０を撮影して得
たＴＶ画像である。図７において、接地点６１が検出さ
れた時点で記憶しているボール５０のＴＶ画像上での位
置は、ａ，ｂ，ｃである。これらをそれぞれ垂直方向に
下ろして、接地点６０と接地点６１を結ぶ線分との交点
をａ’，ｂ’，ｃ’とすると、これらのａ’，ｂ’，
ｃ’を数１３でワールド座標に変換したものがボール５
０のグランド上のワールド座標となる。

【００７０】そして、ＴＶカメラ１１の設置位置Ｑから
ａ’，ｂ’，ｃ’までの距離が数１４のｙとなるから、
ａ’，ｂ’，ｃ’におけるボール５０の高さｋを求める
ことができる。

【００７１】以上のようにして、ボール５０のグランド
面上での（Ｘ，Ｙ）座標に、Ｚ軸方向ｋを加えて３次元
ワールド座標を求めることができる。そして、これらの
３次元ワールド座標列は、求めるべきボール５０の３次
元ワールド座標軌跡である。

【００７２】以上に説明した本発明の運動物体計測装置
の第１の実施の形態は、各ワールド座標軌跡抽出セット
が独立にワールド座標軌跡を抽出するので、競技場の状
況に応じて組数を増減し易という利点がある。

【００７３】次に、本発明の運動物体計測装置の第２の
実施の形態を説明する。

【００７４】図８は、本発明の運動物体計測装置の第２
の実施の形態であるサッカーゲーム計測装置のブロック
図である。ボールは図示を省略し、選手も人数を減じて
図示している。

【００７５】この実施の形態におけるサッカーゲーム計
測装置は、第１のＴＶカメラ８０と、第１のカメラ座標
軌跡抽出セット８１と、第１のＴＶカメラ８０と異なる
方向を向いたＴＶカメラ８２と、第２のカメラ座標軌跡
抽出セット８３と、データ統合手段８４を備える。

【００７６】第１のカメラ座標軌跡抽出セット８１は、
画像処理装置１３と通信手段１５を備え、第２のカメラ
座標軌跡抽出セット８３も同様の構成である。

【００７７】図９は、この実施の形態におけるサッカー
ゲーム計測装置によって飛翔中のボール５０を撮影して
いる図であって、（ａ）はグランドを見下ろした図、
（ｂ）はＴＶカメラ８０によるＴＶ画像（撮影画像）で
あってハーフウェイライン８５の方向を向いてタッチラ
イン８６が水平に見えている画像、（ｃ）はＴＶカメラ
８２によるＴＶ画像（撮影画像）であってタッチライン
８６の方向を向いていてハーフウェイライン８５が水平
に見えている画像である。

【００７８】図１０は、ＴＶカメラ８０によるＴＶ画像
（撮影画像）とボール存在可能位置の関係を示すもので
あって、（ａ）はＴＶカメラ８０によるＴＶ画像、
（ｂ）はグランドを見下ろした図にボール存在可能位置
を示したものである。

【００７９】図１０の（ｂ）において、ボール５０は、
グランド面に接しているならばワールド座標では黒丸１
０１上に存在し、高く上がるほど黒丸１０２の位置に近
くなる。黒丸１０１と黒丸１０２と線分１００は、ＴＶ
カメラ８０の画像におけるボール５０の位置をワールド
座標に変換したときの該ボール５０の存在可能な位置を
表わしていて、ＴＶカメラ視線に直交する方向は正確に
位置決めすることができるが、視線方向には広がりがあ
ることを意味する。

【００８０】図１１は、ＴＶカメラ８２によるＴＶ画像
（撮影画像）とボール存在可能位置の関係を示すもので
あって、（ａ）はＴＶカメラ８２によるＴＶ画像、
（ｂ）はグランドを見下ろした図にボール存在可能位置
を示したものである。

【００８１】図１１の（ｂ）において、ボール５０は、
グランド面に接しているならばワールド座標では黒丸１
１１上に存在し、高く上がるほど黒丸１１２の位置に近
くなる。黒丸１１１と黒丸１１２と線分１１０は、ＴＶ
カメラ８２の画像におけるボール５０の位置をワールド
座標に変換したときの該ボール５０の存在可能な位置を
表わしていて、ＴＶカメラ視線に直交する方向は正確に
位置決めすることができるが、視線方向には広がりがあ
ることを意味する。

【００８２】図１２は、グランドを見下ろした図にボー
ル存在可能位置の線分１００，１１０を重ねて示したも
ので、線分１００，１１０の交点１２０をボールが存在
する位置としてグランド上に投影したものである。

【００８３】そして、この位置をＲ、グランドに接した
場合の位置１０１または１１１をＲ’として、カメラ位
置をＱ，高さをＫとすると、図５に当てはめることがで
きるので、数１４によりボール５０の高さｋを計算する
ことができる。但し、Ｙは位置ＱからＲ’までの距離、
ｙは位置ＱからＲまでの距離である。

【００８４】カメラ座標軌跡抽出セット８１とカメラ座
標軌跡抽出セット８３は、処理する撮影画像の画角は異
なるが処理動作は同じである。以下、カメラ座標軌跡抽
出セット８１における画像処理について説明する。

【００８５】図１３は、カメラ座標軌跡抽出セット８１
が実行する画像処理のフローチャートである。

【００８６】ステップ１３０背景画像を作成する。

【００８７】ステップ１３１カメラキャリブレーションする。

【００８８】以上で前処理を終了し、以後、検出処理に
入る。

【００８９】ステップ１３２ＴＶカメラ８０で撮影したＴＶ画像データを取り込む。

【００９０】ステップ１３３ＴＶ画像と背景画像の輝度分布との差を利用して運動物
体（選手とボール）を検出をする。

【００９１】ステップ１３４検出した運動物体の中からボールを抽出する。ボールと
選手の識別は、物体の大きさや輝度の違いに基づいて行
うことができる。

【００９２】ステップ１３５選手とボールの動きを追跡する。この段階ではカメラ座
標による選手とボールの軌跡を計測する。

【００９３】ステップ１３６これらを数１３によってワールド座標に変換する。グラ
ンド面に常に接しているとみなせる選手は、この時点で
ＴＶカメラ８１で撮影したＴＶ画像による２次元ワール
ド座標が算出されていることになる。一方、グランド面
から離れることの多いボールについては、ＴＶカメラ８
１で撮影したＴＶ画像の水平方向の２次元ワールド座標
は算出されるが、ＴＶ画像の垂直方向は高さ方向と奥行
き方向が渾然としている。そこで、ボールに関しては、
ボール存在可能位置の線分１００，１１０のように線分
状になる。

【００９４】ステップ１３７ＴＶ画像上の選手とボールの２次元ワールド座標（デー
タ）をデータ統合手段８４に送信処理する。

【００９５】以上のステップ１３２〜１３７で１サイク
ル終了し、以後、これを繰り返す。

【００９６】以上に説明した画像処理動作はカメラ座標
軌跡抽出セット８３についても同様であり、更に別のカ
メラ座標軌跡抽出セットを付加しても同様である。

【００９７】次に、データ統合手段８４の処理動作を説
明する。

【００９８】図１４は、データ統合手段８４が実行する
処理のフローチャートである。

【００９９】ステップ１４１各カメラ座標軌跡抽出セットと通信し、これらからの全
ＴＶカメラで撮影したＴＶ画像に基づいて求めた選手と
ボールのワールド座標軌跡（データ）を受信する。

【０１００】ステップ１４２各ＴＶカメラで撮影した画像はお互いに重複している
が、重複する領域では、同一選手のワールド座標軌跡が
計測誤差の影響で複数現れることがある。そこで、この
ような場合には、ワールド座標軌跡の中でその選手に最
も近い位置にあるＴＶカメラからのＴＶ画像によるワー
ルド座標軌跡を選択して採用する。しかし、このような
ときには、複数のワールド座標をを最小二乗法で１つに
まとめて使用するようにすることもできる。選手のワー
ルド座標軌跡は、この段階で確定することができる。

【０１０１】ステップ１４３ボールのワールド座標を確定する。先に述べたように、
各カメラ座標軌跡抽出セットから受信するボールのワー
ルド座標データは、ボール存在可能位置を示す線分１０
０，１１０であるから、図１２に示すように、この線分
１００，１１０の交点をグランドへ投影することによ
り、ボールの２次元ワールド座標を求めることができ
る。３つ以上の各カメラ座標軌跡抽出セットから受信す
る線分状のボールのワールド座標を重ねると、ＴＶカメ
ラのレンズの歪みや前記各カメラ座標軌跡抽出セットの
演算誤差がなければ、ボールをグランドへ投影した２次
元ワールド座標上で交わる。しかし、実際には、任意の
２組のカメラ座標軌跡抽出セットによるボールのワール
ド座標の線分は、それぞれ、異なる位置で交わる。そこ
で、各交点の最小二乗誤差を生ずる点をボールをグラン
ドへ投影した２次元ワールド座標とする。

【０１０２】ステップ１４４以上のように、ボールのグランド上の２次元ワールド座
標求めてからボールの高さを算出する。そのためには、
図５に示すように、ボールのグランド上の２次元ワール
ド座標に基づく位置をＲとし、この位置Ｒに最も近いＴ
Ｖカメラの撮影画像のボールをグランド面に接している
と仮定してワールド座標変換した位置をＲ’とし、この
ＴＶカメラの設置位置をＱ、高さをＫとして数１４によ
って求める。

【０１０３】ステップ１４５以上のステップを経て選手の２次元ワールド座標と、高
さを加えたボールの３次元ワールド座標が求める。そし
て、これらの座標の列をもって選手とボールのワールド
座標軌跡として出力する。

【０１０４】以上のステップ１４１〜１４５を１サイク
ルとして、これを繰り返す。

【０１０５】以上に説明した本発明の運動物体計測装置
の第２の実施の形態は、ボールがグランド面に接しよう
となかろうと、運動（飛翔）中のボールの３次元位置を
計測することができる。

【０１０６】以上に説明した本発明の運動物体計測装置
は、各種の球技分析システムに適用することができる。

【０１０７】図１５は、球技分析システムの一実施の形
態を示すブロック図である。この球技分析システムは、
パーソナルコンピュータ９０とビデオカメラ（ＴＶカメ
ラ）９１と画像処理ボード９２によって構成する。

【０１０８】ビデオカメラ９１からのＴＶ画像データ
は、画像処理ボード９２を介して動画像データとしてパ
ーソナルコンピュータ９０に入力する。

【０１０９】パーソナルコンピュータ９０は、情報処理
プログラムを実行することによって実現する軌跡抽出処
理部９１０と動作認識処理部９２０と行動分析処理部９
３０と表示処理部９４０を備える。

【０１１０】入力した動画データは、軌跡抽出処理部９
１０と動作認識処理部９２０に入力する。

【０１１１】軌跡抽出処理部９１０は、前述した運動物
体計測装置を適用した処理部であって、物体抽出部９１
１がＴＶ画像中の選手やボールなどの移動物体を抽出，
追跡し、３次元座標変換部９１２がカメラ座標を三次元
のワールド座標に変換して軌跡データとして出力する。
この軌跡データの内容は、例えば、選手やボールが存在
していた競技場上での位置座標を各時刻毎に記録する。

【０１１２】動作認識処理部９２０は、拡散計算部９２
１と移動認識９２２部と動作分類部９２３を備え、動画
データを画像認識することによって各選手の動作を認識
して動作認識結果を出力する。この動作認識結果は選手
単体の動作を表すので、ここでは単独動作データとい
う。ここでは、例えば、各選手について「走っている」
や「立っている」といった動作の種別を示す識別子を各
時刻毎に記録する。

【０１１３】行動分析処理部９３０は、選手の集団とし
ての動きを分析する処理部であり、動きの特徴量を求め
る特徴量推定部９３１と、特徴量を照合するマッチング
部９３２とを備える。この行動分析処理部９３０は、軌
跡データを入力して集団の動きの意味を記述した集団動
作データを出力する。このデータの例としては、サッカ
ーの場合では、「オフサイドトラップ」や「クロス」と
いった集団行動の意味を表す識別子を各時刻毎に記録す
る。

【０１１４】表示処理部９４０は、統計分析部９４１と
モデル動作生成部９４２とレンダリング部９４３を備え
る。

【０１１５】統計分析部９４１は、単独動作データと集
団動作データを入力て、各選手毎の走行距離やクロスの
回数といった統計データを出力する。この統計データ
は、ＣＧ（コンピュータグラフィック）映像と共にディ
スプレイなどに表示するようにする。

【０１１６】モデル動作生成部９４２は、三次元ＣＧの
人体モデルを動かすために、各関節の関節角を定める部
分である。

【０１１７】そしてレンダリング部９４３は、人体モデ
ルからＣＧ映像を作成し、これをＣＧ映像データとして
出力する。

【０１１８】この球技分析システムによれば、個々の選
手について、単独で実施している動作の識別子を提供す
ることができるので、スポーツのゲーム分析のために有
効な情報を提供することができる効果がある。

【０１１９】以上に示したように、本発明の運動物体計
測装置を用いた球技分析システムは、スポーツ選手強化
組織などに選手軌跡によって選手のフィールドへの展開
状況や各選手や複数選手の行動分析結果や統計処理結果
を提供すると共にＣＧ（コンピュータグラフィック）技
術を用いてゲームを再現するためのデータサービスを実
現することができる。

【０１２０】前記スポーツ選手強化組織によっては、独
自に分析ツールを持っている場合もある。このような場
合には、軌跡抽出処理部９１０の出力する軌跡データを
磁気メディアやネットワークを介して配信するデータサ
ービスシステムを実現することも可能である。

【０１２１】サッカー球技の実施の形態について説明し
たが、本発明は、バレーボール，水球，バスケットボー
ル，ハンドボールなどの各種の球技に適用することがで
きる。そして、水球では、前述したグランド（地面）は
水面が該当する。

【０１２２】

【発明の効果】本発明の第１の運動物体計測装置によれ
ば、複数台のカメラをそれぞれ独立に設置することによ
り運動（飛翔）物体の３次元ワールド軌跡を抽出するこ
とができる効果が得られる。

【０１２３】また、本発明の第２の運動物体計測装置に
よれば、飛翔する運動物体の３次元ワールド軌跡を求め
ることが可能で、従来のステレオ画像処理のようなカメ
ラ設置精度が不要になる効果がある。

【図面の簡単な説明】

【図１】本発明の運動物体計測装置の第１の実施の形態
であるサッカーゲーム計測装置のブロック図である。

【図２】本発明のの運動物体計測装置の第１の実施の形
態における画像処理手段が実行する画像処理のフローチ
ャートである。

【図３】カメラ座標系ｘ−ｙのＴＶ画像（ａ）とサッカ
ーグランド上のワールド座標系Ｘ−Ｙ−Ｚ（ｂ）を示し
ている。

【図４】選手がグランド上を移動した様子を示すＴＶ画
像（ａ）とグランドを見下ろした図（ｂ）である。

【図５】ＴＶカメラとボールの位置関係を捉えた側面図
である。

【図６】選手間をボールが飛んで行く場合のＴＶ画像
（ａ）とグランドを見下ろした図（ｂ）である。

【図７】飛翔中のボールを撮影して得たＴＶ画像であ
る。

【図８】本発明の運動物体計測装置の第２の実施の形態
であるサッカーゲーム計測装置のブロック図である。

【図９】本発明の運動物体計測装置の第２の実施の形態
において飛翔中のボールを撮影している図であって、
（ａ）はグランド見下ろした図、（ｂ），（ｃ）はＴＶ
画像である。。

【図１０】サッカーグランドをハーフウェイライン方向
に見るＴＶカメラによるＴＶ画像（ａ）とグランドを見
下ろしてボール存在可能位置を示した図（ｂ）である。

【図１１】サッカーグランドをタッチライン方向に見る
ＴＶカメラによるＴＶ画面（ａ）とグランドを見下ろし
てボール存在可能位置を示した図（ｂ）である。

【図１２】グランドを見下ろした図に２方向のＴＶカメ
ラによるＴＶ画像に基づいて得たボール存在可能位置の
線分を重ねた図である。

【図１３】本発明の運動物体計測装置の第２の実施の形
態におけるカメラ座標軌跡抽出セットが実行する画像処
理のフローチャートである。

【図１４】本発明の運動物体計測装置の第２の実施の形
態におけるデータ統合手段が実行する画像処理のフロー
チャートである。

【図１５】本発明の運動物体計測装置を適用した球技分
析システムのブロック図である。

【符号の説明】

１１…ＴＶカメラ、１２…ワールド座標軌跡抽出セッ
ト、１３…画像処理手段、１４…記憶手段、１５…通信
手段、１６…データ統合手段。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ (72)発明者宇佐美芳明茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者三好雅則茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者藤井秀樹茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか事業所内Ｆターム(参考） 2F065 AA04 AA24 BB05 BB15 CC00 CC16 FF01 FF04 JJ03 JJ05 JJ19 JJ26 QQ00 QQ18 QQ23 QQ31 5B057 AA20 CA08 CA12 CA16 CB08 CB13 CB16 CD16 DA07 DB02 DB09 DC02 DC08 DC32 5C054 AA01 AA05 CC02 DA09 EA07 EH01 FC12 FC13 FC15 FD03 GA00 GB04 GB15 GD03 HA05 HA16 5L096 AA02 AA06 BA20 CA05 DA02 EA27 FA14 FA26 FA67 GA08 HA04 JA18

Claims

【特許請求の範囲】

【請求項１】カメラと、運動物体が存在する空間を基準
とした座標系であるワールド座標軌跡を抽出するワール
ド座標軌跡抽出セットを備え、このワールド座標軌跡抽
出セットは、画像処理手段と記憶手段を備え、前記画像
処理手段は、前記カメラによって撮影した画像から運動
物体を検出して該運動物体の軌跡をカメラ基準の座標系
からワールド座標に変換して出力するように構成したこ
とを特徴とする運動物体計測装置。
【請求項２】請求項１において、前記画像処理手段は、
地面上あるいは水面上で運動する運動物体と空中を飛翔
する運動物体を監視対象運動物体とし、前記地面上ある
いは水面上で運動する運動物体の運動軌跡は前記地面上
あるいは水面上の２次元運動とみなして前記地面上ある
いは水面上で運動する運動物体の運動軌跡を２次元のワ
ールド座標に変換して求め、前記空中を飛翔する運動物
体の運動軌跡は、この飛翔する運動物体が地面や水面に
触れたときのワールド座標に基づいて該飛翔する運動物
体の飛行軌跡を地面あるいは水面上に投影した２次元の
飛行軌跡を求め、この２次元の飛行軌跡と前記カメラに
よる画像上の軌跡からワールド座標系における３次元の
飛行軌跡を求めるようにしたことを特徴とする運動物体
計測装置。
【請求項３】請求項２において、前記画像処理手段は、
グランド上のサッカー選手とボールを大きさを輝度で識
別し、前記サッカー選手はグランド上を移動するものと
して前記画像上の該サッカー選手の座標を前記グランド
基準の２次元ワールド座標に変換して該サッカー選手の
運動軌跡を抽出し、前記ボールの前記グランドに接した
位置のワールド座標間の運動軌跡の前記グランド上への
投影軌跡を直線あるいは所定の曲線とみなして該ボール
の２次元の運動軌跡を定め、この２次元の運動軌跡と前
記画像上の運動軌跡から前記ボールの高さを算出して前
記２次元の軌跡と合わせて該ボールの３次元ワールド軌
跡として出力するように構成したことを特徴とする運動
物体計測装置。
【請求項４】請求項２において、前記画像処理手段は、
水面上の水球選手とボールを大きさと輝度で識別し、前
記水球選手は水面を移動するものとして前記画像上の該
水球選手の座標を前記水面基準の２次元ワールドに変換
して該水球選手の運動軌跡を抽出し、前記ボールの前記
水面に接した位置のワールド座標間の運動軌跡を前記水
面へ投影した軌跡を直線あるいは所定の曲線とみなして
該ボールの投影した２次元の運動軌跡を定め、この２次
元の運動軌跡と前記画像上の運動軌跡から前記ボールの
高さを算出して該２次元の運動軌跡と合わせて３次元ワ
ールド軌跡として出力するようにしたことを特徴とする
運動物体計測装置。
【請求項５】請求項３または請求項４において、前記画
像処理手段は、前記ボールの速度ベクトルを求め、この
速度ベクトルの急変を前記ボールが前記グランドあるい
は前記水面に接したとみなすようにしたことを特徴とす
る運動物体計測装置。
【請求項６】請求項１〜５の１項において、前記画像処
理手段によってワールド座標変換に必要なカメラパラメ
ータを設定した上で背景画像を作成し、検出サイクルに
入るようにしたことを特徴とする運動物体計測装置。
【請求項７】請求項６において、前記画像処理手段は、
前記検出サイクルで画像を入力し、背景差分法で選手と
ボールを検出した上でその大きさや輝度に基づいて選手
とボールを識別し、それぞれを追跡して前記選手の運動
軌跡をグランド上の２次元ワールド座標系に変換して２
次元ワールド軌跡を求め、前記ボールの接地点のワール
ド座標を検出して、前記接地点同士を直線あるいは所定
の曲線で結んだものをグランド面内の２次元の運動軌跡
とし、このグランド面内の２次元の運動軌跡と前記画像
上の軌跡から相似の関係に基づいて前記ボールの高さを
算出し、前記グランド面内の２次元の軌跡と前記ボール
の高さを合わせて該ボールの３次元ワールド座標軌跡と
して出力するようにしたことを特徴とする運動物体計測
装置。
【請求項８】請求項１〜７の１項において、前記カメラ
と前記ワールド座標軌跡抽出セットの組を複数組設け、
通信手段によって各組のワールド座標軌跡をデータ統合
手段で統合することにより広い画角を賄うようにしたこ
とを特徴とする運動物体計測装置。
【請求項９】複数組のカメラとカメラ座標軌跡抽出セッ
トを備え、前記カメラは互いに異なる方向から同一の対
象物を撮影できる位置に設置し、このカメラとカメラ座
標軌跡抽出セットは、通信手段によってデータ統合手段
に検出物体のカメラ座標軌跡を送り、前記データ統合手
段は、複数のカメラ座標軌跡抽出セットからのカメラ座
標軌跡をワールド座標軌跡に変換するようにしたことを
特徴とする運動物体計測装置。
【請求項１０】請求項９において、前記カメラ座標軌跡
抽出セットは、画像処理手段と通信手段を備え、前記画
像処理手段によってワールド座標への変換に要するカメ
ラパラメータを設定した上で、運動物体の検出サイクル
に入り、グランド上に拘束される運動物体の運動軌跡を
ワールド座標軌跡に変換して前記データ統合手段に送る
と共に、グランド上に拘束されない運動物体のカメラ座
標軌跡を前記データ統合手段に送って、前記グランド上
に拘束されない運動物体の３次元ワールド軌跡を求める
ようにしたことを特徴とする運動物体計測装置。
【請求項１１】請求項１０において、前記カメラ座標軌
跡抽出セットは、前記運動物体の検出サイクルで前記カ
メラで撮影した画像を入力し、背景差分法で運動物体を
検出し、その大きさと輝度に基づいてグランド上に拘束
されて運動する非飛翔物体とグランド上を離れて運動す
る可能性のある飛翔物体を識別し、前記非飛翔物体を追
跡処理してカメラ座標での軌跡を求めてワールド座標に
変換して前記非飛翔物体のワールド座標軌跡として前記
データ統合手段に通信し、前記非飛翔物体を追跡処理し
てカメラ座標での座標を求めてワールド座標に変換して
該ワールド座標を前記カメラの垂直方向に拡大した線分
状のワールド座標列として前記データ統合手段に通信
し、前記データ統合手段は、複数のカメラ座標軌跡抽出
セットから受信した、前記線分状のワールド座標列の交
点を前記飛翔物体のグランド面への投影座標として該投
影座標と前記線分状のワールド座標に対して比例計算で
前記飛翔物体の飛翔高さを計測するようにしたことを特
徴とする運動物体計測装置。
【請求項１２】請求項１１において、前記データ統合手
段は、複数のカメラ座標軌跡抽出セットから受信した前
記線分状のワールド座標列の交点が一点で交わらない場
合は、各線分状のワールド座標同士のなす複数の交点の
最小二乗誤差を有する位置を前記飛翔物体のグランド面
への投影座標とするようにしたことを特徴とする運動物
体計測装置。
【請求項１３】軌跡抽出処理部と行動分析処理部を備
え、軌跡抽出処理部によって求めた軌跡データから特徴
量を推定する球技分析システムにおいて、前記軌跡抽出処理部に請求項１〜１２の１項に記載した
運動物体計測装置を用いたことを特徴とする球技分析シ
ステム。
【請求項１４】請求項１〜１２に記載の運動物体計測装
置により得た軌跡データを磁気媒体やネットワークで配
信することを特徴とするデータサービスシステム。