JP2004159151A - パノラマ動画生成装置およびハイライトシーンの抽出装置 - Google Patents
パノラマ動画生成装置およびハイライトシーンの抽出装置 Download PDFInfo
- Publication number
- JP2004159151A JP2004159151A JP2002323642A JP2002323642A JP2004159151A JP 2004159151 A JP2004159151 A JP 2004159151A JP 2002323642 A JP2002323642 A JP 2002323642A JP 2002323642 A JP2002323642 A JP 2002323642A JP 2004159151 A JP2004159151 A JP 2004159151A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- images
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Circuits (AREA)
Abstract
【課題】マラソン大会等のゴールシーン等を、連続的に撮影した動画像の中から自動的に抽出し、走者を映像を最適なサイズで再生表示すること。
【解決手段】撮像部１の複数台のカメラにより、マラソン大会等のゴールシーン等を撮影する。一方、予め競技前に撮影した校正板の画像に基づき、カメラ間画像校正部３において、コース上の位置とカメラ画面内の撮像位置との対応関係等を求めておく。画像結合部４は、カメラ間画像校正部３の校正結果に基づき、複数のカメラにまたがる画像を、繋ぎ合わせて１つの画像にし、パノラマ動画を生成する。生成されたパノラマ動画は、動画像記憶部５に保存され、表示部６で表示される。マラソン大会等において、走者の通過タイム等を用いて、任意の走者の画像を原画像記憶部２から抽出し、上記のように繋ぎ合わせて、動画像を生成することにより、ハイライトシーン等を抽出表示することができる。
【選択図】 図１
【解決手段】撮像部１の複数台のカメラにより、マラソン大会等のゴールシーン等を撮影する。一方、予め競技前に撮影した校正板の画像に基づき、カメラ間画像校正部３において、コース上の位置とカメラ画面内の撮像位置との対応関係等を求めておく。画像結合部４は、カメラ間画像校正部３の校正結果に基づき、複数のカメラにまたがる画像を、繋ぎ合わせて１つの画像にし、パノラマ動画を生成する。生成されたパノラマ動画は、動画像記憶部５に保存され、表示部６で表示される。マラソン大会等において、走者の通過タイム等を用いて、任意の走者の画像を原画像記憶部２から抽出し、上記のように繋ぎ合わせて、動画像を生成することにより、ハイライトシーン等を抽出表示することができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、マラソン大会等の多数の競技者が参加する競技会等において、複数台のカメラで撮影した動画像をつなぎ合わせてパノラマ動画像を生成表示し、また、動画像の中から任意の競技者（走者）のゴールシーンを自動的に抽出し、最適なサイズで再生表示することができるハイライトシーンの抽出装置に関する。
【０００２】
【従来の技術】
動画像をパノラマ撮影するために、複数台のカメラを用いる方法が知られている。例えば、特許文献１では、ある１つの被写体に追従してカメラの回転角を制御し、使用したカメラの視野とは異なるアスペクト比の画面を得る方法が記載されている。また、特許文献２では、複数地点でカメラを回転させて得たパノラマ映像から、カメラを設置した場所以外の場所からのパノラマ映像を生成する方法が記載されている。
更に、従来から、マラソン大会などのように、短かい時間内に競技者がゴールへ到着する競技において、競技者一人一人の通過タイムと着順を記録する技術が既知である。例えば、特許文献３では、競技者のゼッケン番号をビデオカメラで撮像し認識することで通過タイムと着順を記録する装置が開示されている。特許文献４では、ゴールゲートに設けた受信機で、競技者が所持している無線ＩＤタグから発射される電磁波を検出することで、通過タイムと着順を記録する装置が開示されている。
【０００３】
更に、大会会場で成績や記念写真・画像を提供するサービスに関する技術も知られている。例えば、特許文献５では、完走者全員のゴール到着時の写真を印刷する装置が提示されている。また、前出の特許文献４では、通過タイムと同時に、画像信号を記憶する手段が提示されている。
また、本出願人が先に提案した特願２００２−０８５５６３では、マラソン大会を対象とし、無線ＩＤタグを持った走者が、ゴールゲートに設置された無線受信機を通過した時刻によって、動画像にマーキングし、その走者のゴールシーンを抽出する方法が開示されている。
さらに、カメラによる自動監視などを目的にして、例えば、非特許文献１では、ある１つの対象をズームアップしながら追尾撮影する技術が紹介されている。
【０００４】
【特許文献１】
特開平６−２１７１８４号公報
【特許文献２】
特開平１０−２０８０７４号公報
【特許文献３】
特公３０６９７２３号公報
【特許文献４】
特開平９−３８２６７号公報
【特許文献５】
実用新案登録０３０８１２４６号明細書
【非特許文献１】
森田敏彦著，「局所相関演算による動きの検知と追跡」，電子情報通信学会論文誌，Ｄ−ＩＩ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，２００１ 年２ 月，ｐｐ２９９−３０９
【０００５】
【発明が解決しようとする課題】
従来においては、上記のように、複数台のカメラを用いてパノラマ画像を生成したり、マラソン大会などにおいて、競技者の通過タイムや着順を記録し、ゴール到着時の写真を印刷したり画像信号を記憶する技術や、ある１つの対象をズームアップしながら追尾撮影する技術が知られている。
しかし、従来のものでは、マラソン競技などで多数の走者が走行する映像を対象として、遠くの走者をズームアップして撮影したカメラ映像と、近くの走者をワイドで撮影したカメラ映像とを繋ぎ合わせて１つのパノラマ動画として生成することはできなかった。また、任意の走者、つまり複数の対象をそれぞれ追尾撮影し、さらに、その走者のゴールシーンを最適なサイズで再生表示することはできなかった。
本発明は上記事情に鑑みなされたものであって、マラソン大会等の複数の競技者が参加する競技会等において、複数台のカメラの映像を繋ぎ合わせてパノラマ動画を生成し、任意の走者のゴールシーン等を、連続的に撮影した動画像の中から自動的に抽出し、かつ、その走者を最適なサイズで再生表示することができるパノラマ動画生成装置およびハイライトシーン抽出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明のパノラマ動画生成装置は、複数台のカメラと、該カメラにより事前に撮影した校正板の複数画像から複数のカメラで撮影した画像間の対応関係を求めるカメラ間画像校正手段と、該カメラ間画像校正手段により求めたカメラ間の画像の対応関係に基づき、上記複数のカメラで撮影された画像をつなぎ合わせて、パノラマ動画を生成する手段とを備える。
上記カメラは、視野が重なるように配置された複数台のカラーテレビカメラ等の撮像素子から構成され、例えばマラソン大会等の出走者等が、ゴール等の予め設定された地点に到着するシーンを撮影し、動画像を生成する。
上記カメラ間画像校正手段は、予め競技前に撮影した校正板の画像に基づき、コース上の位置とカメラ画面内の撮像位置との対応関係を校正するための処理を行う。例えば、マラソン大会等において、予め競技前に、コース上の所定の地点間で校正板を移動させ、該校正板を撮影した画像に基づき、コース上の位置とカメラ画面内の撮像位置との対応関係と、それぞれの画像の接合部分の整合性を取るための変換式を算出する。
上記パノラマ動画を生成する手段は、上記カメラ間画像校正手段により求めた、コース上の位置とカメラ画面内の撮像位置との対応関係と変換式を用いて、複数のカメラにまたがる画像を、繋ぎ合わせて１つの画像にし、パノラマ動画を生成する。生成されたパノラマ動画は、動画像記憶部に保存され、表示手段により表示される。
【０００７】
本発明のハイライトシーン抽出装置は、マラソン競技等における競技者の画像を撮影する複数台のカメラと、上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出し、抽出した競技者の画像を最適なサイズで切り出す画像抽出手段と、抽出された画像を表示する表示手段とを備える。
上記カメラは、視野が重なるように配置された複数台のカラーテレビカメラ等の撮像素子から構成され、例えばマラソン大会等の出走者等が、ゴール等の予め設定された地点に到着するシーンを撮影し、動画像を生成する。
また、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出するため、無線ＩＤ送受信機と、通過タイム検出手段と、通過タイム記憶手段と、対象位置推定手段とを設け、競技者が身に付けた無線ＩＤタグを複数地点に設けた受信機で検出して、その受信結果に基づき競技者を同定し、通過タイム検出手段で該競技者の通過タイムを検出する。そして、検出したタイムを通過タイム記憶手段に記憶し、複数地点の通過タイムから、対象位置推定手段により地点間の競技者の位置を推定する。
さらに、前記カメラ間画像校正手段を設け、事前に撮像した校正板の複数カメラの画像から、コース上の校正板の中心位置と画面上の位置との対応関係を求める。
そして、上記画像抽出手段は、上記対象位置推定手段により推定された競技者の位置と、上記カメラ間画像校正手段により校正された競技者の推定位置と競技者の画像の対応関係に基づき、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する。
また、上記画像抽出手段を、部分画像領域抽出手段と、部分画像結合手段とから構成し、部分画像領域抽出手段により、上記対象位置推定手段により推定された競技者の推定位置と、カメラ間画像校正部の校正結果を元に、上記競技者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出し、部分画像結合手段により、抽出した部分画像を結合し、ハイライトシーンを抽出するようにしてもよい。
上記のような構成とすることにより、任意の出走者が、ゴールするときの最適なサイズの映像を自動的に保存・抽出し、ゴールした直後に、その走者のゴールシーンを再生することが可能になる。また、ゴールゲート以外の特定地点（例えば、５キロ地点、１０キロ地点など） に、同様の無線ＩＤ受信機と、撮像部を設置することにより、任意の地点における走行シーンを再生表示することが可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
図１に本発明の第１の実施例のパノラマ動画生成装置の構成を示す。なお、以下の実施例ではマラソン大会における走者の動画像をつなぎ合わせて、パノラマ動画像を生成する場合について説明するが、マラソン大会以外のその他の競技会等におけるパノラマ動画像を生成することもできる。また、第１の実施例に示すパノラマ動画生成手法を用いて、後述する第２の実施例に示すように、マラソン大会等において、複数台のカメラで撮影した動画像つなぎ合わせ、任意の走者のゴールシーン等のハイライトシーンを抽出することができる。
【０００９】
図１において、１は撮像部であり、例えば、ＣＣＤカメラ等の複数台のテレビカメラから構成され、一定のサンプリング時間間隔 （例えば、３３ｍｓ）で画像を取得し動画像を生成する。
上記複数台のカメラは視野が重なるように配置する。以下の実施例では、複数台のカメラを、コースの横にコース沿いに配置する場合について説明するが、焦点距離の設定が異なる複数台のカメラを、コースの斜め横、コースの正面上方など、コース上の所定の範囲の映像を撮影できるように配置してもよい。
例えば、マラソン大会の場合、ゲート（例えばゴールゲート、中間地点等でもよい）上に焦点距離が異なり、仰角が異なる複数台のカメラを視野が重なるように配置し、コース上の映像を撮影するようにしてもよい。このように配置すれば、所定の範囲内にいる走者の映像をどれかのカメラで取得することができる。
画像の１つの画素は、カラー画像の場合、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の階調値で、白黒画像の場合、輝度の階調値で与えられる。例えば、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、輝度（Ｙ）の階調値は、それぞれ、ディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｙ（ｉ，ｊ）で与えられる。
【００１０】
２は原画像記憶部であり、記憶装置上に構成され、撮像部１で取得した複数のカメラの動画像を、個別の動画像ファイルとして格納する。
３はカメラ間画像校正部であり、コース上の位置とカメラ画面内の撮像位置との対応関係を、競技前に予め校正するための処理を行なう。また、走者があるカメラの視野範囲から次のカメラの視野範囲へ移動したときに、それぞれの画像の接合部分の整合性を取るための拡縮率を求め、画像間の変換式を算出する。
このため、校正板をコースに沿って移動させ、その動画像を撮像部１のカメラで取得し、上記コース上の位置とカメラ画面内の撮像位置との対応関係および変換式を得る。
４は画像結合部であり、上記カメラ間画像校正部で求めた変換式に基づき、複数のカメラにまたがる動画像を、繋ぎ合わせて１つの画像にしてパノラマ動画を生成する。
５は動画像記憶部であり、動画像記憶部５は記憶装置上に構成され、画像結合部４から出力された動画像を時系列順に並べ動画像ファイルとして記憶する。
６は動画像表示部であり、動画像記憶部に保存されている動画を、ディスプレイへ表示する形式に変換し表示する。
なお、上記動画像記憶部５が置かれる記憶装置は、他の処理部を実行する同一マシン上に構成しても、あるいは、ネットワーク等で接続された別マシン上に設置してもよい。
【００１１】
次に本実施例のパノラマ画像生成装置の各部の動作について説明する。
前記したように、カメラをコースの横にコース沿いに配置する。そして、まず、複数台カメラの画像を繋ぎ合わせるとともに、走者を追尾撮影するための準備として、走者がカメラ画面上に表示される位置と、実際のコース上での位置との間で対応関係をとるため校正処理を行う。このため、前記したように校正板をコースに沿って移動させ、複数のカメラで校正板の画像を取得する。
図２に、カメラ、走行コース、校正板の位置関係の例を示す。同図において、１ａ，１ｂはカメラ、１ｃは校正板であり、２台のカメラ１ａ，１ｂは視野がある程度重なるように配置され、校正板１ｃの中心位置は、どちらかのカメラの視野内に入るようにされている。
ここではカメラを２台としているが、３台以上でも同じ方法で校正可能である。また、校正板１ｃは、所定の大きさの板であり、校正板の色は、後段の処理を簡単にするために、例えば、ピンクの蛍光色などを使用すると良い。なお、同図ではカメラの位置がコースの横に配置されているが、前記したようにコースの斜め横、コースの正面上方など、どこに配置されていても良い。
【００１２】
校正処理を行うには、まず、校正板１ｃを地点Ａからゴールゲートまで例えば１ｍ毎に移動させ、カメラ１ａ，１ｂで校正板の画像を撮影する。なお、一方の地点が必ずしもゴールである必要はなく、コースの中間地点等にカメラが設置される場合には、その位置でも同様の校正処理を行う。ここで、地点Ａを起点とした校正板１ｃの中心までの距離をｄとする。
図１に示したカメラ間画像校正部３は以下の処理を行う。
校正板の画像がカメラの画面に納まって、図３（ａ）のように欠落部分がない場合、次のような処理を行なって、校正板の画面上での中心位置を算出する。
まず、校正板１ｃの色情報を用いて、校正板画像のみを全体画面から抽出する。画像の色を表現するために、例えば、ＨＳＶ表色系（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、Ｖａｌｕｅ：明度）のＨ成分を使用する。
なお、他の表色系を用いても構わない。ＨＳＶ表色系では、例えば、図４に示すような６角錐によって色空間を表現する。ＨＳＶ成分の中で、Ｈ成分は、色合いの種別を表現する量である。Ｈ成分は、明度の影響を受けにくいとされているため、色情報によって領域を抽出するときに、よく用いられている。Ｈ成分を用いて特定の画像領域を抽出するために、Ｈ成分に上限値と下限値を１個づつ定めて、その範囲内であれば、その領域であると判断する。
【００１３】
校正板１ｃを映した画像において、校正板画像上の各画素のＨ成分を算出し、最大値Ｈｍａｘ 、最小値Ｈｍｉｎ を決定する。次に、画面全体の各画素についてＨ成分を計算し、次の手順で分類する。
Ｈｍｉｎ ≦Ｈ≦Ｈｍａｘ のとき、その画素の値を１とする。また、Ｈ＜Ｈｍｉｎ あるいはＨｍａｘ ＜Ｈのとき、その画素の値を０とする。
１と０で表された画像に対して、画像処理の一手法である粒子解析を適用し、最も面積の大きな粒子部分を校正板とすることで、校正板画像を抽出できる。
校正板画像の中心位置（ｉｘｃ ，ｉｙｃ ）を、次式で算出する。
ｉｘｃ ＝（ｉｘ１ａ＋ｉｘ２ａ＋ｉｘ３ａ＋ｉｘ４ａ）／４
ｉｙｃ ＝（ｉｙ１ａ＋ｉｙ２ａ＋ｉｙ３ａ＋ｉｙ４ａ）／４
なお、カメラ画面の左上角を原点として、校正板画像の左上端、左下端、右上端、右下端の座標を、（ｉｘ１ａ， ｉｙ１ａ），（ｉｘ２ａ， ｉｙ２ａ），（ｉｘ３ａ， ｉｙ３ａ），（ｉｘ４ａ， ｉｙ４ａ）とした。
【００１４】
また、校正板１ｃの画像が図３（ｂ）のように、１台目のカメラ１ａには、全体像が映り、２台目のカメラ１ｂには、校正板の一部が映っている場合、次のような処理によって、２台のカメラ間の視野重なり部分における各カメラ画面上の画素の対応関係を算出する。
まず、上述の方法で、それぞれの画面から校正板画像を切り出し、校正板の角の端点位置を求める。１台目のカメラ１ａの添え字をＳ、２台目のカメラ１ｂの添え字Ｔをとする。
１台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は次の通りである。
（ｉｘＳ１ｂ ， ｉｙＳ１ｂ ） ，（ｉｘＳ２ｂ ， ｉｙＳ２ｂ ） ，（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） ，（ｉｘＳ４ｂ ， ｉｙＳ４ｂ ）
２台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は、次の通りである。
（ｉｘＴ１ｂ ， ｉｙＴ１ｂ ） ，（ｉｘＴ２ｂ ， ｉｙＴ２ｂ ） ，（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ） ，（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ）
【００１５】
図３（ｂ）においては、カメラ１ａの点（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） ，（ｉｘｓ４ｂ ， ｉｙｓ４ｂ ） とカメラ１ｂの点（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ） ，（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ） がそれぞれ対応関係にある。そこで、線分（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） 、（ｉｘＳ４ｂ ， ｉｙＳ４ｂ ） と線分（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ）（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ） との比γを求めると、２台カメラ間の拡縮率が以下の（１）式で求まる。
また、カメラ１ａの画像上の任意画素（ｉｘＳ ， ｉｙＳ ） は、カメラ１ｂの画像上の対応する画素（ｉｘＴ ， ｉｙＴ ） と次のような（２）式の関係にある。
【００１６】
【数１】
【００１７】
したがって、次の（３）（４）式によって、カメラ１ｂの画素位置をカメラ１ａの画素位置に変換することができる。
ｉｘＳ ＝ｉｘＳ３ｂ ＋γ（ｉｘＴ −ｉｘＴ３ｂ ）…（３）
ｉｙＳ ＝ｉｙＳ３ｂ ＋γ（ｉｙＴ −ｉｙＴ３ｂ ）…（４）
【００１８】
また、図３（ｃ）のように、校正板１ｃの画像が画面からはみ出て、２つのカメラ画像に跨った場合、次のような処理を行なって、校正板の中心位置を算出する。
ここで、１台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は次の通りである。
（ｉｘＳ１ｃ ， ｉｙＳ１ｃ ） ，（ｉｘＳ２ｃ ， ｉｙＳ２ｃ ） ，（ｉｘＳ３ｃ ， ｉｙＳ３ｃ ） ，（ｉｘＳ４ｃ ， ｉｙＳ４ｃ ）
また、２台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は、次の通りである。
（ｉｘＴ１ｃ ， ｉｙＴ１ｃ ） ，（ｉｘＴ２ｃ ， ｉｙＴ２ｃ ） ，（ｉｘＴ３ｃ ， ｉｙＴ３ｃ ） ，（ｉｘＴ４ｃ ， ｉｙＴ４ｃ ）
まず、前述の方法で、それぞれのカメラ画面から校正板画像を切り出し、校正板の角の端点位置を求める。次に、先の変換式（３）（４）式を用いて、カメラ１ｂの画像の右上端点と右下端点を、カメラ１ａの画像における右上端点と右下端点の位置（ｉｘＳ３ｃ ， ｉｙＳ３ｃ ） ，（ｉｘＳ４ｃ ， ｉｙＳ４ｃ ） へ変換し、既に算出済みのカメラ１ａの右上端点と右下端点の値を置き換える。
すなわち、図３（ｃ）の画面上の（ｉｘＴ３ｃ ， ｉｙＴ３ｃ ） ，（ｉｘＴ４ｃ ， ｉｙＴ４ｃ ）の値をそれぞれ前記（３）（４）の（ｉｘＴ ， ｉｙＴ ）として、カメラ１ａ上の右上端点と右下端点の値を求め、カメラ１ａの右上端点と右下端点の値を置き換える。
なお、前記（３）（４）式は、カメラ１ａ，１ｂの配置、向きが変わらず、校正板とカメラ１ａ，１ｂの距離が大きく変わらない限り成り立つ。
【００１９】
カメラ１ａの校正板画像の４端点の座標位置から、校正板画像の中心位置を次式により求める。
ｉｘＳｃ＝（ｉｘＳ１ｃ ＋ｉｘＳ２Ｃ ＋ｉｘＳ３ｃ ＋ｉｘＳ４ｃ ）／４
ｉｙＳｃ＝（ｉｙＳ１ｃ ＋ｉｙＳ２ｃ ＋ｉｙＳ３ｃ ＋ｉｙＳ４ｃ ）／４
ここで、求めた中心位置がカメラ１ａの画面外になる場合は、中心位置をカメラ１ｂの画像の座標系で表現する。すなわち、上記と同様の処理をカメラ１ｂの画像について行い、カメラ１ｂの中心位置ｉｘＴｃ，ｉｙＴｃを求める。
なお、カメラ１ａの画像の画素位置をカメラ１ｂの画素位置に変換するための変換式は、カメラ１ａの画像上の任意の画素位置を（ｉｘＳ ， ｉｙＳ ） とし、カメラ１ｂの画像上の対応する画素位置を（ｉｘＴ ， ｉｙＴ ） とすると、以下の（５）（６）式となる。
ｉｘＴ ＝ｉｘＴ３ｂ ＋（ｉｘＳ −ｉｘＳ３ｂ ）／γ…（５）
ｉｙＴ ＝ｉｙＴ３ｂ ＋（ｉｙＳ −ｉｙＳ３ｂ ）／γ…（６）
また、カメラ１ａの画面外になる条件は、次の通りである。ただし、Ｘｓｉｚｅは、カメラ１ａのＸ方向の画面サイズである。
ｉｘＳｃ＞Ｘｓｉｚｅ
ここで、カメラ１ａの校正板画像の中心位置（ｉｘＳｃ，ｉｙＳｃ）とカメラ１ｂの校正板画像の中心位置（ｉｘＴｃ，ｉｙＴｃ）は以下の関係となる。
ｉｘＴｃ＝ｉｘＴ３ｂ ＋（ｉｘＳｃ−ｉｘＳ３ｂ ）／γ
ｉｙＴｃ＝ｉｙＴ３ｂ ＋（ｉｙＳｃ−ｉｙＳ３ｂ ）／γ
【００２０】
次に、以上の方法で求めた校正板画像の中心位置（ｉｘＳｃ ，ｉｙＳｃ ）または（ｉｘＴｃ ，ｉｙＴｃ ）と、実際のコース上での位置ｄの対応表を作成する。位置ｄのサンプリング間隔は、例えば１ｍ毎に設定する。
具体的には、例えば図２において校正板１ｃを１ｍ毎に移動させながら、各位置での校正板の画像をカメラ１ａ，１ｂで撮影し、Ａ地点から校正板１ｃの中心までの距離ｄ０ ，ｄ１ ，…，ｄｎ と、各位置おけるカメラ１ａ，１ｂの画像中における校正板１ｃの中心位置の座標〔ｉｘＳｃ（ｄ０ ），ｉｙＳｃ（ｄ０ ）〕，…，〔ｉｘＳｃ（ｄｎ ），ｉｙＳｃ（ｄｎ ）〕あるいは、〔ｉｘＴｃ（ｄ０ ），ｉｙＴｃ（ｄ０ ）〕，…，〔ｉｘＴｃ（ｄｎ ），ｉｙＴｃ（ｄｎ ）〕を求め、両者を対応付けた対応表を作成する。図５に上記対応表の一例を示す。
【００２１】
以上のように、予め、カメラ間画像校正部３で拡縮率γを得て、前記した変換式を求め、図６に示した対応表を作成した後、撮影部１でマラソン大会のゴールシーン等を撮影し、原画像記憶部２に記憶する。
画像結合部４では、上記カメラ間画像校正部３で求めたカメラ画像間の変換式を用いて、複数台カメラの画像を結合してパノラマ画像とする。
例えば、カメラ１ａで撮影された画像の範囲外の画像をカメラ１ｂの画像を用いて補い、パノラマ画像を生成するには、ｉｘＳｃ＞Ｘｓｉｚｅ（Ｘｓｉｚｅは、カメラ１ａのＸ方向の画面サイズ）の画素について、前記変換式を用いて、カメラ１ｂの画素位置をカメラ１ａのカメラ１ａの座標に変換し、カメラ１ａで撮影された画像の範囲外の画像を得る。
すなわち、カメラ１ａの取得画像においてＸｓｉｚｅ＜ｉｘＳ を満たす画素（ｉｘＳ ， ｉｙＳ ） の色成分Ｒ（ｉｘＳ ， ｉｙＳ ），Ｇ（ｉｘＳ ， ｉｙＳ ），Ｂ（ｉｘＳ ， ｉｙＳ ） について、以下のように対応するカメラ１ｂの画素の色成分を用いる。
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｂ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
ここで、座標値（ｉｘＳ ， ｉｙＳ ） と（ｉｘＳ ， ｉｙＳ ） は、前記（５）（６）式の関係を満たす。
【００２２】
生成されるパノラマ画像のＸ方向のサイズをＸｓｉｚｅ ＊ 、Ｙ方向のサイズをＹｓｉｚｅ ＊ とすると、画面範囲０＜ｉｘＳ ＜Ｘｓｉｚｅ ＊ ，０＜ｉｙＳ ＜Ｙｓｉｚｅ ＊ について上記処理を行い、一つの画像を生成することにより、パノラマ画像を生成することができる。
なお、カメラ１ａで撮影した画像にカメラ１ｂで撮影した全体の画像を合わせて１枚の画像を生成する場合、上記Ｘｓｉｚｅ ＊ ，Ｙｓｉｚｅ ＊ は、カメラ１ｂの画像のＸ方向のサイズＸｓｉｚｅ，Ｙ方向のサイズＹｓｉｚｅを、カメラ１ａのＸ方向のサイズ、Ｙ方向のサイズに変換した値となり、次の式で与えられる。
Ｘｓｉｚｅ ＊ ＝ｉｘＳ３ｂ ＋γ（Ｘｓｉｚｅ−ｉｘＴ３ｂ ）
Ｙｓｉｚｅ ＊ ＝ｉｙＳ３ｂ ＋γ（Ｙｓｉｚｅ−ｉｙＳ３ｂ ）
なお、上記では、カメラ１ａで撮影された画像の範囲外の画像を、カメラ１ｂの画像を用いて補ってパノラマ画像を生成する場合について説明したが、カメラ１ｂで撮影された画像の範囲外の画像を、カメラ１ａの画像を用いて補ってパノラマ画像を生成する場合にも、上記と同様に処理を行うことで実現することができる。
【００２３】
上記のようにして生成されたパノラマ動画像は、動画像記憶部５において、時系列順に並べられ、動画像ファイルとして記憶される。
なお、前記したように動画像記憶部をネットワーク等で接続された別マシン上に設置して、画像結合部４で生成したパノラマ動画像をネットワークを介して配信するようにしてもよい。
映像表示部５では、上記動画像記憶部４に保存されている動画像を、ディスプレイへ表示する形式に変換し、表示する。
【００２４】
次に本発明の第２の実施例について説明する。本実施例は、マラソン大会等において、複数台のカメラで撮影した動画像つなぎ合わせ、任意の走者のゴールシーン等のハイライトシーンを抽出するようにした実施例である。
図６は、本実施例のハイライトシーン抽出装置の構成を示す図である。
１は前記した撮像部であり、例えば、ＣＣＤカメラ等の複数台のテレビカメラから構成され、一定のサンプリング時間間隔 （例えば、３３ｍｓ）で画像を取得し動画像を生成する。
上記複数台のカメラは視野が重なるように配置され、前記したように複数台のカメラを、コースの横にコース沿いに配置したり、焦点距離の設定が異なる複数台のカメラを、コースの斜め横、コースの正面上方など、コース上の所定の範囲の映像を撮影できるように配置してもよい。
２は前記した原画像記憶部であり、記憶装置上に構成され、撮像部１で取得した複数のカメラの動画像を、個別の動画像ファイルとして格納する。
３はカメラ間画像校正部であり、前記したように、競技前に予め撮影された校正板の画像を用いて、走者がコース上を移動したときのコース上の位置とカメラ画面内の撮像位置との対応表を作成する。また、走者があるカメラの視野範囲から次のカメラの視野範囲へ移動したときに、それぞれの画像の接合部分の整合性を取るための拡縮率を求め、画像間の変換式を算出する。
【００２５】
１０は画像抽出部であり、ゴールシーン抽出部１１と部分画像領域抽出部１２と部分画像結合部から構成される。
ゴールシーン抽出部１１は、検索キー入力部１４から出力された到着タイムを元に、指定した出走者がゴールゲートを通過したときの設定した時間長さの動画像を、原画像記憶部２に格納されている動画像ファイルから抽出する。
部分画像領域抽出部１２は、後述する対象位置推定部１８で求めた走者の推定位置と、カメラ間画像校正部３の校正結果を元に、走者が含まれている複数カメラの画像領域を推定し、再生する際に必要な画像サイズで部分画像を切り出す。
部分画像結合部１３は、部分画像領域抽出部で切出した画像が、複数のカメラにまたがるときに、対応する各カメラの部分画像を選択し、前記第１の実施例で説明した画像結合部４と同様な処理を行い、再生する際に必要な画像サイズになるように結合する。
５は動画像記憶部であり、前記第１の実施例と同様、記憶装置上に構成され、部分画像結合部１３から出力された動画像を時系列順に並べ、動画像ファイルとして記憶する。
７は動画像配信部であり、切り出したゴールシーン等を、ネットワークを介して動画像を配信する映像形式（例えば、ストリーミング配信形式） へ変換し、遠隔地のサーバなどを経由して、視聴者のクライアントマシンへハイライト映像を送出する。
８は映像表示部であり、ネットワークを経由して送られてきたゴールシーン等の映像を、ディスプレイへ表示する形式に変換し表示する。
【００２６】
１４は検索キー入力部であり、キーボードやマウスなどの入力機器や、音声認識などの入力手段によって、走者の到着タイム等の検索キーを入力する。
また、入力する値を、走者の氏名あるいはゼッケン番号とし、その走者の到着タイムを出力するように構成してもよい。到着タイムは、ゴールシーン抽出部において、検索キーとして利用される。
１５は無線ＩＤ信号送受信部であり、各出走者が、ゴールゲートを通過したことを検出する方法としては、例えば、前記特許文献４に開示されているような、無線ＩＤ信号送受信機を使用する。
それぞれ異なる特定周波数の電磁波を発信する無線ＩＤタグ（送信機）を、出走者と同数用意しておき、各出走者が、無線ＩＤタグを１個所持する。また、ゴールゲートを含むハイライトシーン抽出箇所（中間地点など予め選定された地点）には、受信機を用意しておき、出走者が装着した無線ＩＤタグの電磁波を受信し、その特定周波数を検出することで、どの出走者がゲートを通過したのかを検出する。
【００２７】
１６は通過タイム検出部であり、スタート時刻を起点とし、無線受信機の設置地点を終点とする、各出走者の通過タイムを、無線ＩＤ信号送受信部で検出した各出走者の到着検出信号をもとに算出し、その記録を通過タイム記憶部１７へ渡す。
すなわち、全出走者がスタートしたときのタイムｔｓｔを記憶しておき、次に、無線ＩＤ信号送受信機で、ある出走者が受信機上を通過したときのタイムを検出し、そのタイムｔｇｏａｌを記録する。このとき、出走者Ｐの通過タイムｔＧ は、以下の式で求めることができる。
ｔ Ｇ ＝ｔｇｏａｌ− ｔｓｔ
また、受信機の設置場所をコース上の複数地点に設定することで、上記と同様に、その地点間の所要時間を計測することができる。
例えば、前記図２に示したゴールゲートの手前δメートルの位置にあるＡ地点とゴール地点に受信機を設置し、ある走者が、Ａ地点からゴールまで走行するのに要した時間ｔｌａｐＡを計測する。つまり、通過タイム記憶部１７に保存されている地点Ａの通過タイムｔＡ とゴールタイムｔＧ から、以下の式でｔｌａｐＡを求めることができる。
ｔｌａｐＡ＝ｔＧ −ｔＡ
同様に、中間地点等のハイライトシーンを抽出する複数地点に、上記のように２台の受信機を設置することで、各地点における通過タイムを求め、ある地点からある地点まで走行するのに要した時間ｔｌａｐ を計測することができる。
【００２８】
１７は通過タイム記憶部であり、各出走者の通過タイムを、氏名やゼッケン番号などの他の出走者情報とともに記憶する。
また、上記通過タイム検出部１６で検出された上記各走者がコース上の複数地点間を通過するタイムを記録する。
図７にゴールタイムと出走者情報を対応付けたデータの一例を示す。同図に示すように、ゼッケン番号、氏名、種目、年齢、通過タイム等が対応付けられて記憶される。
１８は対象位置推定部であり、複数地点に設けた無線ＩＤタグ受信機を走者が通過した時刻を元に、受信機設置地点間の任意地点を走者がいつ通過したかを推定する。
【００２９】
次に本実施例のハイライトシーン抽出装置の各部の動作について説明する。
前記図２に示したように、カメラをコースの横にコース沿いに配置し、予め校正板をコースに沿って移動させ、複数のカメラで校正板の画像を撮影し、カメラ間画像校正部３で拡縮率γを求めて、前記した変換式を得る。また、図５に示した対応表を作成する。
以上のように、カメラ間画像校正部３で拡縮率γを得て、前記した変換式を求め、図５に示した対応表を作成した後、撮影部１でマラソン大会のゴールシーン等のハイライトシーンを撮影し、原画像記憶部２に記憶する。
ゴールシーン抽出部１１では、検索キー入力部１４から出力された到着タイムを元に、指定した出走者がゴールゲートを通過したときの動画像を、原画像記憶部２から抽出する。
なお、検索キー入力部１４から入力する値は、前記したように、到着タイム以外に、走者の氏名あるいはゼッケン番号等でもよい。検索キー入力部１４では、走者の氏名あるいはゼッケン番号等が入力されると、前記図７に示したデータを参照して、到着タイムを求めてゴールシーン抽出部１１に出力する。
【００３０】
一方、対象位置推定部１８では、通過タイム記憶部１７に記憶された複数地点の通過タイムから、走者の位置Ｐ（τ） を推定する。
例えば、前記したように、ゴールゲートの手前δメートルの位置にあるＡ地点からゴールまで走行するのに要した時間ｔｌａｐＡを求め、走者が、Ａ地点からゴールまで等速で走行すると仮定して、Ａ地点を起点としたτ秒後の走者の位置Ｐ（τ） を、次式から求める。
Ｐ（τ）＝δ／ｔｌａｐＡ
ここで、０≦τ≦ｔｌａｐＡである。
【００３１】
ゴールシーン抽出部１１では、以下のようにして指定した出走者がゴールゲートを通過したときの動画像を抽出する。
例えば、原画像記憶部２に、競技の開始タイムｔＳＴからの動画像が記憶されてものとし、指定した走者のゴールタイムｔＧ のとき、次のようにしてゴールシーンを抽出する。まず、ｔＧ を基準に、ゴールシーンの開始タイムｔｆｏｒｍｅｒと終了タイムｔｌａｔｔｅｒを決定する。例えば、抽出するシーンを、前記図２のＡ地点を通過する瞬間からゴール通過後ｔｃｏｎｓｔ までとすると、以下のようになる。
ｔｆｏｒｍｅｒ＝ｔ Ｇ −ｔｌａｐＡ
ｔｌａｔｔｅｒ＝ｔ Ｇ ＋ｔｃｏｎｓｔ
ただし、ｔｌａｐＡはＡ地点からゴールまで走行するのに要した時間、また、ｔｃｏｎｓｔ は適当な時間間隔を示す値である。
ゴールシーン抽出部１１は、通過タイム記憶部１７に記憶された各地点を通過したタイムから上記ｔｆｏｒｍｅｒ，ｔｌａｔｔｅｒを求め、原画像記憶部２に保存されている複数カメラの動画像から、上記ｔｆｏｒｍｅｒからｔｌａｔｔｅｒまでの時間範囲の画像を選択し、部分画像領域抽出部１２に渡す。
【００３２】
部分画像領域抽出部１２では、前記したように対象位置推定部１８で求めた走者の推定位置と、カメラ間画像校正部３の校正結果から、走者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出す。
まず、前記図５に示した対応表からカメラ画面上での走者の位置を求める。
すなわち、対象位置推定部１８で算出した推定位置をＰ（τ） とし、上記対応表から以下のようにして、画面上の走者の位置を求める。
ｄｎ ≦Ｐ（τ） ＜ｄｎ＋１ のとき、画面上での走者位置を、〔ｉｘｃ （ ｄｎ ），ｉｙｃ （ ｄｎ ）〕とする。
ただし、〔ｉｘｃ （ｄｎ ），ｉｙｃ （ｄｎ ）〕＝〔ｉｘｓｃ（ｄｎ ），ｉｙｓｃ（ｄｎ ）〕または〔ｉｘＴｃ（ｄｎ ），ｉｙＴｃ（ｄｎ ）〕である。
なお、上記では、走者位置を離散的に求めているが、線形補間などの補間処理によって、連続的な位置を求めても良い。
【００３３】
次に、上記画面上の走者位置から走者が含まれている画像領域を以下のように抽出する。
抽出する部分画像形状を矩形とし、抽出する部分画像のサイズをＸｐａｒｔ， Ｙｐａｒｔとする。
ただし、Ｘｐａｒｔ＜Ｘｓｉｚｅ，Ｙｐａｒｔ＜Ｙｓｉｚｅであり、Ｘｓｉｚｅ，Ｙｓｉｚｅは、それぞれＸ，Ｙ方向の画面サイズである。
（１） 部分画像がカメラで取得した画面内に納まる場合
次の４端点で囲まれる矩形領域を部分画像とする
左上端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
（２） 部分画像がカメラで取得した画面内に納まらない場合
ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２＞Ｘｓｉｚｅとなる場合は、部分画像結合部１３において、カメラ１ａの画像とカメラ１ｂの画像を結合して１つの画像を生成する処理を行なう。
【００３４】
部分画像結合部１３では、上記（２） のように、部分画像が１台のカメラ画面内に納まらないとき、前記第１の実施例で説明したのと同様に、以下のようにして、２台のカメラの画像を結合する。
例えば、カメラ１ａで撮影された部分画像の範囲外の画像をカメラ１ｂの画像を用いて補い、Ｘｓｉｚｅ＜ｉｘＳ ＜ｉｘｃ （ｄｎ ）＋Ｘ ｐａｒｔ ／２の画素について、前記変換式を用いて、カメラ１ｂの画素位置をカメラ１ａのカメラ１ａの座標に変換し、カメラ１ａとカメラ１ｂの画像を結合する。
すなわち、カメラ１ａの取得画像において、式Ｘｓｉｚｅ＜ｉｘＳ ＜ｉｘｃ （ｄｎ ）＋Ｘ ｐａｒｔ ／２を満たす画素（ｉｘＳ ， ｉｙＳ ） の色成分Ｒ（ｉｘＳ ， ｉｙＳ ），Ｇ（ｉｘＳ ， ｉｙＳ ），Ｂ（ｉｘ Ｓ ， ｉｙＳ ） に、対応するカメラ１ｂの画素の色成分を用いる。
【００３５】
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
ただし、座標値（ｉｘＳ ， ｉｙＳ ） と（ｉｘＳ ， ｉｙＳ ） は、前記（５）（６）式の関係を満たす。
次の４端点で囲まれる矩形領域にあり、かつ、カメラ１ａの画面外にある全ての画素の色成分をカメラ１ｂの画像情報から求めることによって、２台のカメラの画像から部分画像を生成することができる。
左上端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
【００３６】
部分画像結合部１４で結合した部分画像は、動画像記憶部５に記憶され、動画像配信部７では、切り出したゴールシーンを、ネットワークを介して動画像を配信する映像形式へ変換し、遠隔地のサーバなどを経由して、視聴者のクライアントマシンへ送出する。
送出されたゴールシーン等のハイライトシーンは、映像表示部６で表示される。
【００３７】
図８、図９は本実施例のハイライトシーン抽出装置によるハイライトシーン抽出・表示処理を示すフローチャートであり、以下、図８、図９により、本実施例の処理について説明する。
競技会では、図８に示すように、競技開始とともに、競技者が走行しているシーンを複数のカメラで撮影し、予め設定されたサンプリング時毎の画像を取得する。これらの画像は原画像記憶部２に記憶される。
以上のように原画像記憶部２に競技者が走行している動画像が記憶されると、以下の処理を行って、ハイライトシーンを抽出する。
まず、前記したように、検索キー入力部１４から、競技者の氏名、ゼッケン番号等の検索キーを入力し（図９のステップＳ１）、ゴール通過タイムｔＧ を取得する（ステップＳ２）。なお、以下では、コースの最終地点のみだけでなく、中間地点等、競技者の走行シーンを撮影するためにカメラを設置した地点を、ゴールと言うこととする。
ゴールシーン抽出部１１は、上記ゴール通過タイムｔＧ に基づき、ゴールシーン開始・終了時間を前記した以下の式により算出する（ステップＳ３）。
ｔｆｏｒｍｅｒ＝ｔ Ｇ −ｔｌａｐＡ
ｔｌａｔｔｅｒ＝ｔ Ｇ ＋ｔｃｏｎｓｔ
【００３８】
そして、原画像記憶部２から、上記ｔｆｏｒｍｅｒからｔｌａｔｔｅｒまでの画像（サンプリング時間毎）を取り出す（ステップＳ４）。
ついで、サンプリング時間ｔｓａｍｐを０として（ステップＳ５）、画面上での走者の位置を前記図５の対応表を基に算出する（ステップＳ６）。
すなわち、ｄｎ ≦Ｐ（ｔｆｏｒｍｅｒ＋ｔｓａｍｐ）＜ｄｎ＋１ を満たす画面上での走者の位置〔ｉｘｃ （ｄｎ ），ｉｙｃ （ｄｎ ）〕を求める。
ついで、部分画像がカメラ１台分の画面内に収まるかを調べる（ステップＳ７）。
部分画像がカメラ１台分の画面内に収まる場合には、前記したように、次の４端点で囲まれる矩形領域を部分画像とする（ステップＳ８）。
左上端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
また、部分画像がカメラ１台分の画面内に収まらない場合には、画面からはみ出る部分の画素の値を他のカメラ画像から獲得する。
すなわち、以下のように、カメラ１ａからはみ出る部分の画素の色成分を対応するカメラ１ｂの画像から獲得する（ステップＳ９）。
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
そして、前記したように画像をつなぎ合わせて、次の４端点で囲まれる領域の部分画像とする（ステップＳ１０）。
左上端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
ついで、ｔｓａｍｐ＝ｔｓａｍｐ＋１として（ステップＳ１１）、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐであるかを調べ、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐであれば、前記ステップＳ６に戻り上記処理を繰り返す。
また、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐでなければ、部分画像を時系列順に並べて動画を生成し（ステップＳ１３）、動画の表示・配信を行う。
【００３９】
（付記１） 複数台のカメラと、
上記カメラにより事前に撮影した校正板の複数画像から、複数のカメラで撮影した画像間の対応関係を求めるカメラ間画像校正手段と、
上記カメラ間画像校正手段により求めたカメラ間の画像の対応関係に基づき、上記複数のカメラで撮影された画像をつなぎ合わせて、パノラマ動画を生成する手段とを備えた
ことを特徴とするパノラマ動画生成装置。
（付記２） マラソン競技等における競技者の画像を撮影する、複数台のカメラと、
上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出し、抽出した競技者の画像を最適なサイズで切り出す画像抽出手段と、
抽出された画像を表示する表示手段を備えた
ハイライトシーン抽出装置。
（付記３） 競技者が身に付けた無線ＩＤタグを複数地点に設けた受信機で検出する無線ＩＤ送受信機と、
上記無線ＩＤ送受信機の受信結果に基づき競技者を同定し、該競技者の通過タイムを検出する通過タイム検出手段と、
検出したタイムを記憶する通過タイム記憶手段と、
複数地点の通過タイムから地点間の競技者の位置を推定する対象位置推定手段とを備え、
上記画像抽出手段は、対象位置推定手段により推定された競技者の位置に基づき、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する
ことを特徴とする付記２のハイライトシーン抽出装置。
（付記４） 事前に撮像した校正板の複数カメラの画像から、コース上の校正板の中心位置と画面上の位置との対応関係を求めるカメラ間画像校正手段を備え、
上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の位置と、
上記カメラ間画像校正手段により校正された競技者の推定位置と競技者の画像の対応関係に基づき、競技者の部分画像を抽出する
ことを特徴とする付記３のハイライトシーン抽出装置。
（付記５） 上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の推定位置と、カメラ間画像校正部の校正結果を元に、上記競技者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出す部分画像領域抽出手段と、
抽出した部分画像を結合する部分画像結合手段を備えた
ことを特徴とする付記４のハイライトシーン抽出装置。
（付記６） 複数台のカメラにより撮影した、マラソン競技等における競技者の動画像から、任意の競技者の画像を抽出するための画像抽出プログラムであって、
上記プログラムは、
上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する処理と、
抽出した競技者の画像を最適なサイズで切り出す処理をコンピュータに実行させる
ことを特徴とする画像抽出プログラム。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、以下の効果を得ることができる。
（１）マラソン大会などの競技会等において、複数台のカメラの映像を繋ぎ合わせてパノラマ動画を生成・表示することができる。
（２）任意の走者のゴールシーンを、連続的に撮影した動画像の中から自動的に抽出し、かつ、その走者の映像を最適なサイズで切り出しながら、撮影現場およびネットワーク接続された遠隔地において再生表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例のパノラマ動画生成装置の構成を示す図である。
【図２】校正方法を説明する図である。
【図３】２台のカメラにより撮影された校正板の画像を示す図である。
【図４】単一六角錐型ＨＳＶ表色系を示す図である。
【図５】コース上の位置と画面上の校正板中心位置との対応を示す対応表である。
【図６】本発明の第２の実施例のハイライトシーン抽出装置の構成を示す図である。
【図７】ゴールタイムと出走者情報を対応付けたデータの一例を示す図である。
【図８】本発明の第２の実施例における撮影時の処理フローを示す図である。
【図９】本発明の第２の実施例におけるハイライトシーン抽出・表示時の処理フローを示す図である。
【符号の説明】
１ 撮像部
１ａ カメラ
１ｂ カメラ
１ｃ 校正板
２ 原画像記憶部
３ カメラ間画像校正部
４ 画像結合部
５ 動画像記憶部
６ 動画像表示部
１０ 画像抽出部
１１ ゴールシーン抽出部
１２ 部分画像領域抽出部
１３ 部分画像結合部
１４ 検索キー入力部
１５ 無線ＩＤ送受信部
１６ 通過タイム検出部
１７ 通過タイム記憶部
１８ 対象位置推定部
【発明の属する技術分野】
本発明は、マラソン大会等の多数の競技者が参加する競技会等において、複数台のカメラで撮影した動画像をつなぎ合わせてパノラマ動画像を生成表示し、また、動画像の中から任意の競技者（走者）のゴールシーンを自動的に抽出し、最適なサイズで再生表示することができるハイライトシーンの抽出装置に関する。
【０００２】
【従来の技術】
動画像をパノラマ撮影するために、複数台のカメラを用いる方法が知られている。例えば、特許文献１では、ある１つの被写体に追従してカメラの回転角を制御し、使用したカメラの視野とは異なるアスペクト比の画面を得る方法が記載されている。また、特許文献２では、複数地点でカメラを回転させて得たパノラマ映像から、カメラを設置した場所以外の場所からのパノラマ映像を生成する方法が記載されている。
更に、従来から、マラソン大会などのように、短かい時間内に競技者がゴールへ到着する競技において、競技者一人一人の通過タイムと着順を記録する技術が既知である。例えば、特許文献３では、競技者のゼッケン番号をビデオカメラで撮像し認識することで通過タイムと着順を記録する装置が開示されている。特許文献４では、ゴールゲートに設けた受信機で、競技者が所持している無線ＩＤタグから発射される電磁波を検出することで、通過タイムと着順を記録する装置が開示されている。
【０００３】
更に、大会会場で成績や記念写真・画像を提供するサービスに関する技術も知られている。例えば、特許文献５では、完走者全員のゴール到着時の写真を印刷する装置が提示されている。また、前出の特許文献４では、通過タイムと同時に、画像信号を記憶する手段が提示されている。
また、本出願人が先に提案した特願２００２−０８５５６３では、マラソン大会を対象とし、無線ＩＤタグを持った走者が、ゴールゲートに設置された無線受信機を通過した時刻によって、動画像にマーキングし、その走者のゴールシーンを抽出する方法が開示されている。
さらに、カメラによる自動監視などを目的にして、例えば、非特許文献１では、ある１つの対象をズームアップしながら追尾撮影する技術が紹介されている。
【０００４】
【特許文献１】
特開平６−２１７１８４号公報
【特許文献２】
特開平１０−２０８０７４号公報
【特許文献３】
特公３０６９７２３号公報
【特許文献４】
特開平９−３８２６７号公報
【特許文献５】
実用新案登録０３０８１２４６号明細書
【非特許文献１】
森田敏彦著，「局所相関演算による動きの検知と追跡」，電子情報通信学会論文誌，Ｄ−ＩＩ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，２００１ 年２ 月，ｐｐ２９９−３０９
【０００５】
【発明が解決しようとする課題】
従来においては、上記のように、複数台のカメラを用いてパノラマ画像を生成したり、マラソン大会などにおいて、競技者の通過タイムや着順を記録し、ゴール到着時の写真を印刷したり画像信号を記憶する技術や、ある１つの対象をズームアップしながら追尾撮影する技術が知られている。
しかし、従来のものでは、マラソン競技などで多数の走者が走行する映像を対象として、遠くの走者をズームアップして撮影したカメラ映像と、近くの走者をワイドで撮影したカメラ映像とを繋ぎ合わせて１つのパノラマ動画として生成することはできなかった。また、任意の走者、つまり複数の対象をそれぞれ追尾撮影し、さらに、その走者のゴールシーンを最適なサイズで再生表示することはできなかった。
本発明は上記事情に鑑みなされたものであって、マラソン大会等の複数の競技者が参加する競技会等において、複数台のカメラの映像を繋ぎ合わせてパノラマ動画を生成し、任意の走者のゴールシーン等を、連続的に撮影した動画像の中から自動的に抽出し、かつ、その走者を最適なサイズで再生表示することができるパノラマ動画生成装置およびハイライトシーン抽出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明のパノラマ動画生成装置は、複数台のカメラと、該カメラにより事前に撮影した校正板の複数画像から複数のカメラで撮影した画像間の対応関係を求めるカメラ間画像校正手段と、該カメラ間画像校正手段により求めたカメラ間の画像の対応関係に基づき、上記複数のカメラで撮影された画像をつなぎ合わせて、パノラマ動画を生成する手段とを備える。
上記カメラは、視野が重なるように配置された複数台のカラーテレビカメラ等の撮像素子から構成され、例えばマラソン大会等の出走者等が、ゴール等の予め設定された地点に到着するシーンを撮影し、動画像を生成する。
上記カメラ間画像校正手段は、予め競技前に撮影した校正板の画像に基づき、コース上の位置とカメラ画面内の撮像位置との対応関係を校正するための処理を行う。例えば、マラソン大会等において、予め競技前に、コース上の所定の地点間で校正板を移動させ、該校正板を撮影した画像に基づき、コース上の位置とカメラ画面内の撮像位置との対応関係と、それぞれの画像の接合部分の整合性を取るための変換式を算出する。
上記パノラマ動画を生成する手段は、上記カメラ間画像校正手段により求めた、コース上の位置とカメラ画面内の撮像位置との対応関係と変換式を用いて、複数のカメラにまたがる画像を、繋ぎ合わせて１つの画像にし、パノラマ動画を生成する。生成されたパノラマ動画は、動画像記憶部に保存され、表示手段により表示される。
【０００７】
本発明のハイライトシーン抽出装置は、マラソン競技等における競技者の画像を撮影する複数台のカメラと、上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出し、抽出した競技者の画像を最適なサイズで切り出す画像抽出手段と、抽出された画像を表示する表示手段とを備える。
上記カメラは、視野が重なるように配置された複数台のカラーテレビカメラ等の撮像素子から構成され、例えばマラソン大会等の出走者等が、ゴール等の予め設定された地点に到着するシーンを撮影し、動画像を生成する。
また、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出するため、無線ＩＤ送受信機と、通過タイム検出手段と、通過タイム記憶手段と、対象位置推定手段とを設け、競技者が身に付けた無線ＩＤタグを複数地点に設けた受信機で検出して、その受信結果に基づき競技者を同定し、通過タイム検出手段で該競技者の通過タイムを検出する。そして、検出したタイムを通過タイム記憶手段に記憶し、複数地点の通過タイムから、対象位置推定手段により地点間の競技者の位置を推定する。
さらに、前記カメラ間画像校正手段を設け、事前に撮像した校正板の複数カメラの画像から、コース上の校正板の中心位置と画面上の位置との対応関係を求める。
そして、上記画像抽出手段は、上記対象位置推定手段により推定された競技者の位置と、上記カメラ間画像校正手段により校正された競技者の推定位置と競技者の画像の対応関係に基づき、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する。
また、上記画像抽出手段を、部分画像領域抽出手段と、部分画像結合手段とから構成し、部分画像領域抽出手段により、上記対象位置推定手段により推定された競技者の推定位置と、カメラ間画像校正部の校正結果を元に、上記競技者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出し、部分画像結合手段により、抽出した部分画像を結合し、ハイライトシーンを抽出するようにしてもよい。
上記のような構成とすることにより、任意の出走者が、ゴールするときの最適なサイズの映像を自動的に保存・抽出し、ゴールした直後に、その走者のゴールシーンを再生することが可能になる。また、ゴールゲート以外の特定地点（例えば、５キロ地点、１０キロ地点など） に、同様の無線ＩＤ受信機と、撮像部を設置することにより、任意の地点における走行シーンを再生表示することが可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
図１に本発明の第１の実施例のパノラマ動画生成装置の構成を示す。なお、以下の実施例ではマラソン大会における走者の動画像をつなぎ合わせて、パノラマ動画像を生成する場合について説明するが、マラソン大会以外のその他の競技会等におけるパノラマ動画像を生成することもできる。また、第１の実施例に示すパノラマ動画生成手法を用いて、後述する第２の実施例に示すように、マラソン大会等において、複数台のカメラで撮影した動画像つなぎ合わせ、任意の走者のゴールシーン等のハイライトシーンを抽出することができる。
【０００９】
図１において、１は撮像部であり、例えば、ＣＣＤカメラ等の複数台のテレビカメラから構成され、一定のサンプリング時間間隔 （例えば、３３ｍｓ）で画像を取得し動画像を生成する。
上記複数台のカメラは視野が重なるように配置する。以下の実施例では、複数台のカメラを、コースの横にコース沿いに配置する場合について説明するが、焦点距離の設定が異なる複数台のカメラを、コースの斜め横、コースの正面上方など、コース上の所定の範囲の映像を撮影できるように配置してもよい。
例えば、マラソン大会の場合、ゲート（例えばゴールゲート、中間地点等でもよい）上に焦点距離が異なり、仰角が異なる複数台のカメラを視野が重なるように配置し、コース上の映像を撮影するようにしてもよい。このように配置すれば、所定の範囲内にいる走者の映像をどれかのカメラで取得することができる。
画像の１つの画素は、カラー画像の場合、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の階調値で、白黒画像の場合、輝度の階調値で与えられる。例えば、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、輝度（Ｙ）の階調値は、それぞれ、ディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｙ（ｉ，ｊ）で与えられる。
【００１０】
２は原画像記憶部であり、記憶装置上に構成され、撮像部１で取得した複数のカメラの動画像を、個別の動画像ファイルとして格納する。
３はカメラ間画像校正部であり、コース上の位置とカメラ画面内の撮像位置との対応関係を、競技前に予め校正するための処理を行なう。また、走者があるカメラの視野範囲から次のカメラの視野範囲へ移動したときに、それぞれの画像の接合部分の整合性を取るための拡縮率を求め、画像間の変換式を算出する。
このため、校正板をコースに沿って移動させ、その動画像を撮像部１のカメラで取得し、上記コース上の位置とカメラ画面内の撮像位置との対応関係および変換式を得る。
４は画像結合部であり、上記カメラ間画像校正部で求めた変換式に基づき、複数のカメラにまたがる動画像を、繋ぎ合わせて１つの画像にしてパノラマ動画を生成する。
５は動画像記憶部であり、動画像記憶部５は記憶装置上に構成され、画像結合部４から出力された動画像を時系列順に並べ動画像ファイルとして記憶する。
６は動画像表示部であり、動画像記憶部に保存されている動画を、ディスプレイへ表示する形式に変換し表示する。
なお、上記動画像記憶部５が置かれる記憶装置は、他の処理部を実行する同一マシン上に構成しても、あるいは、ネットワーク等で接続された別マシン上に設置してもよい。
【００１１】
次に本実施例のパノラマ画像生成装置の各部の動作について説明する。
前記したように、カメラをコースの横にコース沿いに配置する。そして、まず、複数台カメラの画像を繋ぎ合わせるとともに、走者を追尾撮影するための準備として、走者がカメラ画面上に表示される位置と、実際のコース上での位置との間で対応関係をとるため校正処理を行う。このため、前記したように校正板をコースに沿って移動させ、複数のカメラで校正板の画像を取得する。
図２に、カメラ、走行コース、校正板の位置関係の例を示す。同図において、１ａ，１ｂはカメラ、１ｃは校正板であり、２台のカメラ１ａ，１ｂは視野がある程度重なるように配置され、校正板１ｃの中心位置は、どちらかのカメラの視野内に入るようにされている。
ここではカメラを２台としているが、３台以上でも同じ方法で校正可能である。また、校正板１ｃは、所定の大きさの板であり、校正板の色は、後段の処理を簡単にするために、例えば、ピンクの蛍光色などを使用すると良い。なお、同図ではカメラの位置がコースの横に配置されているが、前記したようにコースの斜め横、コースの正面上方など、どこに配置されていても良い。
【００１２】
校正処理を行うには、まず、校正板１ｃを地点Ａからゴールゲートまで例えば１ｍ毎に移動させ、カメラ１ａ，１ｂで校正板の画像を撮影する。なお、一方の地点が必ずしもゴールである必要はなく、コースの中間地点等にカメラが設置される場合には、その位置でも同様の校正処理を行う。ここで、地点Ａを起点とした校正板１ｃの中心までの距離をｄとする。
図１に示したカメラ間画像校正部３は以下の処理を行う。
校正板の画像がカメラの画面に納まって、図３（ａ）のように欠落部分がない場合、次のような処理を行なって、校正板の画面上での中心位置を算出する。
まず、校正板１ｃの色情報を用いて、校正板画像のみを全体画面から抽出する。画像の色を表現するために、例えば、ＨＳＶ表色系（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、Ｖａｌｕｅ：明度）のＨ成分を使用する。
なお、他の表色系を用いても構わない。ＨＳＶ表色系では、例えば、図４に示すような６角錐によって色空間を表現する。ＨＳＶ成分の中で、Ｈ成分は、色合いの種別を表現する量である。Ｈ成分は、明度の影響を受けにくいとされているため、色情報によって領域を抽出するときに、よく用いられている。Ｈ成分を用いて特定の画像領域を抽出するために、Ｈ成分に上限値と下限値を１個づつ定めて、その範囲内であれば、その領域であると判断する。
【００１３】
校正板１ｃを映した画像において、校正板画像上の各画素のＨ成分を算出し、最大値Ｈｍａｘ 、最小値Ｈｍｉｎ を決定する。次に、画面全体の各画素についてＨ成分を計算し、次の手順で分類する。
Ｈｍｉｎ ≦Ｈ≦Ｈｍａｘ のとき、その画素の値を１とする。また、Ｈ＜Ｈｍｉｎ あるいはＨｍａｘ ＜Ｈのとき、その画素の値を０とする。
１と０で表された画像に対して、画像処理の一手法である粒子解析を適用し、最も面積の大きな粒子部分を校正板とすることで、校正板画像を抽出できる。
校正板画像の中心位置（ｉｘｃ ，ｉｙｃ ）を、次式で算出する。
ｉｘｃ ＝（ｉｘ１ａ＋ｉｘ２ａ＋ｉｘ３ａ＋ｉｘ４ａ）／４
ｉｙｃ ＝（ｉｙ１ａ＋ｉｙ２ａ＋ｉｙ３ａ＋ｉｙ４ａ）／４
なお、カメラ画面の左上角を原点として、校正板画像の左上端、左下端、右上端、右下端の座標を、（ｉｘ１ａ， ｉｙ１ａ），（ｉｘ２ａ， ｉｙ２ａ），（ｉｘ３ａ， ｉｙ３ａ），（ｉｘ４ａ， ｉｙ４ａ）とした。
【００１４】
また、校正板１ｃの画像が図３（ｂ）のように、１台目のカメラ１ａには、全体像が映り、２台目のカメラ１ｂには、校正板の一部が映っている場合、次のような処理によって、２台のカメラ間の視野重なり部分における各カメラ画面上の画素の対応関係を算出する。
まず、上述の方法で、それぞれの画面から校正板画像を切り出し、校正板の角の端点位置を求める。１台目のカメラ１ａの添え字をＳ、２台目のカメラ１ｂの添え字Ｔをとする。
１台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は次の通りである。
（ｉｘＳ１ｂ ， ｉｙＳ１ｂ ） ，（ｉｘＳ２ｂ ， ｉｙＳ２ｂ ） ，（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） ，（ｉｘＳ４ｂ ， ｉｙＳ４ｂ ）
２台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は、次の通りである。
（ｉｘＴ１ｂ ， ｉｙＴ１ｂ ） ，（ｉｘＴ２ｂ ， ｉｙＴ２ｂ ） ，（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ） ，（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ）
【００１５】
図３（ｂ）においては、カメラ１ａの点（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） ，（ｉｘｓ４ｂ ， ｉｙｓ４ｂ ） とカメラ１ｂの点（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ） ，（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ） がそれぞれ対応関係にある。そこで、線分（ｉｘＳ３ｂ ， ｉｙＳ３ｂ ） 、（ｉｘＳ４ｂ ， ｉｙＳ４ｂ ） と線分（ｉｘＴ３ｂ ， ｉｙＴ３ｂ ）（ｉｘＴ４ｂ ， ｉｙＴ４ｂ ） との比γを求めると、２台カメラ間の拡縮率が以下の（１）式で求まる。
また、カメラ１ａの画像上の任意画素（ｉｘＳ ， ｉｙＳ ） は、カメラ１ｂの画像上の対応する画素（ｉｘＴ ， ｉｙＴ ） と次のような（２）式の関係にある。
【００１６】
【数１】
したがって、次の（３）（４）式によって、カメラ１ｂの画素位置をカメラ１ａの画素位置に変換することができる。
ｉｘＳ ＝ｉｘＳ３ｂ ＋γ（ｉｘＴ −ｉｘＴ３ｂ ）…（３）
ｉｙＳ ＝ｉｙＳ３ｂ ＋γ（ｉｙＴ −ｉｙＴ３ｂ ）…（４）
【００１８】
また、図３（ｃ）のように、校正板１ｃの画像が画面からはみ出て、２つのカメラ画像に跨った場合、次のような処理を行なって、校正板の中心位置を算出する。
ここで、１台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は次の通りである。
（ｉｘＳ１ｃ ， ｉｙＳ１ｃ ） ，（ｉｘＳ２ｃ ， ｉｙＳ２ｃ ） ，（ｉｘＳ３ｃ ， ｉｙＳ３ｃ ） ，（ｉｘＳ４ｃ ， ｉｙＳ４ｃ ）
また、２台目のカメラの校正板画像の左上端、左下端、右上端、右下端の座標は、次の通りである。
（ｉｘＴ１ｃ ， ｉｙＴ１ｃ ） ，（ｉｘＴ２ｃ ， ｉｙＴ２ｃ ） ，（ｉｘＴ３ｃ ， ｉｙＴ３ｃ ） ，（ｉｘＴ４ｃ ， ｉｙＴ４ｃ ）
まず、前述の方法で、それぞれのカメラ画面から校正板画像を切り出し、校正板の角の端点位置を求める。次に、先の変換式（３）（４）式を用いて、カメラ１ｂの画像の右上端点と右下端点を、カメラ１ａの画像における右上端点と右下端点の位置（ｉｘＳ３ｃ ， ｉｙＳ３ｃ ） ，（ｉｘＳ４ｃ ， ｉｙＳ４ｃ ） へ変換し、既に算出済みのカメラ１ａの右上端点と右下端点の値を置き換える。
すなわち、図３（ｃ）の画面上の（ｉｘＴ３ｃ ， ｉｙＴ３ｃ ） ，（ｉｘＴ４ｃ ， ｉｙＴ４ｃ ）の値をそれぞれ前記（３）（４）の（ｉｘＴ ， ｉｙＴ ）として、カメラ１ａ上の右上端点と右下端点の値を求め、カメラ１ａの右上端点と右下端点の値を置き換える。
なお、前記（３）（４）式は、カメラ１ａ，１ｂの配置、向きが変わらず、校正板とカメラ１ａ，１ｂの距離が大きく変わらない限り成り立つ。
【００１９】
カメラ１ａの校正板画像の４端点の座標位置から、校正板画像の中心位置を次式により求める。
ｉｘＳｃ＝（ｉｘＳ１ｃ ＋ｉｘＳ２Ｃ ＋ｉｘＳ３ｃ ＋ｉｘＳ４ｃ ）／４
ｉｙＳｃ＝（ｉｙＳ１ｃ ＋ｉｙＳ２ｃ ＋ｉｙＳ３ｃ ＋ｉｙＳ４ｃ ）／４
ここで、求めた中心位置がカメラ１ａの画面外になる場合は、中心位置をカメラ１ｂの画像の座標系で表現する。すなわち、上記と同様の処理をカメラ１ｂの画像について行い、カメラ１ｂの中心位置ｉｘＴｃ，ｉｙＴｃを求める。
なお、カメラ１ａの画像の画素位置をカメラ１ｂの画素位置に変換するための変換式は、カメラ１ａの画像上の任意の画素位置を（ｉｘＳ ， ｉｙＳ ） とし、カメラ１ｂの画像上の対応する画素位置を（ｉｘＴ ， ｉｙＴ ） とすると、以下の（５）（６）式となる。
ｉｘＴ ＝ｉｘＴ３ｂ ＋（ｉｘＳ −ｉｘＳ３ｂ ）／γ…（５）
ｉｙＴ ＝ｉｙＴ３ｂ ＋（ｉｙＳ −ｉｙＳ３ｂ ）／γ…（６）
また、カメラ１ａの画面外になる条件は、次の通りである。ただし、Ｘｓｉｚｅは、カメラ１ａのＸ方向の画面サイズである。
ｉｘＳｃ＞Ｘｓｉｚｅ
ここで、カメラ１ａの校正板画像の中心位置（ｉｘＳｃ，ｉｙＳｃ）とカメラ１ｂの校正板画像の中心位置（ｉｘＴｃ，ｉｙＴｃ）は以下の関係となる。
ｉｘＴｃ＝ｉｘＴ３ｂ ＋（ｉｘＳｃ−ｉｘＳ３ｂ ）／γ
ｉｙＴｃ＝ｉｙＴ３ｂ ＋（ｉｙＳｃ−ｉｙＳ３ｂ ）／γ
【００２０】
次に、以上の方法で求めた校正板画像の中心位置（ｉｘＳｃ ，ｉｙＳｃ ）または（ｉｘＴｃ ，ｉｙＴｃ ）と、実際のコース上での位置ｄの対応表を作成する。位置ｄのサンプリング間隔は、例えば１ｍ毎に設定する。
具体的には、例えば図２において校正板１ｃを１ｍ毎に移動させながら、各位置での校正板の画像をカメラ１ａ，１ｂで撮影し、Ａ地点から校正板１ｃの中心までの距離ｄ０ ，ｄ１ ，…，ｄｎ と、各位置おけるカメラ１ａ，１ｂの画像中における校正板１ｃの中心位置の座標〔ｉｘＳｃ（ｄ０ ），ｉｙＳｃ（ｄ０ ）〕，…，〔ｉｘＳｃ（ｄｎ ），ｉｙＳｃ（ｄｎ ）〕あるいは、〔ｉｘＴｃ（ｄ０ ），ｉｙＴｃ（ｄ０ ）〕，…，〔ｉｘＴｃ（ｄｎ ），ｉｙＴｃ（ｄｎ ）〕を求め、両者を対応付けた対応表を作成する。図５に上記対応表の一例を示す。
【００２１】
以上のように、予め、カメラ間画像校正部３で拡縮率γを得て、前記した変換式を求め、図６に示した対応表を作成した後、撮影部１でマラソン大会のゴールシーン等を撮影し、原画像記憶部２に記憶する。
画像結合部４では、上記カメラ間画像校正部３で求めたカメラ画像間の変換式を用いて、複数台カメラの画像を結合してパノラマ画像とする。
例えば、カメラ１ａで撮影された画像の範囲外の画像をカメラ１ｂの画像を用いて補い、パノラマ画像を生成するには、ｉｘＳｃ＞Ｘｓｉｚｅ（Ｘｓｉｚｅは、カメラ１ａのＸ方向の画面サイズ）の画素について、前記変換式を用いて、カメラ１ｂの画素位置をカメラ１ａのカメラ１ａの座標に変換し、カメラ１ａで撮影された画像の範囲外の画像を得る。
すなわち、カメラ１ａの取得画像においてＸｓｉｚｅ＜ｉｘＳ を満たす画素（ｉｘＳ ， ｉｙＳ ） の色成分Ｒ（ｉｘＳ ， ｉｙＳ ），Ｇ（ｉｘＳ ， ｉｙＳ ），Ｂ（ｉｘＳ ， ｉｙＳ ） について、以下のように対応するカメラ１ｂの画素の色成分を用いる。
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｂ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
ここで、座標値（ｉｘＳ ， ｉｙＳ ） と（ｉｘＳ ， ｉｙＳ ） は、前記（５）（６）式の関係を満たす。
【００２２】
生成されるパノラマ画像のＸ方向のサイズをＸｓｉｚｅ ＊ 、Ｙ方向のサイズをＹｓｉｚｅ ＊ とすると、画面範囲０＜ｉｘＳ ＜Ｘｓｉｚｅ ＊ ，０＜ｉｙＳ ＜Ｙｓｉｚｅ ＊ について上記処理を行い、一つの画像を生成することにより、パノラマ画像を生成することができる。
なお、カメラ１ａで撮影した画像にカメラ１ｂで撮影した全体の画像を合わせて１枚の画像を生成する場合、上記Ｘｓｉｚｅ ＊ ，Ｙｓｉｚｅ ＊ は、カメラ１ｂの画像のＸ方向のサイズＸｓｉｚｅ，Ｙ方向のサイズＹｓｉｚｅを、カメラ１ａのＸ方向のサイズ、Ｙ方向のサイズに変換した値となり、次の式で与えられる。
Ｘｓｉｚｅ ＊ ＝ｉｘＳ３ｂ ＋γ（Ｘｓｉｚｅ−ｉｘＴ３ｂ ）
Ｙｓｉｚｅ ＊ ＝ｉｙＳ３ｂ ＋γ（Ｙｓｉｚｅ−ｉｙＳ３ｂ ）
なお、上記では、カメラ１ａで撮影された画像の範囲外の画像を、カメラ１ｂの画像を用いて補ってパノラマ画像を生成する場合について説明したが、カメラ１ｂで撮影された画像の範囲外の画像を、カメラ１ａの画像を用いて補ってパノラマ画像を生成する場合にも、上記と同様に処理を行うことで実現することができる。
【００２３】
上記のようにして生成されたパノラマ動画像は、動画像記憶部５において、時系列順に並べられ、動画像ファイルとして記憶される。
なお、前記したように動画像記憶部をネットワーク等で接続された別マシン上に設置して、画像結合部４で生成したパノラマ動画像をネットワークを介して配信するようにしてもよい。
映像表示部５では、上記動画像記憶部４に保存されている動画像を、ディスプレイへ表示する形式に変換し、表示する。
【００２４】
次に本発明の第２の実施例について説明する。本実施例は、マラソン大会等において、複数台のカメラで撮影した動画像つなぎ合わせ、任意の走者のゴールシーン等のハイライトシーンを抽出するようにした実施例である。
図６は、本実施例のハイライトシーン抽出装置の構成を示す図である。
１は前記した撮像部であり、例えば、ＣＣＤカメラ等の複数台のテレビカメラから構成され、一定のサンプリング時間間隔 （例えば、３３ｍｓ）で画像を取得し動画像を生成する。
上記複数台のカメラは視野が重なるように配置され、前記したように複数台のカメラを、コースの横にコース沿いに配置したり、焦点距離の設定が異なる複数台のカメラを、コースの斜め横、コースの正面上方など、コース上の所定の範囲の映像を撮影できるように配置してもよい。
２は前記した原画像記憶部であり、記憶装置上に構成され、撮像部１で取得した複数のカメラの動画像を、個別の動画像ファイルとして格納する。
３はカメラ間画像校正部であり、前記したように、競技前に予め撮影された校正板の画像を用いて、走者がコース上を移動したときのコース上の位置とカメラ画面内の撮像位置との対応表を作成する。また、走者があるカメラの視野範囲から次のカメラの視野範囲へ移動したときに、それぞれの画像の接合部分の整合性を取るための拡縮率を求め、画像間の変換式を算出する。
【００２５】
１０は画像抽出部であり、ゴールシーン抽出部１１と部分画像領域抽出部１２と部分画像結合部から構成される。
ゴールシーン抽出部１１は、検索キー入力部１４から出力された到着タイムを元に、指定した出走者がゴールゲートを通過したときの設定した時間長さの動画像を、原画像記憶部２に格納されている動画像ファイルから抽出する。
部分画像領域抽出部１２は、後述する対象位置推定部１８で求めた走者の推定位置と、カメラ間画像校正部３の校正結果を元に、走者が含まれている複数カメラの画像領域を推定し、再生する際に必要な画像サイズで部分画像を切り出す。
部分画像結合部１３は、部分画像領域抽出部で切出した画像が、複数のカメラにまたがるときに、対応する各カメラの部分画像を選択し、前記第１の実施例で説明した画像結合部４と同様な処理を行い、再生する際に必要な画像サイズになるように結合する。
５は動画像記憶部であり、前記第１の実施例と同様、記憶装置上に構成され、部分画像結合部１３から出力された動画像を時系列順に並べ、動画像ファイルとして記憶する。
７は動画像配信部であり、切り出したゴールシーン等を、ネットワークを介して動画像を配信する映像形式（例えば、ストリーミング配信形式） へ変換し、遠隔地のサーバなどを経由して、視聴者のクライアントマシンへハイライト映像を送出する。
８は映像表示部であり、ネットワークを経由して送られてきたゴールシーン等の映像を、ディスプレイへ表示する形式に変換し表示する。
【００２６】
１４は検索キー入力部であり、キーボードやマウスなどの入力機器や、音声認識などの入力手段によって、走者の到着タイム等の検索キーを入力する。
また、入力する値を、走者の氏名あるいはゼッケン番号とし、その走者の到着タイムを出力するように構成してもよい。到着タイムは、ゴールシーン抽出部において、検索キーとして利用される。
１５は無線ＩＤ信号送受信部であり、各出走者が、ゴールゲートを通過したことを検出する方法としては、例えば、前記特許文献４に開示されているような、無線ＩＤ信号送受信機を使用する。
それぞれ異なる特定周波数の電磁波を発信する無線ＩＤタグ（送信機）を、出走者と同数用意しておき、各出走者が、無線ＩＤタグを１個所持する。また、ゴールゲートを含むハイライトシーン抽出箇所（中間地点など予め選定された地点）には、受信機を用意しておき、出走者が装着した無線ＩＤタグの電磁波を受信し、その特定周波数を検出することで、どの出走者がゲートを通過したのかを検出する。
【００２７】
１６は通過タイム検出部であり、スタート時刻を起点とし、無線受信機の設置地点を終点とする、各出走者の通過タイムを、無線ＩＤ信号送受信部で検出した各出走者の到着検出信号をもとに算出し、その記録を通過タイム記憶部１７へ渡す。
すなわち、全出走者がスタートしたときのタイムｔｓｔを記憶しておき、次に、無線ＩＤ信号送受信機で、ある出走者が受信機上を通過したときのタイムを検出し、そのタイムｔｇｏａｌを記録する。このとき、出走者Ｐの通過タイムｔＧ は、以下の式で求めることができる。
ｔ Ｇ ＝ｔｇｏａｌ− ｔｓｔ
また、受信機の設置場所をコース上の複数地点に設定することで、上記と同様に、その地点間の所要時間を計測することができる。
例えば、前記図２に示したゴールゲートの手前δメートルの位置にあるＡ地点とゴール地点に受信機を設置し、ある走者が、Ａ地点からゴールまで走行するのに要した時間ｔｌａｐＡを計測する。つまり、通過タイム記憶部１７に保存されている地点Ａの通過タイムｔＡ とゴールタイムｔＧ から、以下の式でｔｌａｐＡを求めることができる。
ｔｌａｐＡ＝ｔＧ −ｔＡ
同様に、中間地点等のハイライトシーンを抽出する複数地点に、上記のように２台の受信機を設置することで、各地点における通過タイムを求め、ある地点からある地点まで走行するのに要した時間ｔｌａｐ を計測することができる。
【００２８】
１７は通過タイム記憶部であり、各出走者の通過タイムを、氏名やゼッケン番号などの他の出走者情報とともに記憶する。
また、上記通過タイム検出部１６で検出された上記各走者がコース上の複数地点間を通過するタイムを記録する。
図７にゴールタイムと出走者情報を対応付けたデータの一例を示す。同図に示すように、ゼッケン番号、氏名、種目、年齢、通過タイム等が対応付けられて記憶される。
１８は対象位置推定部であり、複数地点に設けた無線ＩＤタグ受信機を走者が通過した時刻を元に、受信機設置地点間の任意地点を走者がいつ通過したかを推定する。
【００２９】
次に本実施例のハイライトシーン抽出装置の各部の動作について説明する。
前記図２に示したように、カメラをコースの横にコース沿いに配置し、予め校正板をコースに沿って移動させ、複数のカメラで校正板の画像を撮影し、カメラ間画像校正部３で拡縮率γを求めて、前記した変換式を得る。また、図５に示した対応表を作成する。
以上のように、カメラ間画像校正部３で拡縮率γを得て、前記した変換式を求め、図５に示した対応表を作成した後、撮影部１でマラソン大会のゴールシーン等のハイライトシーンを撮影し、原画像記憶部２に記憶する。
ゴールシーン抽出部１１では、検索キー入力部１４から出力された到着タイムを元に、指定した出走者がゴールゲートを通過したときの動画像を、原画像記憶部２から抽出する。
なお、検索キー入力部１４から入力する値は、前記したように、到着タイム以外に、走者の氏名あるいはゼッケン番号等でもよい。検索キー入力部１４では、走者の氏名あるいはゼッケン番号等が入力されると、前記図７に示したデータを参照して、到着タイムを求めてゴールシーン抽出部１１に出力する。
【００３０】
一方、対象位置推定部１８では、通過タイム記憶部１７に記憶された複数地点の通過タイムから、走者の位置Ｐ（τ） を推定する。
例えば、前記したように、ゴールゲートの手前δメートルの位置にあるＡ地点からゴールまで走行するのに要した時間ｔｌａｐＡを求め、走者が、Ａ地点からゴールまで等速で走行すると仮定して、Ａ地点を起点としたτ秒後の走者の位置Ｐ（τ） を、次式から求める。
Ｐ（τ）＝δ／ｔｌａｐＡ
ここで、０≦τ≦ｔｌａｐＡである。
【００３１】
ゴールシーン抽出部１１では、以下のようにして指定した出走者がゴールゲートを通過したときの動画像を抽出する。
例えば、原画像記憶部２に、競技の開始タイムｔＳＴからの動画像が記憶されてものとし、指定した走者のゴールタイムｔＧ のとき、次のようにしてゴールシーンを抽出する。まず、ｔＧ を基準に、ゴールシーンの開始タイムｔｆｏｒｍｅｒと終了タイムｔｌａｔｔｅｒを決定する。例えば、抽出するシーンを、前記図２のＡ地点を通過する瞬間からゴール通過後ｔｃｏｎｓｔ までとすると、以下のようになる。
ｔｆｏｒｍｅｒ＝ｔ Ｇ −ｔｌａｐＡ
ｔｌａｔｔｅｒ＝ｔ Ｇ ＋ｔｃｏｎｓｔ
ただし、ｔｌａｐＡはＡ地点からゴールまで走行するのに要した時間、また、ｔｃｏｎｓｔ は適当な時間間隔を示す値である。
ゴールシーン抽出部１１は、通過タイム記憶部１７に記憶された各地点を通過したタイムから上記ｔｆｏｒｍｅｒ，ｔｌａｔｔｅｒを求め、原画像記憶部２に保存されている複数カメラの動画像から、上記ｔｆｏｒｍｅｒからｔｌａｔｔｅｒまでの時間範囲の画像を選択し、部分画像領域抽出部１２に渡す。
【００３２】
部分画像領域抽出部１２では、前記したように対象位置推定部１８で求めた走者の推定位置と、カメラ間画像校正部３の校正結果から、走者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出す。
まず、前記図５に示した対応表からカメラ画面上での走者の位置を求める。
すなわち、対象位置推定部１８で算出した推定位置をＰ（τ） とし、上記対応表から以下のようにして、画面上の走者の位置を求める。
ｄｎ ≦Ｐ（τ） ＜ｄｎ＋１ のとき、画面上での走者位置を、〔ｉｘｃ （ ｄｎ ），ｉｙｃ （ ｄｎ ）〕とする。
ただし、〔ｉｘｃ （ｄｎ ），ｉｙｃ （ｄｎ ）〕＝〔ｉｘｓｃ（ｄｎ ），ｉｙｓｃ（ｄｎ ）〕または〔ｉｘＴｃ（ｄｎ ），ｉｙＴｃ（ｄｎ ）〕である。
なお、上記では、走者位置を離散的に求めているが、線形補間などの補間処理によって、連続的な位置を求めても良い。
【００３３】
次に、上記画面上の走者位置から走者が含まれている画像領域を以下のように抽出する。
抽出する部分画像形状を矩形とし、抽出する部分画像のサイズをＸｐａｒｔ， Ｙｐａｒｔとする。
ただし、Ｘｐａｒｔ＜Ｘｓｉｚｅ，Ｙｐａｒｔ＜Ｙｓｉｚｅであり、Ｘｓｉｚｅ，Ｙｓｉｚｅは、それぞれＸ，Ｙ方向の画面サイズである。
（１） 部分画像がカメラで取得した画面内に納まる場合
次の４端点で囲まれる矩形領域を部分画像とする
左上端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
（２） 部分画像がカメラで取得した画面内に納まらない場合
ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２＞Ｘｓｉｚｅとなる場合は、部分画像結合部１３において、カメラ１ａの画像とカメラ１ｂの画像を結合して１つの画像を生成する処理を行なう。
【００３４】
部分画像結合部１３では、上記（２） のように、部分画像が１台のカメラ画面内に納まらないとき、前記第１の実施例で説明したのと同様に、以下のようにして、２台のカメラの画像を結合する。
例えば、カメラ１ａで撮影された部分画像の範囲外の画像をカメラ１ｂの画像を用いて補い、Ｘｓｉｚｅ＜ｉｘＳ ＜ｉｘｃ （ｄｎ ）＋Ｘ ｐａｒｔ ／２の画素について、前記変換式を用いて、カメラ１ｂの画素位置をカメラ１ａのカメラ１ａの座標に変換し、カメラ１ａとカメラ１ｂの画像を結合する。
すなわち、カメラ１ａの取得画像において、式Ｘｓｉｚｅ＜ｉｘＳ ＜ｉｘｃ （ｄｎ ）＋Ｘ ｐａｒｔ ／２を満たす画素（ｉｘＳ ， ｉｙＳ ） の色成分Ｒ（ｉｘＳ ， ｉｙＳ ），Ｇ（ｉｘＳ ， ｉｙＳ ），Ｂ（ｉｘ Ｓ ， ｉｙＳ ） に、対応するカメラ１ｂの画素の色成分を用いる。
【００３５】
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
ただし、座標値（ｉｘＳ ， ｉｙＳ ） と（ｉｘＳ ， ｉｙＳ ） は、前記（５）（６）式の関係を満たす。
次の４端点で囲まれる矩形領域にあり、かつ、カメラ１ａの画面外にある全ての画素の色成分をカメラ１ｂの画像情報から求めることによって、２台のカメラの画像から部分画像を生成することができる。
左上端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
【００３６】
部分画像結合部１４で結合した部分画像は、動画像記憶部５に記憶され、動画像配信部７では、切り出したゴールシーンを、ネットワークを介して動画像を配信する映像形式へ変換し、遠隔地のサーバなどを経由して、視聴者のクライアントマシンへ送出する。
送出されたゴールシーン等のハイライトシーンは、映像表示部６で表示される。
【００３７】
図８、図９は本実施例のハイライトシーン抽出装置によるハイライトシーン抽出・表示処理を示すフローチャートであり、以下、図８、図９により、本実施例の処理について説明する。
競技会では、図８に示すように、競技開始とともに、競技者が走行しているシーンを複数のカメラで撮影し、予め設定されたサンプリング時毎の画像を取得する。これらの画像は原画像記憶部２に記憶される。
以上のように原画像記憶部２に競技者が走行している動画像が記憶されると、以下の処理を行って、ハイライトシーンを抽出する。
まず、前記したように、検索キー入力部１４から、競技者の氏名、ゼッケン番号等の検索キーを入力し（図９のステップＳ１）、ゴール通過タイムｔＧ を取得する（ステップＳ２）。なお、以下では、コースの最終地点のみだけでなく、中間地点等、競技者の走行シーンを撮影するためにカメラを設置した地点を、ゴールと言うこととする。
ゴールシーン抽出部１１は、上記ゴール通過タイムｔＧ に基づき、ゴールシーン開始・終了時間を前記した以下の式により算出する（ステップＳ３）。
ｔｆｏｒｍｅｒ＝ｔ Ｇ −ｔｌａｐＡ
ｔｌａｔｔｅｒ＝ｔ Ｇ ＋ｔｃｏｎｓｔ
【００３８】
そして、原画像記憶部２から、上記ｔｆｏｒｍｅｒからｔｌａｔｔｅｒまでの画像（サンプリング時間毎）を取り出す（ステップＳ４）。
ついで、サンプリング時間ｔｓａｍｐを０として（ステップＳ５）、画面上での走者の位置を前記図５の対応表を基に算出する（ステップＳ６）。
すなわち、ｄｎ ≦Ｐ（ｔｆｏｒｍｅｒ＋ｔｓａｍｐ）＜ｄｎ＋１ を満たす画面上での走者の位置〔ｉｘｃ （ｄｎ ），ｉｙｃ （ｄｎ ）〕を求める。
ついで、部分画像がカメラ１台分の画面内に収まるかを調べる（ステップＳ７）。
部分画像がカメラ１台分の画面内に収まる場合には、前記したように、次の４端点で囲まれる矩形領域を部分画像とする（ステップＳ８）。
左上端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
また、部分画像がカメラ１台分の画面内に収まらない場合には、画面からはみ出る部分の画素の値を他のカメラ画像から獲得する。
すなわち、以下のように、カメラ１ａからはみ出る部分の画素の色成分を対応するカメラ１ｂの画像から獲得する（ステップＳ９）。
Ｒ（ｉｘＳ ， ｉｙＳ ）＝Ｒ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｇ（ｉｘＴ ， ｉｙＴ ）
Ｇ（ｉｘＳ ， ｉｙＳ ）＝Ｂ（ｉｘＴ ， ｉｙＴ ）
そして、前記したように画像をつなぎ合わせて、次の４端点で囲まれる領域の部分画像とする（ステップＳ１０）。
左上端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
右上端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）−Ｙｐａｒｔ／２）
左下端点：（ｉｘｃ （ ｄｎ ）−Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
右下端点：（ｉｘｃ （ ｄｎ ）＋Ｘｐａｒｔ／２，ｉｙｃ （ｄｎ ）＋Ｙｐａｒｔ／２）
ついで、ｔｓａｍｐ＝ｔｓａｍｐ＋１として（ステップＳ１１）、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐであるかを調べ、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐであれば、前記ステップＳ６に戻り上記処理を繰り返す。
また、ｔｌａｔｔｅｒ＞ｔｆｏｒｍｅｒ＋ｔｓａｍｐでなければ、部分画像を時系列順に並べて動画を生成し（ステップＳ１３）、動画の表示・配信を行う。
【００３９】
（付記１） 複数台のカメラと、
上記カメラにより事前に撮影した校正板の複数画像から、複数のカメラで撮影した画像間の対応関係を求めるカメラ間画像校正手段と、
上記カメラ間画像校正手段により求めたカメラ間の画像の対応関係に基づき、上記複数のカメラで撮影された画像をつなぎ合わせて、パノラマ動画を生成する手段とを備えた
ことを特徴とするパノラマ動画生成装置。
（付記２） マラソン競技等における競技者の画像を撮影する、複数台のカメラと、
上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出し、抽出した競技者の画像を最適なサイズで切り出す画像抽出手段と、
抽出された画像を表示する表示手段を備えた
ハイライトシーン抽出装置。
（付記３） 競技者が身に付けた無線ＩＤタグを複数地点に設けた受信機で検出する無線ＩＤ送受信機と、
上記無線ＩＤ送受信機の受信結果に基づき競技者を同定し、該競技者の通過タイムを検出する通過タイム検出手段と、
検出したタイムを記憶する通過タイム記憶手段と、
複数地点の通過タイムから地点間の競技者の位置を推定する対象位置推定手段とを備え、
上記画像抽出手段は、対象位置推定手段により推定された競技者の位置に基づき、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する
ことを特徴とする付記２のハイライトシーン抽出装置。
（付記４） 事前に撮像した校正板の複数カメラの画像から、コース上の校正板の中心位置と画面上の位置との対応関係を求めるカメラ間画像校正手段を備え、
上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の位置と、
上記カメラ間画像校正手段により校正された競技者の推定位置と競技者の画像の対応関係に基づき、競技者の部分画像を抽出する
ことを特徴とする付記３のハイライトシーン抽出装置。
（付記５） 上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の推定位置と、カメラ間画像校正部の校正結果を元に、上記競技者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出す部分画像領域抽出手段と、
抽出した部分画像を結合する部分画像結合手段を備えた
ことを特徴とする付記４のハイライトシーン抽出装置。
（付記６） 複数台のカメラにより撮影した、マラソン競技等における競技者の動画像から、任意の競技者の画像を抽出するための画像抽出プログラムであって、
上記プログラムは、
上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する処理と、
抽出した競技者の画像を最適なサイズで切り出す処理をコンピュータに実行させる
ことを特徴とする画像抽出プログラム。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、以下の効果を得ることができる。
（１）マラソン大会などの競技会等において、複数台のカメラの映像を繋ぎ合わせてパノラマ動画を生成・表示することができる。
（２）任意の走者のゴールシーンを、連続的に撮影した動画像の中から自動的に抽出し、かつ、その走者の映像を最適なサイズで切り出しながら、撮影現場およびネットワーク接続された遠隔地において再生表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例のパノラマ動画生成装置の構成を示す図である。
【図２】校正方法を説明する図である。
【図３】２台のカメラにより撮影された校正板の画像を示す図である。
【図４】単一六角錐型ＨＳＶ表色系を示す図である。
【図５】コース上の位置と画面上の校正板中心位置との対応を示す対応表である。
【図６】本発明の第２の実施例のハイライトシーン抽出装置の構成を示す図である。
【図７】ゴールタイムと出走者情報を対応付けたデータの一例を示す図である。
【図８】本発明の第２の実施例における撮影時の処理フローを示す図である。
【図９】本発明の第２の実施例におけるハイライトシーン抽出・表示時の処理フローを示す図である。
【符号の説明】
１ 撮像部
１ａ カメラ
１ｂ カメラ
１ｃ 校正板
２ 原画像記憶部
３ カメラ間画像校正部
４ 画像結合部
５ 動画像記憶部
６ 動画像表示部
１０ 画像抽出部
１１ ゴールシーン抽出部
１２ 部分画像領域抽出部
１３ 部分画像結合部
１４ 検索キー入力部
１５ 無線ＩＤ送受信部
１６ 通過タイム検出部
１７ 通過タイム記憶部
１８ 対象位置推定部
Claims (5)
- 複数台のカメラと、
上記カメラにより事前に撮影した校正板の複数画像から、複数のカメラで撮影した画像間の対応関係を求めるカメラ間画像校正手段と、
上記カメラ間画像校正手段により求めたカメラ間の画像の対応関係に基づき、上記複数のカメラで撮影された画像をつなぎ合わせて、パノラマ動画を生成する手段とを備えた
ことを特徴とするパノラマ動画生成装置。 - マラソン競技等における競技者の画像を撮影する、複数台のカメラと、
上記カメラにより得た動画像から、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出し、抽出した競技者の画像を最適なサイズで切り出す画像抽出手段と、
抽出された画像を表示する表示手段を備えた
ハイライトシーン抽出装置。 - 競技者が身に付けた無線ＩＤタグを複数地点に設けた受信機で検出する無線ＩＤ送受信機と、
上記無線ＩＤ送受信機の受信結果に基づき競技者を同定し、該競技者の通過タイムを検出する通過タイム検出手段と、
検出したタイムを記憶する通過タイム記憶手段と、
複数地点の通過タイムから地点間の競技者の位置を推定する対象位置推定手段とを備え、
上記画像抽出手段は、対象位置推定手段により推定された競技者の位置に基づき、任意の競技者がある特定箇所を通過したときの画像を自動的に抽出する
ことを特徴とする請求項２のハイライトシーン抽出装置。 - 事前に撮像した校正板の複数カメラの画像から、コース上の校正板の中心位置と画面上の位置との対応関係を求めるカメラ間画像校正手段を備え、
上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の位置と、
上記カメラ間画像校正手段により校正された競技者の推定位置と競技者の画像の対応関係に基づき、競技者を含む部分画像を抽出する
ことを特徴とする請求項３のハイライトシーン抽出装置。 - 上記画像抽出手段は、
上記対象位置推定手段により推定された競技者の推定位置と、カメラ間画像校正部の校正結果を元に、上記競技者が含まれている複数カメラの画像領域を推定し、それぞれのカメラ画像から必要な部分画像を切り出す部分画像領域抽出手段と、
抽出した部分画像を結合する部分画像結合手段を備えた
ことを特徴とする請求項４のハイライトシーン抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002323642A JP4307050B2 (ja) | 2002-11-07 | 2002-11-07 | ハイライトシーンの抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002323642A JP4307050B2 (ja) | 2002-11-07 | 2002-11-07 | ハイライトシーンの抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004159151A true JP2004159151A (ja) | 2004-06-03 |
| JP4307050B2 JP4307050B2 (ja) | 2009-08-05 |
Family
ID=32803454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002323642A Expired - Fee Related JP4307050B2 (ja) | 2002-11-07 | 2002-11-07 | ハイライトシーンの抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4307050B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005110102A (ja) * | 2003-10-01 | 2005-04-21 | Matrix:Kk | 画像検索システム |
| JP2006048571A (ja) * | 2004-08-09 | 2006-02-16 | Toshiba Solutions Corp | レース情報提供装置 |
| WO2008108087A1 (ja) * | 2007-03-06 | 2008-09-12 | Panasonic Corporation | カメラ間連結関係情報生成装置 |
| US20090141138A1 (en) * | 2006-12-04 | 2009-06-04 | Deangelis Douglas J | System And Methods For Capturing Images Of An Event |
| US9848172B2 (en) | 2006-12-04 | 2017-12-19 | Isolynx, Llc | Autonomous systems and methods for still and moving picture production |
| US9876963B2 (en) | 2013-09-03 | 2018-01-23 | Casio Computer Co., Ltd. | Moving image generation system that generates one moving image by coupling a plurality of moving images |
| KR20190021342A (ko) * | 2016-06-28 | 2019-03-05 | 매직 립, 인코포레이티드 | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 |
| US10306417B2 (en) | 2016-11-14 | 2019-05-28 | Fujitsu Limited | Wireless communication method, information processing apparatus, and recording medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832856A (ja) * | 1994-07-18 | 1996-02-02 | Hitachi Ltd | 映像処理装置 |
| JPH0938267A (ja) * | 1995-07-31 | 1997-02-10 | Touka Seiki:Kk | 走行記録測定システム |
| JPH09161068A (ja) * | 1995-12-12 | 1997-06-20 | Furukawa Electric Co Ltd:The | 画像撮影方法とそれを用いた画像編集装置 |
| JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
| JP2000050128A (ja) * | 1998-07-30 | 2000-02-18 | Toshiba Corp | 撮影記録システムおよび撮影装置および記録装置 |
| JP2001285681A (ja) * | 2000-01-27 | 2001-10-12 | Matsushita Electric Ind Co Ltd | キャリブレーションシステム、ターゲット装置およびキャリブレーション方法 |
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| JP2002281492A (ja) * | 2001-03-16 | 2002-09-27 | Casio Comput Co Ltd | 通過記録システムおよび通過記録方法 |
| JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
-
2002
- 2002-11-07 JP JP2002323642A patent/JP4307050B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832856A (ja) * | 1994-07-18 | 1996-02-02 | Hitachi Ltd | 映像処理装置 |
| JPH0938267A (ja) * | 1995-07-31 | 1997-02-10 | Touka Seiki:Kk | 走行記録測定システム |
| JPH09161068A (ja) * | 1995-12-12 | 1997-06-20 | Furukawa Electric Co Ltd:The | 画像撮影方法とそれを用いた画像編集装置 |
| JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
| JP2000050128A (ja) * | 1998-07-30 | 2000-02-18 | Toshiba Corp | 撮影記録システムおよび撮影装置および記録装置 |
| JP2001285681A (ja) * | 2000-01-27 | 2001-10-12 | Matsushita Electric Ind Co Ltd | キャリブレーションシステム、ターゲット装置およびキャリブレーション方法 |
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| JP2002281492A (ja) * | 2001-03-16 | 2002-09-27 | Casio Comput Co Ltd | 通過記録システムおよび通過記録方法 |
| JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005110102A (ja) * | 2003-10-01 | 2005-04-21 | Matrix:Kk | 画像検索システム |
| JP2006048571A (ja) * | 2004-08-09 | 2006-02-16 | Toshiba Solutions Corp | レース情報提供装置 |
| US10701322B2 (en) | 2006-12-04 | 2020-06-30 | Isolynx, Llc | Cameras for autonomous picture production |
| US20090141138A1 (en) * | 2006-12-04 | 2009-06-04 | Deangelis Douglas J | System And Methods For Capturing Images Of An Event |
| US9848172B2 (en) | 2006-12-04 | 2017-12-19 | Isolynx, Llc | Autonomous systems and methods for still and moving picture production |
| US11317062B2 (en) | 2006-12-04 | 2022-04-26 | Isolynx, Llc | Cameras for autonomous picture production |
| WO2008108087A1 (ja) * | 2007-03-06 | 2008-09-12 | Panasonic Corporation | カメラ間連結関係情報生成装置 |
| US8284255B2 (en) | 2007-03-06 | 2012-10-09 | Panasonic Corporation | Inter-camera ink relation information generating apparatus |
| US9876963B2 (en) | 2013-09-03 | 2018-01-23 | Casio Computer Co., Ltd. | Moving image generation system that generates one moving image by coupling a plurality of moving images |
| US10536648B2 (en) | 2013-09-03 | 2020-01-14 | Casio Computer Co., Ltd. | Moving image generation system that generates one moving image by coupling a plurality of moving images |
| KR102261020B1 (ko) | 2016-06-28 | 2021-06-03 | 매직 립, 인코포레이티드 | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 |
| KR20190021342A (ko) * | 2016-06-28 | 2019-03-05 | 매직 립, 인코포레이티드 | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 |
| US10306417B2 (en) | 2016-11-14 | 2019-05-28 | Fujitsu Limited | Wireless communication method, information processing apparatus, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4307050B2 (ja) | 2009-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7024054B2 (en) | Method and system for generating a foreground mask for a composite image | |
| CN102148965B (zh) | 多目标跟踪特写拍摄视频监控系统 | |
| JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
| US10515471B2 (en) | Apparatus and method for generating best-view image centered on object of interest in multiple camera images | |
| JP4625854B2 (ja) | 画像系列の時空的正規化マッチングシステム及び方法 | |
| CN108419014A (zh) | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 | |
| US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
| US20110102678A1 (en) | Key Generation Through Spatial Detection of Dynamic Objects | |
| US20070248283A1 (en) | Method and apparatus for a wide area virtual scene preview system | |
| US20050151838A1 (en) | Monitoring apparatus and monitoring method using panoramic image | |
| US9712750B2 (en) | Display control device and associated methodology of identifying a subject in an image | |
| TWI728244B (zh) | 包括視訊攝影機與用戶端裝置的系統以及由其執行的方法 | |
| US20080226253A1 (en) | System and Method For Managing the Visual Effects Insertion in a Video Stream | |
| JP2009302785A (ja) | 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム | |
| CN105359504B (zh) | 利用摄像机位置顺位的图像信息处理方法和设备 | |
| GB2502063A (en) | Video cueing system and method for sporting event | |
| JP4307050B2 (ja) | ハイライトシーンの抽出装置 | |
| KR20170082735A (ko) | 객체 추적 기반의 객체 영상 제공 방법 | |
| JP2004214830A (ja) | 一部リアルタイム画像表示装置 | |
| WO1995033334A1 (fr) | Procede d'imagerie et son appareil | |
| JP2004171289A (ja) | 道路交通計測装置 | |
| JP2011101165A (ja) | 連動撮影システム | |
| EP1219115A2 (en) | Narrow bandwidth broadcasting system | |
| JP2023100805A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| JP4293736B2 (ja) | 自動人物特定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |