JP2003141505A - 画像合成装置およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 スポーツ選手等の動く被写体の動作の軌跡や
運動フォームの移行等を容易に把握できるよう映像表現
することを可能とする画像合成装置およびプログラムを
提供すること。 【解決手段】 映像中の被写体の動きを予測し、被写体
の動きの情報である被写体動き情報を予め撮影された映
像中に現れた被写体の像に基づいて、被写体の像の輪郭
部分についての情報として、または、被写体の特徴点に
ついての動きの情報として、生成する動きモデルを生成
するための手段１１０と、動きモデルによって生成され
た被写体動き情報に基づいて、映像中の被写体の像を包
含する領域を特定するために用いられるキー信号を撮影
される被写体の動きと同期して生成するための手段１２
０と、キー信号によって特定される領域の中の像を被写
体の像として抽出するための手段１３０と、抽出された
像を順次重ね合わせて表示する手段１４０とからなる構
成を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン番組
制作、映画制作等における画像合成装置およびプログラ
ムに関し、特にスポーツ中継などの被写体が動く映像の
中継において、その動きを追跡しやすく映像表現するた
めに用いる画像合成装置およびプログラムに関する。

【０００２】

【従来の技術】従来、スポーツ中継などでは、被写体で
ある選手の動きを追跡しやすく映像表現するため、スロ
ーモーション再生技術が多用されている。スローモーシ
ョン再生は、スポーツ選手の動きが速いために選手の動
きを把握するのが困難な場合や、再度、その動きをゆっ
くりと見たい場合などに適している。

【０００３】また、選手の動きの映像と背景画像とを合
成し、選手の動きをストロボ写真のように映像表現して
いくマルチモーション技術が日本放送協会（ＮＨＫ）に
よって開発され、過去に番組制作において使用された例
がある。マルチモーション技術は、所定のフレーム間隔
で抽出した選手の動きの映像を次々に合成して表示して
いくため、視覚に及ぼす残像効果によって選手の動きの
推移の把握に効果を上げた。そして、マルチモーション
では、背景の画像から選手の画像を切り出すために、背
景差分や動きベクトルなどの画像処理技術が用いられ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
スローモーション再生では、被写体の動きが遅くなるよ
うに映像表現されることによって前のフレームの記憶が
薄れるため、被写体の動きの軌跡やフォームの移行がと
らえにくいという問題がある。また、マルチモーション
技術では、被写体である選手の画像と背景の画像とを正
確に切り分けるために、屋内のみでの撮影、照明条件の
固定などの制約条件が課され、マルチモーション技術は
限定された条件下でしか使用できないという問題があっ
た。

【０００５】本発明は、かかる問題を解決するためにな
されたものであり、その目的は、屋外で撮影された映像
におけるスポーツ選手等の動く被写体の動作の軌跡や運
動フォームの移行等を容易に把握できるよう映像表現す
ることを可能とする画像合成装置およびプログラムを提
供することである。

【０００６】

【課題を解決するための手段】以上の点を考慮して、請
求項１に係る発明は、映像中の被写体の動きを予測し、
前記被写体の動きに関する情報である被写体動き情報を
生成する動きモデルを生成するためのモデル生成手段
と、前記動きモデルによって生成された前記被写体動き
情報に基づいて、前記映像中の被写体の像を包含する領
域を特定するために用いられるキー信号を生成するため
のキー信号生成手段と、前記キー信号によって特定され
る領域の中の像を前記被写体の像として抽出するための
映像抽出手段と、前記抽出された像を順次重ね合わせて
表示する合成手段とからなる構成を有している。

【０００７】この構成により、モデル生成部を設け、動
きモデルを用いてキー信号を生成するため、屋外で行わ
れることの多いスポーツ中継など、照明条件の不安定な
環境下でも、安定した信頼性の高いマルチモーション合
成を行うことが可能な画像合成装置を実現できる。

【０００８】また、請求項２に係る発明は、請求項１に
おいて、前記動きモデルは、 前記動きを予測する対象
の被写体が予め撮影された映像中に現れた前記被写体の
像と前記被写体が動き出す直前の像とに基づいて、前記
被写体動き情報を生成する構成を有している。この構成
により、動きモデルは、動きを予測する対象の被写体が
予め撮影された映像中に現れた被写体の像に基づいて、
被写体動き情報を生成するため、より正確に被写体の像
を抽出することが可能な画像合成装置を実現できる。

【０００９】また、請求項３に係る発明は、請求項２に
おいて、前記動きモデルは、前記予め撮影された映像を
構成する各画像から前記被写体の像の輪郭部分について
の情報を抽出し、前記各画像から抽出した輪郭部分につ
いての情報を前記被写体動き情報として生成する構成を
有している。この構成により、動きモデルは、各画像か
ら抽出した輪郭部分についての情報を被写体動き情報と
して生成するため、より正確に被写体の像を抽出するこ
とが可能な画像合成装置を実現できる。

【００１０】また、請求項４に係る発明は、請求項２に
おいて、前記動きモデルは、前記予め撮影された映像中
の前記被写体の動きを特定するための、前記被写体の像
における所定の部位を特徴点とし、前記特徴点について
の動きの情報を前記被写体動き情報として生成する構成
を有している。この構成により、動きモデルは、被写体
の像における所定の部位を特徴点とし、特徴点について
の動きの情報を被写体動き情報として生成するため、処
理負担を少なくして被写体の動き情報を生成することが
可能な画像合成装置を実現できる。

【００１１】また、請求項５に係る発明は、請求項１な
いし３のいずれかにおいて、前記動きモデルは、所定の
フレーム間隔で前記被写体動き情報を生成し、前記キー
信号生成手段では、撮影される被写体の動きにおける所
定の状態と同期して前記キー信号の生成を開始する構成
を有している。この構成により、動きモデルは、撮影さ
れる被写体の動きにおける所定の状態と同期してキー信
号の生成を開始するため、より正確に被写体の像を抽出
することが可能な画像合成装置を実現できる。

【００１２】また、請求項６に係る発明は、コンピュー
タに、映像中の被写体の動きを予測し、前記被写体の動
きに関する情報である被写体動き情報を生成する動きモ
デルを生成するためのモデル生成ステップと、前記動き
モデルによって生成された前記被写体動き情報に基づい
て、前記映像中の被写体の像を包含する領域を特定する
ために用いられるキー信号を生成するためのキー信号生
成ステップと、前記キー信号によって特定される領域の
中の像を前記被写体の像として抽出するための映像抽出
ステップと、前記抽出された像を重ね合わせて表示する
合成ステップとを実行させるためのプログラムであっ
て、前記動きモデルが、前記動きを予測する対象の被写
体が予め撮影された映像中に現れた前記被写体の像に基
づいて、前記被写体動き情報を生成し、前記予め撮影さ
れた映像中の前記被写体の動きを特定するための、前記
被写体の像における所定の部位を特徴点とし、前記特徴
点についての動きの情報を前記被写体動き情報として生
成する構成を有している。

【００１３】この構成により、動きモデルを用いてキー
信号を生成するため、屋外で行われることの多いスポー
ツ中継など、照明条件の不安定な環境下でも、安定した
信頼性の高いマルチモーション合成を行うことが可能な
プログラムを実現できる。また、動きモデルが、動きを
予測する対象の被写体が予め撮影された映像中に現れた
被写体の像に基づいて、被写体動き情報を生成するた
め、より正確に被写体の像を抽出することが可能なプロ
グラムを実現できる。さらに、動きモデルが、被写体の
像における所定の部位を特徴点とし、特徴点についての
動きの情報を被写体動き情報として生成するため、処理
負担を少なくして被写体の動き情報を生成することが可
能なプログラムを実現できる。

【００１４】

【発明の実施の形態】以下、添付図面を参照し、本発明
の第１の実施の形態に係る画像合成装置について説明す
る。本発明の第１の実施の形態に係る画像合成装置は、
映像中の被写体の動きを予測し、その被写体の動きに関
する情報（以下、被写体動き情報という。）を生成する
動きモデルを生成し、そのモデルを用いて画像合成を行
う。

【００１５】図１に、本発明の第１の実施の形態に係る
画像合成装置の概略のブロック構成に示す。図１におい
て、画像合成装置１００は、モデル生成部１１０、キー
信号生成部１２０、映像抽出部１３０、および合成部１
４０によって構成される。モデル生成部１１０は、映像
中の被写体の動きを予測し、その被写体の動き情報を生
成するモデルを生成するための構成部である。

【００１６】被写体の動きの予測に関しては、例えば、
ゴルフ等で選手がクラブを構え、ショットに入る直前の
頭、腰、手、足等の所定部位の位置が決まると、概ね、
その後のゴルフスイングをする者の体の動きを予測する
ことができるという性質があるが、このような性質を、
一般のスポーツ等に利用して予測するものである。つま
り、限定されたフォームで運動する被写体を対象に、そ
の動きを予測するものである。

【００１７】図２に、クラブ２０２を構えた選手２０１
と、その選手２０１の動きを特定するための所定の部位
（以下、特徴点２０４という。）とを模式的に表した画
像の一例を示す。以下では、ゴルフスウィングを例とす
る場合、クラブ２０２を構えた選手２０１が撮影される
被写体である。図２の画像は、例えば、撮影用カメラの
モニタ画面２０３に表示された画像であっても良い。図
２において、特徴点２０４の位置は、記号「Ｔ」（記号
の向きはランダム。）を用いて示されている。

【００１８】特徴点２０４の指定方法としては、例え
ば、選手２０１がクラブ２０２を構えた瞬間に、撮影用
カメラのモニタ画面２０３内において頭、腰、手、足の
位置を指定する方法がある。ここで、特徴点２０４の入
力は、例えば、モニタ画面２０３の表面に透明な感圧器
２０５が装着され、指示棒２０６を用いて押された箇所
を感圧器２０５によって検出する方法で行うのでも、他
の方法で行うのでも良い。なお、特徴点２０４の入力方
法については、撮影用カメラで撮影した映像をパソコン
に取り込んでおき、後にマウスを用いて特徴点２０４を
指定する等の方法をとるのでも良い。

【００１９】画像合成対象の選手、すなわち、動きを予
測する対象の選手の映像を予め撮影しておき、その予測
対象の選手についてのゴルフスイングの映像を構成する
各画像について、上記の特徴点２０４を指定し、各特徴
点２０４の運動に関する情報を取得しておく。同一選手
であれば、概ね、同一のフォームでスイングすることが
予測され、例えば、スイング開始からの時間がわかれ
ば、上記の予め取得された各特徴点２０４の運動に関す
る情報と選手２０１が動き出す直前の像とに基づいて運
動中の選手２０１の像が予測できる。動きモデルは、予
測対称選手の像の特徴点についての動きの情報を上記の
被写体動き情報として生成することができる。図１に、
予め撮影された映像を事前撮影映像として示した。

【００２０】キー信号生成部１２０は、モデル生成部１
１０で生成した動きモデルによって生成された上記の被
写体動き情報に基づいて、映像中の被写体の像を包含す
る領域を特定するために用いられるキー信号を生成する
ための構成部である。ここで、キー信号とは、ビデオ画
像等の合成において用いられる公知の信号で、どの部分
の画像を切り出し、何処にその画像をはめ込むのか等を
決定するために使用される信号である。

【００２１】図３を参照して、上記のキー信号を生成す
るための処理について説明する。図３において、キー信
号生成部１２０は、上記の第１のステップで生成した動
きモデルによって生成された被写体（ここでは、クラブ
２０２を構えたゴルフの選手２０１）の動き３０１に関
する情報である被写体動き情報に基づき、所定フレーム
毎に選手２０１の像が包含される画面上の領域を算出す
る。ここで、所定フレーム毎とは、１フレーム毎でも、
２フレーム毎でも良く、必要に応じて選択することがで
きる。

【００２２】ここで、選手の像が包含される画面上の領
域としては、予め、撮影対象の選手２０１について得ら
れている映像における、上記の特徴点２０４の位置が一
致するフォームの選手のシルエット３０３が占める領域
を割り当てることができる。このように、特徴点２０４
の位置とシルエット３０３とを対応させておくことによ
って、あるフレームにおける特徴点２０４の位置が指定
されれば、上記のシルエット３０３が決まり、そのシル
エット３０３が占める領域を抜き取るようにキー信号を
生成すればよい。

【００２３】映像抽出部１３０は、上記のキー信号によ
って特定される領域の中の像を被写体の像として抽出す
るための構成部である。被写体の像の抽出は、所定のフ
レーム間隔で行うことができ、抽出されたフレーム毎に
被写体の像が得られる。合成部１４０は、映像抽出部１
３０によって抽出された所定フレーム毎の被写体の像を
順次重ね合わせて表示し、合成画像を形成するための構
成部である。合成部１４０によって合成された合成画像
が画像合成装置１００から出力される。

【００２４】図４に、上記の運動モデルとキー信号を用
いて画像合成するための手順を示す。操作者が、選手２
０１がバックスイングに入る瞬間にプロセス・スタート
・ボタン４０１を押すと、図１に示すスタート信号がキ
ー信号生成部１２０に入力される。それと同時に撮影用
カメラ４０２の映像の同期信号がリセットされる。この
同期信号のリセットは、実際の映像に表れた選手の動き
と、上記のキー信号の生成とを正確に一致せるために行
われるものである。図４における記号「４０３」は、ス
タート信号以降に撮影用カメラ４０２によって撮影され
た画像であり、図１に撮影映像として示すものである。

【００２５】キー信号生成部１２０は、上記の動きモデ
ルによって生成された被写体動き情報に基づいてキー信
号４０４を生成する。その際、上記の運動モデルを用い
ることにより、例えば、バックスイングに入る瞬間から
の経過時間が考慮され、選手２０１の動きと対応したキ
ー信号４０４を発生することとなる。

【００２６】映像抽出部１３０は、スタート信号が入力
されると撮影用カメラ４０２からの撮影映像４０３とキ
ー信号生成部１２０からのキー信号４０４とを用い、キ
ー信号４０４によって特定される領域の中の像を撮影映
像４０３から被写体の像として抽出する。合成部１４０
は、映像抽出部１３０によって抽出された、選手とクラ
ブを含む像を重ね合わせて表示し、合成画像４０５を形
成して画像合成装置１００から出力する。

【００２７】以上説明したように、本発明の第１の実施
の形態に係る画像合成装置は、モデル生成部を設け、動
きモデルを用いてキー信号を生成するため、屋外で行わ
れることの多いスポーツ中継など、照明条件の不安定な
環境下でも、安定した信頼性の高いマルチモーション合
成を行うことができる。その結果、視聴者がスポーツ選
手の動きを容易に理解するための手助けとなり、わかり
やすい番組制作に貢献することができる。

【００２８】図５は、本発明の第２の実施の形態に係る
画像合成方法における処理の流れを示すフローチャート
である。なお、本発明の第２の実施の形態の画像合成方
法が実行される装置の構成は、図１に示す本発明の第１
の実施の形態に係る画像合成装置１００の構成と同じで
あり、その説明は省略する。

【００２９】ステップＳ５０１で、モデル生成部１１０
は、映像中の被写体の動きを予測し、その被写体の動き
に関する情報（以下、被写体動き情報という。）を生成
する動きモデルを生成する。

【００３０】被写体の動きの予測に関しては、例えば、
ゴルフ等で選手がクラブを構え、ショットに入る直前の
頭、腰、手、足等の所定部位の位置が決まると、概ね、
その後のゴルフスイングをする者の体の動きを予測する
ことができるという性質があるが、このような性質を、
一般のスポーツ等に利用して予測するものである。つま
り、限定されたフォームで運動する被写体を対象に、そ
の動きを予測するものである。

【００３１】図２に、クラブ２０２を構えた選手２０１
と、その選手２０１の動きを特定するための所定の部位
（以下、特徴点２０４という。）とを模式的に表した画
像の一例を示す。以下では、ゴルフスウィングを例とす
る場合、クラブ２０２を構えた選手２０１が撮影される
被写体である。図２の画像は、例えば、撮影用カメラの
モニタ画面２０３に表示された画像であっても良い。図
２において、特徴点２０４の位置は、記号「Ｔ」（記号
の向きはランダム。）を用いて示されている。

【００３２】特徴点２０４の指定方法としては、例え
ば、選手２０１がクラブ２０２を構えた瞬間に、撮影用
カメラのモニタ画面２０３内において頭、腰、手、足の
位置４を指定する方法がある。ここで、特徴点２０４の
入力は、例えば、モニタ画面２０３の表面に透明な感圧
器２０５が装着され、指示棒２０６を用いて押された箇
所を感圧器２０５によって検出する方法で行うのでも、
他の方法で行うのでも良い。なお、特徴点２０４の入力
方法については、撮影用カメラで撮影した映像をパソコ
ンに取り込んでおき、後にマウスを用いて特徴点２０４
を指定する等の方法をとっても良い。

【００３３】画像合成対象の選手、すなわち、動きを予
測する対象の選手の映像を予め撮影しておき、その予測
対象の選手についてのゴルフスイングの映像を構成する
各画像について、上記の特徴点２０４を指定し、各特徴
点２０４の運動に関する情報を取得しておく。同一選手
であれば、概ね、同一のフォームでスイングすることが
予測され、例えば、スイング開始からの時間がわかれ
ば、上記の予め取得された各特徴点２０４の運動に関す
る情報と選手２０１が動き出す直前の像とに基づいて運
動中の選手２０１の像が予測できる。動きモデルは、予
測対称選手の像の特徴点についての動きの情報を上記の
被写体動き情報として生成することができる。

【００３４】ステップＳ５０２で、上記のステップＳ５
０１で生成した動きモデルによって生成された上記の被
写体動き情報に基づいて、映像中の被写体の像を包含す
る領域を特定するために用いられるキー信号を生成す
る。ここで、キー信号とは、ビデオ画像等の合成におい
て用いられる公知の信号で、どの部分の画像を切り出
し、何処にその画像をはめ込むのか等を決定するために
使用される信号である。

【００３５】図３を参照して、上記のキー信号を生成す
るための処理について説明する。図３において、キー信
号生成部１２０は、上記の第１のステップで生成した動
きモデルによって生成された被写体（ここでは、クラブ
２０２を構えたゴルフの選手２０１）の動き３０１に関
する情報である被写体動き情報に基づき、所定フレーム
毎に選手２０１の像が包含される画面上の領域を算出す
る。ここで、所定フレーム毎とは、１フレーム毎でも、
２フレーム毎でも良く、必要に応じて選択することがで
きる。

【００３６】ここで、選手の像が包含される画面上の領
域としては、予め、撮影対象の選手２０１について得ら
れている映像における、上記の特徴点２０４の位置が一
致するフォームの選手のシルエット３０３が占める領域
を割り当てることができる。このように、特徴点２０４
の位置とシルエット３０３とを対応させておくことによ
って、あるフレームにおける特徴点２０４の位置が指定
されれば、上記のシルエット３０３が決まり、そのシル
エット３０３が占める領域を抜き取るようにキー信号を
生成すればよい。

【００３７】ステップＳ５０３で、上記のキー信号によ
って特定される領域の中の像を被写体の像として抽出す
る。その際、被写体の像の抽出は、所定のフレーム間隔
で行うことができ、抽出されたフレーム毎に被写体の像
が得られる。ステップＳ５０４で、上記で抽出された所
定フレーム毎の被写体の像を順次重ね合わせて表示し、
合成画像を形成する。

【００３８】ここで、被写体の動きが速い場合などで
は、予め撮影した映像に表れる被写体の動きの速さと、
現在撮影対象となっている被写体の動きの速さとが一致
しないため、被写体の像の抽出が適切にできない場合が
生ずる。このような場合のため、図６に示すように、被
写体１６の周囲に少し余裕を持たせたキー信号１７を生
成して合成する。このキー信号は、動きの速度が最も速
い部分、ゴルフの例の場合では、クラブの先端部分につ
いての余裕を大きく持たせることもできる。

【００３９】以上説明したように、本発明の第２の実施
の形態に係る画像合成方法は、動きモデルを用いてキー
信号を生成するため、屋外で行われることの多いスポー
ツ中継など、照明条件の不安定な環境下でも、安定した
信頼性の高いマルチモーション合成を行うことができ
る。その結果、視聴者がスポーツ選手の動きを容易に理
解するための手助けとなり、わかりやすい番組制作に貢
献することができる。

【００４０】なお、本発明の第２の実施の形態では、第
１の実施の形態の画像合成装置を用いて上記のステップ
Ｓ５０１〜Ｓ５０４の各ステップでの処理を行う画像合
成方法について説明したが、これらのステップＳ５０１
〜Ｓ５０４を含む画像合成動作を実行させるための画像
合成プログラムがインストールされた所定のコンピュー
タを用いて実施することも可能である。

【００４１】また、本発明は、所定の記憶媒体に記憶さ
れた上記の画像合成プログラムをコンピュータにロード
する方法のほかに、上記画像合成プログラムを通信イン
ターフェースおよびネットワークからファイル形式で取
得し、前記コンピュータで実施する方法によっても同様
の効果が得られる。さらに、ネットワークを用いること
でプログラムの更新や配布が容易となる。

【００４２】上記第２の実施の形態に係る画像合成方法
では、被写体の特徴点を指定し、運動モデルがその被写
体の動きに関する情報をその特徴点の位置に関する情報
として生成し、その情報に基づいてキー信号を生成する
例について説明した。以下に示す、本発明の第３の実施
の形態に係る画像合成方法の説明では、キー信号を生成
するための他の方法について図７を参照して説明する。

【００４３】第３の実施の形態では、予め同一条件下で
収録しておいた参考映像１８を用いて、人が手作業でフ
レーム毎にキー信号１９を生成しておくものである。ゴ
ルフなどの競技では、ショットの時のフォームは各選手
に依存している。例えば、ティーショットであれば、ゴ
ルフ場とホール番号が決まれば、同じ選手は、ほぼ同じ
フォームでスイングする確率が高い。

【００４４】そこで、例えば、予めゴルフトーナメント
の第１日目に、各選手の映像を参考映像としてＶＴＲや
ビデオ・ディスク・レコーダ等の記録機に記録してお
く。その際、参考映像と実際に合成を行う映像とでタイ
ミングが一致するように、選手がバックスイングに入る
瞬間に毎回、操作者が映像の同期信号をリセットし、同
期をとる。

【００４５】競技終了後、参考映像を参照しながら、人
間が手作業で各選手のキー信号を正確に作成する。第２
日目以降、参考映像を撮影した時と同条件の画角になる
ようにカメラを設置し、撮影を行う。参考映像の撮影時
に同期信号をリセットした時と同じタイミングでカメラ
の同期信号をリセットし、作成した選手ごとのキー信号
を使って正確に合成を行う。本手法により、各選手ごと
の細かい違いも考慮した正確な合成映像の生成が可能に
なる。

【００４６】図８に、本発明の画像合成方法によって得
られた合成画像の表示例を示す。ゴルフスウィングのフ
ォームがわかりやすく映像表現され、フォームの良し悪
しを評価する際の材料を提供することができる。

【００４７】以上説明したように、本発明の第３の実施
の形態に係る画像合成装置は、動きモデルを用いてキー
信号を生成するため、屋外で行われることの多いスポー
ツ中継など、照明条件の不安定な環境下でも、安定した
信頼性の高いマルチモーション合成を行うことができ
る。その結果、視聴者がスポーツ選手の動きを容易に理
解するための手助けとなり、わかりやすい番組制作に貢
献することができる。

【００４８】

【発明の効果】以上説明したように、本発明は、屋外で
撮影された映像におけるスポーツ選手等の動く被写体の
動作の軌跡や運動フォームの移行等を容易に把握できる
よう映像表現することを可能とする画像合成装置および
プログラムを実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像合成装置
の概略のブロック構成を示す図である。

【図２】本発明の第１の実施の形態に係る画像合成装置
において指定する特徴点について説明するための図であ
る。

【図３】本発明の第１の実施の形態に係る画像合成装置
におけるキー信号の生成方法について説明するための図
である。

【図４】本発明の第１の実施の形態に係る画像合成方法
における処理の概略を説明するための模式図である。

【図５】本発明の第２の実施の形態に係る画像合成方法
における処理の流れを示すフローチャートである。

【図６】本発明の第２の実施の形態に係る画像合成方法
において生成する余裕を持たせたキー信号を模式的に示
す図である。

【図７】本発明の第３の実施の形態に係る画像合成方法
におけるキー信号の生成方法について説明するための図
である。

【図８】本発明の画像合成方法によって得られた合成画
像の表示例を示す図である。

【符号の説明】

１００ 画像合成装置 １１０ モデル生成部 １２０ キー信号生成部 １３０ 映像抽出部 １４０ 合成部 ２０１ 選手 ２０２、３０２ クラブ ２０３ モニタ画面 ２０４ 特徴点 ２０５ 感圧器 ２０６ 指示棒 ３０１ 被写体の動き ３０３ シルエット ４０１ プロセス・スタート・ボタン ４０２ 撮影用カメラ ４０３ 撮影映像 ４０４、６０２、７０２ キー信号 ４０５ 合成画像 ６０１ 被写体 ７０１ 参考映像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩井 豊 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 渡辺 敏明 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 須川 貴夫 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 遠藤 俊行 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 梶谷 雅美 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 熊切 厚之 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 岡本 浩幸 東京都大田区北千束３丁目26番12号 株式 会社応用計測研究所内 Ｆターム(参考） 5B057 AA20 BA02 CA12 CA16 CB12 CB16 CC01 CE08 DA08 DB02 DC16 5C023 AA16 BA04 BA11 BA13 CA03 CA08 DA08 5C076 AA02 AA12 AA40 BA06 5L096 BA08 BA18 CA04 CA24 DA01 FA06 GA08 HA04

Claims (6)

【特許請求の範囲】
1. 【請求項１】映像中の被写体の動きを予測し、前記被写
   体の動きに関する情報である被写体動き情報を生成する
   動きモデルを生成するためのモデル生成手段と、前記動
   きモデルによって生成された前記被写体動き情報に基づ
   いて、前記映像中の被写体の像を包含する領域を特定す
   るために用いられるキー信号を生成するためのキー信号
   生成手段と、前記キー信号によって特定される領域の中
   の像を前記被写体の像として抽出するための映像抽出手
   段と、前記抽出された像を順次重ね合わせて表示する合
   成手段とからなることを特徴とする画像合成装置。
2. 【請求項２】前記動きモデルは、前記動きを予測する対
   象の被写体が予め撮影された映像中に現れた前記被写体
   の像と前記被写体が動き出す直前の像とに基づいて、前
   記被写体動き情報を生成することを特徴とする請求項１
   記載の画像合成装置。
3. 【請求項３】前記動きモデルは、前記予め撮影された映
   像を構成する各画像から前記被写体の像の輪郭部分につ
   いての情報を抽出し、前記各画像から抽出した輪郭部分
   についての情報を前記被写体動き情報として生成するこ
   とを特徴とする請求項２記載の画像合成装置。
4. 【請求項４】前記動きモデルは、前記予め撮影された映
   像中の前記被写体の動きを特定するための、前記被写体
   の像における所定の部位を特徴点とし、前記特徴点につ
   いての動きの情報を前記被写体動き情報として生成する
   ことを特徴とする請求項２記載の画像合成装置。
5. 【請求項５】前記動きモデルは、所定のフレーム間隔で
   前記被写体動き情報を生成し、前記キー信号生成手段で
   は、撮影される被写体の動きにおける所定の状態と同期
   して前記キー信号の生成を開始することを特徴とする請
   求項１ないし３のいずれかに記載の画像合成装置。
6. 【請求項６】コンピュータに、映像中の被写体の動きを
   予測し、前記被写体の動きに関する情報である被写体動
   き情報を生成する動きモデルを生成するためのモデル生
   成ステップと、前記動きモデルによって生成された前記
   被写体動き情報に基づいて、前記映像中の被写体の像を
   包含する領域を特定するために用いられるキー信号を生
   成するためのキー信号生成ステップと、前記キー信号に
   よって特定される領域の中の像を前記被写体の像として
   抽出するための映像抽出ステップと、前記抽出された像
   を順次重ね合わせて表示する合成ステップとを実行させ
   るためのプログラムであって、前記動きモデルが、前記
   動きを予測する対象の被写体が予め撮影された映像中に
   現れた前記被写体の像に基づいて、前記被写体動き情報
   を生成し、前記予め撮影された映像中の前記被写体の動
   きを特定するための、前記被写体の像における所定の部
   位を特徴点とし、前記特徴点についての動きの情報を前
   記被写体動き情報として生成することを特徴とするプロ
   グラム。