JP2008244922A - 映像生成方法及び映像生成装置 - Google Patents

Abstract

【課題】注目映像の生成時に、動画映像から対象物を容易に識別でき、対象物の中から注目物を容易に選択することができる映像生成方法及び映像生成装置を提供する。
【解決手段】抽出手段２が、動画である原映像Ａ１の中から対象物を検出し、追跡し、位置情報である抽出結果Ｂ１を出力し、遅延手段３が遅延映像Ａ２を生成し、重畳手段５が、遅延映像Ａ２に抽出結果Ｂ１を重畳した作業映像Ｄ１を生成し、選択手段４が、作業映像Ｄ１に含まれる対象物の中からユーザ操作によって選択された対象物である注目物を特定する選択情報が入力されたときに、抽出結果Ｂ１の中から注目物に対応する抽出結果Ｂ１を選択して、決定結果Ｂ３として出力し、トリミング手段６が、決定結果Ｂ３に応じて遅延映像Ａ２の中から注目物とその周辺領域から成る部分映像を切り出し、部分映像を所定の形状及び大きさに変換することによって注目映像Ｅ１を生成する。
【選択図】図１

Description

本発明は、動画映像の中から選択された対象物である注目物及びその周辺領域から成る部分領域から注目映像を生成する映像生成方法及び映像生成装置に関するものである。

静止画像の中から人物を抽出し、抽出した人物を静止画像を取り扱う者に通知することによってアルバム作成する技術が提案されている（例えば、特許文献１参照）。また、スポーツ競技を撮影した映像から選手を抽出し、抽出された選手を追跡する技術も提案されている（例えば、特許文献２及び３参照）。

特開２００６−２９５８８９号公報（第１５頁） 特開２００４−０４６６４７号公報（第９〜１４頁、図５、図１０） 特開２００４−０７２６２８号公報（第４〜５頁、図１）

しかしながら、表示装置に表示された動画映像の中から、視聴者（ユーザ）が注目する対象物である注目物を、視聴者自身で判別することは困難なことが多く、このような問題を解決する手段は、上記従来技術には開示されていない。

また、表示装置に表示された動画映像がスポーツ競技である場合には、注目選手（注目物）が小さく撮影されていることが多く、視聴者による注目選手の判別が一層困難である。

さらに、表示装置に表示された動画映像が家庭用ビデオカメラで撮影された映像である場合には、注目物が映像の端の方に撮影されていたり、注目物が小さく撮影されていたりすることが頻繁に生じるため、注目物が見えにくいことが多く、視聴者による注目物の判別が困難であった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、注目映像の生成時に、動画映像から対象物を容易に識別でき、対象物の中から注目物を容易に選択することができる映像生成方法及び映像生成装置を提供することにある。

本発明の映像生成方法は、抽出手段が、動画である原映像の中から１つ又は複数の対象物を検出し、検出した上記対象物のそれぞれを追跡し、上記対象物のそれぞれの上記原映像内における位置情報である抽出結果を出力し、第１の遅延手段が、上記原映像の入力から上記抽出結果の出力までに要する時間だけ上記原映像を遅延させた第１の遅延映像を生成し、重畳手段が、上記第１の遅延映像に上記抽出結果を重畳することによって作業映像を生成し、選択手段が、上記作業映像に含まれる上記対象物の中からユーザ操作によって選択された対象物である注目物を特定する選択情報が入力されたときに、上記選択情報に応じて上記抽出結果の中から上記注目物に対応する上記抽出結果を選択して、決定結果として出力し、トリミング手段が、上記決定結果に応じて上記第１の遅延映像の中から上記注目物と上記注目物の周辺領域から成る部分映像を切り出し、上記部分映像を所定の形状及び大きさに変換することによって注目映像を生成することを特徴としている。

また、本発明の映像生成装置は、動画である原映像の中から１つ又は複数の対象物を検出し、検出した上記対象物のそれぞれを追跡し、上記対象物のそれぞれの上記原映像内における位置情報である抽出結果を出力する抽出手段と、上記原映像の入力から上記抽出結果の出力までに要する時間だけ上記原映像を遅延させた第１の遅延映像を生成する第１の遅延手段と、上記第１の遅延映像に上記抽出結果を重畳することによって作業映像を生成する重畳手段と、上記作業映像に含まれる上記対象物の中からユーザ操作によって選択された対象物である注目物を特定する選択情報が入力されたときに、上記選択情報に応じて上記抽出結果の中から上記注目物に対応する上記抽出結果を選択して、決定結果として出力する選択手段と、上記決定結果に応じて上記第１の遅延映像の中から上記注目物と上記注目物の周辺領域から成る部分映像を切り出し、上記部分映像を所定の形状及び大きさに変換することによって注目映像を生成するトリミング手段とを有することを特徴としている。

本発明の映像生成装置又は映像生成方法によれば、注目映像を表示させるときに、動画映像の中から抽出され対象物を示す抽出結果を表示させた作業映像を表示させることができるので、視聴者は容易に対象物を判別することができ、対象物の中から容易に注目物を選択することができるという効果がある。

実施の形態１．
図１は、本発明の実施の形態１に係る映像生成装置（抽出対象選択部）１０１の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る映像生成装置１０１は、原映像（動画映像）Ａ１の中から１つ又は複数の対象物（例えば、人物又は物体）を検出し、検出した対象物のそれぞれを追跡し、対象物のそれぞれの原映像Ａ１内における位置情報である抽出結果Ｂ１を出力する抽出手段２と、原映像Ａ１の入力から抽出結果Ｂ１の出力までに要する時間だけ原映像Ａ１を遅延させた遅延映像（第１の遅延映像）Ａ２を生成する遅延手段（第１の遅延手段）３と、遅延映像Ａ２に抽出結果Ｂ１を重畳することによって作業映像Ｄ１を生成する重畳手段５とを有している。また、映像生成装置１０１は、作業映像Ｄ１に含まれる対象物の中からユーザ（視聴者）操作によって選択された対象物である注目物を特定するユーザ入力情報（選択情報）Ｃ１が入力されたときに、ユーザ入力情報Ｃ１に応じて抽出結果Ｂ１の中から注目物に対応する抽出結果を選択して、決定結果Ｂ３として出力する選択手段４と、決定結果Ｂ３に応じて遅延映像Ａ２の中から注目物と注目物の周辺領域から成る部分映像を切り出し、この部分映像を所定の形状及び大きさに変換することによって注目映像Ｅ１を生成するトリミング手段６とを有している。なお、図１において、Ｐ１は、放送信号や映像再生装置からの再生信号などのような原映像Ａ１が入力される映像入力端であり、Ｐ２は、ユーザ操作部から入力されるユーザ入力情報Ｃ１が入力される情報入力端である。また、図１において、Ｐ３は、作業映像Ｄ１が出力される映像出力端であり、Ｐ４は、注目映像が出力される映像出力端である。さらに、図１において、破線で示される映像出力端Ｐ５は、遅延映像の出力端であり、実施の形態１に係る映像生成装置１０１は、映像出力端Ｐ５を備える場合と備えない場合とがあるため、破線で描いている。

次に、実施の形態１に係る映像生成装置１０１の動作を説明する。抽出手段２に、原映像Ａ１が入力されると、抽出手段２は、サッカーや野球のような団体球技のような場合には、ユニホームの色や顔の色などを識別して各選手（好ましくは、選手全員）を識別し、また、競馬や自動車レースのような場合には、騎手の服の色や馬の形又は自動車の色や形などを識別して各馬又は各車（好ましくは、馬又は車のすべて）を識別し、識別された人又は物体を視聴者が注目して視聴する可能性のある対象物として抽出し、抽出された対象物のそれぞれの原映像Ａ１の中における位置情報を抽出結果Ｂ１として出力する。抽出結果Ｂ１は、例えば、それぞれの対象物の所定の場所（例えば、選手の体の中心位置又は頭の位置）を代表点に取り、代表点の位置を原映像Ａ１の水平方向（Ｘ軸）の位置と垂直方向（Ｙ軸）の位置の組の情報、すなわち、座標位置情報である。

図２は、図１に示される抽出手段２の動作を説明するための図である。図２の左側に示される例では、対象物（原映像Ａ１内に表示されている）は、符号Ｂ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆ，Ｂ１ｇ，Ｂ１ｈで示される８個（図２においては、８人の選手）である。この場合、抽出結果Ｂ１は、図２の右側に示されるように、対象物Ｂ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆ，Ｂ１ｇ，Ｂ１ｈの座標で示される。図２においては、対象物Ｂ１ａの位置情報は水平方向の位置情報Ｘａと垂直方向の位置情報Ｙａの組、すなわち、（Ｘａ，Ｙａ）となり、同様に、対象物Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆ，Ｂ１ｇ，Ｂ１ｈの位置情報はそれぞれ（Ｘｂ，Ｙｂ），（Ｘｃ，Ｙｃ），（Ｘｄ，Ｙｄ），（Ｘｅ，Ｙｅ），（Ｘｆ，Ｙｆ），（Ｘｇ，Ｙｇ），（Ｘｈ，Ｙｈ）となる。

図１に示されるように、原映像Ａ１は遅延手段３にも入力される。遅延手段３は、抽出手段２の遅延時間、すなわち、原映像Ａ１が抽出手段２に入力されてから抽出結果Ｂ１を得るまでの時間だけ、原映像Ａ１を遅延させた遅延映像Ａ２を生成する。したがって、抽出結果Ｂ１と遅延映像Ａ２とは同一時刻の互いに対応する信号と映像となる。

図３は、図１に示される重畳手段５から出力される作業映像Ｄ１の例を示す図である。また、図４は、図１に示される重畳手段５から出力される作業映像Ｄ１の他の例を示す図である。図１に示されるように、抽出結果Ｂ１と遅延映像Ａ２は重畳手段５に入力される。重畳手段５は、遅延映像Ａ２に抽出結果Ｂ１の情報を付加した作業映像Ｄ１を生成し、生成された作業映像Ｄ１を映像出力端Ｐ３から出力する。作業映像Ｄ１は、例えば、図３に示されるように、対象物を破線の楕円で囲むように対象物の周囲に特定の図形を付加したり、対象物をハイライト表示し他の部分の輝度の暗くしたり、対象物に旗や小さな印を付加したりする映像である。また、作業映像Ｄ１は、図４に示されるように、対象物１つ１つを識別できるように番号を付加するように視覚的に対象物と背景の映像とが区別できる映像である。ただし、作業映像は、視聴者が、各対象物を対象物以外の映像部分と区別できるようにする映像であれば、図示以外の表示方法を採用してもよい。

表示装置（図１には示さず）を介して上記対象物が認識できる作業映像Ｄ１を見ている視聴者は、情報入力端Ｐ２を通して、対象物の中から視聴者自身が注目する注目物を選択するユーザ入力情報である選択情報Ｃ１を選択手段４に入力する。図１に示されるように、抽出結果Ｂ１は選択手段４にも入力される。選択手段４の動作は、選択情報Ｃ１の内容によって異なる。

実施の形態１においては、選択情報Ｃ１が注目物を直接指示する場合の選択手段４の動作について説明する。実施の形態１の選択操作は、例えば、図３のように表示された作業映像Ｄ１にタッチパネルを用いて対象物の１つに触れることによって、又は、マウスを用いてポインタを対象物の１つに移動させてからクリックすることによって行われる。選択情報Ｃ１は注目物の情報であるから、選択手段４は入力される抽出結果Ｂ１の中から選択情報Ｃ１が指示するものだけを決定結果Ｂ３として出力する。

図５は、図１に示されるトリミング手段６から出力される注目映像Ｅ１の例を示す図である。映像生成装置１０１において、トリミング手段６は、選択手段４からの決定結果Ｂ３に基づいて遅延映像Ａ２から注目物とその周辺映像から成る部分領域の映像を切り出し、この部分領域の大きさや形状を変換した注目映像Ｅ１を生成し、映像出力端Ｐ４から出力する。注目映像は、図示しない表示装置によって表示される。

実施の形態１に係る映像生成装置１０１は、映像内の抽出対象物を選択的に表示するための方法又は装置として、放送の送信側、ネット配信の配信側、テレビ受像機、又は光ディスクレコーダなどの、放送の送信側又は受信側のいずれの装置にも適用できる。

以上に説明したように、実施の形態１に係る映像生成装置１０１又はこの装置が実行する映像生成方法によれば、注目映像を表示させるときに、原映像Ａ１の中から抽出され対象物を示す抽出結果Ｂ１を表示させた作業映像Ｄ１を表示させることができるので、視聴者は容易に対象物を判別することができ、注目物を容易に指定することができる。

また、実施の形態１に係る映像生成装置１０１又は映像生成方法によれば、試合や競技などの全体の映像の中から視聴者が選択した注目物を注目映像として表示装置の全体又は一部に表示させることができるので、注目物の動きの詳細を見ることができるというという効果もある。

さらに、実施の形態１に係る映像生成装置１０１又は映像生成方法によれば、注目物を複数指定することにより、注目物同士の動きを同時に見ることも可能になる。

さらにまた、実施の形態１に係る映像生成装置１０１又は映像生成方法によれば、対象物を水平方向の位置と垂直方向の位置で表すことにより、視聴者が容易に注目物を特定できるという効果もある。

実施の形態２．
図６は、本発明の実施の形態２に係る切換機能付き映像生成装置１０２の構成を概略的に示すブロック図である。図６において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。

図６に示されるように、切換機能付き映像生成装置１０２は、実施の形態１の映像生成装置（抽出対象選択部）１０１と、抽出対象選択部１０１から出力される作業映像Ｄ１と注目映像Ｅ１のいずれかを選択して出力する、又は、遅延映像Ａ２と作業映像Ｄ１と注目映像Ｅ１のいずれかを選択して出力する表示映像Ｆ１として映像出力端Ｐ６から出力させる切換手段１２とを有している。切換機能付き映像生成装置１０２においては、注目物を選択し終えた時点で、視聴者が情報入力端Ｐ２を介して出力映像を切り換えるための指示情報を切換手段１２に入力し、切換手段１２の入力のいずれか１つを表示映像Ｆ１として出力する。選択情報Ｃ１として、出力映像を切り換える情報を入力する方法としては、リモコン操作、又は、マウス操作、又は、タッチパネル操作などを例として挙げることができる。

以上に説明したように、実施の形態２に係る切換機能付き映像生成装置１０２又はこの装置が実行する映像表示方法によれば、上記実施の形態１の効果に加え、注目物を最終決定するまで対象物を確認でき、視聴者の意思で注目物の映像の視聴を開始できるという効果もある。

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態３．
図７は、本発明の実施の形態３に係る映像生成装置（抽出対象選択部）１０３の構成を概略的に示すブロック図である。図７において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。

本発明の実施の形態３に係る映像生成装置（抽出対象選択部）１０３は、選択情報（ユーザ入力情報）Ｃ１が注目物を直接指示しない場合の選択手段４ｂの動作が、実施の形態１の場合と相違する。実施の形態３は、リモコンのボタンや十字キーを用いて左右又は上下左右など、選択情報Ｃ１として、相対的な情報が入力される場合に相当する。図７に示される実施の形態３の映像生成装置（抽出対象選択部）１０３は、抽出対象選択部１０３の選択手段４ｂが決定結果Ｂ３と共に選択候補Ｂ２を出力して重畳手段５ｂに入力し、重畳手段５ｂが決定結果Ｂ３と選択候補Ｂ２に応じた動作をする点が、図１に示される実施の形態１の映像生成装置（抽出対象選択部）１０１と相違する。

図７に示されるように、選択手段４ｂは、入力される抽出結果Ｂ１の中から予め定められた１つを、選択候補Ｂ２として重畳手段５ｂに出力する。重畳手段５ｂは、作業映像Ｄ１上の抽出結果Ｂ１とは異なる識別表示を用いて、作業映像Ｄ１上に選択候補Ｂ２の位置情報を視聴者に伝える。図８においては、抽出結果Ｂ１を破線の楕円で表示し、選択候補Ｂ２を実線の楕円で表示する例を示している。ただし、抽出結果Ｂ１と選択候補Ｂ２とを区別する方法はこの限りではなく、色彩や形状又は輝度等の違いを用いて区別する表示方法を採用することもできる。そして、選択情報Ｃ１によって選択候補Ｂ２から他の選択候補へ選択候補を移動させ、視聴者自身が欲する注目物を選択する。

選択候補Ｂ２の移動方法の例を、図２、図８、及び図９を用いて説明する。最初の選択候補がボールを保持している（図２の抽出結果Ｂ１ｄ、図８の実線の楕円で囲まれている）選手であり、注目物が画面の一番下（図２の抽出結果Ｂ１ａ、図８のタッチライン沿い）の選手である場合を例とする。視聴者は注目物を選択すべく、リモコンのボタンや十字キーを用いて、選択情報Ｃ１に「下」の情報を選択手段４ｂに入力する。選択手段４ｂは、最初の選択候補の抽出結果Ｂ１ｄの垂直方向の位置情報Ｙｄより小さくかつ最も近い垂直方向の位置情報Ｙｃを有する（すなわち、図９における垂直方向の距離｜Ｙｃ−Ｙｄ｜が最短であり、｜Ｙｃ−Ｙｄ｜＜｜Ｙｂ−Ｙｄ｜＜｜Ｙａ−Ｙｄ｜である。）抽出結果Ｂ１ｃの選手を、次の選択候補Ｂ２として重畳手段５ｂに出力する（図９参照）。重畳手段５ｂは、新たな選択候補の表示を実施して作業映像Ｄ１を出力する。しかし、新たな選択候補は注目物ではないため、視聴者はさらに選択情報Ｃ１に「下」の情報を選択手段４ｂに入力する。選択手段４ｂは、２番目の選択候補の抽出結果Ｂ１ｃの垂直方向の位置情報Ｙｃより小さくかつ最も近い垂直方向の位置情報Ｙｂを有する（すなわち、図９における垂直方向の距離｜Ｙｂ−Ｙｄ｜が最短であり、｜Ｙｂ−Ｙｄ｜＜｜Ｙａ−Ｙｄ｜である。）抽出結果Ｂ１ｂの選手を、次の選択候補Ｂ２として重畳手段５ｂに出力する（図９参照）。重畳手段５ｂは、３番目の選択候補の表示を実施して作業映像Ｄ１を出力する。しかし、３番目の選択候補も注目物ではないため、視聴者はさらに選択情報Ｃ１に「下」の情報を選択手段４ｂに入力する。選択手段４ｂは、３番目の選択候補の抽出結果Ｂ１ｂの垂直方向の位置情報Ｙｂより小さくかつ最も近い垂直方向の位置情報Ｙａを有する（すなわち、図９における垂直方向の距離｜Ｙａ−Ｙｂ｜が最短である。）抽出結果Ｂ１ａの選手を、４番目の選択候補Ｂ２として重畳手段５ｂに出力する（図９参照）。重畳手段５ｂは、４番目の選択候補の表示を実施して作業映像Ｄ１を出力する。この４番目の選択候補が注目物であるため、視聴者は選択情報Ｃ１として、「決定」の情報を選択手段４ｂに入力する。選択手段４ｂは、注目物の抽出結果を決定結果Ｂ３として出力する。

以上においては、最初の選択候補に対して注目物が映像の「下」に存在する例について説明したが、注目物が「上」にある場合は、上記と同様に抽出結果の垂直方向の位置情報（図６のＹｄ，Ｙｅ，Ｙｆ，Ｙｇ，Ｙｈ等）を用いて選択候補を順次移動させる。また、最初の選択候補に対して注目物が「左」又は「右」に存在する場合には、抽出結果の水平方向の位置情報（図６のＸａ，Ｘｂ，Ｘｃ，Ｘｄ，Ｘｅ，Ｘｆ，Ｘｇ，Ｘｈ等）を用いて選択候補を順次移動させる。

この選択結果の候補を移動されて決定する動作を繰り返すことによって複数の注目物を指定することも可能である。

また、次の選択候補を選択するに際して、図１０に示されるように、現在の選択候補から所定の範囲（図１０の破線の円２１又は２２の領域）に抽出結果が存在する対象物に限って上述の処理をすることもできる。図１０において、円２１は、選択候補Ｂ１ｄについての所定の範囲であり、円２２は、選択候補Ｂ１ｂについての所定の範囲である。

また、決定結果Ｂ３を重畳手段５ｂに出力して、作業映像Ｄ１上に抽出結果Ｂ１とも選択候補Ｂ２とも異なった表示をすることも可能である。

以上に説明したように、実施の形態３に係る映像生成装置１０３又はこの装置が実行する映像表示方法によれば、上記実施の形態１の効果に加え、例えば、上下左右キーを操作することによって容易に注目物を特定できるという効果もある。

なお、実施の形態３において、上記以外の点は、上記実施の形態１の場合と同じである。

また、実施の形態３に係る映像生成装置（抽出対象選択部）１０３は、上記実施の形態２に組み込むことが可能である。

実施の形態４．
図１１は、本発明の実施の形態４に係る合成機能付き映像生成装置（選択合成部）１０４の構成を概略的に示すブロック図である。図１１において、図１及び図７に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態４においては、注目映像Ｅ１が複数存在する場合の動作について説明する。なお、注目物毎の注目映像をそれぞれＥ１ａ，Ｅ１ｂ，Ｅ１ｃ，・・・と表す。

図１１に示されるように、実施の形態４に係る合成機能付き映像生成装置１０４は、映像生成装置（抽出対象選択部）１０１又は１０３と、この出力である複数の注目映像（例えば、Ｅ１ａ，Ｅ１ｂ，Ｅ１ｃ，・・・）が入力される合成手段７とを有している。合成手段７は、入力される注目映像Ｅ１を所定の大きさに変換して所定の並べ方にしたがって配置し、１画面分の合成映像Ｅ２を生成し、映像出力端Ｐ４から出力する。

図１２は、図１１に示される合成手段７から出力される合成映像Ｅ２の例を示す図である。図１２は、注目映像Ｅ１ａとＥ１ｄを合成した場合を示している。

実施の形態４に係る合成機能付き映像生成装置１０４又はこの装置が実行する映像生成方法によれば、上記実施の形態１又は３の効果に加えて、注目物同士の動きを同時に見ることが可能になる。

なお、実施の形態４において、上記以外の点は、上記実施の形態１又は３の場合と同じである。

実施の形態５．
図１３は、本発明の実施の形態５に係る合成及び切換機能付き映像生成装置１０５の構成を概略的に示すブロック図である。図１３において、図１、図７及び図１１に示される構成と同一又は対応する構成には、同じ符号を付す。

図１３に示されるように、合成及び切換機能付き映像生成装置１０５は、実施の形態４の合成機能付き映像生成装置（選択合成部）１０４と、合成機能付き映像生成装置（選択合成部）１０４から出力される作業映像Ｄ１と合成映像Ｅ２のいずれかを選択して出力する、又は、遅延映像Ａ２と作業映像Ｄ１と合成映像Ｅ２のいずれかを選択して出力する表示映像Ｆ１として映像出力端Ｐ６から出力させる切換手段１２とを有している。合成及び切換機能付き映像生成装置１０５においては、注目物を選択し終えた時点で、視聴者が情報入力端Ｐ２を介して出力映像を切り換えるための指示情報を切換手段１２に入力し、切換手段１２の入力のいずれか１つを表示映像Ｆ１として出力する。選択情報Ｃ１として、出力映像を切り換える情報を入力する方法としては、リモコン操作、又は、マウス操作、又は、タッチパネル操作などを例として挙げることができる。

以上に説明したように、実施の形態５に係る合成及び切換機能付き映像生成装置１０５又はこの装置が実行する映像表示方法によれば、上記実施の形態４の効果に加え、注目物を最終決定するまで対象物を確認でき、視聴者の意思で注目物の映像の視聴を開始できるという効果もある。

なお、実施の形態５において、上記以外の点は、上記実施の形態２の場合と同じである。

実施の形態６．
図１４は、本発明の実施の形態６に係る挿入機能付き映像生成装置（選択挿入部）１０６の構成を概略的に示すブロック図である。図１４において、図１及び図７に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態６においては、注目映像Ｅ１を原映像とともに表示する場合を説明する。

図１４に示されるように、挿入機能付き映像生成装置１０６は、実施の形態１又は３の映像生成装置（抽出対象選択部）１０１又は１０３と、映像生成装置（抽出対象選択部）１０１又は１０３から出力される遅延映像（第１の遅延映像）Ａ２をさらに遅延させて第２の遅延映像Ａ３を出力する遅延手段（第２の遅延手段）８と、第２の遅延映像Ａ３に映像生成装置（抽出対象選択部）１０１又は１０３から出力される注目映像Ｅ１を挿入して挿入映像（すなわち、注目映像Ｅ１が挿入された第２の遅延映像Ａ３）Ｅ３を出力する挿入手段９とを有している。

第２の遅延手段８は、映像生成装置（抽出対象選択部）１０１又は１０３のトリミング手段６の遅延時間、すなわち、遅延映像Ａ２がトリミング手段６に入力されてから注目映像Ｅ１を得るまでの時間だけ、遅延映像Ａ２を遅延させて第２の遅延映像Ａ３を生成する。したがって、注目映像Ｅ１と第２の遅延映像Ａ３とは同一時刻の互いに対応する映像となる。挿入手段９は、第２の遅延映像Ａ３の所定の部分を注目映像Ｅ１をその所定の部分の大きさ及び形状に合わせて変換した映像で置換した挿入映像Ｅ３を生成し、映像出力端Ｐ４から出力する。注目映像Ｅ１が複数の映像で構成されていても動作は同じである。

図１５は、図１４に示される挿入手段９から出力される挿入映像Ｅ３の一例を示す図である。図１５に示されるように、映像出力端Ｐ４から出力される挿入映像Ｅ３は、第２の遅延映像Ａ３の一部に注目映像Ｅ１を挿入した映像である。

以上に説明したように、実施の形態６に係る挿入機能付き映像生成装置（選択挿入部）１０６においては、上記実施の形態１又は３の効果に加え、試合や競技などの全体の映像と注目物の動きを同時に見ることも可能になる。

なお、実施の形態６において、上記以外の点は、上記実施の形態１又は３の場合と同じである。

実施の形態７．
図１６は、本発明の実施の形態７に係る挿入及び切換機能付き映像生成装置１０７の構成を概略的に示すブロック図である。図１６において、図１、図７、及び図１４に示される構成と同一又は対応する構成には、同じ符号を付す。

図１６に示されるように、挿入及び切換機能付き映像生成装置１０７は、実施の形態６の挿入機能付き映像生成装置（選択挿入部）１０６と、挿入機能付き映像生成装置（選択合成部）１０４から出力される作業映像Ｄ１と挿入映像Ｅ３のいずれかを選択して出力する、又は、遅延映像Ａ２と作業映像Ｄ１と挿入映像Ｅ３のいずれかを選択して表示映像Ｆ１として映像出力端Ｐ６から出力させる切換手段１２とを有している。挿入及び切換機能付き映像生成装置１０７においては、注目物を選択し終えた時点で、視聴者が情報入力端Ｐ２を介して出力映像を切り換えるための指示情報を切換手段１２に入力し、切換手段１２の入力のいずれか１つを表示映像Ｆ１として出力する。選択情報Ｃ１として、出力映像を切り換える情報を入力する方法としては、リモコン操作、又は、マウス操作、又は、タッチパネル操作などを例として挙げることができる。

以上に説明したように、実施の形態７に係る挿入及び切換機能付き映像生成装置１０７又はこの装置が実行する映像表示方法によれば、上記実施の形態６の効果に加え、注目物を最終決定するまで対象物を確認でき、試合や競技などの全体の映像と注目物の動きを同時に見ることも可能になるという効果もある。

なお、実施の形態７において、上記以外の点は、上記実施の形態６の場合と同じである。

本発明の実施の形態１に係る映像生成装置（抽出対象選択部）の構成を概略的に示すブロック図である。 図１に示される抽出手段の動作を説明するための図である。 図１に示される重畳手段から出力される作業映像の例を示す図である。 図１に示される重畳手段から出力される作業映像の他の例を示す図である。 図１に示されるトリミング手段から出力される注目映像の例を示す図である。 本発明の実施の形態２に係る切換機能付き映像生成装置の構成を概略的に示すブロック図である。 本発明の実施の形態３に係る映像生成装置（抽出対象選択部）の構成を概略的に示すブロック図である。 図７に示される重畳手段から出力される作業映像の例を示す図である。 図７に示される選択手段による選択候補の変更動作を説明するための図である。 図７に示される選択手段による選択候補の変更動作の他の例を説明するための図である。 本発明の実施の形態４に係る映像生成装置である合成機能付き映像生成装置（選択合成部）の構成を概略的に示すブロック図である。 図１１に示される合成手段から出力される合成映像の例を示す図である。 本発明の実施の形態５に係る合成及び切換機能付き映像生成装置の構成を概略的に示すブロック図である。 本発明の実施の形態６に係る挿入機能付き映像生成装置の構成を概略的に示すブロック図である。 図１４に示される挿入手段から出力される挿入映像の一例を示す図である。 本発明の実施の形態７に係る挿入及び切換機能付き映像生成装置の構成を概略的に示すブロック図である。

符号の説明

２ 抽出手段、 ３ 遅延手段（第１の遅延手段）、 ４，４ｂ 選択手段、 ５ 重畳手段、 ６ トリミング手段、 ７ 合成手段、 ８ 遅延手段（第２の遅延手段）、 ９ 挿入手段、 １２ 切換手段、 １０１ 注目映像生成装置（抽出対象選択部）、 １０２ 切換機能付き注目映像生成装置、 １０３ 注目映像生成装置（抽出対象選択部）、 １０４ 合成機能付き注目映像生成装置（選択合成部）、 １０５ 合成及び切換機能付き注目映像生成装置、 １０６ 挿入機能付き注目映像生成装置（選択挿入部）、 １０７ 挿入及び切換機能付き注目映像生成装置、 Ａ１ 原映像、 Ａ２ 遅延映像（第１の遅延映像）、 Ａ３ 遅延映像（第２の遅延映像）、 Ｂ１ 抽出結果、 Ｂ２ 選択候補、 Ｂ３ 決定結果、 Ｂ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆ，Ｂ１ｇ，Ｂ１ｈ 対象物、 Ｃ１ ユーザ入力情報、 Ｄ１ 作業映像、 Ｅ１，Ｅ１ａ，Ｅ１ｂ，Ｅ１ｃ，Ｅ１ｄ，Ｅ１ｅ，Ｅ１ｆ，Ｅ１ｇ，Ｅ１ｈ 注目映像、 Ｅ２ 合成映像、 Ｅ３ 挿入映像、 Ｆ１ 表示映像、 Ｐ１ 映像入力端、 Ｐ２ ユーザ操作情報入力端、 Ｐ３ 作業映像の映像出力端、 Ｐ４ 注目映像の映像出力端、 Ｐ５ 遅延映像の映像出力端、 Ｐ６ 表示映像の映像出力端。

Claims (24)

1. 抽出手段が、動画である原映像の中から１つ又は複数の対象物を検出し、検出した上記対象物のそれぞれを追跡し、上記対象物のそれぞれの上記原映像内における位置情報である抽出結果を出力し、
   第１の遅延手段が、上記原映像の入力から上記抽出結果の出力までに要する時間だけ上記原映像を遅延させた第１の遅延映像を生成し、
   重畳手段が、上記第１の遅延映像に上記抽出結果を重畳することによって作業映像を生成し、
   選択手段が、上記作業映像に含まれる上記対象物の中からユーザ操作によって選択された対象物である注目物を特定する選択情報が入力されたときに、上記選択情報に応じて上記抽出結果の中から上記注目物に対応する上記抽出結果を選択して、決定結果として出力し、
   トリミング手段が、上記決定結果に応じて上記第１の遅延映像の中から上記注目物と上記注目物の周辺領域から成る部分映像を切り出し、上記部分映像を所定の形状及び大きさに変換することによって注目映像を生成する
   ことを特徴とする映像生成方法。
2. 上記トリミング手段が、上記注目映像を複数生成し、
   合成手段が、複数の上記注目映像を組み合わせた合成映像を生成する
   ことを特徴とする請求項１に記載の映像生成方法。
3. 第２の遅延手段が、上記第１の遅延映像の入力から上記注目映像の生成までに要する時間だけ上記第１の遅延映像を遅延させた第２の遅延映像を生成し、
   挿入手段が、上記第２の遅延映像内に１つ又は複数の上記注目映像を１画面内に挿入した挿入映像を生成する
   ことを特徴とする請求項１に記載の映像生成方法。
4. 切換手段が、上記作業映像と上記注目映像のいずれか、又は、上記遅延映像と上記作業映像と上記注目映像のいずれかを選択して出力することを特徴とする請求項１に記載の映像生成方法。
5. 切換手段が、上記作業映像と上記合成映像のいずれか、又は、上記遅延映像と上記作業映像と上記合成映像のいずれかを選択して出力することを特徴とする請求項２に記載の映像生成方法。
6. 切換手段が、上記作業映像と上記挿入映像のいずれか、又は、上記遅延映像と上記作業映像と上記挿入映像のいずれかを選択して出力することを特徴とする請求項３に記載の映像生成方法。
7. 上記選択情報は、上記作業映像の対象物の中から１つを特定する情報であることを特徴とする請求項１乃至６のいずれか１項に記載の映像生成方法。
8. 上記選択情報は、上記作業映像の対象物の中の１つを選択候補として特定する情報を含み、
   上記重畳手段が、上記遅延映像に上記選択候補の表示を重畳し、
   上記選択手段が、ユーザ操作によって決定が入力されたときに、上記選択候補を上記注目物とし、上記注目物を上記決定結果とする
   ことを特徴とする請求項１乃至６のいずれか１項に記載の映像生成方法。
9. 上記選択手段が、上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果に位置的に最も近い抽出結果の対象物を次の選択候補とすることを特徴とする請求項８に記載の映像生成方法。
10. 上記選択手段が、上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果の水平位置情報もしくは垂直位置情報が最も近い抽出結果の対象物を次の選択候補とすることを特徴とする請求項８に記載の映像生成方法。
11. 上記選択手段が、上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果から位置的に所定の範囲内に存在する対象物の中で、前の選択候補の抽出結果の水平位置情報もしくは垂直位置情報が最も近い抽出結果の対象物を次の選択候補とすることを特徴とする請求項８に記載の映像生成方法。
12. 上記抽出結果が、上記原映像内における水平位置情報と垂直位置情報とを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の映像生成方法。
13. 動画である原映像の中から１つ又は複数の対象物を検出し、検出した上記対象物のそれぞれを追跡し、上記対象物のそれぞれの上記原映像内における位置情報である抽出結果を出力する抽出手段と、
    上記原映像の入力から上記抽出結果の出力までに要する時間だけ上記原映像を遅延させた第１の遅延映像を生成する第１の遅延手段と、
    上記第１の遅延映像に上記抽出結果を重畳することによって作業映像を生成する重畳手段と、
    上記作業映像に含まれる上記対象物の中からユーザ操作によって選択された対象物である注目物を特定する選択情報が入力されたときに、上記選択情報に応じて上記抽出結果の中から上記注目物に対応する上記抽出結果を選択して、決定結果として出力する選択手段と、
    上記決定結果に応じて上記第１の遅延映像の中から上記注目物と上記注目物の周辺領域から成る部分映像を切り出し、上記部分映像を所定の形状及び大きさに変換することによって注目映像を生成するトリミング手段と
    を有することを特徴とする映像生成装置。
14. 上記トリミング手段が、上記注目映像を複数生成し、
    複数の上記注目映像を組み合わせた合成映像を生成する合成手段を有する
    ことを特徴とする請求項１３に記載の映像生成装置。
15. 上記第１の遅延映像の入力から上記注目映像の生成までに要する時間だけ上記第１の遅延映像を遅延させた第２の遅延映像を生成する第２の遅延手段と、
    上記第２の遅延映像内に１つ又は複数の上記注目映像を１画面内に挿入した挿入映像を生成する挿入手段と
    を有することを特徴とする請求項１３に記載の映像生成装置。
16. 上記作業映像と上記注目映像のいずれか、又は、上記遅延映像と上記作業映像と上記注目映像のいずれかを選択して出力する切換手段を有することを特徴とする請求項１３に記載の映像生成装置。
17. 切換手段が、上記作業映像と上記合成映像のいずれか、又は、上記遅延映像と上記作業映像と上記合成映像のいずれかを選択して出力することを特徴とする請求項１４に記載の映像生成装置。
18. 上記作業映像と上記挿入映像のいずれか、又は、上記遅延映像と上記作業映像と上記挿入映像のいずれかを選択して出力する切換手段を有することを特徴とする請求項１５に記載の映像生成装置。
19. 上記選択情報は、上記作業映像の対象物の中から１つを特定する情報であることを特徴とする請求項１３乃至１８のいずれか１項に記載の映像生成装置。
20. 上記選択情報は、上記作業映像の対象物の中の１つを選択候補として特定する情報を含み、
    上記重畳手段が、上記遅延映像に上記選択候補の表示を重畳し、
    上記選択手段が、ユーザ操作によって決定が入力されたときに、上記選択候補を上記注目物とし、上記注目物を上記決定結果とする
    ことを特徴とする請求項１３乃至１８のいずれか１項に記載の映像生成装置。
21. 上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果に位置的に最も近い抽出結果の対象物を次の選択候補とする選択手段を有することを特徴とする請求項２０に記載の映像生成装置。
22. 上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果の水平位置情報もしくは垂直位置情報が最も近い抽出結果の対象物を次の選択候補とする選択手段を有することを特徴とする請求項２０に記載の映像生成装置。
23. 上記選択候補を他の選択候補に変更するときに、前の選択候補の抽出結果から位置的に所定の範囲内に存在する対象物の中で、前の選択候補の抽出結果の水平位置情報もしくは垂直位置情報が最も近い抽出結果の対象物を次の選択候補とする選択手段を有することを特徴とする請求項２０に記載の映像生成装置。
24. 上記抽出結果が、上記原映像内における水平位置情報と垂直位置情報とを含むことを特徴とする請求項１３乃至２３のいずれか１項に記載の映像生成装置。

Images