JP2009147816A - 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】映像中の重要箇所を中心に映像の加工を行えるようにする。
【解決手段】第１の映像及び／又は第１の映像とは異なる第２の映像が入力される映像入力部１１と、第１の映像における第２の映像との対応位置を算出する対応位置算出部１３と、対応位置算出部１３で算出された対応位置に基づいて、第１の映像を加工する画像生成部１４とを備えた。
【選択図】図１

Description

本発明は、画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体に関し、特に、撮影アングルの異なる複数のカメラで撮影された複数の映像信号を扱う画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体に関する。

従来、１つの場面を、異なるアングルやズーム率に設定された複数台のカメラで同時に撮影する、マルチアングルという撮影手法が知られている。例えばサッカーの試合をマルチアングルで撮影する場合には、グラウンド全体を俯瞰できるようなアングルからの撮影と、ボールや選手達の動きを追えるアングルからの撮影とを、同時に行うようにする。このようにして撮影された異なるアングルの映像を、シーンの内容に応じて自動的に切り替えてユーザに提示することで、ユーザに対して、被写体の動きをより適切に伝えることができる。

ところが、このような提示手法においては、複数のアングルで撮影された映像が制作者側の意図に基づいて自動的に切り替わるため、再生される映像が必ずしも視聴者を満足させるものとはならないという問題があった。このような問題を解決するために、異なるアングルで撮影された複数の映像を、ユーザが自由に切り替えながら視聴できるようにすることも行われている（例えば特許文献１）。

また近年では、１つの表示画面上に複数の異なる映像を同時に表示可能な、マルチ画面機能を有するテレビジョン受像機も増えてきている。このような機能を利用して、１つの画面には広角で撮影された映像を、もう一方の画面にはズーム撮影された映像を表示するようなことも行われている。このような提示が、ユーザは２つの画面間で視線を移動させることにより、好きなタイミングで異なる映像を視聴することができる。

特開平７−１０７４３７号公報

ところで、マルチ画面の機能を有するようなテレビジョン受像機は、表示画面の大きさもかなり大きく設計されているものが多い。このようなテレビジョン受像機において、画面全体に１つの映像を表示させる場合と、マルチ画面の１つに表示させる場合とでは、ユーザにとっての映像の見え方が大きく異なる。

特に、グラウンド全体を広角で撮影したような俯瞰映像は、マルチ画面の一画面に表示されるとなると、被写体が小さくなりすぎて見にくくなってしまう。このような問題を解決するために、俯瞰映像の画枠を小さくトリミングしてから表示のズーム率を変更するような加工を行った場合には、加工後の画像において、選手達やボール等を映した重要な箇所が画面上の端等に移動してしまうことも想定される。

本発明はかかる点に鑑みてなされたものであり、映像中の重要箇所を中心として映像の加工を行うことを目的とする。

本発明は、第１の映像及び／又は第１の映像とは異なる第２の映像が入力される映像入力部と、第１の映像における前記第２の映像との対応位置を算出する対応位置算出部と、
対応位置算出部で算出された対応位置に基づいて、第１の映像を加工する画像生成部とを備えたものである。

このようにしたことで、第２の映像と対応する対応位置に基づいて第１の映像が加工されるようになる。

本発明によると、第２の映像と対応する位置に基づいて第１の映像が加工されるため、ズーム映像等の、その中心に重要箇所が映っている映像が第２の映像であり、被写体を俯瞰するアングルから撮影された映像が第１の映像である場合に、第１の映像において第２の映像と対応する位置、すなわち重要箇所が映っている領域を基に、第１の映像が加工されるようになる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。

図１は、本例における画像信号処理装置の構成例を示すブロック図である。図１に示した画像信号処理装置１０は、映像信号入力部１１、特徴量抽出部１２、対応位置算出部１３、画像生成部１４、画像出力部１５より構成される。

映像信号入力部１１は、映像信号が入力される端子等で構成され、映像信号入力部１１には、ズーム率や撮影アングルの異なる複数の映像が入力される。本例では、例えば第１の信号として、図２（ａ）に示した４０００画素×２０００画素の画素数の映像信号Ｖｓ１が入力され、第２の信号として、図２（ｂ）に示した１９２０画素×１０８０画素の画素数の映像信号Ｖｓ２とが入力されるものとする。なお、映像の画素数の数はこれらの値に限定されるものではなく、他の画素数を有する映像を扱うようにしてもよい。

図２（ａ）と図２（ｂ）とは、どちらも同じラグビーの試合を撮影した映像であるが、図２（ａ）は会場全体を画角の中に収められるアングルで撮影された俯瞰映像であり、図２（ｂ）は、選手やボールの動きを追えるアングルから、選手やボールをある程度ズームアップして撮影されたズーム映像である。つまり、映像撮影時の画角は、図２（ｂ）に
示した映像より、図２（ａ）に示した映像の方が広い。

ズーム映像は、一般的に、選手やボールの動きをより分かりやすく視聴者に伝えるために撮影されるものであり、そこにはカメラマンの意図が反映されているものと考えられる。従って、ズーム映像には、カメラマンによって特に重要な箇所であると判断された箇所が映っていると判断できる。

このため本例では、俯瞰映像においてズーム映像と対応する箇所を探し出し、探し出した対応箇所を、俯瞰映像における重要箇所として抽出することを行っている。抽出した重要箇所を中心として、俯瞰映像を表示する場合のズーム率を変更したり、画枠のトリミングを行うようにすれば、ズーム率や画枠の大きさが調整された映像において、選手達やボール等の重要部分が、画面の端の方に移動してしまうようなことがなくなる。

再び図１に戻って説明を続けると、映像信号入力部１１は、入力された、撮影アングル又はズーム率の異なる複数（本例では２つ）の映像信号を、特徴量抽出部１２に供給する。

特徴量抽出部１２は、入力された映像信号のそれぞれを対象として、映像中に動きのある部分を抽出する。動き部分の抽出方法としては、例えば、注目画素を中心とする所定の数の画素で構成されるブロックについて、ｎ番目のフレームと、（ｎ−１）番目のフレームにおける差分を算出するなどの方式等を用いる。そして、抽出した動き部分の、所定の特徴量抽出領域における分布量を、その画像の特徴量として対応位置算出部１３に出力する。

ここでいう特徴量抽出領域とは、特徴量の抽出を行う対象の領域を指す。特徴量の抽出を行うのがズーム映像である場合には、特徴量抽出領域は全画面（本例では１９２０画素×１０８０画素）となり、俯瞰映像である場合には、特徴量抽出領域は画面の一部の領域となる。すなわち、特徴量抽出部１２で抽出した特徴量は、後述する対応位置算出部１３において、俯瞰映像でのズーム映像との対応箇所を探索する際の材料として用いられるため、俯瞰映像を対象にした場合の特徴量抽出領域は、ズーム映像の画枠サイズやアスペクト比を基準に設定する。

従って、俯瞰映像における特徴量抽出領域は、ズーム映像の画枠サイズが１９２０画素×１０８０画素である場合には、まずその近辺の大きさに設定される。そして、その後の特徴量の抽出処理は、特徴量抽出領域の座標をずらしながら俯瞰映像の全画面を対象として行う。さらに、大きさやアスペクト比を変えた複数種類の特徴量抽出領域においても、特徴量の抽出を行う。

俯瞰映像における、ズーム映像の画枠に対応する領域のサイズは、ズーム映像撮影時のズーム率によって変わるものであり、対応領域のアスペクト比も、ズーム映像撮影時のカメラの向きや傾きによって変わる。その上、特徴量抽出部１２にそれぞれの映像が入力された時点（１フレーム目が入力された時点）では、俯瞰映像のだいたいどの辺りの領域が、ズーム映像と対応する領域なのかといった見当をつけることができない。

このため、俯瞰映像中のズーム映像との対応箇所を漏らすことなく検出するためには、特徴量抽出領域の大きさやアスペクト比を様々に変化させて、俯瞰映像における対応位置を総当たり的に探索する必要がある。この場合の、特徴量抽出領域の画枠の大きさやアスペクト比の変更の範囲（種類）は、予め設定しておくものとする。

特徴量の抽出を行う対象が１フレーム目である場合には、対応位置の検出漏れを防ぐことが大きな目的となるため、特徴量抽出領域の座標や画枠サイズ、アスペクト比は、幅広い範囲内で変更するようにする。２フレーム目以降の処理時には、１フレーム目において上述した処理が行われたことで、既に対応位置情報が取得されているため、対応位置算出部１３は、対応位置の周辺領域を中心に特徴量の抽出を行う。

なお、俯瞰映像とズーム映像のそれぞれを縮小して特徴量のマッチングを行うようにしてもよく、その場合には、俯瞰映像における特徴量抽出領域の大きさも、縮小率に応じて変化させるようにする。

対応位置算出部１３は、ズーム映像から抽出された特徴量を標準パターンとして、俯瞰映像の各領域において抽出された特徴量とのマッチングを行い、ズーム映像における特徴量と一番相関性の高い特徴量を有する俯瞰映像中の特徴量抽出領域を、俯瞰映像におけるズーム映像との対応箇所と設定する。特徴量抽出部１２と対応位置算出部１３の処理の詳細については後述する。

画像生成部１４は、対応位置算出部１３で抽出された対応箇所が、俯瞰映像中のどの箇所と対応しているのかをマーカ表示するためのＯＳＤ（On Screen Display）処理を行う。また、対応箇所の中心部分を起点に表示映像の画枠をトリミングする処理や、対応箇所の中心部分を起点にズーム率を所定の値に変化させた映像を生成する処理を行う。そして、ＯＳＤ処理した画像や、ズーム率を変更した画像等を、画像出力部１５に出力する。

画像出力部１５は、画像生成部１４から出力された映像を、図示せぬ表示装置等に出力する。表示装置としては、例えばＬＣＤ（Liquid Crystal Display）等のディスプレイや、プロジェクタ等が適用される。俯瞰映像とズーム映像とをそれぞれ異なる表示装置に表示させる場合には、画像出力部１５は、各映像を各表示装置に個別に出力する処理を行う。また、１つの表示装置の異なる表示領域に各映像を表示させる場合には、各映像をそれぞれの表示領域に個別に出力する処理を行う。

次に図３のフローチャートを参照して、特徴量抽出部１２の処理の詳細について説明する。図３は、最初の１フレーム目が入力された場合の処理の例を示したものであり、２フレーム目以降の処理については、図９を参照して後述する。

図３において、特徴量抽出部１２はまず、ズーム映像を対象として、隣接フレームとの差分を抽出する処理を行う（ステップＳ１）。そして、処理対象となっているフレームの全体（画面全体）における、抽出した差分の分布（アクティビティの分布）を、特徴量として抽出する（ステップＳ２）。

次に俯瞰映像を対象として、隣接フレームとの差分を抽出する処理を行う（ステップＳ３）。そして、処理対象となっているフレームの特徴量抽出領域における、抽出した差分の分布を、特徴量として抽出する（ステップＳ４）。特徴量抽出領域の画枠のサイズやアスペクト比は、まず初期値として所定の値に設定しておき、領域の座標を徐々にずらしながら画面全体を網羅するようにする。

図４に、ステップＳ１とステップＳ３で差分が抽出された後の画像（差分画像）の例を示してある。図４（ａ）は、俯瞰映像における隣接フレームとの差分検出箇所を示したものであり、図４（ｂ）は、ズーム映像における隣接フレームとの差分検出箇所を示したものである。両図において、差分検出箇所は黒く示されている。このように、隣接フレームとの差分のみを抽出することで、抽出されるのは選手やボール等、映像の中で動いている部分のみとなる。

図５には、このようにして抽出された差分の、差分抽出フレームにおける分布を表したグラフを示している。図５（ａ）と図５（ｂ）とは、同じく特徴量を示すグラフであるが、特徴量が抽出された領域（特徴量抽出領域）の、画面内での位置や大きさが異なっている。

図５（ａ）及び図５（ｂ）に示したグラフは、差分量としての画素値（輝度レベル）を、画面中の座標［0.0］を起点としてｙ方向（水平方向）に順々に取得し、取得した値をグラフ内のｙ方向にプロットしたものである。すなわち、図５（ａ）及び図５（ｂ）は、画像内のアクティビティを示したものである。つまり、図５（ａ）及び図５（ｂ）において、縦軸は輝度値を示しており、横軸は画面内のｙ方向の位置を示している。なお、ｘ方向の画素値を取得してもよく、ｘ方向及びｙ方向の両方向で画素値を取得するようにしてもよい。

映像内で動きのある箇所においては、図５（ａ）に示されたように、輝度値の水平方向における変化を示す波形が上下方向に大きく変化し、動きの少ない箇所では、図５（ｂ）に示されたように、輝度の変化を示す波形には殆ど変化がなくなる。

なお、特徴量抽出部１２が隣接フレームとの差分を抽出することで、カメラのパンやチルト、ズームの動きまで拾ってしまわないように、予め画面全体における動きベクトル等を求める等の手法で、カメラ動きを取り除いておくものとする。

図３のフローチャートに戻って説明を続けると、特徴量抽出部１２は次に、ステップＳ４で特徴量を抽出したことにより、特徴量抽出領域が差分抽出フレームの画面全体を網羅したか否かの判断を行う（ステップＳ５）。例えば、特徴量の抽出を画面の左上端から開始した場合であれば、今回特徴量を抽出した特徴量抽出領域が、画面の右下端の座標を含む領域であったか否かを判断することにより、特徴量抽出領域が差分抽出フレームの画面全体を網羅したか否かを判断できる。

俯瞰映像の画面全体を網羅していないと判断された場合には、特徴量抽出領域の座標を変え（ステップＳ６）、再びステップＳ４の処理を行う。ステップＳ５で俯瞰映像の画面全体が網羅されたと判断された場合には、次に、特徴量抽出領域のすべての範囲における特徴量の抽出が、完了したか否かの判断を行う（ステップＳ７）。つまり、特徴量抽出領域の画枠の大きさやアスペクト比の変更が、予め設定された範囲内においてすべて行われたか否かの判断を行う。

特徴量抽出領域のすべての範囲における特徴量の抽出は、まだ完了していないと判断された場合には、特徴量抽出領域の範囲（画枠のサイズやアスペクト比）を変更して（ステップＳ８）、再びステップＳ４の処理を行う。特徴量抽出領域のすべての範囲における特徴量の抽出が、完了したと判断された場合には、ここで処理は終了となる。

つまり俯瞰映像においては、特徴量抽出部１２は、図６に示されるように、破線で示される特徴量抽出領域Ａｒ１の位置を徐々に変えながら全画面を対象に特徴量を抽出するとともに、画枠サイズやアスペクト比を変えた状態においても、特徴量抽出領域Ａｒ１の位置を変えながら全画面を対象として特徴量の抽出を行う。そして特徴量抽出部１２は、取得したズーム映像における特徴量及び俯瞰映像の各領域における特徴量とを、対応位置算出部１３に出力する。

なお、本例では、特徴量抽出部１２が特徴量を抽出する順番を、最初にズーム映像、次に俯瞰映像とした場合を例に挙げているが、いずれの映像における特徴量を先に抽出してもよい。また、同時に抽出するようにしてもよい。

次に、対応位置算出部１３の処理の例について、図７のフローチャートを参照して説明する。対応位置算出部１３は、特徴量抽出部１２から出力されたズーム映像における特徴量を標準パターンとして、俯瞰映像の各領域における特徴量とのマッチングを行い（ステップＳ１１）、ズーム映像における特徴量と一番相関性の高い特徴量を有する俯瞰映像の特徴量抽出領域を、ズーム映像との対応位置として設定する（ステップＳ１２）。

特徴量のマッチングは、例えば図５に示したグラフの形状の近似度を判断することにより行う。近似度の判断は、まずズーム映像から隣接フレーム差分として抽出した箇所の輝度値と、ズーム映像から隣接フレーム差分として抽出した箇所の輝度値との差分値をフレーム単位で算出し、その差分値の大きさを比較することにより行う。

図８（ａ）及び図８（ｂ）には、図５に示したものと同じように、水平方向（ｙ方向）の輝度レベルの変化を示してある。両図において、俯瞰映像における輝度値の分布を実線で示してあり、ズーム映像における輝度値の分布を波線で示してある。図８（ａ）と図８（ｂ）においても、縦軸は輝度値を示しており、横軸はｙ方向の位置を示している。

図８（ａ）には、ｙ方向中のｙａ地点における、俯瞰映像を構成する画素の輝度値とズーム映像を構成する画素の輝度値との差分値を、Ｄとして示してある。この差分値Ｄを、ｙ方向にすべて足し込むことで、特徴量抽出フレームにおける差分値Ｄの合計値Ｄｔを算出できる。対応位置算出部１３は、このような作業を、標準パターンとしての特徴量と、俯瞰映像の各領域で抽出された特徴量とのすべての組み合わせに対して行う。

差分値Ｄの合計値Ｄｔが一番小さな値となる組み合わせが、特徴量の相関性が一番高い組み合わせであると言える。すべての組み合わせの中で、例えば図８（ｂ）に示したグラフにおいて算出された差分値Ｄの合計値Ｄｔが一番小さい場合には、図８（ｂ）に破線で示された差分値を有する俯瞰領域の領域を、ズーム映像との対応領域に設定する。

次に、図９のフローチャートを参照して、２フレーム目以降のフレームが入力された場合の、特徴量抽出部１２での処理の例について説明する。ズーム映像における特徴量と、俯瞰映像における特徴量を抽出するまでの処理は、図３を参照して説明した処理と同じ処理となる。

つまり、まずズーム映像を対象として、隣接フレームとの差分を抽出する処理を行い（ステップＳ２１）。次に、処理対象となっているフレームの全体（画面全体）における、抽出した差分の分布を、特徴量として抽出する（ステップＳ２２）。また、俯瞰映像を対象として、隣接フレームとの差分を抽出する処理を行い（ステップＳ２３）、処理対象となっているフレームの特徴量抽出領域における、抽出した差分の分布を、特徴量として抽出する（ステップＳ２４）。

２フレーム目以降を処理する場合には、上述したように、１フレーム目が処理された時点で対応位置算出部１３によって対応位置が既に算出済みであるため、算出された対応位置情報を基に、対応位置の周辺領域の特徴量を取得するようにする。

このため特徴量抽出部１２は、次に、ステップＳ２４で特徴量を抽出したことにより、特徴量抽出領域が、差分抽出フレームにおける対応位置周辺を網羅したか否かの判断を行う（ステップＳ２５）。俯瞰映像の対応位置周辺の領域を網羅していないと判断された場合には、特徴量抽出領域の座標を変え（ステップＳ２６）、再びステップＳ２４の処理を行う。対応位置周辺の領域が網羅されたと判断された場合には、次に、特徴量抽出領域のすべての範囲における特徴量の抽出が、完了したか否かの判断を行う（ステップＳ２７）。

特徴量抽出領域のすべての範囲における特徴量の抽出は、まだ完了していないと判断された場合には、特徴量抽出領域の範囲（画枠のサイズやアスペクト比）を変更して（ステップＳ２８）再びステップＳ２４の処理を行う。特徴量抽出領域のすべての範囲における特徴量の抽出が、完了したと判断された場合には、この時点で処理が終了となる。

つまり、２フレーム目以降におけるマッチング処理では、俯瞰映像中でのズーム映像対応位置が既に分かっているため、特徴量の抽出は、対応領域の周辺のみで行うようにしている。この場合、特徴量抽出領域の座標や画枠サイズ、アスペクト比の変更幅を１フレーム目におけるマッチング時よりも小さく取ることで、より詳細なマッチングを行うようにする。

画像生成部１４は、対応位置算出部１３でこのように算出された対応位置情報を基に、入力された俯瞰映像を加工する処理を行う。例えば、図１０に示したように、俯瞰映像におけるズーム映像との対応箇所を、対応位置Ａｒ２としてマーキングして表示させる処理を行う。具体的には、俯瞰映像にマーカを重畳したものを、表示装置等に出力する処理を行う。

図１１には、俯瞰映像Ｖ１をプロジェクタ３０からスクリーン２１に投影させ、ズーム映像Ｖ２は、スクリーン２１の隣等に設置したディスプレイ２２に表示させる視聴形態をとった場合の概要図を示してある。このような視聴形態をとっている場合に、俯瞰映像Ｖ１において、ズーム映像Ｖ２との対応位置Ａｒ２をマーカで示すことにより、スクリーン２１に示された俯瞰映像と、ディスプレイ２２に示されたズーム映像Ｖ２との対応関係が明確になる。

これにより、ユーザ（視聴者）は、ディスプレイ２２に表示されているズーム映像が、スクリーン２１に表示されている俯瞰映像中のどの位置に該当するのかを、一目で認識できるようになる。つまりユーザは、アングルの異なる２つの映像から効率よく情報を取得できるようになる。

また画像生成部１４は、対応位置算出部１３から出力された対応位置の中心点を起点として、俯瞰映像Ｖ１を、所定のズーム率または画枠サイズに加工する処理も行う。俯瞰映像Ｖ１を加工する材料となるズーム率や、画枠サイズの大きさは、例えば図示せぬ操作部等を介して、ユーザから入力を受け付けるようにする。

図１２（ａ）及び図１２（ｂ）には、ディスプレイ２２の表示画面２２ａに、子画面Ｓ１と子画面Ｓ２の２画面が表示されている様子が示されている。向かって左側の子画面Ｓ１には俯瞰映像Ｖ１が表示されており、右側の子画面Ｓ２には、俯瞰映像Ｖ１とは特に関連性のない別のコンテンツの映像が表示されている。

このように、１つの画面で２つの映像を視聴可能なマルチ画面の機能を使用した場合には、子画面のサイズは必然的に小さくなってしまう。子画面に表示させる映像が特に俯瞰映像Ｖ１であった場合には、映像中に映っている被写体が小さくなりすぎてしまい、映像の内容を把握しづらくなってしまう。

このような場合に、画像生成部１４は、対応位置算出部１３が算出した対応位置Ａｒ２の中心点Ｐ１を中心として、俯瞰映像Ｖ１を、ユーザ等から指定されたズーム率を用いて加工する処理を行う。図１２（ａ）の子画面Ｓ１に表示されている俯瞰映像Ｖ１は、ズーム率等の加工を行う前の映像であり、ズーム映像との対応位置がＡｒ２として示されている。そして、対応位置Ａｒ２の中心点が、Ｐ１として星印で示されている。

この俯瞰映像Ｖ１を、対応位置Ａｒ２の中心点Ｐ１を中心にズームインしたものが、図１２（ｂ）に示された映像となる。図１２（ｂ）に示された映像においては、選手達等の動きがある部分以外の領域がトリミングされており、選手の動きをより確認しやすくなっている。

対応位置Ａｒ２とは、ズーム映像に対応する領域であり、カメラマンが特に重要であると判断した箇所が映っているものと考えられる。よって画像を加工する場合に、このような領域（重要箇所）を中心に行うようにすることで、必要な情報が削除されてしまったり、画面上の端等に移動してしまったりするようなことがなくなる。

なお、図１２（ａ）と図１２（ｂ）においては、映像中に、対応位置Ａｒ２や対応位置Ａｒ２の中心点Ｐ１を図示しているが、中心点Ｐ１の情報のみを表示するようにしてもよく、もしくは、これらの情報は一切表示しないようにしてもよい。

また、上述した実施の形態では、画像生成部１４が俯瞰映像を加工する際のズーム率や画枠のサイズ等を、ユーザに指定させる例を挙げたが、映像を表示させる画面の大きさに応じて、画像生成部１４が自動的にズーム率や画枠のサイズを判断し、調整する構成としてもよい。

このように構成することで、ユーザがそれほどサイズの大きくないディスプレイ（もしくは、マルチディスプレイの子画面）でコンテンツを視聴している場合にも、画面に表示される俯瞰映像中の被写体が、小さくなりすぎてしまうようなことがなくなる。つまり、映像が表示される領域が小さい場合には、例えば、重要箇所を中心として俯瞰映像のズーム率を大きくするような処理が行われる。これにより、画面に表示される俯瞰映像中の被写体が、ユーザが視認できる程度の適切な大きさで表示されるようになる。

また、上述した実施の形態では、俯瞰映像とズーム映像との対応箇所を抽出する手法として、隣接フレームとの差分の分布を特徴量として抽出し、抽出した特徴量をマッチングする手法を例に挙げたが、対応箇所抽出の方法は、これに限定されるものではない。例えば、画像イメージ同士をマッチングする手法や、映像中の移動体を抽出してパラメータを算出し、その値同士をマッチングする手法等を適用してもよい。

また、上述した実施の形態では、俯瞰映像における重要箇所を、ズーム映像とのマッチングを行うことにより抽出する構成を例に挙げたが、ズーム映像が入力されない画像信号生成装置に本発明を適用してもよい。その場合の装置の構成例を、図１３に示してある。図１３において、図１に対応する箇所には同一の符号を付してある。

図１３に示した画像信号処理装置１０′では、映像信号入力部１１には俯瞰映像の基となる映像信号Ｖｓ１のみが入力される。よって特徴量抽出部１２では、俯瞰映像を構成する各フレームにおける特徴量のみを抽出し、抽出した特徴量を対応位置算出部１３′に出力する。対応位置算出部１３′には、特徴量データベース１６（以下、特徴量ＤＢとも称する）を接続させてある。

特徴量ＤＢ１６は、ズーム映像から抽出しておいた特徴量の情報を、予めデータベースとして蓄積したものである。つまり、特徴量ＤＢ１６には、隣接フレーム差分の分布情報が記録されている。特徴量ＤＢ１６に記録する特徴量は、俯瞰映像と同一の場面を撮影したズーム映像から抽出されたものに限定されるものではなく、俯瞰映像中に映っている被写体と類似した動きを行う被写体が映っている、他のコンテンツの映像から抽出した特徴量であってもよい。

例えば、俯瞰映像として撮影されたものがラグビーの試合であった場合には、特徴量抽出の対象映像として、俯瞰映像が撮影された場所や時間とは異なる場所や時間に撮影された、他のラグビーの試合のズーム映像を用いるようにしてもよい。

対応位置算出部１３′は、特徴量ＤＢ１６から読み出した標準パターンとしての特徴量と、俯瞰映像の各特徴量抽出領域における特徴量とのマッチングを行うことで、俯瞰映像における重要箇所の抽出を行う。そして画像生成部１４は、対応位置算出部１３′で抽出された重要箇所を、俯瞰映像中にマーカとして示すための処理や、重要箇所の中心点を中心に、俯瞰映像のズーム率等を変更する処理を行う。画像出力部１５は、画像生成部１４から出力された映像もしくはマーカが重畳された映像を、表示装置等に出力する。

このような構成とすることにより、映像信号として、被写体をある程度ズームアップした映像であるズーム映像の信号が入力されない場合であっても、映像中の重要箇所を抽出することが可能となる。そして、抽出した重要箇所に基づいて、俯瞰映像を任意のズーム率等を用いて加工することができるようになる。

なお、上述した実施の形態では、俯瞰映像やズーム映像を撮影時のカメラのアングルやズーム率、撮影距離や焦点距離等のパラメータが分かっていない場合の処理を例に挙げたが、これらの値を事前に把握できている場合には、対応位置算出部１３による画像マッチングの処理を行わずに、俯瞰映像における重要箇所を抽出するようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図１４に、上述した実施の形態の一連の処理をプログラムにより実行することが可能な、パーソナルコンピュータ１００（以下、ＰＣ１００とも称する）の構成例を示してある。図１４に示したＰＣ１００は、制御部１０１、メモリ１０２、通信部１０３、操作部１０４、表示部１０５、記憶部１０６、外部記憶媒体Ｉ／Ｆ部１０７、外部記憶媒体１０８とを備える。

制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、メモリ１０２、または記憶部に記録されているプログラムに従って、上記一連の処理や、他の各種の処理を実行する。メモリ１０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）で構成され、制御部１０１が実行するプログラムやデータなどが記憶される。

通信部１０３は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。外部記憶媒体Ｉ／Ｆ部１０７は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの外部記憶媒体１０８が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録１０８に転送され、記録される。

操作部１０４は、キーボードやマウスなどより構成され、ユーザからの操作入力に応じた操作信号を生成して制御部１０１に出力する。表示部１０５は、ＣＲＴ（Cathode Ray Tube）やＬＣＤよりなるディスプレイである。記憶部１０６は、例えばハードディスクやＤＶＤ（Digital Versatile Disc）からなり、制御部１０１が実行するプログラムや各種のデータを記録する。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１４に示すように、外部記憶媒体１０８として構成される。外部記憶媒体１０８としては、上述した磁気ディスクのようなリムーバブルメディアの他に、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているメモリ１０２や、記憶部１０６なども含む。

プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０３を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

本発明の一実施の形態による画像信号処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態による俯瞰映像とズーム映像の例を示す説明図である。 本発明の一実施の形態による特徴量抽出部の処理の例を示すフローチャートである。 本発明の一実施の形態による俯瞰映像とズーム映像における、隣接フレーム差分の抽出例を示す説明図である。 本発明の一実施の形態による特徴量の抽出例を示すグラフである。 本発明の一実施の形態による特徴量抽出領域の変更の例を示す説明図である。 本発明の一実施の形態による対応位置算出部の処理例を示すフローチャートである。 本発明の一実施の形態による特徴量マッチングの例を示すグラフである。 本発明の一実施の形態による特徴量抽出部の処理の例を示すフローチャートである。 本発明の一実施の形態による対応位置がマーキングされた俯瞰映像の表示例を示す説明図である。 本発明の一実施の形態による対応位置がマーキングされた俯瞰映像及びズーム映像の表示例を示す説明図である。 本発明の一実施の形態による、画像生成部のズーム率変更処理の前後における映像の表示例を示す説明図であり、（ａ）は画像生成部のズーム率処理が行われる前の例を示す説明図であり、（ｂ）は画像生成部によってズーム率が変更された後の例を示す説明図である。 本発明の他の実施の形態による画像信号処理装置の内部構成例を示すブロック図である。 パーソナルコンピュータの内部構成の一例を示すブロック図である。

符号の説明

１０…画像信号処理装置、１１…映像信号入力部、１２…特徴量抽出部、１３…対応位置算出部、１４…画像生成部、１５…画像出力部、１６…特徴量データベース、Ａｒ１…特徴量抽出領域、Ｐ１…対応位置の中心点

Claims (15)

1. 第１の映像及び／又は第１の映像とは異なる第２の映像が入力される映像入力部と、
   前記第１の映像における前記第２の映像との対応位置を算出する対応位置算出部と、
   前記対応位置算出部で算出された対応位置に基づいて、前記第１の映像を加工する画像生成部とを備えたことを特徴とする
   画像信号処理装置。
2. 請求項１記載の画像信号処理装置において、
   前記第１の映像の撮影時の画角は、前記第２の映像の撮影時の画角より広いことを特徴とする
   画像信号処理装置。
3. 請求項２記載の画像信号処理装置において、
   前記対応位置算出部は、前記第２の映像から抽出した特徴量と前記第１の映像の所定の領域において抽出した特徴量とを比較し、前記第２の映像から抽出した特徴量と相関性の高い特徴量を有する、前記第１の映像の所定の領域を、前記対応位置とすることを特徴とする
   画像信号処理装置。
4. 請求項３記載の画像信号処理装置において、
   前記画像生成部は、前記対応位置算出部で算出された対応位置の中心点を起点として、前記第１の映像のズーム率を所定の値に変更した映像を生成することを特徴とする
   画像信号処理装置。
5. 請求項４記載の画像信号処理装置において、
   前記画像生成部は、前記第１の映像に、前記対応位置を明示するマーカを重畳することを特徴とする
   画像信号処理装置。
6. 請求項２記載の画像信号処理装置において、
   前記第１の映像と前記第２の映像とでは、撮影時のカメラアングルが異なることを特徴とする
   画像信号処理装置。
7. 請求項５記載の画像信号処理装置において、
   前記第１の映像と前記第２の映像から抽出する特徴量は、前記各映像を構成するフレームにおける隣接フレームとの差分の分布であることを特徴とする
   画像信号処理装置。
8. 請求項４記載の画像信号処理装置において、
   前記画像生成部は、前記対応位置算出部で算出された対応位置の中心点を起点として、映像が表示される表示部の領域の大きさに応じて、前記第１の映像のズーム率を変更することを特徴とする
   画像信号処理装置。
9. 請求項５記載の画像信号処理装置において、
   前記対応位置算出部は、前記第２の映像から予め抽出済みの特徴量と、前記第１の映像の所定の領域で抽出した特徴量とを比較することを特徴とする
   画像信号処理装置。
10. 請求項９記載の画像信号処理装置において、
    前記第２の映像は、前記第１の映像が撮影された場所又は時間と異なる場所又は時間に撮影されたことを特徴とする
    画像信号処理装置。
11. 請求項２記載の画像信号処理装置において、
    前記対応位置算出部は、前記第１の映像撮影時及び前記第２の映像撮影時のカメラのパラメータを基に、前記対応位置を算出することを特徴とする
    画像信号処理装置。
12. 第１の映像及び／又は第１の映像とは異なる第２の映像が入力される映像入力部と、
    前記第１の映像における前記第２の映像との対応位置を算出する対応位置算出部と、
    前記対応位置算出部で算出された対応位置に基づいて、前記第１の映像を加工する画像生成部と、
    前記画像生成部が加工した画像を表示する表示部とを備えたことを特徴とする
    表示装置。
13. 第１の映像及び／又は第１の映像とは異なる第２の映像が入力されるステップと、
    前記第１の映像における前記第２の映像との対応位置を算出するステップと、
    前記算出された対応位置に基づいて、前記第１の映像を加工するステップとを有することを特徴とする
    画像信号処理方法。
14. 第１の映像及び／又は第１の映像とは異なる第２の映像が入力されるステップと、
    前記第１の映像における前記第２の映像との対応位置を算出するステップと、
    前記算出された対応位置に基づいて、前記第１の映像を加工するステップとをコンピュータに実行させるための
    プログラム。
15. 第１の映像及び／又は第１の映像とは異なる第２の映像が入力されるステップと、
    前記第１の映像における前記第２の映像との対応位置を算出するステップと、
    前記算出された対応位置に基づいて、前記第１の映像を加工するステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な
    記録媒体。