JP2009181043A - 映像信号処理装置、画像信号処理方法、プログラム、記録媒体 - Google Patents

Abstract

【課題】マルチビュー映像視聴時に感じる違和感を低減する。
【解決手段】複数の映像信号Ｖ１〜Ｖ３を処理する映像信号処理装置において、映像信号の数に対応して設けられ、映像信号により生成される映像中のカメラ動きに関する特徴量を抽出する特徴量抽出部１０と、複数の特徴量抽出部１０で抽出された各特徴量の相関度を算出し、算出された相関度に基づいて、複数の映像信号Ｖ１〜Ｖ３による映像を表示する複数の表示部の配置位置を決定し、決定した配置位置情報を出力する相関計算部１７とを備えた。
【選択図】図６

Description

本発明は、映像信号処理装置、画像信号処理方法、プログラム、記録媒体に関し、特に複数の画像を複数の表示領域に並べて表示する場合に適用される技術に関する。

従来、ある１つのイベントや風景等を、異なるアングルから複数台のカメラで同時に撮影する、マルチアングルという撮影手法が知られている。マルチアングルで撮影された各アングルにおける映像が、例えば所定の時間間隔毎に切り替わって画面上に表示されることで、ユーザ（視聴者）は、１つの角度から撮影された映像を視聴している場合よりも多くの情報を取得することができる。

異なるアングルで撮影された各映像を、アングルの数に対応して設けられた複数の表示装置の画面上に表示すれば、ユーザにおいて一度に取得可能な情報量を、増大させることができる。近年では、１つの表示画面上を複数の表示領域に分割して、それぞれの領域に異なる映像を表示させるようなことも行われており、このような手法を用いることによっても、マルチアングル撮影された映像の提示を行うことができる。

このように、異なるカメラで撮影された画像を複数の表示領域に表示する形態は、マルチビュー表示と呼ばれており、デジタル放送の放送局等においては、マルチビューの各表示領域に異なる放送プログラムを表示するサービスも提供されている。

ところが、複数の異なる画像を互いに近接する複数の表示領域に表示させることで、かえって見づらさを生んでしまうという問題もあった。

特許文献１には、マルチビュー表示による見づらさを生む要因として、複数の映像における色調や輝度の違いがあることに着目し、複数映像間での色調や輝度を調整することで、ユーザに与える視聴的な違和感を解消する技術が開示されている。
特開２００２−３５４３７２号公報

ところで、複数の映像間での色調や輝度が異なる場合だけでなく、マルチビュー表示されている映像の中に、手ぶれやカメラ動きの激しい映像が存在する場合にも、ユーザは違和感を覚えたり、疲れを感じるといわれている。ただし、カメラ動きの激しい映像が存在していたとしても、複数の映像間でのカメラ動きの方向が一致していれば、ユーザに与える違和感は小さなものとなる。

図２２に、ユーザが違和感を覚えやすい映像の例を示してある。図２２は、異なる３つのアングルから撮影された映像を、３つの表示領域（Ａｒ１０，Ａｒ１１，Ａｒ１２）にマルチビュー表示した例を示したものである。左端の表示領域Ａｒ１０と右端の表示領域Ａｒ１２には、互いに向き合っている力士Ｏｂ１１，力士Ｏｂ１２を撮影した映像が、それぞれ別々に表示されており、中央の表示領域Ａｒ１１には、行司Ｏｂ１３を撮影した映像が表示されている。

図２２に示した例では、力士Ｏｂ１１，力士Ｏｂ１２，行司Ｏｂ１３を撮影している各カメラが、それぞれの撮影対象（オブジェクト）をトラッキングして撮影している場合を想定しており、力士Ｏｂ１１，Ｏｂ１２や行司Ｏｂ３の動きに応じて各カメラがパン又はチルトしているものとする。従って、図２２に示した場面の次の瞬間が、立ち会い開始の瞬間であった場合には、左側の表示領域Ａｒ１０を撮影しているカメラは、力士Ｏｂ１１の動きに合わせて右斜め上の方向に移動し、中央の表示領域Ａｒ１１を撮影しているカメラは、行司Ｏｂ１３の動きに合わせて上方向に移動し、右側の表示領域Ａｒ１２を撮影しているカメラは、力士Ｏｂ１２の動きに合わせて左上方向に移動する。

これにより、表示領域Ａｒ１１に表示される映像おいては右上方向のカメラ動きが、表示領域Ａｒ１２に表示される映像においては上方向のカメラ動きが、表示領域Ａｒ１３に表示される映像においては左上方向のカメラ動きが発生するようになる。ユーザは、このようにカメラ動きの方向の異なる複数の映像を同時に視聴することで、違和感を覚えるだけでなく、疲れを感じてしまうという問題があった。さらに、このような表示を視聴する場合は、映像の内容も理解しづらくなってしまうという問題もあった。カメラ動きの変化のタイミングが異なる場合にも、同様のことがいえる。

本発明はかかる点に鑑みてなされたものであり、マルチビュー映像視聴時に感じる違和感を低減することを目的とする。

本発明は、複数の映像信号を処理する映像信号処理装置において、映像信号の数に対応して設けられ、映像信号により生成される映像中のカメラ動きに関する特徴量を抽出する特徴量抽出部と、複数の特徴量抽出部で抽出された各特徴量の相関度を算出し、算出された相関度に基づいて、複数の映像信号による映像を表示する複数の表示部の配置位置を決定し、決定した配置位置情報を出力する相関計算部とを備えるようにしたものである。

このようにしたことで、映像中のカメラ動きに関する特徴量の相関関係に基づいて、複数の映像を表示する各表示部の配置位置が決定されるようになる。

この場合の配置位置は、相関度の高い映像を表示する表示部同士は隣接し、相関度の低い映像を表示する表示部同士は空間的に離れるように決定される。

本発明によると、映像中のカメラ動きに関する特徴量の相関関係に基づいて、複数の映像を表示する各表示部の配置位置が決定されるため、カメラ動きの異なる映像同士が、隣接して配置された表示部上に表示されることがなくなる。

これにより、マルチビュー映像を視聴するユーザに覚える違和感が低減される。

本発明では、カメラ動きが異なる複数の映像を視聴する際に見づらさが生じる要因に、人間の視覚特性が関わっていることに着目して、違和感を軽減する表示を行うようにしたものである。図１（ａ）には、複数の表示領域Ａｒ１，Ａｒ２，Ａｒ３が、ある平面上で隣接して配置されている場合の例を示したものである。一般的なマルチビュー表示の形態は、このような形態をとっているものが多い。このように、表示領域Ａｒ１〜表示領域Ａｒ３が、ある平面上で隣接して配置されている場合には、ユーザＵは表示領域Ａｒ１〜表示領域Ａｒ３に表示される映像全体を、中心視野Ｃｆで捉える。

一方、図１（ｂ）に示されるように、複数の表示領域Ａｒ１,Ａｒ２，Ａｒ３がそれぞれ空間的に離散して配置されている場合には、ユーザＵはそのうちの１つ、例えば中央に配置された表示領域Ａｒ２を中心視野Ｃｆで捉え、残りの表示領域Ａｒ１と表示領域Ａｒ３を周辺視野Ｐｆで捉える。ユーザＵが視線を左側の表示領域Ａｒ１に移した場合には、表示領域Ａｒ１に表示されている映像は中心視野Ｃｆで捉えられ、その他の表示領域Ａｒ２，表示領域Ａｒ３に表示されている映像は、周辺視野Ｐｆで捉えられるようになる。

表示領域Ａｒ１〜表示領域Ａｒ３に表示されるそれぞれの映像において、カメラ動きが異なっている場合には、図１（ａ）に示したような形態で映像を提示すると、それを視聴するユーザＵは違和感を覚えてしまう。これに対して、図１（ｂ）に示したように、表示領域Ａｒ１，表示領域Ａｒ２，表示領域Ａｒ３をそれぞれ離して配置すると、ユーザＵが注視する映像は中心視野Ｃｆで捉えた映像のみとなる。このため、マルチビュー表示された各映像間でカメラ動きが異なっていたとしても、ユーザＵは違和感を覚えることなく映像を視聴することができるようになる。

よって本発明では、マルチビュー表示させる映像において、他の映像とカメラ動きが異なる映像は、その映像を表示する表示画面を、他の映像を表示する表示画面と離して配置するよう制御を行うことで、ユーザＵに与える違和感を低減するようにした。

以下、本発明の一実施の形態を、図２〜図１１を参照して説明する。図２は、本実施の形態におけるシステムの構成例を示したものである。本実施の形態におけるシステムは、コンテンツ再生部１と、配置決定部２と、配置通知用表示部３と、マルチビュー映像表示用の表示部４Ａ，表示部４Ｂ，表示部４Ｃとで構成される。

コンテンツ再生部１は、表示部４Ａ〜表示部４Ｃにマルチビュー表示させるための各映像（コンテンツ）を蓄積しているとともに、ユーザＵからの指示等に基づいて、これらの映像を再生する処理を行う。本例では、表示部４Ａ，表示部４Ｂ，表示部４Ｃの３つの表示部に映像を表示する構成としているため、コンテンツ再生部１は、表示部４Ａに表示させるための映像信号Ｖ１と、表示部４Ｂに表示させるための映像信号Ｖ２と、表示部４Ｃに表示させるための映像信号Ｖ３とを再生する。本例においては、３つの表示部４Ａ〜表示部４Ｃにマルチビュー表示させる映像は、１つの場面や事象を異なるアングルから撮影したマルチアングル映像であるものとする。

なお、マルチビュー表示させる各映像はマルチアングル映像に限定されるものではなく、放送局から送信される異なる放送プログラムや、記録再生装置等に蓄積された異なるコンテンツ等であってもよい。

図３に、表示部４Ａ，表示部４Ｂ，表示部４Ｃのそれぞれに表示させる映像の例を示してある。図３（ａ）は、ある部屋を３つの異なるアングルで撮影したマルチアングル映像の例を示したものである。図３（ａ）の左側の表示部４Ａには、ある撮影ポイントから部屋の左側を撮影したカメラによる映像（映像信号Ｖ１）を示してある。そして中央の表示部４Ｂには、部屋の中央を撮影した映像（映像信号Ｖ２）を示してあり、右側の表示部４Ｃには、部屋の右側を撮影した映像（映像信号Ｖ３）を示してある。各アングルでの撮影を行うカメラが、それぞれ同調して同じ方向にパン又はチルトしている場合には、表示部４Ａ〜表示部４Ｃに表示される映像におけるカメラ動きは、すべて同じ方向となり、かつ変化のタイミングも等しくなる。

図３（ｂ）は、３方位を撮影可能な車載カメラによって撮影された映像の例を示したものである。左側の表示部４Ａには、左の方位に向けて配置されたカメラによる映像（映像信号Ｖ１）を示してあり、中央の表示部４Ｂには、正面の方位に向けて配置されたカメラによる映像（映像信号Ｖ２）を示してあり、右側の表示部４Ｃには、右の方位に向けて配置されたカメラによる映像（映像信号Ｖ３）を示してある。これらの３つの映像を撮影する各カメラは、１つの車に搭載されているため、３つの映像におけるカメラ動きは、車が移動する方向に応じたものとなる。すなわち、図３（ａ）に示した例と同様に、各映像におけるカメラ動きの方向や変化のタイミングは、すべて一致していることになる。

図３（ｃ）は、従来の例として示した図２２と同じ映像を示したものであり、３つの撮影領域を撮影するそれぞれのカメラが、撮影領域内の力士や行司を個別に追跡した場合の映像が示されている。３つのカメラは、力士や行司の動きに応じてバラバラな方向・タイミングでパンやチルトを行っているため、表示部４Ａ，表示部４Ｂ，表示部４Ｃの各画面に表示される映像におけるカメラ動きは、方向及びその変化のタイミングのどちらにおいても、異なったものとなる。なお、本例ではマルチビュー表示させる映像が３つである場合を例に挙げているが、これに限定されるものではなく、４つや５つ等の他の数の映像を表示させる場合に適用させてもよい。

再び図２に戻って説明を続けると、配置決定部２は、コンテンツ再生部１による映像の再生に先立って、映像信号Ｖ１〜映像信号Ｖ３のそれぞれにおけるカメラ動きを検出し、検出結果に基づいて表示部４Ａ〜表示部４Ｃの配置位置を決定する処理を行う。従って、コンテンツ再生部１で再生された映像信号Ｖ１〜映像信号Ｖ３は、まず配置決定部２に出力される。配置決定部２で決定された配置位置の情報は、配置通知用表示部３に出力される。配置決定部２の構成や処理の詳細については、図６を参照して後述する。

配置通知用表示部３は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等で構成されるディスプレイであり、配置決定部２によって決定された表示部４Ａ〜表示部４Ｃの配置位置が表示される。図４に、配置通知用表示部３での表示の例を示してある。画面上には、「４Ａを配置して下さい」等の文字とともに、表示部４Ａ〜表示部４Ｃの配置位置が四角い囲みで示されている。そして、表示部４Ａと表示部４Ｂとを隣接させ、表示部４Ｃは少し間隔を空けて配置するように指示がされている。

ユーザＵは、配置通知用表示部３に表示された配置位置を確認しながら、表示部４Ａ〜表示部４Ｃを指定の位置に実際に配置する。従って、表示部４Ａ〜表示部４Ｃの配置は、図５に示したように、配置通知用表示部３上に表示された配置と同じ配置となる。つまり、表示部４Ａと表示部４Ｂが隣接しており、表示部４Ｃは、空間的に少し離れた位置に配置されている。

表示部４Ａ〜表示部４Ｃは、ＣＲＴやＬＣＤ等よりなるディスプレイである。本例では、ユーザＵによる表示部４Ａ〜表示部４Ｃの移動を容易とするため、床との接地面に車輪Ｗを設けてあるが、車輪Ｗ等の可動機構を設けない構成としてもよい。

表示部４Ａ〜表示部４Ｃへの映像の表示は、指定の配置位置への配置が完了した後に行われる。つまり、表示部４Ａ〜表示部４Ｃの配置完了後に、コンテンツ再生部１から表示部４Ａ〜４Ｄに対して、映像信号Ｖ１〜映像信号Ｖ３が出力される。

次に、図６を参照して、配置決定部２の内部構成の例について説明する。配置決定部２は、カメラ動き変化取得部１０と、相関計算部１７とを有する。カメラ動き変化取得部１０は、コンテンツ再生部１から入力される映像信号の数ｎに対応して設けるものであり、本例では３つの映像信号Ｖ１〜映像信号Ｖ３が入力されるため、３つ設けてある。

カメラ動き変化取得部１０は、フレームメモリ１１、動きベクトル計算部１２、統計処理部１３、メモリ１４、カメラ動き変化検出部１５、カメラ動き系列データ蓄積部１６とで構成される。フレームメモリ１１は、コンテンツ再生部１から出力される映像信号Ｖを１フレーム分蓄積して、動きベクトル計算部１２に出力する。

動きベクトル計算部１２は、フレームメモリ１１から出力されたフレームを所定数のブロックに分割し、分割されたそれぞれのブロックにおける動きベクトルを計算する。ブロックの大きさは、例えば１６画素×１６画素や、３２画素×３２画素等に設定するものとする。ブロック毎に算出された動きベクトルの情報は、統計処理部１３に出力される。

なお、本例では、１つのフレームを構成するすべてのブロックを対象として動きベクトルを検出する例を挙げたが、代表ブロックをサンプリングして、サンプリングされたブロックにおいてのみ動きベクトルを検出するようにしてもよい。この場合、サンプリングの基準として、ダイナミックレンジの値等を用いてもよい。もしくは、フレーム全体を対象として動きベクトルを検出するようにしてもよい。また、動きベクトル検出の方法は、ブロックマッチングに限定されるものではなく、勾配法等を用いるようにしてもよい。

統計処理部１３では、フレームを構成するすべてのブロックにおける動きベクトルの算出が完了した時点で、動きベクトルの方向の統計をとり、一番多かった方向が有意な数存在した場合にその方向を、フレームにおけるカメラ動きの方向と決定する。そして、決定したカメラ動き方向の情報を、メモリ１４及びカメラ動き変化検出部１５に出力する。

カメラ動き変化検出部１５は、統計処理部１３から入力されたカメラ動きの方向と、メモリ１４から読み出した１フレーム前のフレームにおけるカメラ動きの方向とが、変化しているか否かを判断する。カメラ動きの方向が変化していた場合には、カメラ動き方向に変化ありとして、検出結果をカメラ動き系列データ蓄積部１６に出力する。

カメラ動き系列データ蓄積部１６は、カメラ動き変化検出部１５から出力された検出結果を、所定数のフレーム分蓄積した後に相関計算部１７に出力する。すなわち、カメラ動き系列データ蓄積部１６から相関計算部１７に対しては、それぞれの映像信号におけるカメラ動きの変化タイミングの系列が、出力されることになる。

図７（ａ）は、統計処理部１３で算出されたフレーム単位でのカメラ動きの方向を、時系列に並べたものである。図７（ａ）の上段は、映像信号Ｖ１におけるカメラ動きの系列を示したものであり、中段は、映像信号Ｖ２におけるカメラ動きの系列を示したものであり、下段は、映像信号Ｖ３におけるカメラ動きの系列を示したものである。

図７（ａ）上段に示される映像信号Ｖ１においては、フレームｆ１とフレームｆ２でのカメラ動きは、ともに右上方向で同じであるが、フレームｆ３になった時点で、カメラ動きが右方向に変化している様子が示されている。同様に、フレームｆ４からフレームｆ５に変わったタイミングでも、カメラ動きの方向は、右方向から右上方向に変化している。この場合、フレームｆ２からフレームｆ３への変わり目と、フレームｆ４からフレームｆ５への変わり目とが、カメラ動き変化検出部１５によって、カメラ動き変化タイミングとして検出されることになる。

図７（ａ）中段に示される映像信号Ｖ２においても、フレームｆ１とフレームｆ２でのカメラ動きは、ともに右下方向で同じであるが、フレームｆ３になった時点で、カメラ動きが右方向に変化している様子が示されている。同様に、フレームｆ４からフレームｆ５に変わったタイミングでも、カメラ動きの方向は、右方向から右下方向に変化している。よって、フレームｆ２からフレームｆ３への変わり目と、フレームｆ４からフレームｆ５への変わり目とが、カメラ動き変化検出部１５によって、カメラ動き変化タイミングとして検出される。

図７（ａ）下段に示される映像信号Ｖ３においては、フレームｆ１〜フレームｆ３におけるカメラ動きの方向は、すべて右下方向で同じであるが、フレームｆ４に変わった時点で、右方向に変化している。従って、フレームｆ３からフレームｆ４への変わり目が、カメラ動き変化検出部１５によって、カメラ動き変化タイミングとして検出される。

カメラ動き変化タイミングの検出結果は、図７（ｂ）示したようなものとなる。図７（ｂ）では、カメラ動きの変化が検出されたポイントが縦線で示されており、この検出結果によれば、カメラ動きの変化タイミングという特徴量においては、映像信号Ｖ１と映像信号Ｖ２とが類似しており、映像信号Ｖ３は少し異なっていることが分かる。

図８に、上述したカメラ動き変化取得部１０における処理の例を、フローチャートで示してある。カメラ動き変化取得部１０ではまず、フレームメモリ１１から出力されるフレームが動きベクトル計算部１２によって所定数のブロックに分割され（ステップＳ１）、同じく動きベクトル計算部１２によって、各ブロックにおける動きベクトルが計算される（ステップＳ２）。そして、フレームを構成するすべてのブロックにおいて求められた動きベクトルを用いて、統計処理部１３によって動きベクトルの統計処理が行われ（ステップＳ３）、統計処理により求められた最頻動きベクトルが、画面全体でのカメラ動きとして決定される（ステップＳ４）。

カメラ動きの検出結果は、メモリ１４に出力されるとともに（ステップＳ５）、カメラ動き変化検出部１５にも出力される。そして、カメラ動き変化検出部１５によって、メモリ１４に蓄積された１フレーム前のフレームにおけるカメラ動きと、統計処理部１３から出力された、現在のフレームにおけるカメラ動きとの比較が行われることにより、カメラ動きの変化の有無が検出される（ステップＳ６）。

カメラ動きの変化の検出結果は、カメラ動き系列データ蓄積部１６に蓄積され（ステップＳ７）る。そして、一定期間が経過した時点で、カメラ動き系列データ蓄積部１６に蓄積されたデータがまとめて読みだされ、カメラ動きの変化系列データとして、相関計算部１７に出力される（ステップＳ８）。

次に、相関計算部１７の処理の詳細について説明する。相関計算部１７は、映像信号Ｖ１，映像信号Ｖ２，映像信号Ｖ３におけるカメラ動き変化タイミングの相関性を算出し、その結果に基づいて表示部４Ａ〜表示部４Ｃの配置位置を決定する。具体的には、図７（ｂ）に示されるようなカメラ動き変化タイミングの検出結果をクラスタリング分析し、分析結果を、表示部４Ａ〜表示部４Ｃの配置に反映させる処理を行う。

クラスタリングの手法としては、階層的クラスタリングを用いるものとする。つまり、相関計算部１７は、カメラ動き変化取得部１０から出力された３つの検出結果を対象に、それぞれの距離（類似度）を求め、距離の近いもの同士を同じクラスタに分類する。具体的なクラスタリング手法としては、最短距離法や最長距離法、群平均法、ウォード法等を適用させることができるが、これ以外の手法を用いるようにしてもよい。

図９（ａ）に、相関計算部１７によるクラスタリング分析の結果の例を示してある。図９（ａ）においては、映像信号Ｖ１と映像信号Ｖ２とが同一のクラスタＣＬ１に分類されており、映像信号Ｖ３は別のクラスタＣＬ２に分類されている。

図９（ｂ）には、クラスタにおける距離を、表示部４Ａ〜表示部４Ｃの配置位置に反映させた場合の配置位置の例を示してある。つまり、映像信号Ｖ１と映像信号Ｖ２は同一のクラスタＣＬ１に分類されたため、映像信号Ｖ１による映像を表示させる表示部４Ａと、映像信号Ｖ２による映像を表示させる表示部４Ｂとは隣接されている。一方、映像信号Ｖ３は、クラスタＣＬ１とは異なるクラスタＣＬ２に分類されたため、映像信号Ｖ３による映像を表示させる表示部４Ｃは、表示部４Ａ及び表示部４Ｂとは空間的に離して配置するようにする。相関計算部１７は、このような表示部４Ａ〜表示部４Ｃの配置位置情報を、配置通知用表示部３に出力する。

図１０に、配置決定部２における処理の例をフローチャートで示してある。配置決定部２では、まず、カメラ動き変化取得部１０によって、複数の映像信号毎のカメラ動き変化系列データが取得され（ステップＳ１１）、相関計算部１７によって、カメラ動き変化系列データのクラスタリング分析が行われる（ステップＳ１２）。

次に、同じく相関計算部１７によって、クラスタリングの結果に基づく各表示部４Ａ〜表示部４Ｃの配置位置が決定され（ステップＳ１３）、決定された配置位置情報が、配置通知用表示部３に出力される（ステップＳ１４）。

配置決定部２でこのような処理が行われることにより、マルチビュー表示される各映像間でのカメラ動きの変化タイミングの相関度合いが、表示部４Ａ〜表示部４Ｃの配置に反映されるようになる。すなわち、図３（ａ）や図３（ｂ）に示されるような、各映像間でのカメラ動きが統一されている映像をマルチビュー表示する場合には、図１１（ａ）に示されるように、表示部４Ａ，表示部４Ｂ，表示部４Ｃとを隣接して配置するように、配置通知用表示部３を通して指示が行われる。

図３（ｃ）に示される映像のように、各映像間でのカメラ動きがバラバラである場合には、図１１（ｂ）に示されるように、映像信号Ｖ１による映像を表示する表示部４Ａと、映像信号Ｖ２による映像を表示する表示部４Ｂと、映像信号Ｖ３による映像を表示する表示部４Ｃとを、空間的に離して配置するような指示が、配置通知用表示部３の画面上に表示される。

そしてユーザＵは、配置通知用表示部３に表示された配置位置情報に基づいて、表示部４Ａ〜表示部４Ｃを配置し、配置完了後に、表示部４Ａ〜表示部４Ｃの画面上に表示される映像を視聴する。

上述した実施の形態によれば、マルチビュー表示させる複数の映像のうち、カメラ動きの変化のタイミングが類似する映像同士は、隣接して配置された表示部４のそれぞれの画面上で表示されるようになる。従って、ユーザＵは、中心視野Ｃｆによって複数の映像を一度に視聴することができるため、映像の理解効率が向上する。

また、上述した実施の形態によれば、マルチビュー表示させる複数の映像のうち、カメラ動きの変化のタイミングが他の映像と異なる映像は、その他の映像を表示する表示部４とは空間的に離して配置された表示部４の画面上に表示されるようになる。このように、表示部４が空間的に離散して配置されることで、ユーザＵの中心視野Ｃｆで捉えられる情報が、マルチビュー表示される映像の部分的な情報に限定されるようになる。つまり、カメラ動きの変化タイミングの異なる映像同士が、ユーザＵの中心視野Ｃｆに同時に収まることがなくなる。これにより、マルチビュー映像視聴時にユーザＵが覚える違和感は低減される。

特に、マルチビュー表示される各映像が、１つの事象や場面を複数のアングルから撮影することによって得られたマルチアングル映像であった場合には、ユーザＵは、複数のアングル映像から得られる情報を頭の中で統合して、１つの事象や場面を理解するものと考えられる。このような場合に、カメラ動きの変化タイミングの異なる映像同士がユーザＵの中心視野Ｃｆによって捉えられると、ユーザＵによる映像の内容の理解効率は、大きく低下してしまう。つまり、マルチビュー表示される各映像が、マルチアングルで撮影された映像であった場合には、本例の構成及び処理を適用することで、より大きな効果を得ることができるようになる。

また、上述した実施の形態では、それぞれの映像信号Ｖにおけるカメラ動きの変化タイミングを特徴量として抽出してその相関を求め、求めた相関値を表示部４Ａ〜表示部４Ｃの配置位置に反映させる例を挙げたが、特徴量を抽出しない構成に適用してもよい。例えば、カメラ動きの系列を動きベクトルの波形で表現し、各波形の相関度により、表示部４Ａ〜表示部４Ｃの配置位置を決定するようにしてもよい。

図１２に、映像信号Ｖ１，映像信号Ｖ２，映像信号Ｖ３によるそれぞれの映像における、動きベクトルの波形の例を示してある。図１２（ａ）は、図３（ａ）の左側に示された映像（映像信号Ｖ１）で検出された動きベクトルを時系列に配置し、波形として示したものであり、図１２（ｂ）は、図３（ａ）の中央に示された映像（映像信号Ｖ２）で検出された動きベクトルを、波形として示したものであり、図１２（ｃ）は、図３（ａ）の右側に示された映像（映像信号Ｖ３）で検出された動きベクトルを、波形として示したものである。

図１２（ａ）〜図１２（ｃ）に示した各グラフにおいて、縦軸は動きベクトルの値であり、横軸はフレーム数である。実線で示した波形は、ｘ方向（パン方向）の動きを示したものであり、破線で示した波形は、ｙ方向（チルト方向）の動きを示したものである。また、図１２（ａ）〜図１２（ｃ）に波形として示された動きベクトルは、ブロックマッチングの結果得られた最頻動きベクトルである。ブロックマッチングに用いたブロックのサイズは１６画素×１６画素であり、ダイナミックレンジが３２（８ビット、２５６階調）以上のブロックのみを使用している。

図１２（ａ）〜図１２（ｃ）において、例えば、波形がｘ方向のプラス方向にある場合には、映像中のオブジェクトにおける動きベクトルは右向きであることを意味する。つまり、そのフレームでのカメラ動きは左方向であることになる。

図１２（ａ）〜図１２（ｃ）のそれぞれのグラフにおいて、６００フレーム目から８００フレーム目近辺では、ｘ方向のプラス方向の値をとる波形となっており、８００フレーム目から１１００フレーム目近辺では、ｘ方向のマイナス方向の値をとる波形となっており、１１００フレーム目から１４００フレーム目近辺では、ｘ方向のプラス方向の値をとる波形となっている。

つまり、図３（ａ）〜図３（ｃ）の映像を撮影したそれぞれのカメラが、６００フレーム目から８００フレーム目にかけては左方向にパンし、８００フレーム目から１１００フレーム目にかけては右方向にパンし、１１００フレーム目から１４００フレーム目にかけては、再び左方向にパンしたことが分かる。

このように、３つの映像におけるカメラ動きの方向や、カメラ動き変化のタイミングが同一であるため、図１２（ａ），図１２（ｂ），図１２（ｃ）に示されたそれぞれの波形は、ほぼ同じ形状となっている。従って、これらの波形を基に計算された相関値も、高い値となる。この結果に基づいて決定される表示部４Ａ〜表示部４Ｃの配置位置は、図１１（ａ）に示したもののようになる。つまり、表示部４Ａ〜表示部４Ｃが互いに隣接して配置されるようになる。このように配置することで、映像を視聴するユーザＵにおいて、映像の理解がし易くなる。

図１３（ａ）〜図１３（ｃ）のグラフは、図３（ｃ）に示した各画面に表示された映像における動きベクトルを、時系列の波形で示したものである。図１３（ａ）は、図３（ｃ）の左側に示された映像における動きベクトルを波形で示したものであり、図１３（ｂ）は、図３（ｃ）の中央に示された映像における動きベクトルを波形で示したものであり、図１３（ｃ）は、図３（ｃ）の右側に示された映像における動きベクトルを波形で示したものである。

図１３（ａ）〜図１３（ｃ）に示したグラフおいても、縦軸は動きベクトルの値であり、横軸はフレーム数である。図１３（ａ），図１３（ｂ），図１３（ｃ）の各グラフにおいては、動きベクトルの方向も、動きベクトルが変化するタイミングも異なっていることが分かる。すなわち、図１３（ａ）〜図１３（ｃ）に示された各波形間の相関値も低い値となる。この場合は、表示部４Ａ〜表示部４Ｃの配置位置は、図１１（ｂ）に示したもののようになる。つまり、表示部４Ａ〜表示部４Ｃのそれぞれが離して配置される。これによって、映像を視聴するユーザＵが違和感を覚えることがなくなる。

このように、カメラ動きの方向や変化タイミングを示す動きベクトルの波形を基に、各映像信号間の相関を計り、求められた相関の度合いに応じて表示部４Ａ〜表示部４Ｃの配置位置を決定すれば、特徴量を求める手順を踏む必要がなくなる。つまり、処理の速度を上げることができるようになる。

また、上述した実施の形態では、表示部４Ａ〜表示部４Ｃを、下部に設置された車輪Ｗを利用して移動させる構成を例に挙げたが、この形態に限定されるものではない。例えば、図１４に示したもののように、各表示部４の背面（もしくは上面）にアームＡ１を設け、そのアームＡ１を天井や壁面等に設けたレールＲ１に取り付けることで、表示部４Ａ〜表示部４Ｃを水平方向の自由な位置に移動可能とした構成に適用してもよい。

または、複数の表示部４を収納可能な大型の棚に、複数の表示部４を配置する構成に適用してもよい。図１５に、この場合の構成例を示してある。図１５には、３段の棚を有するラックＬ１の各段に、表示部４Ａ〜表示部４Ｉを３台ずつ配置した例が示されている。各棚に、表示装置４の移動を容易とするレールＲ２を設けてあるとともに、ラックＬ１の横幅を、表示部４を横に３台並べた場合の幅よりも長くしてあることで、棚における表示部４の水平方向の位置を任意の位置に調整することができる。

または、複数台の表示部４を取り付け可能なアームを用いた構成に適用してもよい。図１６には、表示部４Ａ〜表示部４Ｉの９つの表示部４を、アームＡ２に取り付けた場合の構成例を示してある。図１６に示したアームＡ２は、表示部４を取り付ける部分が水平方向及び垂直方向の任意の位置に移動可能に構成してある。このように構成されたアームＡ２を用いて、表示部４を、配置通知用表示部３に表示された配置通りに配置するようにしてもよい。

また、上述した実施の形態では、複数台の表示部４Ａを用いてマルチビュー表示を行う場合を例に挙げたが、図１７に示されるように、１つの表示画面Ｓ１を複数の表示領域Ａｒ１〜表示領域Ａｒ３に分割し、それぞれの表示領域にマルチビュー表示を行う構成に適用してもよい。この場合の表示画面Ｓ１は、ディスプレイ等のデバイス上に表示させるようにしてもよく、プロジェクタやリアプロジェクタ等の投影機によって投影される映像によって形成してもよい。投影機を用いる場合には、それぞれの表示領域をそれぞれ異なる投影機で投射するようにしてもよい。

また、上述した実施の形態では、配置通知表示部３に表示された配置位置情報に従って、ユーザＵが表示装置４を移動させる構成を例に挙げたが、自律して可動する可動機構を有する表示部４を用いることで、表示部４の配置を自動的に行う構成に適用してもよい。

図１８に、このように構成した場合のシステムの構成例を示してある。図１８において、図２と対応する箇所には同一の符号を付してある。図１８に示した構成においては、コンテンツ再生部１で再生された映像信号Ｖ１〜映像信号Ｖ３は、配置位置決定部２′に出力されるとともに、同時に表示部４Ａ′，表示部４Ｂ′，表示部４Ｃ′にも出力される。

図１９に、配置位置決定部２′の内部構成の例を示してある。図１９において、図６と対応する箇所には同一の符号を付してあり、詳細の説明については省略する。図１９に示した配置位置決定部２′は、カメラ動き取得部１０と相関計算部１７の他に、配置制御部１８を備える。配置制御部１８は、相関計算部１７から出力された配置位置情報に基づいて、各配置位置に表示部４Ａ′〜表示部４Ｃ′を移動させるための配置位置制御コマンドＣｍ１，Ｃｍ２，Ｃｍ３を生成する。生成された配置位置制御コマンドＣｍ１〜配置位置制御コマンドＣｍ３は、表示部４Ａ′〜表示部４Ｃ′に出力される。

図２０には、表示部４Ａ′〜表示部４Ｃ′の内部構成の例を示してある。表示部４Ａ′〜表示部４Ｃ′は、それぞれ、コマンド受信部Ｒｃ１，Ｒｃ２，Ｒｃ３と、駆動信号生成部２０と、位置制御部２１と、可動機構部としての車輪Ｗとを有する。駆動信号生成部２０は、配置位置決定部２′から受信した配置位置制御コマンドＣｍ１〜配置位置制御コマンドＣｍ３に基づいて、表示装置４Ａ′〜表示装置４Ｃ′の車輪Ｗを駆動するための駆動信号を生成し、位置制御部２１に出力する。位置制御部２１は、入力された駆動信号に基づいて、実際に車輪Ｗを駆動する。

このような構成とすることで、表示部４Ａ′〜表示部４Ｃ′が、配置位置決定部２′から出力された配置位置制御コマンドＣｍ１〜配置位置制御コマンドＣｍ３に基づいて、自動的に所定の位置に配置されるようになる。すなわち、配置位置の調整を、表示部４Ａ′〜表示部４Ｃ′での映像信号の再生と同時に、リアルタイムで行えるようになる。

図２０には、表示部４Ａ′〜表示部４Ｃ′に車輪Ｗを設けた場合を例示してあるが、図１４や図１５に示した構成において、表示部４Ａ〜表示部４Ｃを自動で移動可能に構成としたものに適用してもよい。もしくは、図１７に示した構成において、表示画面Ｓ１に表示させる各表示領域Ａｒ１〜Ａｒ３の位置を、自動で変更するようにした構成に適用してもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図２１に、上述した実施の形態の一連の処理をプログラムにより実行することが可能な、パーソナルコンピュータ１００（以下、ＰＣ１００と称する）の構成例を示してある。図２１に示したＰＣ１００は、制御部１０１、メモリ１０２、通信部１０３、操作部１０４、表示部１０５、記憶部１０６、外部記憶媒体Ｉ／Ｆ部１０７、外部記憶媒体１０８とを備える。

制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、メモリ１０２、または記憶部に記録されているプログラムに従って、上記一連の処理や、他の各種の処理を実行する。メモリ１０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）で構成され、制御部１０１が実行するプログラムやデータなどが記憶される。

通信部１０３は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。外部記憶媒体Ｉ／Ｆ部１０７は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの外部記憶媒体１０８が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録１０８に転送され、記録される。

操作部１０４は、キーボードやマウスなどより構成され、ユーザからの操作入力に応じた操作信号を生成して制御部１０１に出力する。表示部１０５は、ＣＲＴ（Cathode Ray Tube）やＬＣＤよりなるディスプレイである。記憶部１０６は、例えばハードディスクやＤＶＤ（Digital Versatile Disc）からなり、制御部１０１が実行するプログラムや各種のデータを記録する。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２１に示すように、外部記憶媒体１０８として構成される。外部記憶媒体１０８としては、上述した磁気ディスクのようなリムーバブルメディアの他に、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているメモリ１０２や、記憶部１０６なども含む。

プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０３を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

人間の視覚特性を示した説明図であり、（ａ）は、複数の映像が中心視野で捉えられる場合の例を示したものであり、（ｂ）は、複数の映像のいずれかが中心視野で捉えられ、他の映像は周辺視野で捉えられる場合の例を示したものである。 本発明の一実施の形態によるシステムの構成例を示す説明図である。 本発明の一実施の形態によるマルチビュー表示される各映像の例を示した説明図である。 本発明の一実施の形態による配置通知用表示部での表示の例を示す説明図である。 本発明の一実施の形態による配置通知用表示部での表示に基づく、実際の表示部の配置の例を示す説明図である。 本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。 本発明の一実施の形態によるカメラ動きの変化系列の例を示す説明図であり、（ａ）は各映像信号におけるカメラ動きの系列を示したものであり、（ｂ）は、そこからカメラ動きの変化のタイミングを抽出した例を示したものである。 本発明の一実施の形態によるカメラ動き変化取得部の処理の例を示すフローチャートである。 本発明の一実施の形態による相関計算部の処理の例を示す説明図であり、（ａ）はクラスタリング分析の例を示したものであり、（ｂ）はクラスタリング結果を表示部の配置位置に反映させた例を示したものである。 本発明の一実施の形態による配置決定部での処理の例を示すフローチャートである。 本発明の一実施の形態による、表示部の配置位置の違いが人間の視覚特性に与える影響を説明する図であり、（ａ）は、表示部同士を隣接配置したことにより複数の映像が中心視野で捉えられる場合の例を示したものであり、（ｂ）は、表示部を分散して配置したことにより、複数の映像のいずれかが中心視野で捉えられ、他の映像は周辺視野で捉えられる場合の例を示したものである。 本発明の一実施の形態の他の実施例による動きベクトルの波形を示すグラフである。 本発明の一実施の形態の他の実施例による動きベクトルの波形を示すグラフである。 本発明の一実施の形態の他の実施例による表示部の構成例を示す説明図である。 本発明の一実施の形態の他の実施例による表示部の構成例を示す説明図である。 本発明の一実施の形態の他の実施例による表示部の構成例を示す説明図である。 本発明の一実施の形態の他の実施例による表示部の構成例を示す説明図である。 本発明の一実施の形態の他の実施例によるシステムの構成例を示す説明図である。 本発明の一実施の形態の他の実施例による配置決定部の内部構成例を示すブロック図である。 本発明の一実施の形態の他の実施例による表示部の内部構成例を示すブロック図である。 パーソナルコンピュータの内部構成の一例を示すブロック図である。 ユーザが違和感を覚えやすい映像の例を示す説明図である。

符号の説明

１…コンテンツ再生部、２…配置決定部、３…配置通知用表示部、４Ａ〜４Ｉ…表示部、１０…カメラ動き変化取得部、１１…フレームメモリ、１２…動きベクトル計算部、１３…統計処理部、１４…メモリ、１５…カメラ動き変化検出部、１６…カメラ動き系列データ蓄積部、１７…相関計算部、１８…配置制御部、２０…駆動信号生成部、２１…位置制御部、Ｃｍ１〜Ｃｍ３…配置位置制御コマンド、Ｃｆ…中心視野、Ｐｆ…周辺視野、Ｒｃ１〜Ｒｃ３…コマンド受信部、Ｖ１〜Ｖ３…映像信号

Claims (17)

1. 複数の映像信号を処理する映像信号処理装置であって、
   前記映像信号の数に対応して設けられ、前記映像信号により生成される映像中のカメラ動きに関する特徴量を抽出する特徴量抽出部と、
   前記複数の特徴量抽出部で抽出された各特徴量の相関度を算出し、前記算出された相関度に基づいて、前記複数の映像信号による映像を表示する複数の表示部の配置位置を決定し、前記決定した配置位置情報を出力する相関計算部とを備えたことを特徴とする
   映像信号処理装置。
2. 請求項１記載の映像信号処理装置において、
   前記相関計算部は、前記相関度の高い映像を表示する表示部同士は隣接し、前記相関度の低い映像を表示する表示部同士は空間的に離れるように、前記配置位置を決定することを特徴とする
   映像信号処理装置。
3. 請求項１記載の映像信号処理装置において、
   前記特徴量抽出部は、前記複数の映像信号のそれぞれにおける動きベクトルを計算する動きベクトル計算部を備えたことを特徴とする
   映像信号処理装置。
4. 請求項３記載の映像信号処理装置において、
   前記動きベクトル計算部は、ブロックマッチングを用いて動きベクトルの計算を行うことを特徴とする
   映像信号処理装置。
5. 請求項３記載の映像信号処理装置において、
   前記特徴量抽出部は、前記動きベクトル計算部で算出された動きベクトルを統計処理して、前記映像信号よりなる画面におけるカメラ動きを計算する統計処理部を備えたことを特徴とする
   映像信号処理装置。
6. 請求項５記載の映像信号処理装置において、
   前記特徴量抽出部は、前記統計処理部で算出された画面におけるカメラ動きの、時系列での変化を検出して、カメラ動き系列データとして出力するカメラ動き変化検出部を備えたことを特徴とする
   映像信号処理装置。
7. 請求項６記載の映像信号処理装置において、
   前記相関計算部は、前記カメラ動き検出部で検出されたカメラ動き系列データをクラスタリング分析して、前記カメラ動き系列データ同士の相関性を算出することを特徴とする
   映像信号処理装置。
8. 請求項３記載の映像信号処理装置において、
   前記特徴量抽出部は、前記動きベクトル計算部で算出された動きベクトルの時間方向での変化波形を検出し、
   前記相関計算部は、前記波形同士の相関度を算出することを特徴とする
   映像信号処理装置。
9. 請求項１記載の映像信号処理装置において、
   前記複数の映像信号は、複数のカメラにより異なるアングルで撮影された場合の各映像信号であることを特徴とする
   映像信号処理装置。
10. 請求項２記載の映像信号処理装置において、
    前記相関計算部が算出した前記表示部の配置位置情報を表示する配置通知用表示部を備えたことを特徴とする
    映像信号処理装置。
11. 請求項２記載の映像信号処理装置において、
    前記複数の映像信号による映像を表示する複数の表示部を備えたことを特徴とする
    映像信号処理装置。
12. 請求項１１記載の映像信号処理装置において、
    前記表示部は、自装置を移動可能とする可動機構部を有することを特徴とする
    映像信号処理装置。
13. 請求項１２記載の映像信号処理装置において、
    前記相関計算部が算出した前記表示部の配置位置情報を基に、前記複数の表示部の配置位置を制御する配置位置制御コマンドを生成する配置位置制御コマンド生成部を備え、
    前記表示部の可動機構部は、前記配置位置制御コマンド生成部により生成された配置位置制御コマンドに基づいて自装置を移動させることを特徴とする
    映像信号処理装置。
14. 請求項１１記載の映像信号処理装置において、
    前記表示部は、１つの表示画面を分割して生成される各表示領域であることを特徴とする
    映像信号処理装置。
15. 複数の映像信号を処理する画像信号処理方法であって、
    前記複数の映像信号により生成される映像のそれぞれにおける、カメラ動きに関する特徴量を抽出するステップと、
    前記抽出された複数の特徴量の相関度を算出し、前記算出された相関度に基づいて、前記複数の映像信号による映像を表示する複数の表示部の配置位置を決定し、前記決定した配置位置情報を出力するステップとを含むことを特徴とする
    画像信号処理方法。
16. 複数の映像信号を処理する画像信号処理方法をコンピュータに実行させるためのプログラムであって、
    前記複数の映像信号により生成される映像のそれぞれにおける、カメラ動きに関する特徴量を抽出するステップと、
    前記抽出された複数の特徴量の相関度を算出し、前記算出された相関度に基づいて、前記複数の映像信号による映像を表示する複数の表示部の配置位置を決定し、前記決定した配置位置情報を出力するステップとコンピュータに実行させるための
    プログラム。
17. 複数の映像信号を処理する画像信号処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
    前記複数の映像信号により生成される映像のそれぞれにおける、カメラ動きに関する特徴量を抽出するステップと、
    前記抽出された複数の特徴量の相関度を算出し、前記算出された相関度に基づいて、前記複数の映像信号による映像を表示する複数の表示部の配置位置を決定し、前記決定した配置位置情報を出力するステップとコンピュータに実行させるためのプログラムを記録した
    記録媒体。

Images