JP2003316348A - 画像処理装置と画像処理方法及び画像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】現実世界に忠実で臨場感の高い画像表示を可能
とすると共に、広画角の画像表示を行う。 【解決手段】入力画像の画像信号ＳＤinを用いて、シー
ンチェンジ検出部２１で入力画像のシーンチェンジ検出
を行う。動き検出部２２では入力画像の画像動きを検出
する。表示位置決定部２３１は、連続シーンの期間中に
検出された画像動きに基づき入力画像の表示位置を決定
する。広画角画像生成部は、表示位置が決定された連続
シーンの期間中の入力画像を重畳して広画角画像の画像
信号ＳＢを生成する。入力画像移動部２３３によって入
力画像を表示位置に移動した画像信号ＳＤgを生成す
る。画像重畳部２３４で広画角画像に表示位置を移動し
た入力画像を重畳して、入力画像の画像動きに応じて入
力画像の表示位置が移動される広画角の表示画像の画像
信号ＳＤpを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理装置と
画像処理方法及び画像処理プログラムに関する。詳しく
は、入力画像のシーンチェンジと入力画像内の画像動き
を検出して、検出されたシーンチェンジに基づいて連続
シーンの期間を判別するものとし、この連続シーンの期
間中に検出された画像動きに基づき連続シーンの期間中
の入力画像を重畳させて、入力画像よりも広画角であっ
て入力画像の位置が画像動きに応じて変化される表示画
像を生成するものである。

【０００２】

【従来の技術】従来、テレビジョン放送番組や映画等の
画像を表示する画像表示システムでは、テレビジョン装
置の表示画面やスクリーン等のように、１つの固定され
た画枠を用いて画像表示がなされている。また、放送番
組や映画等の画像コンテンツを制作する場合にも、この
ような固定画枠で画像表示を行うことを前提としてコン
テンツ制作が行われている。

【０００３】さらに、近年では、臨場感を高めた画像表
示を行うために多画面表示システムや曲面ディスプレ
イ、広画角ディスプレイ、ヘッドマウントディスプレイ
等が実用化されている。しかし、このような多画面表示
システム等を用いる場合でも、このシステムで形成され
る画像表示領域を１つの固定画枠として用い、この固定
画枠に合わせた画像表示を行うことを前提としてコンテ
ンツ制作が行われている。

【０００４】

【発明が解決しようとする課題】ところで、このように
固定画枠に合わせて制作された画像コンテンツにおい
て、撮影時にカメラ動きを含んだ画像などが含まれてい
る場合、固定画枠で撮影画像を表示すると共に、この撮
影画像における背景の動きによってカメラ動きを表現す
ることが行われている。つまり、視聴者は固定画枠内に
表示された画像の背景が移動することによって、その中
の被写体が背景の動きと逆の方向に動いていることを認
識すると共に、視聴者はあたかも自分が被写体の動きに
合わせて向きを変えているような感覚を得る。

【０００５】これは、撮影された広い空間の画像を無理
やり固定画枠内の２次元平面に射影した結果であり、視
聴者は実際に動いていなくとも背景の動きによって感覚
的には動いた感じを受けるため、現実空間との不整合に
よる不自然さが付きまとう。このため、撮影画像に対し
て動き検出を行い、被写体の動きに合わせて表示位置を
移動させるものとして、現実空間との不整合を防止する
ことが例えば特開平１０−３０１５５６号公報で開示さ
れている。

【０００６】しかし、画像表示領域が限られていると
き、被写体の動きに合わせて画像の表示位置を移動させ
ると、画像が画像表示領域から外れてしまい、画像を正
しく表示することができない。

【０００７】そこで、この発明では、現実世界に忠実で
臨場感の高い画像表示を可能とすると共に、画像を途切
れることなく正しく表示できる画像処理装置と画像処理
方法及び画像処理プログラムを提供するものである。

【０００８】

【課題を解決するための手段】この発明に係る画像処理
装置は、入力画像のシーンチェンジを検出するシーンチ
ェンジ検出手段と、前記入力画像内の画像動きを検出す
る動き検出手段と、前記シーンチェンジ検出手段によっ
て検出されたシーンチェンジに基づいて連続シーンの期
間を判別して、該連続シーンの期間中に前記動き検出手
段で検出された画像動きに基づき前記連続シーンの期間
中の前記入力画像を重畳させて、前記入力画像よりも広
画角であって前記入力画像の位置が前記画像動きに応じ
て変化される表示画像を生成する表示画像生成手段を有
するものである。

【０００９】また、画像処理方法は、入力画像のシーン
チェンジと前記入力画像内の画像動きを検出し、検出さ
れたシーンチェンジに基づいて連続シーンの期間を判別
して、該連続シーンの期間中に検出された画像動きに基
づき前記連続シーンの期間中の前記入力画像を重畳させ
て、前記入力画像よりも広画角であって前記入力画像の
位置が前記画像動きに応じて変化される表示画像を生成
するものである。

【００１０】さらに、画像処理プログラムは、コンピュ
ータに、入力画像のシーンチェンジを検出する手順と、
前記入力画像内の画像動きを検出する手順と、検出され
たシーンチェンジに基づいて連続シーンの期間を判別し
て、該連続シーンの期間中に検出された画像動きに基づ
き前記連続シーンの期間中の前記入力画像を重畳させ
て、前記入力画像よりも広画角であって前記入力画像の
位置が前記画像動きに応じて変化される表示画像を生成
する手順とを実行させるものである。

【００１１】この発明においては、入力画像のシーンチ
ェンジ検出が行われて連続シーンが判別されると共に、
入力画像の画像動きが検出される。この連続シーンの期
間中に検出された画像動きに基づき入力画像の表示位置
が決定されて、表示位置が決定された連続シーンの期間
中の入力画像を逆時間順に順次重畳することで広画角画
像が生成される。また、入力画像が決定された表示位置
に移動されて、この表示位置が移動された入力画像を広
画角画像に重畳することで、入力画像よりも広画角であ
って入力画像の位置が画像動きに応じて変化される表示
画像が生成される。

【００１２】また、表示画像における入力画像部分が画
像表示領域を超えないように、広画角画像の表示位置が
連続シーンの期間中に検出された画像動きに基づいて移
動されると共に、この広画角画像の移動に伴い、連続シ
ーンの期間中の入力画像に対する表示位置が補正され
る。さらに、表示画像を表示する画像表示領域が複数の
表示領域で構成されているときには、複数の表示領域に
対応させて表示画像が分割される。

【００１３】

【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図１は、この発明
における画像処理装置を用いた画像表示システムの全体
構成を示している。この画像表示システムは、例えば３
つのスクリーンをユーザの前面と両側面側に配置して、
３つの表示領域で１つの画像表示領域が構成されてい
る。また、各スクリーン１０L，１０C，１０Rに対応さ
せてプロジェクタ１２L，１２C，１２Rを設けている。
この各プロジェクタ１２L，１２C，１２Rを用いて画像
を投影することにより、３つのスクリーンで構成される
広範囲の画枠を用いて画像の表示が行われる。プロジェ
クタ１２L，１２C，１２Rは、画像処理装置２０と接続
されている。

【００１４】画像処理装置２０は、入力画像の画像信号
ＳＤinに基づいてシーンチェンジ検出を行うことにより
連続シーンを判別する。この判別した連続シーンに含ま
れる入力画像を順次用いて全画面の動き検出を行い、動
き検出によって求めた画像動きに基づいて各入力画像の
表示位置を設定する。さらに、設定された表示位置の各
入力画像を逆時間順に重畳させることで入力画像よりも
広画角の広画角画像を生成する。また、入力画像の画像
動きに基づき、動きが検出された入力画像の例えば背景
部分の画像と広画角画像が一致するように入力画像を広
画角画像に重畳することで、入力画像よりも広画角であ
ると共に、入力画像の位置が画像動きに応じて変化され
る表示画像を生成する。さらに、表示画像の画像信号Ｓ
Ｄpから例えば画像信号ＳＤL，ＳＤC，ＳＤRを生成し
て、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤ
Cをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ
１２Rにそれぞれ供給することで、スクリーン１０L，１
０C，１０Rを利用して広画角の表示画像を表示する。ま
た、３つのスクリーン１０L，１０C，１０Rで構成され
た画像表示領域よりも表示する画像の表示サイズが大き
いときには画像動きに応じて広画角画像を移動しながら
画像表示を行う。

【００１５】ここで、入力画像の画像サイズは、例えば
ＮＴＳＣ方式等のＳＤサイズの場合７２０画素×４８０
ラインとなる。画像表示領域のサイズは入力画像よりも
大きいサイズ例えば２１６０画素×４８０ラインとす
る。また、映画などでは、アスペクト比がＳＤサイズの
画像よりも横長であるため、ＳＤサイズの画像よりも上
下幅が小さくなる。このため、画像表示領域のサイズが
上下方向に対しても入力画像より大きいときには、入力
画像の表示位置を画像動きに応じて上下左右に移動させ
て重畳することで、広画角の画像表示を行う。

【００１６】図２は、画像処理装置２０の構成を示して
いる。画像処理装置２０は、入力画像の画像信号ＳＤin
をシーンチェンジ検出部２１と動き検出部２２と表示画
像生成部２３の広画角画像生成部２３２や入力画像移動
部２３３に供給する。

【００１７】シーンチェンジ検出部２１は、画像信号Ｓ
Ｄinに基づいてシーンチェンジ検出、すなわち連続シー
ンとこの連続シーンとは異なるシーンとの繋ぎ目部分で
ある画像の不連続位置を検出する。図３は、シーンチェ
ンジ検出部２１の構成を示しており、例えば２フレーム
分の画像信号を用いて連続するシーンであるか否かを検
出するものである。

【００１８】シーンチェンジ検出部２１の遅延回路２１
１は、画像信号ＳＤinを１フレーム遅延させて遅延画像
信号ＳＤaとして差分平均算出回路２１２に供給する。
差分平均算出回路２１２は、画像信号ＳＤinと遅延画像
信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを
算出して正規化回路２１４に供給する。この差分平均値
Ｄavの算出は、各画素における２フレーム間の輝度レベ
ルの差分値を算出して、得られた差分値の平均値を差分
平均値Ｄavとして正規化回路２１４に供給する。なお、
１フレームの画像の画素数が「Ｎ」で、画像信号ＳＤin
に基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに
基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄ
avは式（１）に基づいて算出できる。

【００１９】

【数１】

【００２０】ここで、差分平均値Ｄavは、画像の輝度レ
ベルによって大きく変化する。例えば画像が明るい場
合、シーンの切り替えが行われなくとも画像の一部が暗
い画像に変化するだけで差分平均値Ｄavが大きくなって
しまう。一方、画像が暗い場合、シーンの切り替えが行
われても輝度レベルの変化が小さいことから差分平均値
Ｄavは大きくならない。このため、シーンチェンジ検出
部２１に正規化回路２１４を設けるものとして、画像の
明るさに応じた差分平均値Ｄavの正規化を行い、画像の
明るさの影響を少なくして正しくシーンチェンジ検出を
可能とする。

【００２１】輝度平均算出回路２１３は、画像信号ＳＤ
inに基づき、各画素の輝度レベルに基づき１フレームに
おける輝度レベルの平均値を算出して輝度平均値Ｙavと
して正規化回路２１４に供給する。なお、上述のように
１フレームの画像の画素数が「Ｎ」で画像信号ＳＤinに
基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平
均値Ｙavは式（２）に基づいて算出できる。

【００２２】

【数２】

【００２３】正規化回路２１４は、画像の明るさに応じ
た差分平均値Ｄavの正規化を行う。すなわち、式（３）
に示すように、画像の明るさを示す輝度平均値Ｙavに応
じて差分平均値Ｄavを補正して差分平均正規化値（以下
単に「正規化値」という）Ｅを生成する。 Ｅ＝Ｄav／Ｙav ・・・（３） この正規化回路２１４で生成された正規化値Ｅは、判定
回路２１５に供給される。

【００２４】判定回路２１５は、予め設定された閾値Ｌ
rを有しており、正規化値Ｅと閾値Ｌrを比較して、正規
化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジ
と判定する。また、正規化値Ｅが閾値Ｌr以下であると
きにはシーンチェンジでない連続シーンと判定する。さ
らに、判定回路２１５は、この判定結果を示すシーンチ
ェンジ検出信号ＳＣを生成して図２に示す動き検出部２
２と表示画像生成部２３の表示位置決定部２３１に供給
する。

【００２５】このように、正規化回路２１４は画像の明
るさに応じた差分平均値Ｄavの正規化を行い、判定回路
２１５は正規化値Ｅを用いてシーンチェンジであるか連
続シーンであるかの判別を行うので、画像の明るさの影
響を少なくして正しくシーンチェンジを検出できる。

【００２６】図４は、フレーム位置と正規化値の関係を
例示的に示したものである。ここで、閾値Ｌrが「０．
４」に設定されている場合、正規化値Ｅが「０．４」を
超えるフレーム位置をシーンチェンジ検出位置Ｐscとす
る。

【００２７】ところで、上述のシーンチェンジ検出部２
１では、１フレーム内の全画素の信号を用いて、シーン
チェンジ検出を行うものとしたが、全画素の信号を用い
て差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算
処理に時間を要してしまう。また、演算処理に要する時
間を短くするために演算処理を高速化すると、演算処理
コストが膨大となってしまう。このため、画素間引き処
理、例えば図５に示すように１フレームの画像を８×４
画素の領域に区分して各領域から斜線で示すように１画
素だけを選択することで画素の間引きを行い、選択され
た画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙav
を算出する。このように、画素の間引きを行うものとす
れば、演算量が少なくなるので演算処理を簡単に行うこ
とができると共に、演算処理を高速に行う必要がなく演
算処理コストが膨大となってしまうことも防止できる。

【００２８】また、上述のシーンチェンジ検出部２１で
は、正規化値Ｅを用いてシーンチェンジ検出を行うもの
としたが、２フレーム間の画像の相関係数ｒを求めて、
この相関係数ｒと閾値を比較することで、精度良くシー
ンチェンジ検出を行うこともできる。この相関係数ｒを
用いる場合の構成を、シーンチェンジ検出部の他の構成
として図６に示す。遅延回路２１１は、画像信号ＳＤin
を１フレーム遅延させて遅延画像信号ＳＤaとして相関
係数算出回路２１６に供給する。相関係数算出回路２１
６は、画像信号ＳＤinと遅延画像信号ＳＤaに基づき、
相関係数ｒの算出を行う。

【００２９】ここで、１フレームの画像の画素数を
「Ｎ」、最初のフレームの画像信号に基づく画素の輝度
レベルを「ＹＦ」、次のフレームの画像信号に基づく画
素の輝度レベルを「ＹＳ」、最初のフレームの画像信号
に基づく画素の輝度レベル平均を「ＹＦav」、次のフレ
ームの画像信号に基づく画素の輝度レベル平均を「ＹＳ
av」としたとき、相関係数ｒは式（４）を用いて算出で
きる。

【００３０】

【数３】 この相関係数算出回路２１６で算出された相関係数ｒ
は、判定回路２１７に供給される。

【００３１】判定回路２１７は、予め設定された閾値Ｌ
rを有しており、相関係数ｒと閾値Ｌrを比較して、相関
係数ｒが閾値Ｌr以下であるときにはシーンチェンジと
判定する。また、相関係数ｒが閾値Ｌr以下でないとき
にはシーンチェンジでない連続シーンと判定する。さら
に、判定回路２１７は、この判定結果を示すシーンチェ
ンジ検出信号ＳＣを生成して、動き検出部２２と表示位
置決定部２３１に供給する。なお、図７は、フレーム位
置と相関係数ｒの関係を例示的に示したものである。こ
こで、閾値Ｌrが例えば「０．４」に設定されている場
合、相関係数ｒが「０．４」以下となるフレーム位置を
シーンチェンジ検出位置Ｐscとする。

【００３２】動き検出部２２は、シーンチェンジ検出部
２１（２１a）からのシーンチェンジ検出信号ＳＣによ
って連続シーンであることが示されたフレームに関して
全画面の画像動きの検出を行い、表示面積の広い部分の
画像動き、例えば背景部分の動きベクトルを検出する。
図８は、動き検出部２２の構成を示しており、例えばブ
ロックマッチング方法を用いる場合である。

【００３３】動き検出部２２の遅延回路２２１は、画像
信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤb
として画像位置切替回路２２２に供給する。画像位置切
替回路２２２は、遅延画像信号ＳＤbに基づく画像の位
置を、予め設定された動き探索範囲内（例えば水平方向
±８０画素，垂直方向±４０ライン）で水平方向や垂直
方向に順次変更して（例えば１画素あるいは１ラインず
つ変更して）新たな画像信号ＳＤcを順次生成する。こ
の生成された画像信号ＳＤCは、差分演算回路２２３に
供給される。また、画像位置切替回路２２２は、画像の
移動方向と移動量を示す動きベクトルＭＶを最小値判定
回路２２４に供給する。

【００３４】差分演算回路２２３は、画像信号ＳＤcと
画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値
判定回路２２４に供給する。

【００３５】最小値判定回路２２４は、差分値ＤＭと、
この差分値ＤＭの算出に用いた画像信号ＳＤcを生成す
る際の動きベクトルＭＶとを関係付けて保持する。ま
た、画像位置切替回路２２２で動き探索範囲内での画像
の移動を完了したとき、最小値判定回路２２４は、保持
している差分値ＤＭから最小値を判別して、この最小値
となる差分値ＤＭと関係付けて保持されている動きベク
トルＭＶを、動き検出情報ＭＶＤとして図２に示す表示
位置決定部２３１に供給する。

【００３６】表示位置決定部２３１は、シーンチェンジ
検出信号ＳＣに基づいて連続シーンの期間を判別すると
共に、この連続シーンの期間中における動き検出情報Ｍ
ＶＤに基づいて、連続シーンの期間中の各入力画像に対
する表示位置を決定して、決定された表示位置を示す表
示位置情報ＨＰを、広画角画像生成部２３２と入力画像
移動部２３３に供給する。

【００３７】この表示位置の決定では、例えば動き検出
情報ＭＶＤで示された動きベクトルを累積して、動きベ
クトルの時間推移情報である動き累積値ＭＶＴを生成す
る。また、動き累積値ＭＶＴに基づき第１の移動方向
（例えば右方向や上方向）の最大値ＭＶＴ-1と、第１の
方向とは逆方向である第２の移動方向（例えば左方向や
下方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最
大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＬＭや
振れ幅の１／２である振れ中央位置ＧＵを求めて、この
振れ中央位置ＧＵが画像表示領域の所定位置例えば中央
となるように、連続シーンの最初の入力画像の表示位置
である初期位置Ｈstを決定する。さらに、初期位置Ｈst
を基準として、その後の各フレームの入力画像に対する
表示位置を各入力画像の動き検出情報ＭＶＤに基づき、
背景部分の画像が一致するように決定する。

【００３８】図９は広画角画像生成部２３２の構成を示
している。広画角画像生成部２３２の重畳処理回路３０
１は、連続シーンと判別されたｎフレーム分の入力画像
の画像信号ＳＤinを用いて、連続シーンの最後のフレー
ムから逆時間順に各フレームの入力画像を重畳して、１
つの広画角画像を生成する。ここで、表示位置情報ＨＰ
は、各フレームの入力画像の背景部分が一致するように
表示位置が動き検出情報ＭＶＤに基づき決定されてい
る。このため、表示位置情報ＨＰで示された表示位置の
画像を逆時間順に加算すると、背景部分が一致された入
力画像よりも広画角の広画角画像を生成できる。このよ
うにして生成した広画角画像の画像信号ＳＢは、広画角
画像位置補正回路３０３に供給する。

【００３９】表示範囲判定回路３０２は、連続シーンの
各入力画像を、表示位置情報ＨＰで示された表示位置に
表示するものとしたとき、入力画像が画像表示領域に入
りきるか否かを判別する。ここで、入力画像が画像表示
領域に入りきらないときには、時間の経過と共に広画角
画像の表示位置を移動させることで、画像表示領域を有
効に活用して広画角画像を表示させる補正信号ＣＨを生
成して広画角画像位置補正回路３０３と、図２に示す入
力画像移動部２３３に供給する。

【００４０】広画角画像位置補正回路３０３は、表示範
囲判定回路３０２から補正信号ＣＨが供給されていない
とき、重畳処理回路３０１から供給された画像信号ＳＢ
を図２に示す画像重畳部２３４に供給する。また、後述
する画像重畳部２３４から表示画像の画像信号ＳＤpが
供給されたときには、この画像信号ＳＤpを画像信号Ｓ
Ｂとして画像重畳部２３４に供給する。

【００４１】また、表示範囲判定回路３０２から補正信
号ＣＨが供給されたとき、広画角画像の表示位置を補正
信号ＣＨに基づき補正して、位置の補正が行われた広画
角画像の画像信号ＳＢaを画像重畳部２３４に供給す
る。さらに、画像重畳部２３４から表示画像の画像信号
ＳＤpが供給されたときには、この広画角画像の位置を
補正信号ＣＨに基づき補正して、この位置の補正が行わ
れた広画角画像の画像信号を画像信号ＳＢaとして画像
重畳部２３４に供給する。

【００４２】入力画像移動部２３３は、入力画像の画像
信号ＳＤinと表示位置情報ＨＰに基づき、連続シーンの
各入力画像の表示位置を表示位置情報ＨＰで示された位
置とした画像信号ＳＤgを生成して画像重畳部２３４に
供給する。また、表示範囲判定回路３０２から補正信号
ＣＨが供給されたときには、この補正信号ＣＨに基づき
連続シーンの各入力画像の表示位置を補正する。

【００４３】画像重畳部２３４は、画像信号ＳＢ（ＳＢ
a）に基づく広画角画像に対して、画像信号ＳＤgに基づ
く入力画像を重畳させて表示画像の画像信号ＳＤpを生
成する。ここで、広画角画像は、表示位置情報ＨＰで示
された表示位置の画像を逆時間順に加算した画像であ
る。また、表示画像は、広画角画像に対して、入力画像
を表示位置情報ＨＰで示された表示位置として重畳した
ものである。このため、表示画像では、画像動きの検出
された例えば入力画像の背景部分と広画角画像が一致し
た画像となり、広画角画像に入力画像を重畳させても自
然な表示画像を得ることができる。この表示画像の画像
信号ＳＤpは、画像分割部２４と広画角画像生成部２３
２の広画角画像位置補正回路３０３に供給される。

【００４４】ここで、メモリを用いて画像重畳部２３４
を構成する場合、広画角画像や入力画像の画像信号の書
き込み位置を制御することで、広画角画像に入力画像を
重畳した表示画像の画像信号を生成できる。すなわち、
広画角画像位置補正回路３０３は、重畳処理回路３０１
で生成した広画角画像の画像信号ＳＢや表示画像の画像
信号ＳＤpを広画角画像の画像信号としてメモリに書き
込む際に、補正信号ＣＨに基づいて書き込み位置を制御
する。また、入力画像移動部２３３は、入力画像の画像
信号ＳＤinをメモリに書き込む際に、表示位置情報ＨＰ
に基づき書き込み位置を制御して、入力画像の背景部分
が広画角画像と一致するように入力画像を広画角画像に
重畳させる。また補正信号ＣＨによって広画角画像の書
き込み位置が移動されているときには、入力画像の書き
込み位置も補正信号ＣＨによって補正することで、正し
く入力画像を広画角画像に重畳させることができる。

【００４５】画像分割部２４は、画像信号ＳＤpに基づ
いて例えばスクリーン１０Lに表示する画像の画像信号
ＳＤLを生成する。同様に、スクリーン１０C，１０Rに
表示する画像の画像信号ＳＤC，ＳＤRを生成する。な
お、メモリを用いて画像重畳部２３４を構成する場合、
スクリーン１０L，１０C，１０Rに対応した領域に、広
画角画像や入力画像の画像信号を書き込むものとすれ
ば、それぞれの領域から画像信号を読み出すことで、簡
単に画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。な
お、スクリーン１０L，１０C，１０R上において、画像
表示が行われていない領域は、例えば黒色表示となるよ
うに画像信号ＳＤL，ＳＤC，ＳＤRを生成する。

【００４６】なお、画像重畳部２３４のメモリサイズが
画像表示領域分とされているとき、表示画像の画像信号
ＳＤpを用いて表示位置の補正を行うと、広画角画像に
欠落部分が生じてしまう。この場合、広画角画像位置補
正回路３０３は、重畳処理回路３０１で生成した広画角
画像から欠落部分の画像を取り出して画像表示領域分の
広画角画像を生成する。

【００４７】次に画像処理装置２０の動作について説明
する。シーンチェンジ検出部２１は、正規化値Ｅあるい
は相関係数ｒに基づいて、入力画像のシーンチェンジ位
置を検出する。例えば、画像信号ＳＤinに基づく画像が
図１０に示すもので場合、シーンチェンジ検出によっ
て、フレームＦ（a-1）とフレームＦ（a）間、及びフレ
ームＦ(a+4)とフレームＦ(a+5)間でシーンチェンジと検
出されて、フレームＦ（a）〜Ｆ(a+4)の画像が連続シー
ンの画像であると判別できる。また、動き検出部２２
は、各フレームの画像に基づいて動き検出を行い、動き
検出情報ＭＶＤを生成する。

【００４８】表示位置決定部２３１は、連続シーンの期
間中の各入力画像に対する表示位置を決定する際に、例
えば連続シーンの期間中の動き検出情報ＭＶＤに基づく
動き量を累積することで動き累積値ＭＶＴを生成する。
さらに、この動き累積値ＭＶＴに基づき連続シーンの期
間中の画像動きに基づいて表示位置を決定する。

【００４９】図１１は、動き累積値ＭＶＴに基づく例え
ば左右方向の動き量を示している。ここで、図１０に示
すように、連続シーンの入力画像が右方向に移動する被
写体ＯＢを撮影したもので場合、入力画像に対する全画
面の動き検出では背景部分の画像動きが検出されて動き
検出情報ＭＶＤが生成される。このため、動き累積値Ｍ
ＶＴの動き量は図１１Ａに示すように、左方向に増加す
る。

【００５０】次に、動き累積値ＭＶＴに基づき第１の移
動方向（例えば右方向）の最大値ＭＶＴ-1と、第１の方
向とは逆方向である第２の移動方向（例えば左方向）の
最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ
-2に基づき動き累積値ＭＶＴの振れ幅ＬＭを求めて連続
シーンおける画像の移動範囲を判別し、この移動範囲の
中心が画像表示領域内の移動可能範囲ＬＤ（画像表示領
域の右側端部に画像を表示したときと、画像を水平移動
させて左側端部に表示したときの画像の中心間の距離）
の中央となるように、フレームＦ(ａ)の入力画像の表示
位置である初期位置Ｈstを決定する。

【００５１】例えば図１１Ａに示すように、動き累積値
ＭＶＴの振れ幅ＬＭの１／２を振れ中央位置ＧＵとした
とき、この振れ中央位置ＧＵが画像表示領域の例えば中
央となるように、連続シーンの最初の入力画像の表示位
置である初期位置Ｈstを決定する。ここで、背景部分の
動き量が左方向に増加することから、背景部分を一致さ
せて各フレームの入力画像を表示させるためには入力画
像の表示位置を順次右方向に移動する必要がある。この
ため、初期位置Ｈstは画像表示領域の左側に設定する。
また、フレームＦ(a+1)〜フレームＦ(a+4)の画像につい
ては、動き検出情報ＭＶＤで示された動き方向とは逆方
向に動き量分だけ順次移動させた位置を入力画像の表示
位置として、各フレームの入力画像の表示位置を示す表
示位置情報ＨＰを生成する。このように表示位置を順次
移動させることで、背景部分を一致させて各フレームの
入力画像を表示できる。

【００５２】また、被写体が右方向だけでなく左方向に
も移動して、フレームＦ(b)〜フレームＦ(b+k)の画像に
基づく動き累積値ＭＶＴが図１１Ｂに示すように右方向
や左方向となった場合も同様に、動き累積値ＭＶＴの振
れ幅ＬＭの１／２の位置が画像表示領域の中央位置とな
るように初期位置Ｈstを設定して、その後の連続シーン
のフレーム画像については、動き検出情報ＭＶＤに基づ
き表示位置を順次移動させる。このようにして、各フレ
ームの入力画像の表示位置を決定することで、被写体が
右方向だけでなく左方向にも移動する場合でも、各フレ
ームの入力画像の表示位置を示す表示位置情報ＨＰを生
成できる。

【００５３】広画角画像生成部２３２の重畳処理回路３
０１は、図１０に示す連続シーンの各入力画像Ｆ(a)〜
Ｆ(a+4)を表示位置情報ＨＰで示された表示位置とし
て、図１２に示すように、この表示位置情報ＨＰで示さ
れた表示位置とされた入力画像Ｆ(a)〜Ｆ(a+4)を逆時間
順、すなわち入力画像Ｆ(a+4)から順次加算する。この
入力画像を順次重畳した画像は、入力画像の背景部分が
一致した画像であると共に入力画像よりも広画角とな
る。ここで、連続シーンの各入力画像を重畳して得られ
た広画角の画像を広画角画像として、この広画角画像の
画像信号ＳＢを生成する。このように、表示位置情報Ｈ
Ｐで示された表示位置の入力画像を逆時間順に順次加算
するだけで、入力画像の背景部分が一致した画像である
と共に入力画像よりも広画角の広画角画像を簡単に生成
できる。また、広画角画像は、表示位置情報ＨＰで示さ
れた位置の入力画像を、逆時間順に連続シーンの最初ま
で重畳したものであることから、連続シーン内の入力画
像を表示位置情報ＨＰに基づいて移動させたときに画像
の表示が行われる表示範囲と広画角画像の画像サイズが
等しくなる。

【００５４】表示範囲判定回路３０２は、連続シーンの
最初の入力画像を初期位置Ｈstに表示してから、動き検
出情報ＭＶＤで示された動き量だけ表示位置を動きベク
トル方向とは逆方向に表示位置を移動させたとき、入力
画像が画像表示領域を超えてしまうか否かを判別する。
例えば、動き累積値ＭＶＴに基づき振れ幅ＬＭを算出し
て、この振れ幅ＬＭと画像表示領域内の移動可能範囲Ｌ
Ｄを比較して、図１１に示すように振れ幅ＬＭが移動可
能範囲ＬＤ以下であるか、あるいは図１３に示すよう
に、振れ幅ＬＭが移動可能範囲ＬＤよりも大きいかを判
別する。ここで、振れ幅ＬＭが移動可能範囲ＬＤよりも
大きいと判別したときには、入力画像を表示位置情報Ｈ
Ｐに基づいて移動させても画像表示領域を超えてしまう
ことがないように、表示位置を補正する補正信号ＣＨを
生成して広画角画像位置補正回路３０３と入力画像移動
部２３３に供給する。

【００５５】この入力画像が画像表示領域を超えてしま
うことが無いように表示位置を補正する表示位置補正方
法としては、例えば図１３Ａ及び図１３Ｂに示すよう
に、画像表示領域の中央位置ＰＣを基準とすると共に、
振れ幅ＬＭの１／２の位置を画像表示領域の中央位置Ｐ
Ｃとして、中央位置ＰＣから各入力画像の表示位置まで
の距離ＧＷを算出する。ここで、係数（ＬＤ／ＬＭ）を
補正信号ＣＨとして距離ＧＷに乗算すれば、破線で示す
ように、入力画像が画像表示領域を超えてしまうことが
無いように表示位置を補正できる。

【００５６】次に、他の表示位置補正方法を説明する。
ここで図１４Ａに示すように広画角画像の水平方向の画
像サイズを「ＺＢ」、図１４Ｂに示すように画像表示領
域の水平方向の表示サイズを「ＺＷ」、図１４Ｃに示す
ように入力画像の水平方向の画像サイズを「ＺＰ」とす
る。

【００５７】画像表示領域の例えば左側端部を基準した
場合、係数｛（ＺＢ−ＺＷ）／（ＺＢ−ＺＰ）｝を補正
信号ＣＨとして、この補正信号ＣＨを式（５）に示すよ
うに動き検出情報ＭＶＤで示された動き量Ｖａに乗算し
て、新たな動き量Ｖｂを算出する。 Ｖｂ＝｛（ＺＷ−ＺＢ）／（ＺＢ−ＺＰ）｝×Ｖａ ・・・（５） この動き量Ｖｂに基づいて表示位置を決定する。

【００５８】このように、広画角画像の画像サイズを用
いても、この広画角画像の画像サイズが入力画像の表示
範囲と等しいことから、新たな動き量Ｖｂに基づいて表
示位置を決定すれば、図１４Ｄ〜図１４Ｆに示すよう
に、広画角画像や入力画像が被写体ＯＢの動く方向とは
逆方向に移動されるので、画像表示領域を有効に活用し
て、効果的に広画角の画像表示を行うことができる。

【００５９】また、初期位置Ｈstが画像表示領域の左側
端部でないときには、式（６）で示すように初期位置の
補正を行い、新たな初期位置Ｈst’を設定する。 Ｈst’＝｛（ＺＷ−ＺＢ）／（ＺＢ−ＺＰ）｝×Ｈst ・・・（６） この初期位置Ｈst’から動き量Ｖｂに基づいて表示位置
を順次設定することにより、入力画像が画像表示領域を
超えてしまうことが無いように表示位置を補正できる。

【００６０】また、垂直方向についても、水平方向の場
合と同様に処理することで、入力画像が画像表示領域を
超えてしまうことが無いように表示位置を補正できる。
なお、入力画像の表示位置を移動しても、入力画像が画
像表示領域を超えてしまうことがないときには、表示位
置の補正を行わないものとして、図１４Ｇに示すよう
に、画像表示領域の中央に画像を表示する。

【００６１】広画角画像位置補正回路３０３は、補正信
号ＣＨが供給されたとき、この補正信号ＣＨに基づき広
画角画像の表示位置を移動させて、この移動後の広画角
画像の画像信号ＳＢaを画像重畳部２３４に供給する。

【００６２】また、広画角画像位置補正回路３０３に
は、後述する画像重畳部２３４から表示画像の画像信号
ＳＤpが供給されたとき、この表示画像の画像信号ＳＤp
を新たな広画角画像の画像信号ＳＢとして画像重畳部２
３４に供給する。なお、表示画像の画像信号ＳＤpを新
たな広画角画像の画像信号ＳＢaとして用いる際に、補
正信号ＣＨに基づき広画角画像の表示位置を移動させ
て、画像の無い部分が生じてしまうときには、上述した
ように画像の無い部分の画像を、重畳処理回路３０１で
生成した広画角画像から取り出して用いるものとする。

【００６３】入力画像移動部２３３は、表示位置情報Ｈ
Ｐに基づき、画像信号ＳＤinに基づく入力画像の表示位
置を決定する。また、補正信号ＣＨに基づき広画角画像
の表示位置が移動されるときには、広画角画像位置補正
回路３０３と同様に、補正信号ＣＨに基づき画像信号Ｓ
Ｄinに基づく入力画像の表示位置を広画角画像に対応さ
せて移動する。この移動後の入力画像の画像信号ＳＤg
を画像重畳部２３４に供給する。

【００６４】画像重畳部２３４は、広画角画像に対して
入力画像を重畳して、表示画像の画像信号ＳＤpを生成
する。また、生成した表示画像の画像信号ＳＤpを画像
分割部２４と広画角画像位置補正回路３０３に供給す
る。

【００６５】画像分割部２４では、画像信号ＳＤpから
画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号Ｓ
ＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェク
タ１２C、画像信号ＳＤRをプロジェクタ１２Rにそれぞ
れ供給することにより、スクリーン１０L，１０C，１０
Rを利用して入力画像よりも広画角の画像表示を行う。

【００６６】このように、画像信号ＳＤinに基づく入力
画像を広画角画像に重畳して表示画像とすると共に、こ
の表示画像を新たな広画角画像とすると、図１５Ａに示
す入力画像が図１５Ｂに示す広画角画像に重畳されて、
図１５Ｃに示すように、所望の被写体ＯＢが順次移動す
る広画角の表示画像を生成できる。また、入力画像の表
示位置を画像動きに基づいて移動させたとき、画像表示
領域を超えてしまうような場合が生じても、画像表示領
域を超えてしまうことが無いように表示位置の補正が行
われて、被写体が表示画面上で移動するだけでなく広画
角画像も逆方向に移動されるので、画像表示領域を有効
に活用して広画角の画像表示を行うことができる。

【００６７】ところで、上述の画像処理装置における画
像処理動作は、コンピュータを用いてソフトウェアで実
現するものとしても良い。この場合の構成を図１６に示
す。コンピュータは、図１６に示すようにＣＰＵ(Centr
al Processing Unit)５０１を内蔵しており、このＣＰ
Ｕ５０１にはバス５２０を介してＲＯＭ５０２，ＲＡＭ
５０３，ハード・ディスク・ドライブ５０４，入出力イ
ンタフェース５０５が接続されている。さらに、入出力
インタフェース５０５には入力部５１１や記録媒体ドラ
イブ５１２，通信部５１３，画像信号入力部５１４，画
像信号出力部５１５が接続されている。

【００６８】外部装置から命令が入力されたり、キーボ
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部５１１から命令が入力
されると、この命令が入出力インタフェース５０５を介
してＣＰＵ５０１に供給される。

【００６９】ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５
０３あるいはハード・ディスク・ドライブ５０４に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ＲＯＭ５０２やＲＡＭ５０３
あるいはハード・ディスク・ドライブ５０４には、上述
の画像処理装置と同様な処理をコンピュータで実行させ
るための画像処理プログラムを予め記憶させて、画像信
号入力部５１４に入力された画像信号ＳＤinに基づき画
像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力
部５１５から出力する。また、記録媒体に画像処理プロ
グラムを記録しておくものとし、記録媒体ドライブ５１
２によって、画像処理プログラムを記録媒体に記録しあ
るいは記録媒体に記録されている画像処理プログラムを
読み出してコンピュータで実行するものとしても良い。
さらに、通信部５１３によって、伝送路を介した画像処
理プログラムの送信あるいは受信を行うものとし、受信
した画像処理プログラムをコンピュータで実行するもの
としても良い。

【００７０】図１７は、画像処理動作を示すフローチャ
ートである。ステップＳＴ１ではシーン判別を行う。図
１８はシーン判別動作を示すフローチャートである。ス
テップＳＴ１１では、フレーム間の差分平均値Ｄavとフ
レーム内の輝度平均値Ｙavを算出してステップＳＴ１２
に進む。ステップＳＴ１２は、輝度平均値Ｙavを用いて
差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。

【００７１】ステップＳＴ１３は、正規化値Ｅと閾値Ｌ
rを比較してシーンチェンジであるか否かを判別する。
ここで、正規化値Ｅが閾値Ｌr以下であるときにはステ
ップＳＴ１４に進み、連続シーンと判別する。また、正
規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ
１５に進み、シーンチェンジであると判別する。このよ
うにして正規化値Ｅに基づき連続シーンを判別する。

【００７２】なお、シーン判別動作では、上述のように
相関係数ｒを算出して、この相関係数ｒと閾値を比較し
て連続シーンを判別するものとしても良い。この場合、
ステップＳＴ１１とステップＳＴ１２の処理に替えて、
上述の式（４）で示した相関係数ｒの算出を行い、ステ
ップＳＴ１３では相関係数ｒが閾値よりも小さくないと
きにはステップＳＴ１４に進み連続シーンと判別する。
また相関係数ｒが閾値よりも小さいときにはステップＳ
Ｔ１５に進み、シーンチェンジであると判別する。

【００７３】図１７のステップＳＴ２では、連続シーン
の入力画像に対して全画面の動き検出を行い、入力画像
の例えば背景部分の動き量や動き方向を示す動き検出情
報を生成してステップＳＴ３に進む。ステップＳＴ３
は、動き検出情報に基づき連続シーンの各フレームの入
力画像に対する表示位置を算出してステップＳＴ４に進
む。ステップＳＴ４では、連続シーンの各入力画像を用
いて広画角画像を生成する。

【００７４】図１９は広画角画像の生成動作を示してい
る。ステップＳＴ２１では連続シーンのフレーム数ＫＦ
を変数ｉに設定してステップＳＴ２２に進む。ステップ
ＳＴ２２では、変数ｉが「０」よりも大きいか否かを判
別する。

【００７５】ここで、変数ｉが「０」よりも大きいとき
には、ｉ番目のフレームの入力画像をステップＳＴ３で
算出した表示位置として画像の重畳を行いステップＳＴ
２４に進む。ステップＳＴ２４では、変数ｉから「１」
を減算して、得られた減算値を新たに変数ｉとして設定
してステップＳＴ２２に戻る。このステップＳＴ２２〜
ステップＳＴ２４の処理を繰り返すことにより図１２に
示す処理が行われる。その後、連続シーンの最初の入力
画像が重畳されると変数ｉが「０」となるため広画角画
像の生成処理が終了される。

【００７６】図１７のステップＳＴ５では、ステップＳ
Ｔ３で算出された表示位置に入力画像を表示させたと
き、入力画像が画像表示領域を超えてしまうか否かを判
別する。ここで、入力画像が画像表示領域を超えてしま
うことが無いときにはステップＳＴ７に進む。また、入
力画像が画像表示領域を超えてしまうときにはステップ
ＳＴ６に進む。ステップＳＴ６では、表示位置の補正を
行う。この表示位置の補正では、広画角画像と入力画像
の表示位置を補正してステップＳＴ７に進む。ステップ
ＳＴ７では、広画角画像に入力画像を重畳して表示画像
を生成する。

【００７７】図２０は、表示画像の生成動作を示すフロ
ーチャートである。ステップＳＴ３１では、変数ｊを
「１」に設定してステップＳＴ３２に進む。ステップＳ
Ｔ３２では、変数ｊの値が連続シーンのフレーム数ＫＦ
よりも大きいか否かを判別する。ここで、変数ｊの値が
連続シーンのフレーム数ＫＦよりも大きくないときには
ステップＳＴ３３に進む。

【００７８】ステップＳＴ３３では、広画角画像に入力
画像を重畳する。なお画像を重畳させる際には、ステッ
プＳＴ３で算出された表示位置、あるいはステップＳＴ
７で表示位置の補正が行われているときには、補正され
た表示位置に基づいて広画角画像と入力画像を重畳させ
る。このとき、入力画像と動きを検出した背景部分の画
像は一致したものとなる。ステップＳＴ３４では、入力
画像を重畳させた画像をｊフレーム目の表示画像として
ステップＳＴ３５に進む。ステップＳＴ３５では、この
表示画像を新たな広画角画像としてステップＳＴ３６に
進む。

【００７９】ステップＳＴ３６では、新たな広画角画像
を補正された表示位置に表示させたとき、画像の欠落部
分が生じているか否かを判別する。ここで、画像の欠落
部分が無いときにはステップＳＴ３８に進む。また、画
像の欠落部分が生じたときにはステップＳＴ３７に進
む。ステップＳＴ３７では、欠落部分に対応する画像を
ステップＳＴ４で生成した広画角画像から取り出すこと
で、欠落部分の画像を補充してステップＳＴ３８に進
む。

【００８０】ステップＳＴ３８では、変数ｊに「１」を
加算して、得られた加算値を新たに変数ｊとしてステッ
プＳＴ３２に戻る。このステップＳＴ３２〜ステップＳ
Ｔ３８の処理を繰り返すことで、連続シーンの各入力画
像から広画角の表示画像を生成できる。

【００８１】その後、連続シーンの最後の入力画像が重
畳されると変数ｉが「ＫＦ＋１」となりステップＳＴ３
２で変数ｉが「ＫＦ」よりも大きいと判別されると、表
示画像の生成処理を終了する。

【００８２】図１７のステップＳＴ８では、生成された
表示画像を画像表示装置に対応させて分割する。例えば
図１に示すように３つプロジェクタ１２L，１２C，１２
Rを用いて、表示画像をスクリーン１０L，１０C，１０R
に表示させる場合、表示画像をスクリーン１０L，１０
C，１０R毎に分割して、この分割画像の画像信号を画像
信号ＳＤL，ＳＤC，ＳＤRとして、プロジェクタ１２L，
１２C，１２Rに供給する。

【００８３】このように、上述の実施の形態によれば、
従来固定位置で表示とされていた入力画像を、入力画像
内の画像動きに応じて表示位置が移動される画像として
表示することができると共に、例えば背景部分が広画角
画像として表示されるので、臨場感の高い、あるいは理
解しやすい視聴が可能となる。また、撮影時のカメラ動
き、あるいはカメラの向きに忠実な表現が可能であり、
実世界と同じ位置、同じ方向に画像が提示されるため、
視聴者は現実と同じ空間、あるいは動きを視聴時に取得
することができる。さらに、画面自体の動きによって、
従来よりも大きな躍動感を広画角の表示画像から得るこ
とが可能であり、視聴者自らの顔向きの動きなどによ
り、完全受動的であった動き表現の視聴を、視線を動か
すというアクテイブな操作で感じることが可能となる。

【００８４】なお、上述の画像処理装置２０は、連続シ
ーンを判別してから、この連続シーンにおける全画面の
動きベクトルに基づいて表示位置を移動させるものであ
り、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤR
をリアルタイムで生成することが困難である。このた
め、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録し
て、その後記録媒体に記録されている画像信号ＳＤL，
ＳＤC，ＳＤRを同期して再生することにより、複数のス
クリーンを用いて、広画角であると共に被写体の動きに
対応させて被写体の表示位置を移動させることができ
る。また、画像信号ＳＤinと表示位置決定部２３１で決
定された表示位置を示す表示位置情報ＨＰ及び連続シー
ン毎の広画角画像等を関係付けて記録媒体に記録させる
ものとして、画像表示を行う際に、画像信号ＳＤinとこ
の画像信号ＳＤinに関係付けて記憶されている表示位置
情報ＨＰや広画角画像を記録媒体から読み出して画像信
号ＳＤL，ＳＤC，ＳＤRも生成するものとしても良い。
この場合には、画像信号ＳＤL，ＳＤC，ＳＤRを記録し
ておく必要がないので、記録する信号量を少なくでき
る。また、映像コンテンツの送出側で上述の処理を行っ
てから送信を行うものとすれば、画像信号ＳＤinや表示
位置情報ＨＰ及び広画角画像等を関係付けて記録してお
くことなく、臨場感の高い広画角の画像表示を行うこと
ができる。

【００８５】さらに、画像表示領域を設定してから表示
位置の決定や画像信号ＳＤL，ＳＤC，ＳＤRの生成を行
うことができるので、スクリーンサイズやスクリーン数
等が変更されても容易に対応させて臨場感の高い画像表
示を行うことができる。

【００８６】なお、上述の実施の形態におけるスクリー
ンやプロジェクタは例示的なものであり、表示画像サイ
ズよりも画像表示領域が大きければ、本願発明のように
現実世界に忠実で臨場感の高い画像表示が可能である。

【００８７】さらに、新たに映像ソースや別のフォーマ
ットを作らなくても、従来のテレビ用やビデオ映像など
のコンテンツの画像信号を用いて本発明の処理を施すこ
とで、従来の映像鑑賞以上の臨場感を得ることができ
る。

【００８８】

【発明の効果】この発明によれば、入力画像のシーンチ
ェンジと入力画像内の画像動きを検出して、検出された
シーンチェンジに基づいて判別された連続シーンの期間
中における画像動きに基づき、連続シーンの期間中の入
力画像を重畳させて、入力画像よりも広画角であって入
力画像の位置が画像動きに応じて変化される表示画像が
生成される。このため、臨場感の高い広画角の画像表示
を行うことができる。

【００８９】また、連続シーンの期間中に検出された画
像動きに基づき、入力画像の表示位置を決定するものと
し、表示位置が決定された連続シーンの期間中の入力画
像を重畳させて、入力画像よりも広画角の広画角画像を
生成し、表示位置に移動された入力画像を広画角画像に
重畳することで表示画像が生成される。このため、表示
画像では、画像動きの検出された例えば入力画像の背景
部分と広画角画像が一致した画像となり、広画角画像に
入力画像を重畳させても自然な表示画像を得ることがで
きる。

【００９０】また、表示位置が決定された連続シーンの
期間中の入力画像を逆時間順に順次重畳することで広画
角画像が生成される。このため、広画角画像を容易に生
成できる。さらに、生成した広画角画像のサイズが表示
画像を表示する画像表示領域のサイズよりも大きい場
合、連続シーンの期間中に広画角画像の表示位置が、連
続シーンの期間中に検出された画像動きに基づいて移動
されると共に、広画角画像の移動に伴い、連続シーンの
期間中の入力画像に対する表示位置が補正される。この
ため、入力画像が画像表示領域内に収まるように表示画
像を生成できると共に、自然な表示画像を得ることがで
きる。また、表示画像を表示する画像表示領域が複数の
表示領域で構成されているとき、複数の表示領域に対応
させて表示画像が分割されるので、画像表示領域の構成
に応じた臨場感の高い画像表示を行うことができる。

【図面の簡単な説明】

【図１】画像表示システムの構成を示す図である。

【図２】画像処理装置の構成を示す図である。

【図３】シーンチェンジ検出部の構成を示す図である。

【図４】フレーム位置と正規化値の関係を示す図であ
る。

【図５】画素の間引きを示す図である。

【図６】シーンチェンジ検出部の他の構成を示す図であ
る。

【図７】フレーム位置と相関係数の関係を示す図であ
る。

【図８】動き検出部の構成を示す図である。

【図９】広画角画像生成部の構成を示す図である。

【図１０】連続シーンの判別を説明するための図であ
る。

【図１１】位置決定部の動作を説明するための図であ
る。

【図１２】広画角画像の生成動作を説明するための図で
ある。

【図１３】表示位置補正方法を説明するための図であ
る。

【図１４】他の表示位置補正方法を説明するための図で
ある。

【図１５】表示画像の生成動作を説明するための図であ
る。

【図１６】コンピュータを用いたときの構成を示す図で
ある。

【図１７】画像処理動作を示すフローチャートである。

【図１８】シーン判別の動作を示すフローチャートであ
る。

【図１９】広画角画像の生成動作を示すフローチャート
である。

【図２０】表示画像の生成動作を示すフローチャートで
ある。

【符号の説明】

１０L，１０C，１０R・・・スクリーン、１２L，１２
C，１２R・・・プロジェクタ、２０・・・画像処理装
置、２１・・・シーンチェンジ検出部、２２・・・動き
検出部、２３・・・表示画像生成部、２４・・・画像分
割部、２１１，２２１・・・遅延回路、２１２・・・差
分平均算出回路、２１３・・・輝度平均算出回路、２１
４・・・正規化回路、２１５，２１７・・・判定回路、
２１６・・・相関係数算出回路、２２２・・・画像シフ
ト回路、２２３・・・差分演算回路、２２４・・・最小
値判定回路、２３１・・・表示位置決定部、２３２・・
・広画角画像生成部、２３３・・・入力画像移動部、２
３４・・・画像重畳部、３０１・・・重畳処理回路、３
０２・・・表示範囲判定回路、３０３・・・広画角画像
位置補正回路、５０１・・・ＣＰＵ、５０２・・・ＲＯ
Ｍ、５０３・・・ＲＡＭ、５１４・・・画像信号入力
部、５１５・・・画像信号出力部

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/36 ５１０ Ｇ０９Ｇ 5/36 ５２０Ｌ Ｈ０４Ｎ 5/66 ５２０Ｐ Ｆターム(参考） 5C058 BA17 BA23 BA24 BA31 BB13 BB25 EA02 5C082 AA02 AA27 BA12 BA41 BB42 BC03 BD06 CA54 CA55 CA76 CA81 CB01 DA86 MM10 5L096 FA32 GA08 GA51 HA04

Claims (11)

【特許請求の範囲】
1. 【請求項１】 入力画像のシーンチェンジを検出するシ
   ーンチェンジ検出手段と、 前記入力画像内の画像動きを検出する動き検出手段と、 前記シーンチェンジ検出手段によって検出されたシーン
   チェンジに基づいて連続シーンの期間を判別して、該連
   続シーンの期間中に前記動き検出手段で検出された画像
   動きに基づき前記連続シーンの期間中の前記入力画像を
   重畳させて、前記入力画像よりも広画角であって前記入
   力画像の位置が前記画像動きに応じて変化される表示画
   像を生成する表示画像生成手段を有することを特徴とす
   る画像処理装置。
2. 【請求項２】 前記表示画像生成手段は、 前記連続シーンの期間中に前記動き検出手段で検出され
   た画像動きに基づき、前記入力画像の表示位置を決定す
   る表示位置決定手段と、 前記表示位置決定手段で表示位置が決定された前記連続
   シーンの期間中の入力画像を重畳させて、前記入力画像
   よりも広画角の広画角画像を生成する広画角画像生成手
   段と、 前記入力画像を前記記表示位置決定手段で決定された表
   示位置に移動する入力画像移動手段と、 前記入力画像移動手段で表示位置が移動された入力画像
   を前記広画角画像に重畳することで前記表示画像を生成
   する画像重畳手段とを有することを特徴とする請求項１
   記載の画像処理装置。
3. 【請求項３】 前記広画角画像生成手段は、前記表示位
   置決定手段で表示位置が決定された前記連続シーンの期
   間中の入力画像を逆時間順に順次重畳することで前記広
   画角画像を生成することを特徴とする請求項２記載の画
   像処理装置。
4. 【請求項４】 前記広画角画像生成手段は、前記表示画
   像における前記入力画像部分が前記画像表示領域を超え
   ないように、前記広画角画像の表示位置を前記連続シー
   ンの期間中に前記動き検出手段で検出された画像動きに
   基づいて移動させるものとし、 前記入力画像移動手段は、前記広画角画像生成手段にお
   ける前記広画角画像の移動に伴い、前記記表示位置決定
   手段で決定された表示位置を補正することを特徴とする
   請求項２記載の画像処理装置。
5. 【請求項５】 前記表示画像を分割する画像分割手段を
   有し、 前記画像分割手段は、前記表示画像を表示する画像表示
   領域が複数の表示領域で構成されているとき、前記複数
   の表示領域に対応させて前記表示画像を分割することを
   特徴とする請求項１記載の画像処理装置。
6. 【請求項６】 入力画像のシーンチェンジと前記入力画
   像内の画像動きを検出し、 検出されたシーンチェンジに基づいて連続シーンの期間
   を判別して、該連続シーンの期間中に検出された画像動
   きに基づき前記連続シーンの期間中の前記入力画像を重
   畳させて、前記入力画像よりも広画角であって前記入力
   画像の位置が前記画像動きに応じて変化される表示画像
   を生成することを特徴とする画像処理方法。
7. 【請求項７】 前記連続シーンの期間中に検出された画
   像動きに基づき、前記入力画像の表示位置を決定するも
   のとし、 前記表示位置が決定された前記連続シーンの期間中の入
   力画像を重畳させて、前記入力画像よりも広画角の広画
   角画像を生成し、 前記入力画像を前記表示位置に移動するものとし、 前記表示位置が移動された入力画像を前記広画角画像に
   重畳することで前記表示画像を生成することを特徴とす
   る請求項６記載の画像処理方法。
8. 【請求項８】 前記表示位置が決定された前記連続シー
   ンの期間中の入力画像を逆時間順に順次重畳することで
   前記広画角画像を生成することを特徴とする請求項７記
   載の画像処理方法。
9. 【請求項９】 前記表示画像における前記入力画像部分
   が前記画像表示領域を超えないように、前記広画角画像
   の表示位置を前記連続シーンの期間中に検出された画像
   動きに基づいて移動させるものとし、 前記広画角画像の移動に伴い、前記連続シーンの期間中
   の入力画像に対する表示位置を補正することを特徴とす
   る請求項７記載の画像処理方法。
10. 【請求項１０】 前記表示画像を表示する画像表示領域
    が複数の表示領域で構成されているとき、前記複数の表
    示領域に対応させて前記表示画像を分割することを特徴
    とする請求項６記載の画像処理方法。
11. 【請求項１１】 コンピュータに、 入力画像のシーンチェンジを検出する手順と、 前記入力画像内の画像動きを検出する手順と、 検出されたシーンチェンジに基づいて連続シーンの期間
    を判別して、該連続シーンの期間中に検出された画像動
    きに基づき前記連続シーンの期間中の前記入力画像を重
    畳させて、前記入力画像よりも広画角であって前記入力
    画像の位置が前記画像動きに応じて変化される表示画像
    を生成する手順とを実行させることを特徴とする画像処
    理プログラム。