JP2003256846A - 画像処理装置と画像処理方法および画像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】現実世界に忠実で臨場感の高い画像表示を可能
とすると共に、画像を途切れることなく正しく表示す
る。 【解決手段】シーンチェンジ検出部２１は、入力画像信
号に基づく表示画像のシーンチェンジを検出する。動き
検出部２２は、表示画像の動きベクトルを検出する。画
像位置移動部２３は、表示画像の画像サイズよりも大き
い画像表示領域を設定すると共に、シーンチェンジ検出
部２１でのシーンチェンジの検出結果に基づき連続シー
ンを判別して、表示画像の表示位置を、画像表示領域お
ける表示画像の移動可能範囲内で、連続シーンの期間中
に動き検出部２２で検出された動きベクトルに基づいて
移動させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理装置と
画像処理方法および画像処理プログラムに関する。詳し
くは、入力画像信号に基づく表示画像の動きベクトルを
検出すると共に表示画像のシーンチェンジを検出し、ま
た表示画像の画像サイズよりも大きい画像表示領域を設
定すると共に、シーンチェンジの検出結果に基づき連続
シーンを判別して、表示画像の表示位置を、画像表示領
域おける表示画像の移動可能範囲内で、連続シーンの期
間中に検出された動きベクトルに基づいて移動させるこ
とにより、臨場感の高い画像表示を可能とすると共に画
像を途切れることなく正しく表示するものである。

【０００２】

【従来の技術】従来、テレビジョン放送番組や映画等の
画像を表示する画像表示システムでは、テレビジョン装
置の表示画面やスクリーン等のように、１つの固定され
た画枠を用いて画像表示がなされている。また、放送番
組や映画等の画像コンテンツを制作する場合にも、この
ような固定画枠で画像表示を行うことを前提としてコン
テンツ制作が行われている。

【０００３】さらに、近年では、臨場感を高めた画像表
示を行うために多画面表示システムや曲面ディスプレ
イ、広画角ディスプレイ、ヘッドマウントディスプレイ
等が実用化されている。しかし、このような多画面表示
システム等を用いる場合でも、このシステムで形成され
る画像表示領域を１つの固定画枠として用い、この固定
画枠に合わせた画像表示を行うことを前提としてコンテ
ンツ制作が行われている。

【０００４】

【発明が解決しようとする課題】ところで、このように
固定画枠に合わせて制作された画像コンテンツにおい
て、撮影時にカメラ動きを含んだ画像などが含まれてい
る場合、固定画枠で撮影画像を表示すると共に、この撮
影画像における背景の動きによってカメラ動きを表現す
ることが行われている。つまり、視聴者は固定画枠内に
表示された画像の背景が移動することによって、その中
の被写体が背景の動きと逆の方向に動いていることを認
識すると共に、視聴者はあたかも自分が被写体の動きに
合わせて向きを変えているような感覚を得る。

【０００５】これは、撮影された広い空間の画像を無理
やり固定画枠内の２次元平面に射影した結果であり、視
聴者は実際に動いていなくとも背景の動きによって感覚
的には動いた感じを受けるため、現実空間との不整合に
よる不自然さが付きまとう。このため、撮影画像に対し
て動き検出を行い、被写体の動きに合わせて表示位置を
移動させるものとして、現実空間との不整合を防止する
ことが例えば特開平１０−３０１５５６号公報で開示さ
れている。

【０００６】しかし、画像表示領域が限られていると
き、被写体の動きに合わせて画像の表示位置を移動させ
ると、画像が画像表示領域から外れてしまい、画像を正
しく表示することができない。

【０００７】そこで、この発明では、現実世界に忠実で
臨場感の高い画像表示を可能とすると共に、画像を途切
れることなく正しく表示できる画像処理装置と画像処理
方法および画像処理プログラムを提供するものである。

【０００８】

【課題を解決するための手段】この発明に係る画像処理
装置は、入力画像信号に基づく表示画像の動きベクトル
を検出する動き検出手段と、前記表示画像のシーンチェ
ンジを検出するシーンチェンジ検出手段と、前記表示画
像の画像サイズよりも大きい画像表示領域を設定して、
該画像表示領域に対する前記表示画像の表示位置を移動
させる画像位置移動手段とを設け、前記画像移動手段
は、前記シーンチェンジ検出手段でのシーンチェンジ検
出結果に基づき連続シーンを判別し、前記表示画像の表
示位置を、前記画像表示領域おける前記表示画像の移動
可能範囲内で、前記連続シーンの期間中に前記動き検出
手段で検出された動きベクトルに基づいて移動させるも
のである。

【０００９】また、画像処理方法は、入力画像信号に基
づく表示画像の動きベクトルを検出し、前記表示画像の
シーンチェンジを検出し、前記表示画像の画像サイズよ
りも大きい画像表示領域を設定すると共に、前記シーン
チェンジの検出結果に基づき連続シーンを判別して、前
記表示画像の表示位置を、前記画像表示領域おける前記
表示画像の移動可能範囲内で、前記連続シーンの期間中
に検出された動きベクトルに基づいて移動させるもので
ある。

【００１０】また、画像処理プログラムは、コンピュー
タに、入力画像信号に基づく表示画像の動きベクトルを
検出する手順と、前記表示画像のシーンチェンジを検出
する手順と、前記表示画像の画像サイズよりも大きい画
像表示領域を設定すると共に、前記シーンチェンジの検
出結果に基づき連続シーンを判別して、前記表示画像の
表示位置を、前記画像表示領域おける前記表示画像の移
動可能範囲内で、前記連続シーンの期間中に検出された
動きベクトルに基づいて移動させる手順とを実行させる
ものである。

【００１１】この発明においては、シーンチェンジの検
出結果に基づき連続シーンが判別されると共に、この連
続シーンの期間中に検出された動きベクトルを累積して
動きベクトルの時間推移情報である動き累積値を生成し
て、この動き累積値に基づいて連続シーンにおける表示
画像の振れ幅が判別される。表示画像の画像サイズより
も大きい画像表示領域における表示画像の移動可能範囲
と振れ幅に基づき、振れ幅の中央に対応する表示画像の
表示位置が移動可能範囲の中央となるように、連続シー
ンの最初の表示画像の表示位置が設定される。また、振
れ幅が移動可能範囲よりも大きいときには、表示位置の
移動方向が画像表示領域の外側方向であるときに動きベ
クトルの動き量を縮小させる補正処理や、表示位置が画
像表示領域の中央から離れるに伴い動き量の縮小率を大
きくする補正処理が行われて、この動き量に基づき表示
画像の表示位置が移動される。

【００１２】さらに、基準表示位置が設定されると共
に、検出された動きベクトルに対してフィルタ処理が行
われて、このフィルタ処理が行われた動きベクトルに応
じて表示画像の表示位置が基準表示位置から移動され
る。また、連続シーン内の動きベクトルに応じて表示画
像の表示位置を基準表示位置から移動させたときに、表
示画像が画像表示領域を超える場合には、連続シーン内
の動きベクトルの動き量を縮小させる補正処理が行われ
る。

【００１３】

【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図１は、この発明
における画像処理装置を用いた表示システムの全体構成
を示している。この表示システムは、例えば３つのスク
リーンをユーザの前面と両側面側に配置している。ま
た、各スクリーン１０L，１０C，１０Rに対応させてプ
ロジェクタ１２L，１２C，１２Rを設けている。この各
プロジェクタ１２L，１２C，１２Rを用いて画像を投影
することにより、３スクリーン分の広範囲の画枠を用い
て画像の表示が行われる。プロジェクタ１２L，１２C，
１２Rは、画像処理装置２０と接続されている。

【００１４】画像処理装置２０は、入力画像信号ＳＤin
に基づいて画像の動きベクトルやシーンチェンジを検出
すると共に、検出した動きベクトルに応じて画像表示位
置が移動するように３つの画像信号ＳＤL，ＳＤC，ＳＤ
Rを生成して、画像信号ＳＤLをプロジェクタ１２L、画
像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプ
ロジェクタ１２Rに供給する。また、シーンチェンジを
検出したとき、シーンチェンジ前の連続シーンとは関連
性を有しない表示位置に新たなシーンの画像を表示す
る。

【００１５】例えば、画像処理装置２０に供給する入力
画像信号ＳＤinは、図２Ａに示すように、静止している
被写体ＯＢaをビデオカメラ１００で撮影し、その後図
２Ｂに示すように、ビデオカメラ１００をパンニングさ
せて前進，後退，前進の順に移動する被写体ＯＢbを撮
影し、さらに、図２Ｃに示すように、静止している被写
体ＯＢcを撮影して得た画像信号であるものとする。

【００１６】各スクリーンのサイズは例えばアスペクト
比が「４：３」で表示サイズが「７２０画素×４８０画
素」、入力画像信号ＳＤinに基づく画像は、アスペクト
比が「１６：９」や映画等で用いられているワイド画像
のアスペクト比で表示サイズが「７２０画素×２７０画
素」の場合を図３に示す。

【００１７】画像処理装置２０は、入力画像信号ＳＤin
に基づき画像信号ＳＤCを生成してプロジェクタ１２Cに
供給し、図３Ａに示すように例えば動きのない被写体Ｏ
Ｂaを撮影したシーンＡの画像を前方のスクリーン１０C
の中央に表示させる。その後、動きのある被写体ＯＢb
を撮影したシーンＢの画像については、シーンＢの画像
の動きベクトルに基づいて表示位置の移動範囲を決定し
て、この移動範囲が画像表示領域の中央となるように、
シーンＢの最初の画像の表示位置を決定する。この決定
された表示位置に基づき入力画像信号ＳＤinから画像信
号ＳＤL，ＳＤC，ＳＤRを生成して、例えば画像信号Ｓ
ＤC，ＳＤRによって図３Ｂに示すように前方のスクリー
ン１０Cと右側のスクリーン１０Rを用いて画像を表示さ
せる。その後、図３Ｃ，図３Ｄに示すように被写体ＯＢ
bの動きに合わせて画像表示位置を右側から左側に移動
させる。また、シーンチェンジが行われてシーンＢから
シーンＣに切り替えられたとき、例えば動きのない被写
体ＯＢcを撮影したシーンＣの画像を図３Ｅに示すよう
にスクリーン１０Cの中央に表示させる。このように、
画像の動き量に基づいて表示位置の移動範囲を決定し
て、この移動範囲が画像表示領域の中央となるように表
示位置を設定する。また、移動範囲が画像表示領域より
も大きいときには、表示画像が欠けてしまうことがない
ように表示位置を調整する。このように、画像の動きベ
クトルに応じて表示位置を移動させる際に画像表示領域
を有効に利用することで、臨場感の高い画像表示を行
う。

【００１８】図４は、画像処理装置２０の概略構成を示
している。画像処理装置２０は、入力画像信号ＳＤinを
シーンチェンジ検出部２１と動き検出部２２と画像位置
移動部２３に供給する。

【００１９】シーンチェンジ検出部２１は、入力画像信
号ＳＤinに基づいてシーンチェンジ検出、すなわち連続
シーンとこの連続シーンとは異なるシーンとの繋ぎ目部
分である画像の不連続位置を検出する。図５は、シーン
チェンジ検出部２１の概略構成を示しており、例えば２
フレーム分の画像信号を用いて連続するシーンであるか
否かを検出するものである。

【００２０】シーンチェンジ検出部２１の遅延回路２１
１は、入力画像信号ＳＤinを１フレーム遅延させて遅延
画像信号ＳＤaとして差分平均算出回路２１２に供給す
る。差分平均算出回路２１２は、入力画像信号ＳＤinと
遅延画像信号ＳＤaに基づき、２フレーム間の差分平均
値Ｄavを算出して正規化回路２１４に供給する。この差
分平均値Ｄavの算出は、各画素における２フレーム間の
輝度レベルの差分値を算出して、得られた差分値の平均
値を差分平均値Ｄavとして正規化回路２１４に供給す
る。なお、１フレームの画像の画素数が「Ｎ」で、入力
画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画
像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたと
き、差分平均値Ｄavは式（１）に基づいて算出できる。

【００２１】

【数１】

【００２２】ここで、差分平均値Ｄavは、画像の輝度レ
ベルによって大きく変化する。例えば画像が明るい場
合、シーンの切り替えが行われなくとも画像の一部が暗
い画像に変化するだけで差分平均値Ｄavが大きくなって
しまう。一方、画像が暗い場合、シーンの切り替えが行
われても輝度レベルの変化が小さいことから差分平均値
Ｄavは大きくならない。このため、シーンチェンジ検出
部２１に正規化回路２１４を設けるものとして、画像の
明るさに応じた差分平均値Ｄavの正規化を行い、画像の
明るさの影響を少なくして正しくシーンチェンジ検出を
可能とする。

【００２３】輝度平均算出回路２１３は、入力画像信号
ＳＤinに基づき、各画素の輝度レベルに基づき１フレー
ムにおける輝度レベルの平均値を算出して輝度平均値Ｙ
avとして正規化回路２１４に供給する。なお、上述のよ
うに１フレームの画像の画素数が「Ｎ」で入力画像信号
ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたと
き、輝度平均値Ｙavは式（２）に基づいて算出できる。

【００２４】

【数２】

【００２５】正規化回路２１４は、画像の明るさに応じ
た差分平均値Ｄavの正規化を行う。すなわち、式（３）
に示すように、画像の明るさを示す輝度平均値Ｙavに応
じて差分平均値Ｄavを補正して差分平均正規化値（以下
単に「正規化値」という）Ｅを生成する。 Ｅ＝Ｄav／Ｙav ・・・（３） この正規化回路２１４で生成された正規化値Ｅは、判定
回路２１５に供給される。

【００２６】判定回路２１５は、予め設定された閾値Ｌ
rを有しており、正規化値Ｅと閾値Ｌrを比較して、正規
化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジ
と判定する。また、正規化値Ｅが閾値Ｌr以下であると
きにはシーンチェンジでない連続シーンと判定する。さ
らに、判定回路２１５は、この判定結果を示すシーンチ
ェンジ検出信号ＳＣを生成して図４の動き検出部２２と
画像位置移動部２３に供給する。

【００２７】このように、正規化回路２１４は画像の明
るさに応じた差分平均値Ｄavの正規化を行い、判定回路
２１５は正規化値Ｅを用いてシーンチェンジであるか連
続シーンであるかの判別を行うので、画像の明るさの影
響を少なくして正しくシーンチェンジを検出できる。

【００２８】図６は、フレーム位置と正規化値Ｅの関係
を例示的に示したものである。ここで、閾値Ｌrが
「０．４」に設定されている場合、正規化値Ｅが「０．
４」を超えるフレーム位置をシーンチェンジ検出位置Ｐ
scとする。

【００２９】ところで、上述のシーンチェンジ検出部２
１では、１フレーム内の全画素の信号を用いて、シーン
チェンジ検出を行うものとしたが、全画素の信号を用い
て差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算
処理に時間を要してしまう。また、演算処理に要する時
間を短くするために演算処理を高速化すると、演算処理
コストが膨大となってしまう。このため、画素の間引き
例えば図７に示すように１フレームの画像を８×４画素
の領域に区分して各領域から斜線で示すように１画素だ
けを選択することで画素の間引きを行い、選択された画
素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算
出する。このように、画素の間引きを行うものとすれ
ば、演算量が少なくなるので演算処理を簡単に行うこと
ができると共に、演算処理を高速に行う必要がなく演算
処理コストが膨大となってしまうことも防止できる。

【００３０】また、上述のシーンチェンジ検出部２１で
は、正規化値Ｅを用いてシーンチェンジ検出を行うもの
としたが、２フレーム間の画像の相関係数ｒを求めて、
この相関係数ｒと閾値を比較することで、精度良くシー
ンチェンジ検出を行うこともできる。図８は、相関係数
ｒを用いる場合のシーンチェンジ検出部の構成を示して
いる。遅延回路２１１は、入力画像信号ＳＤinを１フレ
ーム遅延させて遅延画像信号ＳＤaとして相関係数算出
回路２１６に供給する。相関係数算出回路２１６は、入
力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関
係数ｒの算出を行う。

【００３１】ここで、１フレームの画像の画素数を
「Ｎ」、最初のフレームの画像信号に基づく画素の輝度
レベルを「ＹＦ」、次のフレームの画像信号に基づく画
素の輝度レベルを「ＹＳ」、最初のフレームの画像信号
に基づく画素の輝度レベル平均を「ＹＦav」、次のフレ
ームの画像信号に基づく画素の輝度レベル平均を「ＹＳ
av」としたとき、相関係数ｒは式（４）を用いて算出で
きる。

【００３２】

【数３】

【００３３】この相関係数算出回路２１６で算出された
相関係数ｒは、判定回路２１７に供給される。判定回路
２１７は、予め設定された閾値Ｌrを有しており、相関
係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下
であるときにはシーンチェンジと判定する。また、相関
係数ｒが閾値Ｌr以下でないときにはシーンチェンジで
ない連続シーンと判定する。さらに、判定回路２１７
は、この判定結果を示すシーンチェンジ検出信号ＳＣを
生成して、図４の動き検出部２２と画像位置移動部２３
に供給する。なお、図９は、フレーム位置と相関係数ｒ
の関係を例示的に示したものである。ここで、閾値Ｌr
が例えば「０．４」に設定されている場合、相関係数ｒ
が「０．４」以下となるフレーム位置をシーンチェンジ
検出位置Ｐscとする。

【００３４】動き検出部２２は、シーンチェンジ検出部
２１からのシーンチェンジ検出信号ＳＣによって連続シ
ーンであることが示されたフレームに関して動きベクト
ルの検出を行い、表示面積の広い部分の動きベクトル例
えば背景部分の動きベクトルを検出する。図１０は、動
き検出部２２の構成を示しており、例えばブロックマッ
チング方法を用いて動きベクトルの検出を行う場合であ
る。

【００３５】動き検出部２２の遅延回路２２１は、入力
画像信号ＳＤinを１フレーム遅延させて遅延画像信号Ｓ
Ｄbとして画像位置切替回路２２２に供給する。画像位
置切替回路２２２は、遅延画像信号ＳＤbに基づく画像
の位置を、予め設定された動き探索範囲内で水平方向や
垂直方向に順次変更して新たな画像信号ＳＤcを順次生
成する。この生成された画像信号ＳＤCは、差分演算回
路２２３に供給される。また、画像位置切替回路２２２
は、画像の移動方向と移動量を示す動きベクトルＭＶを
最小値判定回路２２４に供給する。

【００３６】差分演算回路２２３は、画像信号ＳＤcと
入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最
小値判定回路２２４に供給する。

【００３７】最小値判定回路２２４は、差分値ＤＭと、
この差分値ＤＭの算出に用いた画像信号ＳＤcを生成す
る際の動きベクトルＭＶとを関係付けて保持する。ま
た、画像位置切替回路２２２で動き探索範囲内での画像
の移動を完了したとき、最小値判定回路２２４は、保持
している差分値ＤＭから最小値を判別して、この最小値
となる差分値ＤＭと関係付けて保持されている動きベク
トルＭＶを、動き検出情報ＭＶＤとして図４の画像位置
移動部２３に供給する。

【００３８】ところで、シーンチェンジ検出信号ＳＣに
よってシーンチェンジが検出されたことが示された後に
再度連続シーンであることが示された場合、シーンチェ
ンジ後の画像の移動方向は予測できない。このため、画
像位置切替回路２２２は、シーンチェンジ検出後の最初
の動きベクトルの検出時に、動き探索範囲を遅延画像信
号ＳＤbに基づく画像の位置を中心として設定する。こ
のように動き探索範囲を設定すれば、シーンの切り替え
が生じた後でも正しく背景画像の動きベクトルを検出で
きる。

【００３９】また、連続シーンでは画像の動きも連続し
ていることが多い。このため、最小値判定回路２２４
は、動き検出情報ＭＶＤを画像位置切替回路２２２にも
供給するものとし、画像位置切替回路２２２は、次に画
像の動きベクトルを判別する際の動き探索範囲の中心
を、動き検出情報ＭＶＤに基づいて設定する。このよう
に、画像の動きベクトルに応じて次に動き検出を行う際
の動き探索範囲を設定すれば、動き探索範囲をシーンチ
ェンジ検出後の最初の動きベクトルの検出時に比べて狭
くしても、正しく画像の動きベクトルを検出することが
可能となり、画像の動きベクトルの検出を効率よく速や
かに行うことができる。

【００４０】図４に示す画像位置移動部２３は、シーン
チェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表
示位置を決定する。さらに、決定した表示位置に基づき
画像表示領域に応じた画像信号を生成する。例えば上述
のように画像表示領域が３つの領域（スクリーン１０
L，１０C，１０R）に区分されており、この３つの領域
を使用して画像表示を行う場合、決定した表示位置に基
づき画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号
ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェ
クタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給
することで、スクリーン１０L，１０C，１０Rを使用し
て画像表示を行う。

【００４１】図１１は、画像位置移動部２３の構成を示
している。画像位置移動部２３の画像位置決定回路２３
１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶ
Ｄに基づき表示位置を決定して、この表示位置を示す位
置情報ＰＤを書込読出制御回路２３７に供給する。

【００４２】図１２は、画像位置決定回路２３１の構成
を示している。動き累積回路２３２は、シーンチェンジ
検出信号ＳＣに基づいて連続シーンの期間を判別すると
共に、この連続シーンの期間中における動き検出情報Ｍ
ＶＤで示された動きベクトルを累積して、動きベクトル
の時間推移情報である動き累積値ＭＶＴを生成して初期
位置決定回路２３３と表示範囲判定回路２３４に供給す
る。

【００４３】初期位置決定回路２３３では、動き累積値
ＭＶＴに基づき第１の移動方向（例えば右方向や上方
向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である
第２の移動方向（例えば左方向や下方向）の最大値ＭＶ
Ｔ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき
動き累積値ＭＶＴの振れ幅ＷＴや中央値ＭＶＴctを求め
て、この中央値ＭＶＴctが画像表示範囲の所定位置例え
ば中央となるように、連続シーンの最初の表示画像の表
示位置を決定して初期位置ＰＳとして表示範囲判定回路
２３４と表示位置決定回路２３６に供給する。

【００４４】表示範囲判定回路２３４は、初期位置ＰＳ
に連続シーンの最初の表示画像を表示してから連続シー
ンの最後の画像を表示するまでの期間中、動き検出情報
ＭＶＤに基づいて画像の表示位置を移動させたときに、
表示画像が画像表示領域に入りきるか否かを、初期位置
ＰＳと動き累積値ＭＶＴに基づいて判別する。この表示
範囲判定回路２３４での判別結果を示す判別結果信号Ｃ
Ｈａは動き補正回路２３５に供給される。

【００４５】動き補正回路２３５は、判別結果信号ＣＨ
aで表示画像が画像表示領域に入りきらないことが示さ
れたとき、表示画像が画像表示領域に入りきるように動
き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとし
て表示位置決定回路２３６に供給する。また、判別結果
信号ＣＨaで表示画像が画像表示領域に入りきることが
示されたとき、動き検出情報ＭＶＤの補正を行うことな
く表示位置決定回路２３６に供給する。

【００４６】表示位置決定回路２３６は、初期位置決定
回路２３３から供給された初期位置ＰＳを連続シーンの
最初の表示画像の表示位置とする。その後、動き検出情
報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動き
ベクトルの方向とは逆方向に画像を移動させた位置を表
示位置として、この表示位置を示す位置情報ＰＤを順次
出力して、図１１の書込読出制御回路２３７に供給す
る。

【００４７】ここで、位置情報ＰＤに基づいて画像の表
示位置を切り換える場合、例えば上述のように画像表示
領域が３つの領域（スクリーン１０L，１０C，１０R）
に区分されているときには、入力画像信号ＳＤinと位置
情報ＰＤに基づき、各領域に対して画像表示を行うため
の画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければなら
ない。このため、例えば画像表示領域に対応した記憶領
域を有する画像メモリ２３８を設けるものとし、書込読
出制御回路２３７は、画像メモリ２３８に入力画像信号
ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づ
いて表示位置に対応させる。このように入力画像信号Ｓ
Ｄinを書き込むものとすれば、表示領域に対応した画像
メモリ２３８の記憶領域の画像信号を用いることで、画
像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。

【００４８】書込読出制御回路２３７は、画像メモリ２
３８に画像信号を書き込むための書込制御信号ＷＣと、
画像メモリ２３８に書き込まれている画像信号を読み出
すための読出制御信号ＲＣを生成して、画像メモリ２３
８に供給する。ここで、書込読出制御回路２３７は、上
述したように画像位置決定回路２３１で決定された表示
位置と対応する画像メモリ２３８の記憶領域の位置に画
像信号を記憶させるため、位置情報ＰＤに基づいて書込
制御信号ＷＣを生成する。

【００４９】画像メモリ２３８は、書込制御信号ＷＣに
基づき、画像位置決定回路２３１で決定された表示位置
に対応する記憶領域に、この表示位置の決定が行われた
フレームの入力画像信号ＳＤinを記憶する。なお、入力
画像信号ＳＤinが記憶されていない領域には、例えば黒
表示となる信号を記憶させる。また、画像メモリ２３８
は、書込読出制御回路２３７からの読出制御信号ＲＣに
基づき、記憶領域に記憶されている画像信号を読み出し
て画像信号ＳＤeとして画像分割回路２３９に供給す
る。

【００５０】画像分割回路２３９は、画像信号ＳＤeか
ら例えばスクリーン１０Lに対応する記憶領域の信号を
用いて画像信号ＳＤLを生成する。同様に、スクリーン
１０C，１０Rに対応する記憶領域の信号を用いて画像信
号ＳＤC，ＳＤRを生成する。このようにして生成した画
像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプ
ロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２
Ｒにそれぞれ供給することにより、複数のスクリーンを
利用して１つ画像を表示できると共に、表示画像が複数
のスクリーンに跨るときには、表示画像がスクリーン毎
に分割されて表示される。また、画像信号ＳＤdが記憶
されていない領域に黒表示となる信号を記憶させたとき
には、入力画像信号ＳＤinに基づく画像の周囲が黒表示
となる。

【００５１】なお、画像位置移動部２３は、シーンチェ
ンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位
置を決定して、この決定した表示位置に基づき画像表示
領域に応じた画像信号を生成するものであれば良く、画
像メモリ２３８に対する画像信号の書込位置を表示位置
に応じて制御するものに限られるものではない。例え
ば、画像信号を所定の位置に記憶させると共に、記録さ
れている信号の読出位置を表示位置に基づいて制御する
ことでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成でき
る。

【００５２】次に、画像処理装置２０の動作について説
明する。なお、説明を簡単とするため動き検出情報ＭＶ
Ｄで示される動きベクトル方向の左右方向成分について
のみ説明する。図１３Ａは、入力画像信号ＳＤinに基づ
く画像であり、フレームＦ（g-1）までがシーンＡの画
像、フレームＦ(g)，Ｆ（g+1）〜フレームＦ(g+k)が連
続フレームのシーンＢの画像、フレームＦ(g+k+1)から
シーンＣの画像である場合を示している。

【００５３】入力画像信号ＳＤinがフレームＦ(g-1)か
らフレームＦ(g)およびフレームＦ(g+ｋ)からフレーム
Ｆ(g+k+1)となると、シーンチェンジ検出部２１は、正
規化値Ｅあるいは相関係数ｒに基づいて、このシーンチ
ェンジ位置を検出すると共に、シーンチェンジ検出信号
ＳＣは、シーンチェンジであることを示すものとなる。

【００５４】画像位置決定回路２３１の動き累積回路２
３２は、シーンチェンジ検出信号ＳＣに基づいて連続シ
ーンの期間中における動きベクトルを累積して動き累積
値ＭＶＴを生成する。例えばフレームＦ(g)からフレー
ムＦ(g+k)までの連続シーンであるシーンＢの動きベク
トルを累積して動き累積値ＭＶＴを生成する。

【００５５】図１４はシーンＢの動き累積値ＭＶＴに基
づく左右方向の動き量を示している。なお、図１４にお
いて、シーンＡ，シーンＣは動きがないため動き累積値
ＭＶＴの左右方向の動き量は「０」である。ここで、図
２Ｂに示すように、ビデオカメラ１００を左方向にパン
ニングさせて前進する被写体ＯＢbを撮影すると背景画
像は右方向に移動する。このため動き累積値ＭＶＴの動
き量は右方向に増加する。その後、ビデオカメラ１００
のパンニングを停止したのち、右方向にパンニングさせ
て後退する被写体ＯＢbを撮影すると、動き累積値ＭＶ
Ｔの動き量は減少したのち左方向に増加する。再度、ビ
デオカメラ１００のパンニングを停止したのち左方向に
パンニングさせて前進する被写体ＯＢbを撮影すると、
動き累積値ＭＶＴの動き量は減少したのち右方向に増加
する。

【００５６】初期位置決定回路２３３は、動き累積値Ｍ
ＶＴの振れ幅ＷＴを求めることでシーンＢでの表示位置
の移動範囲を判別し、この移動範囲が画像表示領域内の
移動可能範囲ＬＷ（画像表示領域の右側端部に画像を表
示したときと、画像を水平移動させて左側端部に表示し
たときの表示画像の中心間の距離）の中央となるよう
に、フレームＦ(ｇ)の画像の表示位置である初期位置Ｐ
Ｓを決定する。例えば、動き累積値ＭＶＴの振れ幅ＷＴ
を求め、振れ幅ＷＴの１／２を中央値ＭＷctとする。さ
らに、右方向に動き量の最大値ＭＶＴ-1から中央値ＭＷ
ctを減算すると、画像の移動範囲を画像表示領域の中央
に設定した場合におけるフレームＦ(ｇ)の画像に対する
動き量ＭＵ-sを求めることができる。このため、画像表
示領域の中央から動き量ＭＵ-sだけ動きベクトル方向と
は逆方向に移動した位置を初期位置ＰＳとする。このよ
うに初期位置ＰＳを決定することで、動き検出情報ＭＶ
Ｄに基づいて画像の表示位置を移動させたとき、画像の
移動範囲が画像表示領域の中央となる。このようにして
初期位置決定回路２３３は初期位置ＰＳを決定して表示
範囲判定回路２３４と表示位置決定回路２３６に供給す
る。

【００５７】表示範囲判定回路２３４は、連続シーンの
最初の表示画像を初期位置ＰＳに表示してから、動き検
出情報ＭＶＤで示された動き量だけ表示位置を動きベク
トル方向とは逆方向に移動させたとき、表示画像が画像
表示領域に入りきるか否かを判別する。例えば、動き累
積値ＭＶＴに基づき振れ幅ＷＴを算出して、この振れ幅
ＷＴと画像表示領域内の移動可能範囲ＬＷを比較して、
連続シーンの画像が図１４に示すように移動可能範囲か
らはみ出すことなく移動されるものであるか、あるいは
図１５に示すように、シーンＧの振れ幅ＷＴが移動可能
範囲ＬＷよりも大きくなって、表示画像が画像表示領域
に入りきらなくなってしまうかを判別して、判別結果を
示す判別結果信号ＣＨaを動き補正回路２３５に供給す
る。なお、振れ幅ＷＴは、初期位置決定回路２３３で算
出した振れ幅ＷＴを用いるものとしても良い。

【００５８】動き補正回路２３５は、判別結果信号ＣＨ
aで表示画像が画像表示領域に入りきらないことが示さ
れたとき、動き検出情報ＭＶＤの動き量を少なくする補
正を行い、動き検出情報ＭＶＥとして表示位置決定回路
２３６に供給する。例えば、動き累積値ＭＶＴの振れ幅
ＷＴが大きくなって、図１５で示すように画像表示領域
の移動可能範囲ＬＷを超えてしまう場合、シーンＧの動
き量に補正係数ＣＲ（＜１）を乗算することで、動き量
を少なくする補正を行い、振れ幅ＷＴを小さくする。な
お、振れ幅を小さくしたときに、表示位置が移動可能範
囲ＬＷを超えてしまうときには、動き検出情報ＭＶＥに
係らず表示位置を移動可能範囲ＬＷ内に制限する。

【００５９】また、動き累積値ＭＶＴの振れ幅ＷＴを動
き補正回路２３５に供給すると共に、画像表示領域内の
移動可能範囲ＬＷを動き補正回路２３５に予め記憶させ
ておくものとし、振れ幅ＷＴと移動可能範囲ＬＷを用い
て補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定する
こともできる。この場合には、表示位置を移動しても表
示画像が画像表示領域内となるように動き量が補正され
るので、表示位置が移動可能範囲ＬＷを超えて制限され
てしまうことを防止できる。

【００６０】ところで、動き量に固定の補正係数ＣＲを
乗算すると、常に画像の動き量が小さくなってしまい、
臨場感の少ない画像となってしまう。このため、補正係
数ＣＲに重み付けを行うものとして、臨場感の高い画像
表示を行うこともできる。

【００６１】ここで、画像表示領域の中央から端部側方
向に画像の表示位置を移動させるときには動き量に補正
係数ＣＲを乗算して動き量を少なくする。また、端部側
から画像表示領域の中央方向に表示位置を移動させる場
合、補正係数ＣＲを「１」とする。この場合、画像表示
領域の端部側方向に表示位置が移動される場合にのみ動
き量が小さくされるので、画像が途切れてしまうことを
防止できると共に、画像表示領域の中央方向への表示位
置の移動は、画像の動きベクトルに応じて行われるの
で、臨場感を確保できる。

【００６２】図１６は、動き量の補正を行った場合と行
わなかった場合での画像表示位置の違いを例示的に示し
たものである。ここで、実線で示す動き量の補正を行っ
た場合、破線で示す動き量の補正を行わなかった場合に
比べて、画像の表示位置が中央部分に近くなり、画像が
途切れてしまうことを防止できる。

【００６３】また、動き量の補正では、画像表示領域の
中央部分で表示位置の移動を行う場合に補正係数ＣＲを
「１」あるいは「１」に近づけて動き量の縮小率を少な
くする。また、表示位置が画像表示領域の中央から離れ
て端部側に移動するに伴い補正係数ＣＲを小さくして動
き量の縮小率を大きくする。このように補正係数ＣＲを
設定すると、視聴者が注目する画像表示領域の中央部で
画像の動きベクトルに応じた表示位置の移動が行われ
て、視聴者の注目が少ない画像表示領域の端部で表示位
置の移動が少なくなるので、動き量の補正による臨場感
の減少を抑えることができる。

【００６４】さらに、振れ幅ＷＴが大きい場合、補正係
数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定すると動き量
が少なくなりすぎてしまう。このため、補正係数ＣＲに
制限を設けるものとし、表示位置を移動したときに表示
画像が画像表示領域に入り切らない場合は、動き量に係
らず表示画像を画像表示領域の端部側位置として、画像
が途切れてしまうことを防止することもできる。

【００６５】このようにして、画像位置決定回路２３１
で各フレームの画像の表示位置を決定して位置情報ＰＤ
を生成すると、書込読出制御回路２３７は、位置情報Ｐ
Ｄに基づき書込制御信号ＷＣを生成して画像メモリ２３
８に供給し、図１３Ｂに示すように、画像メモリ２３８
の記憶領域における画像表示位置と対応する記憶領域Ａ
Ｒ1にシーンＡのフレームＦ(g-1)の画像信号を記憶させ
る。また、シーンＢの最初のフレームＦ(g)の画像信号
を、位置情報ＰＤに基づき初期位置ＰＳに対応した記憶
領域ＡＲ2に記憶させる。その後、フレームＦ(g+1)〜フ
レームＦ(g+k)の画像信号を位置情報ＰＤに基づいて移
動させながら画像メモリ２３８に記憶される。また、シ
ーンＣのフレームＦ(g+k+1)の画像信号を記憶領域ＡＲ1
に記憶させる。

【００６６】書込読出制御回路２３７は、読出制御信号
ＲＣを生成して画像メモリ２３８に供給すると共に、画
像メモリ２３８は記憶して画像信号を読出制御信号ＲＣ
に基づいて読み出して画像分割回路２３９に供給する。
画像分割回路２３９は、画像メモリ２３８の記憶領域が
画像表示領域に対応して設けられていることから、スク
リーン１０Lと対応する記憶領域ＢＡLから読み出した信
号に基づいて画像信号ＳＤLを生成する。またスクリー
ン１０Cと対応する記憶領域ＢＡCから読み出した信号に
基づいて画像信号ＳＤCを生成すると共に、スクリーン
１０Rと対応する記憶領域ＢＡRから読み出した信号に基
づいて画像信号ＳＤRを生成する。なお、画像の無い部
分の信号レベルは上述のように黒表示として、画像表示
領域には、入力画像信号ＳＤinに基づく画像のみを表示
させる。

【００６７】このようにして、生成した画像信号ＳＤ
L，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに
供給することで、被写体の動きに応じて表示位置を移動
させることができる。このように、撮影時のカメラ動
き、あるいはカメラの向きに忠実な表現が可能となり、
実世界と同じ位置、同じ方向に映像が表示されるため、
視聴者は現実と同じ空間、あるいは動きを視聴時に取得
することができる。さらに、画面自体の動きによって、
従来よりも大きな躍動感を映像から得ることが可能であ
り、また視聴者自らの顔向きの動きなどにより、完全受
動的であった動き表現の視聴を、視線を動かすというア
クティブな操作で感じることが可能である。また、画像
表示領域に応じた移動が行われるので、画像の途切れを
無くして正しく画像表示を行うことができる。また、振
れ幅を用いることで、振れ幅と画像表示領域の移動可能
範囲から表示位置をどの位補正しなければならないか簡
単に判別できるので、画像表示領域に合わせた表示画像
の移動を容易に行うことができる。

【００６８】ところで、上述の画像位置決定回路２３１
は、動き累積回路２３２で動き検出情報ＭＶＤの動きベ
クトルを累積して、この動き累積値ＭＶＴに基づいて表
示画像の初期位置を決定すると共に、表示位置を動きベ
クトルに基づいて順次移動するものとしたが、基準表示
位置を設定して動き検出情報ＭＶＤで示された動きベク
トル分だけ表示位置を基準表示位置から移動させること
もできる。

【００６９】例えば右方向へのパンニングを行って撮影
したときには、背景画像が左方向に移動することから、
動き検出情報ＭＶＤに基づき、表示位置を基準表示位置
から動きベクトル方向とは逆方向に動き量分だけ移動す
る。パンニングが終了したときには、動き検出情報ＭＶ
Ｄの動き量が「０」となるので、表示位置は基準表示位
置とする。このように動きベクトルに応じて表示位置を
決定した場合には、動きベクトルの変化が表示位置の移
動として表現されることとなり、ダイナミックな画像表
示を行うことができる。

【００７０】図１７は、基準表示位置から動きベクトル
分だけ表示位置を移動させる場合と、動きベクトルに基
づいて順次表示位置を移動させる場合の表示位置を例示
的に示したものである。なお図において実線は基準表示
位置から動きベクトル分だけ表示位置を移動させる場合
を示しており、破線は動きベクトルに基づいて順次表示
位置を移動させる場合を示している。図に示すように、
例えば右方向へのパンニングが終了したときには、動き
検出情報ＭＶＤの動き量が「０」となるので、基準表示
位置から動きベクトル分だけ表示位置を移動させる場合
の表示位置は、基準表示位置となる。また、動きベクト
ルに基づいて順次表示位置を移動させる場合には、表示
位置が初期位置から最も右側に離れた位置となる。

【００７１】また、基準表示位置から動きベクトル分だ
け表示位置を移動させる場合、動きベクトルの検出精度
が高くないと、動きベクトルの検出の誤差によって表示
位置が振動してしまい、安定感のない品位が低下した表
示画像となってしまう。このため、動きベクトルに対し
てフィルタ処理を行い、動きベクトルから高域成分を除
くことで表示位置の振動を防止する。このフィルタ処理
は、例えば±２０フレーム分の動きベクトルから平均を
算出することで、高域成分を除くものとする。

【００７２】図１８は、フィルタ処理を行った場合と行
わない場合とでの表示位置の違いを例示的に示した図で
ある。なお図において太線はフィルタ処理を行い動きベ
クトルから高域成分を除いた場合の表示位置を示してお
り、細線はフィルタ処理を行わない場合の表示位置を示
している。この図１８に示すように、フィルタ処理を行
うことにより動きベクトルが平均化されるので、表示位
置が振動してしまうことを防止して良好な画像表示を行
うことができる。

【００７３】また、動き検出情報ＭＶＤに基づいて表示
位置を決定する場合、動きベクトルに基づく表示位置の
振れ幅が画像表示領域内の移動可能範囲ＬＷに収まるよ
うに設定する。例えば、動き量が「０」であるときの表
示位置を画像表示範囲の中央に基準表示位置として設定
し、動きベクトルの動き量が最大となったときに表示位
置が画像表示範囲の端部側となるように設定する。ここ
で、動き検出情報ＭＶＤで示された動きベクトルの動き
量を「Ｍd」、動き量の最大値を「Ｖmax」としたとき、
表示位置Ｘは式（５）に基づいて算出することができ、
この算出された表示位置Ｘに画像表示を行うものとすれ
ば、画像表示領域を有効に活用して画像表示を行うこと
ができる。 Ｘ ＝ （ＬＷ／Ｖmax）Ｍd ・・・（５）

【００７４】さらに、上述の処理はハードウェアだけで
なくソフトウェアで実現するものとしても良い。この場
合の構成を図１９に示す。コンピュータは、図１９に示
すようにＣＰＵ(Central Processing Unit)３０１を内
蔵しており、このＣＰＵ３０１にはバス３２０を介して
ＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドラ
イブ３０４，入出力インタフェース３０５が接続されて
いる。さらに、入出力インタフェース３０５には入力部
３１１や記録媒体ドライブ３１２，通信部３１３，画像
信号入力部３１４，画像信号出力部３１５が接続されて
いる。

【００７５】外部装置から命令が入力されたり、キーボ
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部３１１から命令が入力
されると、この命令が入出力インタフェース３０５を介
してＣＰＵ３０１に供給される。

【００７６】ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３
０３あるいはハード・ディスク・ドライブ３０４に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３
あるいはハード・ディスク・ドライブ３０４には、上述
の画像処理装置と同様な処理をコンピュータで実行させ
るための画像処理プログラムを予め記憶させて、画像信
号入力部３１４に入力された入力画像信号ＳＤinに基づ
き画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号
出力部３１５から出力する。また、記録媒体に画像処理
プログラムを記録しておくものとし、記録媒体ドライブ
３１２によって、画像処理プログラムを記録媒体に記録
しあるいは記録媒体に記録されている画像処理プログラ
ムを読み出してコンピュータで実行するものとしても良
い。さらに、通信部３１３によって、伝送路を介した画
像処理プログラムの送信あるいは受信を行うものとし、
受信した画像処理プログラムをコンピュータで実行する
ものとしても良い。

【００７７】図２０は、画像処理プログラムの全体構成
を示すフローチャートである。ステップＳＴ１では動き
累積値ＭＶＴを初期化してステップＳＴ２に進み、ステ
ップＳＴ２ではシーン判別を行う。図２１は、このシー
ン判別動作を示すフローチャートである。ステップＳＴ
２１では、フレーム間の差分平均値Ｄavとフレーム内の
輝度平均値Ｙavを算出してステップＳＴ２２に進む。

【００７８】ステップＳＴ２２は、輝度平均値Ｙavを用
いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出す
る。ステップＳＴ２３は、正規化値Ｅと閾値Ｌrを比較
してシーンチェンジであるか否かを判別する。ここで、
正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ
２４に進み、連続シーンと判別してシーン判別を終了す
る、また、正規化値Ｅが閾値Ｌrよりも大きいときには
ステップＳＴ２５に進み、シーンチェンジであると判別
してシーン判別を終了する。

【００７９】なお、シーン判別動作では、上述のように
相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比
較してシーンチェンジであるか否かを判別するものとし
ても良い。この場合、ステップＳＴ２１とステップＳＴ
２２の処理に替えて、上述の式（４）で示した相関係数
ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾
値よりも小さくないときにはステップＳＴ２４に進み連
続シーンと判別する。また相関係数ｒが閾値よりも小さ
いときにはステップＳＴ２５にシーンチェンジであると
判別する。

【００８０】図２０のステップＳＴ３は、ステップＳＴ
２のシーン判別でのシーン判別結果がシーンチェンジで
あるか否かを判別する。ここで、シーンチェンジでない
すなわち連続シーンと判別されたときにはステップＳＴ
４に進み、シーンチェンジであると判別されたときには
ステップＳＴ６に進む。

【００８１】ステップＳＴ４は、動き検出を行う。この
動き検出では、全画面動き検出を行い、表示面積の広い
部分の動きベクトルを検出してステップＳＴ５に進む。
ステップＳＴ５では動き累積値ＭＶＴにステップＳＴ４
で検出された動きベクトルを加算して新たな動き累積値
ＭＶＴとすると共に、新たな動き累積値ＭＶＴを順次記
憶してステップＳＴ２に戻る。

【００８２】ステップＳＴ３でシーンチェンジであると
判別されてステップＳＴ６に進むと、ステップＳＴ６で
は、順次記憶した動き累積値ＭＶＴに基づき動き累積値
ＭＶＴの振れ幅ＷＴを算出して、振れ幅ＷＴの中心が画
像表示領域の中央となるように画像表示位置の初期位置
ＰＳを決定する。

【００８３】次に、ステップＳＴ７では、動き累積値Ｍ
ＶＴに応じて画像表示位置を移動させたとき、表示画像
が画像表示領域に入りきるか否かを判別する。ここの、
表示画像が画像表示領域に入りきらないときにはステッ
プＳＴ８に進み、入りきる場合にはステップＳＴ９に進
む。ステップＳＴ８では、表示画像が画像表示領域に入
りきるように動きベクトルを補正してステップＳＴ９に
進む。

【００８４】ステップＳＴ９では、ステップＳＴ６で決
定された画像表示位置の初期位置ＰＳとステップＳＴ４
で検出された動きベクトル、あるいは補正された動きベ
クトルに基づいて表示位置を決定してステップＳＴ１０
に進む。

【００８５】ステップＳＴ１０は、出力画像の分割処理
を行う。ここで、図１に示すように３つのスクリーンを
１つの画像表示領域として用いる場合、表示位置が移動
されて表示画像が複数のスクリーンに跨って表示される
場合でも、正しく画像を表示できるように、画像の分割
を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，
ＳＤRを生成する。このように入力画像信号ＳＤinをコ
ンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを
生成するものとしても、同様の効果を得ることができ
る。

【００８６】なお、上述の画像処理装置２０は、連続シ
ーンを判別してから、この連続シーンにおける全画面の
動きベクトルに基づいて表示位置を移動させるものであ
り、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤR
をリアルタイムで生成することが困難である。このた
め、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録し
て、その後記録媒体に記録されている画像信号ＳＤL，
ＳＤC，ＳＤRを同期して再生することにより、上述の図
３に示す画像表示が行われる。また、入力画像信号ＳＤ
inと画像位置移動部２３で設定された表示位置を関係付
けて記録媒体に記録させるものとして、画像表示を行う
際に、入力画像信号ＳＤinとこの入力画像信号ＳＤinに
関係付けて記憶されている表示位置を記録媒体から読み
出して画像信号ＳＤL，ＳＤC，ＳＤRも生成するものと
しても良い。この場合には、画像信号ＳＤL，ＳＤC，Ｓ
ＤRを記録しておく必要がないので、記録する信号量を
少なくできる。また、連続シーンにおける全画面の動き
ベクトルに基づいて表示位置を移動させるために記録媒
体に蓄積されている入力画像信号ＳＤinを用いる場合に
は、画像表示領域を設定してから表示位置の決定や画像
信号ＳＤL，ＳＤC，ＳＤRの生成を行うことができるの
で、スクリーンサイズやスクリーン数等が変更されても
容易に対応することができる。

【００８７】また、上述の実施の形態におけるスクリー
ンやプロジェクタは例示的なものであり、表示画像サイ
ズよりも画像表示領域が大きければ、本願発明のように
現実世界に忠実で臨場感の高い画像表示が可能であると
共にシーンの切り替えを容易に識別できる。

【００８８】さらに、新たに映像ソースや別のフォーマ
ットを作らなくても、従来のテレビ用やビデオ映像など
のコンテンツの画像信号を用いて本発明の処理を施すこ
とで、従来の映像鑑賞以上の臨場感を得ることができ
る。

【００８９】

【発明の効果】この発明によれば、表示画像の画像サイ
ズよりも大きい画像表示領域が設定されると共に、シー
ンチェンジの検出結果に基づき連続シーンが判別され
て、表示画像の表示位置が、画像表示領域おける表示画
像の移動可能範囲内で、連続シーンの期間中に検出され
た動きベクトルに基づいて移動させる。このため、連続
シーンの画像が画像の動きに応じて移動されて現実世界
に忠実で臨場感の高い画像表示を可能とすると共に、画
像の途切れを防止して正しく表示できる。

【００９０】また、連続シーンの期間中に検出された動
きベクトルから動きベクトルの時間推移情報を生成し
て、この時間推移情報に基づき連続シーンにおける表示
画像の振れ幅が判別される。この判別された振れ幅に基
づき表示画像の表示位置が画像表示領域おける表示画像
の移動可能範囲内となるように表示位置が移動されるの
で、画像の途切れを生ずることなく画像表示領域に合わ
せた表示画像の移動を容易に行うことができる。

【００９１】また、振れ幅と移動可能範囲に基づき、振
れ幅の中央に対応する表示画像の表示位置が移動可能範
囲の中央となるように、連続シーンの最初の表示画像の
表示位置が設定されるので、画像表示領域を有効に活用
して画像表示を行うことができる。

【００９２】また、振れ幅が前記移動可能範囲よりも大
きいときには、動きベクトルの動き量を縮小させる補正
処理が行われて、補正処理後の動き量を用いて表示画像
の表示位置が移動されるので、画像表示領域から表示画
像が外れてしまうことを防止できる。また表示位置の移
動方向が画像表示領域の外側方向であるときに補正処理
が行われるので、補正処理を行っても臨場感を確保でき
る。また、補正処理では、表示位置が画像表示領域の中
央から離れるに伴い動き量の縮小率が大きくされるの
で、臨場感の低下を少なくできる。

【００９３】さらに、基準表示位置を設定して、検出さ
れた動きベクトルに応じて表示画像の表示位置が基準表
示位置から移動されるので、ダイナミックな画像表示を
行うことができる。また、検出された動きベクトルに対
してフィルタ処理が行われて、このフィルタ処理が行わ
れた動きベクトルに応じて表示画像の表示位置が基準表
示位置から移動されるので、表示画像が振動して品位が
低下してしまうことを防止できる。また、連続シーン内
の動きベクトルに応じて表示画像の表示位置を基準表示
位置から移動させたときに、表示画像が画像表示領域を
超える場合、連続シーン内の動きベクトルの動き量を縮
小させる補正処理が行われるので、画像表示領域から表
示画像が外れてしまうことを防止できる。

【図面の簡単な説明】

【図１】画像表示システムの構成を示す図である。

【図２】入力画像信号の生成動作を示す図である。

【図３】画像表示状態を示す図である。

【図４】画像処理装置の構成を示す図である。

【図５】シーンチェンジ検出部の構成を示す図である。

【図６】フレーム位置と正規化値の関係を示す図であ
る。

【図７】画素の間引きを示す図である。

【図８】シーンチェンジ検出部の他の構成を示す図であ
る。

【図９】フレーム位置と相関係数の関係を示す図であ
る。

【図１０】動き検出部の構成を示す図である。

【図１１】画像位置移動部の構成を示す図である。

【図１２】画像位置決定回路の構成を示す図である。

【図１３】画像処理装置の動作を説明するための図であ
る。

【図１４】画像位置決定回路の動作を説明するための図
である。

【図１５】画像位置決定回路の他の動作を説明するため
の図である。

【図１６】動き量の補正を行った場合の表示位置と動き
量の補正を行わなかった場合の表示位置を示す図であ
る。

【図１７】基準表示位置から動きベクトル分だけ表示位
置を移動させる場合と、動きベクトルに基づいて順次表
示位置を移動させる場合での表示位置を示す図である。

【図１８】フィルタ処理を行った場合の表示位置とフィ
ルタ処理を行わなかった場合の表示位置を示す図であ
る。

【図１９】コンピュータを用いたときの構成を示す図で
ある。

【図２０】画像処理プログラムの全体構成を示すフロー
チャートである。

【図２１】シーン判別の動作を示すフローチャートであ
る。

【符号の説明】

１０L，１０C，１０R・・・スクリーン、１２L，１２
C，１２R・・・プロジェクタ、２０・・・画像処理装
置、２１・・・シーンチェンジ検出部、２２・・・動き
検出部、２３・・・画像位置移動部、２１１，２２１，
２３３・・・遅延回路、２１２・・・差分平均算出回
路、２１３・・・輝度平均算出回路、２１４・・・正規
化回路、２１５，２１７・・・判定回路、２１６・・・
相関係数算出回路、２２２・・・画像位置切替回路、２
２３・・・差分演算回路、２２４・・・最小値判定回
路、２３１・・・画像位置決定回路、２３２・・・動き
累積回路、２３３・・・初期位置決定回路、２３４・・
・表示範囲判定回路、２３５・・・動き補正回路、２３
６・・・表示位置決定回路、２３７・・・書込読出制御
回路、２３８・・・画像メモリ、２３９・・・画像分割
回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０
３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５
・・・画像信号出力部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C023 AA04 AA38 BA04 CA01 5C054 AA01 EF06 FC13 FD02 FE24 5C082 BA41 CA21 CA76 CB01 DA87 MM10 5L096 BA20 DA04 GA55 HA04

Claims (19)

【特許請求の範囲】
1. 【請求項１】 入力画像信号に基づく表示画像の動きベ
   クトルを検出する動き検出手段と、 前記表示画像のシーンチェンジを検出するシーンチェン
   ジ検出手段と、 前記表示画像の画像サイズよりも大きい画像表示領域を
   設定して、該画像表示領域に対する前記表示画像の表示
   位置を移動させる画像位置移動手段とを設け、 前記画像移動手段は、前記シーンチェンジ検出手段での
   シーンチェンジ検出結果に基づき連続シーンを判別し、
   前記表示画像の表示位置を、前記画像表示領域おける前
   記表示画像の移動可能範囲内で、前記連続シーンの期間
   中に前記動き検出手段で検出された動きベクトルに基づ
   いて移動させることを特徴とする画像処理装置。
2. 【請求項２】 前記画像移動手段は、前記連続シーンの
   期間中に前記動き検出手段で検出された動きベクトルか
   ら該動きベクトルの時間推移情報を生成して、該時間推
   移情報に基づき前記連続シーンにおける前記表示画像の
   振れ幅を判別し、該振れ幅に基づき前記表示画像の表示
   位置が前記画像表示領域おける前記表示画像の移動可能
   範囲内となるように表示位置を移動させることを特徴と
   する請求項１記載の画像処理装置。
3. 【請求項３】 前記画像移動手段は、前記振れ幅と前記
   移動可能範囲に基づき、前記振れ幅の中央に対応する表
   示画像の表示位置が前記移動可能範囲の中央となるよう
   に、前記連続シーンの最初の表示画像の表示位置を設定
   することを特徴とする請求項２記載の画像処理装置。
4. 【請求項４】 前記画像移動手段は、前記振れ幅が前記
   移動可能範囲よりも大きいときには、前記動きベクトル
   の動き量を縮小させる補正処理を行い、該補正処理後の
   動き量を用いて前記表示画像の表示位置を移動させるこ
   とを特徴とする請求項２記載の画像処理装置。
5. 【請求項５】 前記画像移動手段は、前記表示位置の移
   動方向が前記画像表示領域の外側方向であるときに前記
   補正処理を行うことを特徴とする請求項４記載の画像処
   理装置。
6. 【請求項６】 前記画像移動手段は、前記補正処理にお
   いて、前記表示位置が前記画像表示領域の中央から離れ
   るに伴い前記動き量の縮小率を大きくすることを特徴と
   する請求項２記載の画像処理装置。
7. 【請求項７】 前記画像移動手段は、基準表示位置を設
   定し、前記動き検出手段で検出された動きベクトルに応
   じて前記表示画像の表示位置を前記基準表示位置から移
   動させることを特徴とする請求項１記載の画像処理装
   置。
8. 【請求項８】 前記動き検出手段で検出された動きベク
   トルに対してフィルタ処理を行う低域フィルタ手段を設
   け、 前記画像移動手段は、前記低域フィルタ手段でフィルタ
   処理が行われた動きベクトルに応じて前記表示画像の表
   示位置を前記基準表示位置から移動させることを特徴と
   する請求項７記載の画像処理装置。
9. 【請求項９】 前記画像移動手段は、前記連続シーン内
   の動きベクトルに応じて前記表示画像の表示位置を前記
   基準表示位置から移動させたときに、前記表示画像が前
   記画像表示領域を超える場合、前記連続シーン内の動き
   ベクトルの動き量を縮小させる補正処理を行うことを特
   徴とする請求項７記載の画像処理装置。
10. 【請求項１０】 入力画像信号に基づく表示画像の動き
    ベクトルを検出し、 前記表示画像のシーンチェンジを検出し、 前記表示画像の画像サイズよりも大きい画像表示領域を
    設定すると共に、前記シーンチェンジの検出結果に基づ
    き連続シーンを判別して、前記表示画像の表示位置を、
    前記画像表示領域おける前記表示画像の移動可能範囲内
    で、前記連続シーンの期間中に検出された動きベクトル
    に基づいて移動させることを特徴とする画像処理方法。
11. 【請求項１１】 前記連続シーンの期間中に検出された
    動きベクトルから該動きベクトルの時間推移情報を生成
    して、該時間推移情報に基づき前記連続シーンにおける
    前記表示画像の振れ幅を判別し、該振れ幅に基づき前記
    表示画像の表示位置が前記画像表示領域おける前記表示
    画像の移動可能範囲内となるように表示位置を移動させ
    ることを特徴とする請求項１０記載の画像処理方法。
12. 【請求項１２】 前記振れ幅と前記移動可能範囲に基づ
    き、前記振れ幅の中央に対応する表示画像の表示位置が
    前記移動可能範囲の中央となるように、前記連続シーン
    の最初の表示画像の表示位置を設定することを特徴とす
    る請求項１１記載の画像処理方法。
13. 【請求項１３】 前記振れ幅が前記移動可能範囲よりも
    大きいときには、前記動きベクトルの動き量を縮小させ
    る補正処理を行い、該補正処理後の動き量を用いて前記
    表示画像の表示位置を移動させることを特徴とする請求
    項１１記載の画像処理方法。
14. 【請求項１４】 前記表示位置の移動方向が前記画像表
    示領域の外側方向であるときに前記補正処理を行うこと
    を特徴とする請求項１３記載の画像処理方法。
15. 【請求項１５】 前記補正処理において、前記表示位置
    が前記画像表示領域の中央から離れるに伴い前記動き量
    の縮小率を大きくすることを特徴とする請求項１１記載
    の画像処理方法。
16. 【請求項１６】 基準表示位置を設定し、前記検出され
    た動きベクトルに応じて前記表示画像の表示位置を前記
    基準表示位置から移動させることを特徴とする請求項１
    ０記載の画像処理方法。
17. 【請求項１７】 前記検出された動きベクトルに対して
    フィルタ処理を行い、該フィルタ処理が行われた動きベ
    クトルに応じて前記表示画像の表示位置を前記基準表示
    位置から移動させることを特徴とする請求項１６記載の
    画像処理方法。
18. 【請求項１８】 前記連続シーン内の動きベクトルに応
    じて前記表示画像の表示位置を前記基準表示位置から移
    動させたときに、前記表示画像が前記画像表示領域を超
    える場合、前記連続シーン内の動きベクトルの動き量を
    縮小させる補正処理を行うことを特徴とする請求項１６
    記載の画像処理方法。
19. 【請求項１９】 コンピュータに、 入力画像信号に基づく表示画像の動きベクトルを検出す
    る手順と、 前記表示画像のシーンチェンジを検出する手順と、 前記表示画像の画像サイズよりも大きい画像表示領域を
    設定すると共に、前記シーンチェンジの検出結果に基づ
    き連続シーンを判別して、前記表示画像の表示位置を、
    前記画像表示領域おける前記表示画像の移動可能範囲内
    で、前記連続シーンの期間中に検出された動きベクトル
    に基づいて移動させる手順とを実行させることを特徴と
    する画像処理プログラム。