JP2002539683A - 画像シーケンスにおける画像の変位を求める方法および装置 - Google Patents

Abstract

(57)【要約】 本発明は、画像シーケンスにおける画像の変位（１５）を求める方法および画像シーケンスにおける画像の変位（１５）を求める装置に関する。これはたとえばカメラの動きの補償などのために用いられる。この場合、変位（１５）を求めるため画像における複数の画像領域（６，７，８）が使用される。その際、各画像領域（６，７，８）は画像の所定位置にそれぞれ設けられており、また、各画像領域（６，７，８）はそれぞれ所定のサイズをもち、たとえば画像の種々の方向で所定数の画素を有している。本発明によれば、たとえばカメラの動きにより引き起こされる画像の動きが、補正すべき画像の部分領域における画像の動きに重畳された付加的な動きから、以下のステップによって分離される。すなわち、画像の様々な位置において、付加的な動きの伴わない動きの発生する確率を求めるステップと、それぞれ１つの画像領域（６，７，８）について、その１つの画像領域（６，７，８）内で付加的な動きの伴わない画像の動きの発生する確率に依存して、位置とサイズを求めて固定的に設定するステップと、複数の画像領域（６，７，８）のうち少なくとも第１の画像領域（６，７）を、変位を求めるために優先的に利用するステップとによって、上記の分離が行われる。

Description

【発明の詳細な説明】

【０００１】 従来の技術 本発明は、請求項１の上位概念に記載の画像シーケンスの画像の変位を求める
方法ならびに請求項１３の上位概念に記載の画像シーケンスの画像の変位を求め
る装置に関する。

【０００２】 H. Rindtorff による論文 "Bildstabilisation in Consumer-Camcordern, Fun
ktion und Wirkungsweise", Fernseh- und Kinotechnik, 49. Jahrgang, Nr. 1
/2 1995 により、手による撮影時に動かぬよう画像を十分に安定させるようにし
た画像安定化システムが知られている。これによれば画像は４つのセクタに分割
され、画像の変位を表す動きベクトルがそれらのセクタ内で求められる。個々の
セクタの動きベクトルから全動きベクトルが求められ、理想的にはこれによって
カメラのぶれないしは変位が表される。

【０００３】 発明の利点 これに対し請求項１の特徴部分に記載の構成を備えた本発明による方法のもつ
利点とは、１つの画像の複数の部分において殊に、付加的な動きの伴わない画像
の動きの発生する確率ができるかぎり高い点で優れている画像領域が、画像の変
位を求めるために利用されることである。これにより、１つの画像シーケンスに
おける画像の変位がきわめて確実に求められる。１つの画像シーケンスにおける
画像の変位をいっそう確実に求めるためにさらに役に立つのは、画像領域の位置
とサイズが固定的に設定されることである。このことで殊に動画像通信という特
殊なシナリオのために、比較的僅かな処理の手間しかかけずに変位を確実に求め
ることができる。複数の画像領域のうち変位を求めるために優先的に利用される
第１の画像領域が、画像内の位置とサイズの選択によりたとえばもっぱら変位の
決定に利用されるので、他の画像領域を考慮する必要がなく、そのことで画像の
変位を求めるための処理の煩雑さが低減される。

【０００４】 従属請求項に記載の構成により、主請求項に記載の方法の有利な実施形態が可
能である。

【０００５】 殊に有利には、画像シーケンスの第１の画像が次のようにして補正される。す
なわちこの補正にあたり、画像シーケンスにおける第１の画像の画像データと有
利にはこの第１の画像の直前に位置する第２の画像の画像データから変位が求め
られ、または画像シーケンスにおける第１の画像の画像データと有利にはこの第
１の画像の直前に位置する第２の入力画像から変位が求められる。ここで変位と
して画像領域の領域変位が使用され、複数の画像領域における１つの画像領域の
領域変位が、その１つの画像領域内の第１の画像および第２の画像の画像データ
から求められ、またはその１つの画像領域内の第１の画像および第２の入力画像
の画像データから求められる。これによって画像の変位の決定にあたりそれに利
用される画像領域内の第１の画像および第２の画像の画像データだけしか処理に
必要とされず、そのことで処理の煩雑さが低減されるようになる。

【０００６】 さらに有利であるのは、少なくとも１つの第１の画像領域の位置とサイズを、
補正すべき画像における少なくとも１つのその第１の画像領域が主として画像背
景で満たされるように選定することである。画像背景は通常、変位を決定すべき
一方の画像から他方の画像の間では、たとえば意図しないカメラの動きにより引
き起こされる画像の動きに重畳される付加的な動きをほとんどもっていないので
、補正すべき画像の第１の画像領域が画像背景で満たされれば、その領域を変位
の決定に利用することができる。

【０００７】 さらに有利であるのは、少なくとも１つの第２の画像領域の位置とサイズを、
補正すべき画像における少なくとも１つのその第２の画像領域が主として画像前
景で満たされるように選定することである。このようにすれば、たとえば意図し
ないカメラの動きにより引き起こされる画像の動きに重畳される強い付加的な動
きが画像背景に加わっているときに、きわめて簡単かつ高精度で画像シーケンス
における画像の変位を求めることができるようになる。

【０００８】 さらに有利であるのは、少なくとも１つの第１の画像領域および／または少な
くとも１つの第２の画像領域を、領域変位決定に対する確実性に依存して変位を
求めるために用いることである。このようにすれば、領域変位決定の確実性に対
する尺度を本発明による方法において扱うことができるので、領域変位決定の確
実性に対する尺度をチェックすることができる。したがって領域変位決定に対す
る確実性を求めることは、画像の動きをそれに重畳された付加的な動きからとり
わけ簡単かつ高い信頼性で分離するために利用される。

【０００９】 さらに有利であるのは、２つの第１の画像領域とだた１つの第２の画像領域を
画像補正のために使用し、変位の決定を優先順位の高い順に示す以下の３つの形
式のうちの１つに基づき実行することである。すなわち、 −両方の第１の画像領域における領域変位決定の確実性が十分であるとみなされ
ると、２つの第１の画像領域における領域変位の平均値から変位を求める。

【００１０】 −２つの第１の画像領域のうち、領域変位決定の確実性が十分であるとみなされ
る画像領域の領域変位から変位を求める。

【００１１】 −第２の画像領域の領域変位から変位を求める。

【００１２】 このようにすることで、画像シーケンスにおける画像変位決定のためにそれぞ
れ異なる優先順位をもつ様々な画像領域を利用することができる。殊に可能であ
るのは、主として画像背景で満たされている画像領域を画像変位決定のために優
先的に利用することであり、その際、２つの第１の画像領域の画像変位の平均値
を使用することで信頼性の高い変位決定が得られる。背景中の可動物体による影
響を最低限に抑える目的で、両方の第１の画像領域の画像変位の利用にあたり変
位決定に対する第２の優先順位が殊に選択される。その理由は、両方の第１の画
像領域のうち一方の画像領域に可動物体が現れた場合にはよって、両方の画像領
域のうち他方の画像領域の領域変位が画像シーケンスの画像の変位決定に使用さ
れるからである。３番目の優先順位段階では、第２の画像領域たとえば主として
画像全景で満たされている画像領域における領域変位からの画像の変位が利用さ
れる。

【００１３】 さらに有利であるのは、頭部と肩の撮影という状況のために前記の方法を使用
することである。この場合、両方の第１の画像領域が左右の側方領域内で選定さ
れ、有利にはまえもって定められた矩形画像の垂直方向中央軸について対称に選
定され、画像下端部からのそれら両方の画像領域の間隔が、画像上端部からのそ
れら両方の画像領域の間隔よりも大きく選定され、第２の画像領域は画像中央領
域内で選定され、有利には前記の矩形画像の垂直方向中央軸について対称に選定
され、画像上端部からのその第２の画像領域の間隔は、画像下端部からのその第
２の画像領域の間隔よりも大きく選定される。画像領域をこのように選定するこ
とによって頭部と肩の撮影という状況にあたり殊に、領域変位決定のために有用
に、また、画像シーケンスの画像変位決定のための領域変位の利用優先順位を有
用に用いて、画像領域からの情報を使うことができる。

【００１４】 さらに有利であるのは、２つの画像領域有利には２つの第１の画像領域に対し
、領域変位および領域変位決定の確実性を、以下のステップをもつ方法によって
求めることである。すなわち、 −２つの画像領域の各々についてそれぞれ領域変位と相関比ないしは相関の商（
Korrelationsquotient）を形成するステップと、 −両方の画像領域においてそれぞれ求められた領域変位に依存して閾値関数を求
めるステップと、 −２つの画像領域の一方の相関比ないしは相関の商をそれぞれ、２つの画像領域
の他方の領域変位に対する閾値関数から得られる値と比較するステップと、 −２つの画像領域のそれぞれ一方に対する領域変位決定の確実性を、一方の画像
領域に対応する相関比がそれと比較すべき閾値関数の値よりも大きければ、十分
であるとするステップ とが実行される。

【００１５】 このようにすることで、２つの第１の画像領域における領域変位確実性の決定
が互いに無関係に実行されるのではなく、２つの第１の画像領域のうち一方で求
められた領域変位によって閾値関数のとる値が決定され、その値が両方の第１の
画像領域のうち他方の画像領域の領域変位と比較される。したがって１つの画像
領域の領域変位の決定ならびにその確実性の決定は、１つの画像の他方の部分に
おける動き殊に領域変位と無関係には実施されない。

【００１６】 さらに有利であるのは、２つの画像領域の一方の相関比を以下のステップをも
つ方法に従い求めることである。すなわち、 −生じ得る複数の領域変位についてブロックマッチング方式を用いて変位相関値
を求めるステップと、 −変位相関値が最大となる領域変位を画像領域の領域変位とみなすステップと、 −相関比を変位相関値の最大値から、求められた変位相関値の平均値により除算
することにより形成するステップ をもつ方法に従い求める。

【００１７】 これにより一方では、考察される画像領域の画素全体についての総計を形成す
ることにより変位相関値が求められることから、領域変位が画像領域全体により
求められる。他方、領域変位の生じる変位相関値の最大値が計算された変位相関
値の平均値によって除算されることから、相関値が正規化される。

【００１８】 また、有利であるのは、まえもって定められた第１の閾値よりも小さい任意の
領域変位の各々について閾値関数により、まえもって定められた第２の閾値の値
を採用し、まえもって定められた第１の閾値よりも大きい任意の領域変位の各々
について閾値関数により、まえもって定められた第２の閾値の値を積で減算して
採用し、ここでこの積は因数として所定の勾配パラメータと差を含み、この差を
任意の領域変位とまえもって定められた第１の閾値から形成することである。こ
のことの利点は、１つの画像領域において求められた領域変位が比較的大きいと
きに領域変位決定について十分な確実性が認められることであり、これは相関比
が比較的小さいときでも認められる。なお、相関比が比較的小さいということは
、求められた領域変位が小さいときに相関があまりよくないことを示すものであ
る。領域変位決定のための確実性を求める際に両方の第１の画像領域が依存し合
っていることにより、閾値関数の構築の結果として、両方の第１の画像領域のう
ち一方の領域変位が比較的大きいと、領域変位決定の確実性に対する要求すなわ
ち相関比の高さに対する要求があまり高くなくなる。

【００１９】 画像シーケンスにおける画像の変位を求めるための方法に関するさらに別の実
施形態において有利であるのは、領域変位を求めるためブロックベースの符号化
法によるブロック変位情報を用い、画像領域の各々について個々の画像領域内に
位置するブロックのブロック変位情報有利には変位ベクトルを考慮することであ
る。その結果、本発明による方法を格別簡単かつ低コストで実施できるようにな
り、このことは殊に、たとえばハードウェアサポートにより小さい画像ブロック
のブロック変位情報たとえばブロック変位ベクトルを、余計な手間をかけずにあ
るいはほとんどかけずに取得できるときに可能である。

【００２０】 さらに有利であるのは、画像領域の各々について、水平方向成分および垂直方
向成分を含む領域変位を求めるため、および領域変位決定の確実性を求めるため
に以下のステップをもつ方法を実行することである。すなわち、 −領域変位の水平方向成分を求めるためには、ブロック変位情報における水平方
向成分の種々の値の頻度について第１の頻度分布を作成し、ここで領域変位の水
平方向成分は、ブロック変位情報の水平方向成分において第１の頻度分布がその
主最大値をとる値に対応する。

【００２１】 −領域変位の垂直方向成分を求めるためには、ブロック変位情報における垂直方
向成分の種々の値の頻度について第２の頻度分布を作成し、ここで領域変位の垂
直方向成分は、ブロック変位情報の垂直方向成分において第２の頻度分布がその
主最大値をとる値に対応する。

【００２２】 −そして以下の条件がすべて満たされたとき、領域変位決定の確実性を十分であ
るとみなす。すなわち、 −ブロック変位情報の水平方向成分において第１の頻度分布における主最大値
と副最大値に対応する値の位置の差の絶対値が、まえもって定められた第１の差
の閾値よりも小さい。

【００２３】 −ブロック変位情報の垂直方向成分において第２の頻度分布における主最大値
と副最大値に対応する値の位置の差の絶対値が、まえもって定められた第２の差
の閾値よりも小さい。

【００２４】 −第１の頻度分布の主最大値が第１の頻度閾値よりも大きい、 −第２の頻度分布の主最大値が第２の頻度閾値よりも大きい、 という条件のすべてが満たされたとき、領域変位決定の確実性を十分であるとみ
なす。

【００２５】 この構成を採用したことで簡単な手段によりたとえば既存のブロック変位情報
における水平方向成分および垂直方向成分の発生頻度の考察により、画像領域に
対する領域変位を求めることができるとともに、領域変位決定の確実性も求める
ことができるようになる。

【００２６】 請求項１３記載の特徴を備えた画像シーケンスの画像の変位を求めるための本
発明による方法のもつ利点は、たとえば本発明による方法のステップを１つのコ
ンポーネントまたは１枚のプリント配線板に実装することによって、変位をいっ
そう高速かつ簡単に求めることができることであり、その結果、本発明による方
法をいっそう高速かつ低コストで実施できるようになる。

【００２７】 図面 図面には本発明の実施例が描かれており、次にこれについて詳しく説明する。

【００２８】 図１は本発明による装置のブロック回路図であり、図２は１つの画像シーケン
スにおける画像の変位を求めて画像を安定化する原理を示す図であり、図３は画
像安定化のためのフローチャートであり、図４は本発明による方法を実施するた
めの１つの画像内における画像領域の選定に関する実例を示す図である。

【００２９】 実施例の説明 図１には、１つの画像シーケンスの画像の変位を求めるための本発明による装
置のブロック回路図が示されている。本発明による装置は入力側１０、出力側２
０、変位検出回路１００ならびに拡大回路２００を有している。変位検出回路１
００には領域変位検出器１１０、画像メモリ１２０およびマイクロコンピュータ
１３０が含まれている。また、変位検出回路１００は図示されていない入力側を
有しており、これは本発明による装置の入力側１０と領域変位検出器１１０と画
像メモリ１２０とに接続されている。さらに変位検出回路１００は図示されてい
ない出力側を有しており、これはマイクロコンピュータ１３０と接続されていて
、その際、領域変位検出器１１０もマイクロコンピュータ１３０と接続されてい
る。拡大回路２００は２つの図示されていない入力側および１つの出力側を有し
ており、この出力側は装置の出力側と接続されている。拡大回路２００の両方の
入力側はそれぞれ拡大プロセッサ２１０と接続されており、拡大回路２００にお
けるこれら両方の入力側の一方は装置の入力側１０と接続され、拡大回路２００
におけるこれら両方の入力側の他方は変位検出回路１００の出力側と接続されて
いる。

【００３０】 図２には、たとえばカメラの動きを補償するための画像安定化に対する実例が
示されている。この場合、第１の入力画像１３が補正されて第１の出力側２３が
形成され、この場合、有利には時間的にそれよりも前に位置する第２の入力画像
１１の画像情報に対しアクセスが行われる。

【００３１】 第２の入力画像１１は、拡大によって拡大されて第２の出力画像２１を成す画
像セクションを有している。この場合、第２の入力画像１１はカメラによって完
全に撮影されるが、たとえば本発明による装置のユーザはその画像セクションを
拡大されたかたちで第２の出力画像２１としてしか見ない。その際、この画像セ
クションを第２の画像１２と称し、あるいは補正された第２の画像１２とも称す
る。

【００３２】 本発明による方法の第１の実施形態によれば、補正された第２の画像１２は第
１の入力画像１３の補正のために用いられる。第１の入力画像１３も同様に１つ
の画像セクションを有しており、ここではそれを補正されていない第１の画像１
４と称する。補正されていない第１の画像１４と第２の画像１２ないしは補正さ
れた第２の画像１２との比較により変位を求めることができ、したがってこの変
位によって、補正されていない第１の画像１４を補正された第１の画像１６へ転
換することができる。補正されていない第１の画像１４と第２の画像１２との比
較にあたりたとえば画像データ全体が利用されるのではなく、第１の画像１４と
第２の画像１２における（図示されていない）画像領域からの画像データだけが
利用される。

【００３３】 本発明による方法の第２の実施形態によれば、第２の入力画像１１は第１の入
力画像１３の補正に用いられる。第１の入力画像１３と第２の入力画像１１との
比較により変位１５を求めることができ、したがってこの変位１５によって、補
正されていない第１の画像１４を補正された第１の画像１６に転換することがで
きる。第１の入力画像１３と第２の入力画像１１との比較にあたり、たとえば画
像データ全体が利用されるのではなく、第１の入力画像１３と第２の入力画像１
１の（図示されていない）画像領域からの画像データだけが利用される。

【００３４】 本発明による方法の第１の実施形態によっても第２の実施形態によっても、補
正されている第１の画像１６をいまやユーザは第１の出力画像２３として見るこ
とができる。第２の出力画像とは異なり、第１の入力画像１３もしくは補正され
た第１の画像１６の変位はもはや第１の出力画像２３中に認めることはできない
。

【００３５】 図３には、本発明による方法の基本ステップが第１の入力画像１３の補正の実
例に基づきフローチャートで示されている。第１の実行ステップ３０において、
画像領域の領域変位が求められる。その際に第１の入力画像１３は、補正された
第２のたとえば時間的に前に位置する画像１２と、あるいは第２のたとえば時間
的に前に位置する入力画像１１と比較される。ついで実行ステップ４０において
、第１の画像１４の変位が本発明による方法に従い求められる。第３の実行ステ
ップ５０において、補正されていない第１の画像１４が変位ベクトル１５だけず
らされる。この演算の結果として補正された第１の画像１６が得られる。次に第
４の実行ステップ６０において、補正された第１の画像１６が拡大されて第１の
出力画像２３となる。

【００３６】 本発明による方法に従いさらに別の入力画像を補正するため第３の実行ステッ
プ５０の結果は、有利には画像メモリ１２０内に格納されるかたちで使用できる
。第３の実行ステップ５０の結果は補正された第１の画像１６であり、したがっ
てこの画像は補正された第２の画像１２の代わりとなり、別の入力画像の補正に
あたり領域変位を求めるために第１の実行ステップ３０において利用される。

【００３７】 これに対する代案として画像メモリ１２０内に、第１の入力画像１３もしくは
補正されていない第１の画像１４を特定の変位１５とともに別の入力画像の補正
のために記憶することもできる。

【００３８】 図４には、第１の入力画像１４内における画像セクション６，７，８の配分の
実例が描かれている。この場合、２つの第１の画像領域６，７がたとえば本発明
による方法を頭部と肩の撮影の状況に適用するため、まえもって定められた矩形
の第１の画像１４の垂直方向の中央軸について対称に選定される。ここでは画像
下端部からの両方の第１の画像領域６，７の間隔は、画像上端部からの両方の第
１の画像領域６，７の間隔よりも大きい。第２の画像領域８は第１の画像１４の
画像中央領域において、有利には矩形画像の垂直方向の中央軸について対称に選
定される。その際に有利には、画像上端部からの第２の画像領域８の間隔は画像
下端部からの第２の画像領域の間隔よりも大きく選定される。

【００３９】 １つの画像シーケンスにおける複数の画像の変位１５を求めるための本発明に
よる方法を、有利には消費者向けビデオカメラ（Camcorder）におけるカメラの
動き補償に使うことができる。この方法は移動動画通信装置用のディジタル動画
像安定化にとりわけ適している。この場合、動画像通信装置の移動中の利用によ
って引き起こされる動きをできるかぎり取り除くようにしたい。この方法の基本
原理は、相前後する画像の相対的な変位からカメラの動きを導出し、入力画像た
とえば第１の入力画像１３から部分領域たとえば補正された第１の画像１６を抽
出することにあり、この部分領域によってたとえば補正された第１の画像１６と
補正されていない第１の画像１４との間で求められた変位１５に基づきカメラの
動きが補償される。

【００４０】 本発明による方法では、変位１５を求めるために複数の画像領域６，７，８を
利用できる。これらの画像領域は画像内のそれらの位置とサイズによって一義的
に決めることができる。したがって画像領域６，７，８の位置ならびにサイズの
有利な選定により、補正すべき画像の部分領域における画像の動きに重畳された
付加的な動きから、有利にはカメラの動きにより引き起こされた画像の動きを格
別簡単に分離することができる。この目的で、付加的な動きの伴わない画像の動
きの現れる確率が１つの画像シーケンスにおける各画像の様々な位置で求められ
、それにより画像内で優先的な部分が得られ、それによって付加的な動きからの
画像の動きの分離を達成することができる。つまりたとえば、画像中央にセンタ
リングされて位置する話し手の特別な撮影状況のためには、図４に描かれている
画像領域６，７，８の選定が格別に有利である。このような撮影状況の特別な特
性は、画像領域６，７，８の選定ならびに決定にあたり先験的な情報として活用
される。このような撮影状況に即して想定できるのは、２つの第１の画像領域６
，７が実質的に画像の背景に位置し、第２の画像領域８が実質的に前景に位置す
ることである。つまり両方の第１の画像領域６，７は主として画像背景の画像デ
ータによって埋められており、第２の画像領域８は主として画像前景の画像デー
タによって埋められている。このことから両方の第１の画像領域６，７の優先順
位づけを有利に使用することができ、その結果、１つの画像シーケンスの各画像
の変位１５の特定が有利には両方の第１の画像領域６，７の領域変位を求めるこ
とで得られるようになる。両方の第１の画像領域６，７からの領域変位の使用に
よってもきわめて不確実なもしくはあまり確実ではない領域変位だけしか可能で
ないときにのみ、各画像の変位１５を求めるために第２の画像領域８が利用され
る。この実施例ではこのような優先順位づけは、有利には画像背景情報を用いて
画像の安定化が実施されるのと同等である。とはいえこの方法は、背景情報また
は前景情報における１つの画像シーケンスの変位を求めるための判別ならびに種
々の優先順位づけに関連するだけでなく、たとえばエッジ検出やエッジ検出の欠
如などの判定基準の利用にも関連する。

【００４１】 この実施例では２つの第１の画像領域６，７は、Ｑｃｉｆフォーマットで典型
的には垂直方向に１２０個の画素、水平方向に４０個の画素の長さをもっている
。第２の画像領域８はその画像フォーマットにおいて、典型的には垂直方向に１
３５個の画素、水平方向に８５個の画素をもっている。

【００４２】 たとえば実質的に前景または背景をそれぞれ覆っている複数の画像領域６，７
，８をもつ画像安定化のために１つの画像シーケンスにおける複数の画像の変位
１５を求めるための方法に関して、背景中の動かされた物体による影響を最低限
に抑える目的で、各部分領域からの情報の好適な組み合わせがそれぞれ求められ
る。判定基準を用いることで、大部分が背景により覆われる画像領域において動
かされた物体が検出される。２つの第２の画像領域６，７に動かされた物体が含
まれておらず、したがってたとえばカメラの動きなどにより引き起こされた画像
の動きに重畳された、可動物体による付加的な動きが含まれていなければ、求め
るべき変位は両方の第１の画像領域６，７の計算された領域変位の平均値から求
められる。そのつど１つの第１の画像領域６，７に動かされた物体が含まれてい
るならば、求めるべき変位１５は動かされた物体を伴わないそのつど他方の画像
領域から求められる。第１の画像領域６，７の双方に動かされた物体が含まれて
いるならば、動きを求めるために前景部分領域である第２の画像領域８からの情
報が使用される。１つの画像領域６，７，８のための領域変位を求めるために、
本発明によれば択一的に２つの方法が適用され、それらはブロック変位情報をブ
ロックベースの符号化法たとえば帯域幅低減のためのブロックベースの伝送法に
より簡単な手段を用いてアクセスできるか否かに従って適用される。ブロック変
位情報に簡単にアクセスできない場合、領域変位を求めるために有利にはブロッ
クマッチング法が適用され、これによって付加的な動きつまり両方の画像領域６
，７の一方における局所的な動きを検出することができる。画像領域６，７，８
内に現れる局所的な動きの検出たとえば物体が現れてきたことの検出は、ブロッ
クマッチング法により変位相関値を評価することで行える。この目的で、変位相
関値の平均値と相関値の最大値との比が適応形閾値関数と比較される。変位相関
値の平均値を求めるために所定の相関値すべてが合計され、ついでそれらの個数
によって除算される。１つの特定の変位について変位相関値の最大値がとられる
。変位相関値の最大値に対応する領域変位は領域変位とみなされる。相関の商な
いしは相関比（Korrelationsquotient）は変位相関値の平均値により割られた変
位相関値の最大値に対応しており、したがって正規化されている。

【００４３】 付加的な動きつまり画像領域内の局所的な動きが検出されるのは、相関比が適
応形閾値関数の値よりも小さいときである。適応化された閾値関数は、領域変位
を表す変位ベクトルの長さに依存する。本発明によれば、２つの第１の画像領域
６，７の一方における付加的な動きもしくは局所的な動きを検出するために、考
察する第１の領域６，７に対する相関比が適応形閾値関数の値と比較され、ここ
で適応形閾値関数に対する値は２つの第１の画像領域６，７の他方における変位
１５のベクトル長によって得られる。この場合、閾値関数は以下のように定義さ
れている： −領域変位ベクトルの任意のベクトル長各々について、つまりまえもって定めら
れた第１の閾値よりも小さい任意の変位各々について、まえもって定められた第
２の閾値の値が閾値関数により採用され、 −まえもって定められた第１の閾値よりも大きい領域変位ベクトルの任意のベク
トル長各々について、積を差し引いたまえもって定められた第２の閾値の値が採
用され、ここで積とは因数として所定の勾配パラメータと差をもつものであり、
ここで差とは任意の領域変位とまえもって定められた第１の閾値からつくられる
ものである。

【００４４】 １つの画像シーケンスにおける複数の画像の変位を求める第２の方法は殊に、
ブロックベースの符号化法によるブロック変位情報の利用によるものである。１
つの画像領域６，７，８のためのブロックマッチング法を用いた変位計算に対す
る代案として、小さいブロックたとえば８ｘ８または１６ｘ１６のサイズの小さ
いブロックの変位ベクトルを画像領域６，７，８の領域変位を求めるために利用
することができ、つまり計算の手間を少なくするための符号化法による情報をじ
かに用いることができる。このアプローチが殊に重要となるのは、たとえばハー
ドウェアサポートによりブロック変位ベクトルを余分な手間をかけずにあるいは
ほとんどかけずに獲得すべき場合である。また、１つの画像領域６，７，８内た
とえば２つの第１の画像領域６，７の一方における局所的な動きの検出は、画像
における複数の小さいブロックの変位ベクトルがたとえば符号化法から既知であ
るとき、非常に簡単に実施することができる。この場合にはまずはじめに、画像
領域６，７，８の１つの中に位置する複数のブロックに対するすべての変位ベク
トルが相応の画像領域６，７，８に割り当てられる。そのつど割り当てられる変
位ベクトルにより、水平方向および垂直方向の成分に対し別個の頻度分布ないし
はヒストグラムが作成される。したがって各画像領域６，７，８ごとに、画像ブ
ロックの変位ベクトルの水平方向成分に対する第１の頻度分布とその垂直方向成
分に対する第２の頻度分布が生じる。付加的な動きもしくは局所的な動きの検出
は、１つの画像領域に割り当てられた頻度分布の分析によって行われる。割り当
てられた両方の頻度分布のうちの一方の主最大値と最大の副最大値との位置の差
が所定の閾値を超え、主最大値の大きさが閾値を下回っているとき、局所的な動
きが検出されたことになる。

【００４５】 １つの画像領域内で局所的または付加的な動きを求めるということは、領域変
位の決定をあまり確実には実行できなかったことを意味する。したがって領域変
位の決定の確実性を求めると否定的な結果が生じ、このことは領域変位の決定に
係わる。詳細には、水平方向成分と垂直方向成分とを有する領域変位を求めるた
めの、ならびに領域変位の決定の確実性を求めるための方法を、以下のように記
述することができる： −領域変位の水平方向成分を求めるために、ブロック変位情報における水平方向
成分の種々の値についての頻度に関する第１の頻度分布を作成し、ここで領域変
位の水平方向成分は、ブロック変位情報における水平方向成分において第１の頻
度分布がその主最大値をとる値に対応する。

【００４６】 −領域変位の垂直方向成分を求めるために、ブロック変位情報における垂直方向
成分の種々の値についての頻度に関する第２の頻度分布を作成し、ここで領域変
位の垂直方向成分は、ブロック変位情報の垂直方向成分において第２の頻度分布
がその主最大値をとる値に対応する。

【００４７】 −領域変位決定の確実性は、以下の条件がすべて満たされたときに十分であると
みなされる： −ブロック変位情報の水平方向成分において第１の頻度分布における主最大
値と副最大値に対応する値の位置についての差の絶対値が、まえもって定められ
た第１の差の閾値よりも小さい。

【００４８】 −ブロック変位情報の垂直方向成分において、第２の頻度分布の主最大値と
副最大値に対応する値の位置についての差の絶対値が、まえもって定められた第
２の差の閾値よりも小さい。

【００４９】 −第１の頻度分布の主最大値が第１の頻度閾値よりも大きい。

【００５０】 −第２の頻度分布の主最大値が第２の頻度閾値よりも大きい。

【００５１】 したがって１つの画像シーケンスにおける複数の画像の変位を求めるために、
考察する画像領域６．７．８に対するブロックマッチング法の代わりにブロック
指向のブロック符号化法のブロック変位ベクトルを利用して、計算の煩雑さを低
減することができる。ブロックマッチング法に対し関連画像領域６，７，８内の
局所的な動きの検出に適した判定基準が与えられており、したがってこれは領域
変位の決定の確実性が十分ではないことと同等である。ブロック変位ベクトルを
用いた変位推定法に対しても、関連画像領域６，７，８内の局所的な動きを検出
するための判定基準が与えられている。

【図面の簡単な説明】

【図１】 本発明による装置のブロック回路図である。

【図２】 １つの画像シーケンスにおける画像の変位を求めて画像を安定化する原理を示
す図である。

【図３】 画像安定化のためのフローチャートである。

【図４】 本発明による方法を実施するための１つの画像内における画像領域の選定に関
する実例を示す図である。

───────────────────────────────────────────────────── 【要約の続き】 ７，８）のうち少なくとも第１の画像領域（６，７） を、変位を求めるために優先的に利用するステップとに よって、上記の分離が行われる。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 画像シーケンスにおける画像の変位（１５）を求めるため画
   像における複数の画像領域（６，７，８）を使用し、各画像領域（６，７，８）
   をそれぞれ所定の画像位置に設け、 各画像領域（６，７，８）に所定のサイズをもたせ、たとえば画像の種々の画
   像方向で所定数の画素をもたせる形式の、 たとえばカメラの動き補償などのために、画像シーケンスにおける画像の変位
   （１５）を求める方法において、 たとえばカメラの動きにより引き起こされた画像の動きを、補正すべき画像の
   部分領域内の画像の動きに重畳された付加的な動きから分離し、該分離にあたり
   、 １つの画像の種々の位置で、付加的な動きの伴わない画像の動きの発生する
   確率を求めるステップと、 それぞれ１つの画像領域（６，７，８，９）について、該１つの画像領域（
   ６，７，８）内で付加的な動きの伴わない画像の動きの発生する確率に依存して
   位置とサイズを求めて固定的に設定するステップと、 複数の画像領域（６，７，８）のうち少なくとも第１の画像領域（６，７）
   を変位（１５）を求めるために用いるステップを実行することを特徴とする、 画像シーケンスにおける画像の変位を求める方法。
2. 【請求項２】 画像シーケンスの第１の画像（１４）を補正し、該補正にあ
   たり、画像シーケンスにおける第１の画像（１４）の画像データとたとえば該第
   １の画像の直前に位置する第２の画像（１２）の画像データから変位（１５）を
   求め、または画像シーケンスにおける第１の画像（１４）の画像データとたとえ
   ば該第１の画像の直前に位置する第２の入力画像（１１）から変位（１５）を求
   め、 ここで変位（１５）として画像領域（６，７，８）の領域変位を使用し、 複数の画像領域（６，７，８）における１つの画像領域（６，７，８）の領域
   変位を、該１つの画像領域（６，７，８）内の第１の画像（１４）および第２の
   画像（１２）の画像データから求め、または該１つの画像領域（６，７，８）内
   の第１の画像（１４）および第２の入力画像（１１）の画像データから求める、 請求項１記載の方法。
3. 【請求項３】 少なくとも１つの第１の画像領域（６，７）の位置とサイズ
   を、補正すべき画像における少なくとも１つの該第１の画像領域（６，７）が主
   として画像背景で満たされるように選定する、請求項１または２記載の方法。
4. 【請求項４】 少なくとも１つの第２の画像領域（８）の位置とサイズを、
   補正すべき画像における少なくとも１つの該第２の画像領域（８）が主として画
   像前景で満たされるように選定する、請求項１から３のいずれか１項記載の方法
   。
5. 【請求項５】 前記の少なくとも１つの第１の画像領域および／または少な
   くとも１つの第２の画像領域（６，７，８）を、領域変位決定に対する確実性に
   依存して変位（１５）を求めるために用いる、請求項１から４のいずれか１項記
   載の方法。
6. 【請求項６】 ２つの第１の画像領域（６，７）とだた１つの第２の画像領
   域（８）を画像補正のために使用し、変位（１５）の決定を優先順位の高い順に
   示す以下の３つの形式のうちの１つに基づき実行し、 両方の第１の画像領域（６，７）における領域変位決定の確実性が十分であ
   るとみなされると、２つの第１の画像領域（６，７）における領域変位の平均値
   から変位を求める、 ２つの第１の画像領域（６，７）のうち、領域変位決定の確実性が十分であ
   るとみなされる画像領域の領域変位から変位を求める、 第２の画像領域（８）の領域変位から変位を求める、 請求項１から５のいずれか１項記載の方法。
7. 【請求項７】 頭部と肩の撮影という状況のために前記方法を使用し、 ここで両方の第１の画像領域（６，７）を左右の側方領域内で選定し、たとえ
   ばまえもって定められた矩形画像の垂直方向中央軸について対称に選定し、画像
   下端部からの該両方の画像領域（６，７）の間隔を、画像上端部からの該両方の
   画像領域（６，７）の間隔よりも大きく選定し、 第２の画像領域（８）を画像中央領域内で選定し、たとえば前記矩形画像の垂
   直方向中央軸について対称に選定し、画像上端部からの該第２の画像領域（８）
   の間隔を、画像下端部からの該第２の画像領域（８）の間隔よりも大きく選定す
   る、 請求項６記載の方法。
8. 【請求項８】 ２つの画像領域（６，７）たとえば２つの第１の画像領域（
   ６，７）に対し、領域変位および領域変位決定の確実性を求め、ここで、 ２つの画像領域（６，７）の各々についてそれぞれ領域変位と相関比を形成す
   るステップと、 両方の画像領域（６，７）においてそれぞれ求められた領域変位に依存して閾
   値関数を求めるステップと、 ２つの画像領域（６，７）の一方の相関比をそれぞれ、２つの画像領域（６，
   ７）の他方の領域変位に対する閾値関数から得られる値と比較するステップと、 ２つの画像領域（６，７）のそれぞれ一方に対する領域変位決定の確実性を、
   一方の画像領域（６，７）に対応する相関比がそれと比較すべき閾値関数の値よ
   りも大きければ、十分であるとするステップを実行する、 請求項５から７のいずれか１項記載の方法。
9. 【請求項９】 ２つの画像領域（６，７）の一方の相関比を求めるとき、 生じ得る複数の領域変位についてブロックマッチング方式を用いて変位相関値
   を求めるステップと、 変位相関値が最大となる領域変位を画像領域（６，７）の領域変位とみなすス
   テップと、 相関比を変位相関値の最大値から、求められた変位相関値の平均値により除算
   することにより形成するステップを実行する、 請求項８記載の方法。
10. 【請求項１０】 まえもって定められた第１の閾値よりも小さい任意の領域
    変位の各々について閾値関数により、まえもって定められた第２の閾値の値を採
    用し、 まえもって定められた第１の閾値よりも大きい任意の領域変位の各々について
    閾値関数により、まえもって定められた第２の閾値の値を積で減算して採用し、
    ここで該積は因数として所定の勾配パラメータと差を含み、該差を任意の領域変
    位とまえもって定められた第１の閾値から形成する、 請求項８記載の方法。
11. 【請求項１１】 領域変位を求めるためブロックベースの符号化法によるブ
    ロック変位情報を用い、画像領域（６，７，８）の各々について個々の画像領域
    （６，７，８）内に位置するブロックのブロック変位情報たとえば変位ベクトル
    を考慮する、請求項５から７のいずれか１項記載の方法。
12. 【請求項１２】 画像領域の各々について、水平方向成分および垂直方向成
    分を含む領域変位を求めるため、および領域変位決定の確実性を求めるために複
    数のステップを実行し、 領域変位の水平方向成分を求めるためには、ブロック変位情報における水平方
    向成分の種々の値の頻度について第１の頻度分布を作成し、ここで領域変位の水
    平方向成分は、ブロック変位情報の水平方向成分において第１の頻度分布がその
    主最大値をとる値に対応し、 領域変位の垂直方向成分を求めるためには、ブロック変位情報における垂直方
    向成分の種々の値の頻度について第２の頻度分布を作成し、ここで領域変位の垂
    直方向成分は、ブロック変位情報の垂直方向成分において第２の頻度分布がその
    主最大値をとる値に対応し、 ここで以下の条件すなわち、 ブロック変位情報の水平方向成分において第１の頻度分布における主最大値
    と副最大値に対応する値の位置の差の絶対値が、まえもって定められた第１の差
    の閾値よりも小さい、 ブロック変位情報の垂直方向成分において第２の頻度分布における主最大値
    と副最大値に対応する値の位置の差の絶対値が、まえもって定められた第２の差
    の閾値よりも小さい、 第１の頻度分布の主最大値が第１の頻度閾値よりも大きい、 第２の頻度分布の主最大値が第２の頻度閾値よりも大きい、 という条件のすべてが満たされたとき、領域変位決定の確実性を十分であるとみ
    なす、 請求項１１記載の方法。
13. 【請求項１３】 請求項１から１２のいずれか１項記載の画像シーケンスに
    おける画像の変位（１５）を求める装置において、 変位検出回路（１００）が設けられており、該変位検出回路により変位（１５
    ）が求められることを特徴とする装置。