JP2007510980A - 画像シーケンスにおける副画像のトラッキング - Google Patents

Abstract

当該方法は、画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出される前副画像に対応する、次取得画像から抽出される次副画像を識別する方法を提供する。当該方法は、前記前副画像に関して、前記副画像の所定の区分化を形成するブロックに関する各画素の特徴的な量の少なくとも１つの分布を計算するステップと、前記次取得画像から抽出される前記第２フォーマットの少なくとも２つの見込み副画像に関して同一の分布を計算するステップと、対応する次副画像を、所定の相関法則に従い、前記分布又は各計算された分布が前記前副画像に関する前記計算された同一の分布との最も高い相関性を有する副画像として、前記見込み副画像のうちから決定するステップと、を有する。

Description

本発明は、画素行列から第１フォーマットに各々形成された一連の取得画像において、前取得画像から抽出される前副画像に対応する、次取得画像から抽出される次副画像を識別する方法であって、前記副画像が、画素行列から前記第１フォーマットより小さい第２フォーマットに形成される方法に関する。

多くのビデオシーケンス取得装置は、記録される画像が、カメラを操作する操作者の不所望及び意図的でない動きによって妨害されないことを可能にする画像安定化手段を備えられる。

特定の装置は、画像を安定化するために、カメラの光学要素に直接作用する補正機構を具備される。これらの装置は、複雑で、かさばり、小型機器にはあまり適さない。

記録される画像を安定化するのを、連続する画像を分析することによって可能にする既知のビデオ信号処理方法も存在する。

斯様な方法は、記録されるべき画像のフォーマットより大きいフォーマットのデジタル画像を取得するカメラを規定し、記録されるべき画像は、カメラによって取得される主画像の副画像を構成する。

画像を安定化するために、前取得画像から得られる前副画像から、次取得画像における前記前副画像に対応する次副画像を決定する方法は既知である。前副画像及び次副画像の認識により、これら２つの対応する画像間に生じるいかなる動きも決定することが可能であり、操作者の意図的でない動きの影響を除くために斯様な動きを補正することが可能である。

画像安定化方法は、欧州特許公開第1117251号に特に記載される。この方法は、取得画像を、この画像を覆う一群のブロックに分割するとともに、各ブロックに関して、１つの画像から次画像へのこのブロックの動きを特徴付ける動きベクトルを決定するステップを規定する。動きヒストグラムが、全てのブロックに関して作成される。フィルタリングの後に、ヒストグラムの結果は平均化され、動きベクトルが、様々なブロックのフィルタされた動きベクトルの平均に等しくあるように取られる。

この方法は、対象としている各ブロックに関して、次画像の対応するブロックを決定することが必要なので、大量の計算時間及びしたがって大量の計算能力を消費する。加えて、前ブロックから次ブロックを識別するための何のアルゴリズムも提供されていない。

本発明の目的は、画像の動きを決定する方法で用いられることが可能である、一連の取得画像のうちの前副画像に対応する次副画像を識別する方法を提供することであり、当該方法は、画像安定化方法において用いられ得、これにより、画像安定化方法は、ほんの少数の計算演算のみを必要とし、電力をほとんど消費しない。

この目的のために、本発明の目的は、
−前副画像に関して、前記副画像の所定の区分化を形成するブロックに関する各画素の特徴的な量の少なくとも１つの分布を計算するステップと、
−次取得画像から抽出される前記第２フォーマットの少なくとも２つの見込み副画像(would-be sub-image)に関して同一の分布を計算するステップと、
−対応する次副画像を、所定の相関法則に従い、前記分布又は各計算された分布が前記前副画像に関する前記計算された同一の分布との最も高い相関性を有する副画像として、前記見込み副画像のうちから決定するステップと、
を有する識別方法である。

対応する次副画像を決定するための分布の計算は、計算能力において簡単で安価であるにもかかわらず、満足的な精度を有する対応する次副画像を決定することを可能にする。

特定の実施例によると、当該方法は、以下の特徴のうちの１つ又は複数を有する。すなわち、
−当該方法が、
−次取得画像の拡張範囲に関する拡張分布を計算するステップと、
−前記前副画像に関する計算された分布と前記次取得画像に対しての前記前副画像のいくつかのシフトに関する前記拡張分布の対応する部分との間の相関性を計算するステップと、
−対応する次副画像を、前記分布間の前記計算された相関が最も高い前記次取得画像に対して前記前副画像のシフトに対応する前記次取得画像の副画像として決定するステップと、
を有するか、
−少なくとも１つの分布を計算する前記副画像の所定の区分化を形成する前記ブロックは、前記副画像の行及び／又は列であるか、
−各画素の前記特徴的な量が、輝度、青クロミナンス、赤クロミナンス、赤成分、緑成分及び青成分からなる群から選択されるパラメータであるか、
−前記相関法則が、２つの分布の間を隔てるユークリッド距離の逆数として規定されるか、
のうちの１つ又は複数である。

本発明は、画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出された対応する前副画像に対する次取得画像から抽出された次副画像の動きを識別する方法にも関し、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、前記方法が、
−規定の方法を用いることにより、前記次取得画像における、前記前副画像に対応する前記次副画像を識別するステップと、
−前記前取得画像及び前記次取得画像における前記前副画像及び前記次副画像の位置から前記前副画像及び前記次副画像間のいかなる動きも計算するステップと、
を有する。

本発明は、対象として、画素行列から第１フォーマットに各々形成された一連の取得画像における画像を安定化する方法であって、
−上述の動き方法を用いることによって、前取得画像から発行する対応する前副画像に対する、次取得画像から発行する次副画像の前記一連の取得画像におけるいかなる動きも決定するステップと、
−意図される動きの影響と考慮に入れるとともに、意図されない動きの影響を除くために、前記決定された動きを補正するステップと、
−前記補正された動きによって前記前副画像からシフトされる前記次取得画像の副画像を、次副画像として採用するステップと、
を有する方法を有する。

本発明は、対象として、データ処理ユニット用の計算機プログラムであって、前記プログラムがデータ処理ユニットによって実行される場合に上述の方法のステップを実行する一群の命令を有する計算機プログラムを有する。

更に、本発明は、対象として、
−画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出された前副画像に対応する、次取得画像から抽出された次副画像を識別する装置であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
−前記前副画像に関して、前記副画像の所定の区分化を形成するブロックに関する各画素の特徴的な量の少なくとも１つの分布を計算する手段と、
−前記次取得画像から抽出される前記第２フォーマットの少なくとも２つの見込み副画像に関して同一の分布を計算する手段と、
−対応する次副画像を、前記見込み副画像のうちから、所定の相関法則に従い、前記前記分布又は各計算された分布が前記前副画像に関する前記同一の計算された分布との最も高い相関性を有する副画像として決定する手段と、
を有する識別装置と、
−画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出された対応する前副画像に対する、次取得画像から抽出された次副画像の動きを決定する装置であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
−前記次取得画像における、前記前副画像に対応する前記次副画像を識別する、上述の識別装置と、
−前記前取得画像及び前記次取得画像における前記前副画像及び前記次副画像の位置から前記前副画像及び前記次副画像間の動きを計算する手段と、
を有する装置と、
−画素行列から第１フォーマットへそれぞれ形成される一連の取得画像における画像を安定化する装置であって、
−前取得画像から発行する対応する前副画像に対する、次取得画像から発行する次副画像の前記一連の取得画像における動きを決定する、上述の動きを決定する装置と、
−意図される動きの影響と考慮に入れるとともに、意図されない動きの影響を除くために、前記決定された動きを補正する手段と、
−前記補正された動きによって前記前副画像からシフトされる前記次取得画像の副画像を、次副画像として採用する手段と、
を有する装置と、
を含む。

本発明は、図面に示される実施例の例を参照にして更に説明されるが、本発明は、これらの図面に制限されない。

本発明に従う画像安定化方法は、一体型カメラ及び取得されたビデオシーケンスが圧縮された後に取得されたビデオシーケンスを送信する手段を備えた携帯電話などの、ビデオシーケンスを取得する携帯型機器において特に用いられる。

図１は、携帯電話において用いられるビデオ圧縮機器の構造を概略的に示し、この機器は、本発明に従う画像安定化段を備える。

ビデオ圧縮機器の処理連鎖は、例えば、センサの行列に関連付けられたカメラのレンズからなるデジタル画像取得手段１２を備える。取得されたデジタル画像は、画素行列から形成される。各画素は、輝度、青クロミナンス、赤クロミナンス、赤成分、緑成分又は青成分などの様々な変数によって特徴を有する画像要素を構成する。

取得された画像は、第１形式を有する。これらは、例えば７００×５００画素である。

機器によって符号化及び圧縮されるべき画像は、取得画像のフォーマットより小さい第２フォーマットを有する。したがって、符号化されるべき画像は、取得画像から発行される副画像からなる。第２フォーマットは、例えば６４０×４８０画素である。

取得手段１２によって供給される７００×５００画素の取得画像は、本発明に従う画像安定化手段１４によって処理される。これらの手段は、以下の記載において詳細に説明される。安定化手段の出力で得られる画像は、６４０×４８０画素の第２フォーマットに安定化された副画像である。

本来既知であるように、斯様に得られた一連の副画像は、送信される前に、携帯電話で圧縮される。

この目的のために、副画像は、８×８画素のマクロブロックに分解する手段１６により分解される。これらマクロブロックはそれぞれ、前副画像における位置に対するマクロブロックの動きベクトルを推定する手段１８に送られる。この目的のために、圧縮機器は、前副画像を記憶する手段を備える。該圧縮機器は、符号化されるべき各マクロブロックと前副画像における先行マクロブロックとの間の差を符号化する手段２２を備える。

これらの手段２２は、推定手段１８によって作成される各マクロブロックの動きベクトルと、分解手段１６から発行する対応するマクロブロックと、記憶手段２０に記憶された前副画像の前マクロブロックとを入力として受け取る。

動きベクトル及び符号化された差異からなる各マクロブロックに関する情報は、電話によって受信器に送信され、該受信器において情報は符号化され、画像シーケンスは再構成される。

図２は、本発明に従う画像安定化手段１４に関して用いられるアルゴリズムの簡略化されたフロー図を示す。

有利には、画像安定化手段１４は、ＡＳＩＣなどの適合された有線電子回路の形式で製作される。

変更態様において、様々な安定化ステップは、適合されたプログラムを用いてＤＳＰなどの処理器によって実行される。

本発明に従う方法によると、取得画像は、これら取得画像が取得されるように、連続的に処理される。したがって、前副画像に対応する副画像が、各新たな取得画像毎に決定される。

したがって、図２に例示される方法のステップは、各新たな取得画像に関して実行される。

したがって、Ａ_ｔで記される取得された前画像は、前取得画像Ａ_ｔから抽出される安定化された前副画像ＳＡ_ｔと同様に既知であることが仮定される。

該方法が実施される場合、Ａ_ｔ＋１で記される次画像は、ステップ２８において取得される。

画像安定化手段は、まず第１に、ステップ３０において、画像取得手段１２から発行する次画像Ａ_ｔ＋１の画素の特徴的な量の垂直及び水平のヒストグラムの計算を提供する。

各画素に関するヒストグラムにおいて考慮される特徴的な量は、例えば、各画素の輝度、又は各画素の青クロミナンス、赤クロミナンス、赤成分、緑成分若しくは青成分に関する。

ヒストグラムは、次取得画像Ａ_ｔ＋１の所定のブロックに関して確定される。この取得された画像は、上述のように、７００×５００画素のフォーマットを有する。

より正確には、規定の全てのブロックに関する各画素の特徴的な量の分布が確定される。ヒストグラムは、この分布のグラフィック的な表現であり、ヒストグラムという語句は、この分布を指定するために以後の記載において用いられ、この語句は、対象としている技術分野においてより一般的に用いられる。

例えば、

で記される水平ヒストグラムは、画像Ａ_ｔ＋１のラインｌのそれぞれに関して、各画素の特徴的な量の合計Ｈ_１から構成される。言い換えれば、ヒストグラムの各点は、ラインｌに関して

の式によって規定される。ここにおいて、Ｈ_ｌは、ラインｌの画素の特徴的な量の合計であり、ｌはラインｌの数であって、ここでは、ｌ∈［１；５００］である。ｑ_ｉは、ラインｌにおける画素ｉの特徴的な量である。ＮＣＩは、画像における列の数であり、ここではＮＣＩ＝７００である。

同様に、

で記される垂直ヒストグラムは、画像Ａ_ｔ＋１に関して確定される。列ｃに対応するヒストグラムの各点Ｈ_ｃは、

によって規定される。ここにおいて、Ｈ_ｃは、列ｃの画素の特徴的な量の合計であり、ｃは、列ｃの数であって、ここでは、ｃ∈［１；７００］である。ｑ_ｊは、列ｃの画素ｊの特徴的な量である。ＮＬＩは、画像のラインの数である。

これらのヒストグラム

及び

は、収集される画像の全体にわたり計算される。

斯様なヒストグラムの例は、図３に示され、各画素の特徴的な量が画素の光の強度である。

７００×５００画素のフォーマットで取得される画像は、ステップ３２において、ＦＩＦＯ（先入れ先出し）タイプのビデオメモリに一時的に記憶される。

安定化されるべき画像のシーケンスの抽出された前副画像ＳＡ_ｔのヒストグラムは、後に用いられるようにステップ３４で記憶される。

手段３４で記憶される副画像の水平ヒストグラム

及び垂直ヒストグラム

は、以下の記載で開示されるように、手段３０によって計算される取得画像のより大きいヒストグラムのうちからある程度を抽出することによって得られる。したがって、この場合、実際には、図４に開示されるような、第２フォーマットの副画像ＳＡ_ｔに制限される範囲の副ヒストグラムになる。

ステップ３６において、次取得画像Ａ_ｔ＋１のヒストグラム

及び

と前副画像ＳＡ_ｔのヒストグラム

及び

との間の距離の計算が行われる。このために、取得画像の水平ヒストグラム及び垂直ヒストグラムと抽出された前副画像の垂直及び水平ヒストグラムが用いられる。

水平及び垂直のヒストグラムに関して同様の処理が実行される。以下に、水平のヒストグラムに実行される処理のみが詳細に記載される。

前副画像ＳＡ_ｔの水平ヒストグラム

と次取得画像Ａ_ｔ＋１の水平ヒストグラム

との間の一群の距離が計算される。これらの距離は、次取得画像Ａ_ｔ＋１から抽出される、フォーマットが副画像のフォーマットすなわち６４０×４８０画素のフォーマットである見込み画像に関して計算される。考慮される様々な見込み副画像は、図５に例示されるように、前取得画像の全体部分にわたり１画素ずつ互いにオフセットされ、これにより、６０個の連続見込み画像が、見込み副画像と前取得画像Ａ_ｔとの間において考慮される。

ｄ個の画素のオフセットに関するＤ_ｄで記される各距離は、ヒストグラムの全体にわたり、ここでは各列である各ブロックの画素の特徴的な量の合計間の差異すなわち以下の式

によって規定される。ここにおいて、ＮＣＳＩは、見込み副画像における列の数であって、ここではＮＣＳＩ＝６４０である。

は、次画像Ａ_ｔ＋１に関する列ｉ＋ｄに対応するヒストグラムの量であり、

は、見込み副画像に関する列ｉに対応するヒストグラムの量である。

前副画像ＳＡ_ｔと対応する次副画像ＳＡ_ｔ＋１との間のオフセットは、ステップ３８において、距離の計算の結果から決定される。この目的のために、計算された距離のうちから、最小距離Ｄ_ｄに対応するオフセットｍが採用される。

最小距離は、好ましくは、距離Ｄ_ｄによって形成される曲線から決定され、２次微分が最大になるこの曲線上の点を考慮する。関数Ｄ_ｄの２次微分を表す曲線は、図６に例示される。この例において、オフセットは、２８画素に等しい。

したがって、前記オフセットｍは、前副画像ＳＡ_ｔに最も対応する次取得画像Ａ_ｔ＋１のうちの副画像を決定すること、特にこれら２つの画像間の水平オフセットを決定することを可能にする。

ステップ３６及び３８は、垂直ヒストグラムを考慮する垂直オフセットに関しても実行される。

対応する副画像ＳＡ_ｔ及びＳＡ_ｔ＋１間で斯様に決定されるオフセットは、ステップ４０において補正される。このオフセットは、いかなる意図しない振動も考慮しないように補正される。このタイプの補正アルゴリズムは、それ自体既知であり、詳細には記載されない。

補正された次副画像ＳＡ_ｔ＋１は、その後、ステップ４２において、ステップ４０において確定される補正されたオフセットにより、記憶される次画像から抽出される。その後、この次対応する副画像は、分解モジュール１６に送られる。

斯様な安定化手段を用いると、２つの連続する対応する画像間のオフセットを決定するのに必要とされる計算は比較的小さく、このことは、これらの計算が制限された資源、特に制限された電力消費で実行されるのを可能にすることが理解され得る。

図７は、本発明によるヒストグラムによる画像安定化器を実装する別の装置を示す。この装置は、画像の取得を可能にする一群のセンサ１１２を備えるカムコーダであり、上述のような画像安定化モジュール１１４は、安定化された副画像を出力として作成することを可能にする。これらの副画像は、記録手段１１６に送られ、同時に、操作者が記録された画像のシーケンスを表示するのを可能にする液晶スクリーン１１８などの表示スクリーンに送られる。

図１は、本発明に従う画像安定化装置を用いるビデオ圧縮機器の概略図を示す。 図２は、本発明に従う画像安定化方法を説明するフローチャートである。 図３は、本発明に従う方法で用いられる水平及び垂直ヒストグラムの計算を例示する前画像の概略図である。 図４は、本発明に従う方法で用いられる水平及び垂直ヒストグラムの計算を例示する図３の画像の次画像の概略図である。 図５は、本発明に従う方法の実施において得られるヒストグラムを補正する方法を例示する曲線である。 図６は、本発明に従う方法の実施による動きベクトルの決定を例示する曲線である。 図７は、携帯型画像記録及び表示の装置の概略図である。

Claims (11)

1. 画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出される前副画像に対応する、次取得画像から抽出される次副画像を識別する方法であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
   −前記前副画像に関して、前記副画像の所定の区分化を形成するブロックに関する各画素の特徴的な量の少なくとも１つの分布を計算するステップと、
   −前記次取得画像から抽出される前記第２フォーマットの少なくとも２つの見込み副画像に関して同一の分布を計算するステップと、
   −対応する次副画像を、所定の相関法則に従い、前記分布又は各計算された分布が前記前副画像に関する前記計算された同一の分布との最も高い相関性を有する副画像として、前記見込み副画像のうちから決定するステップと、
   を有する方法。
2. −前記次取得画像の拡張範囲に関する拡張分布を計算するステップと、
   −前記前副画像に関する計算された分布と前記次取得画像に対しての前記前副画像のいくつかのシフトに関する前記拡張分布の対応する部分との間の相関性を計算するステップと、
   −対応する次副画像を、前記分布間の前記計算された相関が最も高い前記次取得画像に対しての前記前副画像の前記シフトに対応する前記次取得画像の副画像として決定するステップと、
   を有することを特徴とする、請求項１に記載の方法。
3. 少なくとも１つの分布を計算する前記副画像の所定の区分化を形成する前記ブロックが、前記副画像の行及び／又は列であることを特徴とする、請求項１及び２の何れか一項に記載の方法。
4. 各画素の前記特徴的な量が、輝度、青クロミナンス、赤クロミナンス、赤成分、緑成分及び青成分からなる群から選択されるパラメータであることを特徴とする、請求項１ないし３の何れか一項に記載の方法。
5. 前記相関法則が、２つの分布の間を隔てるユークリッド距離の逆数として規定されることを特徴とする、請求項１ないし４の何れか一項に記載の方法。
6. 画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出された対応する前副画像に対する、次取得画像から抽出された次副画像の動きを決定する方法であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
   −請求項１ないし５の何れか一項に記載の方法を用いることにより、前記次取得画像における、前記前副画像に対応する前記次副画像を識別するステップと、
   −前記前取得画像及び前記次取得画像における前記前副画像及び前記次副画像の位置から前記前副画像及び前記次副画像間のいかなる動きも計算するステップと、
   を有する方法。
7. 画素行列から第１フォーマットへそれぞれ形成される一連の取得画像における画像を安定化する方法であって、
   −請求項６に記載の動き方法を用いることによって、前取得画像から発行する対応する前副画像に対する、次取得画像から発行する次副画像の前記一連の取得画像におけるいかなる動きも決定するステップと、
   −意図される動きの影響を考慮に入れるとともに、意図されない動きの影響を除くために、前記決定された動きを補正するステップと、
   −前記補正された動きによって、前記前副画像からシフトされる前記次取得画像の副画像を、次副画像として採用するステップと、
   を有する方法。
8. データ処理ユニット用の計算機プログラムであって、前記プログラムがデータ処理ユニットによって実行される場合に請求項１ないし７の何れか一項に記載の方法のステップを実行する一群の命令を有する計算機プログラム。
9. 画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出される前副画像に対応する、次取得画像から抽出される次副画像を識別する装置であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
   −前記前副画像に関して、前記副画像の所定の区分化を形成するブロックに関する各画素の特徴的な量の少なくとも１つの分布を計算する手段と、
   −前記次取得画像から抽出される前記第２フォーマットの少なくとも２つの見込み副画像に関して同一の分布を計算する手段と、
   −対応する次副画像を、前記見込み副画像のうちから、所定の相関法則に従い、前記前記分布又は各計算された分布が前記前副画像に関する前記同一の計算された分布との最も高い相関性を有する副画像として決定する手段と、
   を有する装置。
10. 画素行列から第１フォーマットに各々形成された一連の取得画像における、前取得画像から抽出された対応する前副画像に対する次取得画像から抽出された次副画像の動きを決定する装置であって、前記副画像は、画素行列から前記第１フォーマットより小さい第２フォーマットに形成され、
    −前記次取得画像における、前記前副画像に対応する前記次副画像を識別する、請求項９に記載の識別装置と、
    −前記前取得画像及び前記次取得画像における前記前副画像及び前記次副画像の位置から前記前副画像及び前記次副画像間の動きを計算する手段と、
    を有する装置。
11. 画素行列から第１フォーマットへそれぞれ形成される一連の取得画像における画像を安定化する装置であって、
    −前取得画像から発行する対応する前副画像に対する次取得画像から発行する次副画像の前記一連の取得画像における動きを決定する、請求項１０に記載の動きを決定する装置と、
    −意図される動きの影響を考慮に入れるとともに、意図されない動きの影響を除くために、前記決定された動きを補正する手段と、
    −前記補正された動きによって前記前副画像からシフトされる前記次取得画像の副画像を、次副画像として採用する手段と、
    を有する装置。

Images