JP2004070490A - 画像のマッチング装置 - Google Patents
画像のマッチング装置 Download PDFInfo
- Publication number
- JP2004070490A JP2004070490A JP2002226055A JP2002226055A JP2004070490A JP 2004070490 A JP2004070490 A JP 2004070490A JP 2002226055 A JP2002226055 A JP 2002226055A JP 2002226055 A JP2002226055 A JP 2002226055A JP 2004070490 A JP2004070490 A JP 2004070490A
- Authority
- JP
- Japan
- Prior art keywords
- matching
- image
- vector
- motion
- conversion parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Abstract
【課題】適切なマッチング処理を両立させにくい絵柄が混在するような場合でも、適切に両立させることを可能とするマッチング装置を提供することにある。
【解決手段】マッチング部１１は、所定の処理単位の入力映像ｐに対して、例えば、反復勾配法により該処理単位の動き推定を行う。反復勾配法により求まる動きベクトルｖ は、初期偏位動ベクトルをｖ０ 、差分ベクトルをΔｖとして、ｖ ＝ α・Δｖ ＋ ｖ０ で求められる。特徴量抽出部１２は、前記動き推定により得られた動ベクトルの分布から、特徴量、例えばベクトルの大きさの分散や標準偏差を抽出する。パラメータ決定部１３は、前記特徴量の値により、次の処理単位に適用される変換パラメータαを決定する。該特徴量が予め定められた閾値以上の時には、より大きな変換パラメータα（例えば、α＝１）に決定され、該閾値より小さいときには、小さい変換パラメータα（例えば、α＝０．１）に決定される。
【選択図】 図１
【解決手段】マッチング部１１は、所定の処理単位の入力映像ｐに対して、例えば、反復勾配法により該処理単位の動き推定を行う。反復勾配法により求まる動きベクトルｖ は、初期偏位動ベクトルをｖ０ 、差分ベクトルをΔｖとして、ｖ ＝ α・Δｖ ＋ ｖ０ で求められる。特徴量抽出部１２は、前記動き推定により得られた動ベクトルの分布から、特徴量、例えばベクトルの大きさの分散や標準偏差を抽出する。パラメータ決定部１３は、前記特徴量の値により、次の処理単位に適用される変換パラメータαを決定する。該特徴量が予め定められた閾値以上の時には、より大きな変換パラメータα（例えば、α＝１）に決定され、該閾値より小さいときには、小さい変換パラメータα（例えば、α＝０．１）に決定される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は画像のマッチング装置に関し、特に、動き補正テレビ方式変換や動画像符号化を行う場合、あるいはステレオ画像（左眼画像と右目画像からなる１組の静止画または動画）からの奥行抽出処理を行う場合等に好適な、動画像の中の動きを自動推定したり、左眼・右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置に関する。
【０００２】
【従来の技術】
従来、テレビ放送やテレビ電話など、動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチングの処理においてしばしば使用される方式としては、ブロックマッチング法や反復勾配法が挙げられる。これらの方法を説明する文献としては、次の文献を挙げることができる。
川田他：“動き補正テレビ方式変換の改善”、映像情報メディア学会誌、Ｖｏｌ．５１，Ｎｏ．９（１９９７），ｐｐ．１５７７〜１５８６。
【０００３】
これらの方法は、動き推定の場合、画像を、ある小さいサイズの多数のブロックに分割して、そのブロックごとに現フレームと前フレームとを比較して動きを求めることを基本としている。なお、ステレオマッチングの場合は、前記「現フレーム」と「前フレーム」を、「左眼画像」と「右眼画像」に置き換えて考えればよいので、本願の発明は動き推定の場合を中心に説明し、ステレオマッチングの場合の詳細な説明は省略する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の画像のマッチング処理においては、入力映像の絵柄によって、正しくマッチングできる場合とそうでない場合が存在する。例えば反復勾配法の場合、次のように説明できる。
【０００５】
反復勾配法により求まる動きベクトルｖ（画像内のブロック毎） は、初期偏位動ベクトルをｖ０ として、次の式（１）で求められる（上記文献参照）。
ｖ ＝ Δｖ ＋ ｖ０ ・・・（１）
ここに、差分ベクトルΔｖ の水平、垂直成分Δｖｘ、Δｖｙ は、画素値の水平勾配Δｘ、垂直勾配Δｙ、および初期偏位動ベクトルｖ０による動き補正フィールド（フレーム） 間差分Δｔ によって、下記の式（２）および式（３）のように表される。なお、和は当該ブロック内の全画素について適用される。
ここに、初期偏位動ベクトルｖ０は、過去に求められた周辺のブロックの動ベクトルを候補としてマッチングにより決定される（詳細は上記文献参照）。
【０００６】
前記式（２）、（３）においては、特に分母が小さい場合に０による除算に近くなるため、ノイズなどわずかな擾乱要因によっても大きな誤差が発生する恐れがある。
【０００７】
特に問題となる例としては、規則的な繰り返し模様が絵柄に存在する場合である。この場合、多数の動ベクトルで画像のマッチングが取れるため、ノイズ等により実際の動きとは別の動ベクトルが求まり、その結果、方式変換の場合、内挿画像が極端に劣化することがある。
【０００８】
また、反復勾配法においては、画像面の勾配を利用して反復的に動きを求めるため、フレーム間での相関が小さいと、動きが求まりにくくなってしまう。この面から特に問題となるのは、高速シャッターつきで撮影したシーンである。時間的に隣り合う画像間で動物体が離れているため、動きを捉えられなくなる傾向が強まる。
【０００９】
以上のように、規則的な繰り返し模様が絵柄に存在する画像と、フレーム間での相関が小さい画像とのように、マッチング処理がうまくいきやすいかどうかという点で、トレードオフの関係にある画像が存在する。
【００１０】
本発明の目的は、前記した従来技術の問題点に鑑みてなされたものであり、上記のように適切なマッチング処理を両立させにくい絵柄が混在するような場合でも、適切に両立させることを可能とするマッチング装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置において、映像のマッチング処理を行うマッチング手段と、該マッチング手段から出力されるマッチング情報信号（ベクトル） の特徴量を抽出する特徴量抽出手段と、該特徴量を基に、入力される映像の動きの推定処理のパラメータや、左眼用画像と右眼用画像の対応点の検出処理のパラメータを決定する変換パラメータ決定手段とを具備し、前記マッチング手段は、該変換パラメータ決定手段で決定されたパラメータを用いて、マッチング処理を行うようにした点に第１の特徴がある。また、前記マッチング手段から出力されるマッチング情報信号（ベクトル） の特徴量を抽出する特徴量抽出手段に代えて、映像の内容から特徴量を抽出する特徴量抽出手段を具備した点に第２の特徴がある。 これらの特徴によれば、当該画像に最適なマッチングパラメータを適応的に決定することができるようになり、該最適パラメータを用いてマッチング処理を行うことができるので、より正確なマッチング処理が可能となる。
【００１２】
また、本発明は、前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルに前記変換パラメータ決定手段で決定された変換パラメータを乗算し、該乗算結果と初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うようにした点に第３の特徴がある。また、前記マッチング手段は、前記差分ベクトルに対してある数を加算もしくは減算し、該加算値もしくは減算値と初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うようにした点に第４の特徴がある。
【００１３】
これらの特徴によれば、ベクトルの求まり方（反復勾配法に於けるベクトルの収束速度） が制御可能となる。
【００１４】
また、本発明は、前記マッチング手段は、前記差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記変換パラメータを決定するようにするようにした点に第５の特徴がある。また、前記マッチング手段は、前記差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記加算もしくは減算する数を決定するようにした点に第６の特徴がある。
【００１５】
これらの特徴によれば、ノイズなどに起因する誤推定ベクトルの発生を抑えることが可能となる。
【００１６】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
【００１７】
画像の動き推定や画像のステレオマッチングの概要は、次の通りである。すなわち、画像の動き推定は、動き補償予測符号化やテレビの動き補正方式変換において、動画像（映像） の各部の動きを推定する処理である。通常、画面を多数のブロックに分割してそのブロックごとに動きを求める。そのブロックサイズは、１６画素×１６ラインであったり、４ 画素×２ラインであったり、さまざまなケースがありうる。
【００１８】
また、画像のステレオマッチングとは、２台のカメラを使用し、左眼画像と右眼画像の１組の画像の組を得る。これは静止画である場合も、動画である場合もある。そして、左眼画像中の各部分が右眼画像中のどの部分に対応しているかをマッチングにより求める。これにより最終的には画像中各部がカメラに対しどのくらい離れているかの奥行きを推定するのがステレオマッチング処理の最終目的となる。このステレオマッチングについては、例えば次の文献が参考となる。
尾上守夫編「画像処理ハンドブック」（昭晃堂）（３９５ページ付近など）。
【００１９】
上記の画像動き推定では現フレームと前フレームとのマッチングを求めるのであるから、これら動き推定とステレオマッチングは、マッチング処理としては全く類似の処理となる。そこで、以下に、画像の動き推定処理を例として、説明を続ける。
【００２０】
画像の動き推定方法を行う代表的な方法として、反復勾配法がある。これについては、前掲の文献の川田他：“動き補正テレビ方式変換の改善”、映像情報メディア学会誌、Ｖｏｌ．５１、Ｎｏ．９（１９９７）などに詳しく書かれている。該反復勾配法により求まる動きベクトルｖは、該文献に記載されているように、式（１）、式（２）、式（３） のように表現される。
【００２１】
さて、前述したように、前記式（２）、式（３）においては、分母が小さい場合に、ノイズなどのわずかな擾乱要因によっても大きな誤差が発生する恐れがある。そこで、本発明では、式（２）、式（３）の分母が小さい場合には、式（１）の右辺第１項のΔｖに、１より小さい変換パラメータαを掛けて、下記の式（４）のようにする。
ｖ＝α・Δｖ＋ｖ０ （ただし、αｘ＜１，αｙ＜１） ・・・（４）
【００２２】
式（４） のような変換パラメータαを設定することによって、処理過程を制御することが可能である。従来これらの変換パラメータは固定であった。これを、画像の絵柄やマッチング結果であるベクトルの解析により、最適なパラメータを動的に求め、よりシーンに適合した正確なマッチング処理を可能にする、というのが本発明の第１の原理である。
【００２３】
次に、反復勾配法においては、式（４） が示すように、あるシーンになったとき、すぐに正しい動ベクトルが求まるのではなく、反復的に収束していくという性質がある。このため、高速シャッターつきで撮影したシーンのように、フレーム間での相関が小さいと、α＜１の場合には動きが求まりにくくなってしまう。したがって、例えばフレーム間での相関が小さい画像に対しても、速やかに最適なパラメータを求め、正確なマッチング処理を可能にする、というのが本発明の第２の原理である。
【００２４】
これらの第１、第２の原理は、反復勾配法に限らず、ブロックマッチング法などの他の動き推定方法についても適用できる。なお、前記の説明では、式（１） における差分ベクトルΔｖに、ある１より小さい変換パラメータαを掛けるものであったが、該差分ベクトルΔｖからある定数を減算または加算するものであってもよい。
【００２５】
次に、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明の第１実施形態の構成を示すブロック図である。
【００２６】
図示されているように、マッチング装置１は、前記反復勾配法等のマッチング部１１、該マッチング部１１から出力されたベクトルの特徴量（分散等）を抽出する特徴量抽出部１２、および該抽出された特徴量に基づいてパラメータαを決定するパラメータ決定部１３から構成されている。該マッチング装置１から得られたマッチング情報信号である出力ベクトルｒは、テレビ方式変換部２に送られる。該テレビ方式変換部２は、該出力ベクトルｒを用いて、例えばＮＴＳＣ方式の入力映像ｐをＰＡＬ方式に変換し、ＰＡＬ方式の出力映像ｑを出力する。なお、該テレビ方式変換部２は一例であり、これに代えて、動き補償符号化部を置き、前記出力ベクトルｒを動き補償符号化に使用してもよい。また、入力映像ｐが左眼画像と右眼画像の１組の画像の場合には、前記出力ベクトルｒはステレオマッチング処理に使用することができる。
【００２７】
次に、本実施形態の動作を、図２のフローチャートを参照して説明する。ステップＳ１では、マッチング部１１に、初期変換パラメータとして、動ベクトルの収束を遅くするパラメータ、例えばα＝（αｘ，αｙ）＝（０．１，０．２）が設定される。次いで、マッチング装置１に、所定の処理単位、例えばブロック単位、フィールド単位で入力映像ｐが取り込まれると、ステップＳ２で、マッチング部１１は、反復勾配法により該処理単位の動き推定を行う。すなわち、前記αを用い、前記式（４）により動き推定を行う。
【００２８】
次に、ステップＳ３では、特徴量抽出部１２は、前記動き推定により得られた動ベクトルの分布から、特徴量、例えばベクトルの大きさの分散や標準偏差を抽出する。すなわち、演算により求める。ステップＳ４では、前記パラメータ決定部１３が、前記特徴量の値により、次の処理単位に適用される変換パラメータαを決定する。該特徴量が前記分散や標準偏差の場合には、該特徴量が予め定められた閾値以上の時には、より大きな変換パラメータα（例えば、α＝１）に決定される。一方、該閾値より小さいときには、前記初期変換パラメータ値に維持または決定される。
【００２９】
ステップＳ５では、全部の処理単位の動き推定処理が済んだか否かの判断がなされ、この判断が否定の時にはステップＳ６に進んで、次の処理単位の入力映像ｐが取り込まれる。次いで、前記ステップＳ２に戻って、反復勾配法により、該処理単位の動き推定が行われる。
【００３０】
以上の処理が、前記ステップＳ５の判断が肯定になるまで繰り返され、肯定になると、シーン適応型の動的パラメータ制御による動き推定処理は終了する。
【００３１】
したがって、本実施形態によれば、動ベクトルの特徴量に応じて、変換パラメータαを可変することができるので、入力映像ｐがフレーム間で大きな変化がない場合、例えば規則的な繰り返し模様が絵柄に存在する場合等では変換パラメータαは小さく決定され、逆にフレーム間での相関が小さく、隣り合う画像間で動物体が離れている場合等では変換パラメータαは大きく決定される。この結果、適切なマッチング処理を両立させにくい絵柄が混在するような場合でも、適切に両立させることが可能になる。
【００３２】
次に、本発明の第２実施形態を、図３のブロック図を参照して説明する。この実施形態では、マッチング装置３を、マッチング部３１、入力映像ｐの特徴量を抽出する特徴量抽出部３２、および該抽出された特徴量から変換パラメータαを決定するパラメータ決定部３３から構成した点に特徴がある。
【００３３】
この実施形態においては、特徴量抽出部３２は入力映像ｐから特徴量、例えば画素値の明るさの変化、その分散、標準偏差などを抽出する。パラメータ決定部３３は、該特徴量が予め定められた閾値以上であると、変換パラメータを大きく決定し、逆に該閾値より小さいと前記第１実施形態と同様に前記初期変換パラメータ値に維持または決定される。この動作以外は、前記第１実施形態と同様であるので、説明を省略する。
【００３４】
以上のように、この実施形態においても、適切なマッチング処理を両立させにくい絵柄が混在するようなビデオ信号に対しても、マッチング処理を適切に両立させることが可能になる。
【００３５】
次に、本発明の第３実施形態を、図４を参照して説明する。この実施形態は、反復勾配法において、前記式（２）、式（３） の差分ベクトル計算時の分母が小さいかどうかを判断して、これにより適応的にパラメータ制御を行うようにした点に特徴があり、図４は前記マッチング部１１，３１の一具体的構成を示すブロック図である。
【００３６】
本実施形態のマッチング部は、入力映像ｐから前記式（２）、式（３）の分子の計算をする第１、第２演算部４１，４２、それらの式の分母の計算をする第３演算部４３、前記式（２）の除算を行う第４演算部４４、前記式（３）の除算を行う第５演算部４５、前記第３演算部４３で求められた分母の値と前記パラメータ決定部１３からの変換パラメータαを基に変換パラメータα（αｘ，αｙ）を決定するαｘ決定部４６、αｙ決定部４７、乗算部４８，４９、および加算部５０，５１から構成されている。
【００３７】
本実施形態では、第３演算部４３により、前記式（２）、式（３）の分母の計算を行い、該分母の値が予め定められた閾値以下であれば、前記αｘ決定部４６およびαｙ決定部４７は強制的に小さい値の（αｘ，αｙ）を決定する。これにより、（αｘ，αｙ）が小さい場合に、ノイズなどのわずかな擾乱要因によって動き推定に大きな誤差が発生するのを防止する。一方、前記分母の値が前記閾値より大きい場合には、αｘ決定部４６およびαｙ決定部４７はパラメータ決定部１３，３３で決定された変換パラメータαを（αｘ，αｙ）と決定する。
【００３８】
第４、第５演算部から出力されたΔｖｘ、Δｖｙは、それぞれ乗算部４８，４９で前記αｘ決定部４６、αｙ決定部４７で決定されたαｘ，αｙと乗算され、それぞれの乗算結果は、加算部５０，５１で、ｖ０ｘ、ｖ０ｙと加算される。この結果、出力ベクトルｒ、すなわち（ｖｘ，ｖｙ）が得られる。
【００３９】
以上のように、本実施形態によれば、規則的な繰り返し模様が絵柄に存在する場合などの入力映像の場合には、強制的に小さな変換パラメータに決定され、擾乱要因の動き推定に対する寄与が小さくされるので、ノイズなどのわずかな擾乱要因による動き推定の誤差の発生を軽減することができるようになる。
【００４０】
なお、前記実施形態の説明では、式（４）をｖ＝α・Δｖ＋ｖ０（ただし、αｘ＜１，αｙ＜１）としたが、ｖ＝（Δｖ−Ｐ）＋ｖ０ （Ｐは正の数）、またはｖ＝（Δｖ＋Ｑ）＋ｖ０ （Ｑは正の数）とし、該ＰおよびＱを、前記変換パラメータαと同様に適応的に変えて、動き推定に対するΔｖの寄与度を変えるようにしてもよい。
【００４１】
本発明者は、本発明方式をテレビ方式変換アルゴリズムに組み込み、計算機シミュレーションにより性能評価を行った。
【００４２】
テレビ方式変換では、原画と変換画ではＳＮ比を計算することができない。そこで、まず、６２５ライン、５０枚／秒のテスト動画像を、５２５ライン、６０枚／秒の動画像に変換し、それを再度６２５ライン、５０枚／秒の処理画像に逆変換した。そして、該処理画像と原画のＰＳＮＲを計算した。変換・逆変換のアルゴリズムは、ライン数比やフィールド内挿比に関するパラメータを除いて、全く同一とした。
【００４３】
テスト画像としては、最適変換パラメータの異なる２種類、すなわち、壁に格子模様を有する“Ｉｎｔｅｒｖｉｅｗ”と、高速シャッターにより撮影された“Ｃａｒｏｕｓｅｌ”を、それぞれ２５フレーム接続して作成して、前半５０フィールドを“Ｉｎｔｅｒｖｉｅｗ”シーン、後半５０フィールドを“Ｃａｒｏｕｓｅｌ”シーンとした（計５０フレーム）。前記特徴量抽出部１２（図１参照）で抽出する特徴量としては、前フィールドの発生動ベクトルの大きさの標準偏差を使用した（１フィールド毎に１特徴量とした）。また、パラメータ決定部１３では、適当な閾値を設定し、該特徴量が該閾値より大きければ、次フィールドの変換パラメータを動き優先型（式（４）で、α＝（１，１））、小さければ、静止優先型（式（４）で、α＝（０．１，０．２））と決定して、適応的に可変にした。なお、前記“Ｉｎｔｅｒｖｉｅｗ”と“Ｃａｒｏｕｓｅｌ”の各シーンに適する変換パラメータは、それぞれ、静止優先型（式（４）で、α＝（０．１，０．２））、動き優先型（式（４）で、α＝（１，１））である。
【００４４】
図５に、従来方式１，２でテレビ方式変換をした時の処理画像のＰＳＮＲのグラフを示し、図６に、本発明方式でテレビ方式変換をした時の処理画像のＰＳＮＲのグラフを示す。また、図７は、前記各方式での、各シーン区間における平均のＰＳＮＲを示す。なお、図５の従来方式１は、変換パラメータとして前記動き優先型を固定的に使用したものであり、従来方式２は、変換パラメータとして前記静止優先型を固定的に使用したものである。一方、本発明方式では、該動き優先型と静止優先型とを適応的に使用した。
【００４５】
この実験の結果、図５および図７から分かるように、前記従来方式１では、“Ｉｎｔｅｒｖｉｅｗ”シーンで大きな劣化が発生したが、“Ｃａｒｏｕｓｅｌ”シーンは良好に変換された。また、前記従来方式２では、“Ｉｎｔｅｒｖｉｅｗ”シーンは良好に変換されたが、“Ｃａｒｏｕｓｅｌ”シーンにおいて大きな劣化が発生した。その理由は、各劣化シーンでは、不適切な変換パラメータが使用されているからである。
【００４６】
一方、本発明方式では、図６および図７から分かるように、“Ｃａｒｏｕｓｅｌ”と“Ｉｎｔｅｒｖｉｅｗ”の両シーンにおいて適当な変換パラメータαが自動的に選択され、良好に変換できたことが確認された。図７においても、従来方式１，２よりも良好なＰＳＮＲ（平均）が得られていることが分かる。なお、本発明方式においても、シーンチェンジの直後においては、しばらくの間はＳＮが低下している。これは、変換／逆変換で異なる変換パラメータが選択された部分で、ミスマッチの度合いが大きくなったためであると考えられる。
【００４７】
【発明の効果】
以上の説明から明らかなように、請求項１、２の発明によれば、、出力されていくマッチング情報信号（ベクトル）や、入力されてくる画像信号の内容を自動解析してそれらの特徴量を抽出することにより、当該画像に最適な変換（マッチング）パラメータを適応的に決定することができる。この結果、該変換パラメータを用いてマッチング処理を行うことにより、より正確なマッチング処理が可能となる。
【００４８】
また、請求項３，４の発明によれば、差分ベクトルに前記変換パラメータを乗算し、該乗算値に初期偏位ベクトルを加算してベクトルを算出する、または
差分ベクトルにある数を加算もしくは減算し、該加算値又は減算値に初期偏位動ベクトルを加算してベクトルを算出するようにしたので、ベクトルの求まり方（反復勾配法に於けるベクトルの収束速度） が制御可能となる。
【００４９】
また、請求項５，６の発明によれば、差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定し、それが小さいときに、前記変換パラメータを１より小さく、あるいは減算する数を大きくもしくは加算する数を小さくするようにしたので、ノイズなどに起因する誤推定ベクトルの発生を押さえることが可能となる。
【００５０】
さらに、請求項７の発明によれば、出力されるマッチング情報信号（ベクトル）の特徴量として、ベクトルの分散を計算するようにしたので、有効なマッチング変換パラメータ制御が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】該第１の実施形態の動作を説明するフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】本発明の第３の実施形態の要部の構成を示すブロック図である。
【図５】従来方式による処理画像のＰＳＮＲを示すグラフである。
【図６】本発明方式による処理画像のＰＳＮＲを示すグラフである。
【図７】従来方式１，２，および本発明方式における、各シーンに対するＰＳＮＲ［ｄＢ］および平均のＰＳＮＲを示す図である。
【符号の説明】
１，３・・・マッチング装置、２・・・テレビ方式変換部、１１，３１・・・マッチング部、１２，３２・・・特徴量抽出部、１３，３３・・・パラメータ決定部、４１〜４５・・・第１〜第５演算部、４６・・・αｘ決定部、４７・・・αｙ決定部。
【発明の属する技術分野】
本発明は画像のマッチング装置に関し、特に、動き補正テレビ方式変換や動画像符号化を行う場合、あるいはステレオ画像（左眼画像と右目画像からなる１組の静止画または動画）からの奥行抽出処理を行う場合等に好適な、動画像の中の動きを自動推定したり、左眼・右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置に関する。
【０００２】
【従来の技術】
従来、テレビ放送やテレビ電話など、動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチングの処理においてしばしば使用される方式としては、ブロックマッチング法や反復勾配法が挙げられる。これらの方法を説明する文献としては、次の文献を挙げることができる。
川田他：“動き補正テレビ方式変換の改善”、映像情報メディア学会誌、Ｖｏｌ．５１，Ｎｏ．９（１９９７），ｐｐ．１５７７〜１５８６。
【０００３】
これらの方法は、動き推定の場合、画像を、ある小さいサイズの多数のブロックに分割して、そのブロックごとに現フレームと前フレームとを比較して動きを求めることを基本としている。なお、ステレオマッチングの場合は、前記「現フレーム」と「前フレーム」を、「左眼画像」と「右眼画像」に置き換えて考えればよいので、本願の発明は動き推定の場合を中心に説明し、ステレオマッチングの場合の詳細な説明は省略する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の画像のマッチング処理においては、入力映像の絵柄によって、正しくマッチングできる場合とそうでない場合が存在する。例えば反復勾配法の場合、次のように説明できる。
【０００５】
反復勾配法により求まる動きベクトルｖ（画像内のブロック毎） は、初期偏位動ベクトルをｖ０ として、次の式（１）で求められる（上記文献参照）。
ｖ ＝ Δｖ ＋ ｖ０ ・・・（１）
ここに、差分ベクトルΔｖ の水平、垂直成分Δｖｘ、Δｖｙ は、画素値の水平勾配Δｘ、垂直勾配Δｙ、および初期偏位動ベクトルｖ０による動き補正フィールド（フレーム） 間差分Δｔ によって、下記の式（２）および式（３）のように表される。なお、和は当該ブロック内の全画素について適用される。
【０００６】
前記式（２）、（３）においては、特に分母が小さい場合に０による除算に近くなるため、ノイズなどわずかな擾乱要因によっても大きな誤差が発生する恐れがある。
【０００７】
特に問題となる例としては、規則的な繰り返し模様が絵柄に存在する場合である。この場合、多数の動ベクトルで画像のマッチングが取れるため、ノイズ等により実際の動きとは別の動ベクトルが求まり、その結果、方式変換の場合、内挿画像が極端に劣化することがある。
【０００８】
また、反復勾配法においては、画像面の勾配を利用して反復的に動きを求めるため、フレーム間での相関が小さいと、動きが求まりにくくなってしまう。この面から特に問題となるのは、高速シャッターつきで撮影したシーンである。時間的に隣り合う画像間で動物体が離れているため、動きを捉えられなくなる傾向が強まる。
【０００９】
以上のように、規則的な繰り返し模様が絵柄に存在する画像と、フレーム間での相関が小さい画像とのように、マッチング処理がうまくいきやすいかどうかという点で、トレードオフの関係にある画像が存在する。
【００１０】
本発明の目的は、前記した従来技術の問題点に鑑みてなされたものであり、上記のように適切なマッチング処理を両立させにくい絵柄が混在するような場合でも、適切に両立させることを可能とするマッチング装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置において、映像のマッチング処理を行うマッチング手段と、該マッチング手段から出力されるマッチング情報信号（ベクトル） の特徴量を抽出する特徴量抽出手段と、該特徴量を基に、入力される映像の動きの推定処理のパラメータや、左眼用画像と右眼用画像の対応点の検出処理のパラメータを決定する変換パラメータ決定手段とを具備し、前記マッチング手段は、該変換パラメータ決定手段で決定されたパラメータを用いて、マッチング処理を行うようにした点に第１の特徴がある。また、前記マッチング手段から出力されるマッチング情報信号（ベクトル） の特徴量を抽出する特徴量抽出手段に代えて、映像の内容から特徴量を抽出する特徴量抽出手段を具備した点に第２の特徴がある。 これらの特徴によれば、当該画像に最適なマッチングパラメータを適応的に決定することができるようになり、該最適パラメータを用いてマッチング処理を行うことができるので、より正確なマッチング処理が可能となる。
【００１２】
また、本発明は、前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルに前記変換パラメータ決定手段で決定された変換パラメータを乗算し、該乗算結果と初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うようにした点に第３の特徴がある。また、前記マッチング手段は、前記差分ベクトルに対してある数を加算もしくは減算し、該加算値もしくは減算値と初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うようにした点に第４の特徴がある。
【００１３】
これらの特徴によれば、ベクトルの求まり方（反復勾配法に於けるベクトルの収束速度） が制御可能となる。
【００１４】
また、本発明は、前記マッチング手段は、前記差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記変換パラメータを決定するようにするようにした点に第５の特徴がある。また、前記マッチング手段は、前記差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記加算もしくは減算する数を決定するようにした点に第６の特徴がある。
【００１５】
これらの特徴によれば、ノイズなどに起因する誤推定ベクトルの発生を抑えることが可能となる。
【００１６】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
【００１７】
画像の動き推定や画像のステレオマッチングの概要は、次の通りである。すなわち、画像の動き推定は、動き補償予測符号化やテレビの動き補正方式変換において、動画像（映像） の各部の動きを推定する処理である。通常、画面を多数のブロックに分割してそのブロックごとに動きを求める。そのブロックサイズは、１６画素×１６ラインであったり、４ 画素×２ラインであったり、さまざまなケースがありうる。
【００１８】
また、画像のステレオマッチングとは、２台のカメラを使用し、左眼画像と右眼画像の１組の画像の組を得る。これは静止画である場合も、動画である場合もある。そして、左眼画像中の各部分が右眼画像中のどの部分に対応しているかをマッチングにより求める。これにより最終的には画像中各部がカメラに対しどのくらい離れているかの奥行きを推定するのがステレオマッチング処理の最終目的となる。このステレオマッチングについては、例えば次の文献が参考となる。
尾上守夫編「画像処理ハンドブック」（昭晃堂）（３９５ページ付近など）。
【００１９】
上記の画像動き推定では現フレームと前フレームとのマッチングを求めるのであるから、これら動き推定とステレオマッチングは、マッチング処理としては全く類似の処理となる。そこで、以下に、画像の動き推定処理を例として、説明を続ける。
【００２０】
画像の動き推定方法を行う代表的な方法として、反復勾配法がある。これについては、前掲の文献の川田他：“動き補正テレビ方式変換の改善”、映像情報メディア学会誌、Ｖｏｌ．５１、Ｎｏ．９（１９９７）などに詳しく書かれている。該反復勾配法により求まる動きベクトルｖは、該文献に記載されているように、式（１）、式（２）、式（３） のように表現される。
【００２１】
さて、前述したように、前記式（２）、式（３）においては、分母が小さい場合に、ノイズなどのわずかな擾乱要因によっても大きな誤差が発生する恐れがある。そこで、本発明では、式（２）、式（３）の分母が小さい場合には、式（１）の右辺第１項のΔｖに、１より小さい変換パラメータαを掛けて、下記の式（４）のようにする。
ｖ＝α・Δｖ＋ｖ０ （ただし、αｘ＜１，αｙ＜１） ・・・（４）
【００２２】
式（４） のような変換パラメータαを設定することによって、処理過程を制御することが可能である。従来これらの変換パラメータは固定であった。これを、画像の絵柄やマッチング結果であるベクトルの解析により、最適なパラメータを動的に求め、よりシーンに適合した正確なマッチング処理を可能にする、というのが本発明の第１の原理である。
【００２３】
次に、反復勾配法においては、式（４） が示すように、あるシーンになったとき、すぐに正しい動ベクトルが求まるのではなく、反復的に収束していくという性質がある。このため、高速シャッターつきで撮影したシーンのように、フレーム間での相関が小さいと、α＜１の場合には動きが求まりにくくなってしまう。したがって、例えばフレーム間での相関が小さい画像に対しても、速やかに最適なパラメータを求め、正確なマッチング処理を可能にする、というのが本発明の第２の原理である。
【００２４】
これらの第１、第２の原理は、反復勾配法に限らず、ブロックマッチング法などの他の動き推定方法についても適用できる。なお、前記の説明では、式（１） における差分ベクトルΔｖに、ある１より小さい変換パラメータαを掛けるものであったが、該差分ベクトルΔｖからある定数を減算または加算するものであってもよい。
【００２５】
次に、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明の第１実施形態の構成を示すブロック図である。
【００２６】
図示されているように、マッチング装置１は、前記反復勾配法等のマッチング部１１、該マッチング部１１から出力されたベクトルの特徴量（分散等）を抽出する特徴量抽出部１２、および該抽出された特徴量に基づいてパラメータαを決定するパラメータ決定部１３から構成されている。該マッチング装置１から得られたマッチング情報信号である出力ベクトルｒは、テレビ方式変換部２に送られる。該テレビ方式変換部２は、該出力ベクトルｒを用いて、例えばＮＴＳＣ方式の入力映像ｐをＰＡＬ方式に変換し、ＰＡＬ方式の出力映像ｑを出力する。なお、該テレビ方式変換部２は一例であり、これに代えて、動き補償符号化部を置き、前記出力ベクトルｒを動き補償符号化に使用してもよい。また、入力映像ｐが左眼画像と右眼画像の１組の画像の場合には、前記出力ベクトルｒはステレオマッチング処理に使用することができる。
【００２７】
次に、本実施形態の動作を、図２のフローチャートを参照して説明する。ステップＳ１では、マッチング部１１に、初期変換パラメータとして、動ベクトルの収束を遅くするパラメータ、例えばα＝（αｘ，αｙ）＝（０．１，０．２）が設定される。次いで、マッチング装置１に、所定の処理単位、例えばブロック単位、フィールド単位で入力映像ｐが取り込まれると、ステップＳ２で、マッチング部１１は、反復勾配法により該処理単位の動き推定を行う。すなわち、前記αを用い、前記式（４）により動き推定を行う。
【００２８】
次に、ステップＳ３では、特徴量抽出部１２は、前記動き推定により得られた動ベクトルの分布から、特徴量、例えばベクトルの大きさの分散や標準偏差を抽出する。すなわち、演算により求める。ステップＳ４では、前記パラメータ決定部１３が、前記特徴量の値により、次の処理単位に適用される変換パラメータαを決定する。該特徴量が前記分散や標準偏差の場合には、該特徴量が予め定められた閾値以上の時には、より大きな変換パラメータα（例えば、α＝１）に決定される。一方、該閾値より小さいときには、前記初期変換パラメータ値に維持または決定される。
【００２９】
ステップＳ５では、全部の処理単位の動き推定処理が済んだか否かの判断がなされ、この判断が否定の時にはステップＳ６に進んで、次の処理単位の入力映像ｐが取り込まれる。次いで、前記ステップＳ２に戻って、反復勾配法により、該処理単位の動き推定が行われる。
【００３０】
以上の処理が、前記ステップＳ５の判断が肯定になるまで繰り返され、肯定になると、シーン適応型の動的パラメータ制御による動き推定処理は終了する。
【００３１】
したがって、本実施形態によれば、動ベクトルの特徴量に応じて、変換パラメータαを可変することができるので、入力映像ｐがフレーム間で大きな変化がない場合、例えば規則的な繰り返し模様が絵柄に存在する場合等では変換パラメータαは小さく決定され、逆にフレーム間での相関が小さく、隣り合う画像間で動物体が離れている場合等では変換パラメータαは大きく決定される。この結果、適切なマッチング処理を両立させにくい絵柄が混在するような場合でも、適切に両立させることが可能になる。
【００３２】
次に、本発明の第２実施形態を、図３のブロック図を参照して説明する。この実施形態では、マッチング装置３を、マッチング部３１、入力映像ｐの特徴量を抽出する特徴量抽出部３２、および該抽出された特徴量から変換パラメータαを決定するパラメータ決定部３３から構成した点に特徴がある。
【００３３】
この実施形態においては、特徴量抽出部３２は入力映像ｐから特徴量、例えば画素値の明るさの変化、その分散、標準偏差などを抽出する。パラメータ決定部３３は、該特徴量が予め定められた閾値以上であると、変換パラメータを大きく決定し、逆に該閾値より小さいと前記第１実施形態と同様に前記初期変換パラメータ値に維持または決定される。この動作以外は、前記第１実施形態と同様であるので、説明を省略する。
【００３４】
以上のように、この実施形態においても、適切なマッチング処理を両立させにくい絵柄が混在するようなビデオ信号に対しても、マッチング処理を適切に両立させることが可能になる。
【００３５】
次に、本発明の第３実施形態を、図４を参照して説明する。この実施形態は、反復勾配法において、前記式（２）、式（３） の差分ベクトル計算時の分母が小さいかどうかを判断して、これにより適応的にパラメータ制御を行うようにした点に特徴があり、図４は前記マッチング部１１，３１の一具体的構成を示すブロック図である。
【００３６】
本実施形態のマッチング部は、入力映像ｐから前記式（２）、式（３）の分子の計算をする第１、第２演算部４１，４２、それらの式の分母の計算をする第３演算部４３、前記式（２）の除算を行う第４演算部４４、前記式（３）の除算を行う第５演算部４５、前記第３演算部４３で求められた分母の値と前記パラメータ決定部１３からの変換パラメータαを基に変換パラメータα（αｘ，αｙ）を決定するαｘ決定部４６、αｙ決定部４７、乗算部４８，４９、および加算部５０，５１から構成されている。
【００３７】
本実施形態では、第３演算部４３により、前記式（２）、式（３）の分母の計算を行い、該分母の値が予め定められた閾値以下であれば、前記αｘ決定部４６およびαｙ決定部４７は強制的に小さい値の（αｘ，αｙ）を決定する。これにより、（αｘ，αｙ）が小さい場合に、ノイズなどのわずかな擾乱要因によって動き推定に大きな誤差が発生するのを防止する。一方、前記分母の値が前記閾値より大きい場合には、αｘ決定部４６およびαｙ決定部４７はパラメータ決定部１３，３３で決定された変換パラメータαを（αｘ，αｙ）と決定する。
【００３８】
第４、第５演算部から出力されたΔｖｘ、Δｖｙは、それぞれ乗算部４８，４９で前記αｘ決定部４６、αｙ決定部４７で決定されたαｘ，αｙと乗算され、それぞれの乗算結果は、加算部５０，５１で、ｖ０ｘ、ｖ０ｙと加算される。この結果、出力ベクトルｒ、すなわち（ｖｘ，ｖｙ）が得られる。
【００３９】
以上のように、本実施形態によれば、規則的な繰り返し模様が絵柄に存在する場合などの入力映像の場合には、強制的に小さな変換パラメータに決定され、擾乱要因の動き推定に対する寄与が小さくされるので、ノイズなどのわずかな擾乱要因による動き推定の誤差の発生を軽減することができるようになる。
【００４０】
なお、前記実施形態の説明では、式（４）をｖ＝α・Δｖ＋ｖ０（ただし、αｘ＜１，αｙ＜１）としたが、ｖ＝（Δｖ−Ｐ）＋ｖ０ （Ｐは正の数）、またはｖ＝（Δｖ＋Ｑ）＋ｖ０ （Ｑは正の数）とし、該ＰおよびＱを、前記変換パラメータαと同様に適応的に変えて、動き推定に対するΔｖの寄与度を変えるようにしてもよい。
【００４１】
本発明者は、本発明方式をテレビ方式変換アルゴリズムに組み込み、計算機シミュレーションにより性能評価を行った。
【００４２】
テレビ方式変換では、原画と変換画ではＳＮ比を計算することができない。そこで、まず、６２５ライン、５０枚／秒のテスト動画像を、５２５ライン、６０枚／秒の動画像に変換し、それを再度６２５ライン、５０枚／秒の処理画像に逆変換した。そして、該処理画像と原画のＰＳＮＲを計算した。変換・逆変換のアルゴリズムは、ライン数比やフィールド内挿比に関するパラメータを除いて、全く同一とした。
【００４３】
テスト画像としては、最適変換パラメータの異なる２種類、すなわち、壁に格子模様を有する“Ｉｎｔｅｒｖｉｅｗ”と、高速シャッターにより撮影された“Ｃａｒｏｕｓｅｌ”を、それぞれ２５フレーム接続して作成して、前半５０フィールドを“Ｉｎｔｅｒｖｉｅｗ”シーン、後半５０フィールドを“Ｃａｒｏｕｓｅｌ”シーンとした（計５０フレーム）。前記特徴量抽出部１２（図１参照）で抽出する特徴量としては、前フィールドの発生動ベクトルの大きさの標準偏差を使用した（１フィールド毎に１特徴量とした）。また、パラメータ決定部１３では、適当な閾値を設定し、該特徴量が該閾値より大きければ、次フィールドの変換パラメータを動き優先型（式（４）で、α＝（１，１））、小さければ、静止優先型（式（４）で、α＝（０．１，０．２））と決定して、適応的に可変にした。なお、前記“Ｉｎｔｅｒｖｉｅｗ”と“Ｃａｒｏｕｓｅｌ”の各シーンに適する変換パラメータは、それぞれ、静止優先型（式（４）で、α＝（０．１，０．２））、動き優先型（式（４）で、α＝（１，１））である。
【００４４】
図５に、従来方式１，２でテレビ方式変換をした時の処理画像のＰＳＮＲのグラフを示し、図６に、本発明方式でテレビ方式変換をした時の処理画像のＰＳＮＲのグラフを示す。また、図７は、前記各方式での、各シーン区間における平均のＰＳＮＲを示す。なお、図５の従来方式１は、変換パラメータとして前記動き優先型を固定的に使用したものであり、従来方式２は、変換パラメータとして前記静止優先型を固定的に使用したものである。一方、本発明方式では、該動き優先型と静止優先型とを適応的に使用した。
【００４５】
この実験の結果、図５および図７から分かるように、前記従来方式１では、“Ｉｎｔｅｒｖｉｅｗ”シーンで大きな劣化が発生したが、“Ｃａｒｏｕｓｅｌ”シーンは良好に変換された。また、前記従来方式２では、“Ｉｎｔｅｒｖｉｅｗ”シーンは良好に変換されたが、“Ｃａｒｏｕｓｅｌ”シーンにおいて大きな劣化が発生した。その理由は、各劣化シーンでは、不適切な変換パラメータが使用されているからである。
【００４６】
一方、本発明方式では、図６および図７から分かるように、“Ｃａｒｏｕｓｅｌ”と“Ｉｎｔｅｒｖｉｅｗ”の両シーンにおいて適当な変換パラメータαが自動的に選択され、良好に変換できたことが確認された。図７においても、従来方式１，２よりも良好なＰＳＮＲ（平均）が得られていることが分かる。なお、本発明方式においても、シーンチェンジの直後においては、しばらくの間はＳＮが低下している。これは、変換／逆変換で異なる変換パラメータが選択された部分で、ミスマッチの度合いが大きくなったためであると考えられる。
【００４７】
【発明の効果】
以上の説明から明らかなように、請求項１、２の発明によれば、、出力されていくマッチング情報信号（ベクトル）や、入力されてくる画像信号の内容を自動解析してそれらの特徴量を抽出することにより、当該画像に最適な変換（マッチング）パラメータを適応的に決定することができる。この結果、該変換パラメータを用いてマッチング処理を行うことにより、より正確なマッチング処理が可能となる。
【００４８】
また、請求項３，４の発明によれば、差分ベクトルに前記変換パラメータを乗算し、該乗算値に初期偏位ベクトルを加算してベクトルを算出する、または
差分ベクトルにある数を加算もしくは減算し、該加算値又は減算値に初期偏位動ベクトルを加算してベクトルを算出するようにしたので、ベクトルの求まり方（反復勾配法に於けるベクトルの収束速度） が制御可能となる。
【００４９】
また、請求項５，６の発明によれば、差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定し、それが小さいときに、前記変換パラメータを１より小さく、あるいは減算する数を大きくもしくは加算する数を小さくするようにしたので、ノイズなどに起因する誤推定ベクトルの発生を押さえることが可能となる。
【００５０】
さらに、請求項７の発明によれば、出力されるマッチング情報信号（ベクトル）の特徴量として、ベクトルの分散を計算するようにしたので、有効なマッチング変換パラメータ制御が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】該第１の実施形態の動作を説明するフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】本発明の第３の実施形態の要部の構成を示すブロック図である。
【図５】従来方式による処理画像のＰＳＮＲを示すグラフである。
【図６】本発明方式による処理画像のＰＳＮＲを示すグラフである。
【図７】従来方式１，２，および本発明方式における、各シーンに対するＰＳＮＲ［ｄＢ］および平均のＰＳＮＲを示す図である。
【符号の説明】
１，３・・・マッチング装置、２・・・テレビ方式変換部、１１，３１・・・マッチング部、１２，３２・・・特徴量抽出部、１３，３３・・・パラメータ決定部、４１〜４５・・・第１〜第５演算部、４６・・・αｘ決定部、４７・・・αｙ決定部。
Claims (7)
- 動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置において、
映像のマッチング処理を行うマッチング手段と、
該マッチング手段から出力されるマッチング情報信号（ベクトル） の特徴量を抽出する特徴量抽出手段と、
該特徴量を基に、入力される映像の動きの推定処理のパラメータや、左眼用画像と右眼用画像の対応点の検出処理のパラメータを決定する変換パラメータ決定手段とを具備し、
前記マッチング手段は、該変換パラメータ決定手段で決定されたパラメータを用いて、マッチング処理を行うことを特徴とする画像のマッチング装置。 - 動画像の中の動きを自動推定したり、左眼用画像と右眼用画像からなるステレオ画像の間の対応点を自動検出したりする画像のマッチング装置において、
映像のマッチング処理を行うマッチング手段と、
該映像の内容から特徴量を抽出する特徴量抽出手段と、
該特徴量を基に、入力される映像の動きの推定処理のパラメータや、左眼用画像と右眼用画像の対応点の検出処理のパラメータを決定する変換パラメータ決定手段とを具備し、
前記マッチング手段は、該変換パラメータ決定手段で決定されたパラメータを用いて、マッチング処理を行うことを特徴とする画像のマッチング装置。 - 前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルに、前記変換パラメータ決定手段で決定された変換パラメータを乗算し、該乗算結果と前記初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うことを特徴とする請求項１又は２に記載の画像のマッチング装置。
- 前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルに対してある数を加算もしくは減算し、該加算値もしくは減算値と初期偏位ベクトルとを加算することによりベクトルを算出する、反復勾配法により映像のマッチング処理を行うことを特徴とする請求項１又は２に記載の画像のマッチング装置。
- 前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記変換パラメータを決定するようにすることを特徴とする請求項３に記載の画像のマッチング装置。
- 前記マッチング手段は、画素値の水平勾配、垂直勾配および初期偏位ベクトルによる動き補正フィールド（フレーム）間差分を基に求められる差分ベクトルを計算する際の分母が予め定められた閾値より小さいかどうかを判定する手段を有し、該閾値より小さいときに、前記差分ベクトルの寄与度が小さくなるように前記加算もしくは減算する数を決定するようにすることを特徴とする請求項４に記載の画像のマッチング装置。
- 前記マッチング情報信号（ベクトル） の特徴量が、ベクトルの分散であることを特徴とする請求項１、３ないし５のいずれかに記載の画像のマッチング装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002226055A JP3948616B2 (ja) | 2002-08-02 | 2002-08-02 | 画像のマッチング装置 |
| EP03015654A EP1387588A2 (en) | 2002-08-02 | 2003-07-17 | Image matching device and method for motion estimation |
| US10/620,350 US7305032B2 (en) | 2002-08-02 | 2003-07-17 | Image matching device and method for motion pictures |
| US11/905,281 US7773674B2 (en) | 2002-08-02 | 2007-09-28 | Image matching device and method for motion pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002226055A JP3948616B2 (ja) | 2002-08-02 | 2002-08-02 | 画像のマッチング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004070490A true JP2004070490A (ja) | 2004-03-04 |
| JP3948616B2 JP3948616B2 (ja) | 2007-07-25 |
Family
ID=32013520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002226055A Expired - Fee Related JP3948616B2 (ja) | 2002-08-02 | 2002-08-02 | 画像のマッチング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948616B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049545A (ja) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
-
2002
- 2002-08-02 JP JP2002226055A patent/JP3948616B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049545A (ja) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
| JP4640032B2 (ja) * | 2005-08-11 | 2011-03-02 | カシオ計算機株式会社 | 画像合成装置、画像合成方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3948616B2 (ja) | 2007-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7773674B2 (en) | Image matching device and method for motion pictures | |
| JP4570244B2 (ja) | ディジタル画像シーケンス用の自動安定化方法 | |
| JP4519396B2 (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| JP4997281B2 (ja) | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 | |
| EP2030440B1 (en) | Scaling an image based on a motion vector | |
| JP4162621B2 (ja) | フレームレート変換時のフレーム補間方法およびその装置 | |
| KR100579493B1 (ko) | 움직임 벡터 생성 장치 및 방법 | |
| EP0909092A2 (en) | Method and apparatus for video signal conversion | |
| EP1742485A2 (en) | Motion estimator and estimating method | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| EP0883298A2 (en) | Conversion apparatus for image signals and TV receiver | |
| JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| JP2013059016A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP4092778B2 (ja) | 画像信号の方式変換装置及びテレビジョン受像機 | |
| US20080008243A1 (en) | Method and apparatus for frame interpolation | |
| JP2006504175A (ja) | フォールバックを用いる画像処理装置 | |
| JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
| JP2004356747A (ja) | 画像のマッチング方法および装置 | |
| KR101517233B1 (ko) | 움직임 추정을 이용한 잡음 제거장치 | |
| JP3948616B2 (ja) | 画像のマッチング装置 | |
| JP4083159B2 (ja) | デジタル動画像のモーションベクトル設定方法 | |
| JP2011223086A (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070412 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160427 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |