JP2004164479A - Device, method, and program for generating image deformation information - Google Patents
Device, method, and program for generating image deformation information Download PDFInfo
- Publication number
- JP2004164479A JP2004164479A JP2002331879A JP2002331879A JP2004164479A JP 2004164479 A JP2004164479 A JP 2004164479A JP 2002331879 A JP2002331879 A JP 2002331879A JP 2002331879 A JP2002331879 A JP 2002331879A JP 2004164479 A JP2004164479 A JP 2004164479A
- Authority
- JP
- Japan
- Prior art keywords
- straight line
- image
- candidate
- parameter
- deformation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、時系列に入力される画像の動きを変形情報として生成する画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムに関する。
【０００２】
【従来の技術】
従来、異なる２つの画像において、一方の画像が他方の画像にどのように変形したかを、アフィン、回転、拡大／縮小、並進等を表すパラメータ（変形情報：以下変形パラメータという）によって表現する手法が存在する。この変形パラメータを求める手法としては、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして特定する手法が広く用いられている（例えば、非特許文献１参照。）。なお、この非特許文献１には、変形パラメータを２つの画像間の動きパラメータとして求める問題として記載されている。
【０００３】
ここで、図８を参照して、従来の変形パラメータを求める手法について説明する。図８は、異なる２つの画像において、一方の画像（基準画像という）が他方の画像（比較画像という）に変形したときの変形パラメータを求める動作の概略を示すフローチャートである。
【０００４】
この従来の手法では、まず、ブロックマッチング法によって、基準画像Ｉｓｔｄと比較画像Ｉｃｍｐとの間で特定の大きさのブロック毎にマッチングを行い動きベクトルを検出する（ステップＳ２１：ブロックマッチング法）。そして、基準画像Ｉｓｔｄと比較画像Ｉｃｍｐとに対応する画素毎に（１）式によって、変形パラメータによる動き予測誤差ｅｒｒを計算する（ステップＳ２２）。
【０００５】
【数１】
ここで、ρはコスト関数（ここではベクトルの大きさを求めることで、特定の統計モデルに合致する確率を示す関数）、ｖはブロック毎の動きベクトル、ｘは各ブロック内の画素位置（ベクトル）、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（１）式に示したように、動き予測誤差ｅｒｒは、ブロック毎の動きベクトルｖから、そのブロック内における各画素位置（ベクトル）を変形パラメータｐによってパラメータ変換したベクトルを引いた差分ベクトルの大きさに基づいて、特定の統計モデルに合致する確率を画素毎に加算したものとなる。
【０００７】
そして、この動き予測誤差ｅｒｒの特定の統計モデルに合致する確率が最大となる変形パラメータｐを、最適な変形パラメータとして出力する（ステップＳ２３）。
このように、従来は、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして求めていた。
【０００８】
【非特許文献１】
Ａ．Ｍｕｒａｔ Ｔｅｋａｌｐ著、“Ｄｉｇｉｔａｌ ＶｉｄｅｏＰｒｏｃｅｓｓｉｎｇ”、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９５年
【０００９】
【発明が解決しようとする課題】
しかし、前記従来の技術では、前記（１）式に示したように、変形パラメータを画像上の画素レベルの統計的な性質に基づいて求めるため、連続した複数の画像で逐次変形パラメータを求めようとすると、誤差が時間と共に画像に伝播してしまうという問題がある。さらに、この誤差の伝播に伴い正しい変形パラメータが得られなかった場合、その間違った変形パラメータによって変形された画像からは、正しい画像を回復させることができないという問題がある。
【００１０】
さらに、前記従来の技術では、変形パラメータの精度を上げるために、画素単位での計算を繰り返し行う必要があるため、処理時間がかかってしまうという問題がある。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、変形パラメータの精度を高めると共に、変形パラメータを求める計算量を軽減し、高速処理を実現することを可能にした画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像変形情報生成装置は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、を備える構成とした。
【００１３】
かかる構成によれば、画像変形情報生成装置は、基準となる基準画像に含まれる基準直線を特定するパラメータ（基準直線パラメータ）として設定しておき、その基準直線が基準画像以降に入力される入力画像上でどのように変形していくかを示す変形情報を算出し、その変形情報を基準画像が変形していく変形情報として生成する。
【００１４】
すなわち、画像変形情報生成装置は、直線検出手段によって、基準画像以降に入力される入力画像内の直線（画像内直線）を、ハフ変換等の一般的なエッジ検出技術により検出する。これによって、画像内直線を特定するパラメータ（画像直線内パラメータ）が求められる。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００１５】
そこで、画像変形情報生成装置は、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。この類似性の判断は、直線の傾き、画像座標上の原点からの距離等のパラメータに基づいて判断する。例えば、画像座標上の原点からの距離が近いものであっても、直線の傾きが大きく異なるものは類似していないと判断する。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００１６】
そして、画像変形情報生成装置は、一致度算出手段によって、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００１７】
また、請求項２に記載の画像変形情報生成装置は、請求項１に記載の画像変形情報生成装置において、前記直線検出手段が、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする。
【００１８】
かかる構成によれば、画像変形情報生成装置は、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出手段は、基準直線の位置が移動したと想定される探索領域内でハフ変換により画像内直線を検出する。これによって探索領域が狭くなり、直線検出の時間を短縮することができる。
【００１９】
なお、ここで基準直線に対する近傍領域を設定する際の幅は、例えば、変化（動き）が激しい画像の場合は、基準画像上の基準直線が入力画像上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００２０】
また、請求項３に記載の画像変形情報生成装置は、請求項１又は請求項２に記載の画像変形情報生成装置において、前記候補直線抽出手段が、前記基準直線及び前記画像内直線のそれぞれを特定するパラメータ間の距離に基づいて、前記画像内直線から前記候補直線を抽出することを特徴とする。
【００２１】
かかる構成によれば、画像変形情報生成装置は、候補直線抽出手段によって、画像内直線から候補直線を抽出する際に、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出する。例えば、このパラメータ間距離は、各直線をハフパラメータで表現することで、そのハフパラメータ間の距離として定義しておく。このように、各直線をパラメータによって表現しておくことで、直線間の距離を容易に求めることができる。
【００２２】
また、請求項４に記載の画像変形情報生成装置は、請求項１乃至請求項３のいずれか１項に記載の画像変形情報生成装置において、前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする。
【００２３】
かかる構成によれば、画像変形情報生成装置は、変形情報補正手段によって、変形情報決定手段で決定された変形情報（変形パラメータ）を用いて、基準画像を変形し、その変形した変形画像と入力画像との誤差、例えば、動きベクトルにおける予測誤差に基づいて、変形パラメータを補正する。これによって、変形パラメータの精度を高めることができる。
【００２４】
さらに、請求項５に記載の画像変形情報生成方法は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、この探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する直線検出ステップと、この直線検出ステップで検出された画像内直線の中で、前記基準直線に近接する直線を、前記基準直線の位置が移動した候補となる候補直線とし、その候補直線の候補直線パラメータを特定する候補直線パラメータ特定ステップと、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、この一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、画像変形情報生成方法は、探索領域設定ステップで、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出ステップで、探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する。このように、直線検出ステップでは、基準直線の位置が移動したと想定される探索領域内で画像内直線を探索することで、直線検出の時間を短縮することができる。また、ハフ変換によって、画像内直線を画素の集合としてではなく、パラメータ（ハフパラメータ）として扱うことが可能になる。
【００２６】
さらに、候補直線パラメータ特定ステップで、画像内直線の中で、基準直線に近接するものを基準直線の位置が移動した候補直線とし、その候補直線のハフパラメータである候補直線パラメータを特定する。なお、画像内直線の中から、基準直線に近接する候補直線を特定するには、画像内直線のハフパラメータと、基準直線のハフパラメータとの距離を求め、その距離が予め定めた距離以内のものを候補直線とする。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００２７】
また、一致度算出ステップで、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定ステップで、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００２８】
また、請求項６に記載の画像変形情報生成プログラムは、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、とした。
【００３０】
かかる構成によれば、画像変形情報生成プログラムは、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定し、直線検出手段によって、探索領域に対してハフ変換を行うことで、画像内直線を検出して画像内直線を特定するパラメータ（画像直線内パラメータ）を求める。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００３１】
そして、画像変形情報生成プログラムは、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出する。ここでは、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。
【００３２】
そして、画像変形情報生成プログラムは、一致度算出手段によって、基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［画像変形情報生成装置の構成］
図１は、本発明における画像変形情報生成装置１の構成を示したブロック図である。図１に示すように画像変形情報生成装置１は、時系列に入力される連続画像の動きを、アフィン、回転、拡大／縮小、並進等の変形関係で特定し、その変形関係を示す変形パラメータを出力するものである。ここでは、連続画像において、最初に入力される画像を変形の基準となる基準画像Ｉｓｔｄ、その基準画像Ｉｓｔｄ以降に入力される入力画像を基準画像Ｉｓｔｄと比較する画像として比較画像Ｉｃｍｐと呼ぶこととする。また、ここでは、画像変形情報生成装置１を、直線パラメータ検出手段１０と、基準直線パラメータ記憶手段２０と、候補直線パラメータ記憶手段３０と、変形パラメータ特定手段４０とを備えて構成した。
【００３４】
直線パラメータ検出手段１０は、入力された画像（基準画像Ｉｓｔｄ及び比較画像Ｉｃｍｐ）から直線を検出し、その直線を特定するパラメータを出力するもので、基準直線設定部２と、直線検出部３と、候補直線抽出部４とを備えて構成した。
【００３５】
基準直線設定部２は、入力された基準画像Ｉｓｔｄにおいて、画像の特徴となる直線（基準直線）を図示していない入力手段により設定されることで、その基準直線を特定するパラメータ（基準直線パラメータ）を、基準直線パラメータ記憶手段２０に記憶するものである。なお、基準直線設定部２は、直線が存在する領域のみを図示していない入力手段により設定されることで、その領域をハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）し、直線を検出することとしてもよい。
【００３６】
この基準直線設定部２で基準直線パラメータ記憶手段２０に記憶される基準直線パラメータは、直線を特定するパラメータであって、例えば後記するハフ空間におけるハフパラメータとする。
【００３７】
なお、ここで設定する直線の数に応じて、アフィン、回転、拡大／縮小、並進等の画像の変形関係が特定される。例えば、画像の変形は変形パラメータの数を増やすほど、自由な変形を表現することが可能であるが、その場合には、画像上に必要な数の直線が存在している必要がある。図２に変形パラメータの数と、その必要条件を示す。
【００３８】
図２に示すように、例えば、変形パラメータを１〜２とする場合は、画像上に傾きが異なる２本以上の直線の組み合わせが１組以上存在する必要がある。これによって表現される代表的な変形モデルには並進がある。すなわち、基準直線設定部２では、傾きが異なる２本以上の直線の組み合わせを１組設定することで、変形モデルとして並進を表現することが可能になる。
【００３９】
次に、図３を参照して、ハフ変換及び直線を特定するパラメータについて説明する。図３（ａ）は、一般的な（ｘ，ｙ）座標によって表現された座標空間（以下画像空間という）に直線ｌが存在している状態を示している。ハフ変換は、この直線ｌを構成する画素（複数の画素）を、その直線ｌを特定するパラメータ（ハフパラメータ）に変換するものである。一般的に、ハフ変換は、直線ｌを座標空間の原点Ｏから直線ｌに垂線を引いた線分とｘ軸との角度Θ、及びその線分の長さρの２つのハフパラメータに変換する。
【００４０】
このようにハフ変換によって、２つのハフパラメータに変換された直線ｌは、図３（ｂ）に示すように、（ρ，Θ）座標によって表現された座標空間（以下ハフ空間という）上で、点として表現される。なお、直線を特定するパラメータは必ずしもハフパラメータ（ρ，Θ）である必要はない、例えば、図３（ａ）において、直線ｌの傾き及び直線ｌとｙ軸との交点であるｙ切片をパラメータとして用いることとしてもよい。
図１に戻って説明を続ける。
【００４１】
直線検出部（直線検出手段）３は、基準画像Ｉｓｔｄ以降に入力される入力画像である比較画像Ｉｃｍｐに含まれる直線を、画像内直線として検出するものである。この直線検出部３では、比較画像Ｉｃｍｐに対してハフ変換を行うことで画像内直線を検出する。ここで検出された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０に記憶される。なお、ここでは、この直線検出部３に探索領域設定部３ａを備えて構成した。
【００４２】
探索領域設定部（探索領域設定手段）３ａは、基準直線設定部２で検出された基準直線に基づいて、直線検出部３が比較画像Ｉｃｍｐから画像内直線を検出する探索領域を設定するものである。この基準直線は、基準直線パラメータ記憶手段２０に記憶されているハフパラメータによって位置と長さが特定される。
【００４３】
この探索領域設定部３ａでは、基準直線設定部２で検出された基準直線から予め定めた特定の幅を持つ近傍領域を設定し、その近傍領域の集合を探索領域とする。ここで特定の幅は、入力される画像の特性によって予め異なる値を設定するものとする。例えば、変化（動き）が激しい画像の場合は、基準画像Ｉｓｔｄ上の基準直線が比較画像Ｉｃｍｐ上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００４４】
このように、直線検出部３は、探索領域設定部３ａで基準直線に基づいて設定された探索領域にのみハフ変換を行うことで、直線の探索時間の高速化と、候補直線抽出部４での抽出すべき直線の高精度化を実現することができる。
【００４５】
ここで、図４を参照（適宜図１参照）して、比較画像Ｉｃｍｐから、基準直線の近傍領域からなる探索領域を設定し、その探索領域の画像内直線を検出する方法について説明する。
【００４６】
図４は、サッカー中継においてゴール近辺を撮影した時間的に連続した画像を示しており、図４（ａ）は、ある時刻に撮影した基準画像Ｉｓｔｄ、図４（ｂ）は、基準画像Ｉｓｔｄに対して、次の時刻でカメラの倍率を下げることで、より広い範囲を撮影した比較画像Ｉｃｍｐを示している。
【００４７】
まず、画像変形情報生成装置１は、基準直線設定部２によって、図４（ａ）の基準画像Ｉｓｔｄにおいて、サッカーのゴールエリアを４本の基準直線ＢＬとして設定する。そして、探索領域設定部３ａによって、図４（ｂ）の比較画像Ｉｃｍｐにおいて、基準直線ＢＬに対して特定の幅を持たせた領域を近接領域ＡＲとし、その近接領域ＡＲの集合を探索領域ＳＡとして設定する。このように、探索領域ＳＡを設定することで、基準画像Ｉｓｔｄが比較画像Ｉｃｍｐに変化したときの基準画像Ｉｓｔｄ上の基準直線ＢＬに対応する直線が、探索領域ＳＡ内に存在すると仮定することができる。すなわち、直線検出部３は、比較画像Ｉｃｍｐの中で、探索領域ＳＡのみをハフ変換することで、基準直線ＢＬに近接する画像内直線ＩＬを検出することができる。
【００４８】
なお、図４（ｂ）において、点線で示された基準直線ＢＬは、比較画像Ｉｃｍｐ上に実在する直線ではなく、図４（ａ）で検出された基準直線ＢＬの位置を仮想的に示したものである。
図１に戻って説明を続ける。
【００４９】
候補直線抽出部（候補直線抽出手段）４は、基準直線パラメータ記憶手段２０に記憶されている基準画像Ｉｓｔｄにおける基準直線のハフパラメータと、候補直線パラメータ記憶手段３０に記憶されている比較画像Ｉｃｍｐにおける画像内直線のハフパラメータとに基づいて、画像内直線の中から基準直線に類似する直線を、基準直線の位置が移動した候補となる候補直線として抽出するものである。なお、候補直線から除外された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０から削除される。
【００５０】
例えば、候補直線抽出部４は、この類似の判定をハフパラメータである（ρ，Θ）の２つのパラメータに基づいて行う。すなわち、この２つのパラメータ（ρ，Θ）に基づいて、基準直線と画像内直線とのハフ空間上の距離を求め、予め定めた距離以内の画像内直線を、基準直線に類似し、基準直線の位置が移動した候補となる候補直線と判定する。
【００５１】
ここで、図５及び図６を参照（適宜図１参照）して、候補直線を抽出する方法について説明する。図５は、基準画像Ｉｓｔｄの基準直線と、比較画像Ｉｃｍｐの探索領域ＳＡ（図４（ｂ））内における画像内直線とを、それぞれ、ハフパラメータで表したものである。図６は、図５のハフパラメータをハフ空間上に表したものである。
【００５２】
図５に示すように、基準画像Ｉｓｔｄの基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）を、ハフパラメータによって表現する。例えば、基準直線Ｌｓｔｄ［０］を、（ρｓｔｄ［０］，Θｓｔｄ［０］）の２つのパラメータで表現する。また、比較画像Ｉｃｍｐの画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）も同様にハフパラメータによって表現する。例えば、画像内直線Ｌｃｍｐ［０］を、（ρｃｍｐ［０］，Θｃｍｐ［０］）の２つのパラメータで表現する。このように、直線をハフパラメータで表現することで、図６に示したように、各直線は、ハフ空間上の点として表現される。
【００５３】
そして、図６に示したように、各基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）を中心として、予め定めた距離（一定距離範囲ＣＩ）内に存在する画像内直線を候補直線として判定する。
【００５４】
例えば、図６では、Ｌｓｔｄ［０］に対する候補直線はＬｃｍｐ［０］及びＬｃｍｐ［１］、Ｌｓｔｄ［１］に対する候補直線はＬｃｍｐ［２］、Ｌｓｔｄ［２］に対する候補直線はＬｃｍｐ［５］、Ｌｓｔｄ［３］に対する候補直線はＬｃｍｐ［３］及びＬｃｍｐ［４］となる。また、Ｌｃｍｐ［６］は、探索領域ＳＡ（図４（ｂ））内には存在するが、基準直線の候補からは外れることになる。これによって、各基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）に類似する候補直線を抽出することができる。これ以降、画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［５］）を候補直線と呼ぶこととする。
図１に戻って説明を続ける。
【００５５】
基準直線パラメータ記憶手段２０は、基準直線設定部２で設定された基準画像Ｉｓｔｄ上の基準直線のパラメータ（基準直線パラメータ）を記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）のパラメータを記憶する。この基準直線パラメータ記憶手段２０に記憶された基準直線パラメータは、探索領域設定部３ａ及び後記する一致度算出部５から参照される。
【００５６】
候補直線パラメータ記憶手段３０は、直線検出部３で検出された比較画像Ｉｃｍｐ上の直線のパラメータを記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した直線検出部３で検出した画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）のパラメータを記憶する。なお、この画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）のパラメータは、候補直線抽出部４によって、候補直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［５］）に更新される。
【００５７】
また、この候補直線パラメータ記憶手段３０内の候補直線のパラメータ（候補直線パラメータ）は、候補直線抽出部４によって、基準直線毎に対応付けて記憶される。この候補直線パラメータ記憶手段３０に記憶された候補直線パラメータは、後記する一致度算出部５から参照される。なお、ここでは基準直線パラメータ記憶手段２０と候補直線パラメータ記憶手段３０とを分離して構成したが、同一のメモリあるいはハードディスク上で記憶領域を分割して記憶することとしてもよい。
【００５８】
変形パラメータ特定手段４０は、直線パラメータ検出手段１０で検出された基準画像Ｉｓｔｄ及び比較画像Ｉｃｍｐの各直線のパラメータに基づいて、基準画像Ｉｓｔｄから比較画像Ｉｃｍｐへの画像の動き（変化）を表現する変形パラメータを特定するものである。ここでは、変形パラメータ特定手段４０を、一致度算出部５と、変形情報決定部６と、変形情報補正部７とを備えて構成した。
【００５９】
一致度算出部（一致度算出手段）５は、基準直線パラメータ記憶手段２０に記憶されている基準直線のパラメータ（基準直線パラメータ）と、候補直線パラメータ記憶手段３０に記憶されている候補直線のパラメータ（候補直線パラメータ）との組み合わせにおいて、基準直線を候補直線に変形する変形パラメータに基づいて、基準直線と候補直線とが一致する度合いを示す一致度を算出するものである。
【００６０】
なお、図５に示した基準画像Ｉｓｔｄ上の４本の基準直線｛Ｌｓｔｄ［０］，Ｌｓｔｄ［１］，Ｌｓｔｄ［２］，Ｌｓｔｄ［３］｝と、比較画像Ｉｃｍｐ上の７本の画像内直線｛Ｌｃｍｐ［０］，Ｌｃｍｐ［１］，Ｌｃｍｐ［２］，Ｌｃｍｐ［３］，Ｌｃｍｐ［４］，Ｌｃｍｐ［５］，Ｌｃｍｐ［６］｝との各パラメータの組み合わせは、７Ｐ４（＝７×６×５×４＝８４０）通り存在する。しかし、画像変形情報生成装置１では、候補直線抽出部４によって、画像内直線から基準直線に対する候補直線が抽出されるため、図６に示したように基準直線のパラメータ（基準直線パラメータ）と候補直線のパラメータ（候補直線パラメータ）との組み合わせは、（２）式に示した４通りとなる。
【００６１】
【数２】
このように、一致度算出部５では組み合わせ数が軽減された基準直線パラメータと候補直線パラメータとの組み合わせ数分だけ、一致度の算出を行う。
ここでは、基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせにおいて、基準直線を変形パラメータｐによって変形したときの基準直線と候補直線との一致度ｓｉｍｋ（ｐ）を（３）式で定義する。
【００６３】
【数３】
ここで、ρはコスト関数（例えば、差の２乗和や絶対値差分を求めることで、特定の統計モデルに合致する確率を示す関数）、Ｌｓｔｄは基準画像Ｉｓｔｄの基準直線パラメータ、Ｌｃｍｐは比較画像Ｉｃｍｐの候補直線パラメータ、Ｃｋは基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせ、ｉは基準直線を識別する番号、ｊは候補直線を識別する番号、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（３）式に示したように、一致度ｓｉｍｋ（ｐ）は、基準直線パラメータＬｓｔｄを変形パラメータｐによってパラメータ変換したハフパラメータと、候補直線パラメータとの差に基づいて、特定の統計モデルに合致する確率を基準直線パラメータと候補直線パラメータとの組み合わせ数分（ｋ個）加算したものである。
【００６５】
変形情報決定部（変形情報決定手段）６は、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える組み合わせとなる変形パラメータを決定するものである。ここでは、（４）式に示すように、前記（３）式の値を最大にする変形パラメータｐを求めることとする。
【００６６】
【数４】
より具体的には、前記（３）式を、前記（４）式を満たす変形パラメータｐの各要素で偏微分した値は０となることから、この偏微分した結果である変形パラメータｐの連立方程式を解くことで、変形パラメータｐを求めることができる。
なお、ここで変形パラメータｐの各要素とは、並進、アフィン等の変形モデルにおける変形式を特定するパラメータの値で、例えば、（５）式に示す並進モデルの変形式におけるｐ０及びｐ１、また、例えば、（６）式に示すアフィンモデルの変形式におけるｐ０〜ｐ５を指す。
【００６８】
【数５】
【数６】
なお、この（５）式及び（６）式において、（ｘ，ｙ）は基準画像Ｉｓｔｄの任意の座標、（ｘ´，ｙ´）は変形モデルにより変形した（ｘ，ｙ）の変形後の座標を意味する。
【００７１】
これによって、例えば、図５に示した例において、前記（２）式の組み合わせの中で、基準直線と候補直線とが一致する組み合わせは、（７）式の組み合わせとなり、変形情報決定部６では、この（７）式の組み合わせにおける変形パラメータが出力（決定）される。すなわち、｛Ｌｃｍｐ［１］，Ｌｃｍｐ［２］，Ｌｃｍｐ［３］，Ｌｃｍｐ［５］｝が、基準直線が移動した移動直線として特定されたことになる。
【００７２】
【数７】
このように変形パラメータは、変形情報決定部６によって決定されるため、この出力を画像変形情報生成装置１の出力としてもよい。ただし、この変形パラメータには、画像空間とハフ空間（図３参照）との解像度の違いにより、誤差が存在する。そこで、ここでは、さらに変形情報補正部７を備え、その誤差を補正するものとする。
【００７４】
変形情報補正部７は、変形情報決定部６で決定された変形パラメータに基づいて、基準画像Ｉｓｔｄを変形した変形画像を生成し、その変形画像と比較画像Ｉｃｍｐとを、従来の手法（図８及び（１）式参照）に基づいて画素レベルで演算することで、変形情報決定部６で決定された変形パラメータを補正した最適な変形パラメータを生成するものである。
【００７５】
なお、この変形画像は、変形情報決定部６で決定された変形パラメータによって変形されたものであるため、比較画像Ｉｃｍｐとほぼ一致したものとなる。これによって、変形画像から比較画像Ｉｃｍｐへの微細な変更分のみを変形パラメータに対して補正することとなるため、従来の手法に比べてパラメータ精度が高くなる。
【００７６】
以上、一実施形態に基づいて、画像変形情報生成装置１の構成について説明したが、画像変形情報生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して画像変形情報生成プログラムとして動作させることも可能である。
【００７７】
［画像変形情報生成装置の動作］
次に、図１及び図７を参照して、画像変形情報生成装置１の動作について説明する。図７は、画像変形情報生成装置１の動作を示すフローチャートである。
【００７８】
（基準直線パラメータ設定ステップ）
まず、画像変形情報生成装置１は、基準直線設定部２によって、入力された基準画像Ｉｓｔｄ内において、画像の特徴となる直線（基準直線）を図示していない入力手段により設定する（ステップＳ１）。この基準直線は、連続する画像に存在する直線で、位置や大きさが大きく変化しないものとする。例えば、サッカー中継でゴール近辺を撮影した映像において、ゴールポストやゴールエリア等の直線部分を基準直線とする。そして、この基準直線をハフ変換した基準直線パラメータ（ハフパラメータ）を求め、その基準直線パラメータを基準直線パラメータ記憶手段２０に記憶する（ステップＳ２）。
なお、この基準直線は、アフィン、回転、拡大／縮小、並進等の画像の変形関係で必要となる数の直線（図２参照）を設定するものとする。
【００７９】
（探索領域設定ステップ）
次に、画像変形情報生成装置１は、直線検出部３の探索領域設定部３ａによって、基準画像以降の入力画像である比較画像Ｉｃｍｐにおいて、基準直線パラメータで位置と長さが特定された基準直線の予め定めた特定の幅を持つ近傍領域からなる領域を、探索領域として設定する（ステップＳ３）。
【００８０】
（直線検出ステップ）
また、画像変形情報生成装置１は、直線検出部３によって、探索領域設定部３ａで設定された探索領域のみをハフ変換することで、比較画像Ｉｃｍｐ内の直線（画像内直線）を検出する（ステップＳ４）。なお、ここで検出された画像内直線のハフパラメータである画像内直線ハフパラメータを、一旦候補直線パラメータ記憶手段３０に記憶しておく（ステップＳ５）。このように、直線検出ステップでは、探索領域についてのみハフ変換を行い直線を検出するため、処理速度を早めることができる。
【００８１】
（候補直線パラメータ特定ステップ）
さらに、画像変形情報生成装置１は、候補直線抽出部４によって、基準直線パラメータ記憶手段２０に記憶されている基準直線パラメータと、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータとに基づいて、基準直線に近接する画像内直線を、基準直線の位置が移動した候補となる候補直線として抽出する（ステップＳ６）。また、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータは、候補直線として抽出された直線のハフパラメータである候補直線パラメータに更新される（ステップＳ７）。
【００８２】
（一致度算出ステップ）
そして、画像変形情報生成装置１は、一致度算出部５によって、基準直線パラメータと、候補直線パラメータとの組み合わせにおいて、基準直線と候補直線とが一致する度合いを示す一致度を算出する（ステップＳ８）。
【００８３】
（変形情報決定ステップ）
そして、画像変形情報生成装置１は、変形情報決定部６によって、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える基準直線と候補直線との組み合わせとなる変形パラメータを決定する（ステップＳ９）。
さらに、画像変形情報生成装置１は、変形情報補正部７によって、変形パラメータで基準画像Ｉｓｔｄを変形した変形画像を生成し、その変形画像から比較画像Ｉｃｍｐへの変形に基づいて変形パラメータを補正して出力する（ステップＳ１０）。
【００８４】
以上の各ステップによって、画像変形情報生成装置１は、基準画像Ｉｓｔｄを基準にして、基準画像Ｉｓｔｄから、その基準画像Ｉｓｔｄ以降に入力される入力画像（比較画像Ｉｃｍｐ）への最適な変形パラメータ（変形情報）を高速に求めることができる。
【００８５】
【発明の効果】
以上説明したとおり、本発明に係る画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムでは、以下に示す優れた効果を奏する。
【００８６】
請求項１、請求項５又は請求項６に記載の発明によれば、基準画像内の直線（基準直線）を元にして、基準直線が変形した変形情報を基準画像から各入力画像への変形情報とするため、従来のように入力画像毎に変形情報の誤差が伝播し、蓄積されることがない。また、入力画像の途中に画像内容の存在しない画像（例えば全面黒色の画像等）が存在しても、その次に入力される画像の変形情報を、基準画像に基づいて生成することが可能になり、画像の欠損に対する回復機能を有することになる。
【００８７】
また、直線を画像空間ではなく、例えばハフ空間上の２つのパラメータ（ハフパラメータ）で扱うことができるため、直線を画像としてではなく、ハフパラメータで表現された点として扱うことができる。これにより、直線間の距離、一致度等を求める際に画素レベルの演算を行う必要がなく、処理時間を短縮（高速処理）することができる。
【００８８】
また、例えば、カメラの操作によって入力画像が変化する場合、変形情報のみを伝送するだけで背景の画像を再現することが可能になるため、伝送時における画像の大幅な圧縮が可能になる。
【００８９】
請求項２に記載の発明によれば、基準画像の基準直線を元に入力画像に探索領域を設定し、その探索領域内のみから直線（画像内直線）を検出することになるため、入力画像全体から直線を検出する場合に比べて、処理時間を短縮することができる。
【００９０】
請求項３に記載の発明によれば、直線の類似性を、直線の画素レベルの演算を行わずに、パラメータ間の距離により求めるため、処理時間を短縮することができる。
【００９１】
請求項４に記載の発明によれば、画像空間とハフ空間の解像度の違いによる誤差を補正することができるため、最適な変形情報（変形パラメータ）を生成することができる。なお、ハフ空間上のハフパラメータによって算出された変形パラメータに基づいて基準画像を変形した変形画像と入力画像とは、ほぼ一致したものとなっている。このため、従来のような画像空間のみで変形パラメータを生成する場合に比べて誤差を軽減し、変形パラメータの精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像変形情報生成装置の全体構成を示すブロック図である。
【図２】変形関係を特定するための変形パラメータ数とその必要条件との関係を示した図である。
【図３】（ａ）はある直線を画像空間上の座標で表現した図である。（ｂ）はある直線をハフ空間上の座標で表現した図である。
【図４】（ａ）は基準画像上で基準直線を設定した例を示す図である。（ｂ）は比較画像上で基準直線に基づいて探索領域を設定した図である。
【図５】探索領域内の直線をハフパラメータで表した図である。
【図６】探索領域内の直線をハフ空間上の座標で表現し、基準直線に近似する候補直線の抽出方法を説明するための説明図である。
【図７】本発明の実施の形態に係る画像変形情報生成装置の動作を示すフローチャートである。
【図８】従来の変形情報（変形パラメータ）を生成する動作を示すフローチャートである。
【符号の説明】
１ ……画像変形情報生成装置
２ ……基準直線設定部
３ ……直線検出部（直線検出手段）
３ａ……探索領域設定部（探索領域設定手段）
４ ……候補直線抽出部（候補直線抽出手段）
５ ……一致度算出部（一致度算出手段）
６ ……変形情報決定部（変形情報決定手段）
７ ……変形情報補正部（変形情報補正手段）
１０……直線パラメータ検出手段
２０……基準直線パラメータ記憶手段
３０……候補直線パラメータ記憶手段
４０……変形パラメータ特定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image deformation information generation device, an image deformation information generation method, and an image deformation information generation program that generate, as deformation information, a motion of an image input in time series.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a method of expressing how one image is transformed into another image in two different images by using parameters (deformation information: hereinafter referred to as transformation parameters) representing affine, rotation, enlargement / reduction, translation, and the like. Exists. As a method of obtaining this deformation parameter, a method of specifying a deformation parameter that minimizes the distance that each pixel in the image has moved as an optimum deformation parameter is widely used (for example, see Non-Patent Document 1). Note that Non-Patent
[0003]
Here, a conventional method for obtaining a deformation parameter will be described with reference to FIG. FIG. 8 is a flowchart showing an outline of an operation for obtaining deformation parameters when one image (referred to as a reference image) is deformed into another image (referred to as a comparative image) in two different images.
[0004]
In this conventional method, first, a reference image I std And comparison image I cmp And a motion vector is detected by performing matching for each block of a specific size (step S21: block matching method). Then, the reference image I std And comparison image I cmp Then, the motion prediction error err based on the deformation parameter is calculated by the equation (1) for each pixel corresponding to (step S22).
[0005]
(Equation 1)
Here, ρ is a cost function (here, a function indicating the probability of matching with a specific statistical model by obtaining the magnitude of a vector), v is a motion vector for each block, and x is a pixel position (vector ) And p are deformation parameters and A is parameter conversion. As shown in the above equation (1), the motion prediction error err is a difference vector obtained by subtracting, from the motion vector v for each block, a vector obtained by parameter-converting each pixel position (vector) in the block by the deformation parameter p. Based on the size, the probability of matching with a specific statistical model is added for each pixel.
[0007]
Then, the deformation parameter p that maximizes the probability that the motion prediction error err matches the specific statistical model is output as the optimum deformation parameter (step S23).
As described above, conventionally, the deformation parameter that minimizes the distance that each pixel in the image has moved has been determined as the optimum deformation parameter.
[0008]
[Non-patent document 1]
A. "Digital Video Processing" by Murat Tekalp, Prentice Hall, 1995
[0009]
[Problems to be solved by the invention]
However, in the conventional technique, as shown in the above equation (1), since the deformation parameter is obtained based on the statistical property of the pixel level on the image, it is necessary to sequentially obtain the deformation parameter in a plurality of continuous images. Then, there is a problem that the error propagates to the image with time. Further, when a correct deformation parameter cannot be obtained due to the propagation of the error, there is a problem that a correct image cannot be recovered from an image deformed by the wrong deformation parameter.
[0010]
Further, in the above-described conventional technique, it is necessary to repeatedly perform calculation in pixel units in order to increase the accuracy of the deformation parameter, so that there is a problem that processing time is required.
[0011]
The present invention has been made in view of the above-described problems, and has been made to improve the accuracy of the deformation parameters, reduce the amount of calculation for obtaining the deformation parameters, and realize image deformation information that can realize high-speed processing. It is an object to provide a generation device, an image deformation information generation method, and an image deformation information generation program.
[0012]
[Means for Solving the Problems]
The present invention has been devised to achieve the above object. First, the image deformation information generating device according to
[0013]
According to this configuration, the image deformation information generation device sets the reference straight line included in the reference image serving as the reference as a parameter (reference straight line parameter), and the input reference line is input after the reference image. Deformation information indicating how the image is deformed is calculated, and the deformation information is generated as deformation information for deforming the reference image.
[0014]
That is, the image deformation information generating apparatus detects a straight line (a straight line in the image) in the input image input after the reference image by the straight line detecting means by a general edge detection technique such as Hough transform. As a result, a parameter (parameter in the image straight line) for specifying the straight line in the image is obtained. The detected straight line in the image may include a straight line other than the straight line obtained by deforming the reference straight line set in the reference image.
[0015]
Therefore, the image deformation information generating apparatus extracts a straight line similar to the reference straight line from the straight line in the image as a candidate straight line which is a candidate whose position of the reference straight line has moved by the candidate straight line extracting means, and uses the candidate straight line as a candidate straight line parameter Identify. This similarity is determined based on parameters such as the inclination of the straight line and the distance from the origin on the image coordinates. For example, even if the distance from the origin on the image coordinates is short, it is determined that the straight lines having significantly different inclinations are not similar. As a result, a candidate straight line similar to the reference straight line is extracted, and the number of combinations of the reference straight line and the candidates of the straight line (candidate straight line) that may be deformed on the input image can be reduced.
[0016]
Then, the image deformation information generating apparatus uses the coincidence calculating means to determine the reference straight line and the candidate straight line by the reference straight line parameter and the candidate straight line parameter in each combination of the reference straight line and the candidate straight line with the reduced number of combinations. The degree of coincidence indicating the degree of the same straight line is calculated, and a straight line (moving straight line) in which the position of the reference straight line is moved is identified as one of the candidate straight lines by the deformation information determining means. Is determined as transformation information from the reference image to the input image.
[0017]
Also, in the image deformation information generating apparatus according to
[0018]
According to this configuration, the image deformation information generation device adds, by the search area setting unit, an area (neighboring area) having a specific width based on the position of the reference line on the input image by the number of reference lines. Set as search area. Then, the straight line detecting means detects a straight line in the image by Hough transform in a search area where the position of the reference straight line is assumed to have moved. As a result, the search area is narrowed, and the time for detecting a straight line can be reduced.
[0019]
Here, the width when setting the neighborhood area with respect to the reference straight line is, for example, in the case of an image having a large change (movement), since the reference straight line on the reference image largely moves on the input image, the moving amount is larger than the moving amount. Set the width of In the case of an image having a gentle change, the width is set to be small.
[0020]
Also, in the image deformation information generating apparatus according to
[0021]
According to this configuration, when the candidate straight line extracting unit extracts the candidate straight line from the straight line in the image, the image deformation information generating apparatus may be configured such that the distance between the reference straight line and the straight line in the image is within a predetermined distance. Is extracted as a candidate straight line. For example, the distance between the parameters is defined as a distance between the Hough parameters by expressing each straight line with a Hough parameter. As described above, by expressing each straight line by the parameter, the distance between the straight lines can be easily obtained.
[0022]
According to a fourth aspect of the present invention, in the image deformation information generating apparatus according to any one of the first to third aspects, the image deformation information generating apparatus includes: The image processing apparatus further includes a deformation information correction unit that generates a deformation image obtained by deforming the reference image, and corrects the deformation information based on an error between the deformation image and the input image.
[0023]
According to this configuration, the image deformation information generating device deforms the reference image by using the deformation information (deformation parameter) determined by the deformation information determining means, and inputs the deformed deformed image by the deformation information correcting means. The deformation parameter is corrected based on an error from an image, for example, a prediction error in a motion vector. Thereby, the accuracy of the deformation parameter can be improved.
[0024]
Furthermore, in the image deformation information generation method according to
[0025]
According to this method, in the image deformation information generating method, in the search area setting step, an area (neighboring area) having a specific width based on the position of the reference straight line is added to the input image by the number of reference straight lines. Set as search area. Then, in the straight line detection step, Hough transform is performed on the search area set in the search area setting step, and a straight line in the image included in the search area is detected. In this way, in the straight line detection step, the time for straight line detection can be reduced by searching for a straight line in the image within the search area where the position of the reference straight line is assumed to have moved. In addition, the Hough transform enables a straight line in an image to be handled not as a set of pixels but as a parameter (Hough parameter).
[0026]
Further, in the candidate straight line parameter specifying step, a straight line in the image that is close to the reference straight line is set as a candidate straight line whose reference straight line position is shifted, and a candidate straight line parameter which is a Hough parameter of the candidate straight line is specified. In order to specify a candidate straight line close to the reference straight line from the straight lines in the image, the distance between the Hough parameter of the straight line in the image and the Hough parameter of the reference straight line is obtained, and the distance is within a predetermined distance. These are set as candidate straight lines. As a result, a candidate straight line similar to the reference straight line is extracted, and the number of combinations of the reference straight line and the candidates of the straight line (candidate straight line) that may be deformed on the input image can be reduced.
[0027]
In the matching degree calculation step, for each combination of the reference straight line and the candidate straight line in which the number of combinations is reduced, the matching degree indicating the degree of the same straight line between the reference straight line and the candidate straight line is calculated, and the deformation information is determined. In the step, a straight line (moving straight line) in which the position of the reference straight line has been moved is identified as one of the candidate straight lines, and deformation information from the reference straight line to the moving straight line is determined as deformation information from the reference image to the input image. .
[0028]
Further, in the image deformation information generation program according to
[0029]
That is, from the input image, a search area corresponding to the position of the reference straight line and a search area set by the search area set by the search area setting means for setting an area consisting of an area near the reference straight line as a search area of the straight line. A Hough transform is performed on the image, a straight line in the image included in the search area is detected, and a straight line detecting unit that specifies the straight line in the image by the straight line parameter in the image, based on the reference straight line parameter and the straight line parameter in the image, Candidate straight line identifying means for extracting a candidate straight line which is a candidate to which the position of the reference straight line has moved from among the straight lines in the image detected by the straight line detecting means, and identifying the candidate straight line as a candidate straight line parameter; Based on the parameter and the candidate straight line parameter, the degree of coincidence indicating the degree to which the reference straight line and the candidate straight line are the same straight line is determined. Based on the degree of coincidence calculated by the degree of coincidence calculation means, the degree of coincidence calculated by the degree of coincidence calculation means is used to specify a moving line in which the position of the reference line has moved from among the candidate lines, and The transformation information is determined as transformation information from the reference image to the input image.
[0030]
According to this configuration, the image deformation information generation program adds, by the search area setting unit, an area (neighboring area) having a specific width based on the position of the reference line on the input image by the number of reference lines. The parameter is set as a search area, and a Hough transform is performed on the search area by the straight line detecting means, thereby detecting a straight line in the image and obtaining a parameter (parameter in the image straight line) for specifying the straight line in the image. The detected straight line in the image may include a straight line other than the straight line obtained by deforming the reference straight line set in the reference image.
[0031]
Then, the image deformation information generating program extracts a straight line similar to the reference straight line from the straight line in the image as a candidate straight line that is a candidate whose position of the reference straight line has moved by the candidate straight line extracting means. Here, a candidate straight line in which the parameter distance between the reference straight line and the straight line in the image is within a predetermined distance is extracted, and the candidate straight line is specified as a candidate straight line parameter.
[0032]
Then, the image deformation information generation program uses the coincidence calculating means to determine, for each combination of the reference straight line and the candidate straight line, the degree to which the reference straight line and the candidate straight line are the same straight line based on the reference straight line parameter and the candidate straight line parameter. Is calculated, and the deformation information determining means specifies one straight line (moving straight line) in which the position of the reference straight line has moved from among the candidate straight lines, and outputs the deformation information from the reference straight line to the moving straight line. It is determined as transformation information from the reference image to the input image.
[0033]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Configuration of Image Deformation Information Generating Device]
FIG. 1 is a block diagram showing a configuration of an image deformation
[0034]
The straight line
[0035]
The reference straight
[0036]
The reference straight line parameter stored in the reference straight line parameter storage means 20 in the reference straight
[0037]
In addition, the deformation relationship of the image such as affine, rotation, enlargement / reduction, and translation is specified according to the number of straight lines set here. For example, as for the deformation of an image, as the number of deformation parameters is increased, it is possible to express free deformation, but in that case, a necessary number of straight lines must exist on the image. FIG. 2 shows the number of deformation parameters and their necessary conditions.
[0038]
As shown in FIG. 2, for example, when the deformation parameters are set to 1 and 2, there must be at least one combination of two or more straight lines having different inclinations on the image. A typical deformation model represented by this is translation. That is, the reference straight
[0039]
Next, the parameters for specifying the Hough transform and the straight line will be described with reference to FIG. FIG. 3A shows a state in which a
[0040]
As shown in FIG. 3B, a
Returning to FIG. 1, the description will be continued.
[0041]
The straight line detecting section (straight line detecting means) 3 std Comparative image I which is an input image to be input thereafter cmp Are detected as straight lines in the image. In the straight
[0042]
The search area setting unit (search area setting means) 3a uses the straight
[0043]
The search area setting unit 3a sets a neighboring area having a predetermined specific width from the reference straight line detected by the reference straight
[0044]
As described above, the straight
[0045]
Here, referring to FIG. 4 (see FIG. 1 as appropriate), the comparison image I cmp A method of setting a search area including a region near the reference straight line and detecting a straight line in the image of the search area will be described.
[0046]
FIG. 4 shows temporally continuous images of the vicinity of the goal taken in a live broadcast of soccer. FIG. 4A shows a reference image I taken at a certain time. std FIG. 4B shows the reference image I. std On the other hand, by reducing the magnification of the camera at the next time, the comparative image I cmp Is shown.
[0047]
First, the image deformation
[0048]
In FIG. 4B, a reference straight line BL indicated by a dotted line is a comparative image I. cmp The position of the reference straight line BL detected in FIG.
Returning to FIG. 1, the description will be continued.
[0049]
The candidate straight line extracting unit (candidate straight line extracting unit) 4 is configured to store the reference image I stored in the reference straight line
[0050]
For example, the candidate straight
[0051]
Here, a method of extracting a candidate straight line will be described with reference to FIGS. 5 and 6 (see FIG. 1 as appropriate). FIG. 5 shows the reference image I. std Reference line and the comparison image I cmp And the straight line in the image in the search area SA (FIG. 4 (b)) are represented by Hough parameters. FIG. 6 shows the Huff parameters of FIG. 5 on a Huff space.
[0052]
As shown in FIG. std Reference line (L std [0] to L std [3]) is expressed by Hough parameters. For example, the reference straight line L std [0] to (ρ std [0], Θ std [0]). Also, the comparative image I cmp Line in the image (L cmp [0] to L cmp [6]) is similarly represented by Hough parameters. For example, a straight line L in the image cmp [0] to (ρ cmp [0], Θ cmp [0]). In this way, by expressing the straight line by the Hough parameter, each straight line is expressed as a point on the Hough space as shown in FIG.
[0053]
Then, as shown in FIG. 6, each reference straight line (L std [0] to L std A straight line in the image existing within a predetermined distance (constant distance range CI) around [3]) is determined as a candidate straight line.
[0054]
For example, in FIG. std The candidate straight line for [0] is L cmp [0] and L cmp [1], L std The candidate straight line for [1] is L cmp [2], L std The candidate straight line for [2] is L cmp [5], L std The candidate straight line for [3] is L cmp [3] and L cmp [4] is obtained. Also, L cmp [6] exists in the search area SA (FIG. 4B), but falls outside the reference straight line candidate. Thereby, each reference straight line (L std [0] to L std Candidate straight lines similar to [3]) can be extracted. Thereafter, a straight line (L cmp [0] to L cmp [5]) is called a candidate straight line.
Returning to FIG. 1, the description will be continued.
[0055]
The reference straight line
[0056]
The candidate straight line parameter storage means 30 stores the comparison image I detected by the straight
[0057]
The candidate straight line parameters (candidate straight line parameters) in the candidate straight line parameter storage means 30 are stored by the candidate straight
[0058]
The deformation
[0059]
The coincidence calculating section (coincidence calculating means) 5 includes a parameter of the reference straight line (reference straight line parameter) stored in the reference straight line parameter storing means 20 and a parameter of the candidate straight line stored in the candidate straight line parameter storing means 30. In the combination with (candidate straight line parameter), a matching degree indicating a degree of matching between the reference straight line and the candidate straight line is calculated based on a deformation parameter for deforming the reference straight line into a candidate straight line.
[0060]
The reference image I shown in FIG. std Upper four reference straight lines ｛L std [0], L std [1], L std [2], L std [3]｝ and comparative image I cmp Straight line ｛L in the above seven images cmp [0], L cmp [1], L cmp [2], L cmp [3], L cmp [4], L cmp [5], L cmp [6] The combination of each parameter with｝ 7 P 4 (= 7 × 6 × 5 × 4 = 840). However, in the image deformation
[0061]
(Equation 2)
As described above, the
Here, in the k-th combination of the reference straight line parameter and the candidate straight line parameter, the degree of coincidence sim between the reference straight line and the candidate straight line when the reference straight line is deformed by the deformation parameter p k (P) is defined by equation (3).
[0063]
[Equation 3]
Here, ρ is a cost function (for example, a function indicating the probability of matching with a specific statistical model by calculating the sum of squares of the difference or the absolute value difference), L std Is the reference image I std Reference line parameter of L cmp Is the comparison image I cmp Of the candidate straight line, C k Is the k-th combination of the reference straight line parameter and the candidate straight line parameter, i is the number for identifying the reference straight line, j is the number for identifying the candidate straight line, p is the deformation parameter, and A is the parameter conversion. As shown in the above equation (3), the coincidence sim k (P) is the reference straight line parameter L std Is obtained by adding (k) probabilities of matching with a specific statistical model by the number of combinations of the reference straight line parameter and the candidate straight line parameter, based on the difference between the Huff parameter obtained by converting the parameter by the deformation parameter p and the candidate straight line parameter. It is.
[0065]
The deformation information determining unit (deformation information determining means) 6 determines a deformation parameter that is a combination that gives the maximum matching degree based on the matching degree calculated by the matching
[0066]
(Equation 4)
More specifically, since the value obtained by partially differentiating the above equation (3) with each element of the deformation parameter p that satisfies the above equation (4) is 0, the system of the deformation parameter p which is the result of this partial differentiation is By solving the equation, the deformation parameter p can be obtained.
Here, each element of the deformation parameter p is a value of a parameter for specifying a deformation formula in a deformation model such as translation, affine, etc., for example, p in the deformation formula of the translation model shown in Expression (5) 0 And p 1 Also, for example, p in the modified expression of the affine model shown in Expression (6) 0 ~ P 5 Point to.
[0068]
(Equation 5)
(Equation 6)
In the expressions (5) and (6), (x, y) represents the reference image I. std (X ', y') means the coordinates of the (x, y) after deformation by the deformation model.
[0071]
Thereby, for example, in the example shown in FIG. 5, among the combinations of the above equation (2), the combination in which the reference straight line and the candidate straight line coincide with each other becomes the combination of the equation (7). The transformation parameters in the combination of the equations (7) are output (determined). That is, ｛L cmp [1], L cmp [2], L cmp [3], L cmp [5]｝ is specified as a moving straight line that has moved the reference straight line.
[0072]
(Equation 7)
Since the deformation parameters are determined by the deformation
[0074]
The deformation
[0075]
Since this deformed image has been deformed by the deformation parameters determined by the deformation
[0076]
As described above, the configuration of the image deformation
[0077]
[Operation of Image Deformation Information Generating Device]
Next, the operation of the image deformation
[0078]
(Reference line parameter setting step)
First, the image deformation
Note that, as the reference straight line, a necessary number of straight lines (see FIG. 2) are set according to image deformation relations such as affine, rotation, enlargement / reduction, and translation.
[0079]
(Search area setting step)
Next, the image deformation
[0080]
(Line detection step)
In addition, the image deformation
[0081]
(Candidate line parameter identification step)
Further, the image deformation
[0082]
(Match calculation step)
Then, in the image deformation
[0083]
(Deformation information determination step)
Then, the image deformation
Further, the image deformation
[0084]
Through the above steps, the image deformation
[0085]
【The invention's effect】
As described above, the image deformation information generation device, the image deformation information generation method, and the image deformation information generation program according to the present invention have the following excellent effects.
[0086]
According to the first, fifth, or sixth aspect of the present invention, based on a straight line (reference straight line) in the reference image, deformation information obtained by deforming the reference straight line is transformed from the reference image to each input image. Since the information is used as information, an error of deformation information is not propagated and accumulated for each input image as in the related art. Further, even if an image having no image content (for example, an entire black image) exists in the middle of an input image, it is possible to generate deformation information of an image to be input next based on the reference image. In other words, it has a function of recovering from image loss.
[0087]
Further, since a straight line can be handled not by an image space but by, for example, two parameters (Hough parameters) in a Hough space, the straight line can be handled not as an image but as a point expressed by a Hough parameter. This eliminates the need to perform pixel-level calculations when obtaining the distance between straight lines, the degree of coincidence, and the like, thereby reducing processing time (high-speed processing).
[0088]
Further, for example, when the input image changes due to the operation of the camera, it is possible to reproduce the background image only by transmitting the deformation information alone, so that the image can be greatly compressed during transmission.
[0089]
According to the second aspect of the present invention, a search area is set in the input image based on the reference straight line of the reference image, and a straight line (a straight line in the image) is detected only from within the search area. Processing time can be reduced as compared to the case where a straight line is detected from the whole.
[0090]
According to the third aspect of the present invention, the similarity of the straight line is obtained by the distance between the parameters without calculating the pixel level of the straight line, so that the processing time can be reduced.
[0091]
According to the fourth aspect of the present invention, an error due to a difference in resolution between the image space and the Hough space can be corrected, so that optimal deformation information (deformation parameters) can be generated. It should be noted that the input image and the deformed image obtained by deforming the reference image based on the deformation parameters calculated based on the Hough parameters in the Hough space substantially match. For this reason, it is possible to reduce the error and improve the accuracy of the deformation parameter as compared with the case where the deformation parameter is generated only in the image space as in the related art.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an image deformation information generation device according to an embodiment of the present invention.
FIG. 2 is a diagram showing the relationship between the number of deformation parameters for specifying a deformation relationship and its necessary conditions.
FIG. 3A is a diagram in which a certain straight line is represented by coordinates in an image space. (B) is a diagram in which a certain straight line is represented by coordinates on a Hough space.
FIG. 4A is a diagram illustrating an example in which a reference straight line is set on a reference image. (B) is a diagram in which a search area is set on the comparison image based on a reference straight line.
FIG. 5 is a diagram in which a straight line in a search area is represented by Hough parameters.
FIG. 6 is an explanatory diagram illustrating a method of extracting a candidate straight line that approximates a reference straight line by expressing a straight line in a search area by coordinates in a Hough space.
FIG. 7 is a flowchart showing an operation of the image deformation information generation device according to the embodiment of the present invention.
FIG. 8 is a flowchart showing an operation of generating conventional deformation information (deformation parameters).
[Explanation of symbols]
1 ... image deformation information generation device
2 Reference straight line setting section
3. Straight line detection unit (straight line detection means)
3a Search area setting section (search area setting means)
4... Candidate line extracting unit (candidate line extracting means)
5. Matching degree calculating section (matching degree calculating means)
6 Deformation information determination unit (deformation information determination means)
7. Deformation information correction unit (deformation information correction means)
10. Linear parameter detecting means
20: Reference straight line parameter storage means
30... Candidate line parameter storage means
40 ... deformation parameter specifying means
Claims (6)
前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、
前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、
を備えていることを特徴とする画像変形情報生成装置。In a continuous image that is input in a time series, a reference straight line parameter that specifies a reference straight line included in the reference image is set in advance, and based on a change in the reference straight line that accompanies a change in the image, from the reference image. An image deformation information generation device that generates deformation information for an input image input after the reference image,
A straight line detecting unit that detects a straight line included in the input image as a straight line in the image, and specifies the straight line in the image by a straight line parameter in the image;
Based on the reference straight line parameter and the straight line parameter in the image, from the straight lines in the image detected by the straight line detecting means, extract a candidate straight line that is a candidate to which the position of the reference straight line has moved, and extract the candidate straight line. Candidate straight line extracting means for specifying as a candidate straight line parameter,
Based on the reference straight line parameter and the candidate straight line parameter, a matching score calculating unit that calculates a matching score indicating a degree that the reference straight line and the candidate straight line are the same straight line,
Based on the degree of coincidence calculated by the degree-of-coincidence calculation means, a moving line in which the position of the reference line has moved is specified from among the candidate lines, and deformation information from the reference line to the moving line is identified by the reference line. Deformation information determining means for determining as the deformation information from the image to the input image,
An image deformation information generation device, comprising:
前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、
この探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する直線検出ステップと、
この直線検出ステップで検出された画像内直線の中で、前記基準直線に近接する直線を、前記基準直線の位置が移動した候補となる候補直線とし、その候補直線の候補直線パラメータを特定する候補直線パラメータ特定ステップと、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、
この一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、
を含んでいることを特徴とする画像変形情報生成方法。In a continuous image that is input in a time series, a reference straight line parameter that specifies a reference straight line included in the reference image is set in advance, and based on a change in the reference straight line that accompanies a change in the image, from the reference image. An image deformation information generation method for generating deformation information for an input image input after the reference image,
From the input image, a search area setting step corresponding to the position of the reference straight line and setting an area consisting of an area near the reference straight line as a straight line search area,
Performing a Hough transform on the search area set in the search area setting step, and detecting a straight line in an image included in the search area;
Among the straight lines in the image detected in the straight line detecting step, a straight line that is close to the reference straight line is set as a candidate straight line that is a candidate whose position of the reference straight line has moved, and a candidate straight line that specifies a candidate straight line parameter of the candidate straight line Linear parameter identification step;
Based on the reference straight line parameter and the candidate straight line parameter, a matching score calculating step of calculating a matching score indicating a degree that the reference straight line and the candidate straight line are the same straight line,
Based on the degree of coincidence calculated in the degree of coincidence calculation step, a moving straight line in which the position of the reference straight line has moved is specified from among the candidate straight lines, and deformation information from the reference straight line to the moving straight line is identified by the reference line. Deformation information determining step of determining as deformation information from the image to the input image,
A method for generating image deformation information, comprising:
前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、
この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、
前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、
として機能させることを特徴とする画像変形情報生成プログラム。In a continuous image that is input in a time series, a reference straight line parameter that specifies a reference straight line included in the reference image is set in advance, and based on a change in the reference straight line that accompanies a change in the image, from the reference image. In order to generate deformation information to the input image input after the reference image, a computer,
Search area setting means for setting, as the straight line search area, an area corresponding to the position of the reference straight line from the input image, the area including a region near the reference straight line,
Line detection means for performing a Hough transform on the search area set by the search area setting means, detecting a straight line in the image included in the search area, and identifying the straight line in the image by a straight line parameter in the image;
Based on the reference straight line parameter and the straight line parameter in the image, from the straight lines in the image detected by the straight line detecting means, extract a candidate straight line that is a candidate to which the position of the reference straight line has moved, and extract the candidate straight line. Candidate straight line specifying means for specifying as a candidate straight line parameter,
Based on the reference straight line parameter and the candidate straight line parameter, a matching score calculating unit that calculates a matching score indicating a degree that the reference straight line and the candidate straight line are the same straight line,
Based on the degree of coincidence calculated by the degree-of-coincidence calculation means, a moving line in which the position of the reference line has moved is specified from among the candidate lines, and deformation information from the reference line to the moving line is identified by the reference line. Deformation information determining means for determining as the deformation information from the image to the input image,
An image deformation information generation program characterized by functioning as:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331879A JP4133246B2 (en) | 2002-11-15 | 2002-11-15 | Image deformation information generation apparatus, image deformation information generation method, and image deformation information generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331879A JP4133246B2 (en) | 2002-11-15 | 2002-11-15 | Image deformation information generation apparatus, image deformation information generation method, and image deformation information generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004164479A true JP2004164479A (en) | 2004-06-10 |
| JP4133246B2 JP4133246B2 (en) | 2008-08-13 |
Family
ID=32809120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002331879A Expired - Fee Related JP4133246B2 (en) | 2002-11-15 | 2002-11-15 | Image deformation information generation apparatus, image deformation information generation method, and image deformation information generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4133246B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171280A (en) * | 2007-01-12 | 2008-07-24 | Nippon Hoso Kyokai <Nhk> | Position detection device, method, and program |
| CN101561254B (en) * | 2009-06-05 | 2010-11-24 | 中国航空工业集团公司西安飞机设计研究所 | Measuring method of intracavity geometric quantity |
| JP2011103031A (en) * | 2009-11-10 | 2011-05-26 | Victor Co Of Japan Ltd | Perspective conversion parameter generation device, image correction device, perspective conversion parameter generation method, image correction method and program |
| JP2012533325A (en) * | 2009-07-16 | 2012-12-27 | 日立アロカメディカル株式会社 | Ultrasonic imaging method and apparatus |
| WO2020090250A1 (en) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | Image processing apparatus, image processing method and program |
| CN116740385A (en) * | 2023-08-08 | 2023-09-12 | 深圳探谱特科技有限公司 | Equipment quality inspection method, device and system |
-
2002
- 2002-11-15 JP JP2002331879A patent/JP4133246B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171280A (en) * | 2007-01-12 | 2008-07-24 | Nippon Hoso Kyokai <Nhk> | Position detection device, method, and program |
| JP4733651B2 (en) * | 2007-01-12 | 2011-07-27 | 日本放送協会 | Position detection apparatus, position detection method, and position detection program |
| CN101561254B (en) * | 2009-06-05 | 2010-11-24 | 中国航空工业集团公司西安飞机设计研究所 | Measuring method of intracavity geometric quantity |
| JP2012533325A (en) * | 2009-07-16 | 2012-12-27 | 日立アロカメディカル株式会社 | Ultrasonic imaging method and apparatus |
| US8882675B2 (en) | 2009-07-16 | 2014-11-11 | Hitachi Aloka Medical, Ltd. | Methods and apparatus for ultrasound imaging |
| JP2011103031A (en) * | 2009-11-10 | 2011-05-26 | Victor Co Of Japan Ltd | Perspective conversion parameter generation device, image correction device, perspective conversion parameter generation method, image correction method and program |
| WO2020090250A1 (en) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | Image processing apparatus, image processing method and program |
| CN116740385A (en) * | 2023-08-08 | 2023-09-12 | 深圳探谱特科技有限公司 | Equipment quality inspection method, device and system |
| CN116740385B (en) * | 2023-08-08 | 2023-10-13 | 深圳探谱特科技有限公司 | Equipment quality inspection method, device and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4133246B2 (en) | 2008-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| US8582887B2 (en) | Image processing system, learning device and method, and program | |
| JP4952625B2 (en) | Perspective transformation distortion generating document image correcting apparatus and method | |
| CN110909591B (en) | Self-adaptive non-maximum suppression processing method for pedestrian image detection by using coding vector | |
| CN105009170A (en) | Object identification device, method, and storage medium | |
| JP2010079545A (en) | Image processing apparatus, image processing method and program | |
| US9256802B2 (en) | Object or shape information representation method | |
| JP2009211177A (en) | Feature point location determination method and device | |
| JP2010062911A (en) | Image processing apparatus, image processing method, and program | |
| KR20160123871A (en) | Method and apparatus for estimating image optical flow | |
| CN111144213A (en) | Object detection method and related equipment | |
| US9077926B2 (en) | Image processing method and image processing apparatus | |
| JP4133246B2 (en) | Image deformation information generation apparatus, image deformation information generation method, and image deformation information generation program | |
| JP4565396B2 (en) | Image processing apparatus and image processing program | |
| US8270770B1 (en) | Region-based dense feature correspondence | |
| JP2005252359A (en) | Motion vector detecting apparatus, motion vector detection method and computer program | |
| JP5417312B2 (en) | Image search apparatus and image search program | |
| JP2009187204A (en) | Image processing apparatus | |
| CN116188535A (en) | Video tracking method, device, equipment and storage medium based on optical flow estimation | |
| JP5761353B2 (en) | Ridge direction extraction device, ridge direction extraction method, ridge direction extraction program | |
| JP5126124B2 (en) | Image processing device | |
| US20200334483A1 (en) | Reading system, reading device, and storage medium | |
| JP2007140729A (en) | Method and device detecting position and attitude of article | |
| CN113129332A (en) | Method and apparatus for performing target object tracking | |
| CN117197249B (en) | Target position determining method, device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |