JP2017091580A - 信号間の変換を推定するための信号処理装置及び方法 - Google Patents

Abstract

【課題】信号処理デバイス及び方法が最小二乗技法を用いて信号間の変換を推定する。【解決手段】直接最小二乗法が、シード変換候補を参照信号に適用して、変換された参照信号と被疑信号との間の相関を測定する。各候補について、参照信号の特徴の更新座標が被疑信号において識別され、変換候補の更新を計算するために最小二乗法に対する入力として提供される。プロセスの終わりに、この方法は、相関の更なる解析に基づいて変換又は上位の変換のセットを識別する。位相推定方法が、点広がり関数を使用して被疑信号における参照信号成分の位相を推定する。位相偏移方法が、位相シフト推定に対する偏移メトリックを計算することにより作成された位相偏移面を解析することによって、参照信号と被疑信号との間の平行移動を決定する。【選択図】図２

Description

[0001]本発明は、信号処理装置に関し、詳細には、特に信号検出、識別、信号マッチング及び認識の用途で使用される、信号間の変換を決定するための信号処理に関する。

[0002]被疑信号と参照信号との間のアフィン変換を正確及び効率的に計算する必要がある様々な信号処理用途がある。これは特に画像用の信号検出及び認識の用途の場合であり、また他のタイプの信号にも適用される。信号検出及び信号認識の場合では、コンピューティングデバイスの目的は、特定の参照信号が被疑信号内に存在するかどうかを決定することである。この目的は、参照信号が存在するが座標空間の変換によって歪んでいる場合はより困難になる。画像処理において、そのような変換は、画像編集（拡大、縮小、回転、デジタルサンプリング（再サンプリング）、フォーマット変換など）を介した参照信号の操作によって生じる。参照画像又はそれらが表す物体は、それらの元の状態に対する異なる参照点からカメラによって取り込まれたとき、その結果は、変換されたままの状態の参照信号を含む被疑画像である。参照信号のアフィン変換を決定し補償する手段がない限り、正確に参照信号を検出し又は認識し或いは被疑画像内のその対応物と照合することがより難しくなる。

[0003]この信号処理の問題は、様々な分野で重大なものである。いくつかの例として、マシンビジョン、医療画像解析、物体及び信号認識、生体信号解析及びマッチング（例えば、顔、声、虹彩／網膜、指紋照合）、監視の用途などがある。これらの用途では、目的は、１つの特定の参照信号に対して入力被疑信号を検出若しくは照合し、又は多くの異なる参照信号に対して照合することでありうる（問い合わせが、信号の参照データベースに対して照合される被疑信号（プローブ又はテンプレート）を含む、データベース検索などにおいて）。様々なタイプの画像及び音声が、信号認識及び検出技術を用いて識別されうる。これらは、信号に固有の信号属性に基づく認識、並びに、バーコード及びデジタル透かしのような機械可読の場合と同様に、補助データ運搬能力を用意する別の信号に個別に埋め込まれる信号に基づく認識を含む。

[0004]近年、コンピューティングデバイスは、画像及びオーディオセンサを含む様々な種類のセンサを装備することが多くなってきている。これらのデバイスは、それらの周囲の世界と相互作用する能力を得るために、センサを通してそれらが取り込む信号を認識し識別できる必要がある。

[0005]電子技術の進歩により、これらの先端的なセンサ機能は、マシンビジョン機器、監視及び探査機器、及び医療画像ツールのような特殊用途のデバイスを超えて、パーソナルコンピュータ及び携帯電話ハンドセットのような家庭用電子デバイスにまで拡張されている。これらのデバイスに取り込まれた信号は、しばしば変換によって歪められる。これらの変換が、アフィン変換又は少なくとも局所的にアフィン変換によって近似できる場合、被疑信号を参照信号と最も合致するアフィン変換（信号の一部分における局所アフィン変換を含む）を決定することが可能でありうる。

[0006]参照信号をその被疑信号における対応物とアライメントするアフィン変換は、ｙ＝Ａｘ＋ｂとして表すことができ、ここで、ｘ及びｙは、参照信号の参照バージョン及び変換バージョンを表すベクトルであり、Ａは線形変換行列であり、ｂは平行移動（ｔｒａｎｓｌａｔｉｏｎ）である。アフィン変換は一般に、線形変換（回転、スケール変更、せん断変形）及び平行移動（すなわちシフト）を含む。２次元信号に対する線形変換行列は、回転、スケール、せん断変形を定義するパラメータの２掛ける２の行列（２×２）である。平行移動成分は、垂直及び水平のシフトを定義するパラメータの２掛ける１（２×１）の行列である。平行移動は、後で詳細に説明するような位相シフトに関係する。このように、２つの信号をアライメントするプロセスは、線形変換と平行移動との両方の近似を含むことができる。線形変換は、フーリエ変換及び逆フーリエ変換をしばしば採用する信号相関演算を決定することによって近似されることがある。平行移動成分は、フーリエ表現において位相シフトを決定する（例えば、信号相関を使用して）ことによって近似される。

[0007]信号変換が汎用処理ユニット又は特殊用途デジタル論理回路のデジタルコンピューティング環境において計算される場合、いくつかの問題が生じる。これらの問題の一部は、個別のデジタル論理で信号を表すことによって生じる誤差を含む。アナログ信号がセンサを通してサンプリングされるときだけでなく、これらの信号が異なる座標空間に変換される（例えば、フーリエ変換及び逆フーリエ変換）ときに再サンプリングされるときにも、量子化誤差がもたらされる。信号及び関連する変換パラメータの離散値を格納するために使用される回路の精度又は精度の限界に、更なる誤差がもたらされる。別の問題は、信号認識及び信号アライメントが通常、変換及び逆変換を伴い、変換及び逆変換は、誤差をもたらすことに加え、離散信号内の各値が変換され、再サンプリングされ、又は隣接サンプル値より近似されるのに伴って、メモリに対する読取り／書き込み動作の必要が増大するため、ハードウェアに実装するために計算コストが高く、追加のメモリを要し、メモリ帯域幅の制約がもたらすことである。

[0008]これらの問題に鑑みて、正確な信号の間の変換を決定し、しかもデジタルコンピューティング環境で効率的に実装される方法が必要である。これは、線形変換の推定、及び平行移動又は位相シフトの決定をするための効率的な方法を含む。

[0009]本発明の一態様は、直接最小二乗技法を用いて離散参照信号と被疑信号との間の変換を計算する方法である。この方法は、離散参照信号を表す特徴位置のセットを用意し、初期変換パラメータのシードセット（ｓｅｅｄ ｓｅｔ）を用意する。特徴位置及び変換パラメータは、電子メモリにおけるデジタル電子信号として表される。シードセットを使用して、この方法は、離散参照信号の特徴位置と被疑信号における対応する特徴位置とをアライメントするために線形変換が使用されるときに誤差を最小限にする線形変換候補を見つけ出す最小二乗最小化を計算する。これは、線形変換候補に対応する相関の尺度を計算することを含む。この方法は、シードのそれぞれについて線形変換候補を評価して、線形変換候補の絞り込まれた推定値を表す候補のサブセットを識別する。

[00010]本発明の別の態様は、直接最小二乗回路である。この回路は、被疑信号表現を格納するためのメモリを備える。この回路は、線形変換候補のシードセットを受け取り、線形変換候補が適用されるとき、参照信号と被疑信号表現との間の相関の尺度として各候補について相関メトリックを決定するための相関モジュールを備える。

[00011]この回路はまた、線形変換候補を適用することによって決定される位置における参照信号の特徴に対応する特徴の被疑信号表現内の特徴位置を決定するための座標更新モジュールを備える。このモジュールは、被疑信号における参照信号の成分の位置を決定し、参照信号と被疑信号との間の変換を決定するために最小二乗計算器に入力を提供する。

[00012]この回路は、参照信号特徴位置と座標更新モジュールによって決定された被疑信号における対応する特徴位置との間の最小二乗適合を提供する候補のそれぞれについての更新された線形変換を決定するための最小二乗計算器を備える。この回路は、相関メトリックを使用して最も有望な線形変換候補を識別するように実装される。例えば、相関メトリックが、参照信号及び被疑信号をアライメントする変換能力の改善の兆候を示す限り、回路が、変換を更新するプロセスを通しで反復する。

[00013]本発明の別の態様は、変換された信号の位相の推定値を計算する方法である。この方法は、離散参照信号を表す特徴位置のセットを用意し、被疑信号を受け取り、参照信号に変換を適用して、変換された位置のセットを用意する。この方法は、変換された位置のあたりの近傍の離散サンプル位置において被疑信号から位相をサンプリングする。この方法は、これらのサンプリングされた位相に対して、点広がり関数を適用して、変換された位置に対応する位置における被疑信号の位相の推定値を用意する。

[00014]本発明の別の態様は、被疑信号の位相を格納するためのメモリと、参照信号の座標を、変換された座標位置に変換するための変換モジュールとを備える回路である。この回路はまた、変換された座標位置のあたりの位置においてメモリから被疑信号の選択された位相を読み取り、点広がり関数を選択された位相に適用して推定位相を提供するための点広がり関数モジュールを備える。

[00015]本発明の別の態様は、参照信号と被疑信号との間の平行移動オフセットの推定値を計算する方法であって、この方法は、被疑信号の位相推定値のセットを用意する。平行移動オフセットのアレイにおける各要素について、この方法は、平行移動オフセットにおける参照信号の期待される位相のセットを用意する。この方法は、平行移動オフセットにおける期待される位相及び対応する位相推定値のセットのそれぞれについて位相偏移メトリックを計算し、移動オフセットにおける位相偏移メトリックの合計を計算する。この手法は、位相オフセットのアレイに対応する位相偏移面を提供する。この方法は、平行移動オフセットのアレイに対する位相偏移メトリックにおけるピークを決定し（例えば、位相偏移面において）、ピークの位置が、平行移動オフセットの推定値を用意する。

[00016]本発明の別の態様は、位相偏移回路である。位相偏移回路は、被疑信号の位相推定値及び参照信号の既知の位相のセットを格納するためのメモリを備える。位相偏移回路はまた、平行移動オフセットのアレイに対する参照信号から、参照信号の既知の位相及び対応する位相推定値のセットのそれぞれについて位相偏移メトリックを計算するため、及び平行移動オフセットにおける位相偏移メトリックの合計を計算するための偏移位相モジュールを備える。位相偏移回路は、平行移動オフセットのアレイに対する位相偏移メトリックにおけるピークを決定するためのピーク決定モジュールを備える。ピークの位置は、参照信号と被疑信号との間の平行移動オフセットの推定値を提供する。

[00017]上記に要約した方法は、命令（例えば、１つ又は複数のプログラマブルプロセッサで実行されるソフトウェア又はファームウェア）、回路、又は回路とプログラマブルプロセッサで実行される命令との組み合わせとして全体又は部分が実装される。

[00018]更なる特徴が、以下の詳細な説明及び添付の図面を参照することで明らかとなろう。

参照信号と被疑信号との間の変換を決定するためのプロセスの実装を示すブロック図である。 参照信号と被疑信号との間のアフィン変換を計算するハードウェアデバイスを示す図である。 参照信号と被疑信号内のその対応物とをアライメントする最良適合変換を計算する最小二乗法を示す流れ図である。 デジタル論理回路実装における処理の流れのブロック図である。 線形変換の近似が計算されている被疑信号の位相の推定値を計算する方法を示すブロック図である。 被疑信号の位相の推定値を計算する別の方法を示すブロック図である。 離散参照信号の変換された周波数成分がフーリエ領域内の整数座標に位置せず、したがって、隣接周波数位置から位相を推定する位相推定方法を要することを示す図である。 位相推定方法を導出するプロセス、及び導出をサポートする関連する計算を示す図である。 線形変換及び参照信号を所与として位相を計算する位相推定方法を示す流れ図である。 位相推定のデジタル論理回路実装を示すブロック図である。 位相偏移方法の概要を示す流れ図である。 線形変換を推定するためのデジタル論理回路のブロック図である。 位相推定及び位相偏移のためのデジタル論理回路のブロック図である。 偏移メトリックに基づく位相偏移方程式を示す図である。 直接最小二乗法の実装を示す図である。

[00034]図１は、参照信号と被疑信号との間の変換を決定するためのプロセスの実装を示すブロック図である。このプロセスを変換回復プロセスと呼ぶことにする。その理由は、このプロセスが、デバイス内に取り込まれた被疑信号から参照信号の変換を回復するためである。特に、この方法は、被疑信号を参照信号とアライメントするために必要な変換を海部フィードバックするために実装されている。このプロセスは、入力として、既知の参照信号及び取り込まれた被疑信号の離散表現１００を入力として取り込み、変換の推定値を決定し、変換の推定値は、参照信号に適用されたときに被疑信号を近似することになる。変換回復プロセスは、段階１０２〜１０６に細分化され、第１の段階は、変換の推定値（例えば、線形変換パラメータの４次元ベクトル（又は２掛ける２の線形変換行列）によって記述された線形変換）を提供し、後続の段階は、まず、段階１０２の推定された変換によって変換されるような参照信号の位相を推定し、次いで、段階１０６で位相及び平行移動を見つけ出す（よって平行移動の２つの追加のパラメータを提供する）ことによって、推定を絞り込む。本発明の特定の実装形態では、段階１０２において、それぞれが２掛ける２の線形変換行列に対応する候補線形変換を提供する。次の２つの段階では、２次元（２Ｄ）平行移動（垂直及び水平方向の）を提供し、この平行移動は、２掛ける２の線形変換行列と組み合わされたとき、アフィン変換候補を提供する。この文脈では、位相シフト及び平行移動は、異なるよう領域で表される関連する量である。すなわち、信号成分の位相角の変化としての位相シフトは、フーリエ変換領域などのフーリエ領域で表され、平行移動は、空間領域（例えば、画像の空間領域）又は時間領域（オーディオのような経時変化する信号の時間領域）で表される。段階１０２〜１０６はそれぞれ、他の段階から独立した新規の要素を含み、これらの新規な要素について、より詳細に説明する。これらの段階は、信号間のアフィン変換を計算し、後で更に説明するように組み合わせて使用されるとき追加的な利点を実現するように、システムに実装される。これらの方法及び関連するハードウェア実装は、様々な信号検出、物体認識、及びマッチング用途に適用される。デジタル透かし検出の文脈で方法の例を説明するが、これらの方法は、この文脈に限定されない。

[00035]これらの方法はまた、様々な信号タイプに適用される。それらは、センサから取り込まれた２次元コンテンツ信号（例えば、カメラにより取り込まれた画像又はビデオフレーム）に対して動作するように設計される。これらの方法はまた、１次元及び２以上の次元の信号に適用される。ある実装形態は、特に、画像コンテンツにおける参照信号の幾何変換を決定するように構成される。参照信号は、ホスト画像に埋め込まれた２次元画像透かし信号の形態をとる。参照信号は、異なる用途に対する様々な信号タイプを包含するように一般化されうる。このように、ソフトウェア及びハードウェア実装は、物体認識、パターン認識、マッチング、コンテンツフィンガープリント、マシンビジョン、及び信号間の変換が計算される他の用途など、様々な信号処理用途に適用される。本発明の方法は、具体的には、センサ、特にデジタルスキャナ、カメラ、携帯電話ハンドセットなどで使用されるタイプのＣＣＤ及びＣＭＯＳアレイのような画像センサに取り込まれた信号を処理するように構成される。

[00036]方法を具体的に説明するための例として、透かし信号検出ハードウェアの概説から始める。次いで、個々の段階の実装を説明する。図２は、参照信号と被疑信号との間のアフィン変換を計算するハードウェアデバイスを示す図である。この特定の設計は、埋め込まれた２次元透かし信号のアフィン変換を回復するように構成される。この設計は、取り込まれデジタル化された電子画像のいくつかの部分をメモリ（ＲＡＭ）１２０にバッファする（被疑画像信号）。フィルタ及びフーリエ変換処理モジュール１２２が、被疑画像をフィルタリングし、２次元フーリエ変換を計算する。線形変換推定モジュール１２４は、被疑信号の離散周波数表現を取得し、参照信号とフィルタリングされた被疑信号との間の線形変換の推定を計算する。アフィン変換回復モジュール１２６は、線形変換推定、並びに参照及び被疑信号表現を使用して、参照及び被疑信号との間の位相／平行移動を計算し、それにより、参照信号を被疑信号に変換するアフィン変換が得られる。

[00037]図２の下部は、モジュール１２２〜１２６内のサブモジュールを分解したものを示す。これらのサブモジュールの実装は、後で更に説明する。

[00038]図１の変換推定は、いくつかの代替方法で実装されてもよい。１つの手法は、参照信号と被疑信号との間のマッチドフィルタ相関（ｍａｔｃｈｅｄ ｆｉｌｔｅｒ ｃｏｒｒｅｌａｔｉｏｎ）を行うことである。被疑信号に対する参照信号の回転及びスケールを決定する１つのそのような方法は、フーリエ−メリン相関である。被疑信号と参照信号の両方をフーリエ−メリン座標空間（対数極座標空間）に変換することによって、２つの信号の間の回転及びスケール変換が平行移動シフトに変換されて、マッチドフィルタ相関の適用により、信号間の回転及びスケールの推定に対応する相関ピークの位置を見つけ出すことが可能になる。別の手法は、最小二乗法、特に直接最小二乗法を実行することである。以下に、最小二乗法の実装について説明する。これらは、逐次パイプライン型ハードウェア論理段階で処理を実装できるハードウェアにおける実装、並びに、専用ハードウェア処理ユニット、いくつかの例を挙げるならば、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、又はマルチコア中央処理装置（ＣＰＵ）などで並行に処理を実行できるソフトウェアにおける実装に特に有用である。

[00039]最小二乗
[00040]最小二乗技法
[00041]最小二乗技法は、線形変換の初期推測を前提として最小二乗誤差（すなわち、最尤推定値）を生じる線形変換を推定する。演算は乗算及び加算からなり、ハードウェアに都合がよい。

[00042]図３は、最小二乗法を示す流れ図である。一実装形態では、入力として、参照位置のセットに対する座標（周波数又は空間領域のいずれかにおいて）、及び変換された位置のセットに対する座標の対応するセットを取り込む（やはり周波数又は空間領域のいずれかにおいて）。例示のために、参照位置が周波数領域における特徴、特に周波数領域におけるピークに対応する実装形態のための技法について説明する。

[00043]この最小二乗法は反復して実行され、反復ごとに３つのステップを含む。これら３つのステップは、図３において処理ブロック１３０、１３２、及び１３４で示される。

[00044]変換された周波数座標の計算１３０
この段階では、変換された周波数座標は、信号の初期変換及び元の（すなわち変換されていない）周波数座標を使用して計算される。

[00045]座標更新１３２
このステップでは、周波数振幅平面において変換された周波数の小さな近傍のあたりのピーク値を探索することによって、変換された周波数ごとにより適切な位置を求める。このステップの最後において、より適切なピーク位置がこの周波数について見つけられた場合は、各変換された周波数の座標が更新される。このプロセスで計算された最適周波数座標によって、単一線形変換では、もはや同時に求めることができない位置がもたらされる。

[00046]変換更新１３４
このステップでは、更新された線形変換が、最小二乗公式を使用して更新された座標から計算される。この更新された変換が、次の反復のための初期推測として使用される。最小二乗技法は、元の座標と変換された座標の間の二乗誤差を最小限にする変換を提供する。特に、最小二乗技法は、位置誤差の合計を最小二乗誤差の観点で最小限にする変換を提供する。誤差からの新しい変換の計算は、以下のように実装される。

[00047]相関強度と呼ばれる相関の尺度が反復ごとに計算される。相関強度メトリックは、反復の早期の終了を決定するために使用してもよいし、正規化を行うために使用してもよい。

[00048]理論的には、最小二乗技法は、線形変換パラメータの任意の初期推測から開始して参照信号と被疑信号との間の実際の線形変換を見つけ出すことができる。しかし、実用的見地からは（座標更新が過度に複雑になるのを防止するために）、線形変換パラメータの初期推測は、実際の線形変換からいくらか近くなければならない。したがって、この技法は初期推測に敏感である。

[00049]変換の初期推測は、回転とスケールの対のように単純でありうる。

[00050]この最小二乗法は、あらゆる任意の線形変換（すなわち、回転、スケール、せん断変形、及び差分スケール（ｄｉｆｆｅｒｅｎｔｉａｌ ｓｃａｌｅ）を含む）を決定することができる。

[00051]直接最小二乗（ＤＬＳ）
[00052]ＤＬＳは、被疑信号と参照信号との間の線形変換を決定するための最小二乗技法の効率的な適用である。本発明の特定の実装形態は、画像に適用され、特に、被疑画像が、透かし入り画像であり、参照信号が、透かし入り画像に埋め込まれていると想定される透かし信号である。この場合、課題は、既知である元の参照信号と、被疑信号に埋め込まれていると想定されるその対応物との間の線形変換を決定することである。

[00053]最小二乗技法が、線形変換の初期推測のまばらなセット（ｓｐａｒｓｅ ｓｅｔ）に適用される。

[00054]ＤＬＳは、フーリエ−メリン型相関よりも必要とする評価が少ないと共に、フーリエ−メリンよりも正確な変換を提供することができる。前述のように、フーリエ−メリン領域における参照信号と被疑信号との間の相関が、回転及びスケールの推定値を与える。これとは対照的に、最小二乗では、あらゆる任意の線形変換（例えば、線形変換パラメータの４次元ベクトル）を提供することができる。

[00055]ＤＬＳを用いて、２×２線形変換行列で包含される４次元空間を、まばらな２次元部分空間にわたる初期推測により極めて効率的に評価することができる。

[00056]各ＤＬＳ評価は、最小二乗技法を使用し、また２Ｄ部分空間上の他のＤＬＳ評価から独立している。したがって、ＤＬＳ評価は、ハードウェア内又はマルチコアプロセッサアーキテクチャ上で効率的に実行することができる。各評価は、推定された線形変換及び対応する相関強度値をもたらす。候補線形変換は、最大相関強度値に対応する候補線形変換として識別される。これらの候補線形変換のうち１つ又は複数が、アフィン変換を回復するために更に処理される。

[00057]ＤＬＳは、初期推測が２Ｄ部分空間に任意に広がることを可能にする。例えば、初期推測が回転／スケールの対を含む場合、回転軸及びスケール軸に沿った間隔は任意でありうる。これと比較して、フーリエ−メリン手法は、スケール軸での間隔が対数的であることを要する。任意の間隔の使用は、２つの利点、すなわち、向上された頑強性及び効率的な計算を備える。一般的な事例では、初期予測のセットは、初期推測が回転及びスケール値のまばらなサブセットにわたって均等に分布するように理想的に選択される。例えば、スケール軸での均等な間隔（スケールの均等な増大）が、効果的に計算されることができ、またノイズアーチファクトを低減する。適切な線形変換及び推定された変換の精度に収束するＤＬＳの能力は、初期推測の数、及び最小二乗の反復の数によって影響される。これらのパラメータの最適値は、ハードウェアコスト、計算速度、及び所望の頑強性の間のトレードオフとして決定される。より洗練された戦略は、適応された数の反復と併せて初期推測の非常にまばらなセットを使用することから構成される。連続した反復からもたらされる変換が収束を示す場合、より多くの反復が行われる。この戦略は、頑強性を犠牲にせずに計算効率性を実現する。

[00058]いくつかの用途では、被疑信号は、限定されたセットの変換を受けることがある。例えば、回転は、−３０度と＋３０度の間の範囲に制限されうる。このような状況では、ＤＬＳ評価は、更に制限された範囲のまばらな初期推測に対して行われる。

[00059]ノイズ及び歪みにより、ＤＬＳによって推定された線形変換にノイズが入る可能性がある。本発明の特定の事例では、変換は、弱い透かし信号を有する画像の単一画像ブロックから推定されたときにノイズが入る。推定された変換におけるノイズを低減するために、ＤＬＳ出力の特性を利用する。ＤＬＳは、初期推測ごとに、推定された線形変換及び相関強度値をもたらすことを想起されたい。適切に設計されたセットの初期推測では、複数の初期推測が同様の線形変換につながる。言い換えれば、出力線形変換がクラスタ化される。線形変換推定におけるノイズを低減するために、線形変換のクラスタが識別され、それらの要素が適切に平均化される。適切な平均化は、相関強度のある種の関数（例えば、非線形関数）によって各線形変換を重み付けすることによって行うことができる。

[00060]図４は、デジタル論理回路実装における処理の流れのブロック図である。フーリエ変換モジュール１４０は、メモリからの入力信号（例えば、画像センサによって取り込まれた画像データのブロック）にアクセスし、フーリエ変換及びフーリエ振幅（Ｆｏｕｒｉｅｒ ｍａｇｎｉｔｕｄｅ）データを計算する。フーリエ振幅フィルタ１４２は、２Ｄフーリエ振幅データをフィルタリングする。１つのそのようなフィルタは、サンプル値をその８個の隣接のそれぞれと比較し、これらの比較に基づいてサンプル値を集約値に置き換える非線形フィルタである。一実装形態では、フィルタは、サンプル値のその８つの隣接の平均に対する比を使用する（フーリエ振幅領域において）。そして、フィルタの出力は、この比の関数（この場合、非線形関数）である。このフィルタは、（例えば、参照信号が被疑信号に埋め込まれたデジタル透かしにおいて）参照信号の特徴を抽出する際に特に役立つ。次いで、フィルタの出力が、直接最小二乗法に対する入力を形成する。

[00061]座標の更新（図３のブロック１３２）
[00062]座標更新プロセスは、対象となる変換された位置（周波数）を囲む小さな近傍のあたりのピーク（又は角部若しくは特徴などの所望の特性）の局所探索を含む。

[00063]近傍は、典型的には、３×３若しくは２×２のサンプルの領域として定義され、又は問題領域及び用途に応じてかなり大きくなりうる。

[00064]ピーク又は所望の特徴が変換された位置と異なる位置にある場合、変換された位置の座標は、この位置に更新される。

[00065]最小二乗法は、被疑信号と参照信号との間の線形変換の推定値を提供する。完全なアフィン変換を回復するために、２つの信号間の位相シフト（又は平行移動）を計算する必要がある。１つの手法は、参照信号と被疑信号との両方の位相表現の間の位相相関を計算し、線形変換を考慮に入れる。本発明者らは、アフィン変換を回復するのに特に有利である処理モジュールを開発した。図１で先に説明したように、これらの処理モジュールは、位相推定及び位相偏移である。

[00066]位相推定
[00067]本発明の位相推定手法は、位相を計算し抽出するために追加の高速フーリエ変換（ＦＦＴ）が続く画像の逆変換を行うのではなく、変換された信号のＦＦＴから位相を計算するため、有利である。位相推定は、参照信号が被疑信号内で受けた線形変換を使用する。この線形変換を計算する１つの方法として直接最小二乗を示したが、マッチドフィルタ（例えば、線形変換を近似するためのフーリエメリン相関）を使用するなどして線形変換を計算する他の方法がある。

[00068]この利点を強調して、図５及び図６は、位相情報を計算する異なる方法を示すブロック図であり、一方は位相推定が無く、他方は位相推定を有する。双方の方法は、直接最小二乗法を使用して、信号間の線形変換を推定する。第１のＦＦＴは、直接最小二乗技法が基づいて作用する振幅情報を得るために行われる。図５では、位相を計算するための第２のＦＦＴが続く逆線形変換を行うが、図６の手法は、本発明の位相推定技法を使用する。位相推定が、逆線形変換と第２のＦＦＴの両方の追加的処理を回避する。

[00069]図７は、位相推定が扱う問題を示す図である。線形変換は参照信号座標に適用されると、離散座標にマッピングされないことが見込まれる。この位相推定方法は、非離散（すなわち実数値の）座標位置での位相を計算する効率的手法を提供する。

[00070]どのように位相推定が問題を扱うかを理解するために、位相推定方法の導出から始める。図８は、位相推定方法を導出するプロセス、及び導出をサポートする関連する計算を示す図である。図７、及び図８のブロック１８０に示されるように、導出の第１のステップは、フーリエ面において実位置ｖに配置された複素周波数からなる関数を仮定する。

[00071]図８のブロック１８２及び対応する数式は、位相推定に使用される点広がり関数（ＰＳＦ）の導出を示す。ＰＳＦは、整数複素数周波数の観点からフーリエ面において実位置に配置された複素周波数を分解することによって導出される。このＰＳＦは、複素数値である。

[00072]ブロック１８４に示されるように、導出の最後のステップでは、フーリエ面におけるＰＳＦの畳み込みを行う。図８のブロック１８２の内積は、フーリエ基底関数に対するものであり、これによりＰＳＦがもたらされる。次いで、ＰＳＦがブロック１８４で使用されて、フーリエ面において値の畳み込みがされる。

[00073]図９は、線形変換及び参照信号を所与として位相を計算する位相推定方法を示す流れ図である本発明の位相推定プロセスでは２つの主要な段階がある。第１の段階では、実装形態が、線形変換に従って、既知の参照信号座標（特に、既知の周波数座標での正弦曲線のセット）を変換する。第２の段階では、実装形態が、変換された座標、及び被疑信号の周波数領域においてこれらの座標を囲む位相情報を使用して、変換された周波数座標の位相推定値を得る。このプロセスへの入力は、離散被疑信号であり、離散被疑信号は、仮定された変換（例えば、事前に計算された線形変換）、及び参照信号の周波数仕様（これは、参照信号の正弦曲線の既知の周波数位置のセットである）と共に、２次元ＦＦＴから複素周波数平面の形態でメモリに格納されている。実複素周波数（ｒｅａｌ ｃｏｍｐｌｅｘ ｆｒｅｑｕｅｎｃｙ）ごとに、位相推定が、以下のステップを適用する。

[00074]ａ．提供された線形変換を使用して、周波数の変換された実位置（例えば、非整数）を計算する（ブロック１９０）。

[00075]ｂ．整数座標フーリエ基底の観点から実位置における複素周波数を表現する。これにより複素ＰＳＦがもたらされる（ブロック１９２）。

[00076]ｃ．被疑画像ブロックのＦＴＴから、所望の実周波数を囲む整数周波数の位相を得る（ブロック１９４）。ＰＳＦは、Δ＝０でピークに達し、したがって、非整数のピークが（期待されるように）小さな近傍に現れる。特に、関数（ｓｉｎ（πΔ）／Ｎ ｓｉｎ（πΔ／Ｎ））は、（極限に）０でピークを有する。

[00077]ｄ．整数周波数の複素値とＰＳＦの対応する複素値との積の合計を計算する（ブロック１９６）。これは、実複素周波数における推定された位相を与える。

[00078]ＰＳＦ値を効率性のために事前計算してテーブルに格納することができる。更に、効率を高めるために位相を（少数の位相角に）量子化することもできる。位相推定の第１の段階の実装形態により、参照信号の各周波数位置を離散周波数サンプル間の適切な「分数（ｆｒａｃｔｉｏｎａｌ）」位置に移動させる変換を行う。変換された参照信号の位相の特性は、信号周波数とは独立である。分数周波数位置ごとに、ＰＳＦテーブルが、最も近い離散周波数位置に対する事前計算された位相情報を含む。

[00079]計算を単純化するために、実装形態は、各整数周波数間で分数周波数位置の限られた分解能を使用する。実装形態は、この分数周波数位置の数の減少を利用して、更にＰＳＦテーブルのサイズを減少させる。ＰＳＦテーブルは、各許容された分数周波数位置のみについて事前計算された位相情報を含む。

[00080]そして、このＰＳＦ位相情報は、すべての将来の推定のために再使用される（プロセスの第２段階において）。１つの特定の実装形態では、位相情報が事前計算され、小さな離散テーブルに値が格納される。テーブルは、水平周波数方向及び垂直周波数方向について同じであり、したがって、実装形態は、２回アクセスし、値を組み合わせて２Ｄ周波数位置について期待される位相を作成する。

[00081]本発明の位相推定動作は、効率的でありハードウェアに都合がよい。逆変換及び追加のＦＦＴを取り除くのに加えて、この手法は、図５の方法で示すような被疑信号データ（例えば、入力被疑画像）へのアクセスを必要としない。代わりに、この手法は、図６に示すように既に計算された被疑信号の周波数データを使用する。したがって、位相推定がハードウェアでのパイプラインアーキテクチャに適している。

[00082]一般に、位相推定技法は、最初に空間領域データを用いることなく、複素周波数領域における回転又は他の変換を行うために使用することができる。

[00083]図１０は、位相推定のデジタル論理回路実装を示すブロック図である。図１０に示される位相推定実装は、モジュール２００においてデータで被疑信号ブロックに関する位相情報のストリームを受け取る。制御モジュール２０２の制御下で、それは位相情報（被疑信号ブロックの２次元ＦＦＴからの位相半平面）をＲＡＭメモリ２０４に格納する。また、線形変換候補がモジュール２００のデータを通して受け取られ、モジュール２０６、２０８、及び２１２に直接格納される（或いはＲＡＭ２０４に格納されてもよい）。

[00084]線形変換候補行列モジュール２０６は、行列における線形変換候補を形成し、それらを行列反転モジュール２０８及びデータ出力モジュール２１０に供給する。行列反転モジュール２０８は、線形変換行列を反転する。この実装形態では、線形変換は画像の空間変換のためである。被疑画像周波数領域において参照信号座標をマッピングするために、線形変換の逆転置を行う。次いで、変換座標モジュール２１２が、メモリ（読取り専用メモリ（ＲＯＭ）２１４）から参照信号成分の位置を指定する参照信号座標を取り、その位置を被疑信号ブロックの座標空間の座標に変換する。制御モジュール２１６は、参照信号成分の位置のそれぞれを配列して、周波数領域における座標を提供する。各参照信号座標について、制御モジュール２１８は、２掛ける２の行列の点広がり関数（ＰＳＦ）点を配列する。制御モジュール２１８は、そのようにして、参照信号成分の変換された座標に基づいて動作する座標上限／下限関数モジュール２２０を制御し、それがＰＳＦテーブル２２２におけるその座標に対するＰＳＦを選択する。次いで、座標上限／下限関数モジュール２２０が、位相情報ＲＡＭ２０４内の隣接周波数位置を選択し、次いで、それが隣接位置での位相情報を積及び和論理演算子２２４に出力する。積及び和論理演算子２２４は、点広がり関数をテーブル２２２から位相情報に適用して、推定された位相を計算する。次いで、データ出力モジュール２１０が、対応する線形変換座標と共に、参照信号の参照座標ごとに推定された位相を出力する。この位相推定実装形態は、線形変換座標のすべてを繰り返して、ＬＴ候補ごとに各参照信号成分について推定された位相のセットを提供する。

[00085]位相偏移
[00086]図１を再度参照すると、位相推定に続くプロセスが、変換された参照信号の位相のこの推定値を使用して、参照信号と被疑信号との間の平行移動を決定している。この段階で平行移動を計算する代替的手法がある。本発明の手法は、変換された参照信号と被疑信号との位相表現の間の位相相関を行うことである（これは逆ＦＦＴ演算を必要とする）。次に、位相偏移と呼ばれる代替的手法について説明する。

[00087]２Ｄ位相偏移
[00088]位相偏移は、一般に２つの画像又は信号の間の平行移動を推定する代替的手法である。位相変換手法と比較して、位相偏移は、逆ＦＴＴ動作を必要としない。

[00089]図１１は、位相偏移方法の概要を示す流れ図である。まず、位相偏移方法は、ステップ２３０で、参照信号と被疑信号との間の第１のレベルの細目（例えば、整数オフセット）で候補平行移動値のセット（平行移動オフセットと呼ばれる）を得る。図１１のステップ２３２では、位相偏移方法は、候補平行移動の第１のセットのあたりでより高いレベルの細目（例えば、分数オフセット）を使用して参照信号と被疑信号との間のより良い適合を提供する平行移動値を決定することによって、それらの候補を絞り込む。

[00090]指定された平行移動オフセットに対する位相偏移は、対象となるすべての参照信号成分での測定された位相と期待される位相との間の偏移の合計である。参照信号が、それぞれ特定の位相を有する正弦曲線のセットを備える場合では、期待される参照信号位相は、既知の平行移動オフセットでの正弦曲線の位相である。これらの期待される位相は、いくつかの平行移動オフセットのそれぞれについて提供され、それらは、位相角又は平行移動値（例えば、特定の画像解像度でのピクセルオフセット）の観点から指定することができる。言い換えれば、可能な平行移動オフセットごとに、参照信号についての期待される位相のセットがある。更に、他方の入力が、被疑信号から前もって計算された測定された位相である。期待される位相と測定された位相との間の偏移は、平行移動オフセットごとに計算される。各周波数における偏移は、測定された位相と期待される位相との間のユークリッド距離のような距離測度を使用して計算してもよい。すべての可能な平行移動オフセットについて計算された位相偏移が、２Ｄ位相偏移面を構成する。２Ｄ位相偏移面における最小値の位置が、平行移動オフセットの位置を示す。

[00091]２Ｄ位相偏移方法は、加算のみ（乗算なし）を用いて、２Ｄ ＦＦＴの計算コストのごく一部のコストで実装することができる。また、オフセットごと及び周波数ごとの位相偏移演算を独立して計算することができ、並列実装がもたらされる。これは、位相相関のような他の代替方法に対する利点である。

[00092]位相差及び位相偏移は、複素数値として計算することも、角度の観点から直接計算することも可能である。角度を用いた操作により、計算の効率性が改善される。

[00093]ユークリッド距離以外の距離測度を使用することもできる。例えば、Ｌ１ノルム又は非線形尺度が、関連する信号及びノイズの特性に応じて改善を実現することができる。

[00094]特に、偏移の合計は、測定された位相角度と期待される位相角度との間の絶対差の合計として計算することができ、各差は、−πと＋πの間に含まれる（２＊πを法とする）。この計算は、ハードウェアで実装するのに効率的である。

[00095]サブサンプル平行移動推定
[00096]位相偏移が、任意の実数値の平行移動オフセットについて計算されうる。これは、位相相関手法を用いる整数値の平行移動推定ではなく、サブサンプル平行移動推定を行う。

[00097]サブサンプル平行移動で位相偏移メトリックを計算する能力を、平行移動絞込み技法を実装するために使用することができ、この技法では、まず、整数平行移動が、適切な平行移動オフセットを決定するために評価され、適切な平行移動オフセットの周辺で、サブサンプル（すなわち、画像コンテンツに対する部分的サブピクセル）平行移動オフセットを評価することによって更なる絞込みが行われる。

[00098]１次元（１Ｄ）位相偏移
[00099]基本的位相偏移の定式は、周波数におけるパターンを活用するために修正してもよい。１次元（水平又は垂直）の座標値の線形結合がゼロである周波数のセットにより、直交次元での１Ｄ位相偏移の定式がもたらされる。概念的には、これにより、２Ｄ空間の２Ｄ正弦曲線のセットの乗算である直交次元での仮想１Ｄ信号がもたらされる。仮想１Ｄ信号の周波数は、直交次元の周波数の合計によって与えられる。次いで、平行移動を、２Ｄ位相偏移のコストのごく一部のコストで、１Ｄ位相偏移の定式を用いて、各次元で独立して推定することができる。加えて、最小位相偏移メトリックの探索は、１Ｄに沿っており（すなわち、１次元データセット上であり）、計算コスト全体を更に減少させる。

[000100]いくつかの場合、線形結合が、元の信号のサポート長（例えば、１２８ポイント）の外側の仮想１Ｄ信号がもたらされる。これらの仮想１Ｄ信号は、ナイキストより高い周波数を有する。この場合、１Ｄ位相偏移方法は、エイリアシングを回避するために、より大きい人工的なサポート長によって（例えば、より高いサンプリングレートを保証するために２５６ポイントを使用して）指定してもよい。エイリアシングを回避することにより、ノイズ中の平行移動推定の信頼性が向上する。

[000101]１Ｄ位相偏移は、直交次元のすべての結果として生じる仮想周波数が偶数値であるとき、平行移動の曖昧性を生じる。例えば、２Ｄ空間内の長さ１２８×１２８の象限対称周波数の対（例えば、［−４５，９］と［４５，９］、並びに［−４４，６］と［４４，６］など）が乗算されると、結果として生じる１Ｄ位相偏移は、長さ６４の周期性を有する。同じ値の２つの周波数を組み合わせることで生じる周波数倍増により、偶数値の１Ｄ信号周波数（例えば、１８及び１２）がもたらされ、それにより曖昧性が導入される。エイリアシングの当然の帰結として、２つの周波数Ａ及びＢを混合することにより、新しい周波数Ａ＋Ｂ及びＡ−Ｂを作り出される。周期性によって生じる曖昧性は、特定の平行移動の更なる評価のために２Ｄ位相偏移を使用して解消されうる。或いは、曖昧性は、仮想周波数の相当数（約半分）が奇数値であることを保証することによって解消することができる。

[000102]１Ｄ位相偏移と２Ｄ位相偏移の組み合わせを用いて、１Ｄ位相偏移の少ない計算負荷及び２Ｄ位相偏移の頑強性を活用することができる。

[000103]図１２及び図１３は、ハードウェア実装をより詳細に示すブロック図である。図１２は、線形変換の推定（例えば、図１のブロック１０２、及び図２のブロック１２２〜１２４）のためのデジタル論理回路のブロック図である。図１３は、位相推定及び位相偏移のためのデジタル論理回路のブロック図である。

[000104]図１２に示されるように、実装形態への入力は、被疑画像からの画像データのパケットである。実装形態は、参照信号であるデジタル透かしの初期座標空間に対する被疑画像である入力画像に埋め込まれたデジタル透かし信号のアフィン変換を計算する。この特定の例では、参照信号は、透かし信号に対応する周波数ピークのセット（すなわち、互いに対し既知の疑似ランダム位相を有する正弦曲線のセット）である。プロセスのこの時点で、被疑画像は、サンプリング（走査、印刷など）によって引き起こされる様々な形態の歪み並びに幾何歪みにさらされていることがある（例えば、画像編集、及び／又はスキャナ又はカメラからの変換された状態の画像の取り込みの結果として）。この歪みの結果として、既知の参照信号と被疑画像に埋め込まれたその対応物との間の変換を最も近似するアフィン変換が知られていない。目的は、埋め込み時の参照信号と被疑信号内の埋め込まれた参照信号との間の変換を最も近似するアフィン変換を計算することである。

[000105]回路実装を説明する前に、参照信号及び被疑信号の属性の背景を説明することが有益である。その理由は、それらの信号が、ハードウェアの設計検討に影響するからである。デジタル透かしは、信号の隣接ブロックの範囲内で繰り返されている（例えば、タイル様式で）。デジタルハードウェア回路は、入力パケットのストリームに基づいて動作する。入力パケットは、透かしが当初埋め込まれたブロックの元のサイズにおおむね対応する被疑画像のブロックの重複ブロックを含む。各ブロックは、１２８掛ける１２８のピクセルのアレイである。メモリ及びＦＦＴフィルタなどのサイズは、これらの信号の属性に基づいて適合され、また、用途及び用途に応じた信号仕様によって異なることが可能である。

[000106]前置フィルタ３００は、先に説明した方法を用いて画像ブロック内のピクセル値をフィルタリングする。すなわち、各サンプルは、その８つの隣接サンプルと比較され、これらの比較の関数である値に置き換えられて、埋め込まれた参照信号を被疑画像データから隔離しようとする非線形フィルタリングの形態を実現する。

[000107]ウィンドウ動作３０２は、２Ｄ ＦＦＴのためにフィルタリングされた画像データを準備する。結果として得られたフィルタリングされた画像データブロックは、ＦＴＴ２Ｄ（３０４）に受け取られてＲＡＭに格納される。この場合、ＲＡＭ（３０６）は、図１２に示される他のハードウェアコンポーネントと共にＡＣＩＣ内に実装される。ＦＴＴ２Ｄは、空間入力データのブロックを処理して、複素周波数データを生成する。複素周波数データの実部及び虚部は、単一のパイプ出力ストリーム内へ出力でインタリーブされる。

[000108]ＣＯＲＤＩＣ３０８は、インタリーブされた実（Ｒｅ）及び虚（Ｉｍ）ストリームをインタリーブされた振幅及び位相ストリームに変換する。当分野で知られているように、ＣＯＲＤＩＣは、三角関数の効率的なデジタル信号処理実装のための方法である。フーリエ振幅フィルタ３１０は、データのフーリエ振幅部分のみをフィルタリングする。フィルタは、サンプル値のその８個の隣接の平均に対する比を使用する（フーリエ振幅領域において）。そして、フィルタの出力は、この比の関数（この場合、非線形関数）である。位相は、変更されずに通過する。

[000109]直接最小二乗（ＤＬＳ）モジュール３１２は、フィルタリングされたフーリエ振幅及び位相データのインタリーブされたストリームを受け取る。これらのデータストリームのそれぞれは、ＲＡＭブロック３１４及び３１６として示されるＲＡＭに格納される。

[000110]ＤＬＳは、最大相関強度に関して各潜在的線形変換候補を計算し絞り込む。ＤＬＳモジュール３１２の出力は、格納された位相ブロックに先行される線形変換（ＬＴ）候補のストリームである。位相推定に使用される位相データは、位相を候補線形変換ごとに推定できるように、サンプリングされる準備ができている形態で格納される。

[000111]ブロック３１８では、相関の尺度に基づいて、上位１０個の候補を見つけ出すために線形変換候補の入力ストリームをソートする。この相関の尺度は、この実装形態では、線形変換候補が参照信号及び被疑信号をアライメントするために使用された後、参照信号と被疑信号との間のドット積として計算される相関強度である。ＲＡＭ３２０は、上位の線形変換候補及び対応する相関メトリックを格納するために使用されるメモリである。

[000112]図１３は、図１２が上位線形変換候補で終了したところから開始する。位相推定モジュール３２２は、位相データのシステムを受け取ってＲＡＭ３２４に格納する。位相推定モジュールは、線形変換候補のそれぞれを使用して、参照信号内の周波数位置のそれぞれに対応する被疑画像内の信号成分に関する位相のセットを推定する。線形変換候補ごとに、位相推定モジュールは、線形変換候補と、参照信号内の主は数位置に対応する位相のセットとの両方を提供する。これらの位相は、被疑信号に埋め込まれた参照信号成分の位相の尺度を表す。特に、参照信号がデジタル透かしとして被疑信号内に埋め込まれるこの実装形態では、位相のセットは、ランダム位相を有する正弦曲線に対応する埋め込まれた参照信号成分の位相の推定値を表す。

[000113]他の実装形態では、位相推定モジュールは、ＤＬＳモジュール内に含まれてもよい。その理由は、参照信号座標を変換する行列計算の大部分はそこで既に計算され、位相データもまた容易に利用可能であるからである。この結果、ＤＬＳモジュールは、線形変換とこれらの変換のそれぞれの推定された位相との両方を出力することになる。

[000114]位相推定方法をデジタル透かし検出器の実装形態として示したが、位相推定方法は、信号プロセッサが被疑信号内の既知の参照信号を見つけ出そうとする他の用途に適用可能である。例として、信号プロセッサが画像内の既知の参照信号を見つけ出そうとする物体認識及びパターンマッチングがある。位相推定方法は、信号プロセッサが、被疑画像の成分であると疑われる参照信号の位相の推定を計算することを可能にする。次いで、これらの位相推定は、参照信号が被疑信号内に存在するかどうかを検出するために追加のマッチング又は認識動作で使用されうる。これらの方法では、同じ一般的手法が行われる。すなわち、位相推定は、被疑信号の位相と共に、期待される信号パターンと被疑信号内の対応する成分との間の変換の推定値を使用して、被疑画像内の信号パターンの位相の推定値を計算する。

[000115]図１３に戻ると、位相偏移モジュール３２６が、各線形変換候補と、被疑信号内の参照信号の推定された位相の対応するセットとを受け取る。位相偏移モジュール３２６は、線形変換候補ごとに位相偏移面を計算する。この面は、位相偏移のアレイであり、アレイ内の各要素は、平行移動オフセットに対応し、要素の値は、対応する期待される位相差と測定された位相差との間の位相偏移メトリックの合計である。２Ｄ位相偏移について、これは、平行移動オフセットのすべてのペア（例えば、１２８掛ける１２８の値の面）に対応する位相偏移値の２Ｄアレイである。先に述べたように、特定の平行移動オフセットに対する位相偏移は、特定の参照信号成分において期待される位相差と測定された位相差との間の偏移を計算する異なるメトリックの合計として計算される。本発明の実装形態では、０、９０、１８０、及び２７０度の配向に対応する各線形変換候補についての４つの配向がある。配向のための位相偏移面を計算するのが終わると、位相レジスタが９０度再配向される。

[000116]２Ｄ偏移モジュールの目的は、位相偏移における最小値に対応する1つ又は複数の平行移動オフセット候補を提供することである。言い換えれば、目的は、期待される位相差と測定された位相差との２つの間の最小偏移によって決定されるように、期待される位相差と測定された位相差が最も合致する平行移動オフセットを見つけ出すことである。実装形態は、大きな定数から位相偏移を引いて、最小値を探索する問題を便宜上ピークを探索する問題に変換する（この場合、ピークは、位相偏移面における最小位相偏移メトリックを表す）。目的は、期待される信号と測定された信号（すなわち、既知の参照信号と被疑画像におけるその対応物）の最良の合致を見出すことであるので、ハードウェアは、その２つの間の偏移のピークを見つけ出そうとする。初期２Ｄ位相偏移面が、計算効率のために整数平行移動オフセットに対して計算される。しかし、実際の平行移動は、分数（すなわち、サブピクセル）オフセットに存在することがある。結果として、反転された位相偏移面におけるピークが、２掛ける１のピクセル領域に広がることがある（水平又は垂直方向に）。この影響を解消するために、ピークは、最高２×１（Ｈｉｇｈｅｓｔ２ｘ１）モジュール３２８において２×１領域にわたって探索される。

[000117]ノイズ及び歪みの影響を解消するために、絞り込みモジュール３３２を使用して上位Ｎ個のピーク候補が更に評価される。

[000118]絞り込みモジュールは、反転された２Ｄ位相偏移面で識別されるピーク（例えば、位相偏移面における振幅が最も最小のもの）の上位Ｎ個のピーク（例えば、２掛ける１）から開始する。Ｎの値は、計算効率と頑強性の間のトレードオフとして決定され、通常２と１０の間である。次いで、これらＮ個のピークのそれぞれについて、絞り込みモジュールは、ピークに対応する平行移動オフセットのあたりの近傍の絞り込まれた位相偏移面を計算する。これらの絞り込まれた位相偏移面は、サブピクセル平行移動オフセットに対して計算される。特に、期待される位相差は、ピークの整数平行移動オフセット位置のあたりのＭ掛けるＭアレイにおけるサブピクセル平行移動のそれぞれについて計算される。Ｍの値及び平行移動の分数（すなわち、サブピクセル）の増分は、所望の計算処理量及び頑強性に基づいて決定される。Ｍの典型的な値は１６であり、典型的な分数の増分は、4分の１ピクセルである。位相偏移の合計が、サブピクセル位相偏移面を提供するために計算される。より高いピークを有するサブピクセルオフセットがある場合、このサブピクセルオフセットは上位ピークのリストに含められる。

[000119]２Ｄ位相偏移モジュールの出力は、線形変換候補であり、位相偏移面（絞込み段階で計算される任意の表面を含む）における最小値に対応するピーク座標のリストが後続する。

[000120]平行移動補正モジュール３３０は、線形変換候補のそれぞれについて計算された平行移動オフセットを補正する。補正の性質は、実装形態に特有であり、実装形態の詳細に依存し、例えば、入力として使用される参照信号位相がフーリエ表現ブロックの中央に対して表現されるかそれともブロックの角部に対して表現されるか、フーリエ処理及び表現がブロックの中央に対してかそれとも角部に対してか、及び、変換された被疑信号又は参照信号の座標系に対して表現されるかに依存する平行移動の差に依存する。

[000121]図１４は、偏移メトリックに基づく位相偏移方程式を示す図である。この図は、位相偏移メトリックの例を示す。このメトリックは、位相偏移面内の位相偏移値をどのように計算するかを示す。図１４に示されるように、位相偏移は、参照信号の特定の周波数成分ｉについて測定された位相差と期待される位相差との間の偏移を表す。測定された位相差は、被疑信号内の参照信号の推定された位相（例えば、位相推定プロセスで決定された）についての周波数成分ｉの位相角と、参照信号成分の既知の位相角との間の差である。前述のように、位相推定プロセスは、変換された状態で被疑信号について位相角推定値を提供する。実装形態では、既知の参照信号のために使用される位相角は、その元の未変換の状態にある。

[000122]期待される位相差は、水平及び垂直位相オフセットから直接計算される。上記のように、これらのオフセットは、整数オフセットとして始まり、次いで、絞込みのためにサブ整数（ｓｕｂ−ｉｎｔｅｇｅｒ）（例えば、サブピクセル）となる。

[000123]式中、参照信号中にＭ個の周波数成分があることに留意されたい。偏移メトリックは、周波数成分のそれぞれについての個々の偏移の合計である。ユークリッド距離測度が示されているが、前述のように他の偏移メトリックが使用されてもよい。

[000124]図１４の描写から、図示の２Ｄの場合、参照信号を使用することによって、１Ｄ位相偏移の２つの別個のインスタンスに減少させることができることが分かり、この参照信号は、垂直軸に対して対称であって、したがって水平成分が互いに打ち消す対の周波数成分を有し、また同様に、水平軸に対して対称であって、したがって垂直成分が互いに打ち消す対の周波数成分を有する。前述のように、これにより、垂直及び水平平行移動オフセットが、各ＩＤ位相偏移アレイにおけるピークの独立した探索で別個に決定されることが可能になる。

[000125]図１５は、ＤＬＳ方法の実装形態を示す図である。これは、例えば図１２のブロック３１２内の処理の実装形態である。前述のように、ＤＬＳモジュールは、ブロック３５０でシード線形変換候補のセットから開始する。例えば、この実装形態は、２掛ける２の線形変換行列で表現される線形変換パラメータのサブセットを含む、回転−スケール候補のまばらなセットから開始する（前述の一例のように）。２掛ける２の行列で表現される他の線形変換パラメータは、差分スケール（例えば、水平及び垂直スケール）並びにせん断変形（例えば、水平及び垂直せん断変形）を含む。ＤＬＳ方法が回転及びスケール候補から開始すると、他のパラメータは、任意の追加の変換を提供しないように当初想定され、方法の引き続く反復により、他の線形変換をパラメータが参照信号と被疑信号との間のより良い適合を実現するように変化することが可能なように線形変換を更新する。他の実装形態では、まばらな線形変換候補の異なるサブセット又は定式が、シード候補として選択されてもよい。

[000126]シード候補の開始セット内の各線形変換候補について、ＤＬＳモジュール内の変換モジュールが参照信号内の周波数成分の周波数位置を変換する（３５２）。次いで、サンプルモジュールは、各変換された位置の場所周辺の近傍位置で被疑信号の周波数平面をサンプリングする（３５４）。近傍は、変換された周波数位置を囲む領域であり、実際的には、被疑信号のＦＦＴにおけるいくつかの離散周波数位置を包含する。次に、ＤＬＳモジュール内の相関モジュールが、信号相関メトリックを計算し（３５６）、この信号相関メトリックは、参照信号の各変換された成分の周囲の被疑信号内のこれらの領域について参照信号と被疑信号との間の相関の尺度を提供するものである。このプロセスの終わりに、ＤＬＳモジュールは、線形変換候補に対する信号相関メトリックを有する。このメトリックが、先行の反復に対する先に格納されたメトリックに対して改善されたかどうかが決定される（３５８）。ＤＬＳモジュールは、相関メトリックに改善がある（３５８）、及び反復限度に達していない（３６０）限り、続行される。

[000127]領域及びそれらの領域について計算された信号相関メトリックを計算する様々な方法がある。ＤＬＳモジュールが４つの最近傍位置からサンプリングをする一実装形態では、信号相関メトリックが、被疑信号内の変換された場所ごとのそれらの隣接物での周波数振幅の共一次内挿の合計として計算される。代替形態は、共3次内挿を使用して、及び各変換された周波数成分の場所のあたりの３掛ける３のサンプル領域を使用して相関を計算することを含む。相関は、領域における参照信号及び被疑信号の位相成分の相関も含むことができる。この場合、位相推定方法を用いて被疑信号内の位相が推定される。

[000128]ＤＬＳモジュールが、信号相関を改良しまた反復限度より下である線形変換候補を見つけ出す場合、ＤＬＳモジュールは、最小二乗計算器への入力のセットの確立に進み、最小二乗計算器は、新しい候補線形変換を計算する。入力のこのセットは、周波数振幅の最大値が存在する、各変換された周波数成分位置に対応する周波数成分位置のセットを含む。参照信号の成分ごとのこれらの新しい位置を見つけ出すプロセスは、ブロック３６２に反映されている。特に、座標更新モジュールは、変換された座標位置のあたりの近傍の特徴座標（例えば、ピーク）を計算する。次に、最小二乗計算器（３６４）は、参照信号成分をそれらの元の場所からブロック３６２で見出された新しい位置へ最も良くマッピングする線形変換を見つけ出すために、最小二乗法を使用することにより、新しい線形変換候補を計算する。

[000129]ブロック３６２に示されるプロセスは、前述の「座標更新」の実装形態である。参照信号の周波数成分の座標を更新する１つの手法は、２掛ける２、３掛ける３、５掛ける５など、変換された周波数位置のあたりのサンプル領域のような隣接領域における最大の振幅を有する隣接周波数位置の座標を選択することである。このプロセスは、新しい座標を見出すために内挿を必要としない。いくつかの実装形態では、本発明らは、３掛ける３の近傍は、２〜３％までの差分スケールアップ、時には５％までのスケールアップを含むことを見出した。より大きな近傍を用いることと、参照信号の隣接周波数成分のノイズによる潜在的な混乱との間にトレードオフがある。本発明の実装形態は、参照信号を使用し、Ｍは、３５〜７５の範囲であり、被疑画像は、およそ１００ドットパーインチ（ＤＰＩ）の解像度でサンプリングされ、ブロックサイズ及びＦＦＴサイズは、１２８掛ける１２８サンプルである。近傍サイズ及び形状は、参照信号の固有の特性に合わせて調整してもよい。近傍サイズは、周波数の増大と共に増大することができる。近傍サイズ及び形状は、参照信号内の隣接周波数成分によるノイズの競合を避けるように調整してもよい。近傍サイズ及び形状は、線形変換候補（例えば、ＬＴ候補によって変換された）に応じて適合させることもできる。また、変換された位置の座標の更新は、隣接ピークの中心（例えば、正規化された質量中心）、質量中心、二次フィット（ｑｕａｄｒａｔｉｃ ｆｉｔ）、又は隣接値の他の内挿を見つけ出すことなどによって、隣接値の組み合わせとして計算してもよい。

[000130]ブロック３６４の最小二乗計算器は、図に示される式を実装して、式の左側の２掛ける２の線形方程式を解く。これは、乗算及び加算論理回路を使用してハードウェアで実装され、もちろん、ソフトウェア（ファームウェア命令を含む）で実装されてもよい。図示のように、入力は、参照信号成分の座標、及び先行ブロック（３６２）から決定されるように被疑信号内の参照信号についての対応する更新された座標である。

[000131]ブロック３６４で線形変換候補の更新を計算した後、ＤＬＳモジュールはこの線形変換を新しい候補として追加し、ブロック３５２に戻る。

[000132]判断ブロック３５８〜３６０で決定されるようにＤＬＳモジュールが完了すると、結果として得られた線形変換候補及びそれに関連する信号相関メトリックが、更なる処理のために格納される（３６６）。ＤＬＳモジュールは、ブロック３６８に示されるように、更なるシード線形変換候補について反復をする。初期候補が図示のように処理されて絞り込まれると、ＤＬＳモジュールは、各初期シード候補について絞り込まれた線形変換候補を有する。ＤＬＳモジュールは、このセットの絞り込まれた線形変換候補を探索して最も強い相関を求める。次いで、相関に基づく上位候補のサブセットが、前述のように更なる処理で使用されうる。また、前述のように、線形変換候補は、クラスタ化され組み合わされて新しい線形変換候補を形成することができる。

結語
[000133]具体的な実装形態を参照して本技術の原理を説明し例示したが、本技術は、多くの他の異なる形態で実装可能であることが理解されよう。明細書を過度に長くせずに包括的な開示を行うために、出願人は、上記に参照した特許及び特許出願を参照により組み込む。

[000134]上述の方法、プロセス、及びシステムは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせで実装することができる。例えば、ＤＬＳ、位相推定、及び位相偏移のための信号処理動作は、メモリに格納された命令として実装され、プログラマブルコンピュータ（ソフトウェア及びファームウェア命令の両方を含む）で実行され、専用デジタル回路内のデジタル論理回路、又は1つ若しくは複数のプロセッサ及びデジタル論理回路モジュールで実行される命令の組み合わせとして実装されてもよい。前述の方法及びプロセスは、システムのメモリ（電子、光、又は磁気ストレージデバイスなどのコンピュータ可読媒体）から実行されるプログラムに実装可能である。方法、命令、及び回路は、電子信号又は他の電磁形状の信号に基づいて動作する。これらの信号は更に、画像センサに取り込まれた画像信号のような物理信号、音声センサに取り込まれた音声、及び他のタイプのためのセンサに取り込まれた他の物理信号タイプを表す。これらの電磁信号表現は、信号間の線形変換、位相シフト、及び平行移動を決定するように、上述のような異なる状態に変換される。

[000135]上記の方法、命令、及びハードウェアは、参照及び被疑信号成分に基づいて動作する。信号を基底関数に投影することによって形成される信号成分の合計として信号を表すことができるので、上記の方法は、一般に様々な信号タイプに適用される。例えば、フーリエ変換は、基底関数のセットへの信号の投影の合計として信号を表す。

[000136]上述の実施形態における要素及び特徴の特定の組み合わせは例示に過ぎず、これらの教示と本明細書及び参照により組み込まれた特許／出願における他の教示との交換及び置換も考えられる。

Claims (18)

1. 変換された信号の位相の推定値を計算する方法であって、
   離散参照信号を表す特徴位置のセットを用意するステップと、
   被疑信号を受け取るステップと、
   前記参照信号に変換を適用して、変換された位置のセットを用意するステップと、
   点広がり関数を使用して、前記変換された位置のあたりの近傍の離散サンプル位置において前記被疑信号から位相をサンプリングし、前記変換された位置に対応する位置における前記被疑信号の位相の推定値を用意するステップと、
   を含む方法。
2. 前記被疑信号が画像信号を含む、請求項１に記載の方法。
3. 前記被疑信号が、画像センサからサンプリングされた画像信号を含む、請求項２に記載の方法。
4. 前記参照信号が信号成分のセットを含み、前記特徴位置が前記信号成分の位置である、請求項１に記載の方法。
5. 前記信号成分が周波数成分であり、前記特徴位置が前記周波数成分の周波数位置である、請求項４に記載の方法。
6. 前記被疑信号が、前記参照信号のバージョンを含み、前記点広がり関数が、前記被疑信号内の前記参照信号の前記バージョンの位相を決定するために使用される、請求項１に記載の方法。
7. 前記位相が、前記被疑信号内の前記参照信号の前記バージョンと前記参照信号との間の変換を決定するために使用される、請求項６に記載の方法。
8. 前記参照信号が、前記被疑信号に埋め込まれたデジタル透かし信号に対応し、前記位相が、前記被疑信号内の前記デジタル透かし信号を検出するために使用される、請求項６に記載の方法。
9. 命令が格納されたコンピュータ可読媒体であって、前記命令が、1つ又は複数のプロセッサによって実行されたとき、変換された信号の位相の推定値を計算する方法を実施し、前記方法が、
   離散参照信号を表す特徴位置のセットを用意するステップと、
   被疑信号を受け取るステップと、
   前記参照信号に変換を適用して、変換された位置のセットを用意するステップと、
   点広がり関数を使用して、前記変換された位置のあたりの近傍の離散サンプル位置において前記被疑信号から位相をサンプリングし、前記変換された位置に対応する位置における前記被疑信号の位相の推定値を用意するステップと、
   を含む方法。
10. 被疑信号の位相を格納するためのメモリと、
    参照信号の座標を、変換された座標位置に変換するための変換モジュールと、
    変換された座標位置のあたりの位置において前記メモリから前記被疑信号の選択された位相を読み取り、点広がり関数を前記選択された位相に適用して推定位相を提供するための点広がり関数モジュールと、
    を備える回路。
11. 前記被疑信号が画像信号を含む、請求項１０に記載の回路。
12. 前記被疑信号が、画像センサからサンプリングされた画像信号を含む、請求項１１に記載の回路。
13. 前記参照信号が信号成分のセットを含み、前記座標が前記信号成分の位置である、請求項１０に記載の回路。
14. 前記信号成分が周波数成分であり、前記座標が前記周波数成分の周波数位置を含む、請求項１３に記載の回路。
15. 前記被疑信号が、前記参照信号のバージョンを含み、前記点広がり関数が、前記被疑信号内の前記参照信号の前記バージョンの位相を決定するために使用される、請求項１０に記載の回路。
16. 前記位相が、前記被疑信号内の前記参照信号の前記バージョンと前記参照信号との間の変換を決定するために使用される、請求項１５に記載の回路。
17. 前記参照信号が、前記被疑信号に埋め込まれたデジタル透かし信号に対応し、前記位相が、前記被疑信号内の前記デジタル透かし信号を検出するために使用される、請求項１５に記載の回路。
18. 前記点広がり関数モジュールは、点広がり関数テーブルと、前記点広がり関数を前記選択された位相に適用するための積演算子及び和演算子と、を備える、請求項１０に記載の回路。

Images