JP2005129077A - 画像を復元する方法 - Google Patents

Abstract

【課題】 画像が歪められて取り込まれたとしても、元の画像を高精度に歪みなく復元する方法を提供する。
【解決手段】画像センサ、およびオリジナルに対するセンサ位置を検出する航行センサを備える走査装置が、オリジナルの画像を走査し、画像データおよび位置データを取り込む。復元される画像についてピクセル・グリッドが定義され、そこに線形画像データをマッピングする。１対の線形画像データをマッピングすることにより、１つの領域が定義される。領域内のそれぞれのピクセルについて、強度値を決定する。強度値は、強度を決定しようとするピクセルのまたぐ、複数センサ位置で取得される画像データに基づいて計算される。決定される強度値により、歪みのない画像が得られる。
【選択図】図１４

Description

この発明は、一般に、オリジナルの走査されるまたは他の方法で取り込まれる電子画像を形成する方法に関する。具体的には、特に、抑制されない手による走査で、任意のシーケンスで画像が取り込まれる装置および方法に関する。

オリジナルの画像を電子的に形成するためのスキャナは、既に知られている。典型的に、スキャナによって与えられる取り込まれた画像は、デジタル形式でメモリに格納されるピクセル・データ・アレイである。歪みの無い画像は、オリジナルの画像のピクセル・データ・アレイへの忠実なマッピングを必要とする。典型的にスキャナは、忠実なマッピングの見込みを最大限にするため、画像取り込み処理の間の機械的な制約を課す少なくとも１つの手段を含む。従来技術で知られているスキャナの４つのタイプは、ドラム・スキャナ、フラットベッド・スキャナ、２次元アレイ・スキャナおよびハンド・スキャナである。

ドラム・スキャナは、実質的に固定の速度で回転する円筒形のドラムの表面にオリジナルを接触させる。ドラムの回転の間、画像センサは、ドラムの回転軸に平行な方向へ動かされる。画像センサの線形変位およびドラム上のオリジナルの回転の組み合わせによって、オリジナル全体を走査することができる。画像処理の間の任意の時点で、オリジナルに対するピクセル・データ・アレイ内の現在位置は、ドラムの角度位置およびセンサの並進位置を測定することによって決定することができる。オリジナルがドラムに適正に接触し、ドラム回転が適正に制御され、センサが、線形パスに沿ったその変位で適正に制御される限り、オリジナルに対するピクセル・データ・アレイの位置は、固定である。

フラットベッド・スキャナは、アレイの軸に垂直な軸に沿って、オリジナルに対して動かされる線形アレイ・センサを含む。従って、１次元のセンサの位置は、センサの相対的な移動を追跡することによって知ることができる。センサの垂直方向の位置は、強度が測定されようとする特定のアレイ素子をアドレスすることによって必然的に固定される。フラットベッド・スキャナの１つの実施例で、オリジナルは、透明なプラテン上に置かれ、センサは、画像照明源とともに、プラテンの端にオリジナルに対向して配置される。オリジナルがプラテンに対して動かされない限り、ピクセル・データ・アレイは、取り込まれる画像に対して固定される。別の実施例で、センサではなくオリジナルが動かされる。この第２の実施例は、ファクシミリ機でよくみられる。精密な紙輸送は、画像取り込み処理の間、高度な位置の正確さを提供する。

ドラムおよびフラットベッド・スキャナの利点は、少なくともA4または8.5"x11"と同じ大きさの文書を受け入れる能力を含む。さらに、これらのスキャナのいくつかは、１つの装置でA1紙を処理することができる。しかしスキャナは、一般に、制御、データ記憶および画像操作のためホストコンピュータを必要とするので、持ち運びができない。

２次元アレイ・スキャナは、機械的な符号化制約がない状態で使用することができ、露出期間の間、アレイおよびオリジナルが動かされないで保持されることのみ必要とする。感光性素子の２次元アレイは、ピクセル・データ・アレイへのオリジナルの画像のマッピングを直接的に達成する。しかし、8.5"x11"オリジナルの１つの300dpiマッピングは、2500x3300素子すなわち825万ピクセルのアレイを有する画像センサを必要とするので、これらのスキャナは、ほとんどの適用例でかなり費用がかかる。

従来のハンド・スキャナは、ユーザが、オリジナル上で電子光学センサ素子の線形アレイを移動させることを必要とする。その移動は、手操作による。アレイ位置情報は、コンピュータ「マウス」の操作で用いられるような方法を使用して決定される。線形センサ・アレイが動かされるとき、オリジナルと接触するホイール、ボールまたはローラの回転が検知され、位置情報が、回転の機械的な詳細から決定される。概して、オリジナルと接触する機械要素の表面は、スリップおよびスキッドに抵抗するよう例えばゴムような高い摩擦係数をもつ。円筒形ローラまたは固定の車軸で接続される２つのホイールを使用して、走査処理の間、並進運動の１自由度を強制することができる。多くの場合、直定規や他の器具を使用して、オリジナルに関する走査方向を固定し、さらに一対のホイールまたはローラによって提供される並進運動の制約を与える。それにもかかわらず、位置エンコーダ方法は、多くの場合スリップおよびスキップに影響されやすいものであるので、ピクセル・データ・アレイは、オリジナル上の画像との対応を失う。

ハンド・スキャナは、典型的に、画像データ記憶、処理および使用のため別のコンピュータに直接に接続される。画像センサからのデータ・レートは、走査スピードを制限する傾向がある。スキャナは、所望の画像解像度に適したスピードを維持するように、ユーザへのフィードバックを、典型的に緑色または赤色発光ダイオードによって提供する。いくつかのハンド・スキャナは、ユーザが、画像上であまりに速くスキャナをドラッグするのを防ぐため、走査スピードが増加すると共に機械抵抗が増加するような電磁ブレーキを使用する。

ハンド・スキャナは、比較的小さいイメージング・アレイを利用しており、概してA6より大きい書類を１回のパスで処理することができない。これは、縫い合わせ(stitching)アルゴリズムが、比較的大きい文書の複数の帯をつなぎ合わせることを必要とする。帯の縫い合わせは、別のコンピュータによって別の操作で実施することができる。複数ページのビジネス文書やレポートをハンド・スキャナを使って走査するのは退屈な処理であり、しばしば低品質の結果を生む。画像帯を縫い合わせる技法は、走査技術で既に知られている。これらの技法は、典型的には一対の完全な画像帯を必要とし、２つの帯を整合させる１つの包括的な変換を生成する。改良された技法が、下記特許文献１の明細書に示されている。

走査された電子画像を形成する際、画像データとともに取得される航行（ナビゲーション、本明細書中において以下同様）情報を取得する必要がある。スキャナの使い易さに妥協することなく航行情報が得られるハンド・スキャナは、下記特許文献２の明細書で述べられている。航行情報は、走査されるオリジナルの固有の構造に関連した特性を検出する少なくとも１つの航行センサによって取得される。画像センサがオリジナルに対して動かされるとき、オリジナルに沿った画像センサの移動は、固有の構造に関連した特性の変化を監視することによって追跡される。監視される固有の構造に関連する特性とは、紙繊維のような固有の構造の特徴またはオリジナルの他の構成成分である。選択として、航行は、スペックルに基づいてもよく、その場合オリジナルに沿った画像センサの移動が、航行情報を取得するためにコヒーレントな照明を使用して作り出されるスペックル・パターンの変化を監視することによって追跡される。

「固有の構造に関連する特性」は、画像データの形成および/またはオリジナル上の組織的な位置決めデータに依存しないファクタに起因するオリジナルの特性である。航行情報は、スペックル情報の位置信号のような固有の構造に関連した特性の検出に応答する位置信号、または個々の固有の構造の特徴の追跡を許す位置信号を生成することによって形成することができる。「固有の構造の特徴」とは、オリジナルを形成する処理に特有であり、画像データの形成および/またはオリジナル上の組織的な位置決めデータに依存しない、オリジナルの特徴である。例えば、オリジナルの記録媒体が紙製品である場合、関心のある固有の構造の特徴は、紙繊維でありえる。別の例として、光沢のあるオリジナルまたはオーバーヘッド透明フィルムを横断する画像センサの航行は、鏡面に影響を及ぼす表面テクスチャの変化を追跡することによって決定することができる。典型的に、固有の構造の特徴は、表面テクスチャの例えば10から40μmの間の微視的な特徴である。

この発明は、下記特許文献１および２の明細書に教示されるようなハンド・スキャナに直接適用可能であり、これらの両方は、ここで参照として取り入れられる。
国際特許出願公開第WO96/27257号 米国特許第5578813号

上述したように、典型的に、器具のいくつかのタイプが、ハンド・スキャナと共に使用される。(特許文献２のほとんどの実施例の場合と同様に)器具がない状態では、ハンド・スキャナがオリジナルを横切って動かされるとき、いくらかの回転運動を課す傾向がある。スキャナの移動の間、ユーザの肘が平坦な面に載っている場合、回転は、スキャナとユーザの肘の間の距離によって定義される半径をもちやすい。その結果、走査される電子画像が歪められる。スキャナの１つの帯の中の他の曲線的な移動も、歪みを生成する。

この発明は、たとえ歪められた走査パスがあっても、オリジナルの高品質の歪みのない再生をもたらす走査装置および方法を提供することを目的とする。これは、手で文書を走査するためのより大きい自由度をユーザに与え、オリジナルと再生される画像の間の高い程度の一致をもって、オリジナル画像の重複する部分の連続の走査から合成画像の生成を可能にする。

この発明に従って、センサで画像データおよび航行手段で位置データとして取り込まれる画像を復元する方法であって、復元される画像の全部または一部についてピクセル・グリッドを定義するステップと、位置データを使用して、センサ・データとピクセル・グリッドの間の対応を特定するステップと、それぞれ複数のセンサ位置で得られ、強度が決定されようとしている各々のピクセルに関連するように選択される画像データから、ピクセル・グリッド内のピクセルの強度を決定するステップと、を含む方法を提供する。

この方法は、特に、手で走査される画像の復元に適用されるときに効果的であり、その画像は、各々のセンサ読取りに関する位置データをもつ連続するセンサ読取りのストリームとして受信される。スキャナの個々のセンサ読取りへの依存が低減され、不規則な走査に基づくデータであっても、比較的小さい計算努力で組み立て、処理することができる。

画像データとピクセル・グリッドとの間の対応を特定するステップは、ピクセル・グリッドへの画像データのマッピングを含むことが好ましく、それによって、ピクセル・グリッドへの、境界となるセンサ読取りのマッピングの後、１つの領域が、境界となるセンサ読取りの画像データの間のピクセル・グリッド内に定義され、上記領域を定義する画像データは、上記領域内のピクセルに関連するように選択することができる。境界となるセンサ読取りは、ストリーム内の２つの連続した読取りであるか、またはストリーム内の任意の２つのセンサ読取りであってもよく、その場合、ストリーム内の境界となるセンサ読取りの間の任意のセンサ読取りが、上記領域内のピクセルに関連するように選択可能である。境界となるセンサ読取りおよびストリーム内のそれらの間の全てのセンサ読取りは、チャンク(chunk)を含む。「チャンク様(chunkwise)」方法は、計算費用の重要な低減のため多少の正確さを犠牲にする。

好ましい形態で、画像データとピクセル・グリッドの間の対応を特定するステップは、さらに、ピクセル・グリッド内のどのピクセルが、センサ・データの選択された組によって定義される領域の中に入るかを決定するステップ含む。ピクセル・グリッド内のピクセルは、境界となるセンサ読取りによって定義される空間の中へマップされ、強度が決定されるグリッド・ピクセルは、定義される空間内にマップするものであることが有利である。

ある形態で、ピクセルの強度は、２つの連続するセンサ読取りの各々の中のセンサ・ピクセル値に基づく補間によって決定され、そこで、そのセンサ・ピクセル値は、空間にマップされるグリッド・ピクセルをまたぐように選択される。上記補間は、２つの連続するセンサ読取りの各々の中の２つのセンサ・ピクセル値に基づく双線形補間であることが有利である。代替の形態で、ピクセル・グリッド内の線と連続するセンサ読取り位置との交点が決定され、そこで交点に対するセンサ・ピクセル値は、挿入点のいずれかの側へのセンサ・ピクセル値の間の補間によって計算され、その線に沿ったグリッド・ピクセルに対するピクセル強度値は、交点センサ値の間の補間によって計算される。ピクセル・グリッド内の線が、ピクセルの行である場合、特に計算上効率的な方法が提供される。

センサは、走査装置特にハンド・スキャナの中に含まれることが有利である。更なる見地で、この発明は、上述したような方法を実現するための走査装置を提供し、さらに、上述したような方法を実施するためのコンピュータ・システムに相互接続するように設計される、画像データを収集するための走査装置を提供する。

航行情報は、上記特許文献２の明細書に示されるように、色々な方法で提供することができる。最も幅広い方法で、走査パスに沿った走査装置の曲線および回転の移動の歪み加工を除去するために使用される航行情報のソースに対する制限はない。従って航行信号は、オリジナル上の画像データの検出(例えばテキスト・キャラクタのエッジの認識)に応答する位置信号の形式であってよく、その位置信号は、画像信号の操作の中で使用される。第２の方法は、位置信号が、スペックル・パターンを決定する特性のような固有の構造に関連した特性の検出に応答するものである。第３の方法は、個々の固有の構造の特徴(例えば紙繊維)の位置を時間にわたって監視することによって、走査装置の航行を追跡することである。

記述される形態で、画像センサは、電子光学素子の線形アレイであり、航行方法は、航行センサ素子の少なくとも１つの２次元アレイを利用する。画像センサの各々の端部に別々の２次元航行アレイを置くことにより、スキャナは、移動の３自由度を許される。オリジナルが平坦である場合、自由度の２つは、並進運動で、オリジナルの平面内で互いに垂直であり、第３の自由度は、オリジナルの平面に対する法線を中心とする回転運動である。回転の追跡の正確さは、１つの航行アレイのみ使用する場合に必要であるよりも小さいアレイ範囲を各々のアレイがもつ、２つの航行アレイの使用によって改善される。記述される形態は、航行センサが２次元アレイのものであるが、線形アレイを使用することもできる。さらに、以下でより詳しく述べられるように、画像データを矯正するための航行情報は、符号化ホイールおよびボール、コンピュータ・マウス追跡ボール、位置決めグリッド検出器、加速度計、機械的リンケージ、非接触の電磁気および静電的リンケージ、および時間遅延積分センサ・アレイを含む他の位置追跡手段を走査装置に取り付けることによって、うまく取得することができる。これらの代替の形態の多くで、位置追跡は、画像取得を含まないので、画像データを矯正するための航行情報は、オリジナルのどの固有の構造に関連した特性にも依存しないように取得される。

航行センサは、画像センサに対して既知の位置にある。画像アレイが動かされるとき、航行センサは、オリジナルの端を越えて進むことがないように、イメージング・センサの端点に近接するように位置することが好ましい。画像センサは、関心のある画像を表す信号を形成する。同時に、各々の航行センサは、オリジナルの固有の構造に関連した特性を表す信号を形成する。走査装置は、装置がオリジナルと接触したまま、オリジナルに沿って下降しながら左から右へそして右から左へという交互のパターンのように、フリーハンドの曲りくねったパターンで動かされることがある。端から端までの帯の各々は、前の帯の一部に重ならなければならず、それによって走査処理中またはその後、画像を位置に関して操作し、縫い合わせることができる。画像信号の操作は、画像データの矯正であり、その矯正は、１つまたは複数の航行センサと航行センサによって検出される固有の構造に関連した特性との間の相対的な移動に基づく。操作は、画像信号の「矯正」であり、すなわち、オリジナルと出力画像との間の合致を達成するために航行データに基づいて取得された画像データを整列させ、修正する操作である。縫い合わせは、連続する帯の間で取得される画像データをつなぎ合わせるために使用される。

各々の航行センサは、オリジナルの固有の構造に関連した特性に依存するコントラストを提供するように設計される１つまたは複数の光源を含むことができる。放射される光は、可視域でありえるが、これは重要なことではない。例えば、表面の法線に対して大きい入射角をもつ「かすめ(grazing)」光は、紙製のオリジナルの表面またはその近くで紙繊維と影響し合って、繊維の間のコントラストの改善された影を生成する。他方で、オリジナルが、写真印刷、クレーコーティングされた紙またはオーバーヘッド透明フィルムのような、光沢のある表面をもつ場合、垂直な入射光は、航行の目的に十分な画像コントラスト特徴をもつ鏡面の中の画像を生成する。さらにフィルタおよび１つまたは複数のイメージング・レンズのような光学素子が、固有の構造に関連した特性の検出を改善する。

記述される形態の利点は、走査装置および方法が、高品質の画像取り込みを与えながら、走査装置の移動の３自由度を許すということである。従って、持ち運びできるポケットサイズの走査装置を製作し、画像取り込み処理の間にオリジナルの表面との接触によって許されるもの以外の機械制約がない状態でそれを使用することができる。この発明は、走査装置がオリジナルと接触する形態への適用に制限されるものではない。適当な航行情報があれば、画像復元は、色々な環境で取り込まれる画像から実行可能である。もう１つの利点は、記述される形態の走査装置は、固有の構造の特徴の検出に基づいて電子画像を形成するので、オリジナルの画像特徴の間の「ホワイトスペース」の大きい面積が、保存され、従って縫い合わせステップの間に画像特徴が一斉に近寄るように移動するという結果を生まないことである。

図１を参照して、持ち運びできるハンドヘルド型操作装置10が、オリジナル14に沿って曲りくねったパス12をたどるように示されている。オリジナルは、１枚の紙、オーバーヘッド透明フィルム、または他の任意の画像支持面でありえる。オリジナルの固有の構造に関連した特性は、曲りくねったパスに沿った航行の間、位置情報を提供するために使用することができる。この方法では、固有の構造の特徴の位置が追跡され、位置情報を使用して画像データを矯正するが、他の実施例も記述される。走査装置は、自立型で、バッテリ駆動であることが好ましいが、外部電源、またはコンピュータまたはネットワークへのデータ・ポートへの接続を含むこともできる。

図１の走査装置10は、取り込まれた画像を見ることができるようにする画像ディスプレイ16を含む。しかし、ディスプレイは、走査装置の使用に不可欠なものではない。

ここで図１ないし図３を参照して、走査装置10の前面18は、オリジナル14と画像センサ22の間の適正な接触を保つことを助ける旋回メンバ20を含む。イメージング・センサ22は、画像センサ素子の線形アレイを含む。航行センサ24および26は、イメージング・センサの対向する端に位置する。航行センサ24、26は、旋回メンバ上に搭載され、従って航行センサは、イメージング・センサに対して固定の位置にある。

走査装置10は、３自由度をもち、２つは並進運動であり、１つは回転運動である。第１の自由度は、オリジナル14に沿った横方向の移動(X軸移動)である。第２の自由度は、オリジナルに沿った上下方向の移動(Y軸移動)である。第３の自由度は、オリジナル14の端に対するイメージング・センサ22の回転の位置ずれをもつ装置を操作する能力である。すなわちイメージング・センサ22は、装置の並進運動の方向に垂直でない迎え角(an angle of attack)をもつことがある。

物理的なコンパクト性の理由で、イメージング・センサ22は、接触による画像装置であることが好ましい。しかし、コンパクト性が重要でなかったり、より小さい画像が望まれる適用例では、１より小さい倍率の投影光学部品を使用する複数センサを用いることができる。そのような適用例で、イメージング・センサ22の素子は、より小さくより密接にまとめられなければならない。接触によるイメージング装置は、一般に、ニッポン・シート・グラス・カンパニー(Nippon Sheet Glass Company)の商標SELFOCで販売されているレンズを使用する。一般的ではないが、接触によるイメージングは、イメージング・レンズを用いずに、ソースおよび近接するセンサが交互になったアレイ素子を使用して得ることもできる。従来の、アプリケーションを走査するイメージング・センサを使用してもよい。イメージング・センサは、照明源、照明光学部品および画像転送光学部品を含むユニットの一部でありえる。

イメージング・センサ22は、個々の感光素子の線形アレイとして示される。素子の間隔は、スキャナ10の空間解像度を決定する役目を果たす。例えば、101.6mmの長さをもつ線形アレイは、300dpiの解像度を達成するために1200のセンサ素子を必要とする。センサは、電荷結合素子、アモルファス・シリコン・フォトダイオード・アレイ、または従来技術で知られる線形アレイ・センサの他の任意のタイプでありえる。

イメージング・センサ・ユニットの設計で重要な検討は、スピードである。イメージング・センサ22は、１秒あたり約10Kサンプルで各々のピクセルを撮像できることが好ましい。一般に線形イメージング・アレイは、一連のデータ・ストリームを生成し、そこでピクセル値すなわち電荷は、シフト・レジスタに入れられ、押し出される。所望のスピードを達成するには、画像アレイ全体からの非常に速い連続転送レートが必要である。あるいは、複数のタップを用いることにより、ピクセル値は、より少ないセルをシフトされればよい。これは、デジタル処理に有利である並行処理をもたらす。

スピード要件のもう１つの結果は、オリジナルの表面におけるピクセル面積、および収集され各々のアレイ素子に運ばれる放射光の立体角の積が、100マイクロ秒のオーダーの積分時間で検出できる信号を生成するように十分大きくなければならないということである。改良の選択は、光学素子をセンサに追加して、各々の感光素子が応答するセンサ・ピッチの有効部分を増やすことである。アレイ・マトリックスには、典型的に不使用の面積があるので、そのような光収集光学部品は、感度を高める。

イメージング・センサ22の容易な修正が、カラー画像の検知を可能にする。互いに平行な３つの線形アレイは、各々のアレイが、入射光の赤、緑、青色成分をそれぞれ選択的に通す少なくとも１つの埋め込みフィルタ素子を有し、カラー・イメージングを可能にする。あるいは、広い帯域幅の感光度をもつ１つのアレイが、赤、緑、青色光源によって順次照明されてもよい。

イメージング・センサ22の操作を向上させる照明について、琥珀色波長で高輝度の発光ダイオードの線形アレイを使用することができる。しかし好ましい照明源および任意の光学素子の選択は、オリジナルの媒体に依存する。光の波長は、オリジナル14の所与の面積の走査中に取得されるコントラスト画像データを最大にし、不要な信号を無視するように選択される。照明光学部品は、LEDドーム・レンズから構成することができ、あるいは最小限の光の損失の量でオリジナルへ照明を向ける、精密に成形した光学素子から成る光パイプを備えることもできる。そのような設計は、オリジナルの目標面積の比較的一様な照明を広い角度範囲で供給することができるが、鏡面反射を避けるため、垂直な入射光線は遮る。

図１で、曲りくねったパス12は、４と少しの帯、すなわちオリジナル14を左右に横切る複数パスをもつように示されている。最も都合の良い適用例で有用なイメージング・センサ22は、25.4mmから101.6mmの範囲の長さをもつ。センサ22が63.5mmの長さをもつ場合、A4紙は、４本または５本の帯で走査することができる。以下でより十分に説明されるが、複数の帯は、重複の領域を含まなければならず、従って縫い合わせ処理を使用して、オリジナル画像の忠実な再生をもたらすことができる。

走査装置10は、少なくとも１つの航行センサ24または26を含む。好ましい実施例で、装置は、イメージング・センサ22の対向する端にある一対の航行センサを含む。光電素子の１次元アレイが使用されてもよいが、好ましい実施例で、各々の航行センサは、素子の２次元アレイである。航行センサ24および26は、オリジナル14に対する装置10の移動を追跡するために使用される。

好ましい使用例で、各々の航行センサ24および26は、走査装置10の位置に関連する情報を生成するために、オリジナルの固有の構造に関連した特性に関連する画像を取り込む。ほとんどの従来の走査装置で、固有の構造の特徴は、ノイズとみなされる。図１ないし図３の走査装置10では、そのような特徴は、イメージング・センサ22に関してはノイズであるが、それらを使用して、位置情報を生成するために航行センサ24および26に基準を与えることができる。表面テクスチャの有用な高コントラスト画像は、媒体に固有の、または例えばテキストのような媒体上に形成される構造の変化を検出することによって生成することができる。例えば、画像は、固有の構造の特徴の谷の影およびピークの明るい点の間のコントラストに基づいて形成することができる。そのような特徴は、典型的に微視的であり、多くの場合一般的な印刷された媒体上で大きさが10μmから40μmの間の範囲である。選択として、コヒーレントな光線の鏡面反射が、明暗の領域のコントラスト・パターンを作り出すので、スペックルを使用することもできる。コントラスト情報の第３のソースは、カラーである。カラー・コントラストは、表面テクスチャに依存しない。テクスチャの無い表面を可視光で照明するときであっても、カラー・コントラストが、例えば異なる階調の間のように異なるカラーの領域の間に存在する。

しかし、航行情報がオリジナルの固有の構造に関連した特性に依存しない適用例で、この発明を使用することが考えられる。例えば、図２の航行センサ24および26の一方または両方を、オリジナル上の印刷の連続する画像を形成するために使用することができ、そこで連続する画像の相関関係は、オリジナル14に沿った画像センサ22の位置および向きを決定するために使用される。この実施例では、全ての３つのセンサ22、24および26が、オリジナル上のテキストを撮像するが、センサ22からの信号だけが、画像データを取得するために使用される。航行センサ24および26からの信号は、画像ベースの航行情報を取得ために使用される。

上記の特許文献２の明細書に記述されるように、非イメージング方法を使用して、X、Yおよび角度の位置情報を取得し、処理することができる。残念ながら、代替手段の多くは、コンパクト性、使用の便宜、スピード、運動の自由度、電力消費、正確さ、精度および/または費用に関して色々な制限を加える。位置情報を取得するために利用できる、イメージングに依存しない１つの代替例は、航行センサに代えて、１つまたは複数の符号化ホイールを提供することである。航行情報を取得する別の画像無しの方法は、コンピュータ・マウスのためのものと同様の追跡ボールを使用することである。位置および向き情報を取得するための別の画像無しの方法は、加速度計を提供することである。さらに別の代替方法は、走査される媒体に対して固定である基準座標に対する位置および向きを追跡する、任意の多様な機械的リンケージを使用することである。接触しない遠隔探知を使用して、走査されるオリジナルに対して固定である基準座標に対する走査装置の位置および向きを測定することもできる。

図２の航行センサ24および26は、オリジナル14の画像の移動窓を実際に観察し、連続する観察の間の平面２次元における変位の指示を生成する。以下でより十分に説明されるが、航行センサからのピクセル値は、イメージング・センサ22からの画像データの適正なマッピングを決定するために処理される。特定のピクセルおよびそれに最も近い隣接ピクセルの値を使用して、各々のピクセル位置における相関関係値を生成する。相関関係値は、表面構造の現在の画像と固有の構造の特徴の既知の位置を表す格納された画像との間の比較に基づくものであり、そこで格納された画像は、位置基準としての役目を果たす。しかし、関係付け処理以外の操作を、出力画像を形成するための入力画像データの操作に用いることができる。

ここで図４および図５を参照して、航行センサ24は、照明光学部品と機能的に関連するように示されている。オリジナル14が紙製品であって、その紙繊維が航行センサ24によって検出される場合、光をかすめ入射角(grazing angle of incidence)で導入することが好ましい。必須ではないが、１つまたは複数の発光ダイオード(ＬＥＤ)28を使用することができる。入射角の余角であるかすめ角30は、0度から15度の範囲にあることが好ましいが、これは、オリジナル14の特性に依存して変化する。図５に、ソース28が、照明光学部品34と共に示されている。この光学部品は、１つの素子、またはレンズ、フィルタおよび/またはホログラフィック素子の組合せを含むことができ、適当に視準された、おおむね一様な照明を実現する。ソース28によって放射される光の波長は、航行に利用できる空間周波数の情報を改良するように選択されなければならない。照明領域の中の固定のパターン・ノイズは、最小限にされなければならない。走査装置が、吸収または反射インクまたは他のマーキング剤を用いた印刷された物質の上を進むとき、ソース28の出力は、媒体の反射率の広い動的範囲に対応するための調整を必要とすることがある。

図４で、ソース35からの光は、照明光学部品36で視準され、振幅分割ビーム・スプリッタ37によって再び指向される。ＬＥＤから直接ビーム・スプリッタへ入り、そこを通過して伝送される光エネルギーの部分は、図４には示されていない。ビーム・スプリッタからの光エネルギーは、表面に対する法線に沿ってオリジナル14を照明する。

さらに図４には、オリジナル14から反射されまたは散乱され、ビーム・スプリッタ37を通過する光エネルギーの一部が示されており、それを、素子38で絞ってフィルタリングし、素子39で画像に集束させる。オリジナルからビーム・スプリッタに入り、ビーム・スプリッタから反射する光エネルギーの一部は、示されていない。航行イメージング光学部品の倍率は、集束される光を検出する２次元センサ・アレイ24の視野にわたって一定でなければならない。多くの適用例で、航行光学部品の変調伝達関数すなわち光学的周波数応答の振幅測定は、ナイキスト周波数の前の減衰を与えるようなものでなければならず、航行センサのセンサ素子のピッチおよび光学素子の倍率によって決定される。さらに光学素子は、背景照明がノイズを生成しないように設計されなければならない。波面分割ビーム・スプリッタを使用してもよいことに注意されたい。

入射角の選択は、オリジナルの材料の特性に依存する。照明のかすめ角は、より長い影およびより明るいコントラストを生成し、あるいはオリジナルの表面が光沢でない場合、AC信号を生成する。しかし、照明角度が、オリジナルに対する法線に近づくにつれて、DC信号レベルが増加する。

オリジナル14の目標領域をかすめ角30で照明することは、オリジナルの表面が微視的レベルで高い程度で不均一である適用例の場合に良好に作用する。例えば、オリジナルが便箋、ボール紙、布地または人間の皮膚であるとき、ソース28からかすめ角で光を導入することは、固有の構造の特徴に関連するデータの高い信号対ノイズ比を提供する。他方で、写真、光沢のある雑誌ページおよびオーバーヘッド透明フィルムのようなオリジナルに沿って、位置データがスキャナ移動を追跡する必要がある適用例では、インコヒーレント光を垂直な入射角で使用することが好ましい。インコヒーレント光を使用する垂直な照明の場合、鏡面反射領域の中のオリジナルを見ることは、画像および相関関係ベースの航行を可能にするの十分豊富なテクスチャ内容をもつ画像を提供する。オリジナルの表面は、表面があたかもタイルまたは切り子面のモザイクであるように光を反射するような微視的な起伏をもつ。オリジナルの「タイル」の多くは、法線からわずかに振れた方向に光を反射する。このように、散乱光および鏡面反射される光を含む視野は、まるで表面が多くのタイルから成り、各々のタイルが、法線に対していくらか異なって傾けられるようにモデル化することができる。このモデリングは、「Analysis of Light Scattered from a Surface of Low Gloss into Its Specular and Diffuse Components」(Proc. Phys. Soc.,Vol.51,274-292頁,1939年)というタイトルの文献のW.W.Barkasのモデリングと同様である。

図４は、インコヒーレント光のソース35による照明を示しており、オリジナル14の表面の法線に沿って指向されている。図５は、かすめ角30での照明を示している。更なる選択としては、照明が供給されない。代わりに航行情報は、背景光すなわち周囲からの光を使用して累積される。

また更なる選択として、コヒーレントな照明を垂直な入射角で導入し、スペックル・ベースの航行を可能にする。走査装置とオリジナルとの間の相対的な移動は、航行センサに対するスペックルの移動を監視することによって追跡することができる。イメージング光学部品を使用することなくコヒーレントな照明が使用される場合、照明の小さい面積を選択し、オリジナルの表面と航行センサ24の光検出器との間の比較的大きい間隔をもつことにより、コヒーレントな照明を用いる結果として得られる大多数のスペックル・セル・サイズは、ナイキスト・サンプリング基準を満足するに十分大きい。図４で同様に実現されるように、ビーム・スプリッタの使用は、入射照明および検出される散乱の両方の方向が、オリジナルの表面に対する法線に近づくことを可能にする。

図６を参照して、スキャナ10は、オリジナル44を横切って動かされるように示されており、オリジナルの表面上にはブロック46が印刷されている。スキャナ10は、オリジナルの平面で移動の制約を受けないので、ユーザは、ユーザの手および前腕が肘を軸に回転するときのように、オリジナルを横切って曲線のパスをたどる傾向がある。図６で、走査装置は、ブロック46を横切って曲がったパス48をたどるように示されている。走査装置の下端が、回転の軸を定義する肘に近いほうの端である場合、下端は、より短い半径を持つ。従って、イメージング・センサのイメージング素子は、ブロック46を通過するのに必要とされる時間および距離に関して変化する。装置が、破線で示される第２の位置52の方へ動かされるとき、ブロックの歪められた画像50が取り込まれる。

取り込まれた画像50は、以下に示される処理がない場合に格納される画像である。しかしイメージング・センサがブロック46に関連するデータを取り込むとき、航行情報が取得される。記述される実施例で、１つまたは複数の航行センサが、オリジナル44の固有の構造の特徴に関連するデータを取り込む。走査装置10に対する固有の構造の特徴の移動を追跡して、ブロック46に対するイメージング・センサの変位を決定する。従って、センサ・データおよびセンサ位置検出器データの両方が取り込まれ、それらを合わせて使用して、高い忠実度の取り込まれた画像54を形成することができる。画像54は、ここでは「矯正された」画像と定義される。この発明に従う方法が関連する矯正の処理は、以下でさらに詳しく述べられる。

図７に、航行処理の１つの実施例が示されている。航行処理は、固有の構造の特徴に関連するデータのような航行情報の連続するフレームを関係付けることによって実施される。関係付けは、連続するフレーム内の固有の構造の特徴の位置を比較し、特定の時間における航行センサの位置に関連する情報を提供する。そして航行情報を使用して、画像データを矯正する。図７の処理は典型的に、各々の航行センサについて実施される。

第１のステップ56で、基準フレームが取得される。事実上、基準フレームが開始位置である。後の時間に航行センサから位置データのサンプル・フレームを取得し(58)、基準フレームと後から取得したサンプル・フレームとの間の相関関係を計算する(60)ことによって、後の時間の航行センサの位置を決定することができる。

最初の基準フレームの取得(56)は、イメージング処理の起動時に行うことができる。例えば取得は、単に走査装置をオリジナルと接触させることによってトリガすることができる。代わりに、走査装置は、画像処理および航行処理を起動する開始ボタンを含んでもよい。起動は、各々のナビゲータの照明システムが周期的にパルスを打つことによって行うこともできる。反射の定められた閾値を越える信号、または移動を示す相関関係信号がある場合、基準フレームが取得される。

航行処理は計算で実施されるが、この実施例の概念を、図７および図８に関して説明することができる。基準フレーム62は、Ｔ字型の固有の構造の特徴64の画像を持つように示されている。基準フレームの大きさは、走査装置の最大走査スピード、構造の特徴のイメージングにおける支配的な空間周波数、およびセンサの画像解像度のような要因に依存する。32ピクセル(N)x64ピクセル(M)の航行センサの場合基準フレームの実際的な大きさは、24x56ピクセルである。

後の時間(dt)に、航行センサは、フレーム62に対してずれているサンプル・フレーム66を取得するが、実質的に同じ固有の構造の特徴を示す。持続時間dtは、T字型の特徴64の相対的なずれが、走査装置の並進運動の速度で航行センサの１ピクセルより小さく設定されることが好ましい。600dpiで速度が0.45メートル/秒である場合、許容できる時間は50μ秒である。この相対的なずれは、ここでは「マイクロステップ」という。

走査装置が、基準フレーム62を取得する(56)時間と、サンプル・フレーム66を取得する(58)時間の間に移動した場合、T字型の特徴の第１および第２の画像は、特徴がシフトされたものになる。好ましい実施例で、dtは、完全な１ピクセルの移動を許す時間よりも短いものであるが、図８の概略図では、特徴64は、上と右に１ピクセルずつシフトすることが許されている。ここで単に図を分かり易くするために、完全な１ピクセルのシフトが仮定される。

図８の素子70は、フレーム68のピクセル値の８つの最も近い隣接ピクセルへの連続するシフトを表す。すなわち、ステップ「0」は、シフトを含まず、ステップ「１」は、上方および左方への斜めのシフトであり、ステップ「２」は、上方へのシフト、などである。このように、１ピクセルづつシフトされたフレームは、サンプル・フレーム66と組み合わされて、位置フレームのアレイ72を生成することができる。「位置0」と指定される位置フレームは、シフトを含まないので、結果は、単にフレーム66と68の組み合わせである。「位置3」は、影付けされたピクセルの最小の数をもつので、最も高い相関関係をもつフレームである。関係付けの結果に基づいて、サンプル・フレーム66の中のT字型の特徴64の位置は、前に取得された基準フレーム62の中の同じ特徴の位置に対して斜めの右方および上方への斜めのシフトであると判断され、それは、走査装置が、時間dtの間に左方および下方へ移動したことを意味する。

他の関係付け方法を使用してもよいが、受け入れられる方法は、「二乗された差の合計」の関係付けである。図８の実施例で、要素70における９つのオフセットに基づいて形成される９つの相関係数(Ck = C0,C1 ... C8)があり、その相関係数は、次式によって決定される。

C_k = Σ_iΣ_j(S_ij - R(_ij)+k)²

ここで、S_ijは、サンプル・フレーム66の位置ijにおける航行センサの測定値を表す。R_ijは、要素70でk方向にシフトされるときのフレーム68における航行センサの測定値を表し、kは、要素70におけるシフトの識別子である。図８で、k=3は、最小値をもつ相関係数を与える。

関係付けは、フレームからフレームへの特徴の変位を決定するため、連続するフレームの中の同一の特徴の位置を見つけるために使用される。これらの変位を合計し、または積分し、関連する光学部品の設計から生じるスケールファクタについて修正することによって、走査プロシージャが進行するとき、イメージング・センサの変位を決定する。

前に述べたように、フレーム・レートは、変位が１ピクセルの寸法を越えないように十分に高く選ばれるので、フレームからフレームへの関係付けを、「マイクロステップ」とよぶ。過大サンプリングは、サブピクセル変位精度を与えることができる。図７を参照して、マイクロステップが取られるべきかどうかの判断(74)は、関係付けの各々の計算(64)の後に行われる。マイクロステップが必要である場合、ステップ76で基準フレームがシフトされる。このステップで、図８のサンプル・フレーム66が、基準フレームになり、新しいサンプル・フレームが取得される。それから関係付けの計算が、繰り返される。

処理は、高度な相関関係の合致を提供するが、サンプル・フレーム66の基準フレーム指定という各々の連続するシフト(76)とともに、生じるエラーもまた累積する。この「ランダム・ウォーク」の成長レートに対して規制を設けるため、サンプル・フレームは、別のバッファ・メモリに格納される。この別に格納されるサンプル・フレームが、続いて起こる一連の関係付け計算のための新しい基準フレームになる。後者の関係付けを、「マクロステップ」とよぶ。

マクロステップを使用することによって、m画像フレーム変位すなわちmマイクロステップの距離を横断するスキャナの変位のより高精度な判断を得ることができる。１マクロステップの中のエラーは、１つの関係付け計算の結果であり、一方mマイクロステップの同等のエラーは、１マイクロステップのm^1/2倍のエラーである。mマイクロステップの中のエラーの平均は、mが増加するにつれてゼロに近づくが、エラーの平均の標準偏差は、m^1/2と大きくなる。このように、マクロステップを定義する２つのフレームが、共通の画像内容の重要な領域をもたなくなるほど互いに遠く離れない限り、実際と同じmの大きさをもつマクロステップを使用することにより、累積されるエラーの標準偏差を減少させることは有利である。

サンプリング期間dtは、一定である必要はない。サンプリング期間は、前の測定の関数として決定することができる。変数dtを用いる１つの方法は、ある境界の中の連続する基準フレーム間の相対変位を持ち続けることにより、変位計算の正確さを高めることである。例えば、上限は、１ピクセル変位でありえるが、下限は、航行データの処理の中の数字の丸めの検討によって決定される。

図９を参照して、イメージング・センサ22で生成される画像信号に、航行データに基づく位置タグを付すことができる。１つの実施例で、航行センサ24および26からのピクセル値は、図７および図８の操作を実施するために航行プロセッサ80によって受信される。計算された相関関係に基づいて、座標が、第１の航行センサ24と第２の航行センサ26の現在位置について決定される。

１マクロステップの中で、航行プロセッサ80は、各々の航行センサの運動の並進成分を直接的に回復させる。両方の航行センサからのデータは、走査ヘッドのあらゆる回転も考慮に入れる絶対位置推定を得るように、積分されなければならない。プロセッサ80は、その最初の向きを基準とした走査ヘッドの現在の向きのモデルを保持する。各々の航行センサの並進運動の個々の推定が、このモデルに関して解釈される。スキャナ・モデルの向きは、それ自体が周期的に更新される。

１つの実施例で、各々の航行センサのマクロステップは、同期されるので、航行センサ・プロセッサ80が、一方の航行センサの中の１マクロステップを必要とする場合、他方の１マクロステップもトリガする。これは、各々の航行センサによって記録された並進運動の解釈を単純化する。マクロステップTで、スキャナの向きが、垂直からθ度である場合、各々の航行センサのマイクロステップ内の記録される並進運動は、以下のように解釈される。

図１０は、１対としての航行センサの移動を示している。各々について、スキャナの向きを示す座標フレームに関する並進運動(図中で単位ベクトルがuおよびvで示されているが、この明細書中では便宜上uおよびvと示す)が記録されている。これらは、第１および第２の航行センサについてそれぞれ大きさ(u1,v1)および(u2,v2)をもつ。目的は、これらの並進運動を解釈して、包括的な座標フレームに関する航行センサの更新された位置を与えることである。本質的に、そのピース様(piece-wise)の線形近似からパスを復元する。ここで、線形セクションの大きさは、マクロステップのサイズによって決定される。

各々の単位ベクトルは、以下の標準の三角関数により、スキャナの向きθに関係する。

v =(sinθ, cosθ)
u =(cosθ, -sinθ)

しかし、uおよびvの推定は、計算上の費用のかかる三角法による計算を行わずに保持することができる。

図１０で、P1およびP2は、包括的なフレームに関する、マクロステップの開始における航行センサ位置を表し、それぞれ値(x1,y1)および(x2,y2)をもつ。同一の包括的なフレームに関する更新された位置は、いくつかの航行センサ・フレームの後、P1'およびP2'によって与えられ、それぞれ値(x1',y1')および(x2',y2')をもつ。

(正確な積分を実施するために仮定する)範囲で、各々の航行センサの並進運動のv成分は、同一でなければならない(ずれ(shear)は、各々の端部に等しく作用し、その範囲で、回転は、v成分を全く生じさせない)。それゆえ、v1およびv2を、それらの平均値に設定することができる。

v= (v1 + v2)/2

この場合、更新される端点位置は、次式で与えられる。

P1' = P1 + u1u + vv および P2' = P2 + u2u + vv

ここで、個々の航行センサではなく画像センサの物理的な端点との対応について位置推定を並進させることも便利である。これは、航行および画像センサの物理的な位置に関連する較正データを使用して行われる。簡単にするため、端点位置は、画像センサの最初および最後のセンサ素子の中心に一致するように作られる。

周期的に、慣性フレームは更新されなければならない。これは、１つのマクロフレームの終点で、または次の始点で行われるだけでよい。それは、マクロステップが同期されることを必要とする。すなわち、１つの航行センサが、マイクロステップの最大数を越えているので、新しいマクロステップをトリガする場合、マクロステップは、たとえ全体を通して動かないままであっても別の航行センサの中でもトリガされなければならない。経験される最大の回転が、航行センサの間の基準線で分割されるマイクロステップの最大数より常に小さくなければならないので、この方法は、航行フレームの回転が常に小さいという追加の特長を持つ。

慣性フレームを更新することは、スキャナの運動の失われた回転成分を加え戻すという効果がある。これは、個々の航行センサの並進運動の差分から必然的に決定される。慣性座標フレームは、運動の回転成分をあからさまに計算するのではなく、スキャナの主要な軸(航行センサ位置を結ぶ線)との関係から更新される。慣性フレームのv軸は、航行センサ１から航行センサ２へ行く主要な軸に沿った単位ベクトルであり、u軸は、それに直交する単位ベクトルであり、2D基準を完成する。

vについて更新される値は、次式で与えられる。

v' =(v'_x, v'_y) = (P2'-P1')/|P2'-P1'| = (P2'-P1')/D

そして直交ベクトルuは、次式で与えられる。

u'= (v'_y, -v'_x)

長さ|P2'-P1'|は、スキャナの一定の長さ(モジュロ航行エラー)であり、図１０でDと付されている。これは、各々のマクロステップについて平方の合計の平方根を計算する必要を避けるので、慣性フレームの計算を大いに単純化する。

さらに航行プロセッサ80は、イメージング・センサ22のNピクセル値を、ピクセル増幅器82およびアナログ・ディジタル変換器84を介して受信する。図9は、画像センサ22および１つのA/Dコンバータ84からの１つのタップしか示していないが、各々がA/Dコンバータをもつ複数のタップも、この発明に含まれる。現在の位置座標が、イメージング・センサ内の多数のピクセルに対応する１データ・ラインの端部に「タグ付け」される。従って航行プロセッサ80の出力86は、位置タグを付されたデータ・ストリームである。

航行プロセッサ80は、イメージング・センサ22からのピクセル・データ、および航行センサ24,26からの位置情報を、同じフレーム・レートで受け取る必要はない。位置データのストリームは、線形センサの端点の位置の推定を更新するために使用することができ、一般に、線形センサ・アレイのピクセル・ピッチよりも高い空間解像度である。最も速く移動する端部が、線形センサアレイ自体のピクセル・ピッチよりも小さい量でサンプリングされるように、線形画像センサの最適クロッキング周波数は、一般に、スキャナの移動のレートによって決定される。さもないと、過大サンプリングまたは過小サンプリングのどちらかが結果として生じる。過大サンプリングは、増加する計算およびデータの処理の要求を引き起こし、画像処理パイプラインに沿った画質の改善がほとんどまたは全くない。一方、過小サンプリングは、画質の確実な低下をもたらす。

１つの解法は、常に過大サンプリングを生じさせる固定の周波数で、線形センサをサンプリングすることである。すなわち、それは、最速の可能な走査スピードのサンプリング要求を越える。スキャナが、最大走査スピードよりも遅く移動する場合、不要なサンプルは、現在の端点位置推定に基づいて、航行プロセッサによって捨てられる。すなわち、線形センサ・サンプルおよびタグ付けされた位置データの有効なインクリメントが航行プロセッサ80から最後に出力されて以降の各々の端点の相対位置の大きさを使用して、更なるインクリメントの出力をゲート制御する。最も単純な方法は、一方または他方の大きさが、ピクセル・ピッチ(またはその有効な何分の一)にちょうど等しいまたは越えるときだけ、出力を許可することである。この方法は、特に最大走査スピードより遅く走査するとき、過小サンプリングを引き起こしやすい。別の選択として、過小サンプリングを妨ぐために、次の線形センサ・サンプルの相対的な端点位置の予測が、ピクセル・ピッチを越える場合、現在のサンプルを出力することができる。ここで予測は、端点位置の変化のレート(またはより高次の数値的な導関数)に基づく。さらに過小サンプリングを妨ぐ第３の方法は、現在のインクリメントの相対位置データがピクセル・ピッチを越える場合に前のインクリメントを伝送することができるように、インクリメント・バッファを航行プロセッサ80に導入することである。

上記のサンプリング方法の各々は、同期サンプリングに基くものであり、一般に、ある程度の過大または過小サンプリングを引き起こす。理想的な空間サンプリングをより厳密に達成するより良い全体的な解決策は、航行プロセッサ80が、線形センサ取り込みを非同期でトリガすることである。１つの方法は、最後の有効な取り込み(またはその未来予測)以降の相対的な端点位置を使用して、線形センサの取り込みおよびサンプリングをトリガする時間の最善の点を直接特定することである。

図１１aに、その並びは本質ではないが、データ・ストリームの１つのインクリメント88が、Nピクセル・セルの対向する端に位置座標セル90、92、94および96をもつように示されている。

走査装置がオリジナルを横切って移動するとき、イメージング・センサ22が、クロックされる。上述したように、クロッキングは、最も速く移動するセンサの素子が、１ピクセル変位あたり少なくとも１回サンプリングすることを保証する。

航行プロセッサ80の出力86時の位置タグを付されたデータ・ストリームは、図１１bに示されるようにバッファされる。バッファBは、図１１aのインクリメント88の多数を保有する。バッファBを使用して、全体の走査を受け入れることができ、その場合データ圧縮を使用することができる。このデータは、上述されたように、直線的座標にマッピングされ、この発明に従う方法に従って最終の矯正された復元された画像を形成する。

図１２は、直線的画像バッファ100によって提供される高さHピクセル、幅Wピクセルの座標フレームを示し、そこにインクリメント88のストリームがマッピングされ、最終の直線的画像を形成する。適当なデータ・タイプの(ここでは８ビット・グレースケールであるが、同等に２４ビット・カラーまたは１ビット・バイナリであってもよい)単純な２次元アレイは、直線的画像の表現として十分である。各々のインクリメントに関連する位置タグのXおよびY座標は、直線的画像空間の水平および垂直次元(列および行の目盛り(indices))に対応する。さらに、インクリメントのストリームに関連する線形画像センサの各々の端点について、位置タグの奇跡が示されている(右側に短い区間を断片的に拡大して示す)。これらの中で、一対のインクリメント(インクリメント#1およびインクリメント#2)は、それらの位置タグを直線で結ぶことによって強調されている。これらは、走査が戻ってそれ自体に重なる重複領域でほぼ交わるように選ばれる。

直線的画像バッファの解像度は、スキャナ(典型的に200または300dpi)から要求される出力解像度によって決定されるが、端点位置データが測定される解像度とは異なってよい。それは、(航行中に撮像される例えば紙繊維の特徴のような空間の程度に依存する)航行センサ24の解像度によって決定される。そのような差に対処するために、端点位置データは、出力ピクセル解像度にスケーリングされる必要がある。

次の操作は、帯の中の位置タグを付された画像インクリメントを、直線的画像バッファ100にマップすることである。十分な画像が維持されることがこの処理において特に重要である。１つの方法は、単に、端点位置の間に引かれる直線が通る各々のインクリメント内の素子を、直線的画像アレイのピクセルにマップすることである。マッピングは、各々の画像ピクセルについて最も近接する直線センサ素子に対するものであってもよく、センサ素子間の補間を含んでもよい。この状況の適用のための適当な線形または立方体の補間方法は、Wolbergの「Digital Image Warping」(pp127-131,IEEE Computer Society Press,Los Alamitos,CA,1992)の中で述べられている。

各々のインクリメントは別個の影響をもつので、このように矯正を実施することは、必然的にサンプリング・アーティファクトを引き起こす。さらに、実際には、位置タグを付された画像データのオリジナルの帯は、直線的ピクセル・グリッドに関してあくまでも過大サンプリングされる必要がある(便宜上線形センサ自体のピクセル・ピッチよりも高い空間解像度でありえる)。さもないと、ピクセルの脱落が、直線的画像内に生じる。これらの問題は、この発明に従う方法の実施例で解決される。

この発明によって提供される解決法が、図１９に示される。この図で、一対のインクリメントI1およびI2の端点位置は、１つの領域を定義している。これらのインクリメントは、連続する１対の線形センサ読取りであってもよく、連続した読取りの使用は、ここでペア様(PAIRWISE)方法とよぶ。選択として、インクリメントI1およびI2は、センサ・インクリメントのより大きいグループの境界となる対であってもよく、そのようなインクリメントの使用は、チャンク様(CHUNKWISE)方法とよぶ。チャンク様方法では、ペア様方法と比較して、画質のわずかな低下を犠牲にして、インクリメントのグループを一斉に処理することから得られる計算上の利点がある。

直線的アレイの中のピクセル位置は、整数位置に関連する。一対のインクリメントによって定義される領域内の各々のそのようなピクセルに関して、強度値が、その周りの領域にマップする多数の線形センサ・ピクセルを積分することによって計算される。ある好ましい実施例で、双線形(bilinear)補間の多様な形式を使用して、ピクセル位置をまたぐ１対の連続するインクリメントから得られる特定の４つの線形センサ・ピクセルを積分する。そのうち２つのセンサ・ピクセルは、直線的アレイ・ピクセルの一方の側に位置する線にマップするインクリメントからであり、更なる２つのセンサ・ピクセルは、直線的アレイ・ピクセルの反対側の線にマップする隣接インクリメントからである。

図１９に、一対のインクリメントI1およびI2が、走査された画像を定義する直線的アレイの一部にマップされるように示されている。分かり易くするため、端点位置P1、P2およびP1'およびP2'は、それぞれインクリメントI1およびI2の最初と最後のセンサ素子の中央に一致するように作られる。A1、A2およびB1、B2のような中間センサ素子も示されている。直線的画像アレイの中のピクセル位置は、端点位置の幾何配列に関する整数位置に一致するよう選ばれる。出力される直線的画像の解像度は、線形画像センサのそれと同一でないことがある。しかし、実際の解像度に関係なく、Nセンサ・ピクセルは、各々のインクリメントの端点を結ぶ線に沿ってマップする。説明を簡潔にするため、図１９で、N=8、すなわち各々の線形センサは、その中にちょうど８つの素子をもち、各々のインクリメントの長さは、出力される直線的ピクセル解像度ユニットで測定されるとき、線形センサのピクセル・ピッチのN-1=7倍である。

インクリメントの１つの境界対によって定義される領域内に位置する特定のピクセルは、各々の直線的画像行の２つのインクリメントとの交点のx成分によって与えられる間隔から特定することができる。１つの例が、図１９の直線的画像行D上のピクセルC1およびC2によって与えられる。単純な幾何から、インクリメントI1が、端点座標(x1,y1)および(x2,y2)をもつ場合、整数値yDをもつ行Dとの交点のx座標は、次式で与えられる。

xD=(yD-y1)*(x2-x1)/(y2-y1)

行D+1との交点は、次式で与えられる。

x(D+1)= xD + (x2-x1)/(y2-y1) = xD + xInc

ここでxIncは、各々の連続する行について、一定のインクリメントである。同様に、インクリメントI2が、端点座標(x1',y1')および(x2',y2')をもつ場合、整数値yDをもつ行Dとの交点のx座標は、次式で与えられる。

xD'= (yD-y1')*(x2'-x1')/(y2'-y1')

行D＋1の交点の場合、次式のようになる。

x(D+1)'= xD' + (x2'- x1')/(y2'- y1') = xD' + xInc'

これは、各々の行について交点の範囲を計算する計算上な効果的な方法を提供する。現在の行との交点は、前の行との交点を単にインクリメントすることによって計算される。

最初に、領域内に位置する行の範囲を指定しなければならない。これは、両方のインクリメントに共通の整数y値の範囲によって与えられる。これらが、以下の範囲の中の整数値である。

[Ceiling(Max(y1, y1')), Floor(Min (y2, y2'))]= [Y1, Y2]

ここで、紙に対するスキャナの向きは、ほぼ垂直を維持すると仮定する。この方法は、スキャナがページに対して任意の向きにあること可能にするよう、容易に拡張することができる。例えば、スキャナが反転される場合、線形センサ・データを逆にし、端点位置データの極性を逆にすることができる。さらに、スキャナの角度が法線から45%以上なす場合、正しい矯正は、x/y位置座標および画像の行および列の極性を逆にすることによって達成することができる。説明を分かり易くするため、実施例の記述はほぼ垂直な場合のみを扱うが、上述された一般的なケースへの拡張が、当業者には明らかである。

領域内の活動ピクセルは、以下の疑似コードを使用して特定することができる。

表１

TRANSFORM LOOP 1
{
//INITIALISATION
y=Y1
xInc=(x2-x1)/(y2-y1)
xlnc'=(x2'-x1')/(y2'-y1')
xD=x1+(y-y1)*xInc
xD'=x1'+(y-y1')*xInc'
//MAIN LOOP
while (y<=Y2)
{
[X1,X2] = [Ceiling(xD),Floor(xD')]
x=X1
//INNER LOOP
while (x<=X2)
VISIT PIXEL (x,y)
xD +=xInc
xD'+=xInc'
y++;
}
}

演算子のfloorおよびceilingは、それらの通常の数学的解釈をもつ。初期化および内部ループの実際の詳細は、以下に記述される異なる方法で独特のものである。示されるTRANSFORM LOOPの実施例の説明を簡潔にするため、xDは常にxD'より小さいと仮定される。各々の行上のxDおよびxD'のオーダーを検査することによって、これを一般的なケースに拡張することは簡単である。

次のステップは、どの線形センサ・ピクセルが、各々の直線的グリッド・ピクセルにどの割合で寄与するかを決定することである。ここで、ペア様方法の第１の実施例を述べる。この発明に従う方法のペア様方法の実施例の中で、矯正は、コンピュータ・グラフィックス・テクスチャ・マッピングに使用されるような逆(inverse)マッピングに基づく(例として上で参照されたWolbergの188ページを参照)。インクリメントI1およびI2の端点位置を結ぶ２つの線によって範囲を定められる間隔の中の各々のピクセルは、インクリメントの対自体の間に定義される座標空間の中のサブピクセル位置にマップされ戻される。この状況は、図２０に示されている。そこで、図１９の直線的画像にマップされるように示されるインクリメントI1およびI2の対は、簡単なインクリメント空間を定義する。それは、単位が線形センサ・ピクセル空間であり、インクリメントがy軸と一直線に並び、インクリメントが単位ピクセル離れて配置されるという空間である。この空間の中で、左側のインクリメントの最上部のセンサ素子は、座標(0,0)をもつ。

直線的画像からのピクセルC1は、インクリメントI1とI2の間にマップされるように示されている。それは、サブピクセル座標(x,Y.y)をもつ。ここで、Yは、インクリメントに沿った座標の整数成分であり、xおよびyは、サブピクセル・オフセットである。表示するピクセル値は、４つの周りのピクセルの双線形補間を使用して決定することができる。すなわち、以下のようになる。

BiLinear(I1,I2,Y,y,x)= I1[Y]*(1-x)*(1-y)+I2[Y]*(1-y)*x
+ I1[Y+1]*(1-x)*y+I2[Y+1]*x*y

直線的画像から、インクリメントの間の空間への変換の最善の近似は、あらゆるピクセルについて二次方程式の解を含む。これは、含まれる計算費用のため、満足のいく実際的な解法ではない。直線的画像座標から一対のインクリメントによって定義される座標空間への近似的な同次線形マッピングを導くことできるが、非同次解法が好ましい。そのような非同次解法を用いれば、局所的な変換の性質に関する仮定は必要でない。また、インクリメントの隣接する一対の射影が、直線的画像空間内の交差を含むときのような角のケースを容易に解くことも可能である。

このような同種でない方法で、異なるマッピングが、間隔[Y1,Y2]の中で、直線的画像のそれぞれの行について定義される。これは、再びその行と端点位置を結ぶ線との交点から決定される。この場合、その線自体に沿った交点の距離が、回復される。これは、解像度の差のために必要とされる任意のスケーリングの後、線形センサに沿った物理的な位置に一致する。図２０で、aDおよびaD'は、直線的行Dについて、それぞれインクリメントI1およびI2に沿った交点である。簡単な幾何から、次式が与えられる。

aD= (yD-y1)*(N-1)/(y2-y1)
および
aD'=(yD -yl')*(N -1)/(y2'-y1')

行D+1との交点について、次式が与えられる。

a(D+1)= aD + (N-1)/(y2-y1) = aD + aRowInc
および
a(D+1)'= aD' + (N-1)/(y2'-y1') = aD + aRowInc'

これは、効率的な連続(serial)実現について、各々の連続する行について単純な循環(recurrence)関連を与える。

間隔[X1,X2]の中の行Dに沿った直線的画像の中の各々のピクセルは、(0,aD)および(1,aD')の２つの交点をそれぞれ結ぶインクリメント空間の線に沿った異なる点にマップする。この行に沿って線形マッピングを仮定すると、直線的画像の中の位置(xE,yd)のピクセルは、インクリメント空間の位置(aE,bE)にマップする。ここで、次式が与えられる。

aE=aD+(xE-xD)*(aD'-aD)/(xD'-xD)
および
bE=(xE-xD)/(xD'-xD)

再び行Dに沿った次のピクセルについて、以下のようになる。

a(E+1)= aE + (aD'-aD)/(xD'-xD) = aE + aInc
および
b(E+1)= bE + 1/(xD'-xD) = bE + bInc

ここで、(aE,bE)における強度は、双線形補間によって決定される。

TRANSFORM LOOPの追加の初期化および修正される内部ループは、以下のようになる。

表２

TRANSFORM LOOP 2
{
//INITIALISATION
y=Y1
xInc=(x2-x1)/(y2-y1)
xInc'=(x2'-x1')/(y2'-y1')
xD = x1+(y-y1)*xInc
xD' = x1'+(y-y1')*xInc'
aRowInc = (N-1)/(y2-y1)
aRowInc' = (N-1)/(y2'-y1')
aD = (y-y1)*aRowInc
aD' = (y-y1')*aRowInc'
//MAIN LOOP
while (y<=Y2)
{
[X1,X2] = [Ceiling(xD),(Floor(xD')]
x =X1
aInc = (aD'-aD)/(xD'-xD)
bInc = 1/(xD'-xD)
a = (x1-xD)*aInc
b = (x1-xD)*bInc
//INNER LOOP
while (x<=X2)
{
A = Floor(a)
pixel[y][x] = BiLinear(I1,I2,A,a-A,b)
a+=aInc
b+=bInc
}
xD+=xInc
xD'+=xInc'
aD+=aRowInc
aD'+=aRowIInc'
y++;
}
}

また、より直接的な幾何的解釈をこの発明に従う方法の他の実施例で使用して、ペア様の直線的ピクセル補間を実施することもできる。そのような方法は、インクリメント座標空間の中へ戻す、直線的画像ピクセルの明示的なマッピングを必要としない。

逆射影方法に関する計算の必要が低減された、特に単純な１つの実施例は、各々のインクリメントに沿った補間を実施し、直線的画像にこれらの値を直接補間することである。図２１は、インクリメントの端点を結ぶ線の各々に沿った、補間されたピクセル位置を示す。前と同様に、交点は、直線的グリッド内のzDおよびzD'として示される、インクリメントを構成する線形センサ・ピクセル内の位置aDおよびaD'にある。線形補間は、これらの交点で、以下のように「ピクセル値」vDおよびvD'を与える。

vD= I1[A]*(1-a) + I1[A+1]*a
および
vD'= I2[A']*(1-a')+I2[A'+1]*a'
ここで
A =Floor(aD) および A' = Floor(aD')
および
a = aD-A および a'= aD'-A'

次に、[X1,X2]の範囲の行D上の直線的グリッド画像の各々の整数ピクセルは、これらの補間されたインクリメント・ピクセルの間に補間される。例えば、位置xEでのピクセルは、以下のような強度値vEを割り当てられる。

VE = (vD*((xD'-xD)-(xE-xD)) + vD'*(xE-xD))/(xD'-xD)

再び行Dに沿った次のピクセルの場合、次のようになる。

v(E+1)= vE + (vD'-vD)/(xD'-xD) = vE + vInc

これは、連続する(serial)実現の中で利用される。この方法の場合、TRANSFORM LOOPは、以下のようになる。

表３

TRANSFORM LOOP 3
{
//INITIALISATION
y =Y1
xInc=(x2-x1)/(y2-y1)
xInc'=(x2'-x1')/(y2'-y1')
xD= x1+(y-y1)*xInc
xD'= x1'+(y-y1')*xInc'
aRowInc = (N-1)/(y2-y1)
aRowInc'= (N-1)/(y2'-y1')
aD =(y-y1)*aRowInc
aD'= (y-y1')*aRowInc'
//MAIN LOOP
while (y<=Y2)
{
[X1,X2] = [Ceiling(xD),Floor(xD')]
x = X1
A = Floor(A)
a = aD -A
vD= I1[A]*(1-a) + I1[A+1]*a
A'= Floor(A')
a' = aD'-A'
vD' = I1[A']*(1-a')+I1[A'+1]*a'
vInc= (vD'-vD)/(xD'-xD)
v = VD + (X1-xD)*vInc
//INNER LOOP
while (x<=X2)
{
pixel[y][x] = v
v+=vInc
}
XD+=xInc
xD'+=xInc'
aD+=aRowInc
aD'+=aRowInc'
y++
}
}

内部ループは、計算費用のほとんどが費やされるところであるが、TRANSFORM LOOP２内よりもTRANSFORM LOOP３内のほうが非常に単純であることに注意されたい。より大きい正確さのために計算費用を増やして、より高いオーダーの補間を使用することもできることに留意すべきである。

より良い画質は、増加する計算を犠牲にして、各々の直線的画像ピクセルをインクリメントの各々の上の最も近接する点にマップすることによって実現することができる。これらは、(線形センサに沿った)その補間される強度が、検討されている直線的ピクセルの強度を最も良く反映する、インクリメント上の点である。補間されるインクリメント強度値の対は、そのピクセルについて最善の表示の強度を与えるように、再び線形補間を使用して組み合わせられる。この場合、図２１とは異なり、インクリメント上の補間される点および直線的画像ピクセルは、必ずしも直線上に位置するわけでないことに留意する必要がある。

各々のインクリメント上の最も近い点は、直線的画像ピクセルから、端点位置を結ぶ線の上に垂線をおろすことによって与えられる。この点は、対応する線形センサ素子位置にスケーリングされる。図２２は、それぞれインクリメントI1およびI2に沿った位置aPおよびaP'における最も近接する点を示し、それらは、直線的グリッドに関してzPおよびzP'で示される。

x位置xEをもつ行D上のピクセルのインクリメントI1に沿った垂直な射影の点のaD(インクリメントと直線的画像行Dとの交点)からの、(線形センサ素子ユニットの)オフセットoE'は、以下のように与えられる。

oE= (xE-xD)*((x2-x1)/SensorLength)*((N-1)/SensorLength)
oE= (xE-xD)*(x2-x1)*(N-1)/SensorLength²
ここで、
SensorLength²= (x2-x1)²+ (y2-y1)²

x位置xE+1をもつ行Dに沿った次のピクセルのオフセットは、以下のように与えられる。

o(E+1)=(xE+1-xD)*(x2-x1)*(N-1)/SensorLength²
o(E+1)=oE + (x2-x1)*(N-1)/SensorLength²
o(E+1)=oE +oInc

x位置xEをもつ行D上のピクセルのインクリメントI2に沿った射影の点のaD'(インクリメントと直線的画像行Dとの交点)からの(線形センサ素子ユニットの)オフセットoE'は、以下のように与えられる。

oE'=(xE-xD')*((x2'-x1')/SensorLength')*((N- 1)/SensorLongth')
oE'=(xE-xD')*(x2'-x1')*(N- 1)/SensorLength'²
ここで、
SensorLength'²= (x2'-x1')² + (y2'-y1')²

x位置xE+1をもつ行Dに沿った次のピクセルのオフセットは、以下のように与えられる。

o(E+1)'=(xE+1-xD')*(x2'-x1')*(N-1)/SensorLength'²
o(E+1)'=oE'+(x2'-x1')*(N-1)/SensorLength'²
o(E+1)'=oE'+oInc'

明らかに、SensorLengthは、SensorLength'に等しく、走査の間一定のままである。

オフセットを行の交点位置に加えることは、各々のインクリメントについて検討されているピクセルに最も接近したセンサ位置を与える。すなわち位置(yD,xE)の場合は、以下の通りである。

aP=aD+oE
および
aP'=aD'+oE'

線形センサ・ピクセル間の補間は、それぞれインクリメントI1およびI2上のこれらの点について強度値vPおよびvP'を与える。

vP= I1[A]*(1-a) + I1[A+1]*a
ここで
A =Floor(aP) および a = aP-A

vP'= I1[A']*(1-a') + I1[A'+1]*a'
ここで
A'= Floor(aP') および a' = aP'-A'

最終の補間されたピクセル値を与えるために、vPおよびvP'の組合せについて係数の選択肢をもつ。１つの可能性は、それぞれのインクリメントに下ろされる垂線の長さの使用である。計算を簡潔にするため、２つのインクリメントとの交点に基づく、行Dに沿った検討されているピクセルの相対的なx変位が、好ましい。インクリメントI1の場合、これは、値(XE-XD)をもち、インクリメントI2の場合、それは、値(xD'-xE)をもつ。xの全体の範囲が(xD'-xD)と与えられる場合、このピクセルの補間された強度は、次のようになる。

v =((xD '-xE)*vP+(xE-xD)*vP')/(xD'-xD)

次に、直線的マッピングのチャンク様方法を用いる、この発明に従う方法の更なる実施例を示す。チャンク様方法は２つの利点をもつ。TRANSFORM LOOPの適当なバージョンの外部ループは、頻繁には計算されず、より多くの出力ピクセルが、順次にアクセスされ、改善されたメモリ帯域幅を直接(キャッシュの必要なく)もたらす。

図２３は、M個のインクリメントから構成されるチャンクを示し、この場合、４インクリメントである。I1およびI2と呼ばれる外側の対がTRANSFORM LOOPの外部ループによって再び使用されて、チャンク内にマップする有効なピクセルを特定する。好ましい実施例は、ペア様のケースで上述したように、同種でない逆射影アルゴリズムの拡張された形式を用いて、直線的アレイ・ピクセル値を決定する。図２４は、I1およびI2によって制限される４つのインクリメントを含むインクリメント空間への、図２３でDと付された行の変換を示す。それは、行Dと外側インクリメントの各々との交点を結ぶ。ペア様のケースに従って、図２０に示されるように、これらの交点は、I1およびI2についてそれぞれaDおよaD'の線形センサに沿ったオフセット距離をもつ。こうして、インクリメント空間内の交点の座標は、(0,aD)および((M-1),aD')である。

間隔[X1,X2]の中の行Dに沿った直線的画像内の各々のピクセルは、それぞれ(0,aD)および((M-1),aD')の２つの交点を結ぶインクリメント空間内の線に沿って、異なる点にマップする。この行に沿った線形マッピングを仮定すると、直線的画像の中の位置(xE,yD)のピクセルは、インクリメント空間内の位置(aE,bE)にマップする。

aE=aD+(xE-xD)*(aD'-aD)/(xD'-xD)
および
bE=(M-1)*(xE-xD)/(XD'-xD)

再び行Dに沿った次のピクセルの場合、次のようになる。

a(E+1)=aE+(aD'-aD)/(xD'-xD)=aE+aInc
および
b(E+1)= bE +(M-1)/(xD'-xD)=bE+bInc

ここで、(aE,bE)での強度は、双線形補間によって決定される。
それゆえ、TRANSFORM LOOPは、次のようになる。

表４

TRANSFORM LOOP 4
{
//INITIALISATION
y=Y1
xInc=(x2-x1)/(y2-y1)
xInc'=(x2'-x1')/(y2'-y2')
xD= x1+(y-y1)*xInc
xD'= x1'+(y-y1')*xInc'
aRowInc=(N-1)/(y2-y1)
aRowInc'=(N-1)/(y2'-y1')
aD=(y-y1)*aRowInc
aD'=(y-y1')*aRowInc'
//MAIN LOOP
while (y<=Y2)
{
[X1,X2] = [Ceiling(xD), Floor(xD')]
x=X1
aInc=(aD'-aD)/(xD'-xD)
bInc=(M-1)/(xD'-xD)
a=(x1-xD)*aInc
b=(x1-xD)*bInc
//INNER LOOP
while (x<=X2)
{
A=Floor(a)
B=Floor(b)
pixel[y][x]=BiLinear(IB,IB+1,A,a-A,b-B)
a+=aInc
b+=bInc
}
xD+=xInc
xD'+=xInc'
aD+=aRowInc
aD'+=aRowInc'
y++;
}
}

ここで、IBは、チャンクの中のB'番目のインクリメントであり、IB+1は、チャンクの中の(B+1)'番目のインクリメントである。

チャンク様方法は、走査パスが、ほとんど一様であって、ゆるやかにしか変化しないという事実を信頼する。これは、空間的にも(走査は一様な形でなければならない)、走査パスに沿ったサンプリング周波数に関しても(走査は一様にサンプリングされなければならない)当てはまらなければならない。この発明の更なる実施例は、走査パスの一様性の程度に動的に依存するチャンク・サイズの変動によるチャンク様方法の拡張を含む。一様性が良好なところで、大きいチャンクは、画像の歪みをもたらすことなく対処されることができるが、走査パスまたはサンプリング形態(regime)が速く変化するところでは、小さいチャンク・サイズしか、加工を引き起こさずには対処できない。制限されたケースで、そのような実施例は、ペア様方法に戻る。

ここで、この発明の実施例に従ってチャンク・サイズを動的に変化させる方法を述べる。チャンク様方法の許容できる使用において、チャンク内の各々の連続するインクリメント対ごとに存在する端点位置幾何配列の個々の差は、チャンク全体に関する包括的な差と合致しなければならない。この方法で、チャンクのサイズが１対から最大へと増やされるとき、インクリメント位置デルタのテーブルが、チャンク内の各々の連続するインクリメント対の間に組み立てられる。好ましいチャンク・サイズSは、最大の可能なチャンクサイズより小さいかそれに等しく、一番大きく選ばれる。それについて個々のデルタは、全体のチャンクにわたって、全体的な位置インクリメントと一致する。

テーブル内の各々のエントリは、４つのインクリメント値から成る。これらは、各々の端点の位置のxおよびyインクリメントに一致する。これらは、チャンク内のi番目のインクリメントで終わるインクリメント対について、[X1i,Y1i,X2i,Y2i]と呼ばれる。チャンク全体について累積される合計インクリメントは、[X1N,Y1N,X2N,Y2N]と示され、各々の成分について個々のインクリメントの合計によって与えられる。テーブルは、２で始まるN個の値について組み立てられ、各々ステップで最大の可能なチャンク・サイズへと段階的に進む。以下の条件の１つでも、２から現在値Nの範囲で各々のiについて満たされない場合、s=N-1のチャンク・サイズが選ばれる。

|X1i*N-X1N| < N*deltaThreshold
|X2i*N-X2N| < N*deltaThreshold
|Y1i*N-Y1N| < N*deltaThreshold
|Y2i*N-Y2N| < N*deltaThreshold

この条件が、最大の可能なチャンク・サイズまでの全ステップで満たされ場合、最大の可能なチャンク・サイズが選択される。

この発明の更なる実施例に従って、チャンク内の個々のインクリメントが取得されるサンプリング周波数における非一様性を克服するための効果的な方法を述べる。この方法は、走査されるパスの型の非一様性は処理するのではなく、連続するインクリメント間の物理的な間隔について処理する。そのような実施例は、インクリメントが不均一な方法でサンプリングされる実現で有利である。しかし一般に、チャンク全体について全てのサンプルは、できるだけ均一にサンプリングされるようにすることが望ましい。

補助のマッピング・テーブルが、この目的で取り入れられる。補助のマッピング・テーブルの目的は、(例えば１ピクセルの0.1のような指定されるサブピクセル解像度の)インクリメント空間の一様なx座標を、一様にサンプリングされる修正されたバージョンにマップすることである。テーブルは、各々のチャンクについて、その範囲内の個々のインクリメントの物理的空間(例えばユークリッドの端点空間の平均)に基づき更新される。修正の結果が図２５に示されている。

図２５aで、インクリメントは、インクリメントの数より少ない数に等しくなるように合計空間が規格化されるそれらの平均の物理的空間に従って示される。この空間の中で、直線的画像行Dのマッピングは、インクリメントI1およびI2の間で線形を維持する。図２５aに示される線形インクリメント空間位置(x,y)にマップする直線的画像ピクセルは、図２５bに示される非線形インクリメント空間内の(x',y)に変形される。変形される空間内で、インクリメントは、一様な間隔をあけているが、I1とI2の間のマッピングは、もはや線形ではない。補助テーブルMTは、各々のxをx'にマップするために使用される。

当業者であれば、この発明の更なる実施例が上述された説明から明らかであろう。ペア様の場合、２つのインクリメントがバッファされる必要があり、各々のインクリメントは２回使用される。チャンク様方法では、M個のインクリメントが格納され、チャンクの中の最初と最後の素子だけが２回使用される。第１のものは、それらがチャンク内の中の立ち下がりインクリメントであるケースであり、後者は、それらが次のチャンクの立ち上がりサンプルになるときである。

直線的画像バッファ100は、１枚のレターのサイズまたはA4サイズのページを線形センサの解像度(典型的に200または300dpi)で収容できるくらい十分に大きい。走査の起点の位置および向きは、先験的に知られていると仮定される。部分的にまたは全体的に画像の外にマップするインクリメントは、直線的バッファの反対側で継続するように、(それぞれXおよびY成分についてWおよびHに関するモジュロ演算を使用して)水平および垂直な境界線に関して折り返すことができる。走査の完了後、直線的画像バッファ・メモリ100は、走査された領域を中心におくために水平および垂直の両方向に転がすことができる。走査された領域が、直線的バッファ100の全体の高さも幅も越えないと仮定すると、最終の画像は、最初の開始位置に関係なく良好に形成される。適正な配列を得るために、走査は、仮定される向き(例えばページの端に常に平行)で開始しなければならず、また向きは、走査の内容から回復され、最終の画像を再び方向付けるために使用されなければならい。後者について基礎として使用することができる、ページ上のテキストの支配的な向きを自動的に決定する方法は、例えば、H.S Bairdによる文献「The Skew Angle of Printed Documents」(Proc 4th SPSE Conference Symposium on Hybrid Image Systems, Rochester, New York 1987)の中で知られている。

次のステップは、重複の領域の中の連続する画像帯を縫い合わせることである。目的は、最終の矯正された復元された画像を含むバッファ100内の複数の帯を結合することである。これは、累積された航行エラーを大部分を認識し訂正するように、そしてあらゆる残されるエラーをマスクするように行われなければならない。これは、上記特許文献１の明細書で記述される。

航行データのストリームは、縫い合わせに必要とされる位置決め情報を提供することが有利である。航行信号はエラーを累積する傾向があるので、それは、特徴オフセットの解析から導かれる訂正信号をフィードバックすることによって継続的に改められる。

しかし、最初に、航行エラーがないと仮定する場合の画像帯の縫い合わせ方法を述べる。

重複のいくらかの面積が、２つの画像帯を縫い合わせるために必要である。複数の帯は、一部が走査されたオリジナルの領域の上を戻る走査装置のパスの中の逆戻りによって範囲が決められる。１つの帯は、走査されるオリジナルを横切る１回の走査の間に取り込まれる画像データを含む。以下の記述で、「帯」という語は、そのようなデータをマップすることから形成される復元された画像の一部をいうためにも使用される。

図１２の中でインクリメントの端点の軌跡によって表される走査は、２つの重複する帯を生成する。図１３で、直線的画像バッファ100にマップされる、帯#1を含む一部は、戻るとき、帯#2に対応する走査の一部によって部分的に再びマップされ、その重複の面積102は、塗りつぶされて示されている。時刻Ｔで、こうして、部分的な帯が走査された。この場合、満足な縫い合わせは、単に、帯#2を帯#1の最上部の直線的画像バッファ100にマップし続けることによって、達成することができる。図１２を参照して、インクリメント#1の場合および図１３の重複102の領域内の各々のピクセルの場合と同様に、インクリメント#2を、その全体の長さに沿ってマップすることができる。帯#lから生じる直線的画像バッファ100の中の最終の表現(rendition)は、帯#2から生じたものと置き換えられる。

同等に、帯2#によってマップされる、重複の一部ではない(すなわち帯#1によってマップされない)全てのピクセルが、適正にマップされるならば、帯#1の一部としてマップされる重複102の面積内のピクセルを、帯#2によってマップされるものと置き換えない方法は満足のいくものである。すなわち、帯#1によってマップされる領域を使用して、帯#2によってマップされる領域を切り取る。実際に、帯#1および帯#2が正しく重複領域の外側に位置する全てのピクセルをマップするとすれば、重複領域内のピクセルは、帯#1または帯#2または組み合わせから同等に得ることができる。

実際上、帯#1および帯#2の位置タグの間のエラーの累積のため、航行エラーがないことを仮定するこの単純な方法は、あまり良好な結果を与えない。

ここで、縫い合わせの有利な方法が、図１４および図１５に関して述べられる。図１４は、含まれる処理ステージおよびデータ・バッファを示し、図１５は、帯#1および帯#2に関して利用される処理に関連する。インクリメント・バッファBの中の画像インクリメント・データは、上述したように直線的画像バッファ100にマップされる。図１５は、直線的画像バッファ100に、戻りのパスの帯#2によって再びマップされる帯#1で取り込まれる画像の一部を示す。航行訂正は、帯#1と帯#2の間の重複の面積内のそれぞれの特徴を関係付けることによって計算される。

図１５は、２つの部分104および105に分割されるこの重複面積を強調して示している。図１５に示されるように、帯#1の収集の間、四辺形の画像セグメント(この後「位置決めタイル」とよぶ)は、そのうちの３つ(106、108および110が示される)が、重複面積105の中の帯の低い方の端に沿って周期的に分類されている。帯#2が取得されるとき、後のパス(帯#2)上で、帯#1の位置決めタイル106、108および110を含む面積105より上の帯#2の重複面積104は、帯#1のそれらのピクセルが上書されないようにすることによって切り取られる、すなわち捨てられる。重複面積104が切り取られたあと、帯#1に基づく位置決めタイル106は、帯#2にの残りのもの最上部に置かれる。航行データが完全である場合、位置決めタイル106の位置と帯#2の中のそのタイルの再び走査された画像の位置との間にオフセットはない。より現実的には、いくらかの航行エラーが、最後の位置決めが実施されて以降累積される。２つの帯の中のこのタイルの出現の間のオフセットは、訂正ファクタを生成し、それを使用して画像データに関連する将来の航行位置タグを更新し、合計の累積されるエラーを最小限にする。このようにして、航行データ内の合計の累積されたエラーが、帯と帯が重なる領域内に明らかな歪みをもたらすほど大きく成長することを防ぐ。

ここで、帯#1を帯#2に縫い合わせるための処理ステージを、図１４および図１５に関して記述する。図１４は、画像インクリメント・バッファBおよび直線的画像バッファ100を示す。図１４は、特徴位置バッファ113および特徴バッファ114も示している。処理ステージは、以下の通りである。

１．上述されるように、帯#1の収集の間、位置決めタイル(106、108および110)が、重複面積105の中の帯の低い方の端に沿って周期的に付される。１つの位置決めタイル全体を、上述された関係付けのために使用することができるが、好ましい実施例で、グレースケール画像の矩形のタイル(例えば15x15ピクセル)から成る高周波コントラスの小さい面積(この後「位置決め特徴」とよぶ)が、帯#1の取り込みの結果として、直線的画像バッファ100内の復元される画像の一部を形成する位置決めタイルの中に位置する。

２．位置決め特徴の位置タグ(直線的画像バッファ100内の各々の位置決め特徴の位置を定義する)は、直線的画像バッファ100へ帯#2をマッピングし始める前に、特徴位置バッファ113に保存される。

３．帯#2がマップされるとき、位置決め特徴位置が、帯#2によって直線的画像バッファ100に上書きされる前に認識される。これは、直線的画像バッファ100へのマッピングを現在経験している帯#2の画像インクリメントに先行して、図１５に示される画像インクリメントに等しい長さおよびいくつかのピクセルの幅をもつ矩形取り込み窓107を定義することによって達成される。特徴位置バッファ113に格納される位置決め特徴位置が取り込み窓107の中に入るとき、位置決め特徴位置が選択される(１度に１つの位置決め特徴位置しか選択されない)。

４．位置決め特徴位置を選択する結果は、関連する位置決め特徴(すなわち直線的画像バッファ100内のその位置にある位置決め特徴)を特徴バッファ114に複写することである。特徴バッファ114は、一時的に、位置決め特徴のコピーをその位置タグと共に格納する。

５．帯#2が、位置決め特徴の位置(および小さい隣接する面積)に上書きするように直線的画像バッファ100にマップされたあと、そのコピーは、特徴バッファ114に格納され、特徴バッファ114の内容および直線的画像バッファ100の新しく書かれた部分が比較され、航行訂正信号すなわち２つの画像断片を近づけて一致させるのに必要とされる並進運動を生成する。

６．この訂正信号は、図9に示される航行プロセッサ80にフィードバックされる。最終の表示の画像の中の明らかな歪みを防ぐために、エラー推定が、段階的に適用される。すなわち、線形センサ・データの各々の新しい行がメモリにロードされるたびに、「位置タグ」は、エラー全体の割合を占めるまで小さい固定の大きさのステップで修正される。

他の関係付け方法を使用することができるが、２つの画像断片の間のオフセットの計算のための許容できる方法は、「２乗した差の合計」関係付けである。小さい検索面積が、特徴のオリジナルの位置のまわりに定義され、相関係数は、次式によって決定される。

C_k,l=Σ_iΣ_j(T_i,j - I_i+k,j+l)2

ここで、T_i,jは、帯#1に基づく特徴のグレースケール値を示し、I_i+k,j+lは、帯#2から新しく取得された特徴のグレースケール値を示す。添え字iおよびjは、特徴の中のピクセル位置を指定し、kおよびlは、(検索空間に残存することが強いられる)提案される並進運動のオフセットの大きさを指定する。結果の相関関係アレイの中の最も小さい素子は、2つの特徴の間のオフセットを示す。

位置決めタイルの中の位置決め特徴は、画像変化を最大にするように選択され、これは、関係付け方法の精度を高める。1つの可能な実施例で、領域内の位置のサブセットのみが検討される。これらの位置116、118、120、122および124は、図１６に、位置決めタイルの主要な軸126および128(領域を定義する線の向かい合った中間点を結ぶ線)に沿って位置するように示されており、それらは、交点、および交点と軸の各々の端点との間の中間でサンプリングされる。各々の位置116、118、120、122および124について、変数VAR_k,lが、以下の式を用いて計算される。

SUM_k,l= Σ_iΣ_jI_k+i,l+j
SUM2_k,l= Σ_iΣ_j(I_k+i,l+j)²
VAR_k,l= SUM2_k,l/N-(SUM_k,l)²/N²

航行エラーが比較的大きい場合、上述の方法は、特に帯の初めで、不必要な加工を復元される画像に引き起こすことがある。これは、画像インクリメントの最上部と最下部の計算される位置の間のエラーが、帯の長さに沿って累積し、新しい帯の開始において最大になるからである。

縫い合わせ方法の他の好ましい実施例は、図１７および図１８を参照して簡潔に述べる。

図１７は、画像インクリメント・バッファBおよび直線的画像バッファ100を示す。図１４、図１５および図１６に関して記述される実施例で、特徴位置バッファ131は、帯#1の中で認識される位置決め特徴について位置タグを格納するために使用される。また後で記述されるように画像断片をバッファBから格納するための特別な画像バッファ132もある。

図１８は、リターン・パス帯#2によって再びマッピングされる、帯#1で取り込まれた画像の一部を示す。位置決めタイルは130で示される。しかし、この実施例には、帯#2を帯#1に縫い合わせるための２つの処理フェーズがある。第１の処理フェーズの中の処理ステージは、図１４の処理とはステップ３以後について異なる。

帯#2が、直線的画像バッファ100にマップされるとき、選択される位置決め特徴位置を使用して、位置決め特徴の予測される位置を定義する。前の位置決め特徴に関して見つけられた航行エラーは、(エラー・バッファ134に格納された)現在のエラー推定を使用することによって考慮され、現在の位置決め特徴の位置を予測する。それゆえ、現在の位置決め特徴を配置するために使用される検索面積は、起こりうるエラー・インクリメントを考えるに十分大きければよい。特別な画像バッファ132は、位置決め特徴位置を格納するだけでなく、選択される位置決め特徴位置の周囲に位置する帯#2の画像データの直線的画像マッピングを、バッファBから直接一時的に格納するために使用される。言い換えると、時刻Ｔで、図１８に示される画像インクリメント138は、バッファ132にマップされる。特別な画像バッファ132のサイズは、位置決め特徴および必要とされる検索面積を格納するのに十分でなければならず、そのサイズは、既知の推定アルゴリズムに従って計算される。特別な画像バッファ132に格納された帯#2からの画像断片は、直線的画像バッファ100の中の位置決め特徴位置に格納される対応する画像断片と比較される。こうしてオフセットが得られ、前のエラー推定と共に累積されるとき、航行エラーの更新される推定を与える。この更新される推定は、エラーバッファ134に位置タグと共に格納される。

エラー推定の位置タグは、単に、直線的画像バッファ100に関する、現在の位置決め特徴の中央の位置である。それは、エラー推定が関連するインクリメント・バッファBの中のインクリメント(すなわちその画像位置にマップする帯#2に対応する第１のインクリメント)を決定するために使用される。これは、測定される推定が充分に対処されるべきインクリメントを示す。

第２の処理フェーズで、帯#2からの画像データは、それらのエラーを最終の復元される画像から取り除くように、記録される位置でのエラー推定を考慮して直線的画像バッファ100に書き込まれる。これは、センサ・データの個々の画像インクリメントの端点に関連する位置データを修正することによって行われる。

帯と帯の間の重複領域の中を進む航行センサの位置の中のエラーは、最終の画像が復元される前に認識され、訂正されるので、この方法は、改善される縫い合わせを提供する。加えて、前の帯の収集の間に累積される画像インクリメントの最上部と最下部の計算される位置の間のエラーは、不必要な加工を引き起こすことなく、次の帯の開始で一旦捨てることができる。これは、図１８に、上述の第１および第２の処理フェーズから導かれる帯#1と帯#2の間の変わり目の右端の間の不連続によって示される。

上述の縫い合わせ処理は、必要とされる走査の性質に関して異なる方法で実現することができる。1つの選択は、走査が、ページの最上部から最下部まで実行される必要があることであり、この場合、縫い合わせは、１つの帯の最下部と次の帯の最上部との間で行われるだけでよい。別の方法は、走査が、ページの任意の部分で始まることを許すが、走査の初期方向が維持されることを要求する。この場合、帯の両端にある位置決め特徴を認識する能力がなければならないが、一旦走査の方向が確立されると、エラー推定は、現在の帯の１端についてのみ維持されればよい。また別の方法で、走査は、任意の方向で許され、走査方向の変化は、例えばスパイラル走査に対処することができる。この第３の方法では、帯の両端の位置決め特徴を認識する能力がなければならないだけでなく、走査の方向が変化しなければならない場合、各々の帯の最上部と最下部の両方について、エラー推定が保持されなければならない。後者の方法は、ユーザに最大の柔軟性を提供するが、より高い計算費用をもつ。

この発明に従う装置の好ましい実施例で、画像復元、縫い合わせおよび画像管理のための処理エレクトロニクスが、図１の走査装置10を定義するハウジング内に含まれる。こうして、走査された画像は、すぐに画像ディスプレイ16に表される。しかし走査装置は、処理およびファイル管理エレクトロニクスおよびファームウェアなしで、位置タグを付された画像データを格納するメモリを含むこともできる。

図３に関して述べたように、航行およびイメージング・センサ22、24および26は、旋回メンバ20上に搭載されることが好ましい。旋回メンバは、少なくとも1つのエラストマによってハウジングの残り(remainder)に接続し、エラストマの一端は、ハウジングの動かない部分に接続し、他端は、旋回メンバに接続する。エラストマは、ヒンジとして働く。こうして、旋回部分は、摩擦要素を使用することなく「浮遊」することが可能である。電力、制御およびデータ信号は、電磁干渉を最小にするためにシールドされる屈曲ケーブルを介してセンサに導くことができる。旋回メンバを旋回可能に取り付ける他の方法を使用することもできる。旋回メンバが削除され、センサがハウジング上の固定の位置にある場合、画像の取り込み中に走査装置10を過度に傾けないように注意しなければならない。この実施例で、照明および光学素子の設計は、十分注意深く与えられなければならない。

この発明は、平坦なオリジナルが走査されるものとして述べられ、図示されたが、これは、重要なことではない。実際に、当業者であれば、３次元画像を走査するためにいくつの技法を使用することができるかすぐに理解されるであろう。しかし好ましい実施例は、関心のある画像が、１枚の紙、トランスペアレンシまたは写真のような媒体上に形成され、走査装置が、媒体と接触するものである。

本発明は例として次の実施態様を含む。
（１）センサ内で画像データおよび航行手段内で位置データとして取り込まれる画像を復元する方法であって、
復元される画像についてピクセル・グリッドを定義するステップと、
位置データを使用して、センサ・データとピクセル・グリッドとの間の対応を特定するステップと、
複数のセンサ位置で得られ、強度が決定されようとする各々のピクセルに関連するように選択される画像データに基づいて、ピクセル・グリッド内のピクセルの強度を決定するステップと、
を含む、画像を復元する方法。

（２）画像は、連続するセンサ読取りのストリームの形で、各々のセンサ読取りに関する位置データと共に取り込まれる、上記(1)記載の方法。

（３）センサは、線形センサである、上記(2)記載の方法。

（４）上記画像データとピクセル・グリッドの間の対応を特定するステップは、ピクセル・グリッドへの画像データのマッピングを含み、それによって、ピクセル・グリッドへの、境界となるセンサ読取りのマッピングの後、１つの領域が、境界となるセンサ読取りの画像データ間のピクセル・グリッドに定義され、上記領域を定義する境界となるセンサ読取りの画像データは、上記領域内のピクセルに関連するように選択することができる、上記(2)または(3)記載の方法。

（５）境界となるセンサ読取りは、ストリーム内の２つの連続したセンサ読取りである、上記(4)記載の方法。

（６）境界となるセンサ読取りは、ストリーム内の２つのセンサ読取りであり、境界となるセンサ読取りの間のストリームの中の任意センサ読取りの画像データは、上記領域内のピクセルに関連するものとして選択することができ、ストリームの中のそれらの間の境界となるセンサ読取りおよび全てのセンサ読取りは、チャンクを含む、上記(4)記載の方法。

（７）１つのチャンク内のセンサ読取りの数は、対応する位置データの一様性の程度によって決定される、上記(6)記載の方法。

（８）上記画像データとピクセル・グリッドの間の対応を特定するステップは、さらに、ピクセル・グリッド内のどのピクセルが、センサ・データの選択される組によって定義される領域内に入るかを決定するステップを含む、上記(4)ないし(7)記載のいずれかの方法。

（９）ピクセル・グリッド内のピクセルは、境界となるセンサ読取りによって定義される空間の中へマップされ、強度が決定されるグリッド・ピクセルは、定義される空間内にマップするものである、上記(8)記載の方法。

（１０）境界となるセンサ読取りによって定義される空間は、センサ読取りの中の一様なサンプリングを提供するように定義される、上記(6)に依る上記(9)記載の方法。

（１１）グリッド・ピクセルの強度は、２つの連続するセンサ読取りの各々の中のセンサ・ピクセル値に基づいて決定され、センサ・ピクセル値は、空間の中へマップされるグリッド・ピクセルをスパンするように選択される、上記(9)または(10)記載の方法。

（１２）上記補間は、2つの連続するセンサ読取りの各々の中の２つのセンサ・ピクセル値に基づく双線形補間である、上記(11)記載の方法。

（１３）２つの連続するセンサ読取りの各々について、補間されるピクセル値は、補間されるピクセル位置のセンサ・ピクセル値から計算され、グリッド・ピクセル値は、補間されるピクセル値から計算される、上記(11)記載の方法。

（１４）補間されるピクセル値は、線形補間によって計算される、上記(13)記載の方法。

（１５）グリッド・ピクセル値は、線形補間による補間されるピクセル値から計算される、上記(13)または(14)記載の方法。

（１６）補間されるピクセル位置は、グリッド・ピクセルを含むグリッド・ピクセル行と２つの連続するセンサ読取りの位置との間の交点に位置する、上記(13)ないし(15)記載のいずれかの方法。

（１７）ピクセル・グリッドは、直線的である、上記(1)ないし(16)記載のいずれかの方法。

（１８）航行手段は、取り込まれる画像を保持する媒体の固有の構造に関連した特性を検出するための１つまたは複数のセンサを含む、上記(1)ないし(17)記載のいずれかの方法。

（１９）上記センサは、走査装置の中に含まれる、上記(1)ないし(18)記載のいずれかの方法。

（２０）この発明に従う方法を実現するための走査装置。

（２１）画像データを収集し、この発明に従う方法を実施するためのコンピュータ・システムと相互接続するように設計される走査装置。

オリジナル上の曲りくねったパスをたどるハンドヘルド型走査装置の斜視図。 図１の走査装置のイメージングおよび航行センサの後方図。 イメージングおよび航行センサが見えるように示される、図１の走査装置の斜視図。 図３の航行センサの１つに関する照明システムの概略側面図。 図４に関して説明される照明を与える発光ダイオードおよび光学素子の概略側面図。 図１の走査装置の画像取り込み操作の概念図。 図１の走査装置の航行処理の１つの実施例の機能図。 図７の選択されたステップの概略図。 図８のステップを実行する構成要素のブロック図である。 航行処理におけるデータの解釈を示す図。 図１１ａは、図９の航行プロセッサからの出力に特有の位置タグを付けられたデータ・ストリームのインクリメントを示す図であり、図１１ｂは、位置タグを付けられた多数のデータ・インクリメントを格納するバッファを示す図。 直線的画像バッファを示し、線形画像センサに基づくサンプルの端点の奇跡を示す図。 図１の走査装置によって収集される帯の図。 この発明に従う１フェーズ処理で使用されるバッファを示す図。 １フェーズ処理が使用されるときに収集される帯を示す図。 連続する帯の縫い合わせを達成するために利用することができる位置決めタイルの図。 連続する帯の縫い合わせを達成するための２フェーズ処理で使用されるバッファを示す図。 図１７の２フェーズ処理が使用されるときの収集される帯を示す図。 ２つの線形画像センサ位置がその上にマップされている、走査された画像を定義する直線的ピクセル・アレイの一部を示す図。 ２つの線形画像センサ位置によって定義される空間への、図１９の直線的空間内のピクセルのバックマッピングを示す図。 図１９に示される画像センサ位置におけるピクセル値の線形補間の形式を示す図。 図１９に示される画像センサ位置におけるピクセル値の線形補間の更なる形式を示す図。 連続する線形画像センサ位置がその上にマップされている、走査された画像を定義する直線的ピクセル・アレイの一部を示す図。 線形画像センサ位置によって定義される空間への、図２２の直線的空間内のピクセルの逆マッピングを示す図。 線形画像センサ位置によって定義される空間を正規化する補助マッピング・テーブルの使用を示す図。

符号の説明

２２ 画像センサ
２４,２６ 航行センサ
８０ 航行プロセッサ

Claims (1)

1. センサで取り込まれる画像データおよび航行手段で取り込まれる位置データを含む画像を復元する方法であって、
   復元される画像についてピクセル・グリッドを定義するステップと、
   位置データを使用して、センサ・データと上記ピクセル・グリッドとの間の対応を特定するステップと、
   強度が決定されようとする各々のピクセルに関連するように選択される、複数のセンサ位置で得られる画像データに基づいて、上記ピクセル・グリッド内のピクセルの強度を決定するステップと、
   を含む、画像を復元する方法。

Images