JP2007531094A - カメラ写真から得られる画像から原データを抽出する方法 - Google Patents

Abstract

本進歩的方法は、写真画像から原データを抽出することを可能にする。それは、各々のピクセルに対して画像の色構成要素の組合せＶ₀［Ｃ，Ｌ］を決定するステップと、各々のピクセルに対してＶ＜ＳＢ＞Ｎ+１＜／ＳＢ＞［Ｃ，Ｌ］値を算出するステップと、前記算出から所定回数を繰り返すステップと、その後に各々のピクセルにおいて最終的なＶ_Nfinal［Ｃ，Ｌ］画像の値を考慮するステップと、各々のピクセルに対して差分Ｄ［Ｃ，Ｌ］＝Ｖ_Nfinal［Ｃ，Ｌ］−Ｖ₀［Ｃ，Ｌ］を算出するステップと、ノイズのコンテクストデータＶ_Sを算出するステップと、原データＤ［Ｃ，Ｌ］をコンテクストデータＶ_Sを用いて算出するステップと、Ｄ＊［Ｃ，Ｌ］を考慮しつつ修正Ｉ＊［Ｃ，Ｌ］データを算出するステップと、所望の角度で抽出されたデータを表すステップと、からなる。

Description

本発明は、カメラ写真から得られる画像から原データを抽出する方法に関する。

より詳しく述べると、光学カメラまたは映画撮影用カメラが通信装置に組み込まれているか否かに関わらずそれらによって任意の入射下で撮影されるデジタル画像から、所望の視野角に沿って画像から抽出されるデータを示す方法に関するが、これに限定されない。

本発明は特に、任意の入射下でカメラによって前もって見られるテキストデータ及びデジタル化された写真の伝送及び記憶に用いられ、次に、投影のゆがみを修正することによって及び／または任意で解像度を高めることにより処理されて、例えば、通常の入射下または任意の所定の入射下でも、カメラ写真の入射と異なる入射角で表示される、高い明瞭性を有する修正画像を得る。もちろん、本発明を用いて、有益な情報が、修正の前後に抽出されてもよい。

この種の処理は特に、例えば、携帯電話用無線送信器／受信器などの携帯用通信端末上に搭載されたカメラによって撮影されるテキスト情報及び／または写真情報を送信するのに最もよく適している。

もちろん、画像内の印刷された情報または手書きの情報に関係する原データを抽出し、データから修正されるべき区域を推測するために、出願ＦＲ２ ８４０ ０９３によって、出願人は、抽出された原データとして、異なる画像Ｄ（Ｃ，Ｌ）（実際は、背景の明るさレベルと抽出されるべきデータの明るさレベルとの対比）を算出することによって情報を抽出することから成る解決法をすでに提案した。閾値が、この異なる画像から抽出されるべき値を選択するために用いられる。従って、この閾値Ｖ_sは、格子状のライン（正方形のパターン）を除去するための勾配の閾値として選択されてもよい。しかしながら、この方法には、以下の欠点がある。

格子状のラインが原画像に存在しない場合、値Ｖ_sはノイズを除去するための閾値と一致する。この閾値は、満足な結果を提供しない従来のヒストグラム技術を用いて得るのは難しいということが分かる。

格子状のラインが存在する場合、パターンを見つけるための正しい閾値が決定されてもよい。しかし、この閾値が必ずしも情報を抽出するための閾値として用いられるとは限らない。実際、この閾値は必ずしも完全に格子状のラインまたはノイズのいずれかを除去しない。なんとなれば、非予測画像コントラストは、ランダムな照明状況のために、散乱性の彩度のようにかつ霧でおおわれた画像表面のように変化するからである。

カラー画像の場合、３つのチャネル（赤、緑、青）を考慮することが必要である。そして、１つのカラー画像がチャネル毎に１つの閾値を有するかまたは全てのチャネルに対して１つの閾値を有するかどうかははっきり見えない。

さらに、原文書を見るカメラによって得られる情報から再生されるテキストまたはグラフィックについて人が読み出したり判読するには、撮影が通常またはそれに近い入射下で行なわれて、（ほとんどの場合形状及び割合の観察を必要とする）テキストを構成している文字の認識及び図形の判読を可能にすると推測される。

実際に、文書が任意の入射下でもカメラで見られると、生成された画像には投影のゆがみがある。従って、カメラから特定の距離から始めると、文字を認識するために、従って文書を理解するために必要である、文字を認識し結果として文書を理解するために必要な詳細が見えなくなることが報告されている。

これらの欠点を排除するために、出願人は、カメラによって撮影される画像に存在する定義可能なコンテクストデータを抽出して、これらのコンテクストデータを用いてカメラによって供給される未加工の抽出されたデータを修正し、次に修正データがメモリに保存され、かつ／または受取人に送信されて被写体を読み込むために表示されることからなる解決法を提案した。

原データの修正を行うために用いられるコンテクストデータは、文書の中に初めに存在しているか、または前もって報告されたパターン（物理的か、プロットされているかまたは印刷された輪郭）、即ち、前もって知らされている特定のパラメータに影響を及ぼすかもしれない。

そのとき修正処理は、以下のステップを含んでいてもよい。即ち、
・カメラによって撮影される原の画像内でこのパターンを探索するステップと、
・原画像が含んでいて上述したパラメータの変化によって起こるパターンの変形から、原画像によって示される投影のゆがみを算出するステップと、
・原データになされるべき修正または投影のゆがみに従って抽出されたデータになされるべき修正を決定するステップと、
・前もって決定された修正を考慮に入れるとともに、修正データを含んでいる画像を生成するステップと、
である。

そのとき、パターン探索ステップは、
・ 画像に存在する境界を検出するステップと、
・ その長さが所定の値を超える境界を抽出するステップと、
・ （所定の値より大きい）充分な表層領域を用い、かつ、画像のエッジに触れないで、見出された境界によって区切られる区域を検出するステップと、
を含む第１の探索手順によって得られる。

見出された各々の領域について、この処理は、領域の主軸を決定しかつ主軸上で領域の外側にあるポイントを見出すための算出ステップと、外部ポイントから示される外部の円錐の作図ステップと、境界、それを接続して外部ポイントから始まるベクトルに対向している外部垂線の抽出ステップと、抽出されたポイントの主軸によって生じるラインの算出ステップと、4本のラインが見出される場合に４本のラインから得られる四辺形の４つの頂点の算出ステップと、及び次に、四辺形の表面領域が区域の表面領域の近くにある場合に、予め構築された割合を有する長方形へ四辺形を変形するホモグラフィの算出ステップと、を含む。
００１４。この方法の欠点のうちの１つは、それが前もって設定される割合を含むという点にまさに存するということが分かる。もちろん、前もって設定されるこれらの割合が最初の割合でない場合、画像で実施されるホモグラフィの変換は、修正画像に含まれる被写体の割合の変化につながる。

さらに、これまでに用いられたホモグラフィの算出が特に複雑であるということが分かる。実際、最終画像の各々のピクセルに対して、最初の画像の区域が決定されることを必要とする。そして、その輝度値及びクロミナンス値が読み込まれて、このピクセルがホモグラフィの関係に従って有すべき場所に、最終画像における輝度値及びクロミナンス値を順に割り当てる。

現在、概して、画像の書込まれたテキストの一部がこの画像のピクセルの２０％より多くを含まず、画像のピクセルの残り８０％は重要性がない、ということが理解されている。

従って、本発明の目的は、特にこれらの課題を解決することである。

このために、まず第一に、それは抽出された原データを修正するために用いられるノイズコンテクストデータ、そして、特に、印刷または手書きの情報が、必要とされているパターンに関係なく、格子状のラインが存在するか否かを知っていることと関係なしに抽出されてもよい閾値Ｖ_sを正確に決定する方法を提供する。更に、この閾値は、パターンを探索するための勾配閾値として用いられて、ただ一つのパターン探索ステップに対する処理必要条件を減じてもよい。目的がカラー画像について情報を抽出することである場合、画像の各々の色構成要素は、色情報を抽出するために一意的な閾値を算出することが考慮されなければならない。

グレイレベルを有する画像が次に考慮される。それは、画像の３つのチャネル（赤‐緑‐青）の組合せまたはこれらのチャネルのうちの１つから成っていてもよい
より具体的には、本発明は、カメラ写真から得られる画像から原データを抽出する方法を提供する。その方法は以下のステップから成ることを特徴とする。即ち、
ａ）画像の第Ｃ列、第Ｌ行に位置する各々のポイントに対して、
α、β、γが、例えば以下の関係、即ち、
α+β+γ＝１ かつ α，β，γ≧０
を満たす係数である式：
Ｖ₀［Ｃ，Ｌ］＝ αＲｅｄ［Ｃ，Ｌ］＋βＧｒｅｅｎ［Ｃ，Ｌ］＋γＢｌｕｅ［Ｃ，Ｌ］
で表現される、画像の色の構成要素の組合せから成っている値Ｖ₀[Ｃ，Ｌ]を決定するステップと、
ｂ）画像の各々のポイントに対して、背景値Ｖ_Back.（Ｃ，Ｌ）を算出するステップと、
ｃ）画像の各々のポイントに対して、差分Ｄ［Ｃ，Ｌ］
Ｄ［Ｃ，Ｌ］＝Ｖ_Back.−Ｖ₀［Ｃ，Ｌ］（暗いデータ／明るい背景）
または、
Ｖ₀［Ｃ，Ｌ］＝Ｖ_Back.（明るいデータ／暗い背景）
を算出するステップと、
ｄ）対比ヒストグラムからかつ／または原データＤ［Ｃ，Ｌ］の領域的最大がノイズを含むということの確率ｑから、原データを修正するために用いられるノイズコンテクストデータからなる閾値Ｖ_Sを算出するステップと、
ｅ）抽出されたデータＤ^*［Ｃ，Ｌ］をもたらしているノイズコンテクストデータＶ_Sを用いて原データＤ［Ｃ，Ｌ］を修正するステップと、
ｆ）画像の各々のポイントに対して、修正された原データＤ^*［Ｃ，Ｌ］を考慮に入れながら、修正済み値Ｉ^*［Ｃ，Ｌ］を算出するステップと、
ｇ）抽出されたデータまたは所望の角度で抽出されたデータを含んでい る画像を任意で示すステップと、
である。

有利な点は、
・背景値Ｖ_Back.が、以下のステップから成る処理シーケンスによって決定されてもよい。即ち、
・ 画像の各々のポイントに対して、［Ｃ，Ｌ］に中心がある対称の構成項目にわたって、値Ｖ_N［Ｃ，Ｌ］とＶ_N値の差分平均との間の最大値（明るい背景についての暗いデータ）または最小値（暗い背景上の明るいデータ）である値Ｖ_N+1［Ｃ，Ｌ］を算出するステップと、
・該算出を所定の回数（Ｎｆｉｎａｌ）繰り返し、そのとき最終画像Ｖ_{N final}の値を背景画像Ｖ_Back.の値として考慮するステップと、
・値Ｖ_N+1［Ｃ，Ｌ］の算出が、

という種類の関係によって得られてもよいステップと、である。
・背景画像Ｖ_Back.も、以下のステップから成る処理シーケンスによって決定されてもよい。即ち、
・ポイント［２Ｃ+１／２，２Ｌ+１／２］を中心とする局部的平均Ｖ_N（ここでは４つの隣接したピクセル）と多数のピクセルを含む少なくとも局部的な平均（ここでは１６の隣接するピクセル）との間の最大（明るい背景上の暗いデータ）または最小（暗い背景上の明るいデータ）である値Ｖ_N+1［Ｃ，Ｌ］の、画像の各々のポイントに対する算出を含んで、画像Ｖ_Nの１／４の大きさの画像Ｖ_N+1を生成し、画像Ｖ_N+1はそのとき画像Ｖ_Nの１／４であるステップと、
・該算出を所定回数Ｖ_NFinal繰り返すステップと、
・画像Ｖ_{N final}の値を補間して最初の画像Ｖ₀と同じ大きさを有する値Ｖ_Back.を得るステップと、
である。
・値Ｖ_N+1［Ｃ，Ｌ］は、

を含む処理シーケンスによって決定されてもよい。

原データＤ［Ｃ，Ｌ］は、概して、支持媒体の前のカメラの任意の位置のために、投影のゆがみによって影響を受ける。抽出された原データの投影のゆがみは、幾何学的なコンテクストデータを抽出する公知の方法によって修正されてもよい。これらの抽出された原データも、以下のように閾値化する（thresholding）ことによって除去されてもよい輝度ノイズ及び／または電子ノイズによって影響を受ける。

画像の各々のポイントに対して、ノイズコンテクストデータＶ_Sを算出した後に、値Ｄ［Ｃ，Ｌ］と閾値Ｖ_Sとの比較がなされて、以下の方法で抽出されるべき値Ｄ^*［ Ｃ，Ｌ ］を決定する。即ち、
Ｄ［Ｃ，Ｌ］＜Ｖ_Sの場合、Ｄ^*［ Ｃ，Ｌ ］＝０
Ｄ［Ｃ，Ｌ］≧Ｖ_Sの場合、Ｄ［Ｃ，Ｌ］が保持される。即ち、Ｄ^*［ Ｃ，Ｌ ］＝ Ｄ［Ｃ，Ｌ］またはそうでなければ、
Ｄ［Ｃ，Ｌ］−Ｖ_S即ち、Ｄ＊［Ｃ，Ｌ］＝Ｄ［Ｃ，Ｌ］−Ｖ_Sに置換される。

減算の法則による抽出されたデータを含む画像Ｉ^*（ｐ）の生成は、例えば２５５に等しくてもよい明るい背景の値Ｉ_maxを有する算出Ｉ^*（ｐ）＝Ｉ_max−ｆ．Ｄ^*（ｐ）（暗いデータ／明るい背景）、またはＩ_minが０に等しくてもよい算出Ｉ^*（ｐ）＝Ｉ_min+ｆ．Ｄ^*（ｐ）（明るいデータ／暗い背景）の結果生じる。

閾値Ｖ_Sは、原データＤ［Ｃ，Ｌ］を修正するために用いられるノイズコンテクストデータである。それは、原データの任意の領域的最大もノイズを含むということの確率ｑに基づく方法によって算出されてもよい。明るい背景上の暗い情報の場合、この方法は、以下の処理フェーズ（明るい背景上の暗い情報の探索についての特定の配置が括弧の間に示されている）を含む。

・グレイ画像Ｉ（色チャネルまたは輝度のいずれか）の各々のピクセルｐに対して以下が実施される第１のフェーズと、
ａ）０＜｜ｄ｜＜Ｄである各々の方向ｄに対して、以下の条件：
・［ｐ−ｄ，ｐ+ｄ］上のＩの凸面、即ち、
任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）
（暗いデータ／明るい背景）
または
・［ｐ−ｄ，ｐ+ｄ］上のＩの凹面、即ち
任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）（明るいデータ／暗い背景）
が満足される場合、
Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか、
さもなければ、Ｇ（ｐ，ｄ）＝０
ｂ）値Ｓ（ｐ）が算出される。それは０＜｜ｄ｜＜Ｄである全ての方向ｄに対して最大値Ｇ（ｐ，ｄ）に等しい。

Ｓ（ｐ）についてのこの算出の変型として、Ｓ（ｐ）が原データに一致するＤ（ｐ）で置換されてもよい。

・すべてのピクセルｐに対して、最大値Ｓ（ｐ）に等しい値Ｓ_maxが算出される第２のフェーズと、
・ヒストグラムＨ（ｓ）が、０とＳ_maxとの間のsの全ての値に対して０にリセットされす第３のフェーズと、
・排除されるべきノイズを含む領域最大ピクセルについての対比ヒストグラムの算出を行い、この算出が、
・画像Ｓ（ｐ）における各々のピクセルｐに対して、Ｓ（ｐ）が領域最大である場合、Ｈ（Ｓ（ｐ））はＨ（Ｓ（ｐ））←Ｈ（Ｓ（ｐ））+１に従って１増加されるステップと、
・識別Ｓ＝Ｓ_max及びＮ＝１／ｑが決定されて、Ｈ（ｓ）がＮより小さい限り、ＳはＳ−１で置換され、Ｓの最終値はＳ_minと称され、Ｎが領域の最大ピクセルの最小数であってノイズを含むピクセル数の数学的な期待値が１以上であるステップと、
・値Ｖ_Sが、式：
１／２≦ｒ≦１である、Ｖ_S＝ｒ．Ｓ_min＋（１−ｒ）．Ｓ_max
に従って算出されるステップと、
を含む第４のフェーズと、を含む。

閾値Ｖ_Sは、同様に以下の方法に従って算出されてもよい。

１）ピットのヒストグラムＨ＿ｐｉｔｓを算出する、以下の処理フェーズを含む第１のステップ：
ａ）画像Ｉの各々のピクセルｐに対して、以下が実施される。即ち、
ｉ． ０＜｜ｄ｜＜Ｄである各々の方向ｄに対して、
以下の条件：
・［ｐ−ｄ，ｐ+ｄ］上のＩの凸面、即ち、
任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）
（明るいデータ／暗い背景）
または
・［ｐ−ｄ，ｐ+ｄ］上のＩの凹面、即ち
任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）（明るいデータ／暗い背景）
が満足される場合に、
Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか、
さもなければ、Ｇ（ｐ，ｄ）＝０
次に、Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか
さもなければＧ（ｐ，ｄ）＝０
ｉｉ． Ｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値、が０＜｜ｄ｜＜Ｄである全ての方向ｄに対して算出される。

Ｓ（ｐ）についてのこの算出の代わりとして、Ｓ（ｐ）が、原データに一致する値Ｄ（ｐ）で置換されてもよい。

ｂ）ピットの最大値、Ｓ＿ｐｉｔｓ＿_maxが算出され、それはすべてのピクセルｐに対して最大値Ｓ（ｐ）に等しい。

ｃ）ピットヒストグラム、H＿ｐｉｔｓが、０とピットの最大値Ｓ＿ｐｉｔｓ＿_maxとの間で各々のｓの値に対してゼロにリセットされる。

ｄ）画像Ｓ（ｐ）の各々のピクセルｐに対して、以下の算出が実施される。即ち、
ｉ． Ｓ（ｐ）が領域的最大である場合、Ｈ＿ｐｉｔｓ（Ｓ（ｐ））が以下の方法で１増加される。

Ｈ＿ｐｉｔｓ（Ｓ（ｐ））←Ｈ＿ｐｉｔｓ（Ｓ（ｐ））+１
２）以下の処理フェーズを含む、バンプのヒストグラムＨ＿ｂａｍｐｓを算出する第２のステップ：
ａ）画像Ｉの各々のピクセルｐに対して、以下が実施される。即ち、
ｉ． ０＜｜ｄ｜＜Ｄである各々の方向ｄに対して、
以下の条件：
・［ｐ−ｄ，ｐ+ｄ］上のＩの凸面、即ち、
任意の０≦λ≦１に対して、Ｉ（ｐ+（１-２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）
（明るいデータ／暗い背景）
または
・［ｐ−ｄ，ｐ+ｄ］上のＩの凹面、即ち
任意の０≦λ≦１に対して、Ｉ（ｐ+（１-２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）（明るいデータ／暗い背景）
が満足される場合に、
Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか、
さもなければ、Ｇ（ｐ，ｄ）＝０
ｉｉ．Ｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値、が０＜｜ｄ｜＜Ｄである全ての方向ｄに対して算出される。

従来どおり、Ｓ（ｐ）のこの算出の代わりとして、値Ｓ（ｐ）が、原データに一致する値Ｄ（ｐ）で置換されてもよい。

ｂ）バンプの最大値、Ｓ＿ｂｕｍｐｓ＿ｍａｘが算出され、それはすべてのピクセルｐに対して最大値Ｓ（ｐ）に等しい。

ｃ）バンプヒストグラムH＿ｂｕｍｐｓ（ｓ）が、０とバンプの最大値，Ｓ＿ｂｕｍｐｓ＿ｍａｘとの間で各々のｓに対してゼロにリセットされる。

ｄ）画像Ｓ（ｐ）の各々のピクセルｐに対して、以下の算出が実施される。即ち、
ｉ．Ｓ（ｐ）が領域的最大である場合、Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））が以下の方法で１増加される。

Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））←Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））+１
３）ピットヒストグラムＨ＿ｐｉｔｓ及びバンプヒストグラムＨ＿ｂｕｍｐｓを重ね合わせる第３のステップは、以下のフェーズを含む。

ａ）Ｓ＿ｍａｘは次式によって算出される。即ち、
Ｓ＿ｍａｘ＝Ｍａｘ（ピットの最大値であるＳ＿ｐｉｔ＿ｍａｘ，バンプの最大値であるＳ＿ｂｕｍｐｓ＿ｍａｘ）
ｂ）Ｈ＿ｍａｘは次式によって算出される。即ち、
Ｈ＿ｍａｘ＝全てのＳの値に対してピットＨ＿ｐｉｔｓ（Ｓ）及びバンプＨ＿ｂｕｍｐｓ（Ｓ）のうちの最大値）
ｃ）ｓ０は次式に従って算出される。即ち、
ｓ０＝（Ｈ＿ｐｉｔｓ（ｓ）＝Ｈ＿ｍａｘ）または（Ｈ＿ｂｕｍｐｓ（ｓ）＝Ｈ＿ｍａｘ）であるような最大値
ｄ）ｓ＝ｓ０+１が算出されて、
０＜α＜１／２であり、
｜ｌｎ（１+Ｈ＿ｐｉｔｓ（ｓ）−ｌｎ（１+Ｈ＿ｂｕｍｐｓ（ｓ））｜＜α．ｌｎ（１+Ｈ＿ｍａｘ）である限り、
ｓ←ｓ+１（ここで、ｌｎはネピアの対数関数である）が実行されるようにαが選択され、
最終的に、値Ｓ_minが１だけ増加されるｓの最終値によって決定される。

４）関係：
１／２＜ｒ＜１である、Ｖ_S＝ｒ．Ｓ_min+（１−ｒ）．Ｓ_max
に従って抽出閾値Ｖ_Sを算出するステップ。

原データを抽出する方法であるステップｂ）が多数回繰り返され、Ｓ（ｐ）の算出を介して先に説明した両方の方法を用いて算出される閾値は、抽出された原データが効果的に修正されることを可能にしない、ということがわかる。

この欠点は、Ｓ（ｐ）をＤ（ｐ）で置換することを含む置換を用いることによって抑制されてもよい。

よって、この場合は、原データの任意の領域的最大もノイズを含むという確率ｑがわかっている場合、ノイズコンテクストデータを抽出する処理は以下のステップを含んでもよい。即ち、
・値Ｓ_maxが算出され、値Ｓ_maxは、Ｄが修正されるべき原データの画像である、全てのピクセルｐ＝［Ｃ，Ｌ］に対する最大値Ｄ（ｐ）に等しい第１のステップと、
・０とＳ_maxとの間の全てのＳの値に対して、ヒストグラムがＨ（Ｓ）＝０にリセットされる第２のステップと、
・画像Ｄ（ｐ）内の各々のピクセルｐに対して、Ｄ（ｐ）が領域的最大 である場合に、Ｈ（Ｄ（ｐ））が関係：
Ｈ（Ｄ（ｐ））←Ｈ（Ｄ（ｐ））+１
に従って１増加される第３のステップと、
・恒等式Ｓ＝Ｓ_max及びＮ＝１／ｑが判定されて、Ｈ（Ｓ）がＮより小である限り、ＳがＳ−１で置換され、Ｓの最終の値はＳ_minと称される第４のステップと、
・ノイズコンテクストデータの値Ｖ_Sの値が、式：
１／２≦ｒ≦１である、Ｖｓ＝ｒ．Ｓ_min+（１−ｒ）．Ｓ_max
に従って算出される第５のステップと、
を含む。

原データの任意の領域的最大もノイズを含むという確率ｑがわからない場合、ノイズコンテクストデータＶ_Sを抽出する処理は、以下のステップを含んでいてもよい。

１）ピットヒストグラムＨ＿ｐｉｔｓを算出する第１のステップは、以下の処理フェーズを含む。即ち、
ａ）ピットの最大値Ｓ＿ｐｉｔｓ＿ｍａｘが算出され、それは全てのピクセルｐに対してＤ（ｐ）の最大値に等しい。Ｄは抽出された明るい背景上の暗い原データの画像である。

ｂ）ピットヒストグラムＨ＿ｐｉｔｓが０とピットの最大値Ｓ＿ｐｉｔｓ＿ｍａｘとの間のｓの各々の値に対して０にリセットされる。

ｃ）画像Ｄ（ｐ）の各々のピクセルｐに対して、
Ｄ（ｐ）が領域的最大である場合に、
Ｈ＿ｐｉｔｓ（Ｄ（ｐ））は以下の方法で１増加される。即ち、
Ｈ＿ｐｉｔｓ（Ｄ（ｐ））←Ｈ＿ｐｉｔｓ（Ｄ（ｐ））+１
２）バンプヒストグラムＨ＿ｂｕｍｐｓを算出する第２のステップは、以下の処理フェーズを含む。

ａ）ピットの最大値Ｓ＿ｂｕｍｐｓ_maxが算出され、それは全てのピクセルｐに対して最大値Ｄ（ｐ）に等しい。Ｄは暗い背景上の明るい原データの画像である。

ｂ）ピットヒストグラムＨ＿ｂｕｍｐｓは、０とピットの最大値Ｓ＿ｂｕｍｐｓｍａｘとの間の各々のｓの値に対して０にリセットされる。

ｃ）画像Ｄ（ｐ）の各々のピクセルに対して、
Ｄ（ｐ）が領域的最大である場合に、
Ｈ＿ｂｕｍｐｓ(Ｄ（ｐ）)は以下の方法で１増加される。

Ｈ＿ｂｕｍｐｓ（Ｄ（ｐ））←Ｈ＿ｂｕｍｐｓ（Ｄ（ｐ））+１
３）ピットＨ＿ｐｉｔｓヒストグラム及びバンプＨ＿ｂｕｍｐｓヒストグラムを多重する第３のステップは以下の処理ステップを含む。

ａ）式
Ｓ_max＝Ｍａｘ（ピットの最大値Ｓ＿ｐｉｔｓ＿ｍａｘ，バンプの最大値Ｓ＿ｂｕｍｐｓ＿ｍａｘ）に従ってＳ＿ｍａｘを算出するステップと、
ｂ）式
Ｈ＿ｍａｘ＝全ての値Ｓに対するピットＨ＿ｐｉｔｓ（Ｓ）及びバンプＨ＿ｂｕｍｐ（Ｓ）の最大値
を算出するステップと、
ｃ）式
Ｓ０＝（Ｈ＿ｐｉｔｓ（ｓ）＝Ｈ＿ｍａｘ）または（Ｈ＿ｂｕｍｐｓ（ｓ）=H＿ｍａｘ）であるようなｓの最大値
を算出するステップと、
ｄ）ｓ＝ｓ０+１が算出され、０＜α＜１／２であり、
｜ｌｎ（１+Ｈ＿ｐｉｔｓ（ｓ））−ｌｎ（１+Ｈ＿ｂｕｍｐｓ（ｓ））｜＜α．ｌｎ（１+Ｈ＿ｍａｘ）である限り
ｓ←ｓ+１が実施される（ここで、ｌｎはネピアの対数関数である）ようにαが選択され、最終的に値Ｓ_minが１ずつ増加されるｓの最終値によって決定される。

４）関係
１／２＜ｒ≦１である、Ｖｓ＝ｒ．Ｓ_min+（１−ｒ）．Ｓ_max
に従ってノイズコンテクストデータＶ_Sの値を算出するステップ。

もちろん、赤、緑、青のカラーチャネルを有するカラー画像からの情報が抽出されることを必要とする。先に述べた方法の各ステップは、続いて各々の色チャネルに対して各々のチャネルに対する閾値を決定する。赤、緑、青チャネルから色情報を抽出して最終的なカラー画像へそれらを組み替えることは、閾値が上回ったということがわかる各々のピクセルにおいて赤、緑、青の値を抽出することによって実施されてもよい。

さらに、パターン（物理的、プロットされた、または印刷された輪郭）を探索する方法の欠点を除去し、いくつかのコンテクストデータを表し、さらに前もって設定された割合を含むために、本発明は、プロットしたかまたは印刷したこと、コンテクスト若干のデータを表して、手回しがよく設定される規模を含んで、本発明は、画像のいくらかのコンテクストデータを決定するために用いられる輪郭の画像に存在するパターンの４つの識別されるポイントによって形成される四辺形の実際の高さ／幅の割合を決定して、同じ割合を有する文書を再構築することを可能にする、ということを提案する。

このために、任意の入射下でカメラによって撮影される画像から、所望の視野角で。上述したタイプの画像から抽出される情報を示す方法を出願人は提供する。この方法は以下のステップを含む。即ち、
・コンテクストデータを画定している、カメラで撮影される画像に存在するパターンのうちの少なくとも４つの認識可能なポイントを探索するステップと、
・予め定められた基準に従ってデータの任意の抽出を行うステップと、
・相対的な参照位置に関する４つの位置の相対的位置から、原画像、情報または抽出されたデータ上になされるべき幾何学的な変形を算出するステップと、
・原画像または幾何学的な変形に従う抽出されたデータになされるべき修正を決定するステップと、
・それによって決定された幾何学的な修正を考慮に入れて、抽出されたデータを含む画像を生成するステップと、
を含む。

この方法は、被写体と同じ割合を有する抽出されたデータを含む画像を得るために、それが、前もってあげたポイントによって画定される四辺形の実際の高さ／幅の割合を決定し、さらに修正画像を生成することにおいてこの割合ｒを考慮することを含むことを特徴とする。

より具体的には、四辺形（長方形）の割合の決定は、次のステップから成る処理によって実施される。

・画像に存在するパターンの４つの特定可能な特徴的ポイントを探索するステップと、
・４つのポイントによって画定される四辺形の辺から消失点を決定して、消失点に接続している水平線を決定するステップと、
・水平線上のカメラの光学的中心Oの投影ポイントＦの座標を決定するステップと、
・消失点と投影ポイントＦとの間の距離から、そして、この投影ポイントＦと光学的中心Ｏとの間の距離から、カメラ基点（パターンの平面上でカメラの光学的中心の正投影）を算出するステップと、
・光学的中心、投影ポイントＦ及びカメラ基点との間の距離から焦点距離を算出するステップと、
・カメラ基点からの従来の（楕円系の）距離において、消失線上に位置するポイントＯ_１、Ｏ_２、Ｐ_１、Ｐ_２と同様に、消失線とカメラ基点とに接続している線との間の交点Ｍ_１、Ｎ_１、Ｍ_２、Ｎ_２の座標を算出するステップと、
・長方形Ｏ_１、Ｏ_２、Ｐ_１、Ｐ_２がパターンの平面において伸びている正方形の投影であると考えることによって先に算出した座標から最初のパターンの辺の割合を算出するステップと、
を含む。

同じ一対の消失線だけが１つの消失点で交差し、他の消失線の両方が平行である（無限大に投影されている消失点）場合、割合ｒの算出は、カメラの予め予定された焦点距離fから始めることによって行われる。

全ての消失点が無限大に投影される場合、割合rは四辺形の隣接した辺の長さの割合に等しい。

この方法の重要な利点は、しばしば、四辺形が手でプロットされたパターンである場合に、四辺形の隣接した辺について直行性がないことに、あまり影響されないということにある。実際、従来の解決法は、この種の欠陥（直行性が欠如する場合の不安定性）に特に影響される。

この解決法の他の利点は、文字が整列していないテキストが再生されてもよいということにある。

特に不必要な算出を避けることによって、画像内の書かれたテキストに関連するピクセルにそれらをあてはめることだけによって、そして、すでに実施された可能な算出も再利用することによって、ホモグラフィの算出を軽減する目的で、出願人は以下のフェーズを含んでいる処理シーケンスを提案する。

・抽出されたデータを含んでいる最初の画像の有用な部分を分離して、同じバイナリの値（０または１）をこの有用な部分のピクセルに割り当てることによって、修正されるべき区域の最初の（変形された）バイナリマスクを生成するステップと、
・（任意の多角形形状も基準多角形形状へ変換することに基づく）最初のマスクの直接のホモグラフィの変換によって理想バイナリマスクを算出するステップと、
・理想バイナリマスクの有用な部分の各々のピクセル（ｕ，ｖ）に対し て、逆ホモグラフィによって最初の画像の（ｘ，ｙ）を算出し、最初の 画像の（ｘ，ｙ）における補間された値によってピクセル（ｕ，ｖ）に おける最終画像の値を決定するステップと、
を含む。

逆ホモグラフィの算出は、理想のマスクの各々のピクセルの行及び列の逆ホモグラフィによる事前の算出から成っていてもよいことが有利である。そのとき、両方の行の交点を算出することによって最初の画像の所定のピクセルの位置を推定することが可能である。

添付の図面を参照し、非制限的な実施例として、本発明の実施例についてこれから説明する。

発明を実施するための形態

図１に示した例では、カメラで撮影されることを目的とする原文書は、平らな支持媒体上に水平に配置される。

カメラは、所定の高さで、斜めである文書の方に向けられているカメラの軸（ここでは約３０°の入射角）において、支持媒体、従って、文書の平面より上方に配置される。

カメラによって撮影される文書の画像は、光軸に対して垂直に延びる画像平面に位置する。

支持媒体の平面のカメラの光学的中心Ｃの正投影は、カメラの基準と称される。

支持媒体の平面に並行であるポイントＣを通過する平面は、支持媒体の視水平線である。

文書ＤＴの長方形のパターンは、画像において、四辺形Ａ、Ｂ、Ｃ、Ｄ（図２）を設け、その切片

及び

がポイントＦ₁で交わる２本の線（消失線）によって生じ、さらに切片

と

が、ポイントＦ２で交わる２本の線（消失線）によって生ずる。切片

を生ずる線は、水平線である。

図２に示したように、
Ｘ：カメラの基準である（文書の平面において光学的中心の投影）。

Ｍ₁：線分（ＡＤ）と（Ｆ₁Ｘ）との交点である。

Ｎ₁：線分（ＢＣ）と（Ｆ₁Ｘ）との交点である。

Ｍ₂：線分（ＡＢ）と（Ｆ₂Ｘ）との交点である。

Ｎ₂：線分（ＣＤ）と（Ｆ₂Ｘ）との交点である。

σ：軸（Ｆ₁，Ｘ）（Ｆ₂，Ｘ）上のポイントＸから測定される従来の距離を代表する正定数である。

ｉ：入射角である。

Ｅ：（ＦＸ）に平行な長軸を備えた楕円である。その長軸は長さσ／ｃｏｓ（ｉ）を有し、その短軸は長さσを有する。

Ｏ１及びＰ１：（Ｆ_１，Ｘ）と楕円Ｅとの交点である。

Ｏ２及びＰ２：（Ｆ_２，Ｘ）と楕円Ｅとの交点である。

Ｏ：画像の中心である。

Ｆ：線分（Ｆ_１，Ｆ_２）上のカメラの光学的中心Ｏの正射影である。

本発明の方法によれば、オリジナルパターンを形成する長方形の物理的アスペクト比ｒ（ｒ＝水平長／垂直長）の算出が、以下の３つの処理シーケンスの１つによって実施される。

１）ポイントＦ_１及びＦ_２が存在する場合、線分ＡＢ、ＢＣ、ＣＤ、ＤＡは並行でない。この場合、処理シーケンスは以下のフェーズを含む。

・水平線（Ｆ_１，Ｆ_２）上の画像Ｏの中心を投影することによってポイントＦの座標を算出する第１のフェーズと、
・関係：

を用いて、ポイントＦへのその距離、ｄｉｓｔ（Ｘ，Ｆ）によってカメラ基点を算出する第２のフェーズと、
このことは、３つのステップで以下の証明の結果生じる。

ａ）カメラの基準と水平線との間の角度は９０°であって、以下のように推論される。

ｂ）Ｆ_１とＦ_２との間の角度も９０°であって、以下のように推論される。

ｇ＝ＯＦ／ｃｏｓ（ｉ）であり、ｊはＦ₁とＦ₂との間の角度であり、このことから以下が得られる。

ｃ）ＸＦに対する最終の式は、ａ）ｉｉの関係とｂ）ｉｉの関係とを結合することによって得られる。
・関係：

を用いて焦点距離を算出する第３のフェーズと、
・

によって、表現される入射角ｉを算出する第４のフェーズと、
・先に算出された値からポイントＭ₁、Ｎ₁、Ｏ₁及びＰ₁の座標を決定する第５のフェーズと、
・先に算出された値からポイントＭ₂、Ｎ₂、Ｏ₂及びＰ₂の座標を決定する第６のフェーズと、
・交差された割合と、長方形Ｏ₁、Ｏ₂、Ｐ₁、Ｐ₂が関係：

に従って基準の中心にあるパターンの平面で伸びている正方形の投影であるという事実と、を用いて物理的縦横比ｒを算出する第７のフェーズと、
である。

このことは、［Ｏ₁，Ｐ₁］及び［Ｏ₂，Ｐ₂］が同じ長さの２つの線分の投影であるという事実から得られる。［Ｏ₁，Ｐ₁］及び［Ｏ₂，Ｐ₂］は、線分として用いられてもよく、線分［Ｍ₁，Ｎ₁］及び［Ｍ₂，Ｎ₂］の相対的長さは交差された割合を用いて測定されてもよく、ｒはそれらから推定されてもよい。

２）線分のうちの２つが平行である場合（（図３）（交点は、無限大に投影される））
この場合、割合rは、以下の関係によって得られる。即ち、
ｆが、（この焦点距離ｆが前もって算出されるという了解の下で）カメラの焦点距離である式：

３）消失点がない場合（線分ＡＢ、ＢＣ、ＣＤ、ＤＡが２つずつ平行である）
この場合割合ｒは、単に

である。

これらの関係は、本質的に、射影幾何学の不変量、そして特に、４つのポイントの交差割合に基づく。その関係は、２つの異なる入射角を有する光学的中心Ｏ^*を有するカメラによって撮影された同じ被写体の２つの見かけＡ^*Ｂ^*Ｃ^*Ｄ^*−Ａ^* ₁Ｂ^* ₁Ｃ^* ₁Ｄ^* ₁を示す図５に表される。

ポイントＡ^*、Ｂ^*、Ｃ^*及びＤ^*から、第１の交差割合の組：

を得てもよい。

同様に、ポイントＡ^* ₁、Ｂ^* ₁、Ｃ^* ₁、Ｄ^* ₁から、第２の交差割合の組：

を得る。

そのとき交差割合の保存が

で表される。

例えばポイントＡなどのポイントのうちの１つが無限大に投影される場合、割合Ａ^*Ｂ^*／Ａ^*Ｄ^*は１に等しいと考えられる。

前に述べたように、本発明は、画像がテキストを含む場合にこれまでに特に用いられた算出である、ホモグラフィの算出の複雑さを軽減することを可能にする画像の再形成の方法を提供する。

図６は、この再形成モードの様々なステップを示し、それは以下を含む。

ａ）フレーム（または頁）が検出されてテキスト（書かれた）部分が抽出される画像から変形されたバイナリマスクを算出する第１のステップ。このステップは、書かれた物に対応していないピクセル同様、画像の有用な部分を囲む四辺形の外側にある全てのピクセルにゼロ値を与えることからなる。

四辺形の内側または外側のあるポイントの位置は、図４に示した方法に従って決定されてもよい。

この図は、ｘ，ｙ座標参照平面において、この四辺形の内側の、座標ｘｐ，ｙｐ及びｘｏ，ｙｏの２つのポイントP及びGと同様に四辺形Ａ‘，Ｂ’，Ｃ‘，Ｄ’を示す。ポイントＧは、四辺形Ａ‘，Ｂ’，Ｃ‘，Ｄ’の重心、またはより単純には、例えば線分Ｂ‘Ｄ’の中心など、その対角線の中心からなっていてもよい。

線分Ａ’Ｂ’‐Ｂ’Ｃ’‐Ｃ’Ｄ’‐Ｄ’Ａ’はそれぞれ、直線Ｄ１、Ｄ２、Ｄ３、Ｄ４によって生じる。

これらの直線の、そして、より一般的には、ｉ＝１，２，３，４である直線Ｄｉの式は、以下の種類である。即ち、
ａｉ．ｘ＋ｂｉ．ｙ＋ｃｉ＝０
ａｉ、ｂｉ、ｃｉは定数である。

従って、ポイントPは、四辺形の境界線に相対的にＧと同じ側に常にある場合、またはその場合に限り、四辺形の内側にある（各々の限界線Ｄ１‐Ｄ４は平面を２つの部分へと分割している）。このことは結局以下のことになる。

ａｉ．ｘｐ ＋ ｂｉ．ｙｐ + ｃｉ及びａｉ．ｘｏ＋ｂｉ．ｙｏ＋ｃｏは、集合｛１，２，３，４｝に属しているｉに対して同じ符号を有する。このことは、以下の式で書かれる。

ｂ）直接のホモグラフィによって理想マスクを算出する第２のステップ。

ホモグラフィによってポイントの画像を算出するための原則を示す図７がここで参照される。この図で、先（の頁）で述べた方法を用いて決定された四辺形Ｐ１，Ｐ２，Ｐ３，Ｐ４及びこの四辺形の内側に位置する座標（ｕ，ｖ）が示されている。

ポイントＯは、それが存在する場合、直線（Ｐ₁，Ｐ₂）と直線（Ｐ₃、P₄）との交点である。ポイントＱは、直線（Ｐ₁，Ｐ₄）と直線（Ｐ₂，Ｐ₃）との交点である。ポイントＩは線分

と

との交点であり、一方Ｊは線分

と

との交点である。

ホモグラフィは四辺形（ここでは、Ｐ₁‐Ｐ４）を図８に見るような長方形Ｈ（Ｐ₁）、Ｈ（Ｐ₂）、Ｈ（Ｐ₃）、Ｈ（Ｐ₄）へ変形することを提供するということが公知である。

この図８では、座標Ｈ（Ｉ）、Ｈ（Ｊ）を有するポイント（ｘ，ｙ）も示され、長方形の長さＤ_x及び幅Ｄ_yが示されている。

このとき、交差割合の保存は、以下を与える。

Ｈ（Ｐ）の座標は、以下から推定されてもよい。

直線の画像が単に元の直線の両方のポイントの画像を接続している線分から成るように、ホモグラフィによる直線の画像の算出は、明らかにこの算出の結果から生じる。

理想マスクの算出は、次の処理によって行なわれる。

（ｉ，ｊ）を、それを囲むその４つのサブピクセルを有する変形されたバイナリマスクでの文書と一致するピクセルとする（図９）。

Ａ、Ｂ、Ｃ及びＤが直接のホモグラフィによってこれらのサブピクセルの画像であると仮定する（図１０）。よって、Ａ、Ｂ、Ｃ、Ｄは、四辺形である。この四辺形が含む最も小さい長方形を考慮する。この長方形に含まれる全てのピクセルは、例１に対して「真」の値に設定される。

理想バイナリマスクが、このことから得られてもよい。そのとき、メカニズムは、ｕ、ｖがピクセルである（ｕ±１／２，ｖ±１／２）の形の座標を有するポイントの画像を算出するために構築されるべきである。

このため、座標面（ｕ±１／２，ｖ±１／２）のポイントPが考慮される。このポイントは、座標ｕ±１／２の垂直線及び座標ｖ±１／２の水平線である、２本の中間線の交点によって決定される。そのとき、ポイントＰの画像はホモグラフィによって得られる水平線及び垂直線の画像の交点にある。

従って、これらの中間行（そして、中間列）の画像は、前もって算出される。これらの画像が前もって算出されるとすぐに、サブピクセルの画像が中間行の２つの前もって算出された画像の交点によって得られる。

ｃ）第３の逆ホモグラフィステップ。

最終的な画像を算出するために、バイナリマスクの各々のピクセルに、強度値が割り当てられなければならない。そして、それは最初の画像においてこのピクセルの位置を見出すことによって算出される。このため、逆ホモグラフィの算出が実施される必要がある。

このように、図７及び８のコードを繰り返すことによって、（ｘ，ｙ）は理想マスクのピクセルであるとみなされる。このピクセルは、行ｙと列ｘとの交点にある。変形された画像のこのピクセルの位置は、そのとき逆のホモグラフィによって行及び列の画像の交点を得ることによって得られる。

それから、直線（ＱＪ）及び直線（ＯＩ）のパラメータがそれらの交点Ｐを算出するために見出されなければならない。ポイントI及びＪの位置が次に算出されるべきである。この結果は、例えば、距離ＪＰ₃及びＩＰ₁を見出すことによって容易に得られる。

これは、交差割合の以下の式を用いることによって可能である。

次に、ポイントPの位置を算出することが可能になる。

実際には、画像は、理想マスクの行及び列の逆ホモグラフィによって前もって算出される。次に、所定のピクセルの位置は、２本の直線（この例では、（ＯＩ）及び（ＱＪ）付きの２本の直線）の交点を算出することによって原画像において推定される。

もちろん、本発明はこの単一の方法に限定されない。

ｄ）最終画像を生成する第４のステップ
（ｕ，ｖ）を理想マスクのピクセルとする。変形された最初の画像のその位置は、行ｖ及び列ｕの前もって算出された逆画像の交点によって算出される。見出されたポイントは、そのとき（ｘ，ｙ）と称される。強度値はそのとき、最初の画像のポイント（ｘ，ｙ）において補間されるピクセル（ｕ，ｖ）に割り当てられるべきである。この処理を行うために、例えば２本の線の補間が用いられる。

図１１に示されるように、ポイント（ｘ，ｙ）を囲むピクセルが考慮される場合、補間された強度は，式：
Ｉ（ｘ，ｙ）＝（ｙ−ｊ）［（ｉ+１−ｘ）Ｉ（ｉ，ｊ+１）+（ｘ−ｉ）Ｉ（ｉ+１，ｊ+１）］+（ｊ+１−ｙ）［（ｉ+１−ｘ）Ｉ（Ｉ，ｊ）＋（Ｉ+１，ｊ）］
によって与えられる。

最終画像のピクセル（ｕ，ｖ）はそのとき、グレイレベルが最終画像において定量化されるという理解で強度Ｉ（ｘ，ｙ）を有する。

ノイズからの修正された抽出データを含む画像が、減算の法則に従って算出されてもよい。

輝度は基本色（赤、緑、青）の強度の組合せに等しい。例えば、Ｌ＝０，５Ｇ+０，３Ｒ+０，２Ｂ、である。

よって、本発明による方法によれば、ピクセルの各々に対して、輝度を抽出するステップと、原データＤ^*（ｐ）を抽出するステップと、ノイズコンテクストデータＶ_Sを算出するステップと、ノイズコンテクストデータを用いてノイズ修正された原データＤ＊（ｐ）を抽出するステップと、次に以下の算出：

によって修正される輝度画像を生成するステップと、が続く。

カラー画像の場合、減算の法則が、フィルタを用いてのように、決定されたクロミナンスのコントラストを背景色から取り除くことによって用いられて、最終画像に対する求められている色を得てもよい。

例えば、ノイズコンテクストデータＶ_Sが輝度画像に基づいて抽出されてもよい。次に修正された原データが、チャネルＤ_R、Ｄ_G、Ｄ_Bの原データを算出し、観察されたクロミナンスＲＧＢと背景のクロミナンスＲＧＢ（Ｖ_R ^Back.，Ｖ_G ^Back.，Ｖ_B ^Back.）との間のコントラスト及び閾値をＶ_Sを用いて表し、さらに、修正されたクロミナンス画像を最終的に生成することによって、色チャネルのノイズ（Ｄ^* _R，Ｄ^* _G，Ｄ^* _B）から抽出されてもよい。

例として、ピクセルにおいて、支持媒体の白色領域に対応する背景の推定クロミナンスは、（Ｖ_R ^Back.，Ｖ_G ^Back.，Ｖ_B ^Back.）＝（１６０，１４０，１１０）であり、このピクセルはクロミナンス（Ｖ_R ⁰，Ｖ_G ⁰，Ｖ_B ⁰）＝（１２０，１１５，１０５）を有する青色書き込み領域を示す、と仮定する。光学的ノイズの修正された白色／青色コントラストが（Ｄ^* _R，Ｄ^* _G，Ｄ^* _B）＝（１６０−１２０，１４０−１１５，１１０−１０５）＝（４０，２５，５）と仮定する。支持媒体の白色領域を示す最終画像のピクセルのクロミナンスを（Ｒ_B，Ｇ_B，Ｂ_B）＝（２５５，２５５，２５５）に設定する。そのとき、最終画像のこのピクセルの修正されたクロミナンスが、白のクロミナンスから、ｆ要因によって先に重みをかけられた対比を減算することによって決定され、このピクセルの最終画像の修正されたクロミナンス（Ｒ^*，Ｇ^*，Ｂ^*）は、ｆ＝１の場合に、
（Ｒ^*，Ｇ^*，Ｂ^*）＝（Ｒ_B−Ｄ^* _R，Ｇ_B−Ｄ^* _G，Ｂ_B−Ｄ^* _B）＝（２５５-４０，２５５-２５，２５５−５）＝（２１５，２３０，２５０）
になる。

先にあげたｆ要因を用いて、例えばテストパターン上に表示される、参照色を用いて得られた色を整列させることが有利であるだろう。

もちろん、本発明は、前に述べた実施例に限定されない。

よって、手書きのまたは印刷された情報が（原データＤ（ｐ）の領域的最大がノイズによって生成される確率ｑを前もって知ることに基づいて）異なる画像Ｄ（ｐ）の各々のピクセルから抽出されてもよい、閾値Ｖ_Sを決定するための通常の処理が、以下の２つの欠点を有するということが明らかにわかる。

・第一に、確率ｑは、それらの画像からの情報の抽出を行うために各々のカメラモジュールに対して実験的に知られていなければならない。これは、未知のカメラ・モジュールによって補足される画像に由来するなんらかの抽出された情報が、信頼できる情報（例えば、受取人にファックスによってそれを転送するために、サーバーで受信される画像からの情報の抽出）とみなされることを防ぐ。

・次に、情報が明るい背景上の暗い情報かまたはその逆であるかどうかについて、前もって知ることが義務付けられている。

従って、本発明は、前に述べた２つの欠点が避けられるこの方法の向上を提供する。この向上は、特に、印刷または手書きの情報がそこで異なる画像Ｄ（ｐ）（Ｄ［Ｃ，Ｌ］に類似している）から抽出されてもよい閾値Ｖ_Sの正確な判断、及び、情報が、明るい背景上の暗部またはその逆の暗い背景上の輝部であるか否かの判断を提供する。

画像の３つのカラーチャネル（赤、青、緑）の組合せまたはこれらの３つのチャネルのうちの１つのいずれかであってもよいグレイレベル画像Ｉ（ｐ）を考慮することによって、本発明による方法は、図１２を参照して、次のステップを含む。

１）ピットヒストグラムＨ＿ｐｉｔｓを算出する第１のステップは、以下の処理フェーズを含む。即ち、
ａ）画像Ｉの各々のピクセルｐに対して、以下が実施される。

ｉ．０＜｜ｄ｜＜Ｄである各々の方向ｄに対して
条件：
・［ｐ−ｄ，ｐ+ｄ］上のＩの凸性、即ち、
任意の０≦λ≦に対して、Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）（暗いデータ／明るい背景）
または
・［ｐ−ｄ，ｐ+ｄ］上のＩの凹性、即ち、
任意の０≦λ≦に対して、Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）（明るいデータ／暗い背景）
が満足される場合、
Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか
またはそうでなければＧ（ｐ，ｄ）＝０
ｉｉ． Ｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値が、０＜｜ｄ｜＜Dであるすべての方向に対して算出される。

ｂ）ピットの最大値Ｓ＿ｐｉｔｓ＿_maxが算出される。それは全てのピクセルｐに対する最大値Ｓ（ｐ）に等しい。

ｃ）ピットヒストグラムＨ＿ｐｉｔｓは、０とピットの最大値Ｓ＿ｐｉ ｔｓ＿ｍａｘとの間の各々の値ｓに対して０にリセットされる。

ｄ）画像Ｓ（ｐ）の各々のピクセルｐに対して、以下の算出が実施される。

ｉ．Ｓ（ｐ）が領域的最大である場合、
Ｈ＿ｐｉｔ（Ｓ（ｐ））が次の方法で１増加される。

Ｈ＿ｐｉｔ（Ｓ（ｐ））←Ｈ＿ｐｉｔ（Ｓ（ｐ））+１
２）バンプヒストグラムＨ＿ｂｕｍｐｓを算出する第２のステップは、以下の処理フェーズを含む。

ａ）画像Ｉの各々のピクセルｐに対して、以下が行われる。

ｉ．０＜｜ｄ｜＜Ｄである各々の方向ｄに対して、
以下の条件：
・［ｐ−ｄ，ｐ+ｄ］上のＩの凸性、即ち、
任意の０≦λ≦に対して、Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）（暗いデータ／明るい背景）
または、
・［ｐ−ｄ，ｐ+ｄ］上のＩの凹性、即ち、
任意の０≦λ≦に対して、Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）（暗いデータ／明るい背景）
そのとき、Ｇ（ｐ，ｄ）＝（Ｉ（ｐ+ｄ）+Ｉ（ｐ−ｄ））／２が算出されるか、
またはそうでなければ、Ｇ（ｐ，ｄ）＝０
ｉｉ． Ｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値が、０＜｜ｄ｜＜Dであるすべての方向に対して算出される。

ｂ）バンプの最大値Ｓ＿ｂｕｍｐｓ＿ｍａｘが算出される。それは全てのピクセルｐに対する最大値Ｓ（ｐ）に等しい。

ｃ） バンプヒストグラムＨ＿ｂｕｍｐｓ（ｓ）は、０とバンプの最大値Ｓ＿ｂｕｍｐｓ＿ｍａｘとの間の各々の値ｓに対して０にリセットされる。

ｄ）画像Ｓ（ｐ）の各々のピクセルｐに対して、以下の算出が実施される。

ｉ．Ｓ（ｐ）が領域的最大である場合、
Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））が次の方法で１増加される。

Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））←Ｈ＿ｂｕｍｐｓ（Ｓ（ｐ））+１
３）ピットＨ＿ｐｉｔｓヒストグラムとバンプＨ＿ｂｕｍｐｓヒストグラムとを多重する第３のステップは、以下の処理ステップを含む。

ａ）式：
Ｓ_max＝Ｍａｘ（ピットの最大値Ｓ＿ｐｉｔｓ（ｓ）及びバンプの最大値Ｓ＿ｂｕｍｐｓ＿ｍａｘ）
に従ってＳ＿ｍａｘを算出するステップと、
ｂ）式：
Ｈ＿ｍａｘ＝全てのＳの値に対して、ピットＨ＿ｐｉｔｓ（Ｓ）とバンプＨ＿ｂｕｍｐｓ（Ｓ）との最大値
に従ってＨ＿ｍａｘを算出するステップと、
ｃ）式：
ｓ０＝Ｈ＿ｐｉｔｓ（ｓ）＝Ｈ＿ｍａｘまたはＨ＿ｂｕｍｐｓ（ｓ）＝Ｈ＿ｍａｘであるような最大値
に従ってｓ０を算出するステップと、
ｄ）ｓ＝ｓ０+１が算出され、０＜α＜１／２であり、
｜ｌｎ（１+Ｈ＿ｐｉｔｓ（ｓ））−ｌｎ（１+Ｈ＿ｂｕｍｐｓ（ｓ））｜＜α．ｌｎ（１+Ｈ＿ｍａｘ）である限り、
ｓ＝ｓ+１が実施される（ｌｎがネピアの対数関数である）ようにαが選択され、
最終的に、値Ｓ_minは１増加されるｓの最終値によって決定される。

４）関係：
１／２＜ｒ≦１であるＶ_Ｓ＝ｒ．Ｓ_min+（１−ｒ）．Ｓ_max
に従って抽出された閾値Ｖ_Sの値を算出するステップ。
５）Ｈ＿ｐｉｔｓとＨ＿ｂｕｍｐｓとを比較するステップは、β＞０についての以下の処理フェーズを含む。

ａ）関係：
ｓ＝Ｓ_minからｓ＝Ｓ＿ｐｉｔｓ＿ｍａｘに対して、Ｎ＿ｐｉｔｓ＝Ｈ＿ｐｉｔｓ（ｓ）^βの合計
から値Ｎ＿ｐｉｔｓを算出するフェーズ。

ｂ）関係：
ｓ＝Ｓ_minからｓ＝Ｓ＿ｂｕｍｐｓ＿ｍａｘに対して、Ｎ＿ｂｕｍｐｓ＝Ｈ＿ｂｕｍｐｓ（ｓ）^βの合計
から値Ｎ＿ｂｕｍｐｓを算出するフェーズ。

ｃ）Ｎ＿ｐｉｔｓがＮ＿ｂｕｍｐｓより小である場合、明るい背景の暗い情報が抽出されるか、または暗い背景の明るい情報が抽出されるべきであるフェーズ。

６）輝度情報Ｌ（ｐ）を抽出するステップは以下の処理フェーズを含む。

ａ）公知の方法に従ってＤを算出するフェーズ。

ｂ）異なる画像Ｄ（ｐ）の各々のピクセルｐに対して、
Ｄ（ｐ）＞Ｖ_Ｓである場合、Ｄ（ｐ）が関連があるとみなされて抽出される。

ｉ．情報が暗い背景上の明るい情報である場合、
Ｉ_maxは２５５に等しくてもよい、値Ｌ（ｐ）＝Ｉ_max−ｆ．Ｄ（ｐ）を算出し、
ｉｉ．さもなければ、Ｉ_minが０に等しくてもよい、値Ｌ（ｐ）＝Ｉ_min+ｆ．Ｄ（ｐ）を算出する。

Ｄ（ｐ）が関係があるとみなされない場合、
ｉ．情報が明るい背景の暗い情報である場合、Ｌ（ｐ）の値はＩｍａｘに等しい（明るい背景）
ｉｉ．さもなければ、Ｌ（ｐ）の値はＩ_minに等しい（暗い背景）、
といったフェーズ。

例えば、満足な結果は、以下のパラメータによって得られてもよい。

Ｄ＝３
α=２０％
ｒ＝ 抽出に対して８５％
ｆ＝５
本発明はまた、所定の物理的な縦横比ｒ＝ＣＤ／ＡＤ、画像内の投影された長方形の所定のポイント（例えばポイントＤ）、及び所定の焦点距離（ｆ）、ｉが入射角であってαがカメラの軸の周りの回転角であってｉ≠０である場合の傾斜角（π／２）−ｉ、既存の消失点（例えばＦ₁）の１つへの相対的な所定のスキュー角（β）を有するカメラを用いて公知の投影された距離（例えばＣＤ）を備えた長方形（Ａ，Ｂ，Ｃ，Ｄ）の画像のシミュレーションに関係する。これらの異なるパラメータは、その光軸及び、この焦点に結合されるｏｘ，ｏｙ，ｏｚ座標参照システムを備えた焦点を有するカメラを概略的に示す図１３に示されている。

この問題の解決法は、図２及び図３、さらに図１４を参照する３つの以下のステップを含む。即ち、
・生成されなければならない新しい画像において、３つの未知のポイントＡ、Ｂ及びＣ（事前に説明されているポイントＤ）の位置を算出する第１のステップ。該ポイントはこの新しい画像上に投影されなければならないパターンの物理的アスペクト比ｒ及びシミュレートされなければならないカメラの位置（焦点距離、傾斜角、回転角、スキュー角）と一致しなければならない。

・ホモグラフィを算出し、シミュレーションされた画像の算出パターン上に原画像のパターンに含まれる情報を投影する第２のステップ。

・ホモグラフィの関係を有する原画像から算出した輪郭内で新しい画像の輝度及びクロミナンスを決定する第３のステップ。

パターンの３つの未知のポイントの算出は、３つの以下のケースを考慮する。

ｉ≠０（少なくとも１つの消失点がある）場合、算出は４つの以下の処理フェーズを含む。
１．ＯＸ＝ｆ．ｔａｎ（ｉ）
２． ＯＦ＝ｆ／ｔａｎ（ｉ）
３． ポイントＸ及びＦは画像Ｏの中心を通って交差し、垂直に相対的に角度αを形成する直線上に配置される。

４． ポイントＦ₁は、
ＦＦ₁＝ｆｔａｎ（β）／ｓｉｎ（ｉ）
であるように配置される。

ａ）β≠０（２つの消失点）である場合、
ｉ）ポイントＦ₂は、ＦＦ２＝（ＯＦ．ＸＦ）／ＦＦ₁であるように配置される。

ｉｉ）ポイントＭ₁、Ｃ、Ｎ₁、Ｏ₁、Ｐ₁、Ｏ₂、Ｐ₂及びＮ₂は、ポイントＸ、Ｆ₁、Ｆ₂（β≠０でない場合）及び距離ＤＣから推定される。

ｉｉｉ）ポイントＭ₂は、関係：

を得るように配置される。

ｂ）β≠０（１つだけの消失点Ｆ₁＝Ｆ）（図３）の場合、
ｉ）ポイントＡが

であるように直線（ＤＦ）上に配置される。

ｉｉ）ポイントＢは、ＢＦ＝ＣＦ．（ＡＦ／ＤＦ）であるように直線（ＦＣ）上に配置される。

ｃ）ｉ＝０（消失点がない）（図１４）の場合、
１）ポイントＣはポイントＤ、距離ＤＣ及び回転角αを用いて配置される。

２）ポイントＢは、（Ａ，Ｂ，Ｃ，Ｄ）が長方形であるように配置される。

カメラによる文書の撮影の概略図であり、本発明による方法で用いられる主なパラメータがこの図を用いて示される。 文書の画像の平面図において図１に示した図の投影図である。 図２の種類の投影図であるが、２つの消失点のうちの１つが無限大に投影されている。 四辺形の内部の特徴に関する図である。 投影の幾何学的図形の不変量を示す。 修正画像を得るための本発明による画像処理過程に対する処理ステップの概略図である。 図６に示された処理によって実施される算出を示す図である。 図６に示された処理によって実施される算出を示す図である。 図６に示された処理によって実施される算出を示す図である。 図６に示された処理によって実施される算出を示す図である。 図６に示された処理によって実施される算出を示す図である。 対数関数的座標参照システムにおける１対のヒストグラムＨ＿ｐｉｔｓ及びＨ＿ｂｕｍｐｓの例を示す。 カメラの主な幾何学的図形のパラメータを示す概略図である。 消失点がない場合の、定められた物理的な縦横比を有する矩形のパターンを構築するための原則を示す図である。

Claims (41)

1. カメラショットから得られる画像から原データを抽出する方法であって、
   ・画像の第Ｃ列及び第Ｌ行で示される各々のポイントに対して、前記画像の色構成要素の組み合わせからなる値Ｖ₀［Ｃ，Ｌ］を決定するステップと、
   ・前記画像の各々のポイントに対して、閾値Ｖ_Back.（Ｃ，Ｌ）を算出するステップと、
   ・前記画像の各々のポイントに対して、差分Ｄ［Ｃ，Ｌ］
   Ｄ［Ｃ，Ｌ］＝Ｖ_Back.−Ｖ₀［Ｃ，Ｌ］（暗いデータ／明るい背景）
   または
   Ｖ₀［Ｃ，Ｌ］−Ｖ_Back.（明るいデータ／暗い背景）
   を算出するステップと、
   ・前記抽出された原データＤ［Ｃ，Ｌ］を修正するために用いられるノイズコンテクストデータからなる閾値Ｖ_Sを、少なくとも１つの対比ヒストグラムからかつ／または前記原データの領域最大がノイズを含む確率ｑから算出するステップと、
   ・前記原データＤ［Ｄ，Ｌ］を前記ノイズコンテクストデータＶ_Sを用いて修正し、抽出されたデータＤ^*［Ｃ，Ｌ］を生じさせるステップと、
   ・前記画像の各々のポイントに対して、前記修正された原データＤ^*［Ｃ，Ｌ］を考慮に入れて修正済み値Ｉ^*［Ｃ，Ｌ］を算出するステップと、
   ・前記抽出されたデータまたは所望の角度下で前記抽出されたデータを含む前記画像を任意で示すステップと、
   を含む方法
2. 前記背景値Ｖ_Back.が以下のステップ、即ち、
   ・前記画像の各々のポイントに対して、値Ｖ_N［Ｃ，Ｌ］と［Ｃ，Ｌ］を中心とする対称構造項目上の値Ｖ_Nの異なる平均との間の最大値（明るい背景上の暗いデータ）または最小値（暗い背景上の明るいデータ）である値Ｖ_N+1［Ｃ，Ｌ］を算出するステップと、
   ・前記算出を予め定められた回数（Ｎ＿ｆｉｎａｌ）繰り返し、次に最終画像Ｖ_{N_final}の値を背景画像の値Ｖ_Back.として考慮するステップと、
   を含む処理シーケンスによって決定されることを特徴とする請求項１記載の方法。
3. 前記値Ｖ_N+1［Ｃ，Ｌ］の算出が、
   

   

   の型の関係によって行なわれることを特徴とする請求項２記載の方法。
4. 前記背景画像Ｖ_Back.が、以下のステップ、即ち、
   ・ポイント［２Ｃ+１／２，２Ｌ+１／２］を中心とする局部的平均Ｖ_Nと少なくともより多数のピクセルを含む局部的平均との間の最大（暗い背景の明るいデータ）または最小（暗い背景の明るいデータ）である値Ｖ_N+1［Ｃ，Ｌ］の、前記画像の各々のポイントに対する算出を含む、Ｖ_Nの１／４の画像Ｖ_N+1を生成し、画像Ｖ_N+1は画像Ｖ_Nの１／４倍であるステップと、
   ・前記算出を予め定められた回数Ｎ＿ｆｉｎａｌ繰り返すステップと、
   ・前記画像Ｖ_{N_final}の値を補間して、前記最初の画像Ｖ₀と同じ大きさを有する画像の値Ｖ_Back.を得るステップと、
   を含む処理シーケンスによって決定されることを特徴とする請求項１記載の方法。
5. 前記値Ｖ_N+1［Ｃ，Ｌ］が、
   

   

   を含む処理シーケンスによって決定されることを特徴とする請求項４記載の方法。
6. 前記原データＤ［Ｃ，Ｌ］に存在する発光及び／または電子ノイズを除去するフェーズを含み、このノイズ除去フェーズは、前記ノイズコンテクストデータＶ_Sを算出するフェーズと、前記画像の各々のポイントに対して前記値Ｄ［Ｃ，Ｌ］を前記閾値Ｖ_Sと比較して以下の方法、即ち、
   Ｄ［Ｃ，Ｌ］＜Ｖ_Sである場合、Ｄ^*｛Ｃ，Ｌ｝＝０
   Ｄ［Ｃ，Ｌ］≧Ｖ_Sである場合、値Ｄ［Ｃ，Ｌ］が保持される、即ち，Ｄ^*［Ｃ，Ｌ］＝Ｄ［Ｃ，Ｌ］
   または
   Ｄ「Ｃ、Ｌ」−ＶＳで置換される、即ちＤ^*［Ｃ，Ｌ］＝Ｄ［Ｃ，Ｌ］−Ｖ_S
   で抽出されるべき値Ｄ^*［Ｃ，Ｌ］を決定するフェーズとから成り、
   画像Ｉ^*（ｐ）の生成は、
   ２５５に等しくてもよいＩ_max（前記明るい背景の値）を有する、Ｉ^*（ｐ）＝Ｉ_max−ｆ．Ｄ^*（ｐ）（暗いデータ／明るい背景）
   または
   ０に等しくてもよいＩ_minを有する、Ｉ^*（ｐ）＝Ｉ_min＋ｆ．Ｄ^*（ｐ）（明るいデータ／暗い背景）
   を算出する結果生じる、減算の法則に従って抽出されたデータを含む、
   請求項１記載の方法。
7. 前記Ｖ_Sの算出は、以下の処理フェーズ、即ち、
   ・抽出されるべき原データＤ（ｐ）を算出するフェーズと、
   ・Ｄ（ｐ）から値Ｓ_maxを算出するフェーズと、
   ・Ｄ（ｐ）を用いる対比ヒストグラムを算出し、前記ヒストグラム及び確率ｑから前記値Ｖ_Sを推定するフェーズと、
   を含むことを特徴とする請求項１記載の方法。
8. Ｄ（ｐ）が概算Ｓ（ｐ）で置換されることを特徴とする請求項７記載の方法。
9. 前記Ｓ（ｐ）の算出が、以下の処理フェーズ、即ち、
   ０＜｜ｄ｜＜Ｄである各々の方向ｄに対して、
   以下の条件、即ち、
   ・［ｐ−ｄ，ｐ＋ｄ］上のＩの凸性、即ち、
   明るい背景上の暗いデータの場合に、任意の０≦λ≦１に対しても
   Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）
   または、
   ・［ｐ−ｄ，ｐ+ｄ］上の凹性、即ち、
   暗い背景上の明るいデータの場合に、任意の０≦λ≦に対して、
   Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）Ｉ（ｐ+ｄ）
   が満足される場合に、
   Ｇ（ｐ，ｄ）＝（Ｉ（ｐ＋ｄ）＋Ｉ（ｐ−ｄ））／２が算出されるか、
   またはそうでなければＧ（ｐ，ｄ）＝０であるフェーズと、
   ・０<｜ｄ｜Ｄである全ての方向ｄに対して、Ｇ（ｐ，ｄ）の最大値に等しい値Ｓ（ｐ）が算出されるフェーズと、
   を含むことを特徴とする請求項８記載の方法。
10. 前記対比ヒストグラム及び値Ｖ_Sの前記算出が、
    ・Ｄ（ｐ）が領域的最大である場合に、前記画像Ｄ（ｐ）の各々のピクセルｐに対して、Ｈ（Ｄ（ｐ））が、関係：
    Ｈ（Ｄ（ｐ））←Ｈ（Ｄ（ｐ））+１
    に従って１増加される第１のステップと、
    ・前記識別Ｓ＝Ｓ_max及びＮ＝１／ｑが決定され、Ｈ（Ｓ）がＮより小である限り、ＳがＳ−１で置換され、Ｓの最終値がＳ_minと称され、Ｎが領域最大ピクセルの最小数であって、ノイズを含むピクセル数の数学的期待値が１以上である第２のステップと、
    ・値Ｖ_Sが式：
    １／２≦ｒ≦１であるＶ_S＝ｒ．Ｓ_min＋（１−ｒ）．Ｓ_max
    によって算出される第３のステップと、
    を含むことを特徴とする請求項７記載の方法。
11. Ｖ_Sの前記算出が、以下の処理フェーズ、即ち、
    ・抽出されるべき原データＤｐｉｔｓ（ｐ）（暗いデータ／明るい背景）及びＤｂｕｍｐｓ（ｐ）（明るいデータ／暗い背景）を算出するフェーズと、
    ・値Ｓｐｉｔｓ＿ｍａｘ(Ｄｐｉｔｓ（ｐ）のピットの最大値)及び値Ｓｂｕｍｐｓ＿ｍａｘ（Ｄｂｕｍｐｓ（ｐ）のバンプの最小値）を算出するフェーズと、
    ・Ｄｐｉｔｓ（ｐ）及びＤｂｕｍｐｓ（ｐ）から対比ヒストグラムＨ＿ｐｉｔｓ及びＨ＿ｂｕｍｐｓを算出するフェーズと、
    ・Ｈｐｉｔｓヒストグラム及びＨｂｕｍｐｓヒストグラムからＶ_Sの値を推定するフェーズと、
    を含むことを特徴とする請求項１記載の方法。
12. Ｄｐｉｔｓ（ｐ）及びＤｂｕｍｐｓ（ｐ）がＳｐｉｔｓ（ｐ）及びＳｂ ｕｍｐｓ（ｐ）で置換されることを特徴とする請求項１１記載の方法。
13. Ｓｐｉｔｓ（ｐ）及びＳｂｕｍｐｓ（ｐ）の値が、以下の処理シーケンス、即ち、
    Ｓｐｉｔｓ（ｐ）の値の決定；
    画像Ｉの各々のピクセルｐに対して、
    ０＜｜ｄ｜＜Ｄである各々の方向ｄに対して
    条件：
    ・［ｐ−ｄ，ｐ＋ｄ］上のＩの凸性、即ち、
    任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≦λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）（明るい背景上の暗いデータ）
    が満足される場合に、
    Ｇ（ｐ，ｄ）＝（Ｉ（ｐ＋ｄ）＋Ｉ（ｐ−ｄ））／２が算出されるか
    またはそうでなければ、Ｇ（ｐ，ｄ）＝０
    が算出され、
    Ｓｐｉｔｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値、が０＜｜ｄ｜＜Ｄである全ての方向ｄに対して算出される。
    Ｓｂｕｍｐｓ（ｐ）の値の決定；
    画像Ｉの各々のピクセルｐに対して、
    条件：
    ［ｐ−ｄ，ｐ＋ｄ］上のＩの凹性、即ち、
    任意の０≦λ≦１に対して、Ｉ（ｐ+（１−２λ）ｄ）≧λＩ（ｐ−ｄ）+（１−λ）I（ｐ+ｄ）
    （暗いデータ／明るい背景）
    が満足される場合に、
    Ｇ（ｐ，ｄ）＝（Ｉ（ｐ＋ｄ）＋Ｉ（ｐ−ｄ））／２が算出されるか、
    またはそうでなければ、Ｇ（ｐ，ｄ）＝０
    が算出され、
    Ｓｂｕｍｐｓ（ｐ）＝Ｇ（ｐ，ｄ）の最大値が，０＜｜ｄ｜＜Ｄである全ての方向ｄに対して算出される、
    といった処理シーケンスに従って決定されることを特徴とする請求項１記載の方法。
14. Ｈｐｉｔｓヒストグラム及びＨｂｕｍｐｓヒストグラムの算出、並びにＶ_Sの算出が、以下のフェーズ、即ち、
    Ｈｐｉｔｓ（ｐ）の値の決定；
    ピットヒストグラムＨ＿ｐｉｔｓが、０とピットの最大値Ｓ＿ｐｉｔ＿ｍａｘとの間の各々の値に対して０にリセットされ、
    画像Ｄ（ｐ）の各々のピクセルｐに対して、以下の算出、即ち、
    ｉ．Ｄ（ｐ）が領域的最大である場合、
    Ｈ＿ｐｉｔｓ（Ｄ（ｐ））が以下の方法、即ち、
    Ｈ＿ｐｉｔｓ（Ｄ（ｐ））←Ｈ＿ｐｉｔｓ（Ｄ（ｐ）+１
    で１増加される、
    が実施されるフェーズと、
    Ｈｂｕｍｐｓ（ｐ）の値の決定；
    バンプヒストグラムＨ＿ｂｕｍｐｓが、０とバンプの最大値Ｓ＿ｂｕｍｐｓ＿ｍａｘとの間の各々の値に対して０にリセットされ、
    画像Ｄ（ｐ）の各々のピクセルｐに対して、以下の算出、即ち、
    Ｄ（ｐ）が領域的最大である場合、
    Ｈ＿ｂｕｍｐｓ（Ｄ（ｐ））が以下の方法、即ち、
    Ｈ＿ｂｕｍｐｓ（Ｄ（ｐ））←Ｈ＿ｂｕｍｐｓ（Ｄ（ｐ））+１
    で１増加される、
    が実施されるフェーズと、
    算出Ｖ_Sが以下のステップ、即ち、
    ・Ｓ＿ｍａｘが式：
    Ｓ＿ｍａｘ＝Ｍａｘ（Ｓ＿ｐｉｔｓ＿ｍａｘの最大値、バンプＳ＿ｂｕｍｐｓ＿ｍａｘの最大値）
    に従って算出されるフェーズと、
    ・Ｈ＿ｍａｘが式：
    Ｈ＿ｍａｘ＝全てのＳの値に対して、ピットＨ＿ｐｉｔｓ（Ｓ）とバンプＨ＿ｂｕｍｐｓ＿ｍａｘとの最大値）
    に従って算出されるフェーズと、
    ・ｓ０が、式：
    Ｈ＿ｐｉｔｓ（ｓ）＝Ｈ＿ｍａｘ
    または、Ｈ＿ｂｕｍｐｓ（ｓ）＝Ｈ＿ｍａｘ
    であるようなｓ０＝Ｓの最大値
    に従って算出され、
    ・αが０＜α＜１／２であり、
    ｜ｌｎ（１+Ｈ＿ｐｉｔｓ（ｓ）−ｌｎ（１+Ｈ＿ｂｕｍｐｓ））｜＜α．ｌｎ（１+Ｈ＿ｍａｘ）
    である限り、
    ｓ←ｓ+１が実施され（ｌｎがネピアの対数関数である）、
    最終的に、値Ｓｍｉｎが１増加されたｓの最終の値によって決定されるように、
    ｓ＝ｓ０+１が算出されてαが選択される、
    といったフェーズを含む、
    ピットＨ＿ｐｉｔｓヒストグラムとバンプＨ＿ｂｕｍｐｓヒストグラムとを多重するステップと、
    ・関係：
    １／２＜ｒ≦１である、ＶＳ＝ｒ．Ｓ_ｍｉｎ+（１−ｒ）．Ｓ_ｍａｘ
    に従って、前記抽出閾値ＶＳを算出するステップと、
    を含む、
    フェーズを含むことを特徴とする請求項１１記載の方法。
15. 画像から抽出されたデータまたは画像から抽出されたデータを含む画像の抽出されたデータが、任意の入射下でカメラによって撮影される画像から、所望の視野角に従って示される場合に、
    ・コンテクストデータを画定するカメラによって撮影された前記画像に存在するパターンの少なくとも４つの識別可能な特徴的なポイントを検索し、これらの特徴的なポイントは前記画像の角からなっていてもよいステップと、
    ・予め定められた基準に従って任意にデータを抽出するステップと、
    ・相対的な参照位置に関して、前記４つのポイントの相対的な位置から、前記原画像にまたは抽出されたデータにまたはそれらを含んでいる画像になされるべき幾何学的な変形を算出するステップと、
    ・前記幾何学的な変形に従って、前記原画像にまたは前記抽出されたデータにまたはそれらを含んでいる前記画像になされるべき修正を決定するステップと、
    ・このことにより決定された修正を考慮して修正画像を生成するステップと、
    を含む請求項１記載の方法。
16. 被写体と同じ割合を有する修正画像を得るために、前記方法が前記ポイントによって画定された四辺形の実際の高さ／幅の割合の決定をするステップと、前記修正画像の生成においてこの割合ｒを考慮するステップとを含む、請求項１５記載の方法。
17. 前記四辺形は長方形の投影であり、前記長方形の割合の決定が、以下のステップ、即ち、
    ・前記パターンの輪郭から消失点を決定し、前記消失点に接続している水平線を決定するステップと、
    ・前記水平線上のカメラの光学的中心Ｏの投影ポイントＦの座標を決定するステップと、
    ・前記消失点と前記投影ポイントＦとの間の距離から、そして、この投影ポイントＦと前記光学的中心Ｏとの間の距離から、カメラ基点（前記パターンの平面上の前記カメラの光学的中心の正投影）を算出するステップと、
    ・前記光学的中心、前記投影ポイントＦ及び前記カメラ基点の間の距離から焦点距離を算出するステップと、
    ・前記カメラ基点からの従来の距離において、前記消失線と、前記カメラ基点及び前記消失線上に位置するポイントＯ₁、Ｏ₂、Ｐ₁、Ｐ₂だけでなく消失点も接続する前記行との間の交点の座標を算出するステップと、
    ・前記長方形Ｏ₁、Ｏ₂、Ｐ₁、Ｐ₂が前記パターンの平面において伸びている正方形の投影であると考えることによって前もって算出される座標から最初のパターンの寸法の割合を算出するステップと、
    を含む処理に従って実施される請求項１６記載の方法。
18. 両方の消失点が存在する場合に、以下のステップ、即ち、
    ・前記水平線（Ｆ_１，Ｆ_２）上の前記画像Ｏの中心を投影することによって前記ポイントＦの座標を算出するステップと、
    ・関係：
    

    

    を用いて、ポイントＦまでの距離ｄｉｓｔ（Ｘ，Ｆ）によってカメラ基点を算出するステップと、
    ・関係：
    

    

    を用いて焦点距離を算出するステップと、
    ・前もって算出された値からポイントＭ_１、Ｎ_１、Ｏ_１、Ｐ_１の座標を決定するステップと、
    ・先に算出された値からポイントＭ_２、Ｎ_２、Ｏ_２及びＰ_２の座標を決定するステップと、
    ・関係：
    

    

    に従って、交差割合と、長方形Ｏ_１、Ｏ_２、Ｐ_１、Ｐ_２が前記関係に従って前記パターンの平面において伸びている正方形の投影であるという事実と、を用いて物理的アスペクト比ｒを算出するステップと、
    を含む請求項１７記載の方法。
19. 消失線のうちの一組だけが消失点において交差し、一方他の２本の消失線が平行である（無限大に投影された消失点）場合に、割合ｒの算出は前記カメラの予め設定された焦点距離ｆから行われることを特徴とする請求項１６記載の方法。
20. 前記割合ｒは、以下の関係、即ち、
    ｆがカメラの焦点距離（焦点距離ｆが前もって算出されているという理解の下に）である式：
    

    

    によって得られることを特徴とする請求項１９記載の方法。
21. 消失点がない場合、前記割合ｒが、割合：
    

    

    に等しいことを特徴とする請求項１６記載の方法。
22. 修正画像の生成は、以下のフェーズ、即ち、
    ・前記抽出されたデータを含む前記最初の画像の前記有用な部分を分離することによって、さらに 、同じバイナリ値（０または１）をこの有用な部分の前記ピクセルに割り当てることによって、修正されるべき前記領域の最初の（変形された）バイナリマスクを生成するフェーズと、
    ・（参照多角形形状へのあらゆる多角形形状の変形に基づく）前記最初のマスクの直接のホモグラフィの変形によって、理想バイナリマスクを算出するステップと、
    ・前記理想バイナリマスクの各々のピクセル（ｕ，ｖ）に対して、逆のホモグラフィによって、前記最初の画像における位置（ｘ，ｙ）を算出し、最初の画像において補間された（ｘ、ｙ）によってピクセル（ｕ，ｖ）において前記最初の画像の値を決定するフェーズと、
    を含む処理シーケンスを含むことを特徴とする請求項１５記載の方法。
23. バイナリマスクを生成する前記ステップが、任意に抽出されたデータと一致しないピクセルだけでなく前記画像の前記有用な部分を囲んでいる四辺形の外側にある全てのピクセルにゼロ値を割り当てるステップを含むことを特徴とする請求項２２記載の方法。
24. 前記ピクセルが、前記四辺形の限界に対して相対的に前記四辺形内部のポイントＧと同じ側に常にある場合に、前記ピクセルが四辺形の範囲内にあるとみなされ、前記ポイントＧは重力の中心または対角線の交点から成っていてもよいことを特徴とする請求項２３記載の方法。
25. 中間行及び中間列の画像を前もって算出して、前記中間行及び前記中間列の前もって算出された画像の交差によってサブピクセルの画像を得るステップを含む請求項１記載の方法。
26. 前記最終的な画像の算出において、前記理想バイナリマスクの各々のピクセルに、最初の画像または前記抽出されたデータの画像においてこのピクセルの位置を見つけることによって算出される強度値が割り当てられることを特徴とする請求項２２記載の方法。
27. 前記最終的な画像を算出するフェーズにおいて、前記画像は前記理想マスクの行及び列の逆ホモグラフィによって前もって算出され、前記最初の画像の所定のピクセルの位置はそのとき２本の直線の交点を算出することによって推定されることを特徴とする請求項２２乃至２６記載の方法。
28. 前記最終的な画像を生成するステップが、行ｖ及び列ｕの前もって算出された逆の画像の交点、前記最初の画像のｘ、ｙポイントを画定する交点、によって、前記理想マスクのピクセルｕ、ｖの変形された画像における前記位置の前記算出を含み、さらに強度値が、前記最初の画像、または輝度画像からまたは各々のカラーチャネルから抽出されたデータの画像のｘ、ｙポイントにおいて補間されるピクセル（ｕ，ｖ）に割り当てられる、ということを特徴とする請求項１５記載の方法。
29. 前記補間が２本の線であることを特徴とする請求項２８記載の方法。
30. 減算の法則に従って行われる前記最終画像のピクセルの色を決定するステップを含むことを特徴とする請求項１記載の方法。
31. 閾値Ｖ_Sを決定し、前記カメラによって抽出される画像に含まれる手書きまたは印刷された情報の減算の法則による抽出のために抽出されるべき値を選択するステップを含む先行する請求項に記載の方法。
32. 前記閾値Ｖ_Sが、格子状ラインを除去するための勾配の閾値及び／またはノイズ除去閾値と一致することを特徴とする請求項３１記載の方法。
33. カラー画像からの情報の抽出が、赤、緑、青の色チャネルを用いて実施され、データを抽出する前記ステップに、各々の色チャネルに対する閾値の決定するステップと、前記ＲＧＢチャネルからの色情報を抽出するステップと、さらに前記閾値が上回ったということがわかる各々のピクセルにおいて赤、緑、青の値を抽出することによってなされる最終カラー画像への前記ＲＧＢチャネルの組換えのステップと、が続くことを特長とする、請求項１記載の方法。
34. 前記ピクセルの各々に対して、輝度を抽出するステップと、前記原データＤ（ｐ）を抽出するステップと、前記ノイズコンテクストデータＶ_Sを算出するステップと、前記ノイズコンテクストデータを用いて前記ノイズ修正された原データＤ^*（ｐ）を抽出するステップと、次に、以下の算出、即ち、
    

    

    によって修正される輝度画像を生成するステップと、が続くことを特徴とする請求項３３記載の方法。
35. 前記最終的な画像に対する前記色が、以下の２つのステップ、即ち、
    前記背景色が推定されるかまたは任意で設定されるステップと、次に決定されたクロミナンス対比がフィルタなどを用いて前記背景色から除去されるステップと、
    を含む減算の法則に従って得られることを特徴とする請求項３３記載の方法。
36. 前記ノイズコンテクストデータＶ_Sの抽出を行うステップと、次に、データで閾値化することによって、さらに関係：
    

    

    を用いて前記修正されたクロミナンス画像を生成することによって、前記観察されたクロミナンスＲＧＢと前記背景のクロミナンス（Ｖ_R ^Back，Ｖ_G ^Back.，Ｖ_B ^Back.）との間のコントラストを表すチャネルＤ_R、Ｄ_G、Ｄ_Bの前記原データを算出することにより前記色チャネルの前記ノイズ修正された原データ（Ｄ^* _R，Ｄ^* _G，Ｄ^* _B）の抽出を行うステップと、を含むことを特徴とする請求項３５記載の方法。
37. 前記原画像において、支持媒体の白色領域を表しているピクセルのクロミナンスが、（Ｖ_R ^Back.，Ｖ_G ^Back.，Ｖ_B ^Back.）＝（１６０，１４０，１１０）であり、かつ／または前記支持媒体の青色書込領域を表しているピクセルのクロミナンスが、クロミナンス（Ｖ_0R，Ｖ_0V，Ｖ_0B）＝（１２０，１１５，１０５）を有し、そして、前記光学的ノイズの修正された白／青色コントラストが、（Ｄ^* _R，Ｄ^* _G，Ｄ^* _B）＝（１６０−１２０，１４０−１１５，１１０−１０５＝（４０，２５，５）であり、さらに、前記支持媒体の前記白色領域を表している前記最終的な画像の前記ピクセルの前記クロミナンスが、（Ｒ_B，Ｇ_B，Ｂ_B）＝（２５５、２５５、２５５）に設定され、前記最終的な画像の前記支持媒体の青色書込領域が表している前記ピクセルの前記クロミナンスが、そのとき白のクロミナンスからのｆ要因によって先に重みを置かれた前記コントラストを減ずることによって決定され、このピクセルにおける前記最終画像の前記修正されたクロミナンス（Ｒ^*，Ｇ^*，Ｂ^*）が、ｆ＝１の場合に、
    （Ｒ^*，Ｇ^*，Ｂ^*）＝（Ｒ_B−Ｄ^* _R，Ｇ_B−Ｄ^* _G，Ｂ_B−Ｄ^* _B）＝（２５５−４０、２５５−２５、２５５−５）＝（２１５、２３０、２５０）
    になることを特徴とする請求項３６記載の方法。
38. グレイレベル画像Ｉ（ｐ）が前記画像の前記３つの色チャネル（赤、青、緑）の組合せまたは、これらのチャネルのうちの１つのいずれかであってもよいという事実を考慮するとともに、以下のステップ、即ち、
    ・ピットのヒストグラムＨ＿ｐｉｔｓを算出する第１のステップと、
    ・バンプのヒストグラムＨ＿ｂｕｍｐｓを算出する第２のステップと、
    ・前記ピットのヒストグラム及び前記バンプのヒストグラムを重ねる第３のステップと、
    ・前記Ｈ＿ｐｉｔｓヒストグラムと前記Ｈ＿ｂｕｍｐｓヒストグラムとを比較するステップと、
    ・抽出閾値Ｖ_Sを算出するステップと、
    ・閾値Ｖ_Sによって前記原データを抽出するステップと、
    ・輝度情報Ｌ（ｐ）を抽出するステップと、
    を含み、
    前記Ｈ＿ｐｉｔｓヒストグラムと前記Ｈ＿ｂｕｍｐｓヒストグラムとを比較する前記ステップは、β＞０に対して、以下の処理フェーズ、即ち、
    ａ）関係：
    ｓ＝Ｓ_minからｓ＝Ｓ＿ｐｉｔｓ＿ｍａｘに対して、Ｎ＿ｐｉｔｓ＝Ｈ＿ｐｉｔｓ（ｓ）^βの合計
    から値Ｎ＿ｐｉｔｓを算出するフェーズと、
    ｂ）関係：
    ｓ＝Ｓ_minからｓ＝Ｓ＿ｂｕｍｐｓ＿ｍａｘに対して、Ｎ＿ｂｕｍｐｓ＝Ｈ＿ｂｕｍｐｓ（ｓ）^βの合計
    から値Ｎ＿ｂｕｍｐｓを算出するフェーズと、
    ｃ）Ｎ＿ｐｉｔｓがＮ＿ｂｕｍｐｓより小なる場合に、明るい背景上の暗い情報が抽出されなければならないか、または暗い背景上の明るい情報が抽出されなければならないフェーズと、
    を含むことを特徴とする請求項３３記載の方法。
39. 前記抽出閾値の前記算出が、関係：
    １／２≦ｒ≦１である、Ｖ_S＝ｒ．Ｓ_min＋（１−ｒ）．Ｓ_max
    従って実施されることを特徴とする請求項３８記載の方法。
40. 輝度情報Ｌ（ｐ）を抽出するステップは、以下の処理フェーズ、即ち、
    ・前記情報が、明るい背景上の暗い情報である場合に、Ｉから差分画像Ｄを算出するかまたはそうでなければ、Ｉ_max−ＩからＤを算出するフェーズと、
    ・前記差分画像Ｄ（ｐ）の各々のピクセルｐに対して、Ｄ（ｐ）＜Ｖ_Sであって、Ｄ（ｐ）が関連があるとみなされて抽出される場合に、
    前記情報が明るい背景上の黒い情報である場合に、
    Ｉ_maxが２５５に等しくてもよい、値Ｌ（ｐ）＝Ｉ_max−ｆ．Ｄ（ｐ）、またはそうでなければ、Ｉ_minが０に等しくてもよい、値Ｌ（ｐ）＝Ｉ_min+ｆ．Ｄ（ｐ）が算出されるフェーズと、
    ・Ｄ（ｐ）が関連があるとみなされない場合に、
    前記情報が明るい背景上の暗い情報である場合に、
    値Ｌ（ｐ）がＩ_max（明るい背景）に等しく、このときＩ_maxが２５５に等しくてもよく、
    またはそうでなければ、値Ｌ（ｐ）がＩ_min（暗い背景）に等しく、このときＩ_minが０に等しくてもよいフェーズと、
    を含むことを特徴とする請求項３８記載の方法。
41. 前もって定められた物理的な縦横比ｒ＝ＣＤ／ＡＢ、前記画像内の前もって定められ投影ポイントＤ、及び公知の投影距離（ＣＤ）を有する、頂点（Ａ，Ｂ，Ｃ，Ｄ）を備えた長方形の被写体に含まれるデータから、予め定められた焦点距離（ｆ）、ｉが入射角である傾斜角（（π／２）−ｉ）、前記カメラの軸の周りの回転角α、及びｉ≠０である場合に、前記既存の消失点Ｆ₁の１つに相対的に予め定められたスキュー角（β）を有するカメラを用いて、投影される画像のシミュレーションを含む方法が、
    以下のステップ、即ち、
    ・常に前記物理的アスペクト比ｒを用いて前記３つの未知のポイント（Ａ，Ｂ，Ｃ）の位置を算出する第１のステップと、
    ・ホモグラフィの関係を算出して、前記シミュレートされた画像上へ前記元の長方形の被写体に含まれる前記情報を投影する第２のステップと、
    ・先に決定されたホモグラフィの関係を用いて前記シミュレートされた画像の輝度及びクロミナンスを決定する第３のステップと、
    を含む、請求項１記載の方法。

Images