JP2009538057A - ライン又はテキスト・ベース画像処理ツール - Google Patents

Abstract

本発明の１つの実施の形態によれば、画像プロセッサ、ユニークな画像処理機構、及びユニークな画像処理起動機構を含む装置が提供される。前記画像プロセッサは、あるタイプの画像を処理するユニークな画像処理機構を含む。前記ユニークな画像処理起動機構は、前記ユニークな画像処理機構に所与の画像を処理させる。

Description

本発明の態様は、ライン又はテキスト形成対象を有するホワイトボード、ブラックボード、又は文書の画像処理に関する。本発明の他の態様は、画像取り込み特徴を有しかつ具体的にはホワイトボード又はブラックボード取り込み特徴を有する携帯電話のようなあるタイプの埋込み装置に関する。

種々のタイプの文書及び画像が、異なる状況において用いられている。例えば、ホワイトボードは、審議や会議時に、またアイデアを交換するために、頻繁に用いられる。ブラックボードも用いられる。多くの状況において、画像は例えばカメラによって取り込むことができるが、取り込まれたデジタル画像は不良な品質を有する可能性がある。例えば、画像背景は、歪み、シェーデイング、および見ずらくする他の情報を含む可能性がある。

発明の概要

本発明の１つの実施の形態によれば、装置が提供される。その装置は、あるタイプの画像を処理するためのユニークな画像処理機構を含む。その画像処理機構に所与の画像を処理させるために、ユニークな画像処理起動機構が提供される。

詳細な説明

本発明は、同様の参照番号が図面の幾つかの図にわたって同様の部分を示す非限定的な実施形態についての図面を参照することにより、下記の詳細な説明において更に説明される。

本発明の態様は、ブラックボード又はホワイトボードの取り込みデジタル画像の背景における歪みをクリーンアップ（cleanup）又は除去するために、ブラックボード及び（又は）ホワイトボード・クリーンアップ機構を有するカメラに関する。本発明の他の態様は、例えば、テキスト、及び情報の他のライン表示を含む文書についての画像処理を行うための特徴のような文書処理に関してもよい。このような文書は、その文書内の情報を見ることが出来るのを妨げる、歪んだ又は不要な背景情報を含む可能性がある。例えば、１つの文書のフォトコピーは、その文書の複写版に縞を生ずる可能性がある。縞のある文書は、その文書の取り込みデジタル画像を形成するために複写されることがある。背景が分離されかつ削除又は除去されて、その結果得られる画像には所望の前景情報が残される。

本発明の他の態様は、モバイル装置、例えば、カメラを含む携帯電話に関する。本発明の他の態様は、カメラと組み合わせられたこのようなモバイル装置に関し、その装置は特殊なブラックボード及び（又は）ホワイトボード・クリーンアップ機構を含む。この装置は、クリーンアップされた画像を受取人に、リモート・サーバーに、あるいはリモート・ウエブサイトに送信するためのクリーンアップ画像送信機構をさらに設けられてもよい。

埋込み装置はカメラであってもよい。あるいは、この埋込み装置は、移動通信装置、例えば、カメラを組み合わせられた音声送信機能を有する又はカメラを含む携帯電話であってもよい。埋込み装置ではなくて、文書ファクシミリ読取装置又はコピー機械のような大型の装置が提供されてもよい。この装置は、ビジネスカード・リーダー、バーコード・スキャー、及び（又は）文書スキャナであってもよい。これらの装置のそれぞれは、より良好に提示された前景情報を有する処理画像とするために、テキスト又はライン・ベースの画像から不所望の背景情報を除去又は分離するための文書クリーンアップ機構を設けられてもよい。
ここで図面を更に詳細に参照すると、図１は、埋込み装置１０のブロック図である。例示の埋込み装置１０は、例えば、カメラを有する移動通信装置を含む。あるいは、この装置は、カメラ自体であってもよく、又は、例えば、上記のような他のタイプの装置であってもよい。この特定の実施の形態では、その埋込み装置は、カメラを有する携帯電話である。例示の装置１０は、画像ファイル１４を保持するメモリ１２、カメラユニット１６、画像プロセッサ２６、及び移動通信プロセッサ２４を含む。これらのコンポーネントは、データバス２２によって互いに接続される。

カメラ・ユニット１６は、カメラ・コントロール１７、イメージ・センサ１８、デイスプレイ１９、及びレンズ・アセンブリ２０を含む。

画像処理コンポーネント又は画像プロセッサ２６は、文書プロセッサ２８を含む。例示の実施の形態では、文書プロセッサ２８は、ボード・プロセッサ、例えば、ホワイトボード・プロセッサ又はブラックボード・プロセッサである。文書プロセッサ２８は、あるタイプの画像を処理するためのユニークな画像処理機構を含む。そのタイプの画像は、その文書によって描写されるべきライン及びテキスト記述情報を主として有する文書であってもよい。このタイプの文書は、具体的にはラインとテキストを有する白黒文書であってもよい。文書プロセッサは、ビジネスカードの取り込みデジタル画像を処理するように調整されてもよい。上記特定の実施の形態によれば、文書プロセッサ２８は、ホワイトボード又はブラックボードを処理するように調整される。

文書プロセッサ２８のユニークな画像処理機構は、コントラスト増加機構、局部利得調節機構（local gain adjustment mechanism）、又は背景削除機構を含んでもよい。これらの画像処理機構はそれぞれ、処理されるべき文書の取り込みデジタル画像から不必要な気になる背景情報を実質的に分離又は除去することになりうる。

図２は、図１に示された埋込み装置１０のユーザ・インタフェース４０の機能的な概略ブロック図である。例示のユーザ・インタフェース４０は、画像撮影インタフェース・コンポーネント４２、文書処理インタフェース・コンポーネント４６、及びデイスプレイ動作及び設定インタフェース・コンポーネント５０を含む。さらに、例示のインタフェース４０は、移動通信動作及び設定インタフェース・コンポーネント５２、及び他の機能インタフェース・コンポーネント５４を含んでもよい。

画像撮影インタフェース・コンポーネント４２は、写真を撮ることに関する部分４３及び写真及びカメラ設定に関する部分４４を含んでもよい。

文書処理インタフェース・コンポーネント４６は、文書を処理することに関する部分４７及びある文書処理設定を画定することに関する部分４８を含んでもよい。

これらのインタフェース・コンポーネントはそれぞれ、例えば、情報をユーザに通信するためのデイスプレイ又は通知機構を含んでもよい。例えば、音、光、あるいは表示されたテキスト又は画像情報がユーザに提供され、インタフェース・コンポーネント機能に関するある情報及びその機能に関する埋込み装置の状態をユーザに提示するようにしてもよい。さらに、図示されたインタフェース・コンポーネントはそれぞれ、装置の特定の機能を起動するための又は例えば装置の１つ又はそれより多い機能の設定を変更するために装置に情報を入力するための入力又は起動機構を含んでいてもよい。

図３は、文書処理コンポーネントのフローチャートを示しており、この場合、文書は例えばホワイトボードである。例示のプロセスは、ステップ６０において背景画像を取得すること、及び、続いて、原画像とステップ６８における背景画像との差を計算することを含む。つぎに、その差画像は、ステップ７０において高められ、そしてステップ７２において圧縮されうる。さらに、得られた画像のフォーマットはステップ７２において変換されうる。文書が圧縮される場合には、その文書はJPEGフォーマット画像の形式に圧縮されうる。

ステップ６０において背景画像を取得する場合には、処理されるべき所与の画像は、ステップ６２においてサブサンプリングされ（subsampled）、その後で、ステップ６４において、ローパス・フィルタがそのサブサンプリングされた画像に適用されうる。ステップ６４においてローパス・フィルタを適用した後で、画像のピクセル情報がステップ６６においてスーパーサンプリングされ（supersampled）うる。ステップ６４においてローパス・フィルタ・オペレーションを適用することに代えて、モルフォロジカル・オペレーション（morphological operation）が行われてもよいことに注目されたい。

図３に示されているプロセスでは、処理されている画像は、一般的にはデジタル取り込み画像であり、この場合には、ホワートボード画像である。従って、各ステージにおける画像は一般に、ピクセルのパターン、例えば、ピクセルのアレイを含み、各ピクセルは１つ又は複数の異なるカラー成分を含み、各カラー成分の強度は、例えば、マグニチュード値（magnitude value）で表される。

特定のステップ６２、６４、及び６６に加えて又はそれらに代えて、背景画像を取得する場合には、原画像を処理してそれから背景画像を得るために、メデイアン・フィルタ（median filter）、平滑フィルタ、及びモルフォロジカル・オペレーション（morphological operation）のうちの１つ又はそれらの組み合わせが利用されうる。

図４は、歪んだ又は不所望の背景情報を含むホワイトボードの原デジタル取り込み画像の簡略図である。図５は、図４における画像から得られた分離された背景画像の簡略図である。図６は、得られた処理画像であり、望ましくない背景情報は除去されている。図４〜６は、ここでの説明のために簡略化されている。これらの図におけるコンテンツ、例えば、図６におけるR、G、Bは、シェーデイング（shading）と、そのコンテンツ内におけるシェーデイングに対する歪みとを一緒に含むことがありうる。例示のプロセスは、コンテンツ内のこれらの背景歪みを除去することもできる。

デジタル取り込み画像が、例えば、ホワイトボード又は他のタイプの文書を撮影することによって得られる場合には、得られる取り込み画像の背景に歪みと例えば、照明の変化及びレンズの不均一性によって、背景不整合（background inconsistencies）が生ずる可能性がある。文書のある部分は明るく、他の部分は暗いことがありうる。

例えば、図３において行われる処理は、（R,G,B）空間ではなくて（Y,Cb,Cr）空間における画像にたいしてであってもよい。これは、セーブされる画像がJPRGモードであることがはるかに多いからである。従って、図３に示された処理は、一般にYチャンネル上に集中されてもよい。ここで記述される方法は、任意の画像フォーマットに適用されてもよく、かつ（R,G,B）空間にも適用されうる。

特定の実施の形態が、（Y,Cb,Cr）空間に基づいて更に詳細に説明される。この方法の最初の仕事において、ホワイトボードの取り込みデジタル画像から背景コンテンツを除去することによって、背景が得られる。これは、例えば、ホワイトボード背景が一般的に細いラインを含む場合に、「膨張」（”dilate”）及び「侵食」（”erode”）のようなモルフォロジカル・オペレーション（morphological operation）によって行われてもよい。あるいは、前景情報は、画像をサブサンプリングしかつメデイアン・フィルタを画像に適用することによって除去されてもよい。画像のサブサンプリングとフィルタ処理は、結果を改善するためにマルチ・スケーリング・ステップ（multi-scaling steps）で実行されうる。

サブサンプリング、フィルタリング及び続いてのスーパーサンプリングから得られる幾つかの利益は、ホワイトボードからの前景情報のより完璧な除去を含む。一般的に細いラインを含む前景におけるコンテンツは、ピクセルの限定された量をカバーする。高いサブサンプリング比を実行することによって、この情報は容易に除去できる。例えば、1280x960の画像サイズの場合には、16もの高いサブサンプリング比が利用可能である。サブサンプリングされた画像は、わずかに80x60のサイズを有するであろう。小さな縮小された画像では、ホワイトボードにおけるコンテンツがある程度だけ除去されている。大規模な縮小の他の利益は、前景コンテンツを効果的に削除するために、小さいカーネル（small kernel）による爾後のフィルタ処理が使用されうることである。例えば、そのカーネルは3x3程度に小さくもよい。さらに、縮小された画像は非常に小さいので、続いてのフィルタリング処理のコスト（すなわち、処理メモリ必要量）が減少される。

サブサンプリングを行うためには最近傍法（“nearest neighbor”method）が用いられてもよく、あるいは他の補間法が用いられてもよい。

サブサンプリングの後でも、ある程度の前景情報が画像内に存在する可能性がある。この時点で、例えば、前景コンテンツをさらに除去するために、サブサンプリングされた画像に単純な3x3メデイアン・フィルタが適用されてもよい。より良好な効果を与えるように、前景コンテンツを完全に除去しかつホワイトボード背景画像を得るためには、メデイアン・フィルタが、数回、適用されてもよい。前景コンテンツを除去するためには、3x3平滑フィルタが用いられてもよい。

メデイアンフィルタ処理を行った後では、サブサンプリングされた背景画像が得られている。原画像の原サンプル解像度に対応する画像を有するために、その画像は原解像度にサブサンプリングされる。これを行うためには、スムーズな補間を得るために双線形補間法が用いられうる。例えばバイキュービク（bicubic）、スプライン（spline）、あるいは種々のタイプの平滑化補間法のような他の補間法も利用可能である。

ホワイトボードを処理する場合には、前景コンテンツを得るために、原画像が背景画像から控除されうる。この時点で、コンテンツ画像が得られる。このコンテンツ画像は、比率掛算（ratio multiplication）を用いて画質を向上できる。この比率は、例えば、図２に示されているような文書処理設定インタフェース・コンポーネントを利用して、設定を変更することによって決定可能である。一般に、この比率は、２と５の間であってもよい。

この時点で、画像に閾値が適用されてもよく、この閾値より低い値を有するピクセルはノイズとして処理され、増幅されない。

画質を向上されたコンテンツ画像が得られた後で、それが純粋なホワイト画像から控除されて、回復されたきれいなホワイトボード画像に対応する画像が得られるようになされうる。

コンテンツ画像のカラーチャンネルに対しては、色相を変化しないように保持するために、CbとCrの間の比率は変更されてはならない。

他方、鮮やかで鮮明なカラーを得るために、それらの飽和度（saturation）が高められてもよい。

Cb及びCrチャンネルにYチャンネルに対して用いられるのと同じ増幅率（それは異なっていてもよい）を掛算することによって、カラー飽和度が効率的に高められうる。

ブラックボード画像を処理する場合には、コンテンツ情報を得るために、背景画像が原画像から控除可能であり、かつ画質を向上された信号画像は、純粋なブラック画像を控除することによって取得可能である。

他の点では、これらのプロセスは、ホワイトボード画像について上述したのと同じであってもよい。

最初に提出された請求項は、それが補正されることがあっても、現在では予測されない又は理解されないもの及び例えば出願人/特許権者及びその他から生まれる可能性のあるものを含めて、ここに開示された実施の形態及び教示の変更、代替、修正、改良、均等、及び実質的な均等を包含する。

本発明の１つの実施の形態による、他の特徴とともにボード・プロセッサを含む埋込み装置のブロック図である。 図２に示された埋込み装置のユーザ・インタフェースの機能的な概略図である。 図１に例示された文書プロセッサによって行われる文書処理方法の流れ図を示す。 画像の背景に歪みを有する取り込みホワイトボード画像の簡略図を示す。 図４に示された画像から分離された背景の簡略図である。 図４に示された画像を処理して得られたもの（resulting processed version）の簡略図であり、図５に示されたように分離された背景が削除又は除去されている。

Claims (32)

1. あるタイプの画像を処理するためのユニークな画像処理機構を含む画像プロセッサと、
   前記ユニークな画像処理機構に所与の画像を処理させるためのユニークな画像処理起動機構を備える装置。
2. 前記装置は、埋込み装置を含み、該埋込み装置は、前記画像プロセッサ及び前記ユニークな画像処理機構を備え、前記埋込み装置は、前記ユニークな画像処理起動機構を更に備える、請求項１による装置。
3. カメラを更に備える、請求項１による装置。
4. 携帯電話及びカメラを含む移動通信装置を更に備える、請求項１による装置。
5. 前記装置は、文書ファクシミリ読取り装置、フォトコピー機械、ビジネスカード・リーダー、バーコード・スキャナ、及び文書スキャナのうちの１つを備える、請求項１による装置。
6. 前記あるタイプの画像は文書である、請求項１による装置。
7. 前記あるタイプの画像は、ライン及びテキストを含む白黒文書である、請求項１による装置。
8. 前記あるタイプの画像は、ビジネスカードの画像である、請求項１による装置。
9. 前記あるタイプの画像は、ブラックボード及びホワイトボードのうちの少なくとも１つの画像である、請求項１による装置。
10. 前記あるタイプの画像は、ブラックボードの画像である、請求項９による装置。
11. 前記あるタイプの画像は、ホワイトボードの画像である、請求項９による装置。
12. 前記所与の画像を撮影するための画像撮影機を更に備える、請求項９による装置。
13. 前記画像撮影機は、イメージ・センサ及びレンズ・アセンブリを含むカメラ要素を含む、請求項１２による装置。
14. 前記所与の画像を表示するための画像デイスプレイを更に備える、請求項９による装置。
15. 移動通信プロセッサを更に含む、請求項１２による装置。
16. 前記移動通信プロセッサは、携帯電話のためのプロセッサを含む、請求項１５による装置。
17. 前記移動通信プロセッサは、無線接続によって前記所与の画像を独別のリモート・デバイスから受信しかつ該リモート・デバイスに送るための機構を含む、請求項１６による装置。
18. 前記ユニークな画像処理機構は、前記画像プロセッサから独立した単独のユニークな画像プロセッサを含む、請求項１による装置。
19. 前記ユニークな画像処理機構は、コントラスト増加機構を含む、請求項１による装置。
20. 前記ユニークな画像処理機構は、ガンマ変更機構を含む、請求項１による装置。
21. 前記ユニークな画像処理機構は、局部利得調節機構を含む、請求項１による装置。
22. 前記ユニークな画像処理機構は、背景控除機構を含み、該背景控除機構は、前記所与の画像から背景画像を得るための背景セパレータを含み、前記背景控除機構は、前記前景を含んだ所与の画像におけるピクセル値と前記背景画像における対応したピクセル値との間の各差に基づいたピクセル値を有する画像を形成するための差計算器を更に含む、請求項１による装置。
23. 前記背景セパレータは、それぞれ前記所与の画像をサブサンプリングし、フィルタリングし、そして続いてスーパーサンプリングするためのサブサンプル機構、フィルタ機構、及びスーパーサンプル機構を含む、請求項２２による装置。
24. 前記背景セパレータは、１つのメデイアンフィルタ又はメデイアンフィルタの組み合わせ、平滑フィルタ、及びモルフォロジカル・オペレータを含む請求項２２による装置。
25. あるタイプの画像を処理するためのユニークな画像処理機構を含む画像プロセッサと、
    前記ユニークな画像処理機構に所与の画像を処理させるためのユニークな画像処理起動機構とを備える集積回路。
26. 前記ユニークな画像処理機構は、背景控除機構を含み、該背景控除機構は、前記所与の画像から背景画像を得るための背景セパレータを含み、前記背景控除機構は、前記前景を含んだ所与の画像におけるピクセル値と前記背景画像における対応したピクセル値との間の各差に基づいたピクセル値を有する画像を形成するための差計算器を更に含む、請求項２５による集積回路。
27. 埋込み装置内で画像を処理しかつあるタイプの画像に対してユニークな画像処理を行うことと、
    所与の画像のユニークな画像処理を生じさせるために前記ユニークな画像処理を起動することとを含む方法。
28. 前記ユニークな画像処理は、背景控除を行うことを含み、前記背景控除は、前記所与の画像から背景画像を分離することを含み、前記背景控除は、前景に含まれた所与の画像におけるピクセル値と前記背景画像における対応したピクセル値との間の各差に基づいたピクセル値を有する画像を形成するために差を計算することを更に含む、請求項２７による方法。
29. データで符号化され、該符号化データは、
    埋込み装置内で画像を処理しかつあるタイプの画像についてユニークな画像処理を行うこと、および
    所与の画像の前記ユニークな画像処理を生じさせるために前記ユニークな画像処理を起動させることを
    生じさせるための機械で補間可能である、機械読可読媒体。
30. 前記符号化データは、前記ユニークな画像処理に背景控除を行うことを含ませるための機械で補間可能であり、前記背景控除は、前記所与の画像から背景画像を分離することを含み、前記背景控除は、前景に含まれた所与の画像におけるピクセル値と前記背景画像における対応するピクセル値との各差に基づいたピクセル値を有する画像を形成するために差を計算することを更に含む、請求項２９による機械可読媒体。
31. 埋込み装置においてデジタル取り込み画像について画像処理を行うための手段を備え、該画像処理を行う手段は、あるタイプの画像を処理するためのユニークな画像処理手段を含み、
    所与の画像を処理するために前記ユニークな画像処理手段を起動するための手段を備える装置。
32. ユニークな画像処理を行うための前記手段は、背景控除処理を行うための手段を含み、該背景控除処理を行うための手段は、前記所与の画像から背景画像を分離するための手段及び差画像を計算するための手段を含む、請求項３１による装置。

Images