JP2005323370A - マルチレベル画像の適応圧縮 - Google Patents

マルチレベル画像の適応圧縮 Download PDF

Info

Publication number
JP2005323370A
JP2005323370A JP2005134616A JP2005134616A JP2005323370A JP 2005323370 A JP2005323370 A JP 2005323370A JP 2005134616 A JP2005134616 A JP 2005134616A JP 2005134616 A JP2005134616 A JP 2005134616A JP 2005323370 A JP2005323370 A JP 2005323370A
Authority
JP
Japan
Prior art keywords
image
color
foreground
level
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005134616A
Other languages
English (en)
Other versions
JP5036138B2 (ja
Inventor
Erin L Renshaw
エル.レンショー エリン
Henrique S Malvar
エス.マルバー エンリケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005323370A publication Critical patent/JP2005323370A/ja
Application granted granted Critical
Publication of JP5036138B2 publication Critical patent/JP5036138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation

Abstract

【課題】 改善された画像圧縮および質を高められた画像プレゼンテーションを容易にするシステムおよび方法を提供すること。
【解決手段】 本発明は、ホワイトボードのキャプチャされたデジタル画像などのマルチレベル画像の適応圧縮を容易にし、色画像コンポーネントおよび白黒画像コンポーネントを含むビットストリームをエンコードする。色画像および白黒画像の一方または両方を、ユーザの望み、受け取る装置の能力などに基づいてユーザに出力することができる。
【選択図】 図1

Description

本発明は、コンピュータ環境での通信に関し、具体的には、マルチレベル画像に関連するデータの圧縮に関する。
高コスト低性能データ処理システムから低コスト高性能の通信システム、問題解決システム、およびエンターテイメントシステムへのコンピュータテクノロジおよびネットワークテクノロジの進歩は、通信、請求の支払い、買物、予算管理、および情報収集などの日常の作業を行う負担を減らす、コスト効率が良く時間を節約する手段を提供した。例えば、有線テクノロジまたは無線テクノロジを介してインターネットにインターフェースされたコンピューティングシステムは、ユーザの指先での世界中に配置されたウェブサイトおよびサーバの集積からの豊富な情報へのほぼ瞬間的なアクセスのチャネルをユーザに提供することができる。
画像のキャプチャおよび散布は、コンピュータ産業のますます重要になる分野である。通常、画像またはビットマップの3つの基本クラスがある。例えば、フルカラー画像に、ピクセルあたり数百万個の可能な色が含まれる。3色座標としての各ピクセルは、{R、G、B}を調和させ、このRGBのそれぞれが8ビットから16ビットを表す。フルカラービットマップは、通常、JPEG(Joint Photographic Experts Group)フォーマット、JPEG2000フォーマット、またはPNG(Portable Network Graphics)フォーマットで表される。カラーマッピングされた画像に、ピクセルあたり少数の可能な色が含まれる。各ピクセルは、通常、各色の{R、G、B}値を含むカラーテーブルへのインデックスである値を有する。カラーマッピングされた画像は、しばしば、GIF(Graphics Interchange Format)またはPNGフォーマットで提示される。バイレベル画像(ファクシミリ)は、通常は黒と白である、ピクセル当たり2色を使用し、通常は文書画像に使用される。したがって、バイレベル画像は、しばしば、TIFF(Tagged Image File Format)またはPNGフォーマットで表示される。
当技術分野には、改善された画像圧縮および質を高められた画像プレゼンテーションを容易にするシステムおよび方法に関する課題が存在する。
下では、本発明のいくつかの態様の基本的な理解を提供するために、本発明の単純化された要約を提示する。この要約は、本発明の広範囲の概要ではない。本発明の主要な/決定的に重要な要素を識別すること、または本発明の範囲を区切ることは意図されていない。この要約の唯一の目的は、後で提示される、より詳細な説明の前置きとして、単純化された形で本発明のいくつかの概念を提示することである。
本明細書で開示され、請求される発明は、その一態様で、ホワイトボードシステムおよび/または文書キャプチャシステムによって作られた画像の圧縮を容易にするシステムに関する。通常、画像の3つのクラスがあり、そのそれぞれが、画像のその特定のクラス用のコーデックまたはアルゴリズムによって最もよく圧縮される。本発明は、カラーマッピングされた画像、具体的にはホワイトボードの画像をキャプチャすることによって作られたカラーマッピングされた画像のコーデックを提供する。通常、そのような画像に関して、大多数のピクセルが、背景色(例えば白)を有し、少数のピクセルが、複数の色の1つによって近似できる(例えば、予め定められた色のテーブルから選択できる)色を有する。カラーテーブルは、比較的少数の色調を有することができる。というのは、通常の乾くと消去できるペンが、製造される色、色調などの数において制限されているからである。ホワイトボード画像は、マルチレベル画像と考えられ、各ピクセル値は、色値(例えば「レベル」)の短いテーブルへのインデックスである。
本発明の一態様によれば、マルチレベルコーデック(MLC)を介して、マルチレベル画像の効率的な表現に関する圧縮アルゴリズムが提供される。カラーマッピングされた画像は、通常、ピクセルあたり少数の可能な色を有する。各ピクセルは、通常、各色の{R、G、B}値を含むカラーテーブルへのインデックスである値を有する。カラーマッピングされた画像の一般的なコーデックに、GIFおよびPNGが含まれる。MLCは、一般的なGIFまたはPNGフォーマットよりも優れたカラーマッピングされた画像の圧縮を容易にする。さらに、通常のエンコードされたビットストリームに、画像の白黒バージョンおよびカラーバージョンを表す、別々にデコードできるコンポーネントが含まれる。したがって、帯域幅が制限される時、画像の白黒バージョンを、エンコードされたビットストリームの小さい部分からデコードすることができる。
本発明の関連する態様によれば、入力画像の圧縮を2ステージで行うことができるものなど、二重圧縮機能性を提供することができる。まず、各ピクセルの背景/前景フラグを圧縮して、画像の白黒表現を効果的に圧縮する。これは、例えば、バイレベルコーデックコンプレッサを介して達成することができる。次に、前景ピクセルのカラーインデックス情報を、(例えばジブ−レンペル(LZ)ファミリの)エントロピエンコーダによって圧縮することができる。本発明のこの態様は、例えば、リモート会議コラボレーション、情報交換、ホワイトボード内容共有などの機能強化を容易にする。さらに、MLCは、高品位画像圧縮を容易にして、潜在的に有害な帯域幅制限を軽減する。帯域幅が非常に制限されている場合に、本発明は、エンコードされた情報を白黒バージョンおよびカラーバージョンに区分することができ、その後、白黒バージョンだけを送信して、帯域幅制約(例えば、ハードワイヤ回線、無線などを介する送信)に従うことができる。
本発明のもう1つの態様によれば、前景/背景画像b(m,n)を、バイレベルコーデック(BLC)などのバイレベルエンコーダを用いてエンコードすることができる。カラーマップサイズを、ベクトル量子化または類似するプロシージャを介して選択的に減らすことができる。すべての前景ピクセル値によって形成されるストリング(またはベクトル)を、LZエンコーダなどのエントロピコーダを用いてエンコードすることができる。例えば、BLCコーダを使用して、白黒画像b(m,n)をエンコードすることができ、LZ77ベースのzlibライブラリを使用して、前景色をエンコードすることができる。他の種類バイレベルコーデック(例えば、TIFF、PNG)およびストリングコーデック(例えば、他のLZ変種)を、本発明と共に追加して使用することができる。
前述の目的および関連する目的を達成するために、本明細書で、次の説明および添付図面に関して本発明の例示的な態様を説明する。しかし、これらの態様は、本発明の原理を使用できる様々な形のうちのごく少数を示すものであり、本発明は、そのような態様および同等物のすべてを含むことが意図されている。本発明の他の長所および新規の特徴は、図面と共に検討される時の本発明の次の詳細な説明から明白になる。
本発明を、図面を参照してこれから説明するが、図面では、類似する符号が、すべての図面を通じて類似する要素を指すものとして使用される。次の説明では、説明のために、本発明の完全な理解を提供するために、多数の具体的な詳細を示す。しかし、本発明を、これらの具体的な詳細なしで実践できることは明白である。他の場合には、本発明の説明を容易にするために、周知の構造および装置をブロック図形式で示す。
本明細書で使用される用語「コンポーネント」および「システム」は、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行中のソフトウェアのどれであれ、コンピュータ関連のエンティティを指すことが意図されている。例えば、コンポーネントは、処理装置で動作するプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および/またはコンピュータとすることができるが、これに制限されない。例えば、サーバで動作するアプリケーションとサーバとの両方を、コンポーネントとすることができる。1つまたは複数のコンポーネントが、プロセスおよび/または実行のスレッドの中に存在することができ、1つのコンポーネントを、1つのコンピュータにローカライズし、かつ/または複数のコンピュータの間で分散することができる。
本明細書で使用されるときに、用語「推論」は、一般に、イベントおよび/またはデータを介して取り込まれた観察の集合からの、システム、環境、および/またはユーザの状態に関する推理または推論の処理を指す。例えば、推論は、特定の状況または処理を識別するのに用いることができ、あるいは、状態に対する確率分布を生成することができる。推論は、確率的すなわち、データおよびイベントの考慮に基づく、重要な状態に対する確率分布の計算とすることができる。推論は、イベントおよび/またはデータの集合から上位イベントを構成するのに用いられる技法を指すこともできる。そのような推論は、イベントが時間的に非常に近接して相関するか否かにかかわらず、イベントおよびデータが1つまたは複数のイベントソースおよびデータソースのいずれかから来るかにかかわらず、観察されたイベントおよび/または保管されたイベントデータの集合からの新しいイベントまたは処理の構成をもたらす。
本発明は、カラーマッピングされた画像、特にキャプチャによって作られるカラーマッピングされた画像、例えばホワイトボードの色画像(例えば図4を参照されたい)のコーデックを提供する。そのような画像に、背景色(例えば白)を有する大多数のピクセルと、小さいカラーテーブルの複数の色の1つによって近似できる色を有する少数のピクセルが含まれる。カラーテーブルは、比較的少数の色調を有することができる。というのは、通常の乾くと消去できるペンが、製造される色、色調などの数において制限されているからである。ホワイトボード画像は、マルチレベル画像と考えられ、各ピクセル値は、色値(例えば「レベル」)の短いテーブルへのインデックスである。
カラーマッピングされた画像は、通常は、ピクセルあたり少数の可能な色を有する。各ピクセルは、通常は、各色の{R、G、B}値を含むカラーテーブルへのインデックスである値を有する。カラーマッピングされた画像の一般的なコーデックに、GIFおよびPNGが含まれる。マルチレベルコーデック(MLC)は、一般的なGIFフォーマットまたはPNGフォーマットよりも優れたカラーマッピングされた画像の圧縮を容易にする。さらに、通常のエンコードされたビットストリームに、画像の白黒バージョンおよびカラーバージョンを表す、別々にデコードできるコンポーネントが含まれる。したがって、帯域幅が制限されるとき、画像の白黒バージョン(例えば図5を参照されたい)を、エンコードされたビットストリームの小さい部分からデコードすることができる。
図1は、本発明の態様による、ホワイトボードのデジタルキャプチャされた画像など、マルチレベル画像の適応圧縮(adaptive compression)を容易にするシステム100を示す図である。制御コンポーネント102が、機能的に圧縮コンポーネント104に結合され、圧縮コンポーネント104は、システム100に二重圧縮機能性を提供して、デジタルキャプチャされたホワイトボードなどのマルチレベル画像を圧縮する。圧縮コンポーネント104に、マルチレベルコーデック(MLC)を使用するエンコーダ106が含まれ、MLCは、マルチレベル画像を圧縮するアルゴリズムである。エンコーダコンポーネント106は、通常、後述するように、ヘッダ情報(画像寸法、色の数、および他の類似するパラメータに関する情報を含む)、エンコードされた背景、およびエンコードされた前景色ストリングを含む複数の部分からなる、オリジナル画像の圧縮表現(ビットストリームおよび/またはファイル)を生成する。
例えば、画像x(m,n)、0≦m≦N−1、0≦n≦N−1(NおよびNは、それぞれ行の個数および列の個数である)を、システム100に入力することができる。各ピクセルx(m,n)は、範囲[0...L−1]内の値vを有することができ、Lは色の個数である。実際の色値は、カラーマップM={[r],[r],...,[rL−1L−1L−1]}に保管され、ここで、すべてのカラーインデックス0≦v≦L−1について、それに対応する色を決定するRGB値のトリプレットがある。したがって、入力データは、ピクセル値x(m,n)の集合およびカラーマップMである。圧縮コンポーネント104は、制御コンポーネント102と共に、入力画像の背景色vを判定することができる。ほとんどのピクセルが、背景色を有するので、vは、最大の個数のピクセルが取る色値vと等しくなるように設定することができる。通常、vは、白に近いが、他の背景色が可能である。N、N、およびvの値を含むヘッダを、圧縮ビットストリーム(またはファイル)について書き込むことができる。このヘッダは、後で定義するカラーマップのスペースを残すように設計することができる。
圧縮コンポーネント104および/またはエンコーダ106は、次のように、オリジナル入力画像を対応する白黒画像b(m,n)にマッピングすることができる。
x(m,n)=Vの場合、b(m,n)=0(例えば、ピクセルが背景に含まれる)
x(m,n)≠Vの場合、b(m,n)=1(例えば、ピクセルが前景に含まれる)
白黒画像b(m,n)を、バイレベルコーデック(BLC)を用いてエンコードすることができ、BLCによって生成されたビットを、出力ビットストリームおよび/またはファイルに付加することができる。図4の画像に対応する白黒画像b(m,n)の例を、図5に示す。さらに、エンコーダ106は、前景ピクセルの色値をエンコードすることができる。前景ピクセルの位置は、白黒画像b(m,n)から既にわかっているので、スキャンの順序でのすべての前景ピクセルの値を、ストリングS={v,v,...,vF−1}に付加することができる。ここで、Fは、前景ピクセルの個数である(通常、Fは、ピクセルの総数N×Nよりはるかに少ない)。
ストリングSをエンコードするために、システムエンコーダ106は、次の2つのモードを使用することができる。Sの前景値が、ジブ−レンペル(LZ)コーダなどの、反復パターンを含む可能性があるストリングに適するエントロピコーダを使用して直接にエンコードされる「ロスレス」モードと、カラーマップMがより少数の色を有する新しいカラーマップM’に縮小される「ロッシイ」モードである。画像x(m,n)内のオリジナルのインデックスを、エントロピエンコーディングの前に、新しいカラーマップへのインデックスに置換することができる。所望のモードがロスレスである場合、ストリングSを、LZエンコーダを用いてエンコードすることができ、結果のビットを出力ビットストリームまたはファイルに付加することができる。その後、カラーマップMを出力ビットストリームまたはファイルのヘッダに書き込んで、エンコーディングを完了することができる。
所望のモードがロッシイである場合、前景ピクセルの色の完全な再構成が望まれないと仮定することができる。その結果、表示されたときにオリジナルの色に十分に似ている限り、色を近似することができる。例えば、ロッシイモードでは、エンコーダ106への入力パラメータKがあり、これは望まれる色の個数であり、K<Lである。システム100は、オリジナルマップMのすべての色[r g b]について、縮小されたカラーマップM’に色[r’ g’ b’]があり、新しい色[r’ g’ b’]が、オリジナルの色[r g b]に十分に近い、新しいカラーマップM’={[r’ g’ b’],[r’ g’ b’],...,[r’K−1 g’K−1 b’K−1]}を生成することができる。そのようなカラーマップ縮小は、ベクトル量子化問題の一例であり、このベクトル量子化では、より小さい集合の要素がオリジナルの集合の要素のよい近似になるように、ベクトルの集合をより小さい集合に置換する。したがって、新しいマップM’を作るために、圧縮コンポーネント104および/またはエンコーダ106は、LBG(リンデ−ブゾ−グレイ、統計の文献でK平均法とも称する)またはオクツリー(octree)アルゴリズムなどのベクトルクォンタイザ(vector quantizer)設計アルゴリズムを使用することができる。
システムエンコーダ106が、マップM’を生成したならば、標準的なフル検索ベクトル量子化プロシージャを使用して、色をインデックスに再割り当てすることができる。前景ピクセルごとに、オリジナル値vを、例えば次のように新しい値v’に置換することができる。
b(m,n)==1であるすべての(m,n)について、
縮小されたカラーマップM’内のすべての色について、v’に対応する色[r’ g’ b’]が、オリジナルの[r g b]色(vに対応する)に最も近い色になるように、x(m,n)=vをx(m,n)=v’に置換する。
次に、エンコードされるストリングSを、エンコーダ106によって形成することができ、ここで、S={v’,v’,...,v’F−1}であり、Fは、前景ピクセルの個数である。Sの各要素の値の範囲が縮小されているので、Sは、ロスレスモードに対応するオリジナルのSよりも短いビットストリームに圧縮される。したがって、ロッシイモードでは、再構成忠実度の小さい縮小によって、圧縮ファイルサイズのより大きい縮小が容易になる。この点で、カラーマップM’を出力ビットストリームまたはファイルのヘッダに書き込んで、エンコーディングを達成することができる。
図2は、本発明の態様による、マルチレベル画像の適応圧縮解除を容易にするシステム200を示す図である。応用例に応じて、エンコーダシステム100またはデコーダシステム200のいずれかあるいはその両方が存在することができる。例えば、プリンタドライバまたは圧縮文書プロデューサに、エンコーダシステム100だけを含めることができ;ファイルビューワユーティリティまたはプリンタ制御ソフトウェアに、デコーダシステム200だけを含めることができ、文書/画像処理/編集アプリケーションへのプラグインに、エンコーダシステム100とデコーダシステム200の両方を含めることができる。
デコーダ206は、エンコーディングを選択的に元に戻すことができる。デコーダ206の主な動作に、例えば、MLC生成のビットストリームまたはファイルのヘッダを読み取って、{N,N}(画像寸法)、v(背景色)、およびK(色数)のパラメータならびにカラーマップMを判定することを含めることができる。さらに、デコーダ206は、エンコードされた白黒ビットマップb(m,n)を含む第1ビットストリームコンポーネントを読み取り、デコードし、b(m,n)=0であるすべてのピクセルx(m,n)に背景色vを割り当てることができる。さらに、デコーダ206は、任意選択として、前景値のエンコードされたストリングSを含む第2ビットストリームコンポーネントを読み取り、デコードすることができ、任意選択として、最初に読み取られたカラーマップに従って各前景インデックスに色を割り当てることができる。第2ビットストリームコンポーネントの読み取りおよび/またはデコードは、画像の白黒再構成でユーザが十分に満足する場合には必須でない。
図3に、本発明の態様による、マルチレベル画像の適応圧縮を容易にするシステム300を示す。システム300には、システム300によって受け取られた情報の分析を容易にする制御コンポーネント302が含まれる。制御コンポーネントは、機能的に圧縮コンポーネント304と結び付く。圧縮コンポーネント304は、エンコーダ306を含む。
さらに、制御コンポーネント302に、システム300の動作に関する推論を行うことができるAIコンポーネント308が含まれる。例えば、AIコンポーネントは、ユーザの望み、受け取るユーザ装置のディスプレイ能力などに関する情報に応じて、エンコーディングの正しいモード(例えばロスレスまたはロッシイ)を推論することができる。もう1つの例によれば、AIコンポーネント308は、入力画像内のピクセルカラーの正しいカラーテーブルを推論することができる。さらに、AIコンポーネント308は、帯域幅が大きく制限されている場合、前景ピクセルの色に関する情報なしで入力画像の白黒バージョンだけを送信することができるなど、例えば帯域幅可用性に関する、判定および/または推論を行うのに使用することができる。この形で、システム300は、帯域幅制限を回避しながら、オリジナル画像の意味のあるプレゼンテーションを、受け取るユーザに提供することができる。
関連する態様によれば、AIコンポーネント308は、(例えば、部分的に、受け取る装置からの要求に関連する情報に基づいて)圧縮された画像を受け取っている装置の種類を判定し、かつ/または推論することができ、そのような推論を使用して、装置がマルチレベル色画像を受け取り、かつ/または表示できるか否かを判定することができる。受け取る装置が、(例えば、帯域幅制限、装置の機能制限、一時的に受け取る装置のCPU使用不能などに起因して)マルチレベル画像を受け取り、かつ/または表示することができないと判定される場合、システム300は、受け取る装置の制限を補償し、なおかつ受け取るユーザに意味のある情報を提供するために、バイレベル画像を自動的に送信することができる。
AIコンポーネント308によって提供できる推論の他の例に、例えば、ユーザプリファレンスに関する推論を含めることができる。一例によれば、AIコンポーネント308は、ユーザが、オリジナル画像のフルカラーマルチレベルバージョン、縮小されたカラーマルチレベルバージョン、および/または入力画像のバイレベル白黒バージョンを望み、かつ/または受け取ることができるか否かを推論するために、ユーザが入力したプリファレンス、情報などを査定することができる。例えば、リモートエリアでセル電話機を介して圧縮画像を受け取るユーザは、セル電話機に「ローミング」を設定することができる。AIコンポーネント308は、ローミングセル電話機の限られた受信能力を認識して、セル電話機に送信される圧縮画像の種類に関して推論を行えるようにすることができる。さらに、より高い、またはより低い品質の画像を受信できるようにするため、受け取り装置の設定を変更するように求めるプロンプトをユーザに出せるように、AIコンポーネント308によって推論された装置の受け取り能力に関する情報をユーザに与えることができる。
さらに、システム300は、異なる品質レベルの圧縮画像に関連するファイルサイズ、送信リソースおよび/または受信リソースに関するユーザ選択可能オプション、送信優先順位、ファイル内容、受信装置機能の関数としてのダウンロード時間、ダウンロード時間を減らし、かつ/または受信能力を高めるための提案などの補足情報を与えるユーザインターフェースをユーザに提示することができる。ユーザの視認(viewing experience)の質を高めるのに必要なすべての情報を、このユーザインターフェースを介してユーザに提供することができる。前の例は、性質において例証であり、AIコンポーネント308が推論を行う形の範囲、またはAIコンポーネント308によって行える推論の個数を制限することを意図されたものでないことを理解されたい。
本明細書で使用される用語「推論」は、一般に、イベントおよび/またはデータを介して取り込まれた観察の集合からの、システム、環境、および/またはユーザの状態に関する推理または推論の処理を指す。例えば、推論は、特定の状況または処理を識別するのに用いることができ、あるいは、状態に対する確率分布を生成することができる。推論は、確率的すなわち、データおよびイベントの考慮に基づく、重要な状態に対する確率分布の計算とすることができる。推論は、イベントおよび/またはデータの集合から上位イベントを構成するのに使用される技法を指すこともできる。そのような推論結果は、イベントが時間的に非常に近接して相関するか否かにかかわらず、イベントおよびデータが1つまたは複数のイベントソースおよびデータソースのどれから来るかにかかわらず、観察されたイベントおよび/または保管されたイベントデータの集合からの新しいイベントまたは処理の構成をもたらす。様々な分類方式および/または分類システム(例えば、サポートベクトルマシン、ニューラルネットワーク、エキスパートシステム、ベインジアンネットワーク(Bayesian belief network)、ファジイ論理、データフュージョンエンジンなど)を、本発明に関連する自動的なおよび/または推論される処理の実行に関して使用することができる。
図4および5は、例示のために提示され、デジタルキャプチャの後の通常のホワイトボード画像(図4)を例示する。図4の色付きの線は、様々な暗度の線によって表される。帯域幅制約によって指定される場合、この色画像(図4)に対応する白黒画像(図5)をユーザに提示して、制限された帯域幅および/または制限された受け取り装置の能力にかかわらずにそのようなユーザとの情報交換を容易にすることができる。例えば、ホワイトボードの画像およびその内容が、キャプチャされ、単純なLCDスクリーンを有するハンドヘルド機、ファクシミリ機など、最小限のグラフィック能力を有する受け取り装置に送信される場合、ハンドヘルド装置によって簡単に解釈され、表示される白黒画像を提供するようにシステムを設定することができる。
説明を単純にするために、例えば流れ図の形で本明細書で示される1つまたは複数の方法を、一連の動作として図示し、説明するが、本発明によれば、一部の動作を、異なる順序でおよび/または図示され本明細書で説明される他の動作と並列に行うことができるので、本発明が、動作の順序によって制限されないことを理解し、認識されたい。例えば、当業者は、方法論を、その代わりに、状態図など、一連の相関する状態またはイベントとして表すことができることを理解し、認識するであろう。さらに、示される動作のすべてが、本発明による方法論を実施するのに必要ではない可能性がある。
図6に、本発明の態様による、ホワイトボードのデジタルキャプチャされた画像などのマルチレベル画像の適応圧縮の方法600を示す。ステップ602で、入力画像x(m,n)および関連するカラーマップを読み取ることができる。入力画像x(m,n)および関連するカラーマップを602で読み取った後に、背景処理を開始することができ、これには、ステップ604〜608に示された様々な処理が含まれる。ステップ604で、最も頻繁な色v=背景色に関する判定を行う。ステップ606で、白黒画像b(m,n)を判定することができ、これをステップ608でバイレベルエンコーダを介してエンコードすることができる。図7に、背景処理をさらに詳細に示す。白黒画像だけが望まれる場合、ステップ602〜608として示された方法を、下記で説明する前景処理なしで実施することができ、バイレベルエンコーダによってエンコードされた画像b(m,n)に関連するデータに基づいて出力ビットストリームを書けることを認識されたい。
この方法は、次に、ステップ610に進むことができ、ここで、前景ピクセル値を、M’に基づいてストリングSに連結することができる。ステップ612で、前景色値のストリング、ストリングSを、エントロピエンコーダを介してエンコードすることができる。最後に、ステップ614で、ステップ612からのエンコードされたストリングSおよびステップ608からのエンコードされた白黒画像情報を用いて、出力ビットストリームを書き込むことができる。したがって、ステップ610およびステップ612は、前景処理中に行うことができる処理を示し、これを、図8に関してさらに詳細に示す。
図7に、本発明の態様による、マルチレベル画像の適応圧縮およびバイレベル画像への変換の方法700を示す。ステップ702で、画像内で最も頻繁に発生する色vに関する判定を行い、その最も頻繁に発生する色vを「背景」色として指定する。例えば、入力画像に、ピクセルの集合x(m,n)、0≦m≦N−1、0≦n≦N−1を含めることができる(NおよびNは、それぞれ行の個数および列の個数である)。画像内の各ピクセルは、範囲[0...L−1]内の色値vを有することができる。Lは、可能な色の数を表す。ピクセルに関連する実際の色値は、カラーマップMに保管することができ、M={[r],[r],...,[rL−1L−1L−1]}であり、すべてのカラーインデックス0≦v≦L−1について、それに対応する色を決定するRGB値のトリプレットがある。例えば、圧縮され、かつ/または変換される画像が、書き込まれたホワイトボードのデジタル写真である場合、その画像に含まれるピクセルの大多数は、白色を示す。その場合、その白色が、vに割り当てられる。したがって、背景色vは、例えばヒストグラム計算を介して決定することができる。このヒストグラム計算では、各色の出現の回数をカウントし、最大のカウントを有する色にvを割り当てる。
ステップ704で、画像内のすべてのピクセルx(m,n)の集合をサイクルするループを開始し、ステップ706で、各個々のピクセルがvと等しい値を示すか否かを判定する。特定の位置(m,n)にある所与のピクセルx(m,n)が、vと等しい色値を有すると判定される場合、対応する背景フラグ値b(m,n)に0を設定する。ピクセル色値が、vと等しくないと判定される場合、その特定のピクセルの対応する背景フラグ値b(m,n)に1を設定する。すなわち、値「1」は、非背景色を表す。言い換えると、b(m,n)=1は、位置(m,n)が前景ピクセルに対応することを表す。望まれる場合、N、N、およびvの値を含むヘッダを、圧縮されたビットストリームおよび/またはファイルに対して書き込むことができる。さらに、カラーマップに関する情報のために指定された追加スペースを有するヘッダを構成することができる。
特定のピクセルを評価し、値を割り当てたならば、ステップ712で、画像のすべてのピクセル(m,n)を処理したか否かに関する判定を行うことができる。ステップ712で、すべてのピクセル(m,n)の集合が評価済みではないと判定される場合、この方法は、ピクセル評価の次の反復すなわち、ピクセルアドレス(m,n)の新しい対を用いる反復のために、ステップ704に戻ることができる。しかし、ステップ712の判定によって、ピクセル(m,n)の集合全体を評価したことが示される場合、オリジナル画像x(m,n)を、対応する白黒画像b(m,n)にマッピングすることができる。ここで、x(m,n)=vならばb(m,n)=0、x(m,n)≠vならばb(m,n)=1である。次に、この方法は、ステップ714に進むことができ、ここで、白黒画像b(m,n)を、例えばバイレベルエンコーダを介してエンコードすることができる。次に、バイレベルエンコーダによってエンコードされたビットを、出力ビットストリームおよび/または出力ファイルに付加することができる。
図8に、本発明の態様による、ホワイトボードのデジタルキャプチャされた画像など、マルチレベル画像の適応圧縮の方法800を示す。ステップ802で、キャプチャされた画像に関連するデータを圧縮するときにロッシイモードが望まれるか否かに関する判定を行うことができる。例えば、通常、ロッシイデータ圧縮コーデックは、ストリーミングメディア、テレフォニなどに関連して使用される。1つの例によれば、ロッシイ変換コーデックを使用することができ、この場合、画像のサンプルを選択し、小さいセグメントに解析し、新しい基本スペースに変換し、最後に量子化し、エントロピコーディングすることができる。もう1つの例によれば、ロッシイ予測コーデックを本発明と共に使用することができ、これを介して、前にデコードされたデータを使用して現在の画像を予測することができる。次に、予測されたデータと実際のデータの間の誤差を、量子化し、エンコードすることができる。もう1つの例によれば、変換ロッシイコーデックおよび予測ロッシイコーデックの両方を使用することができる。
ロッシイモードが選択される場合、この方法は、ステップ804に進むことができ、ここで、ベクトル量子化技法、オクツリー縮小、セントロイド分析技法などによって、カラーマップMを縮小することができる。ロッシイモードは、複雑な画像の圧縮を改善するのに望ましい。例えば、ホワイトボードに、白の背景上の単一の色(例えば青)を使用して書き込むことができる。一般に発生するように、青のマーカーが、他のマーカー(赤、黒など)に上書きするのに使用された場合、ホワイトボードに書き込むのに使用された青のマーカーは、そのような他の色もホワイトボードに置く。2つの最も頻繁なピクセル色値(例えば白の背景と青のマーカー)と異なる色値を有するピクセルを捨てて、ホワイトボード背景上の真の青いマーキングを表すのに必要な最低限のピクセルを提供することができる。前の例で与えられた特定の色を、制限的な意味で解釈してはならないことを認識されたい。というのは、他の色の背景および/またはマーカーが、本発明によって企図され、ホワイトボードのほかに、他の画像サブジェクトも企図されているからである。
さらに、ホワイトボードに複数の色で書き込み、そのうちのいくつかが優勢である場合に、ロッシイモードを使用して、カラーマップMをM’に縮小することができ、このM’には、最も優勢な色の集合が含まれる。例えば、青、緑、および赤のマーカーが、ホワイトボードに書き込むのに主に使用されるが、オレンジのマーカーが、単一の直線を描くのに使用される場合、青、緑、赤、およびオレンジを含むカラーマップMを、青、赤、および緑を含むM’に縮小することができる。このシナリオによれば、赤は、縮小されたカラーマップM’でオレンジに一番近いピクセルカラーなので、オレンジの線を赤で表すことができる。
ステップ806で、前景ピクセルストリングSを、「空」に初期化することができる。さらに、ステップ802の判定によって、ロッシイモードが望まれないことが示される場合、この方法は、ステップ806に直接に進んで、カラーマップMを縮小せずに前景ピクセルストリングSを初期化することができる。次に、ステップ808で、画像内のすべてのピクセル(m,n)に関するループを初期化することができる。ステップ810で、方法700に関して判定されたように、所与のピクセルが前景であるか否か(例えば、b(m,n)=1)に関する判定を行うことができる。ピクセルが、前景ピクセルでない(例えば、背景ピクセルであり、b(m,n)=0)と判定される場合、この方法は、808に戻って、残りのピクセルについてさらに繰り返すことができる。ステップ810で、ピクセルが前景ピクセルであると判定される場合、ステップ812で、ロッシイモードが望まれるか否かに関する判定を行う。ロッシイモードが望まれる場合、ステップ814で、ピクセル(m,n)の色値cを、縮小されたカラーマップM’からの最も近い色cに置換することができる。ステップ816で、ピクセル(m,n)の新しい色値cをストリングSに付加することができる。
ステップ812でロッシイモードが望まれないと判定された場合、この方法は、ステップ812からステップ816に直接に進み、ピクセル(m,n)の色値cが、ストリングSに付加される。その後、ステップ818で、すべてのピクセル(m,n)を処理したか否かに関する判定を行うことができる。完全な集合内のすべてのピクセルより少数のピクセルが処理済みである場合、この方法は、ステップ808に戻って、ピクセル分析をさらに繰り返すことができる。ステップ818で、すべてのピクセルを処理したと判定される場合、この方法は、ステップ820に進み、そこで、前景色値のストリングSをエントロピエンコーダ(例えば、ジブ−レンペル(LZ)ファミリの)を介してエンコードすることができる。
図6、7、および8は、本発明によるマルチレベル画像の適応圧縮の好ましい実施形態である流れ図600、700、および800を提示することに留意されたい。当業者は、流れ図600、700、および800の変形を使用することができ、その結果、例えば動作の順序を変更して、特定のハードウェアプラットフォームによりよく適合することができ、そのような変形形態は、やはり本発明の実施形態である。
流れ図600、700、および800が、エンコーダ106の好ましい実施形態を指定することにも留意されたい。この流れ図で指定される動作から、当業者は、デコーダ206の対応する流れ図を導出することができる。
図9を参照すると、開示されるアーキテクチャを実行するように動作するコンピュータのブロック図が示されている。本発明の様々な態様に関する追加コンテキストを提供するために、図9および次の説明は、本発明の様々な態様を実施できる適当なコンピューティング環境900の短い全般的な説明をすることが意図されている。本発明を、上では、1つまたは複数のコンピュータで実行できるコンピュータ実行可能命令の全般的な文脈で説明したが、本発明を、他のプログラムモジュールと組み合わせて、および/またはハードウェアとソフトウェアの組合せとして実施できることを、当業者は理解するであろう。一般に、プログラムモジュールには、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、プログラム、コンポーネント、データ構造などが含まれる。さらに、本発明の方法を、それぞれが1つまたは複数の関連する装置に機能的に結合される、シングルプロセッサコンピュータシステム、マルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータならびにパーソナルコンピュータ、ハンドヘルドコンピューティング装置、マイクロプロセッサベースまたはプログラマブル一般電子機器および類似物を含む他のコンピュータシステム構成を用いて実施できることを、当業者は理解するであろう。本発明の示された態様は、通信ネットワークを介してリンクされたリモート処理装置により、あるタスクが実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールを、ローカルとリモートの両方のメモリ記憶装置に配置することができる。
図9をもう一度参照すると、処理装置904、システムメモリ906、およびシステムバス908を含むコンピュータ902を含む、本発明の様々な態様を実施する例示的な環境900が示されている。システムバス908は、システムメモリ906を含むがこれに限定されないシステムコンポーネントを処理装置904に結合する。処理装置904は、様々な市販のプロセッサのいずれかとすることができる。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャも、処理装置904として使用することができる。
システムバス908は、様々な市販バスアーキテクチャのいずれかを使用する(メモリコントローラ有りまたは無しの)メモリバス、周辺バス、およびローカルバスにさらに相互接続できる複数のタイプのバス構造のいずれかとすることができる。システムメモリ906には、読取専用メモリ(ROM)910およびランダムアクセスメモリ(RAM)912が含まれる。起動中などにコンピュータ902内の要素の間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム(BIOS)が、ROM、EPROM、EEPROMなどの不揮発性メモリ910に保管される。
コンピュータ902には、さらに、ハードディスクドライブ914、(例えば、取外し可能ディスク918から読み取り、これに書き込むための)磁気ディスクドライブ916、および(例えば、CD−ROMディスク922を読み取るか、デジタル多用途ディスク(DVD)などの他の大容量光メディアから読み取るかこれに書き込むための)光ディスクドライブ920が含まれる。ハードディスクドライブ914、磁気ディスクドライブ916、および光ディスクドライブ920は、それぞれ、ハードディスクドライブインターフェース924、磁気ディスクドライブインターフェース926、光ドライブインターフェース928によってシステムバス908に接続することができる。ドライブおよびそれに関連するコンピュータ読み取り可能なメディアは、データ、データ構造、コンピュータ実行可能命令などの不揮発性記憶を提供する。コンピュータ902について、ドライブおよびメディアは、適当なデジタルフォーマットでの放送番組の記憶に対処する。上のコンピュータ読み取り可能なメディアの説明では、ハードディスク、取外し可能磁気ディスク、およびCDに言及したが、zipドライブ、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、カートリッジ、および類似物などのコンピュータによって読み取り可能な他の種類のメディアも、例示的なオペレーティング環境で使用でき、さらに、そのようなすべてのメディアに、本発明の方法を実行するコンピュータ実行可能命令を含めることができることを、当業者は理解するであろう。
オペレーティングシステム930、1つまたは複数のアプリケーションプログラム932、他のプログラムモジュール934、およびプログラムデータ936を含む複数のプログラムモジュールを、ドライブおよびRAM 912に保管することができる。本発明を、様々な市販オペレーティングシステムまたはオペレーティングシステムの組合せを用いて実施できることを理解されたい。
ユーザは、キーボード938、およびマウス940などのポインティングデバイスを介してコンピュータ902にコマンドおよび情報を入力することができる。他の入力装置(図示せず)に、マイクロホン、IRリモートコントロール、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、および類似物を含めることができる。上記および他の入力装置は、多くの場合、システムバス908に結合されたシリアルポートインターフェース942を介して処理装置904に接続されるが、パラレルポート、ゲームポート、USB(universal serial bus)ポート、IRインターフェースなどの他のインターフェースによって接続することができる。モニタ944または他の種類のディスプレイ装置も、ビデオアダプタ946などのインターフェースを介してシステムバス908に接続される。モニタ944の他に、コンピュータに、通常はスピーカ、プリンタなど、他の周辺出力装置(図示せず)が含まれる。
コンピュータ902は、リモートコンピュータ948など、1つまたは複数のリモートコンピュータへの有線通信および/または無線通信を介する論理接続を使用してネットワーク化された環境で動作することができる。リモートコンピュータ948は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサベースのエンターテイメントアプライアンス、ピア装置、または他の一般的なネットワークノードとすることができる。通常、コンピュータ902に関して説明した要素の多数またはすべてが含まれるが、図を簡単にするために、メモリ記憶装置950だけを図示した。図示の論理接続には、ローカルエリアネットワーク(LAN)952および広域ネットワーク(WAN)954が含まれる。そのようなネットワーキング環境は、オフィス、会社規模のコンピュータネットワーク、イントラネット、およびインターネットなどでありふれたものである。
LANネットワーキング環境で使用されるとき、コンピュータ902は、有線または無線の通信ネットワークインターフェースまたはアダプタ956を介してローカルエリアネットワーク952に接続される。アダプタ956は、LAN 952への有線接続または無線接続を容易にし、LAN 952には、無線アダプタ956と通信するために配置された無線アクセスポイントも含めることができる。WANネットワーキング環境で使用される時に、コンピュータ902は、通常はモデム958を含み、LAN上の通信サーバに接続され、あるいはインターネットなどのWAN 954を介する通信を確立する他の手段を有する。モデム958は、内蔵または外付けの有線装置または無線装置とすることができるが、シリアルポートインターフェース942を介してシステムバス908に接続される。ネットワーク化された環境では、コンピュータ902に関して図示されたプログラムモジュールまたはその一部を、リモートメモリ記憶装置950に保管することができる。図示のネットワーク接続が例示的であり、コンピュータの間の通信リンクを確立する他の手段を使用できることを理解されたい。
コンピュータ902は、例えば、プリンタ、スキャナ、デスクトップおよび/またはポータブルコンピュータ、携帯情報端末、(例えば、キオスク、ニューススタンド、トイレなど)無線で検出可能なタグに関連する機器または場所の任意の部分、および電話機など、無線通信に機能的に配置された無線装置またはエンティティと通信するように動作する。これには、少なくともWi−Fi無線テクノロジおよびBluetooth(商標)無線テクノロジが含まれる。したがって、通信は、従来のネットワークのように予め定められた構造とするか、単に少なくとも2つの装置の間のアドホック通信とすることができる。
Wi−FiすなわちWireless Fidelityは、家庭の寝椅子、ホテルのベッド、仕事場の会議室などからワイヤなしでのインターネットへの接続を可能にする。Wi−Fiは、コンピュータなどの装置が室内および戸外で、基地局からの範囲内の任意の場所でデータを送受信できるようにする、セル電話機に似た無線テクノロジである。Wi−Fiネットワークは、IEEE 802.11(a、b、gなど)と称するラジオテクノロジを使用して、セキュアで信頼性があり高速の無線接続性を提供する。Wi−Fiネットワークは、他のコンピュータに、インターネットに、および(IEEE 802.3またはイーサネット(登録商標)を使用する)有線ネットワークにコンピュータを接続するために使用することができる。Wi−Fiネットワークは、例えば、免許不要の2.4GHzおよび5GHzラジオ帯域で、11Mbps(802.11a)または54Mbps(802.11b)のデータレートあるいは両方の帯域を含む製品(デュアルバンド)で動作し、したがって、このネットワークは、多数のオフィスで使用される基本的な10BaseT有線イーサネット(登録商標)ネットワークに似た実世界の性能を提供することができる。
開示されたコンピュータ902は、HiperLANテクノロジと共に使用することもできる。HiperLANは、主にヨーロッパ諸国で使用される無線ローカルエリアネットワーク(WLAN)通信標準規格である。2つの仕様すなわち、HiperLAN/1およびHiperLAN/2があり、この両方が、ヨーロッパ電気通信規格研究所によって採用されている。HiperLAN標準規格は、米国および他の採用する諸国で使用されているIEEE 802.11 WLAN標準規格に似た特徴および機能を有する。HiperLAN/1は、無線周波数スペクトルの5GHz範囲で20Mbpsまでの通信を提供する。HiperLAN/2は、同一のRF帯域で54Mbpsまで動作し、データ、画像、および音声の通信の送受信に関して3G(第3世代)WLANシステムとの互換性がある。HiperLAN/2は、5GHz RF帯域で類似するシステムと連合する全世界での実施の可能性であり、そうなることが意図されている。
図10を参照すると、本発明による例示的なコンピューティング環境1000を示す概略ブロック図が示されている。システム1000に、1つまたは複数のクライアント1002が含まれる。クライアント1002は、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティング装置)とすることができる。クライアント1002は、例えば、本発明を使用することによって、クッキーおよび/または関連するコンテキスト情報を収容することができる。システム1000に、1つまたは複数のサーバ1004も含まれる。サーバ1004も、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティング装置)とすることができる。サーバ1004は、例えば、本発明を使用することによって、変換を実行するスレッドを収容することができる。クライアント1002とサーバ1004の間の可能な通信の1つを、複数のコンピュータプロセスの間で伝送されるように適合されたデータパケットの形とすることができる。データパケットには、例えば、クッキーおよび/または関連するコンテキスト情報を含めることができる。システム1000に、クライアント1002とサーバ1004の間の通信を容易にするのに使用することができる通信フレームワーク1006(例えば、インターネットなどのグローバル通信ネットワーク)が含まれる。
通信を、有線テクノロジ(光ファイバを含む)および/または無線テクノロジを介して容易にすることができる。クライアント1002は、クライアント1002にローカルな情報(例えば、クッキーおよび/または関連するコンテキスト情報)を保管するのに使用できる1つまたは複数のクライアントデータストア1008に機能的に接続される。同様に、サーバ1004は、サーバ1004にローカルな情報を保管するのに使用することができる1つまたは複数のサーバデータストア1010に機能的に接続される。
上で説明したものに、本発明の例が含まれる。もちろん、本発明を説明するためにコンポーネントまたは方法論の考えられるすべての組合せを記述することは可能ではないが、当業者は、本発明の多数のさらなる組合せおよび置換が可能であることを理解するであろう。したがって、本発明は、請求項の趣旨および範囲に含まれるそのような変更、修正、および変形のすべてを含むことが意図されている。さらに、用語「含む」が詳細な説明または請求項のいずれかで使用される範囲まで、そのような単語は、請求項で前後を接続する単語として使用される時に用語「備える」が解釈されるのと同一の形で包含的であることが意図されている。
本発明の態様による、ホワイトボードのデジタルキャプチャされた画像など、マルチレベル画像の適応圧縮を容易にするシステム100を示す図である。 本発明の態様によるホワイトボードのデジタルキャプチャされた画像など、圧縮されたマルチレベル画像の適応圧縮解除を容易にするシステム200を示す図である。 本発明の態様による、推論を行う人工知能(AI)コンポーネントを含む、ホワイトボードのデジタルキャプチャされた画像など、マルチレベル画像の適応圧縮を容易にするシステム300を示す図である。 ホワイトボードキャプチャシステムによって作られる通常のデジタル画像を示す図である。 図4の色画像に対応して作られる白黒画像を示す図である。 本発明の態様による、色画像の各ピクセルを評価する反復フィードバックループを介する色画像からの白黒画像の構成を容易にする方法600を示す図である。 本発明の態様による、圧縮の前の任意選択のカラーマップ縮小を伴うマルチレベル画像の適応圧縮を容易にする方法700を示す図である。 本発明の態様による、ホワイトボードのデジタルキャプチャされた画像など、マルチレベル画像の適応圧縮を容易にする方法800を示す図である。 本発明の様々な態様による例示的なコンピューティング環境を示す図である。 本発明の様々な態様による例示的なコンピューティング環境を示す図である。
符号の説明
100 マルチレベル画像の適応圧縮を容易にするシステム
200 マルチレベル画像の適応圧縮解除を容易にするシステム
300 マルチレベル画像の適応圧縮を容易にするシステム
600 マルチレベル画像の適応圧縮の方法
700 マルチレベル画像の適応圧縮およびバイレベル画像への変換の方法
800 マルチレベル画像の適応圧縮の方法
900 コンピューティング環境
1000 例示的なコンピューティング環境

Claims (40)

  1. カラーマッピングされた画像の圧縮を容易にする方法であって、
    カラーマッピングされた画像のピクセルの背景/前景フラグを圧縮するステップと、
    前記カラーマッピングされた画像の前景ピクセルのカラーインデックス情報を圧縮するステップと
    を備えたことを特徴とする方法。
  2. バイレベルコーデックコンプレッサを使用して、前記画像の白黒表現を圧縮するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  3. LZエントロピエンコーダを使用して、前記画像の前景ピクセルに関する前記カラーインデックス情報を圧縮するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  4. カラーマッピングされた画像のピクセルに関連するカラーインデックス情報および/または背景/前景フラグ情報を選択的にデコードするデコーダを使用して、出力画像を提供するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  5. 前記画像に関連する圧縮されたファイルに対応する、前記画像の背景色を表す値(v)を含むヘッダを生成するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  6. 前記vは、前記画像を表すピクセルのうちの最大個数が取る色値と等しいことを特徴とする請求項5に記載の方法。
  7. と等しいか、または等しくないかの関数として各ピクセルの値を設定することによって、前記画像を対応する白黒画像にマッピングするステップをさらに備えたことを特徴とする請求項5に記載の方法。
  8. 前記白黒画像から判定される前景ピクセルの位置に少なくとも部分的に基づいて、前景ピクセルの色値をエンコードするステップをさらに含むことを特徴とする請求項7に記載の方法。
  9. 前記前景ピクセルの色値のエンコーディングは、スキャンの順序で、前記前景ピクセルの値をストリング(S)に付加するステップを含むことを特徴とする請求項8に記載の方法。
  10. ロスレス圧縮方式は、前記ストリングSのエンコードに使用されることを特徴とする請求項9に記載の方法。
  11. ロッシイ圧縮方式は、前記ストリングSのエンコードに使用されることを特徴とする請求項9に記載の方法。
  12. カラーインデックス情報の圧縮は、オクツリー縮小を実行することを含むことを特徴とする請求項1に記載の方法。
  13. カラーインデックス情報の圧縮は、ベクトル量子化を実行することを含むことを特徴とする請求項1に記載の方法。
  14. 前記ベクトル量子化を実行するステップは、リンデ−ブゾ−グレイアルゴリズムを使用するステップを含むことを特徴とする請求項13に記載の方法。
  15. 前記カラーインデックス情報の圧縮は、オリジナル色とエンコードされた色の間の平均平方誤差を最小化する技法を含むことを特徴とする請求項1に記載の方法。
  16. マルチレベル画像の適応圧縮を容易にするシステムであって、
    デジタル画像を受け取り、前記画像のエンコーディングの適当なモードを判定する制御コンポーネントと、
    前記デジタル画像内のピクセルに関連する背景/前景フラグを圧縮する圧縮コンポーネントと、
    前記画像に関連する前景および背景のピクセル情報を含むストリングをエンコードするバイレベルコーデックと
    を備えたことを特徴とするシステム。
  17. 前記圧縮コンポーネントは、マルチレベル画像内の前景ピクセルに関連するカラーインデックス情報をさらに圧縮することを特徴とする請求項16に記載のシステム。
  18. 前記圧縮コンポーネントは、前記カラーインデックス情報を圧縮するLZエントロピエンコーダを含むことを特徴とする請求項17に記載のシステム。
  19. システム動作に関連する判定および/または推論を行うAIコンポーネントをさらに備えたことを特徴とする請求項18に記載のシステム。
  20. 前記AIコンポーネントは、システム動作に関連する判定および/または推論を行うために、サポートベクトルマシン、ニューラルネットワーク、エキスパートシステム、ベインジアンネットワーク、ファジイ論理、およびデータフュージョンエンジンのうちの少なくとも1つを使用することを特徴とする請求項19に記載のシステム。
  21. 前記背景および前景のピクセル情報のエンコードされたストリングは、画像寸法、背景色、前記画像内の色の数、および前記画像のカラーマップに関連する情報を有するヘッダを含むことを特徴とする請求項17に記載のシステム。
  22. 前記ヘッダおよびエンコードされたストリングを読み取り、ならびに第1ビットストリームコンポーネントおよび第2ビットストリームコンポーネントをデコードするデコーダをさらに備えたことを特徴とする請求項21に記載のシステム。
  23. 前記第1ビットストリームコンポーネントは、前記オリジナル画像のバイレベルバージョンに関連する情報を含むことを特徴とする請求項22に記載のシステム。
  24. 前記第2ビットストリームコンポーネントは、前記オリジナル画像のカラーバージョンに関連する情報を含むことを特徴とする請求項22に記載のシステム。
  25. 前記デコーダは、前記カラーマップに従って、複数の前景インデックスの各々に色を割り当てることを特徴とする請求項24に記載のシステム。
  26. マルチレベル画像の二重圧縮を容易にするシステムであって、
    前記マルチレベル画像に関連する情報を分析する制御コンポーネントと、
    前記マルチレベル画像の白黒表現を構成するために背景ピクセルおよび前景ピクセルを圧縮するバイレベルコーデックコンプレッサと、
    前記前景ピクセルに関連するカラーインデックス情報を圧縮するエントロピエンコーダと
    を備えたことを特徴とするシステム。
  27. 前記エントロピエンコーダは、ジブ−レンペルエンコーダであることを特徴とする請求項26に記載のシステム。
  28. 前記制御コンポーネントは、前記マルチレベル画像の白黒表現またはカラー表現のどちらを成功裡に伝送できるかを判定するために、帯域幅可用性を分析することを特徴とする請求項26に記載のシステム。
  29. 前記制御コンポーネントは、エンコードされた情報を、前記マルチレベル画像の白黒バージョンおよびカラーバージョンに区分することを特徴とする請求項28に記載のシステム。
  30. 前記制御コンポーネントは、帯域幅可用性が所定の閾値未満であるとき、前記マルチレベル画像の白黒バージョンだけを送信することを特徴とする請求項29に記載のシステム。
  31. マルチレベル画像の二重圧縮解除を容易にするシステムであって、
    圧縮されたマルチレベル画像に関連する情報を分析する制御コンポーネントと、
    画像寸法、背景色、前記画像内の色の数、および前記画像のカラーマップに関連する情報を含むヘッダを有する、背景および前景のピクセル情報のエンコードされたストリングを読み取るデコーダと
    を備えたことを特徴とするシステム。
  32. 前記デコーダは、前記エンコードされたストリングおよび前記ヘッダから収集された情報に基づいて、第1ビットストリームコンポーネントおよび第2ビットストリームコンポーネントをデコードすることを特徴とする請求項31に記載のシステム。
  33. 前記第1ビットストリームコンポーネントは、オリジナル画像のバイレベルバージョンに関連する情報を含むことを特徴とする請求項32に記載のシステム。
  34. 前記第1ビットストリームコンポーネントをデコードするバイレベルデコーダをさらに備えたことを特徴とする請求項33に記載のシステム。
  35. 前記第2ビットストリームコンポーネントは、オリジナル画像のカラーバージョンに関連する情報を含むことを特徴とする請求項32に記載のシステム。
  36. 前記第2ビットストリームコンポーネントをデコードするエントロピデコーダをさらに備えたことを特徴とする請求項35に記載のシステム。
  37. 前記デコーダは、前記カラーマップに従って複数の前景インデックスの各々に色を割り当てることを特徴とする請求項31に記載のシステム。
  38. マルチレベル画像の適応圧縮を容易にするシステムであって、
    画像を受け取る手段と、
    前記画像の前景ピクセルおよび背景ピクセルをエンコードする手段と、
    前記前景ピクセルに関連する値を有するストリングをエンコードする手段と
    を備えたことを特徴とするシステム。
  39. 前記画像内のピクセルカラーに関連するカラーマップMを、前記前景ピクセルの色値に関連するカラーマップM’に縮小する手段をさらに備えたことを特徴とする請求項38に記載のシステム。
  40. 前記カラーマップMを縮小する前記手段は、ベクトル量子化技法およびオクツリー技法のうちの少なくとも1つを含むことを特徴とする請求項39に記載のシステム。
JP2005134616A 2004-04-30 2005-05-02 マルチレベル画像の適応圧縮方法及びシステム Active JP5036138B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US56715004P 2004-04-30 2004-04-30
US60/567,150 2004-04-30
US10/916,721 US7991238B2 (en) 2004-04-30 2004-08-12 Adaptive compression of multi-level images
US10/916,721 2004-08-12

Publications (2)

Publication Number Publication Date
JP2005323370A true JP2005323370A (ja) 2005-11-17
JP5036138B2 JP5036138B2 (ja) 2012-09-26

Family

ID=34939345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005134616A Active JP5036138B2 (ja) 2004-04-30 2005-05-02 マルチレベル画像の適応圧縮方法及びシステム

Country Status (6)

Country Link
US (3) US7991238B2 (ja)
EP (1) EP1598781B1 (ja)
JP (1) JP5036138B2 (ja)
KR (1) KR101146162B1 (ja)
AT (1) ATE479966T1 (ja)
DE (1) DE602005023239D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011524572A (ja) * 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899258B2 (en) * 2005-08-12 2011-03-01 Seiko Epson Corporation Systems and methods to convert images into high-quality compressed documents
US7783117B2 (en) * 2005-08-12 2010-08-24 Seiko Epson Corporation Systems and methods for generating background and foreground images for document compression
WO2008019524A1 (en) * 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
JP4979428B2 (ja) * 2007-03-23 2012-07-18 キヤノン株式会社 画像処理装置およびその制御方法
US7894689B2 (en) * 2007-05-31 2011-02-22 Seiko Epson Corporation Image stitching
JP5251758B2 (ja) * 2009-07-01 2013-07-31 ヤマハ株式会社 圧縮符号化装置、および画像表示制御装置
US8908964B2 (en) * 2010-09-20 2014-12-09 Canon Kabushiki Kaisha Color correction for digital images
US20120075440A1 (en) * 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
US20130031063A1 (en) * 2011-07-26 2013-01-31 International Business Machines Corporation Compression of data partitioned into clusters
US8582876B2 (en) 2011-11-15 2013-11-12 Microsoft Corporation Hybrid codec for compound image compression
US8571311B2 (en) 2011-12-15 2013-10-29 Microsoft Corporation Raster graphics image transcoding for file size reduction
US9362057B2 (en) * 2012-07-26 2016-06-07 Industrial Technology Research Institute Electrolyte mixture for electrolytic capacitor, composition for conductive polymer synthesis and conductive polymer solid electrolytic capacitor formed by using the same
US9460729B2 (en) 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
KR20140049228A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 사용자 입력에 따른 단말의 제어 방법 및 그 단말
US20140133760A1 (en) * 2012-11-15 2014-05-15 Qualcomm Incorporated Raster to vector map conversion
JP6098298B2 (ja) * 2013-03-29 2017-03-22 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
US9621764B2 (en) 2013-07-31 2017-04-11 Hewlett-Packard Development Company, L.P. Printer cartridge and memory device containing a compressed color table
KR101429136B1 (ko) * 2014-03-03 2014-08-11 주식회사 위시링크 평균색상을 이용한 이미지 처리 방법
KR20160030701A (ko) * 2014-09-11 2016-03-21 삼성전자주식회사 인쇄 데이터를 프린터로 전송하는 호스트 디바이스 및 호스트 디바이스가 인쇄 데이터를 렌더링하는 방법
KR102332782B1 (ko) * 2014-12-15 2021-11-30 삼성전자주식회사 시각 특성을 고려한 영상 데이터 압축
WO2016184485A1 (en) * 2015-05-15 2016-11-24 Hewlett-Packard Development Company, L.P. Image compression
CN105611303B (zh) * 2016-03-07 2019-04-09 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
JP7008425B2 (ja) * 2017-04-14 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US11900639B2 (en) 2018-01-19 2024-02-13 Interdigital Vc Holdings, Inc. Processing a point cloud
KR102618692B1 (ko) 2018-06-15 2024-01-02 삼성전자주식회사 노이즈 또는 디서의 영향을 감소시키기 위한 디스플레이 구동 회로 및 방법
US10839565B1 (en) 2019-08-19 2020-11-17 Samsung Electronics Co., Ltd. Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same
KR102569447B1 (ko) * 2019-08-19 2023-08-24 삼성전자주식회사 복호화 장치 및 그 동작방법, 및 ai 업 스케일 장치 및 그 동작방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331391A (ja) * 1995-05-31 1996-12-13 Canon Inc 画像処理装置およびその方法
JP2001223903A (ja) * 1999-12-04 2001-08-17 Luratech Ges Fuer Luft & Raumfahrttechnologie & Multimedia Mbh 走査された色付きおよびグレースケールの文書を圧縮する方法
JP2001230937A (ja) * 2000-02-18 2001-08-24 Sharp Corp ファクシミリ装置
JP2002094805A (ja) * 2000-07-24 2002-03-29 Sharp Corp 分解画像のレイヤを生成する方法
JP2002218254A (ja) * 2000-11-29 2002-08-02 Xerox Corp 画像圧縮方法及び画像圧縮システム
US20030048944A1 (en) * 2001-09-12 2003-03-13 De Bonet Jeremy S. Transformation to increase the lempel-ziv compressibility of images with minimal visual distortion
JP2003087558A (ja) * 2001-09-14 2003-03-20 Fuji Xerox Co Ltd 画像処理装置および方法
JP2003134532A (ja) * 2001-10-19 2003-05-09 Denso Corp 画像圧縮装置、画像圧縮方法、画像展開装置、プログラム
JP2003348360A (ja) * 2002-04-25 2003-12-05 Microsoft Corp 文書エンコーディングシステム、文書デコーディングシステムおよびその方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237407A (ja) * 1994-12-09 1996-09-13 Xerox Corp 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法
JP3291989B2 (ja) * 1995-07-25 2002-06-17 富士ゼロックス株式会社 文書処理装置
JP3304858B2 (ja) * 1997-11-28 2002-07-22 富士ゼロックス株式会社 画像送信装置および画像送信方法
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
US6681056B1 (en) 1999-03-30 2004-01-20 International Business Machines Corporation Method and system for digital image acquisition and continuous zoom display from multiple resolutional views using a heterogeneous image pyramid representation
US6728426B1 (en) 1999-08-23 2004-04-27 International Business Machines Corporation Compression of form images in gray-level
US7600183B2 (en) * 2000-06-16 2009-10-06 Olive Software Inc. System and method for data publication through web pages
US6606418B2 (en) 2001-01-16 2003-08-12 International Business Machines Corporation Enhanced compression of documents
US6944357B2 (en) * 2001-05-24 2005-09-13 Microsoft Corporation System and process for automatically determining optimal image compression methods for reducing file size
US7065254B2 (en) 2001-09-13 2006-06-20 Sharp Laboratories Of America, Inc. Multilayered image file
US7079684B2 (en) 2001-12-05 2006-07-18 Oridus, Inc. Method and apparatus for color quantization of images employing a dynamic color map
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
EP1355484B1 (en) * 2002-04-17 2017-03-01 Canon Kabushiki Kaisha Image compression method and apparatus, and image coding method and apparatus
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
JP3841046B2 (ja) * 2002-12-02 2006-11-01 富士写真フイルム株式会社 画像表示装置及びプリントシステム
US7171056B2 (en) 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document
US7359004B2 (en) * 2003-05-23 2008-04-15 Microsoft Corporation Bi-level and full-color video combination for video communication
US9280839B2 (en) * 2008-01-29 2016-03-08 International Business Machines Corporation Generation of a vector graphic from a hand-drawn diagram

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331391A (ja) * 1995-05-31 1996-12-13 Canon Inc 画像処理装置およびその方法
JP2001223903A (ja) * 1999-12-04 2001-08-17 Luratech Ges Fuer Luft & Raumfahrttechnologie & Multimedia Mbh 走査された色付きおよびグレースケールの文書を圧縮する方法
JP2001230937A (ja) * 2000-02-18 2001-08-24 Sharp Corp ファクシミリ装置
JP2002094805A (ja) * 2000-07-24 2002-03-29 Sharp Corp 分解画像のレイヤを生成する方法
JP2002218254A (ja) * 2000-11-29 2002-08-02 Xerox Corp 画像圧縮方法及び画像圧縮システム
US20030048944A1 (en) * 2001-09-12 2003-03-13 De Bonet Jeremy S. Transformation to increase the lempel-ziv compressibility of images with minimal visual distortion
JP2003087558A (ja) * 2001-09-14 2003-03-20 Fuji Xerox Co Ltd 画像処理装置および方法
JP2003134532A (ja) * 2001-10-19 2003-05-09 Denso Corp 画像圧縮装置、画像圧縮方法、画像展開装置、プログラム
JP2003348360A (ja) * 2002-04-25 2003-12-05 Microsoft Corp 文書エンコーディングシステム、文書デコーディングシステムおよびその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011524572A (ja) * 2008-06-14 2011-09-01 マイクロソフト コーポレーション マルチメディア会議イベント用のホワイトボード管理手法
US8731299B2 (en) 2008-06-14 2014-05-20 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events

Also Published As

Publication number Publication date
US20050244065A1 (en) 2005-11-03
US8351694B2 (en) 2013-01-08
US20120014596A1 (en) 2012-01-19
KR101146162B1 (ko) 2012-05-25
EP1598781A1 (en) 2005-11-23
EP1598781B1 (en) 2010-09-01
ATE479966T1 (de) 2010-09-15
US8620071B2 (en) 2013-12-31
US20130121574A1 (en) 2013-05-16
KR20060047631A (ko) 2006-05-18
DE602005023239D1 (de) 2010-10-14
JP5036138B2 (ja) 2012-09-26
US7991238B2 (en) 2011-08-02

Similar Documents

Publication Publication Date Title
JP5036138B2 (ja) マルチレベル画像の適応圧縮方法及びシステム
JP4515479B2 (ja) トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
CN108696761B (zh) 一种图片文件处理方法及其设备、系统
US7769237B2 (en) Dynamic, locally-adaptive, lossless palettization of color and grayscale images
KR102113710B1 (ko) 하이 다이내믹 레인지 이미지들을 인코딩하고, 디코딩하고, 표현하기 위한 기법들
CN103918261A (zh) 分层信号质量层级中的信号处理和继承
US20130202201A1 (en) Image coding method and apparatus and image decoding method and apparatus, based on characteristics of regions of image
WO2018184465A1 (zh) 图片文件处理方法、装置及存储介质
US7483583B2 (en) System and method for processing image data
US7643700B2 (en) Processing of coded data according to user preference
CN107820084B (zh) 一种视频感知编码方法及装置
US7164792B2 (en) Method and apparatus for compressing images using color palettes and rare colors
US9398314B2 (en) Entropy coding efficiency enhancement utilizing energy distribution remapping
CN1694486A (zh) 多级图像的适应性压缩
Okuda et al. Effective color space representation for wavelet based compression of HDR images
JP2013038656A (ja) 画像符号化装置及びその制御方法
JP2003069835A (ja) 画像処理装置及び方法及びコンピュータプログラム及び記憶媒体
TWI581616B (zh) 編碼方法、解碼方法、編解碼系統、編碼器與解碼器
KR100495001B1 (ko) 이미지 압축 부호화 방법 및 시스템
CN115022627A (zh) 一种针对绘制中间图像的高压缩比的无损压缩方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080418

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20091204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

TRDD Decision of grant or rejection written
RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20120531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5036138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250