JP2011528194A - 分離されたイメージ圧縮のためシステムおよび方法 - Google Patents

Abstract

【課題】別々のイメージ圧縮のための方法およびシステムが開示されている。
【解決手段】１つの実施例によれば、コンピュータにより実行される方法は、画面イメージの送信をイニシエートし、分離のために画面イメージを用意し、画面イメージをイメージブロックに分離し、イメージブロックをイメージパケットに圧縮し、イメージパケットを送信する。
【選択図】 図６

Description

本発明は、一般的には、コンピュータアプリケーションの分野に関し、特に、分離されたイメージ圧縮に関する。

コンピュータおよびネットワーク技術の急速な発展は、生活および仕事に多大な利便性もたらしている。仮想空間は、成長を続けている。技術の利点は、遠方の端末装置や制御装置のアクセス性を改良する。例えば、ＶＮＣ、ＰＣＡｎｙｗｈｅｒｅおよびＮｅｔＭｅｅｔｉｎｇを用いることにより、人々は、ローカルマシンをアクセスするのと同じように容易に遠方のコンピュータをアクセスすることができる。このようなアプリケーションでは、イメージ圧縮および送信に基づく遠方画面の同期が重要である。遠方のデスクトップ画面の頻繁な変化は、コンピュータネットワークを介して伝送されるイメージデータの量を増大させ、重要なネットワーク帯域幅の消費をもたらす。

現存する方法は、ネットワーク帯域幅の多量の消費を減少させることを試みている。初期の段階では、いくつかの簡単なアルゴリズムが、圧縮データのない、Ｒａｗ、ＲＲＥおよびＨｅｘｔｉｌｅ等の遠方の画面データを扱っていた。ネットワークを介するデータ転送に対する重大な帯域幅の消費は、このようなアルゴリズムの開発にも関らず依然として残されていた。その後、‘Ｚｌｉｂ’および‘ＺｌｉｂＨｅｘ’と呼ばれる２つのアルゴリズムが、Ｔｒｉｄｉａ ＶＮＣによって導入された。このアルゴリズムは、データの大きさをさらに減少させるために、標準の‘ｚｌｉｂ’ライブラリーを用いて、ＲａｗおよびＨｅｘｔｉｌｅデータをエンコードおよび圧縮する。しかしながら、損失のない圧縮は、多量の帯域幅の消費の問題を解決していない。

ＪＰＥＧ等の損失を有するイメージ圧縮は、画面イメージを圧縮する。圧縮は、最終のイメージの質に重大な影響を与えることなく、データの大きさを減少させる。損失を有する圧縮技術を備える制限は、デスクトップ画面イメージと異なる自然のイメージを圧縮することである。ＪＰＥＧによって圧縮されたデスクトップ画面イメージは、同時に、高い圧縮比を有する高いイメージ品質をもたらさない。

遠方のデスクトップイメージは、グラフ（画像）イメージであり、非常に鮮明な輪郭を有する、多量のテキストおよび線を含んでいる。ＪＰＥＧエンコーダーは、元のイメージの品質を保持するために、より多くの出力を発生する必要がある。

遠方のデスクトップアプリケーションにおける従来のイメージ圧縮方法は、高品質のイメージと高圧縮比を同時に生成しない。

本出願は、２００８年４月１６日に出願された、“アプリケーションシェアリングおよびデスクトップシェアリング作業を改善するための分離されたグラフ／テキストイメージ圧縮”という名称の米国仮出願第６１／０４５５４５号の恩恵および優先権を主張し、参照によって組み込まれている。

概要

分離されたイメージ圧縮のための方法およびシステムが開示されている。１つの実施例によれば、コンピュータにより実行される方法は、画面イメージの伝送をイニシエートし、分離のために画面イメージを用意し、画面イメージをイメージブロックに分離し、イメージブロックをイメージパケットに圧縮し、イメージパケットを送信する。

本明細書の一部として含まれている添付の図面は、現時点で好ましい実施例を示しており、また、前述した一般的な記述および後述する好ましい実施例の詳細な説明とともに、本発明の原理を説明および教示するために用いられている。

１つの実施例に対応する、分離されたイメージ圧縮システム内における、イメージエンコードおよび圧縮処理の１例のフロー図である。 １つの実施例に対応する、分離されたイメージ圧縮システム内における、エンコードされたデータ構造の１例のブロック図である。 １つの実施例に対応する、分離されたイメージ圧縮システム内における、イメージ送信処理の１例のフロー図である。 １つの実施例に対応する、分離されたイメージ圧縮システム内における、デコード処理の１例のフロー図である。 １つの実施例に対応する、分離されたイメージ圧縮システム内における、ユーザーシステムとプロバイダーとの間の関係を確立するためのフロー図である。 １つの実施例に対応する、分離されたイメージ圧縮システム内における、ユーザーおよびプロバイダーのシステムレベル図である。 １つの実施例に対応する、本発明のシステムを用いるためのコンピュータ構造の１例を示している。

詳細な説明

分離されたイメージ圧縮のための方法およびシステムが開示されている。１つの実施例によれば、コンピュータにより実行される方法は、画面イメージ(screen image)の送信をイニシエート(initiate)し、分離のために画面イメージを用意し、画面イメージをイメージブロック(image block)に分離し、イメージブロックをイメージパケット(image packet)に圧縮し、イメージパケットを送信する。

別々のイメージ圧縮のためのシステムは、テキスト(text)と線(line)を画面イメージから分離する。その後、テキストとイメージは、データ特性に基づいて別々に圧縮可能である。テキストと線の色および領域を分析した後、テキストと線は、２レベル原文イメージ(bi-level textural image)に変換され、そして、ＪＢＩＧ等の２レベルの損失が無いイメージ圧縮器(bi-level lossless image compressor)によって圧縮される。

以下の記述では、説明の目的のために、特別の用語が、本明細書に開示されている種々の発明概念の通しの理解を提供するために設けられている。しかしながら、当業者であれば、これらの特別な詳細は、本明細書に開示されている種々の発明概念を実施するために必要でないことが理解できるであろう。

以下の記述では、説明の目的のために、特別の用語が、本明細書に開示されている種々の発明概念の理解を提供するために設けられている。しかしながら、当業者であれば、これらの特別な詳細は、本明細書に開示されている種々の発明概念を実施するために必要でないことが理解できるであろう。

以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットの動作のアルゴリズムおよびシンボル表現で提供されている。これらのアルゴリズム記述および表現は、データ処理技術における当業者により、それらの作業の要旨を他の当業者に最も効果的に伝えるために用いられる手段である。方法は、ここでは、そして、一般的に、所望の結果に導く自己矛盾のないものであると思われる。処理は、物理量の物理操作を含んでいる。通常、必要ではないが、これらの量は、蓄積、伝送、結合、比較、および他の操作が可能な電気または磁気信号の形態をとる。時々、主に一般の使用の理由により、こられの信号をビット、値、要素、シンボル、キャラクター、用語、数あるいは類似のもので参照することが便利であることが証明されている。

以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットの動作のアルゴリズムおよびシンボル表現で提供されている。これらのアルゴリズム記述および表現は、データ処理技術における当業者により、それらの作業の要旨を他の当業者に最も効果的に伝えるために用いられる手段である。方法は、ここでは、そして、一般的に、所望の結果に導く自己矛盾のないものであると思われる。処理は、物理量の物理操作を含んでいる。通常、必要ではないが、これらの量は、蓄積、伝送、結合、比較、および他の操作が可能な電気または磁気信号の形態をとる。時々、主に一般の使用の理由により、こられの信号をビット、値、要素、シンボル、キャラクター、用語、数あるいは類似のもので参照することが便利であることが証明されている。

しかしながら、これらおよび同様の用語の全ては、適当な物理量に関連し、また、これらの量に適用される単に便利なラベルであることを覚えておくべきである。以下の説明から明らかなものとして特別に述べられていない限り、記述を通して、“プロセシング(processing)（処理）”または“コンピューティング(computing)”または“計算(calculating)”または“決定(determining)”または“表示(displaying)”または同様の用語等を用いる議論は、コンピュータシステムのレジスタおよびメモリ内に物理(電子)量として表されているデータを操作し、コンピュータシステムメモリまたはレジスタまたは他の記憶装置、送信または表示装置内に同様に物理量として表されている他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティング装置の行動および処理を参照する。

また、本発明の方法およびシステムは、その中で動作を実行するための装置に関する。この装置は、所望の目的に対して特別に構成され、あるいは、コンピュータ内に蓄積されているコンピュータプログラムによって選択的に活性化されあるいは再構築される一般目的のコンピュータにより構成可能である。このようなコンピュータプログラムは、これに限定されないが、それぞれコンピュータシステムバスに結合されている、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭおよび光磁気ディスクを含む任意の形式のディスク、読出専用メモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、あるいは、電子指示の蓄積に適切な任意の形式の媒体等の、コンピュータ読み取り可能な蓄積媒体に蓄積可能である。

本明細書中に提供されているアルゴリズムおよび表示は、任意の特別なコンピュータあるいは他の装置に本質的に関係しない。種々の一般目的のシステムが、本明細書中の教示に対応するにプログラムとともに使用可能であり、あるいは、所望の方法ステップを実行するためのより特別な装置を構築することが便利であることが証明される。これらのシステムの変化に対して要求される構成は、以下の記述から明らかである。加えて、本発明は、任意の特別なプログラム言語と関連して記述されない。様々のプログラム言語が、本明細書に説明されている発明の教示を実行するために使用可能であることが理解される。

図１は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、イメージエンコードおよび圧縮処理の１例のフロー図である。１例の処理は、画面イメージの前処理、画面イメージのフォアグラウンド（前景）(foreground)およびバックグラウンド（背景）(background)の分離、フォアグラウンドイメージの処理、バックグラウンドイメージの処理、両者の圧縮を含んでいる。

ＲＧＢ（赤、緑、青）画面イメージが、入力される（１０１）。そして、色イメージが、線形関数を用いてＲＧＢからＹＵＶ色空間に変換される（１０２）。人の目は、Ｙ成分信号に対してより敏感であるため、Ｙ成分信号は、グラフ分離（画像分離）のためにより好適である。また、Ｙ成分は、ＲＧＢ成分を用いる場合に比べて、データの処理量を減少させる。他の実施例では、ＨＩＳ等の色空間の他の選択が、グラフ分離のために用いられる。

分離効率は、ピクセルグラディエント(pixel gradient)がテキスチャ信号(texture signal)に対して計算されるテキスチャ信号の前処理によって高められる（１０３）。このイメージ前処理は、テキスチャ信号およびバックグラウンドイメージ信号が異なる特性を有しているため、有益である。テキスチャブロック内の展望(prospect)とバックグラウンドとの間の比較的に強いコントラストのために、グラディエント計算が実行される時に、テキスチャ信号は強められが、バックグラウンド信号は弱められる。

イメージは、小さいブロックに分割される（１０４）。そして、各ブロックは、別別に処理され、カテゴリーに分類される。ピクセルグラディエントは、各ブロックが、明度遷移パラメータを有するように計算される。遷移の数は、ブロック内における劇的な明るさ変化を調査することによって計算され、また、後で、ブロックがテキスチャブロックであるか否かを決定する際に用いられる。背バックグラウンドイメージブロック内のピクセルは、一般的に、高彩度を有し、それにより、ブロック彩度統計は、ブロック形式を決定する際に役立つ。ブロック内においてピクセルの色と明るさを計算することにより、ブロックは、低、中あるいは高彩度に分類可能である。

ピーク密度が、ブロックがテキストブロックに属するかあるいはバックグラウンドイメージブロックに属するかを予め定められている閾値に応じて決定するために計算される（１０５）。閾値は、ブロックの水平方向および垂直方向におけるピークおよびくぼみの数に関係する。

明度遷移パラメータおよび色統計に対応して、修正がブロック分類に対して行われる（１０６）。ブロック分類（１０６）の後、フォアグラウンド色がテキスチャブロックに分離される。１つの実施例によれば、分離されたイメージ圧縮アルゴリズムは、近傍のブロックのフォアグラウンド色とバックグラウンド色が設定された場合に評価し、また、最初に近傍ブロックをアドレスする。適応閾値(adaptive threshold)計算がテキスチャトブロックに適用される（１０７）。そして、分離が、計算された閾値に基づいて処理される。閾値の両側におけるピクセルのＭＳＤ（平均平方偏差：ｍｅａｎ ｓｑｕａｒｅｄ ｄｅｖｉａｔｉｏｎ）が計算される。フォアグラウンドピクセルに対しては、より小さい閾値である。

フォアグラウンド色が、フォアグラウンドピクセルの色の平均値を用いることによって決定される（１０８）。そして、フォアグラウンドイメージが、２値イメージに変換される（１０９）。テキスト抽出後、バックグラウンドイメージ内に残っているテキスチャ信号が除去され、そして、その周りの非フォアグラウンドピクセルの平均値に置き換えられる。分離されたテキスチャブロックはなめらかにされる（１１１）。

バックグラウンドイメージのバックグラウンド色がセットされる（１１２）。ここで、バックグラウンドイメージは、かなりのノイズと除去されなかった鋭いエッジを含んでいる。ノイズと鋭いエッジの両方の存在は、イメージ圧縮におけるネガティブな影響を有している。この問題を改善するために、バックグラウンドイメージが、圧縮効率を改善するためになめらかにされる（１１３）。なめらかにした（１１３）後、バックグラウンドイメージは、ＪＰＥＧによって、高い比率に圧縮される。全てのブロックの分類と抽出が完了する（１１４）と、同じフォアグラウンド色を有するテキスチャブロックの２値イメージが混合される(merged)（１１５）。フォアグラウンド色と、混合された２値イメージデータを含んでいるデータストリーム(data stream)は、損失無しに圧縮される（１１６）。そして、フォアグラウンドデータストリームとバックグラウンドデータストリームは、図２に示されている構造にパックされる。

図２は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、エンコードされたデータ構造の１例のブロック図である。イメージデータ構造は、フォアグラウンドイメージデータセクション２０１とバックグラウンドイメージデータセクション２０４を有している。フォアグラウンドイメージデータセクション２０１は、フォアグラウンド色リスト２０２と、混合されたテキスチャブロックデータ２０３を有している。フォアグラウンド色リスト２０２は、フォアグラウンド色の数と各色のＲＧＢ値を含んでいる。混合されたテキスチャブロックデータ２０３は、混合されたテキスチャブロックデータを、色リスト２０２の順に蓄積する。１つの実施例によれば、圧縮されたバックグラウンドイメージデータセクション２０４は、圧縮されたＪＰＥＧデータを含んでいる。

図３は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、イメージ送信処理の１例のフロー図である。ユーザーＡは、イメージの転送をイニシエートすることによって、イメージエンコードおよび圧縮をトリガする（３０１）。イメージエンコードおよび圧縮は、分離されたイメージ圧縮方法に対応して実行される（３０２）。分離されたイメージ圧縮方法の１例が、図１に示されている。

圧縮されたイメージパケットは、ユーザーＡからＢに送信される（３０３）。そして、解凍は、パケットがユーザーＢによって受信された時にトリガされる（３０４）。圧縮されたパケットは、圧縮において使用された処理と逆の処理を用いて、イメージブロックに解凍される（３０５）。その後、イメージは、ユーザーＢの画面に表示される（３０６）。図３に示されている実施例では、２つのユーザーの間の送信が示されているが、当業者は、イメージの送信および受信が、他の実施例では複数のユーザーの間で実行可能であることを理解することができる。

図４は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、デコード処理の１例のフロー図である。遠方のクライアントは、エンコードおよび圧縮されたイメージデータを含むパケットを受信し（４０１）、そして、デコードがイニシエートされる。フォアグラウンドイメージブロックと圧縮されたバックグラウンドイメージデータが、パケットデータストリームから抽出される（４０２）。抽出されたテキスチャブロックが解凍され（４０３）、また、バックグラウンドイメージデータが解凍される（４０４）。解凍は、圧縮処理を逆にすることによって達成される。バックグラウンドイメージデータ、原文ブロックおよびバックグラウンド色データを用いて、イメージが、受領者の画面に表示される（４０５）。

図５は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、ユーザーシステムとプロバイダー(provider)との間の関係を確立するためのフロー図である。ユーザーは。プロバイダーからの分離されたイメージ圧縮ソフトウェアを要求する（５０１）。プロバイダーは、（ポップアップ表示あるいはイーメイルあるいは他の形式の通信を介して）ユーザーに使用許諾契約(licence agreement)を供給する（５０２）し、ユーザーは、使用許諾条項(licence term)に同意する（５０３）。プロバイダーは、（任意の通信形式を介して）分離されたイメージソフトウェアユーザーに送信する（５０４）。そして、分離されたイメージ圧縮ソフトウェアが、ユーザーシステムにインストールされる（５０５）。インストールが完了した後、ユーザーは、分離されたイメージ圧縮シェアリング状態に参加する（５０６）。

図６は、１つの実施例に対応する、分離されたイメージ圧縮システム内における、ユーザーとプロバイダーのシステムレベル図である。ユーザー（Ａ）６０１は、プロバイダー６０３からの分離されたイメージ圧縮ソフトウェアを要求し、そして、プロバイダーは、分離されたイメージ圧縮ソフトウェアをユーザー（Ａ）６０１に供給する。同様に、ユーザー（Ｂ）６０２は、プロバイダー６０３からの分離されたイメージ圧縮ソフトウェアを要求し、そして、プロバイダーは、分離されたイメージ圧縮ソフトウェアをユーザーＢ（６０２）に供給する。ユーザー（Ａ）６０１とユーザー（Ｂ）６０２は、システムにインストールされた、分離されたイメージ圧縮ソフトウェアを有し、そして、分離されたイメージ圧縮のためのシステムを用いて、イメージを共有することができる。図６に示されている実施例では、２つのユーザーの間の送信が示されているが、当業者は、イメージの送信および受信が、他の実施例では複数のユーザーの間で実行可能であることが理解される。

図７は、１つの実施例に対応する、本発明のシステムを用いて使用するためのコンピュータ構成の１例を示している。１つの実施例の構成７００は、情報を通信するためのシステムバス７５０と、情報を処理するための、バス７２０に結合されているプロセッサー７１０を備えている。構成７００は、さらに、情報と、プロセッサー７１０によって実行される指示を蓄積するための、バス７２０に結合されているランダムアクセスメモリ（ＲＡＭ）または他のダイナミック蓄積装置（「主メモリ」という）７２５を備えている。また、主メモリ７２５は、プロセッサー７１０による指示の実行中、一時的な変数または他の中間情報を蓄積するために使用可能である。また、構成７００は、スタティック情報と、プロセッサー７１０によって使用される指示を蓄積するための、バス７２０に結合されている読出専用メモリ（ＲＯＭ）および／または他のスタティック蓄積装置７２６を含んでいてもよい。

磁気ディスクまたは光ディスク等のデータ蓄積装置７２７および対応する装置は、情報および指示を蓄積するためにコンピュータシステム７００に結合されていてもよい。また、構成７００は、Ｉ／Ｏインターフェース７３０を介して第２のＩ／Ｏバス７５０に結合可能である。複数のＩ／Ｏ装置は、表示装置７４３、入力装置（例えば、英数字入力装置７４２および／またはカーソル制御装置７４１）を含むＩ／Ｏバス７５０に結合されていてもよい。

通信装置７４０は、ネットワークを介する他のコンピュータ（サーバーまたはクライアント）へのアクセスを可能とする。通信装置７４０は、イーサーネット、トークンリングまたは他の種類のネットワークに結合するために使用される、１つまたは複数のモデム、ネットワークインターフェースカード、無線ネットワークインターフェースまたは他の周知のインターフェース装置を備えていてもよい。

分離されたイメージ圧縮のための方法とシステムが開示されている。本明細書に開示されている実施例は、理解のためのものであり、本実施例の主題を制限するものでないことを考慮すべきである。当業者には、本発明の範囲または精神から逸脱することなく、種々の変更、使用、代用物、組み換え、改良、製造方法が存在することが明らかである。

Claims (22)

1. コンピュータにより実行される方法であって、
   画面イメージの転送をイニシエートし、
   分離のために画面イメージを用意し、
   画面イメージをイメージブロックに分離し、
   イメージブロックをイメージパケットに圧縮し、
   イメージパケットを送信する。
2. 請求項１に記載のコンピュータにより実行される方法であって、
   分離のために画面イメージを用意する際には、１または複数のイメージ色空間を転送し、ピクセルグラディエントを計算し、そして、ピーク密度を計算する。
3. 請求項１に記載のコンピュータにより実行される方法であって、イメージブロックは、フォアグラウンドイメージブロックにより構成されている。
4. 請求項１に記載のコンピュータにより実行される方法であって、イメージブロックは、バックグラウンドイメージブロックにより構成されている。
5. 請求項１に記載のコンピュータにより実行される方法であって、イメージパケットは、フォアグラウンド色リストにより構成されている。
6. 請求項１に記載のコンピュータにより実行される方法であって、イメージパケットは、混合されたテキストブロックデータにより構成されている。
7. コンピュータにより実行される方法であって、
   イメージパケットを受信し、
   イメージパケットからイメージブロックを抽出し、
   イメージブロックを画面イメージに解凍し、
   画面イメージを表示する。
8. 請求項７に記載のコンピュータにより実行される方法であって、イメージブロックは、フォアグラウンドイメージブロックにより構成されている。
9. 請求項７に記載のコンピュータにより実行される方法であって、イメージブロックは、
   バックグラウンドイメージブロックにより構成されている。
10. 請求項７に記載のコンピュータにより実行される方法であって、イメージパケットは、フォアグラウンド色リストにより構成されている。
11. 請求項７に記載のコンピュータにより実行される方法であって、イメージパケットは、混合されたテキストブロックデータにより構成されている。
12. 複数の指示を蓄積しているコンピュータ読み取り可能な媒体であって、複数の指示は、コンピュータによって実行される時に、コンピュータを、
    画面イメージの転送をイニシエートし、
    分離のために画面イメージを用意し、
    画面イメージをイメージブロックに分離し、
    イメージブロックをイメージパケットに圧縮し、
    イメージパケットを送信するように実行させる。
13. 請求項１２に記載のコンピュータ読み取り可能な媒体であって、分離のために画面イメージを用意する際には、イメージ色空間を１つまたは複数転送し、ピクセルグラディエントを計算し、ピーク密度を計算する。
14. 請求項１２に記載のコンピュータ読み取り可能な媒体であって、イメージブロックは、フォアグラウンドイメージブロックにより構成されている。
15. 請求項１２に記載のコンピュータ読み取り可能な媒体であって、イメージブロックは、バックグラウンドイメージブロックにより構成されている。
16. 請求項１２に記載のコンピュータ読み取り可能な媒体であって、イメージパケットは、フォアグラウンド色リストにより構成されている。
17. 請求項１２に記載のコンピュータ読み取り可能な媒体であって、イメージパケットは、混合されたテキストブロックデータにより構成されている。
18. 複数の指示を蓄積しているコンピュータ読み取り可能な媒体であって、複数の指示は、コンピュータによって実行される時に、コンピュータに、
    イメージパケットを受信し、
    イメージパケットからイメージブロックを抽出し、
    イメージブロックを画面イメージに解凍し、
    画面イメージを表示するように動作させる。
19. 請求項１８に記載のコンピュータ読み取り可能な媒体であって、イメージブロックは、フォアグラウンドイメージブロックにより構成されている。
20. 請求項１８に記載のコンピュータ読み取り可能な媒体であって、イメージブロックは、バックグラウンドイメージブロックにより構成されている。
21. 請求項１８に記載のコンピュータ読み取り可能な媒体であって、イメージパケットは、フォアグラウンド色リストにより構成されている。
22. 請求項１８に記載のコンピュータ読み取り可能な媒体であって、イメージパケットは、混合されたテキストブロックにより構成されている。

Images