JP2005260319A - 画像処理装置、プログラム、記憶媒体及び画像送信方法 - Google Patents

画像処理装置、プログラム、記憶媒体及び画像送信方法 Download PDF

Info

Publication number
JP2005260319A
JP2005260319A JP2004065362A JP2004065362A JP2005260319A JP 2005260319 A JP2005260319 A JP 2005260319A JP 2004065362 A JP2004065362 A JP 2004065362A JP 2004065362 A JP2004065362 A JP 2004065362A JP 2005260319 A JP2005260319 A JP 2005260319A
Authority
JP
Japan
Prior art keywords
region
interest
image
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004065362A
Other languages
English (en)
Other versions
JP4111926B2 (ja
Inventor
Junichi Hara
潤一 原
Toshio Miyazawa
利夫 宮澤
Fumihiro Hasegawa
史裕 長谷川
Hideaki Yamagata
秀明 山形
Hiroaki Nagatsuka
広明 永塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004065362A priority Critical patent/JP4111926B2/ja
Priority to US11/074,080 priority patent/US7508988B2/en
Publication of JP2005260319A publication Critical patent/JP2005260319A/ja
Application granted granted Critical
Publication of JP4111926B2 publication Critical patent/JP4111926B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行う。
【解決手段】 画像データ（例えば、JPEG2000コードストリーム）を抽出手段３２により１つ又は複数の関心領域に分割し、第１順位設定手段３３により分割した関心領域毎に優先順位を付し、分解手段３１及び第１送信手段３７の動作により優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）を画像要求元である他の画像処理装置に対して先に送信する。これにより、必要な画像データを他の画像処理装置側に先に送信することで、データ送信時間の短縮化を図ることができるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【選択図】 図１４

Description

本発明は、画像処理装置、プログラム、記憶媒体及び画像送信方法に関する。
近年、画像圧縮伸長アルゴリズムとして、高圧縮率でも高画質な画像を復元可能な国際標準としてJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる（特許文献１参照）。また、JPEG2000においては、一つの画像ファイル内で低解像度データと高解像度データとに分けることが可能になっている。
このようなJPEG2000の方式で圧縮された画像ファイルの利用方法の一例としては、次に示すような利用方法が考えられる。例えば、JPEG2000の方式で圧縮された画像ファイルをＷｅｂサーバ等のサーバコンピュータ（以下においては、サーバという。）側にまとめて蓄積し、クライアントコンピュータ（以下においては、クライアントという。）側で必要に応じてサーバにアクセスしてJPEG2000の方式で圧縮された画像ファイルから低解像度データのみを引き取り、ブラウザがサムネイル表示処理を行うような利用方法である。この転送形式としてプログレッシブ送信があり、画像をプログレッシブに表示を行う。このような利用方法によれば、サーバからクライアント側に画像データを送信する際のネットワークトラフィックを軽減することが可能となっており、サムネイル表示処理時間を短縮することが可能になっている。
なお、JPEG2000方式の中には、さらに、JPMといわれる複数の画像を階層別に保持可能な方式や、JPIPと呼ばれるJPEG2000ファイルをHTTPやTCP、IPなどの通信プロトコル上で伝送することができる規格が制定されている。
特開２００１−１９７５００公報
サーバ中にある画像をサムネイルで表示した中から所望の画像を選択するといったアプリケーションを使用する場合、サーバ中に格納されたサムネイル画像をクライアントのアプリケーション側に送信する必要がある。
しかしながら、通常、このサムネイル画像は単に画像の縮小版でしかなく、サーバ中から画像を見つけ出すという用途に使用する場合には小さすぎて不向きである。したがって、ある程度表示画面サイズの大きな画像を使用したい場合、基本的にこれら全画像のデータの送信が必要となってしまい多大な送信時間がかかり不都合がある。
また、画像をサーバからダウンロードする前段階において、ディスプレイ上での確認作業を行う場合でも、全サムネイル画像の画像データの送信をアプリケーション側にしなければならず、送信時間がかかり確認作業に不便である。
本発明の目的は、必要な画像データを先に送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことである。
本発明の目的は、必要な画像データのみを送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことである。
請求項１記載の発明の画像処理装置は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、前記コードストリームを分解して構成要素単位で取り出す分解手段と、前記コードストリームから関心領域を抽出する抽出手段と、この抽出手段により抽出された関心領域に優先順位を設定する第１順位設定手段と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定手段により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信手段と、を備える。
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項２記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する。
したがって、文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項３記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された文字情報中のタイトルとみなされる文字情報を優先する。
したがって、関心領域として抽出された文字情報中のタイトルとみなされる文字情報が最優先で他の画像処理装置に送信される。文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、文字情報中のタイトルを関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項４記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された文字情報中の文字サイズの大きい文字情報を優先する。
したがって、関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で他の画像処理装置に送信される。文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、文字サイズの大きい文字情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項５記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する。
したがって、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で他の画像処理装置に送信される。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、絵柄サイズの大きい絵柄情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項６記載の発明は、請求項１ないし５のいずれか一記載の画像処理装置において、前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う。
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが他の画像処理装置に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。
請求項７記載の発明は、請求項１ないし５のいずれか一記載の画像処理装置において、前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う。
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
請求項８記載の発明は、請求項１記載の画像処理装置において、前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う。
したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項９記載の発明は、請求項１記載の画像処理装置において、前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う。
したがって、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項１０記載の発明は、請求項１ないし９のいずれか一記載の画像処理装置において、前記第１順位設定手段により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化手段と、この第１復号化手段により復号化された画像データに対して画像処理を行う画像処理手段と、この画像処理手段により画像処理された画像データを階層的に圧縮し符号化する第１符号化手段と、を備え、前記第１送信手段は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する。
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
請求項１１記載の発明は、請求項１０記載の画像処理装置において、前記画像処理手段は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う。
したがって、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることが可能になる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
請求項１２記載の発明の画像処理装置は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、前記コードストリームから関心領域を抽出する抽出手段と、この抽出手段により抽出された前記関心領域の前記コードストリームを復号化する第２復号化手段と、この第２復号化手段により復号化された前記関心領域を正規化する正規化手段と、この正規化手段により正規化された前記関心領域を１つの画像にまとめる集約手段と、この集約手段により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化手段と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信手段と、を備える。
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項１３記載の発明は、請求項１２記載の画像処理装置において、前記抽出手段により抽出された前記関心領域に、優先順位を設定する第２順位設定手段を備える。
したがって、各関心領域に優先順位が付されることにより、各関心領域を優先順位毎に復元することが可能になる。
請求項１４記載の発明は、請求項１２または１３記載の画像処理装置において、前記第２復号化手段により復号化された画像データに対して画像処理を行う画像処理手段を備え、前記第２送信手段は、前記画像処理手段により画像処理されて前記第２符号化手段により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する。
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
請求項１５記載の発明のプログラムは、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、前記コードストリームを分解して構成要素単位で取り出す分解機能と、前記コードストリームから関心領域を抽出する抽出機能と、この抽出機能により抽出された関心領域に優先順位を設定する第１順位設定機能と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定機能により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信機能と、を実行させる。
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項１６記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する。
したがって、文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項１７記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された文字情報中のタイトルとみなされる文字情報を優先する。
したがって、関心領域として抽出された文字情報中のタイトルとみなされる文字情報が最優先で他の画像処理装置に送信される。文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、文字情報中のタイトルを関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項１８記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された文字情報中の文字サイズの大きい文字情報を優先する。
したがって、関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で他の画像処理装置に送信される。文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、文字サイズの大きい文字情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項１９記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する。
したがって、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で他の画像処理装置に送信される。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、絵柄サイズの大きい絵柄情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項２０記載の発明は、請求項１５ないし１９のいずれか一記載のプログラムにおいて、前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う。
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが他の画像処理装置に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。
請求項２１記載の発明は、請求項１５ないし１９のいずれか一記載のプログラムにおいて、前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う。
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
請求項２２記載の発明は、請求項１５記載のプログラムにおいて、前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う。
したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項２３記載の発明は、請求項１５記載のプログラムにおいて、前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う。
したがって、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
請求項２４記載の発明は、請求項１５ないし２３のいずれか一記載のプログラムにおいて、前記第１順位設定機能により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化機能と、この第１復号化機能により復号化された画像データに対して画像処理を行う画像処理機能と、この画像処理機能により画像処理された画像データを階層的に圧縮し符号化する第１符号化機能と、を前記コンピュータに実行させ、前記第１送信機能は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する。
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
請求項２５記載の発明は、請求項２４記載のプログラムにおいて、前記画像処理機能は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う。
したがって、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることが可能になる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
請求項２６記載の発明のプログラムは、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、前記コードストリームから関心領域を抽出する抽出機能と、この抽出機能により抽出された前記関心領域の前記コードストリームを復号化する第２復号化機能と、この第２復号化機能により復号化された前記関心領域を正規化する正規化機能と、この正規化機能により正規化された前記関心領域を１つの画像にまとめる集約機能と、この集約機能により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化機能と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信機能と、を実行させる。
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項２７記載の発明は、請求項２６記載のプログラムにおいて、前記抽出機能により抽出された前記関心領域に、優先順位を設定する第２順位設定機能を前記コンピュータに実行させる。
したがって、各関心領域に優先順位が付されることにより、各関心領域を優先順位毎に復元することが可能になる。
請求項２８記載の発明は、請求項２６または２７記載のプログラムにおいて、前記第２復号化機能により復号化された画像データに対して画像処理を行う画像処理機能を前記コンピュータに実行させ、前記第２送信機能は、前記画像処理機能により画像処理されて前記第２符号化機能により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する。
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
請求項２９記載の発明の記憶媒体は、請求項１５ないし２８のいずれか一記載のプログラムを記憶している。
したがって、この記憶媒体に記憶されたプログラムをコンピュータにインストールするか、あるいは解釈させることにより、請求項１３ないし２４のいずれか一記載の発明と同様の作用を得ることが可能になる。
請求項３０記載の発明の画像送信方法は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、前記コードストリームを分解して構成要素単位で取り出す分解工程と、前記コードストリームから関心領域を抽出する抽出工程と、この抽出工程により抽出された関心領域に優先順位を設定する第１順位設定工程と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定工程により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信工程と、を有している。
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項３１記載の発明の画像送信方法は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、前記コードストリームから関心領域を抽出する抽出工程と、この抽出工程により抽出された前記関心領域の前記コードストリームを復号化する第２復号化工程と、この第２復号化工程により復号化された前記関心領域を正規化する正規化工程と、この正規化工程により正規化された前記関心領域を１つの画像にまとめる集約工程と、この集約工程により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化工程と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信工程と、を有している。
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
請求項１，１５，３０記載の発明によれば、画像データ（例えば、JPEG2000コードストリーム）を１つ又は複数の関心領域に分割し、分割した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）を画像要求元である他の画像処理装置に対して先に送信することにより、必要な画像データを先に送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことができる。
請求項２，１６記載の発明によれば、文字情報が重要である場合には関心領域として文字情報領域を抽出することができ、絵柄情報が重要である場合には関心領域として絵柄情報領域を抽出することができる。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項３，１７記載の発明によれば、関心領域として抽出された文字情報中のタイトルとみなされる文字情報を最優先で他の画像処理装置に送信することにより、文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項４，１８記載の発明によれば、関心領域として抽出された文字情報中の文字サイズの大きい文字情報を最優先で他の画像処理装置に送信することにより、文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項５，１９記載の発明によれば、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報を最優先で他の画像処理装置に送信することにより、絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項６，２０記載の発明によれば、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とを他の画像処理装置に送信するので、関心領域部分以外の領域の内容も比較的早く確認することができる。
請求項７，２１記載の発明によれば、関心領域として抽出された部分の低解像度画像を最優先で他の画像処理装置に送信した後は、関心領域以外の領域を関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信するので、関心領域部分以外の領域の内容を早く確認することができる。
請求項８，２２記載の発明によれば、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項９，２３記載の発明によれば、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位を付与することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
請求項１０，２４記載の発明によれば、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減ができ、送信速度の向上を図ることができる。
請求項１１，２５記載の発明によれば、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
請求項１２，２６，３１記載の発明によれば、画像データ（例えば、JPEG2000コードストリーム）から関心領域を抽出し、抽出した各関心領域を１つの画像にまとめ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズを決定し、クライアントに送信することにより、必要な画像データのみを送信することで、データ送信時間の短縮化を図かるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことができる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことができる。
請求項１３，２７記載の発明によれば、各関心領域に優先順位を付すことにより、各関心領域を優先順位毎に復元することができる。
請求項１４，２８記載の発明によれば、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量を削減することができ、送信速度の向上を図ることができる。
請求項２９記載の発明によれば、この記憶媒体に記憶されたプログラムをコンピュータにインストールするか、あるいは解釈させることで、請求項１３ないし２４のいずれか一記載の発明と同様の作用効果を得ることができる。
［JPEG2000について］
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。つまり、ひとつのファイルから低解像度部分（縮小画像）を取り出すことができるようになる。また、画像の一部（タイリング画像）を取り出すことができるようになる。
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
次に、JPEG2000アルゴリズムについて説明する。
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
以上が、「JPEG2000アルゴリズム」の概要である。
[第一の実施の形態]
本発明の第一の実施の形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
本実施の形態のサーバコンピュータ及びクライアントコンピュータは、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
図８は、本実施の形態におけるシステム構築例を示す模式図である。
本実施の形態の画像データ処理システムでは、画像処理装置であるサーバコンピュータ（以下においては、サーバという。）２にＬＡＮ（Local Area Network）等のネットワーク３を介して画像処理装置であるクライアントコンピュータ（以下においては、クライアントという。）４が複数台接続されたサーバクライアントシステム１を想定する。このサーバクライアントシステム１は、スキャナやデジタルカメラ等の画像入力機器５及びプリンタ等の画像出力機器６をネットワーク３上でシェアし得る環境が整えられている。また、ネットワーク３上には、ＭＦＰ（Multi Function Peripheral：デジタル複合機）７が接続され、このＭＦＰ７が画像入力機器５や画像出力機器６として機能するように環境が構築されていても良い。
このようなサーバクライアントシステム１は、例えばイントラネット８を介して別のサーバクライアントシステム１とのデータ通信可能に構築され、インターネット通信網９を介して外部環境とデータ通信可能に構築されている。
サーバ２は、各種画像イメージを画像データとして記憶する画像管理機能を発揮するものである。
図９は、本実施の形態における画像処理装置としてのサーバ２及びクライアント４のモジュール構成図である。
サーバ２及びクライアント４は、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、種々のフォーマットのデータファイル（画像データや文書データ）及び後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、ネットワーク３を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングデバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
なお、本実施の形態においては、クライアント４として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
本実施の形態においては、サーバ２のＨＤＤ１５に圧縮符号化された画像データが記憶保持される。なお、サーバ２のＨＤＤ１５に記憶保持されている画像データは、「JPEG2000アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図１０に示すような矩形領域（タイル）に分割された分割画像を圧縮符号化して一次元に並べることにより、図１１に示すような構成になる。図１１において、ＳＯＣは、コードストリームの開始を示すマーカセグメントである。また、ＭＨは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。ＭＨに続くデータは、各タイルを符号化したデータであり、図１１では図１０に示すタイルの番号に従って主走査方向／副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるＥＯＣマーカは、圧縮符号の最後であることを示すマーカセグメントである。
また、図１２は「JPEG2000アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。図１２に示すように、「JPEG2000アルゴリズム」に従って生成された圧縮符号においては、一つの画像ファイル内で低解像度データと高解像度データとに分けることが可能になっている。なお、図１２では２種類の解像度だけを示しているが、実際には、全てのデータを１とすると、ＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）に応じて、1/2，1/4，1/8，1/16，・・・，1/2ｎと複数の低解像度部分に係る圧縮符号を抽出することが可能である。
このようなサーバ２及びクライアント４では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
ここで、サーバ２及びクライアント４は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
また、一般的には、サーバ２及びクライアント４のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
サーバ２及びクライアント４は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。サーバ２のＣＰＵ１１又はクライアント４のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
ここで、サーバ２のＣＰＵ１１及びクライアント４のＣＰＵ１１が実行する画像要求／表示処理について説明する。図１３は、画像要求／表示処理の流れを示すフローチャートである。図１３に示すように、サーバ２及びクライアント４によって実行される画像要求／表示処理は、まず、キーボード２０又はポインティングデバイス２１の操作によりオペレータ（クライアント４を操作するユーザ）が、サーバ２のＨＤＤ１５に記憶保持されているJPEG2000の画像ファイル名を決定する（ステップＳ１）。
クライアント４においては、続くステップＳ２で、受信処理を起動する。この段階では後述するステップＳ４における「受信処理」で示される動作を行うプログラムに起動をかける。この受信処理プログラム自体は、サーバ２からのレスポンス受信を完了するまで待機状態となる。
ステップＳ３では、ステップＳ１で決定されたJPEG2000の画像ファイル名をリクエスト信号としてサーバ２に対して送信する。
以上のステップＳ１〜Ｓ３により画像要求処理が実行されている。
なお、クライアント４からのリクエスト信号には、当該クライアント４の表示装置１９の描画領域を示す描画領域信号も包含される。描画領域信号は、表示装置１９に描画されるウィンドウの大きさを示すものである。描画領域とは、画像が描画される全ての領域をいう。例えば、表示装置１９全体への描画領域（ＰＤＡ、palmTopＰＣ、LegacyＰＣ等）、マルチウィンドウ時の特定のウィンドウに対する描画領域（通常のパーソナルコンピュータ等）、あるアプリケーションに画像を貼り付ける時の描画領域（アルバムソフトウェアへのサムネイル画像の貼り付け等）である。
一方、サーバ２は、サービス終了信号の検知（ステップＴ１のＹ）、またはクライアント４からのリクエスト信号の受信（ステップＴ２のＹ）に待機している。
以下においては、クライアント４から画像要求があった場合について説明する。
JPEG2000の画像ファイル名をクライアント４からのリクエスト信号として受信すると（ステップＴ２のＹ：受付手段）、JPEG2000の画像ファイルに対してクライアント４の描画領域に応じた画像送信処理を実行する（ステップＴ３）。
ここで、サーバ２のＣＰＵ１１が画像処理プログラムに基づいて実行する画像送信処理の内容について説明する。図１４は、サーバ２の画像送信処理に係る機能ブロック図である。図１４に示すように、ＣＰＵ１１は画像処理プログラムに基づいて動作することで、サーバ２のＨＤＤ１５に記憶保持されている所定のJPEG2000コードストリームを分解して構成要素単位で取り出す分解手段であるコードストリーム分解部３１、関心領域を抽出する抽出手段である関心領域抽出部３２、関心領域抽出部３２で抽出された各関心領域の優先順位を設定する第１順位設定手段である優先順位設定部３３、優先順位設定部３３により高位に位置づけられたコードストリームを「JPEG2000アルゴリズム」に従って復号化する第１復号化手段であるデコード部３４、デコード部３４により復号化された画像に対して画像処理を行う画像処理手段である画像処理部３５、画像処理部３５により画像処理された画像データを「JPEG2000アルゴリズム」に従って符号化する第１符号化手段であるエンコード部３６、第１送信手段であるデータ送信部３７の各機能を実現する。
コードストリーム分解部３１は、JPEG2000コードストリームをヘッダと構成する要素とに分解する。この分解にはJPIPでは２種類あり、タイルデータを取り出すTileベースのJPTストリームとプリシンクトデータを取り出すPrecinctsベースのJPPストリームの方法がある。
関心領域抽出部３２が抽出する関心領域は、例えば、画像を絵文字分離した結果等である。文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で画像要求元であるクライアント４に送信することにより、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。画像の絵文字分離の方式は様々な方式が提案されているが、例えば特許3278431号公報に記載されているように、画像に対して２値化処理を行い、画像の黒連結成分塊の大きさを利用して、文字らしい大きさの塊をさらに文字行として統合する方法などを用いて文書画像の属性を決定し、画像を分割する等の方式がある。
また、JPEG2000におけるＲＯＩ（Region Of Interest）領域を関心領域抽出部３２が抽出する関心領域としても良い。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。ＲＯＩとは、他の部分に比べて相対的に画質を向上させるための技術であるが、その内容については周知であるので、説明は省略する。
優先順位設定部３３における優先順位の設定基準の一例としては、
１．画像を絵文字分離した結果の文字情報を優先
２．分離された文字情報中のタイトルとみなされる文字情報を優先
２．分離された文字情報中の文字サイズの大きい文字情報を優先
という基準例が挙げられる。「タイトルとみなされる文字情報」又は「文字サイズの大きい文字情報」は、画像データを判断する上で重要な情報とみなされるからである。なお、「タイトルとみなされる文字情報」か否かの判断は、位置及び文字サイズ等によって判断される。また、文字色やアンダーラインの有無によって「タイトルとみなされる文字情報」か否かの判断を行うようにしても良い。すなわち、設定基準が「画像を絵文字分離した結果の文字情報を優先」である場合は、文字情報領域の部分のコードストリームの優先順位が高くなるような処理を行う。また、設定基準が「タイトルとみなされる文字情報」である場合は、入力画像に対しタイトル抽出処理を行いタイトル領域の情報を求め、この情報をもとにタイトル部分のコードストリームの優先順位が更に高くなるような処理を行う。一方、設定基準が「文字サイズの大きい文字情報」である場合は、入力画像に対し文字の大きさ判定処理を行い文字のサイズの情報を求め、この情報をもとに文字のサイズが大きい部分のコードストリームの優先順位が更に高くなるような処理を行う。すなわち、関心領域として抽出された文字情報中のタイトルとみなされる文字情報や関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で画像要求元であるクライアント４に送信されることになる。文字情報中のタイトルや文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。
また、設定基準の一例としては、
１．画像を絵文字分離した結果の絵柄情報を優先
２．分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先
という基準例が挙げられる。「絵柄サイズの大きい絵柄情報」は、画像データを判断する上で重要な情報とみなされるからである。すなわち、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で画像要求元であるクライアント４に送信されることになる。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。
さらに、上述したような設定基準により優先順位が設定された情報においては、更なる順位付けが可能である。例えば、関心領域として抽出された部分の全てのコードストリームの順位が他の領域より高くなるような順位付けと、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域と同じ優先順位になるような順位付けと、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの３種類が挙げられる。関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域と同じ優先順位になるような順位付けの場合には、関心領域として抽出された部分の低解像度画像が最優先で画像要求元であるクライアント４に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが画像要求元であるクライアント４に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの場合には、関心領域として抽出された部分の低解像度画像が最優先で画像要求元であるクライアント４に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に画像要求元であるクライアント４に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
さらにまた、優先順位設定部３３における優先順位の決定手法としては、JPEG2000ファイル情報のヘッダ情報からマルチスケール領域における画像符号器のエントロピー分布又はビット割当を推定して基礎画像特徴の視覚的重要性に対する定量的指標とし、この視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行うようにしても良い（例えば、特開２００３−２３００１２公報参照）。詳細には、JPEG2000ファイル情報のヘッダ情報から、符号ブロックの長さ、零ビットプレーンの数、符号化パスの数のようなファイル情報がエントロピー分布を判定するために使用される。したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
また、優先順位設定部３３における優先順位の設定は、クライアント４からのリクエスト信号に包含される当該クライアント４の描画領域を示す描画領域信号に応じて実行するようにしても良い。すなわち、クライアント４が携帯電話であるような場合には表示装置１９の描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることになる。
デコード部３４は、関心領域抽出部４１で抽出された関心領域のJPEG2000コードストリームを「JPEG2000アルゴリズム」に従って復号化処理する。復号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
画像処理部３５は、デコード部３４により復号化された画像に対し、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理等の少なくとも１つの処理を行う。例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。このようにデコード部３４により復号化された画像、つまり関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
エンコード部３６は、画像処理部３５で画像処理された画像を「JPEG2000アルゴリズム」に従って符号化処理する。符号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
上述したように、サーバ２における画像送信処理は、画像データ（JPEG2000コードストリーム）から１つ又は複数の関心領域を抽出し、抽出した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像を先にリクエスト信号を送信してきたクライアント４に対して送信するようにしたものである。例えば、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの場合には、まず、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）が送信され、次に関心領域以外の領域の低域画像（つまりウェーブレット階層での低解像度画像）が送信され、続いて関心領域として抽出された部分の高域画像（つまりウェーブレット階層での高解像度画像）が送信され、最後に関心領域以外の領域の高域画像（つまりウェーブレット階層での高解像度画像）が送信されることになる。
続くステップＴ４では、リクエスト信号を送信してきたクライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されたか否かをチェックする。クライアントに対して画像データ（JPEG2000コードストリーム）が正しく送信されない要因としては、クライアント４がビジー状態とか、ネットワークが切断された、など様々なネットワーク障害に起因するエラー対策があるが、詳細についてはここでは省略する。
クライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されていない場合は（ステップＴ４のＮ）、ステップＴ３に戻り、リクエスト信号を送信してきたクライアント４に対して作成された画像データ（JPEG2000コードストリーム）を再度送信する。
クライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されている場合は（ステップＴ４のＹ）、ステップＴ１に戻り、次のリクエストに向けて待機する。
そして、サービス終了信号を検知したときは（ステップＴ１のＹ）、サービスを終了する。このようにすることで、一連のサービスが一巡したところでサービスを終了するように、初期段階でチェックすることが可能になっている。
そして、クライアント４は、サーバ２から画像データ（JPEG2000コードストリーム）を受信すると（ステップＳ４のＹ）、当該画像データ（JPEG2000コードストリーム）に対して伸長処理（復号化処理）を実行し（ステップＳ５）、表示装置１９に表示する（ステップＳ６）。なお、「JPEG2000アルゴリズム」に従った復号化処理は、周知の技術であることから、ここでの説明は省略する。
以上のステップＳ４〜Ｓ６により画像表示処理が実行されている。
このように本実施の形態によれば、画像データ（JPEG2000コードストリーム）を１つ又は複数の関心領域に分割し、分割した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像データ（JPEG2000コードストリーム）が画像要求元であるクライアント４に対して先に送信される。これにより、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント４側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
[第二の実施の形態]
本発明の第二の実施の形態を図１５および図１６に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、サーバ２における画像送信処理の内容が異なるものである。
図１５は、本発明の第二の実施の形態のサーバ２の画像送信処理に係る機能ブロック図である。図１５に示すように、ＣＰＵ１１は画像処理プログラムに基づいて動作することで、サーバ２のＨＤＤ１５に記憶保持されている所定のJPEG2000コードストリームから関心領域を抽出する抽出手段である関心領域抽出部４１、関心領域抽出部４１で抽出された各関心領域を「JPEG2000アルゴリズム」に従って復号化する第２復号化手段であるデコード部４２、デコード部４２により復号化された画像を正規化する正規化手段である正規化処理部４３、正規化処理部４３により正規化された各関心領域を１つの画像にまとめる集約手段である画像集約部４４、画像集約部４４により集約された画像に対して画像処理を行う画像処理手段である画像処理部４５、画像処理部４５により画像処理された画像データを「JPEG2000アルゴリズム」に従って符号化する第２符号化手段であるエンコード部４６、第２送信手段であるデータ送信部４７の各機能を実現する。
関心領域抽出部４１が抽出する関心領域は、前述した関心領域抽出部３２と同様であるので、説明は省略する。
デコード部４２は、関心領域抽出部４１で抽出された関心領域を「JPEG2000アルゴリズム」に従って復号化処理する。復号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
正規化処理部４３は、関心領域抽出部４１で抽出され、デコード部４２により「JPEG2000アルゴリズム」に従って復号化された各関心領域の画像を正規化する。例えば、関心領域として文字情報領域が抽出された場合、抽出された文字情報領域は、様々な大きさの場合がある。具体的には、タイトルは大きく、それ以外の文字は小さいなど文字フォントの大きさが違っていることが通常である。そこで、本実施の形態においては、抽出された各関心領域（例えば、文字情報領域）における文字行の文字高さで各文字行を正規化する。図１６に示すように、文字高さの正規化は、各関心領域（例えば、文字情報領域）における文字行の文字高さの中で、最大のものに合わせて他の関心領域（例えば、文字情報領域）における文字行を拡大する（図１６（ｃ））。なお、文字高さの正規化は、各関心領域（例えば、文字情報領域）における文字行の文字高さの中で、最小のものに合わせて他の関心領域（例えば、文字情報領域）における文字行を縮小しても良い。あるいは、人間が認識できる文字サイズ（例えば、６０画素）や、その後の処理（例えば、ＯＣＲ処理）にとって最適な文字サイズに合わせて正規化しても良い。
さらには、関心領域（例えば、文字情報領域）における文字行の幅で正規化を行う。関心領域（例えば、文字情報領域）における文字行の幅の正規化は、文字高さの正規化後に、最も幅の大きな文字幅に統一する（図１６（ｄ））。図１６（ｄ）に示す例では「方針発表会」という関心領域（文字情報領域）は、文字幅が小さいが、これは左詰めで画像を詰めて、右側は背景（白）として画像を構成する。
画像集約部４４は、正規化処理部４３により正規化された各関心領域を１つの画像にまとめる。図１６（ｅ）に示すように、各Ｈ×Ｗの大きさの関心領域画像が３Ｈ×Ｗの大きさの１つの画像にまとめられる。
画像処理部４５は、画像集約部４４により１つの画像にまとめられた関心領域画像に対し、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理等の少なくとも１つの処理を行う。例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。このように画像集約部４４により１つの画像にまとめられた関心領域画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
エンコード部４６は、画像処理部４５で画像処理された画像を「JPEG2000アルゴリズム」に従って符号化処理する。符号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。ここで、各関心領域は、正規化処理部４３において文字幅、文字高さが揃った複数領域の画像が作られていることにより、「JPEG2000アルゴリズム」における「タイリング処理」の分割サイズ（画像サイズ）が同一でなくてはならないという条件が満たされている。このように、１つの関心領域または複数の関心領域をそれぞれタイリングし、ウェーブレット変換を行い圧縮符号化してJPEG2000ファイル形式に変換することにより、送信先のクライアント４の描画領域に応じて送信する画像のサイズを変更することが可能になっている。また、関心領域毎にタイリングすることにより、関心領域別に復元可能になっている。したがって、前述した第一の実施の形態のように各関心領域について優先順位を付するようにした場合には、各関心領域を優先順位毎に復元することも可能である。
データ送信部４７は、リクエスト信号を送信してきたクライアント４の描画領域に応じて画像データ（JPEG2000コードストリーム）から送信する画像のサイズのコードストリームを抽出し、リクエスト信号を送信してきたクライアント４に送信する。
このように本実施の形態によれば、画像データ（JPEG2000コードストリーム）から関心領域を抽出し、抽出した各関心領域を１つの画像にまとめ、各関心領域毎にタイリングされてJPEG2000ファイル形式に変換された画像データ（JPEG2000コードストリーム）から、リクエスト信号を送信してきたクライアント４の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
なお、本実施の形態においては、関心領域である文字情報領域を例にして正規化を行ったが、絵柄情報領域を関心領域とし、絵柄情報領域に対して正規化を行えることはいうまでもない。
本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。 原画像の各コンポーネントの分割された矩形領域を示す説明図である。 デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。 プレシンクトを示す説明図である。 ビットプレーンに順位付けする手順の一例を示す説明図である。 符号列データの１フレーム分の概略構成を示す説明図である。 符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示す説明図である。 本発明の第一の実施の形態のシステム構築例を示す模式図である。 画像処理装置のモジュール構成図である。 二次元に分割された分割画像の一例を示す説明図である。 その分割画像に基づいて「JPEG2000アルゴリズム」に従って生成された圧縮符号を示す説明図である。 「JPEG2000アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。 画像要求／表示処理の流れを示すフローチャートである。 サーバの画像送信処理に係る機能ブロック図である。 本発明の第二の実施の形態のサーバの画像送信処理に係る機能ブロック図である。 正規化処理部及び画像集約部における処理動作を示す説明図である。
符号の説明
２，４ 画像処理装置
３１ 分解手段
３２，４１ 抽出手段
３３ 第１順位設定手段
３４ 第１復号化手段
３５，４５ 画像処理手段
３６ 第１符号化手段
３７ 第１送信手段
４２ 第２復号化手段
４３ 正規化手段
４４ 集約手段
４６ 第２符号化手段
４７ 第２送信手段

Claims (31)

  1. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、
    前記コードストリームを分解して構成要素単位で取り出す分解手段と、
    前記コードストリームから関心領域を抽出する抽出手段と、
    この抽出手段により抽出された関心領域に優先順位を設定する第１順位設定手段と、
    前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定手段により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記抽出手段は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する、
    ことを特徴する請求項１記載の画像処理装置。
  3. 前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
    前記第１順位設定手段は、分離された文字情報中のタイトルとみなされる文字情報を優先する、
    ことを特徴する請求項１記載の画像処理装置。
  4. 前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
    前記第１順位設定手段は、分離された文字情報中の文字サイズの大きい文字情報を優先する、
    ことを特徴する請求項１記載の画像処理装置。
  5. 前記抽出手段は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、
    前記第１順位設定手段は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する、
    ことを特徴する請求項１記載の画像処理装置。
  6. 前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う、
    ことを特徴する請求項１ないし５のいずれか一記載の画像処理装置。
  7. 前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う、
    ことを特徴する請求項１ないし５のいずれか一記載の画像処理装置。
  8. 前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う、
    ことを特徴する請求項１記載の画像処理装置。
  9. 前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う、
    ことを特徴する請求項１記載の画像処理装置。
  10. 前記第１順位設定手段により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化手段と、
    この第１復号化手段により復号化された画像データに対して画像処理を行う画像処理手段と、
    この画像処理手段により画像処理された画像データを階層的に圧縮し符号化する第１符号化手段と、
    を備え、
    前記第１送信手段は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する、
    ことを特徴する請求項１ないし９のいずれか一記載の画像処理装置。
  11. 前記画像処理手段は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う、
    ことを特徴とする請求項１０記載の画像処理装置。
  12. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、
    前記コードストリームから関心領域を抽出する抽出手段と、
    この抽出手段により抽出された前記関心領域の前記コードストリームを復号化する第２復号化手段と、
    この第２復号化手段により復号化された前記関心領域を正規化する正規化手段と、
    この正規化手段により正規化された前記関心領域を１つの画像にまとめる集約手段と、
    この集約手段により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化手段と、
    送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信手段と、
    を備えることを特徴とする画像処理装置。
  13. 前記抽出手段により抽出された前記関心領域に、優先順位を設定する第２順位設定手段を備えることを特徴する請求項１２記載の画像処理装置。
  14. 前記第２復号化手段により復号化された画像データに対して画像処理を行う画像処理手段を備え、
    前記第２送信手段は、前記画像処理手段により画像処理されて前記第２符号化手段により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する、
    ことを特徴する請求項１２または１３記載の画像処理装置。
  15. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、
    前記コードストリームを分解して構成要素単位で取り出す分解機能と、
    前記コードストリームから関心領域を抽出する抽出機能と、
    この抽出機能により抽出された関心領域に優先順位を設定する第１順位設定機能と、
    前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定機能により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信機能と、
    を実行させることを特徴とするプログラム。
  16. 前記抽出機能は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する、
    ことを特徴する請求項１５記載のプログラム。
  17. 前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
    前記第１順位設定機能は、分離された文字情報中のタイトルとみなされる文字情報を優先する、
    ことを特徴する請求項１５記載のプログラム。
  18. 前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
    前記第１順位設定機能は、分離された文字情報中の文字サイズの大きい文字情報を優先する、
    ことを特徴する請求項１５記載のプログラム。
  19. 前記抽出機能は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、
    前記第１順位設定機能は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する、
    ことを特徴する請求項１５記載のプログラム。
  20. 前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う、
    ことを特徴する請求項１５ないし１９のいずれか一記載のプログラム。
  21. 前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う、
    ことを特徴する請求項１５ないし１９のいずれか一記載のプログラム。
  22. 前記第１順位設定機能は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う、
    ことを特徴する請求項１５記載のプログラム。
  23. 前記第１順位設定機能は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う、
    ことを特徴する請求項１５記載のプログラム。
  24. 前記第１順位設定機能により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化機能と、
    この第１復号化機能により復号化された画像データに対して画像処理を行う画像処理機能と、
    この画像処理機能により画像処理された画像データを階層的に圧縮し符号化する第１符号化機能と、
    を前記コンピュータに実行させ、
    前記第１送信機能は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する、
    ことを特徴する請求項１５ないし２３のいずれか一記載のプログラム。
  25. 前記画像処理機能は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う、
    ことを特徴とする請求項２４記載のプログラム。
  26. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、
    前記コードストリームから関心領域を抽出する抽出機能と、
    この抽出機能により抽出された前記関心領域の前記コードストリームを復号化する第２復号化機能と、
    この第２復号化機能により復号化された前記関心領域を正規化する正規化機能と、
    この正規化機能により正規化された前記関心領域を１つの画像にまとめる集約機能と、
    この集約機能により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化機能と、
    送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信機能と、
    を実行させることを特徴とするプログラム。
  27. 前記抽出機能により抽出された前記関心領域に、優先順位を設定する第２順位設定機能を前記コンピュータに実行させることを特徴する請求項２６記載のプログラム。
  28. 前記第２復号化機能により復号化された画像データに対して画像処理を行う画像処理機能を前記コンピュータに実行させ、
    前記第２送信機能は、前記画像処理機能により画像処理されて前記第２符号化機能により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する、
    ことを特徴する請求項２６または２７記載のプログラム。
  29. 請求項１５ないし２８のいずれか一記載のプログラムを記憶していることを特徴とする記憶媒体。
  30. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、
    前記コードストリームを分解して構成要素単位で取り出す分解工程と、
    前記コードストリームから関心領域を抽出する抽出工程と、
    この抽出工程により抽出された関心領域に優先順位を設定する第１順位設定工程と、
    前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定工程により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信工程と、
    を有していることを特徴とする画像送信方法。
  31. 画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、
    ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、
    前記コードストリームから関心領域を抽出する抽出工程と、
    この抽出工程により抽出された前記関心領域の前記コードストリームを復号化する第２復号化工程と、
    この第２復号化工程により復号化された前記関心領域を正規化する正規化工程と、
    この正規化工程により正規化された前記関心領域を１つの画像にまとめる集約工程と、
    この集約工程により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化工程と、
    送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信工程と、
    を有していることを特徴とする画像送信方法。
JP2004065362A 2004-03-09 2004-03-09 画像処理装置、プログラム、記憶媒体及び画像送信方法 Expired - Fee Related JP4111926B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004065362A JP4111926B2 (ja) 2004-03-09 2004-03-09 画像処理装置、プログラム、記憶媒体及び画像送信方法
US11/074,080 US7508988B2 (en) 2004-03-09 2005-03-08 Method, program and apparatus for image processing capable of effectively performing image transmission, and a medium storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004065362A JP4111926B2 (ja) 2004-03-09 2004-03-09 画像処理装置、プログラム、記憶媒体及び画像送信方法

Publications (2)

Publication Number Publication Date
JP2005260319A true JP2005260319A (ja) 2005-09-22
JP4111926B2 JP4111926B2 (ja) 2008-07-02

Family

ID=34918239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004065362A Expired - Fee Related JP4111926B2 (ja) 2004-03-09 2004-03-09 画像処理装置、プログラム、記憶媒体及び画像送信方法

Country Status (2)

Country Link
US (1) US7508988B2 (ja)
JP (1) JP4111926B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235961A (ja) * 2006-02-28 2007-09-13 Ricoh Co Ltd 圧縮データ画像オブジェクトの特徴抽出のための方法、情報処理装置及びコンピュータプログラム
JP2008011408A (ja) * 2006-06-30 2008-01-17 Ricoh Co Ltd 符号変換装置、復号化装置およびプログラム
JP2008244539A (ja) * 2007-03-26 2008-10-09 Ricoh Co Ltd クライアント・サーバシステム
JP2009122599A (ja) * 2007-11-19 2009-06-04 Fujifilm Corp 画像表示装置
WO2009119394A1 (ja) * 2008-03-28 2009-10-01 日本電気株式会社 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム
JP2019521583A (ja) * 2016-05-24 2019-07-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イメージ中の最も関心のある領域の高度なシグナリング

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104347A (ja) * 2002-09-06 2004-04-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP3998012B2 (ja) * 2004-09-08 2007-10-24 コニカミノルタビジネステクノロジーズ株式会社 画像出力装置およびその制御方法ならびにコンピュータプログラム
EP1670257B1 (en) 2004-12-10 2018-09-26 Ricoh Company, Ltd. Compressing a mutlivalue image with control of memory space requirement
US7684648B2 (en) * 2005-01-14 2010-03-23 Ricoh Company, Limited Reducing the size of a document image
EP1686536B1 (en) * 2005-02-01 2012-07-25 Ricoh Company, Ltd. Applying edge enhancement based on image characteristics
JP4574457B2 (ja) * 2005-06-08 2010-11-04 キヤノン株式会社 画像処理装置およびその方法
US8687016B2 (en) * 2005-06-10 2014-04-01 Hewlett-Packard Development Company, L.P. Method and system for enhancing the quality of video prompts in an interactive media response system
JP4789516B2 (ja) * 2005-06-14 2011-10-12 キヤノン株式会社 文書変換装置、文書変換方法並びに記憶媒体
US8775662B2 (en) * 2005-09-27 2014-07-08 Blackberry Limited System and method for progressive delivery of multimedia objects
US8244051B2 (en) * 2006-03-15 2012-08-14 Microsoft Corporation Efficient encoding of alternative graphic sets
US7873196B2 (en) * 2006-03-22 2011-01-18 Cornell Research Foundation, Inc. Medical imaging visibility index system and method for cancer lesions
JP4750047B2 (ja) * 2006-03-31 2011-08-17 株式会社リコー 位置ずれ検出装置、位置ずれ検出方法、位置ずれ検出プログラムおよび記録媒体
US20080144076A1 (en) * 2006-10-27 2008-06-19 Martin Boliek Systems and methods for serving documents from a multifunction peripheral
JP2008258994A (ja) * 2007-04-06 2008-10-23 Ricoh Co Ltd 画像処理装置
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
JP4551439B2 (ja) * 2007-12-17 2010-09-29 株式会社沖データ 画像処理装置
JP5194776B2 (ja) * 2007-12-21 2013-05-08 株式会社リコー 情報表示システム、情報表示方法およびプログラム
JP4918026B2 (ja) * 2007-12-21 2012-04-18 株式会社リコー 画像符号化装置、画像符号化方法、コンピュータプログラム、及び、情報記録媒体
JP2009165025A (ja) * 2008-01-09 2009-07-23 Canon Inc 画像処理システム、画像処理システムの制御方法、及び制御プログラム
JP2010081065A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 画像形成装置および画像形成プログラム
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
DE102009017436B4 (de) * 2009-04-15 2011-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
JP6248671B2 (ja) * 2014-02-10 2017-12-20 富士通株式会社 情報処理装置、方法、プログラム、および情報処理システム
US10049268B2 (en) * 2015-03-06 2018-08-14 Kofax, Inc. Selective, user-mediated content recognition using mobile devices
US10540007B2 (en) * 2016-03-04 2020-01-21 Rockwell Collins, Inc. Systems and methods for delivering imagery to head-worn display systems
US10795730B2 (en) * 2018-09-28 2020-10-06 Apple Inc. Graphics hardware driven pause for quality of service adjustment
CN111654702B (zh) * 2020-05-22 2024-05-17 西安万像电子科技有限公司 数据传输方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278471B2 (ja) 1991-11-29 2002-04-30 株式会社リコー 領域分割方法
JP3614361B2 (ja) 1997-09-19 2005-01-26 シャープ株式会社 画像復号装置
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP4412688B2 (ja) 1999-11-24 2010-02-10 キヤノン株式会社 画像処理装置及びその方法
JP3814456B2 (ja) 2000-02-07 2006-08-30 キヤノン株式会社 画像処理装置及びその方法
US6968088B2 (en) * 2000-03-28 2005-11-22 Canon Kabushiki Kaisha Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask
JP4480119B2 (ja) 2000-03-30 2010-06-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2002064709A (ja) * 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
JP2002157108A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像処理方法、記録媒体および画像形成装置
JP4293740B2 (ja) * 2001-05-29 2009-07-08 株式会社リコー 画像圧縮装置
US7110608B2 (en) * 2001-07-02 2006-09-19 Canon Kabushiki Kaisha Digital image compression
JP4000844B2 (ja) 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
US7302104B2 (en) * 2001-12-28 2007-11-27 Ricoh Co., Ltd. Smoothing tile boundaries of images encoded and decoded by JPEG 2000
US7428338B2 (en) 2002-01-10 2008-09-23 Ricoh Co., Ltd. Header-based processing of images compressed using multi-scale transforms
US7193537B2 (en) * 2002-03-07 2007-03-20 Aware, Inc. Interlaced sign bit coding
AU2003247711A1 (en) * 2002-07-09 2004-01-23 Aware, Inc. Iterative compression parameters control for a sequence of images
US7092965B2 (en) * 2002-07-09 2006-08-15 Lightsurf Technologies, Inc. System and method for improved compression of DCT compressed images
US7646927B2 (en) * 2002-09-19 2010-01-12 Ricoh Company, Ltd. Image processing and display scheme for rendering an image at high speed
JP4111268B2 (ja) * 2002-12-13 2008-07-02 株式会社リコー サムネイル画像の表示方法、サーバコンピュータ、クライアントコンピュータ及びプログラム
JP2004221633A (ja) * 2003-01-09 2004-08-05 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
US7200277B2 (en) * 2003-07-01 2007-04-03 Eastman Kodak Company Method for transcoding a JPEG2000 compressed image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235961A (ja) * 2006-02-28 2007-09-13 Ricoh Co Ltd 圧縮データ画像オブジェクトの特徴抽出のための方法、情報処理装置及びコンピュータプログラム
JP2008011408A (ja) * 2006-06-30 2008-01-17 Ricoh Co Ltd 符号変換装置、復号化装置およびプログラム
JP2008244539A (ja) * 2007-03-26 2008-10-09 Ricoh Co Ltd クライアント・サーバシステム
JP2009122599A (ja) * 2007-11-19 2009-06-04 Fujifilm Corp 画像表示装置
WO2009119394A1 (ja) * 2008-03-28 2009-10-01 日本電気株式会社 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム
JP2019521583A (ja) * 2016-05-24 2019-07-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イメージ中の最も関心のある領域の高度なシグナリング

Also Published As

Publication number Publication date
US20050201624A1 (en) 2005-09-15
JP4111926B2 (ja) 2008-07-02
US7508988B2 (en) 2009-03-24

Similar Documents

Publication Publication Date Title
JP4111926B2 (ja) 画像処理装置、プログラム、記憶媒体及び画像送信方法
JP4111268B2 (ja) サムネイル画像の表示方法、サーバコンピュータ、クライアントコンピュータ及びプログラム
JP4064196B2 (ja) クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法
JP4377103B2 (ja) サーバクライアント環境におけるｊｐｅｇ２０００のための画像処理
JP4128438B2 (ja) 画像処理装置、プログラム、記憶媒体及び画像編集方法
US7646927B2 (en) Image processing and display scheme for rendering an image at high speed
US7386175B2 (en) Modifying wavelet division level before transmitting data stream
US7526134B2 (en) Image processing apparatus, program, recording medium, and data decompression method
JP4349816B2 (ja) 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体
US7627185B2 (en) Hierarchically compressing and coding and storing image data
JP2004221633A (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP4723543B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4489474B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP4052952B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4280508B2 (ja) 位置ずれ補正装置、画像処理装置、プログラム、記憶媒体及び位置ずれ補正方法
JP4323178B2 (ja) 検索対象制限装置、画像処理装置、プログラム、記憶媒体及び検索対象制限方法
JP2004133443A (ja) 画像処理装置、画像表示装置、プログラム、記憶媒体、画像処理方法及び画像表示システム
JP3961966B2 (ja) 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法
JP5560172B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4374063B2 (ja) 画像処理装置、プログラム及び記憶媒体
JP4093870B2 (ja) 画像処理装置、プログラムおよび記憶媒体
JP2004056648A (ja) 画像処理装置、文書管理システム、プログラム及び記憶媒体
JP4010957B2 (ja) 画像処理装置、プログラム、記憶媒体および画像形成装置
JP2004234563A (ja) 画像処理プログラムおよび記憶媒体
JP2004289374A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060810

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140418

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees