JP2006253920A

JP2006253920A - サーバ装置、送信処理方法、プログラム及び情報記録媒体

Info

Publication number: JP2006253920A
Application number: JP2005065789A
Authority: JP
Inventors: Toru Suino; 亨水納
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-03-09
Filing date: 2005-03-09
Publication date: 2006-09-21
Anticipated expiration: 2025-03-09
Also published as: JP4640942B2

Abstract

【課題】サーバ側で、画像の符号化データを、クライアント側で画像全体を見やすく表示できるように処理して送信する。
【解決手段】サーバ装置１は、符号化データに対し、符号状態のままで、解像度を下げる変換及び画像の向きを９０度回転させる変換を行う符号変換部１２を備える。送信しようとする画像の符号化データが、その伸長画像がクライアント２の表示領域３に収まるならば当該符号化データをそのまま送信し、表示領域３に収まらない場合には収まる解像度まで符号変換部１２で解像度変換した後に送信し、最低解像度まで解像度変換後も表示領域３に収まらない場合には符号変換部１２で回転変換した後に送信する。
【選択図】図４

Description

本発明は、画像の符号化データをクライアント装置へ送信するサーバ装置に係り、特に、ＪＰＥＧ２０００の符号化データのような、符号状態で画像の解像度変換や回転変換が可能な符号化データを扱うサーバ装置に関する。

携帯電話のような携帯端末装置へ画像を送信するサーバ装置に関し、携帯端末装置の画面の縦横サイズ関係（縦長又は横長）と、送信しようとする画像の縦横サイズ関係とが一致しない場合に、送信しようとする画像を９０度回転し、さらに、画面に画像全体が具合良く収まるように画像を縮小又は拡大してから送信する発明が知られている（特許文献１，２，３参照）。

また、ＪＰＥＧ２０００（IS 15444-1）の符号化データを伸長し画面に表示する装置において、表示画面サイズに最も近い画像サイズとなる階層（解像度レベル）まで伸長し、伸長画像に対し必要に応じて変倍処理を施す伸長方法の発明が知られている（特許文献４参照）。

特開２００２−１０８７５７号公報特開２００２−３４１８５７号公報特開２００３−２９６２３２号公報特開２００２−１５２７４４号公報

携帯電話のような携帯端末装置の場合には、装置の向きを容易に９０度回転させることができるため、特許文献１，２，３に記載されている発明のように、画面の縦横サイズ関係に画像の縦横サイズ関係を一致させるように画像を９０度回転させて送信しても、画像が見にくくなることはない。しかし、画像を受信する側がパソコンのようなクライアント装置の場合には、携帯電話等のようには装置を容易に回転することができないため、９０度回転された画像をクライアント装置が受信して表示したのでは極めて見づらいという問題がある。

よって、本発明の目的は、画像の符号化データをパソコンのようなクライアント装置へ送信するサーバ装置において、上記の問題をできる限り回避しつつ、クライアント装置の表示領域に画像全体を表示可能にすることにある。

請求項１の発明は、画像の符号化データをクライアント装置へ送信するサーバ装置であって、符号化データに対し、符号状態のままで、解像度を下げる解像度変換及び画像を９０度回転させる回転変換を行うための符号変換手段を有し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まる場合には当該符号化データをそのまま送信し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで前記符号変換手段により解像度変換した後に送信し、送信しようとする符号化データを前記符号変換手段により最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該解像度変換後の符号化データを前記符号変換手段により回転変換した後に送信することを特徴とするサーバ装置である。

請求項２の発明は、画像の符号化データをクライアント装置へ送信するサーバ装置であって、送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段、送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段、前記解像度変換手段により最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を９０度回転させる変換を行う回転変換手段、送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まると判定されたときには、当該符号化データをそのままクライアント装置へ送信し、前記解像度変換手段により最低解像度まで解像度変換後の符号化データが前記サイズ判定手段により収まらないと判定されたときには、当該符号化データを前記回転変換手段により回転変換後の符号化データをクライアント装置へ送信する手段を有することを特徴とするサーバ装置である。

請求項３の発明は、画像の符号化データをクライアント装置へ送信するサーバ装置であって、符号化データに対し、符号状態のままで、解像度を下げる解像度変換及び画像を９０度回転させる回転変換を行うための符号変換手段とを有し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まる場合には当該符号化データをそのまま送信し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで前記符号変換手段により解像度変換した後に送信し、送信しようとする符号化データを前記符号変換手段により最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データの伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するならば当該符号データをそのまま送信し、縦横関係が不一致ならば当該符号化データを前記符号変換手段により回転変換した後に送信することを特徴とするサーバ装置である。

請求項４の発明は、画像の符号化データをクライアント装置へ送信するサーバ装置であって、送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段、クライアント装置へ送信しようとする符号化データについて、その伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するか判定する縦横サイズ関係判定手段と、送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段、前記解像度変換手段により最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を９０度回転させる変換を行う回転変換手段、送信しようとする符号化データ又はその前記解像度変換手段により解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まると判定された場合には、当該符号化データをそのままクライアント装置へ送信し、送信しようとする符号化データを前記解像度変換手段により最低解像度まで解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まらないと判定された場合には、前記縦横サイズ関係判定手段により一致すると判定されたときには当該符号化データをそのまま、一致しないと判定されたときには当該符号化データを前記回転変換手段により回転変換した符号化データをクライアント装置へ送信する手段を有することを特徴とするサーバ装置である。

請求項５の発明は、請求項１，２，３又は４の発明に係るサーバ装置であって、画像の符号化データはＪＰＥＧ２０００の符号化データであることを特徴とするサーバ装置である。

請求項６の発明は、サーバ装置において画像の符号化データをクライアント装置へ送信するための送信処理方法であって、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まるときには当該符号化データをそのまま送信し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで符号状態で解像度変換した後に送信し、送信しようとする符号化データを符号状態で最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該解像度変換後の符号化データを符号状態のままで画像を９０度回転させる回転変換をした後に送信することを特徴とする送信処理方法である。

請求項７の発明は、サーバ装置において画像の符号化データをクライアント装置へ送信するための送信処理方法であって、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まるときには当該符号化データをそのまま送信し、送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで符号状態で解像度変換した後に送信し、送信しようとする符号化データを符号状態で最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データの伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するならば当該符号化データをそのまま送信し、それが一致しないならば当該符号化データを符号状態のままで画像を９０度回転させる回転変換をした後に送信することを特徴とする送信処理方法である。

請求項８の発明は、請求項６又は７の発明に係る送信処理方法であって、画像の符号化データはＪＰＥＧ２０００の符号化データであることを特徴とする送信処理方法である。

請求項９の発明は、請求項２又は４の発明に係る各手段としてコンピュータを機能させるプログラムである。

請求項１０の発明は、請求項２又は４の発明に係る各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１〜８の発明によれば、サーバ装置からクライアント装置へ、画像の符号化データをクライアント装置の表示領域のサイズに合わせた解像度に解像度変換してから送信することができるため、クライアント装置で伸長した画像の全体を表示領域に表示できる可能性が高い。そして、最低解像度まで解像度変換されても伸長画像が表示領域に収まらない場合以外は符号化データは回転変換されないので、クライアント装置側で画像は正立状態で表示されるため、クライアント装置が携帯電話のようには向きを容易には変えることが困難なパソコンなどである場合にも表示した画像が見やすくなる。最低解像度まで解像度変換されても伸長画像が表示領域に収まらない場合には回転変換した符号化データが送信されるため、例えば縦長画像の符号化データを、表示領域が横長のクライアント装置へ送信する場合などには、画像全体を表示領域に表示できる可能性が高まる。特に、請求項３，４，７の発明によれば、回転変換の効果を期待できない場合（符号化データと表示領域の縦横サイズ関係が一致している場合）には、それを回避できる。また、符号化データの解像度変換及び回転変換は符号状態で行うため、元の画像サイズが大きい場合でも、特許文献１，２，３に記載の発明のように画像の画素値データに対し回転、変倍を行う方法に比べ一般に処理負荷が軽減される。また、請求項９，１０の発明によれば、コンピュータにプログラムを読み込ませ実行させることにより、請求項１〜８の発明を容易に実施することができる等々の効果を得られる。

本発明のサーバ装置で扱われる画像の符号化データは符号状態で解像度変換と回転変換が可能な階層符号化されたものであり、そのような符号化データの一つがＪＰＥＧ２０００の符号化データである。ここで説明する本発明の好ましい実施の形態においてはＪＰＥＧ２０００の符号化データを扱うので、まずＪＰＥＧ２０００の概要を説明する。

ＪＰＥＧ２０００の符号化は概ね図７に示すような流れで行われる。まず、画像は矩形のタイルに分割される(分割数≧１)。タイルは圧縮伸長プロセスを実行する際の基本単位となる。各タイルは、輝度・色差のコンポ−ネントへ色変換される。ＲＧＢ画像データなどの場合には、ダイナミックレンジの半分を減ずるＤＣレベルシフトも施される。以下の処理はコンポーネント別に実行される。

タイルの各コンポ−ネントは２次元ウェーブレット変換によってサブバンドに分割される。図８にデコンポジションレベル数が３の場合における各デコンポジションレベルにおけるサブバンドを示している。すなわち、タイル画像(デコンポジションレベル０）に対して２次元ウェーブレット変換を１回を施すことにより、デコンポジションレベル１のサブバンド(1LL,1HL,1LH,1HH)に分割する。次に、この階層の低周波成分である１LLサブバンドの係数に対して２回目の２次元ウェーブレット変換を施すことにより、デコンポジションレベル２のサブバンド(2LL,2HL,2LH,2HH)に分割する。同様に、この階層の低周波成分である2LLサブバンドの係数に対して３回目の２次元ウェーブレット変換を施すことにより、デコンポジションレベル３のサブバンド(3LL,3HL,3LH,3HH)に分割する。かくして、図９に示すように１つの3LLサブバンドと、各デコンポジションレベルのHL,LH,HHサブバンドが生成される。図９には各サブバンドの解像度レベルも示されている。

ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３変換と非可逆の９×７変換が規定されている。９×７変換が用いられる場合には、ウェーブレット変換係数に対しサブバンド毎に線形量子化が施される。

次に、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものであり、ＨＬ、ＬＨ、ＨＨサブバンドのプリシンクトは３つで１まとまりである（図１０参照）。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまりである。プリシンクトは、大まかには画像中の場所（Position）を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに矩形に分割したものがコードブロックである(図１０参照)。よって、物理的な大きさの序列は、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなる。

以上の分割の後、指定された符号化の順番により符号化の対象となるビットが定められ、その対象ビット周辺のビットからコンテキストが生成され、このコンテキストを利用し算術符号化の一種であるＭＱ符号化と呼ばれるエントロピー符号化（ビットプレーン符号化）が、コードブロック単位で上位ビットプレーンから下位ビットプレーンへと順に行われる。

そして、生成されたエントロピー符号より不要な符号を破棄し、必要な符号をまとめてパケットを生成する。最後に、パケットを並べ、必要なタグ及びタグ情報を付加したコードストリーム（符号化データ）を形成する。図１１にコードストリームの概略構造を示す。コードストリームの先頭と各タイルを構成する部分タイルの先頭に、メインヘッダ、タイルパートヘッダと呼ばれるタグ情報が付加され、その後に各タイルの符号化データ（パケット列）が続く。コード・ストリームの終端には再びタグが置かれる。

パケットは、プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）にヘッダをつけたものである。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。

全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤと呼ぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる。

パケットは、どのコンポ−ネント（記号C）に属するか、どの解像度レベル（記号R）に属するか、どのプリシンクト（記号P）に属するか、どのレイヤ（記号L）に属するか、という４つの属性を有する。パケットの配列とは、どの属性の順に階層的に並べるかを意味する。この配列順をプログレッシブ順序と呼び、ＪＰＥＧ２０００ではＬＲＣＰ，ＲＬＣＰ，ＲＰＣＬ，ＰＣＲＬ，ＣＰＲＬの５通りが規定されている。

ＲＬＣＰのような解像度プログレッシブな順序の場合には、図１２に略示するように、解像度レベル０の属性を持つパケット、次に解像度レベル１の属性を持つパケット、というように解像度レベルの低いパケットから順に並べられる。

図１３に、画像サイズ１００×１００画素、２レイヤ、階層数３（解像度レベル０，１，２）、３コンポ−ネント、プリシンクトサイズ３２×３２、ＲＬＣＰプログレッシブ順序の場合の３６個のパケットの配列例を示す。このような符号化データのパケットを先頭から順に全て復号することにより、解像度レベル２の画像が伸長される。仮に、符号化データから解像度レベル２の属性を持つパケット１２〜３５を破棄すると、その符号化データを復号することにより、縦横サイズがそれぞれ半分に縮小した解像度レベル１の画像が伸長される。さらにパケット６〜１１までが破棄された符号化データでは、縦横サイズがさらに半分に縮小した解像度レベル０の画像が伸長される。他のプログレッシブ順序の符号化データでも同様の変換が可能である。

このように、ＪＰＥＧ２０００の符号化データは、符号状態のままで（復号することなく）符号を破棄することによって階層（解像度）変換が可能であり、これ以外にも画像を回転させる変換も符号状態で行うことができる。

復号化は符号化と丁度逆の処理となり、各コンポーネントの各タイルのコードストリームから画像データを生成する。簡単に説明すると、入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が決められ、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。このコンテキストとコードストリームから確率推定によってエントロピー復号化（ＭＱ復号化）を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたサブバンド係数に対し、必要に応じて逆線形量子化を施した後、２次元逆ウェーブレット変換を行うことにより、各コンポーネントの各タイルが復元される。復元されたデータは逆色変換及び逆ＤＣレベルシフトによって元の表色系のデータに変換される。

図１と図２は本発明に係るサーバ装置における送信処理の概要を説明するための模式図であり、１は本発明に係るサーバ装置、２はサーバ装置１とネットワークで接続されたクライアント装置２である。サーバ装置１は、クライアント装置２より送信要求のあった画像の符号化データ１００を送信する処理を行う。

ここでは説明を簡単にするため、符号化データ１００として、１ＬＬサブバンドの符号（解像度レベル０）、１ＨＬ，１ＬＨ，１ＨＨの各サブバンドの符号（解像度レベル１）からなる２階層（解像度レベル０，１、デコンポジションレベル数１）の符号化データであるとし、元の画像は縦長であるものとする。そして、クライアント装置２における画像の表示領域３は横長であるものとする。

サーバ装置１においては、符号化データ１００の伸長画像サイズでは表示領域３に画像全体が収まらないと判断し、符号化データ１００の解像度レベル１の符号すなわち１ＨＬ，１ＬＨ，１ＨＨサブバンドの符号を破棄することにより、解像度レベル０の符号化データ１０１へ解像度変換する。しかし、図１に見られるように、この解像度変換後の符号化データの伸長画像のサイズでは画像全体が表示領域３に収まらない。

このように、送信しようとする符号化データ１００を最低解像度まで解像度変換した符号化データ１０１でも、その伸長画像が表示領域３に収まらないと判断した場合、サーバ装置１は、図２に示すように、符号化データ１０１に対し画像の向きを９０度回転させる回転変換を行い、この回転変換後の符号化データ１０３をクライアント装置２へ送信する。このように回転変換を行うことにより表示領域に画像全体が収まる可能性があり、この例では符号化データ１０３の伸長画像は表示領域３に収まる。

このように、本発明は、基本的には回転操作は行わず、最低解像度まで解像度を落とした段階でも表示領域に画像全体が収まらないときに初めて回転操作を行うことにより、画像が見にくくなる画像の回転をできる限り回避する。

しかし、最低解像度まで解像度変換し、さらに回転変換した符号化データでも、その伸長画像が表示領域３に収まらないケースもあり得る。そこで、一つの態様によれば、サーバ装置１は最低解像度の回転変換後の符号化データ１０３の送信に先立って、その伸長画像が表示領域３に収まるか判定する。そして、図２の例のように伸長画像が表示領域３に収まると判断されたときには直ちに符号化データ１０３をクライアント装置２へ送信する。しかし、収まらないと判断したときには、その旨の警告を発し、これに対しクライアント装置２からの了解の旨のレスポンスを確認したうえで符号化データ１０３を送信するという手順をとる。

さらに好ましい態様によれば、画像の縦横サイズ関係と表示領域３の縦横サイズ関係が一致するか判定し、最低解像度の符号化データでも表示領域に収まらない時に、縦横サイズ関係が不一致であることを条件に回転変換を行う。縦横サイズ関係が一致している場合、回転変換を行っても画像の表示される範囲が増えるわけでもなく、逆に画像が見にくくなってしまうため、回転変換を回避するわけである。

図３は、縦長の画像の４階層（解像度レベル０，１，２，３）の符号からなる符号化データ１１０の場合における送信処理を説明するための模式図である。この例では、サーバ装置１は、符号化データ１１０の伸長画像が表示領域に収まるか判定する。収まると判断したときには符号化データ１１０を送信する。しかし、収まらないと判断したときには、符号化データ１１０を、１ＨＬ，１ＬＨ，１ＨＨサブバンドの符号（解像度レベル３）を破棄した符号化データ１１１へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判断したときには符号化データ１１１を送信する。しかし、収まらないと判断したときには、符号データ１１１を、２ＨＬ，２ＬＨ，２ＨＨサブバンドの符号（解像度レベル２）を破棄した符号化データ１１２へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判定したときには符号化データ１１３を送信する。しかし、収まらないと判断したときには、符号化データ１１２を、２ＨＬ，３ＬＨ，２ＨＨサブバンドの符号（解像度レベル１）を破棄した符号化データ１１３へ解像度変換し、その伸長画像が表示領域に収まるか判定する。収まると判定したときには送信データ１１３を送信する。しかし、収まらないと判定した場合には、符号化データ１１３を、画像の向きを９０度回転させた符号化データ１１４へ回転変換する（あるいは、縦横サイズ関係が不一致のときのみ回転変換する）。そして、無条件にこの符号化データ１１４を送信するか、あるいは、表示領域に収まらないと判断したときに警告を発して了解を確認したうえで送信する。

さて、ＪＰＥＧ２０００の符号化データをネットワークを通してサーバ装置からクライアント装置へ転送するプロトコルＪＰＩＰ（JPEG2000 Interactive Protocol；ＩＳ１５４４４−９）がある。上に述べたような処理を行う本発明に係るサーバ装置は、ＪＰＩＰにも好適である。

すなわち、ＪＰＩＰにおいては、クライアント装置側でオフセットと縦横サイズを指定することにより、サーバ装置に画像の一部領域の符号化データの送信を要求することができる。この場合、予めクライアント装置からサムネイル画像の符号化データをクライアント装置へ送信し、クライアント装置側で伸長し表示させたサムネイル画像を見て画像全体の概要を確認したうえで、オフセットと縦横サイズの指定を行う。しかし、元の画像が極めて大きい場合には、表示領域にサムネイル画像の全体が収まらないことがある。サムネイル画像から画像全体を見渡すことができることが望ましく、そのスクロールは極力避けたいものである。このようなサムネイル画像の符号化データの送信に以上に述べた本発明の送信処理を適用するならば、極めて大きな画像のサムネイル画像であっても、その全体を表示領域に収まる形で表示できる可能性が高まり、また、サムネイル画像の回転を極力避けることができる。

図４は、本発明の実施形態を説明するための簡略化したブロック図である。図４には、本発明の実施形態の理解に必要な構成のみが示されている。サーバ装置１及びクライアント装置２には、ネットワークを通じて要求、応答、データの交換を行うためのネットワーク・インターフェース手段が当然に存在するが、これは図４では省略されている。

クライアント装置２は、画像の表示領域３（ディスプレイ画面上の画像表示用ウィンドウなど）のサイズを算出する表示領域サイズ算出部４を備える。クライアント装置２からネットワーク・インターフェース手段を通じてサーバ装置１に対し送信される画像送信要求には、画像識別情報などのほかに、表示領域サイズ算出部４により求められた表示領域サイズ情報も含まれる。

サーバ装置１は、不図示のネットワーク・インターフェース手段を通じて受信した画像送信要求で指定された画像の符号化データ（ここではＪＰＥＧ２０００の符号化データ）を入力する符号入力部１１と、入力された符号化データに対し、図１乃至図３に関連して説明したような解像度変換や回転操作を行うための符号変換部１２と、この符号変換部１２から出される符号化データを出力する符号出力部１３を備える。この符号出力部１３より出力される符号化データが、最終的に不図示のネットワーク・インターフェース手段を通じクライアント装置２へ送信されることになる。

クライアント装置２は、不図示のネットワーク・インターフェース手段を通じて受信される符号化データを入力する符号入力部５と、この符号入力部５により入力された符号化データを復号する復号部６と、この復号部６で復号された伸長画像データを表示領域３に表示させる画像表示部７を備える。

図５は、サーバ装置１における送信処理の流れを示す簡略化したフローチャートである。このフローチャートに沿って、クライアント装置２より画像送信要求を受け付けた場合のサーバ装置１の動作を説明する。

サーバ装置１において、画像送信要求に係る画像の符号化データを符号入力部１１により入力する（ｓｔｅｐ１）。符号変換部１２は、入力された符号化データのヘッダ情報などから認識される当該符号化データの伸長画像のサイズと、画像送信要求に含まれていた表示領域サイズ情報とから、当該符号化データの伸長画像が表示領域３に収まるか調べる（ｓｔｅｐ２）。収まると判断したときには、当該符号化データをそのまま符号出力部１３に渡され、当該符号化データをネットワークを通じてクライアント装置１へ送信される（ｓｔｅｐ９）。

符号変換部１２は、ｓｔｅｐ２で表示領域に収まらないと判断したときには、当該符号化データが最低解像度レベルの符号化データであるか調べる（ｓｔｅｐ３）。最低解像度レベルのものでないと判断したならば、当該符号化データを、その最も高い解像度レベルの符号を破棄することにより、解像度が１レベル低い符号化データに解像度変換し（ｓｔｅｐ４）、その伸長画像が表示領域に収まるか調べる（ｓｔｅｐ２）。表示領域に収まると判断したならば、当該符号化データを符号出力部１３に渡すことによりクライアント装置２へ送信させる（ｓｔｅｐ９）。

このように、符号化データの解像度を下げる解像度変換を順次行うことにより、回転変換を行わない符号化データの送信を試みる訳である。

しかし、最低解像度まで解像度変換した符号化データでも、その伸長画像が表示領域に収まらないと判断した場合（ｓｔｅｐ３，Ｙｅｓ）、符号変換部１２は、符号化データの伸長画像の縦横サイズ関係（縦長，横長）と表示領域の縦横サイズ関係が一致するか判定する（ｓｔｅｐ５）。縦横関係が不一致ならば（例えば画像が縦長で表示領域が横長）、当該最低解像度の符号化データに対し、画像の向きを９０度回転させる回転変換を行う（ｓｔｅｐ６）。この回転変換後の符号化データをそのまま送信する態様も本発明に含まれるが、ここに示す例では、回転変換後の符号化データの伸長画像が表示領域に収まるか調べる（ｓｔｅｐ７）。画像の９０度回転により、図１及び図２に関連して説明したように、例えば画像と表示領域の縦横サイズ関係が一致して画像が表示領域３に収まる可能性もある。表示領域に収まると判断したときには、当該符号化データを符号出力部１３に渡し送信させる（ｓｔｅｐ９）。かくして、図２の例のように、最低解像度の画像９０度回転された形で表示領域に表示されることになる。

符号変換部１２は、回転変換後の符号化データでも、その伸長画像が表示領域３に収まらないと判断したときには、その旨の警告のためのメッセージを符号出力部１３へ出してクライアント装置へ送信させ、図５では省略されているが、この警告メッセージに対するクライアント装置２からの了解の旨の応答を確認する。この確認の後、最低解像度の回転変換後の符号化データを符号出力部１３に渡しクライアント装置へ送信させる（ｓｔｅｐ９）。この場合、クライアント装置２においては、伸長画像の全部を表示領域３に一度に表示することができないので、伸長画像の全体を見るためには適宜スクロール操作を行う必要がある。

また、ｓｔｅｐ５で縦横サイズ関係が一致すると判定した場合、回転操作を行っても画像全体が表示される可能性はなく、回転変換による逆に見にくくなるだけであるので、回転変換は行わず、ｓｔｅｐ８に進み警告を発し、その了解の応答を確認した後にｓｔｅｐ９で当該符号化データを送信する。

ここまでの説明から明らかなように、符号変換部１２は基本的には符号化データの解像度変換と回転変換のための手段であるが、本実施形態における符号化変換部１２は、クライアント装置へ送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段と、この解像度変換手段による解像度変換前又は解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段と、前記解像度変換手段により最低解像度まで解像度変換後の符号化データであって、前記判定手段により表示領域に収まらないと判定された符号化データに対し、その縦横サイズ関係と表示領域の縦横サイズ領域との一致を判定する縦横サイズ関係判定手段と、この縦横サイズ判定手段により一致しないと判定された、最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を９０度回転させる変換を行う回転変換手段と、解像度変換前の符号化データ、解像度変換後の符号化データ又は回転変換後の符号化データをクライアント装置へ送信させる手段と、さらにはｓｔｅｐ８に対応する手段が統合されたものである。言うまでもなく、これら手段を分離することも可能である。また上述のように、ｓｔｅｐ８に対応する機能を省いてもよい。

なお、ｓｔｅｐ１の直後に、入力された符号化データが文字原稿画像（又は文字・絵柄混在原稿画像）のものであるか、非文字原稿画像（絵柄原稿画像）のものであるかの判定を行い、文字原稿画像と判定したときにのみｓｔｅｐ２以降の送信処理を実行し、非文字原稿と判定したときには別の送信処理とすることも可能である。

すなわち、文字原稿画像は９０度回転すると内容が極めて読みにくくなるため、前述のような回転を極力行わない形で送信する処理を行う。

一方、非文字原稿画像は９０度回転したとしても、文字原稿画像の場合ほどには内容が分かりにくくなることはない。そこで、例えば、画像の縦横サイズ関係（縦長又は横長の区別）と表示領域の縦横サイズ関係とを比較し、それが不一致ならば、まず符号化データを９０度回転させる変換を行う。その後、表示領域に収まるまで解像度を下げる変換を順次繰り返し、表示領域に収まる解像度の符号化データを送信する。最低解像度まで変換しても表示領域に収まらないときには、その旨の警告を発し、それに対する了解の応答を確認してから送信するような処理とする。

なお、文字原稿画像／非文字原稿画像の判定であるが、例えば、符号化データのヘッダ情報に予めその識別情報を記述しておくならば極めて容易に行うことができる。そのような識別情報が存在しない場合には、例えば、符号化データのサブバンド毎の符号量などに基づいて判定することも容易である。

図４に示した本発明に係るサーバ装置１やクライアント装置２は、ＣＰＵ、メモリ、ネットワーク・インターフェースなどからなる一般的な構成のコンピュータを利用し、プログラムによって実現可能である。これについて図６により簡単に説明する。

図６において、２００はサーバ装置１として動作するコンピュータであり、ＣＰＵ２０１，メモリ２０２、ハードディスク装置２０３、不図示のネットワーク・インターフェースなどがバスにより相互接続された構成である。このコンピュータ２００を、符号入力部１１、符号変換部１２、符号出力部１３に対応する手段、換言すれば、図５中のｓｔｅｐ１〜ｓｔｅｐ９に対応する手段として機能させるためのプログラムが、例えばハードディスク装置２０３よりメモリ２０２にロードされてＣＰＵ２０１で実行されることにより、このコンピュータ２００が本発明に係るサーバ装置として動作する。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。

３００はクライアント装置２として動作するコンピュータであり、ＣＰＵ３０１，メモリ３０２、モニタ３０３、不図示のネットワーク・インターフェースなどがバスにより相互接続された構成である。このコンピュータ３００を、表示領域サイズ算出部４，符号入力部５、復号部６、画像表示部７に対応する手段、その他のサーバ装置との通信に関連する手段として機能させるためのプログラムがメモリ３０１にロードされてＣＰＵ３０１で実行されることにより、このコンピュータ３００がクライアント装置として動作する。

図６に示す構成において、図５に関連して説明した処理は次のように実行される。クライアント側のＣＰＵ３０１からの画像送信要求に応じて、サーバ側のＣＰＵ２０１の命令により、ハードディスク装置２０３に蓄積されている送信すべき画像の符号化データがメモリ２０２に読み込まれる（ｓｔｅｐ１に対応）。ＣＰＵ２０１は、メモリ２０２上の符号化データを読み込み、クライアント側からの表示領域サイズ情報に応じて、ｓｔｅｐ２〜ｓｔｅｐ８に対応する解像度変換、判定、さらには回転変換を実行し、送信しようとする符号化データをメモリ２０２上に生成する。この符号化データは、ＣＰＵ２０１からの命令によりネットワーク経由でクライアント側へ送信され、クライアント側のメモリ３０２に書き込まれる。クライアント側のＣＰＵ３０１は、この符号データを読み込み復号処理を行い、メモリ３０２上に伸長画像のデータを生成する。この伸長画像データは、モニタ３０３の表示領域に表示される。

以上の説明においてはＪＰＥＧ２０００の符号化データが処理の対象とされたが、これに限られるものではない。例えば、符号ウェーブレット変換を用いる他の符号化方式や、ウェーブレット変換以外の周波数変換を用いる符号化方式による符号化データであっても、符号状態で解像度変換や回転変換が可能なものであるならば本発明を同様に適用可能であることは明らかである。

本発明における送信処理の説明のための模式図である。本発明における送信処理の説明のための模式図である。本発明における送信処理の説明のための模式図である。本発明の実施形態を説明するための簡略化されたブロック図である。本発明の実施形態に係るサーバ装置における送信処理を説明するための簡略化したフローチャートである。本発明の実施形態に係るサーバ装置とそれに接続されるクライアント装置をコンピュータで実現する形態を説明するためのブロック図である。ＪＰＥＧ２０００符号化アルゴリズムを説明するためのブロック図である。２次元ウェーブレット変換によるサブバンド分割の説明図である。各サブバンドと解像度レベルを示す図である。タイル、サブバンド、プレシンクト、コードブロックの関係を示す図である。ＪＰＥＧ２０００符号化データの全体構造を示す図である。解像度プログレッシブ符号化データの構成を示す図である。ＲＬＣＰプログレッシブ順序の場合におけるパケット配列の例を示す図である。

符号の説明

１サーバ装置
２クライアント装置
３表示領域
４表示領域サイズ算出部
５符号入力部
６復号部
７画像表示部
１１符号入力部
１２符号変換部
１３符号出力部

Claims

画像の符号化データをクライアント装置へ送信するサーバ装置であって、
符号化データに対し、符号状態のままで、解像度を下げる解像度変換及び画像を９０度回転させる回転変換を行うための符号変換手段を有し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まる場合には当該符号化データをそのまま送信し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで前記符号変換手段により解像度変換した後に送信し、
送信しようとする符号化データを前記符号変換手段により最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該解像度変換後の符号化データを前記符号変換手段により回転変換した後に送信することを特徴とするサーバ装置。
画像の符号化データをクライアント装置へ送信するサーバ装置であって、
送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段、
送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段、
前記解像度変換手段により最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を９０度回転させる変換を行う回転変換手段、
送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まると判定されたときには、当該符号化データをそのままクライアント装置へ送信し、前記解像度変換手段により最低解像度まで解像度変換後の符号化データが前記サイズ判定手段により収まらないと判定されたときには、当該符号化データを前記回転変換手段により回転変換後の符号化データをクライアント装置へ送信する手段を有することを特徴とするサーバ装置。
画像の符号化データをクライアント装置へ送信するサーバ装置であって、
符号化データに対し、符号状態のままで、解像度を下げる解像度変換及び画像を９０度回転させる回転変換を行うための符号変換手段とを有し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まる場合には当該符号化データをそのまま送信し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで前記符号変換手段により解像度変換した後に送信し、
送信しようとする符号化データを前記符号変換手段により最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データの伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するならば当該符号データをそのまま送信し、縦横関係が不一致ならば当該符号化データを前記符号変換手段により回転変換した後に送信することを特徴とするサーバ装置。
画像の符号化データをクライアント装置へ送信するサーバ装置であって、
送信しようとする符号化データに対し、符号状態のままで、解像度を下げる解像度変換を行う解像度変換手段、
クライアント装置へ送信しようとする符号化データについて、その伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するか判定する縦横サイズ関係判定手段と、
送信しようとする符号化データ又はその前記解像度変換手段によって解像度変換後の符号化データの伸長画像がクライアント装置側の表示領域に収まるか判定するサイズ判定手段、
前記解像度変換手段により最低解像度まで解像度変換後の符号化データに対し符号状態のままで画像を９０度回転させる変換を行う回転変換手段、
送信しようとする符号化データ又はその前記解像度変換手段により解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まると判定された場合には、当該符号化データをそのままクライアント装置へ送信し、送信しようとする符号化データを前記解像度変換手段により最低解像度まで解像度変換後の符号化データが前記サイズ判定手段により表示領域に収まらないと判定された場合には、前記縦横サイズ関係判定手段により一致すると判定されたときには当該符号化データをそのまま、一致しないと判定されたときには当該符号化データを前記回転変換手段により回転変換した符号化データをクライアント装置へ送信する手段を有することを特徴とするサーバ装置。
画像の符号化データはＪＰＥＧ２０００の符号化データであることを特徴とする請求項１，２，３又は４記載のサーバ装置。
サーバ装置において画像の符号化データをクライアント装置へ送信するための送信処理方法であって、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まるときには当該符号化データをそのまま送信し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで符号状態で解像度変換した後に送信し、
送信しようとする符号化データを符号状態で最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該解像度変換後の符号化データを、符号状態のままで、画像を９０度回転させる回転変換をした後に送信することを特徴とする送信処理方法。
サーバ装置において画像の符号化データをクライアント装置へ送信するための送信処理方法であって、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まるときには当該符号化データをそのまま送信し、
送信しようとする符号化データの伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データを、その伸長画像がクライアント装置側の表示領域に収まる解像度まで符号状態で解像度変換した後に送信し、
送信しようとする符号化データを符号状態で最低解像度まで解像度変換した符号化データでも、その伸長画像がクライアント装置側の表示領域に収まらない場合には、当該符号化データの伸長画像の縦横サイズ関係とクライアント装置側の表示領域の縦横サイズ関係が一致するならば当該符号化データをそのまま送信し、それが一致しないならば当該符号化データを符号状態のままで画像を９０度回転させる回転変換をした後に送信することを特徴とする送信処理方法。
画像の符号化データはＪＰＥＧ２０００の符号化データであることを特徴とする請求項６又は７記載の送信処理方法。
請求項２又は４記載の各手段としてコンピュータを機能させるプログラム。
請求項２又は４記載の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。