JP2008147893A - クライアントサーバシステム及び遠隔操作システム - Google Patents

Abstract

【課題】本発明は通信負担を軽減して効率的な遠隔操作処理を実現できる。
【解決手段】本発明のクライアントサーバシステムは、画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築している。そして、本発明のクライアントサーバシステムにおけるサーバは、表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、部分符号データを使用してクライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、識別した画像領域に基づいて、サーバの処理装置の操作指令をする指令手段とを具備する。
【選択図】 図１３

Description

本発明はクライアントサーバシステム及び遠隔操作システムに関し、詳細には遠隔地にある遠隔操作装置から複写機などの画像処理装置を制御する遠隔操作システムに関する。

近年、オペレーションパネルと呼ばれる操作パネルを用いて操作を設定する機器が増えている。操作パネルの画面上にボタンなどの表示が示され、その上を指で触れると操作指定がなされるという形態である。表示画面には、同時にメッセージを表示することができ、特に次々と操作パネルの画面表示内容を変えながら指示していくことができ、多くの機能を持ち複雑な指示が可能な機器に用いられることが多い。

一方、インターネットの普及等により、家電なども含めた機器の遠隔操作が普及してきている。遠隔地で操作指令を出して機器に所定の動作をすることができる。その場合、複雑な操作パネルなどの操作においては、ローカルに機器の操作をするときと同じインターフェースで遠隔で操作できることが望ましい。特に操作パネル上のメッセージも同じように表示されることが望ましい。例えば、遠隔で誤操作を正すような場合に、ローカルな操作と連動しながら共同で操作指令ができることが望ましい。例えば、操作パネルの操作が難しくてわからないような場合に遠隔のサービスセンターで共同操作するような場合である。また、ローカルな機器（事務機器）の操作と共通のインターフェースで効率的な共同操作をする遠隔操作環境において、事務機器の操作パネルの画像データを遠隔操作ユニットに転送しそのまま利用することで、特別なインターフェースを実現する手間が省け、共通のインターフェースで遠隔操作ができる。

このような遠隔操作システムとして従来よりいくつかの提案がなされている。その一つとして、特許文献１には、画像処理装置（複写機）のパネル表示の表示変化のタイミングでビットマップ表示データを遠隔操作部へ転送し、遠隔操作するという遠隔監視装置が提案されている。
特許第３，３２７，５６６号明細書

しかしながら、上記特許文献１などの従来の遠隔操作システムでは、操作パネルの画像データを転送する転送トラフィックが問題となる。頻繁にローカルで操作している場合には、その画面表示内容の変化に追従する必要があるが、その画面表示内容を遠隔地に転送する速度が遅いと、遠隔装置ユニットで充分に遠隔操作対応のための表示ができないという問題があった。

本発明はこれらの問題点を解決するためのものであり、通信負担を軽減して効率的な遠隔操作処理を実現できるクライアントサーバシステム及び遠隔操作システムを提供することを目的とする。

前記問題点を解決するために、本発明のクライアントサーバシステムは、画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築している。そして、本発明のクライアントサーバシステムにおけるサーバは、表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、部分符号データを使用してクライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、識別した画像領域に基づいて、サーバの処理装置の操作指令をする指令手段とを具備することに特徴がある。よって、クライアントサーバシステムにおいて画像矩形領域と符号データの部分符号データ領域との対応を介して、クライアントの指示領域とサーバの元画像領域との対応をとり、予め設定された元画像領域に対応した処理内容を実行する機能を提供でき、領域単位に指定領域の対応関係をとって領域識別することから効率的な（簡易な）処理指定インターフェースを実現できる。また、クライアントからサーバへ特定のアクションを要求することを許容することで、応用範囲は大幅に広がった。

また、別の発明としての遠隔操作システムは、表示部を有する事務機器と、該事務機器に情報伝送路を介して接続される、表示部を有する遠隔操作ユニットとを有して構築している。そして、本発明の遠隔操作システムにおける事務機器は、事務機器の状態を示すとともに、操作指令のインターフェースである操作表示パネルの表示情報を二次元画像情報として保持する第１のイメージ記憶手段と、該第１のイメージ記憶手段が記憶する二次元画像情報を表示する第１のビットマップ表示手段と、所定の指示に応答して第１のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、符号化された第１の符号データを編集する符号データ編集手段と、該符号データ編集手段により生成された第２の符号データを遠隔操作ユニットに転送する制御手段とを具備している。また、本発明の遠隔操作システムにおける遠隔操作ユニットは、事務機器が受信した第２の符号データを復号化する復号化手段と、復号化された第２の二次元画像情報を表示する第２のビットマップ表示手段とを具備している。よって、パネル表示用のビットマップデータを符号化するときに例えばロスレスで符号化しデータ保存しておいて、転送時には、一部符号列を削減してペリフェラル符号制御を行い、通信負担を軽減して遠隔地のＰＣ等で再生でき、かつ効率的な処理が実現できる。

更に、遠隔操作ユニットは、表示された第２の二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、事務機器に指定した画像領域に対応する部分符号データを指定する部分符号データ指定手段とを有し、また事務機器は、遠隔操作ユニットに指定された部分符号データに対応する画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、事務機器の操作指令をする指令手段とを有している。よって、遠隔操作においては、遠隔地のパソコンでもパネル画面と同様な画像が表示され、画像データの部分画像領域を指示できる。パネル画面の部分画像をアクセスした場合に（操作指令を含む領域をアクセスする場合には）、アクセス情報が部分符号データの範囲の指定としてサーバへ転送され、かかる画像領域と操作指令との対応がとられ、部分画像アクセスを操作指令に置き換える機能をもつことで簡易に遠隔操作指令をすることが可能となる。また、サーバがクライアントから受け取った部分画像データへのアクセス要求を操作指令要求に置き換えることが効率的にでき、効率的な遠隔操作を可能となる。

また、事務機器の第１のイメージ記憶手段に保持された二次元画像情報を事務機器の操作表示パネルの表示情報に合わせて矩形単位に分割する画像データ分割手段と、矩形単位に符号化する符号化手段とを有することにより、画像の矩形領域と部分符号データとの対応がとることができて、領域単位での部分画像のアクセスにおける位置関係の対応が容易になる。また、符号データを領域単位にペリフェラル制御することにより表示内容に適応した符号量制御が容易となる。

更に、遠隔操作ユニットは、表示された第２の二次元画像情報を矩形単位に一部の画像領域を指定し事務機器に指定した画像領域を転送する画像領域指定手段を有し、また事務機器は、遠隔操作ユニットに指定された画像領域の符号データを事務機器に保存された部分符号データを取り出し、部分符号データを遠隔操作ユニットに転送し、復号する復号手段と、復号した第３の二次元画像情報を表示する第２のビットマップ表示手段とを有している。よって、パネル表示の符号データを再編集し新たな符号列を追加することによって、パネルのメッセージ領域の解像度や画質を変更して表示を変更する。パネル表示用のビットマップデータを符号化するときに例えばロスレスで符号化しデータ保存しておいて、転送時には、一部符号列を削減して通信負担を軽減して遠隔地のＰＣ等で再生できる。また、再生表示内容が読みづらく操作上に支障をきたすような場合に、パネル表示の解像度や画質を変更して再生できる。

また、遠隔操作ユニットの画像領域指定手段が、画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて事務機器が何も処理しないように設定するアクセス制限領域設定手段を有することにより、アクセス可能領域を制限することで、無駄なアクセスをなくし効率的な処理が可能となると共に操作性をよくすることができる。

更に、遠隔操作ユニットの画像領域指定手段が、画像領域と、事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて事務機器が処理する処理内容を設定するアクセス制限領域設定手段を有することにより、領域によって遠隔操作ユニットから複写機等の画像処理装置へ操作信号が送られる領域と、画像処理装置から遠隔操作ユニットへ表示内容が送られ表示される領域とが区別して制御できる。

また、事務機器の操作ボタンをイメージ化する操作ボタンイメージ化手段を有し、事務機器の第１のイメージ記憶手段が保持する画像情報が、操作表示パネルの表示情報と操作ボタンをイメージ化した画像情報であることにより、操作ボタンによる遠隔操作が可能となる。

更に、遠隔操作ユニットで入力したテキストを、事務機器の操作表示パネル上に表示するする遠隔メッセージ表示機能を有することが好ましい。

また、事務機器の操作表示パネルがマルチウィンドウに表示する手段を有し、テキストが事務機器の操作表示パネル上の操作表示パネル表示しているウィンドウとは別のウィンドウ上に表示する遠隔メッセージ表示機能を備えることが好ましい。

更に、符号データは、ＪＰＥＧ２０００(ISO/IEC 15444-1)規格に基づき符号化されたデータであることにより、部分符号データのアクセスが容易に達成でき、標準化されているため汎用性を図れる。

また、上記符号データの通信手段は、JPIP（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools， APIs and protocols）規格に基づき、事務機器に保存された符号化データの一部である部分符号データを、遠隔操作装置が受信する部分符号データアクセス機能を有することにより、標準化されているため汎用性を図れる。

更に、アクセス制限領域設定手段が、JPIP規格のクライアントキャッシュによって実現する。よって、JPIPの標準仕様の中にはキャッシュを使用して転送後の二重アクセスを防止できる。また、クライアントはサーバから既に送られてきた符号データは再送要求しないで再利用するような場合に使用する。非アクセス領域のデータは、既に転送ずみであるとすることで、遠隔操作ができないように制御できる。更に、アクセス制限は、部分画像単位でなされるので、JPIPのキャッシュを用いてアクセスを制御することで、簡易にアクセス制御を実現することが可能となる。

本発明の遠隔操作システムによれば、複写機等の画像処理装置から操作用のパネルの操作対象である画像データが、インターネットを介して結合された遠隔操作対象である遠隔操作ユニットへ転送され、この画像を見ながら、遠隔操作情報をサーバ側へ送り、複写機等の画像処理装置は、ローカルマシーン上のパネル操作画面からの指令に置き換え、操作指令とすることにより、操作パネル画面の画像データの転送時間を調整可能であり、同時に操作指令を簡易にするために矩形領域単位のペリフェラル符号化をし、一つの好適な符号化が世界標準であるＪＰＥＧ２０００符号化であって通信プロトコルとしては部分符号データアクセス機能を具備するJPIPを使用することができる。また、転送トラフィックの負荷を軽減するために、転送対象である画像の符号化データの符号量の調整が容易な符号化仕様をもつ階層符号を用いて符号化し、ペリフェラル制御を行う。典型的には、ＪＰＥＧ２０００で符号化する。よって、通信負担を軽減して遠隔地のＰＣ等で再生でき、かつ効率的な処理が実現できる。

はじめに、ＪＰＥＧ２０００による符号化について以下に説明する。
ＪＰＥＧ２０００の標準仕様においては、画像領域をタイル領域単位あるいは、プレシンクト領域単位に符号データが区別できるような形式で符号データが形成される。ＪＰＥＧ２０００(ISO/IEC 15444-1)規格の符号化は、おおよそ以下の手順でなされる。

先ず、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。そして、各色成分の色データに対しては、２次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施し、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。また、全ての色データに対しては、２次元離散ウェーブレット変換を施す。次に、得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施して、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理を施す。その後、ＪＰＥＧ２０００で規定する符号列を生成する。なお、復号化処理はこの逆の手順である。もちろん、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。また、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。

図１はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。同図に示すように、階層符号化・復号化部は、２次元ウェーブレット変換・逆変換部１２、量子化・逆量子化部１３、エントロピー符号化・復号化部１４、タグ処理部１５で構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換(ＤＣＴ:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(ＤＷＴ:Discrete Wavelet Transform)を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では最終段に符号形成を行うために、タグ処理部１５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、後述する図３に示すように、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。

なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ(赤)／Ｇ(緑)／Ｂ(青)の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ(黄)／Ｍ(マゼンタ)／Ｃ(シアン)の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。

以下、ＪＰＥＧ２０００アルゴリズムについて説明する。
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント(ここではＲＧＢ原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00，R01，・・・，R15／G00，G01，・・・，G15／B00，B01，・・・，B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。

符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１２で２次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。

図３はデコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブ・バンドを示す図である。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド(1LL，1HL，1LH，1HH)を分離する。そして、引き続き、この階層における低周波成分１LLに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド(2LL，2HL，2LH，2HH)を分離する。順次同様に、低周波成分２LLに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド(3LL，3HL，3LH，3HH)を分離する。更に、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド(3HL，3LH，3HH，2HL，2LH，2HH，1HL，1LH，1HH)が符号化対象となり、サブ・バンド（3LL）は符号化されない。

次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

図１のエントロピー符号化・復号化部１４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。このようにして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。エントロピー符号化・復号化部１４で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、図５に示すように、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントの中の１つで示される。全てのプレシンクトのパケットを集めると画像全域の符号の一部（例えば、画像全域のウェーブレット係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、それをレイヤと呼ぶ。レイヤは画像全体のビットプレーン符号の一部であり、復号されるレイヤ数が増えると画質が向上する。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号となる。

図６は画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。この例では、ウェーブレット変数の階層数（デコンポジション・レベル）が２でありデコンポジション・レベル２のサブ・バンドは４つのコードブロックに、デコンポジション・レベル１のサブ・バンドは９個のコードブロックにそれぞれ分割されている。パケットはプレシンクトを単位としていくつかのプレシンクトにより構成され、図６の例では、プレシンクトはサブ・バンドであるので、パケットはいくつかのサブ・バンドＨＬからＨＨサブ・バンドまでをまたいだものとなっている。

パケットは、あるプログレッシブ順データといえば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。

・LRCP プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・RLCP プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・RPCL プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。
・PCRL プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・CPRL プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。

このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。

図７の（ａ）は、ＬＲプログレッション（レイヤプログレッション）のプログレッシブ順序を模式的に表した図である。図７の（ｂ）は、ＲＬプログレッション（解像度プログレッション）のプログレッシブ順序を模式的に表した図である。

最後に、図１のタグ処理部１５は、エントロピー符号化・復号化部１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。図８には、コード・ストリームの構造を示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。

一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎にエントロピー符号化・復号化部１４で復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１によって元の表色系のデータに変換される。

次に、ＪＰＩＰにおける符号データのやり取りについて説明する。
本発明の実施の形態における別の特徴として、遠隔地に表示された部分画像データをアクセスして、遠隔地から遠隔操作対象である複写機（画像処理装置）に保存された階層符号データの一部または全部をアップロードして再表示する機能がある。典型的には、最初は転送効率を高めるために符号データを一部削減した部分符号データを受信し再生し、その後、さらに詳しく調べるために、残りの符号データを受信（アップロード）して再表示する。そのような機能を実現するために、画像符号化データのプロトコルとしてＪＰＩＰ（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools， APIs and protocols）がある。

ここで、サーバにあるＪＰＥＧ２０００符号から、必要な符号だけを受信するためのプロトコルとして国際規格ＪＰＩＰ（ＪＰＥＧ２０００ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ − Ｐａｒｔ ９： Ｉｎｔｅｒａｃｔｉｖｉｔｙ ｔｏｏｌｓ， ＡＰＩｓ ａｎｄ ｐｒｏｔｏｃｏｌｓ）がある。このような、階層的な画像を部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるFlash Pixと、それにアクセスするためのプロトコルであるIIP（Internet Imaging Protocol）に見ることができる。

図９はＪＰＩＰにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。先ず、クライアントからサーバへ画像符号データの送信要求が出され、サーバはその応答としてクライアントへ対応する画像符号化データを転送する。クライアントは送られてきた画像符号化データを再生した後、当該画像の部分画像を指示し、指示された部分画像に対応する符号データの転送要求をサーバに送る。サーバはそれに応答し、要求に対応する部分符号データをクライアントに送り、クライアントは送られてきた画像符号化データを再生するというものである。このように、ＪＰＩＰにおけるプロトコルでは、クライアントからサーバへ要求を出し、サーバがクライアントに要求に対応する応答をするというプロトコルを形成する。すなわち、ＪＰＩＰにおいては、クライアントからの要求（リクエスト）に応じて、サーバは完全な画像ファイル、タイルパートストリーム（ＪＰＴ−ストリーム）またはプレシンクトストリーム（ＪＰＰ−ストリーム）の形式をもつ符号データを戻す（応答する）。ＪＰＴ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるタイルパートの組としてサブ画像の符号データを戻す方法である。一方、ＪＰＰ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるプレシンクトの組としてサブ画像の符号データを戻す方法である。ＪＰＴ−ストリームにより順次アクセスした符号データを再生する場合は、タイル分割されたタイル領域毎に順次完全に再生するのに対して、ＪＰＰ−ストリームにより順次アクセスした符号データを再生する場合は、タイル領域に跨った広い領域で、小さい領域（プレシンクト）単位に徐々に再生することができる。すなわち、ＪＰＴ−ストリームのアクセスによる再生では、一時に再生する範囲が画像全体の中であるタイル領域に限定されているのに対し、ＪＰＰ−ストリームのアクセスによる再生では、一時に再生する範囲はタイル領域に限定されず画像全体での再生が可能なのである。

このように、ＪＰＩＰのクライアントは、受信された符号データの部分を識別でき、それらの部分を復号し、かつ画像を生成することのできるように、タイルパートストリーム又はプレシンクトストリームの形式で、ＪＰＥＧ２０００コード・ストリームのサブセットを戻す機能を提供する。すなわち、ＪＰＰ−ストリームはＪＰＥＧ２０００コード・ストリームへ変換されＪＰＥＧ２０００デコーダで復号することができる。前記変換は、復号されるデータと共に、メインヘッダの全てとタイルヘッダの全てを受信すれば十分である。図１０はＪＰＥＧ２０００ファイルとデータビンとの関係を例示している。ＪＰＰ−ストリームは、図１１に示すように、メッセージのシーケンスより構成される。各メッセージは、含まれるデータビン情報の形式を示す（メインヘッダ、メタデータ、プレシンクト、又はタイルヘッダ）。各メッセージは、データビン内の開始位置とメッセージの長さも示す。各メッセージは、その形式、その形式内のインデックス、その形式とインデックスを有する“データビン”へのメッセージのオフセット、及びメッセージ長を識別するヘッダを有する。メッセージは、典型的には、データビン全てを含まず、データビンの一部を含む。メッセージには、データビンがどのタイル、コンポーネント、位置及び解像度データビンに対してであるかを示す識別子を含む。

本発明では、タイル、コンポーネント、位置及び解像度を階層としており、データビンに含まれる符号列（パケット）は、各階層のどのレベル（階層レベル）のデータであるかという情報が対応している。例えば、データビンに含まれるある符号列がタイルＡでコンポーネントが、Ｃｂで位置４で、解像度１レベルであることが示されている。

プレシンクト・データビンは、図１２に示すように、一連のパケットヘッダ（ＰＨ）とパケットデータ（ＰＤ）より構成される。パケットヘッダは、どのコードブロックがパケットのパケットデータ部分内のデータを有するかに関する情報、各符号ブロックに格納されたバイト数に関する情報、及び各符号ブロックについての符号化パスの数を含む。JPIPの標準仕様では、パケットヘッダには、どのコンポーネント、位置、解像度、タイル、あるいは、それが属するレイヤを識別する情報（階層レベル情）はもってない。本発明の一実施の形態として、先に示したメッセージデータを解析して、パケット単位の階層レベル情報をパケットヘッダに記録してもかまわない。クライアント側でＪＰＰ−ストリーム受信後、これらの情報を記録することもできる。

同様に、JPIPの標準仕様では、パケットヘッダの長さに関する明確な情報も持たない。パケットデータの長さは、パケット内の全てのコードブロックにデータの長さを加算することにより決定できる。本発明の一実施例として、パケットヘッダにこれらのデータ長を計算した結果を保存する構成にすることができる。ＪＰＰ−ストリームに規定された構成によりパケットを抽出することができる。

また、ＪＰＩＰのプロトコルは、二つの異なるタイプの要求をもっている。サーバがキャッシュモデルを維持する必要がないという意味におけるステートレスリクエストとそれ以外のリクエストがある。サーバのキャッシュモデルには、それまでにサーバに送信したことについての情報の記録がなされている。クライアントのキャッシュには、サーバから受信した符号データが保存され、サーバはキャッシュモデルを用いることによって、既に転送した符号データをクライントに転送することなく、再利用できる。典型的には、クライアントは、断片的に受信したＪＰＥＧ２０００の符号データを、受信した順番にデータをアペンドしキャッシュに保存する。続いて、前述したようにキャッシュしたデータからＪＰＥＧ２０００のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。

次に、ＪＰＩＰにおけるクライアント、サーバ及びネットワークについて説明する。ここで、図１３はＪＰＩＰにおけるキャッシュを持ったクライアントサーバモデル構成例であり、図１４はＪＰＩＰにおけるクライアントサーバネットワークモデルの構成例である。

図１３の（ａ）に示すように、サーバ２２は、ある種のネットワークを介してクライアント２１のような少なくとも１つのクライアントに接続されている。クライアント２１は、しばしば、人間のユーザにより制御される“プログラム”であるが、完全に自動化されたシステムでも良い。クライアント２１は、ある画像のサブセットに対する要求のような、要求（リクエスト）を発行し、この要求に示された方法で対応する符号データを含む、応答のような応答を受信する。ネットワークの帯域幅又はサーバ２２の資源又はファイル要求の構造のために、クライアント２１は要求された画像の部分符号データ以外のおおよその符号データを受信し得る。クライアント２１は、典型的には、キャッシュを用いて、画像の異なる部分の出力に対する要求を発行し、前に受信された符号データに対する追加分の符号データを受信する。

ここで、ＪＰＩＰの基本的特徴の一つは、クライアントが既に受信した符号データを繰返すことを避ける能力である。この符号データの再送信を避ける２つの方法がある。第１の方法としては、図１３の（ａ）に示すように、クライアント２１が、サーバ２２へ送信されクライアント２１で既に受信された符号データについての情報を持つことで、クライント２１は冗長なデータの配信をサーバ２２に要求しないで済ませ、それにより、サーバ２２は冗長な符号データを送信しないで済ます方法がある。サーバ２２が、“ステートレス”で動作する場合にあっては、それまでの相互動作を記憶することなく動作する。サーバが、それまでの相互動作を記憶する特別なキャッシュモデルを維持する必要がないことから、一般的には、ステートレスで動作しているということが多い。

また、第２の方法としては、図１３の（ａ）に示すように、クライアント２１とサーバ２２は、“セッション”を確立し、サーバ２２は、クライアント２１へ送られた符号データを記憶しておくキャッシュモデル２６をもっている。すなわち、サーバ２２のキャッシュモデル２６には、それまでにサーバ２２に送信したことについての情報の記録がなされている。クライアント２１のキャッシュ２３には、サーバ２２から受信した符号データが保存され、サーバ２２は、キャッシュモデル２６を用いることによって、既に転送した符号データをクライント２１に転送することなく、再利用できる。典型的には、クライアント２１は、断片的に受信したＪＰＥＧ２０００の符号データを、受信した順番にデータをアペンドしキャッシュ２３に保存する。続いて、前述したようにキャッシュしたデータからＪＰＥＧ２０００のシンタックスに準拠したビットストリームを作成し、そのビットストリームをデコードする。

また、本発明は、主に、図１３の（ｂ）に示すようなステートレスな要求を処理するに係り、キャッシュ管理部２８を有することで、キャッシュ２３のキャッシュデータを管理するところに特徴がある。クライアント２１は、それまでに要求した符号データの全てを受信する前にさえも、興味のある画像の部分に対応する符号データを変更し得る。あるサーバは、これらの変更を扱うために、前の要求に対する応答を割り込みすることができる。

図１４は典型的なネットワークを示す図である。同図に示すように、ネットワークは、複数のクライアント、例えばクライアント３１〜３５と複数のサーバ、例えばサーバ３６，３７を含んで構成されている。単一のサーバは、数１００万の異なるクライアントへ同じ画像の異なる部分を扱い得る。単一のクライアントは、画像と他のデータ（例えば、ＨＴＭＬページ）を、幾つかのサーバから受信する。プロキシサーバは、オリジナルサーバと通信すること無しにいくつかの要求への素早い応答を可能とするために、ネットワーク内に存在しうる。有効な帯域幅と帯域幅のコストは、異なるクライアントと同じサーバの間で又は、異なるサーバの間で広く変わる。

最も一般的に使用されるネットワークは、インターネット又はワールドワイドウェブである。しかし、ＪＰＩＰは、ローカルエリアネットワーク又は、どのような一般的な相互接続システムに適用できる。同様に、ＪＰＩＰは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）の上で”最も一般的に転送されるが、ＴＣＰ／ＩＰ及びＵＤＰを含む他の転送プロトコルと共に使用されると予想される。

以上のことから、ＪＰＩＰストリームの符号フォーマット（メッセージ）を分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。

図１５はＪＰＩＰを使用した場合の出力表示画面例を示す図である。最上位画面では、２つのタイルからなるデータが表示されていて、例えば、図１５の（ａ）に示すようにそれぞれのタイルをクリックすることによって画像データが表示され、図１５の（ｂ）のような画質の劣ったタイル４枚からなる画像となる。更に、右下の画像をクリックすることによって、図１５の（ｃ）に示すようにクリックしたタイルの部分画像の解像度が変倍され、部分画質レベルが向上する。このように、部分画像データを参照する場合に使用される。部分画像データを参照する都度、表示クライント側からサーバ側へ符号データを転送要求し再生する。

このようにＪＰＩＰにおいては、クライアント（出力側）では、全ての（階層）符号データではなく、部分符号データを必要としていることを前提としている。そのため、部分符号データからオリジナルの符号データの階層構造を知ることができないという問題があった。

なお、ＪＰＩＰの“主な使用事例”は、２００２年7月１５日に発行されたＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１Ｎ２６５６に詳細に記載されている。ＪＰＩＰの主要な応用例としては、大きな画像のブラウジングである。ＪＰＩＰは、航空画像、医療画像及び、プリプレス画像を代表とする大きな画像の低解像度版又は部分を小さな携帯表示装置（例えば、携帯電話、携帯情報端末等）で見る方法を提供する。

次に、ＪＰＥＧ２０００のコード・ストリームのフォーマットについて説明する。
ＪＰＥＧ２０００のコード・ストリームは、画像についての全てのエントロピー符号化されたデータと、その符号化されたデータを復号するために使用されるべき方法を記述するデータを含む。コード・ストリームは、使用されるウェーブレット変換に関する情報、タイルのサイズ、プレシンクトのサイズ、解像度に関する情報、ファイル内のパケットの順序等を含む。コード・ストリームは、エントロピー符号化されたデータを画像サンプルに復号するのに必要な全てのパラメータを含まなければならない。コード・ストリームは、例えばパケットの長さのような、符号化されたデータの部分への高速アクセスを提供する情報も含み得る。

図１６の（ａ）はＪＰＥＧ２０００のコード・ストリームのフォーマットの概略構成を示す図である。ＪＰＥＧ２０００の“コード・ストリーム”には、いくつかのマーカセグメントをもっている。マーカセグメントとは、一つの２バイト長よりなるマーカとそれに付随するパラメータ群から構成されている。各マーカセグメントには機能、用途、データ長が表されている。コード・ストリームのフォーマットは符号データの始まりを示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカで始まる。ＳＯＣマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。

図１６の（ｂ）はメインヘッダの概略構成を示す図である。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。ここで、ＳＩＺマーカセグメントには、コンポーネント数とかタイルサイズなどの非圧縮時の画像の情報が記述され画像コンポーネントの幅と高さについての情報を含む。ＣＯＤとＣＯＣマーカセグメントは、圧縮されたデータはどの様に復号されるべきかを示すパラメータを含む。ＣＯＤマーカにはプログレッション順序、レイヤ数、プレシンクトサイズ、デコンポジション分割数が記述されている。ＱＣＤマーカは量子化に係る情報が記載されている。また、ＣＯＭマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。メインヘッダの後に、一連の“タイルパート”がある。各タイルパートは、特定のタイルと部分を識別する“ＳＯＴ”マーカセグメントで始まる。各タイルパートについて符号化されたデータには、“ＳＯＴ”マーカセグメントが先行する。“ＳＯＴ”マーカセグメントには、タイルパート数に係る情報を含んでいる。

図１７に示すような実際の符号データは、ＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ−ｐａｒｔ）マーカで始まり、タイルヘッダ、ＳＯＤ（Ｓｔａｒｔｏｆ ｄａｔａ）マーカ、タイルデータ（符号）で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカが付加される。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。

図１６の（ｃ）に示すタイルヘッダ構成は、タイルデータの先頭に付加されるマーカセグメント列であり、ＣＯＤ，ＣＯＣ，ＱＣＤ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。一方、図１６の（ｄ）は、タイル内が複数に分割されている場合における分割されたタイルパートの先頭に付加されるマーカセグメント列であり、ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。タイルデータ（符号）は、連続したパケットで構成される。コード・ストリーム中のパケットの順番をプログレッション順序と呼んでいる。

以上のことから、ＪＰＥＧ２０００コードフォーマットを分析することで、コンポーネント数、レイヤ数、プレシンクトサイズ、デコンポジション分割数などの階層符号データを構成する各階層のレベル数がわかる。また、プログレッション順序についても知ることができる。

次に、部分画像のアクセスと操作指令の対応について説明する。
本発明では、クライアントで部分画像をアクセス（指定）した場合に、サーバでそれに対応する（予め領域毎に決められた）操作指令（処理）をするところである。この時、処理内容を識別することが課題となるが、一般的に、このような処理を実現するために、座標間の対応をとることによって識別する。ところが、座標値の計算では、符号化や復号化の処理を介する場合においては、あるいは、表示系の縦横解像度が異なるような場合においては、表示サイズがサーバとクライアントの表示装置上で異なる場合があり、座標の計算ではこれらを考慮して座標値を算出する必要がある。そこで、本発明では、画像データは、矩形単位に区別できるような形式で符号化し、画像の部分領域と符号データの部分符号との対応をとることにより（符号データと再生画像の位置情報との対応をとることによって）画像の部分領域の指定を操作指令（処理）に変更することができる。

図１８は部分画像アクセスと操作指令との対応関係を示す図である。同図に示すように、符号データがどのように復号再生したかに依存せず画像範囲を特定することができるので、部分画像アクセスに対応する処理内容を容易に識別することができる。

図１９は部分画像アクセスと操作指令との対応に係る処理を示すフローチャートである。同図に示すように、矩形単位に区別できるような形式で符号化された画像データを該矩形領域単位にアクセス（指定）をして、以下のような手順で対応する（操作指令）処理をする。

まず、クライアント側において、画像領域アクセスによる操作を指令すると（ステップＳ１０１）、画像の矩形領域を指定する（ステップＳ１０２）。そして、対応する部分符号データを抽出し、画像指定領域に対応する符号データの領域情報を転送する（ステップＳ１０３，Ｓ１０４）。そして、サーバ側において、画像指定領域に対応する符号データの領域情報を受信すると（ステップＳ１０５）、符号データの領域指定情報に対応する画像指定領域を抽出し、画像指定領域に対応する操作指令処理を施す（ステップＳ１０６，Ｓ１０７）。

以下の実施の形態の説明では複写機を遠隔操作（制御）する例を用いて具体的な実現手段について説明していくが、同様な構成要素を有する事務機器であれば、他の装置例えばファクシミリであっても本発明を実施し得る。

図２０は本発明に係る遠隔制御システムの一例を示す図である。同図に示す遠隔制御システムには監視機能を搭載したコンピュータ（以下ＰＣと略す）と複写機が備わっている遠隔制御対象である画像処理装置の一例として実施の形態では複写機を取り上げる。もちろん、ＦＡＸであっても、プリンタであってもかまわない。同図に示す本発明の遠隔制御システムは、一例として、複写機４１，４２とＰＣ４３は、ローカルエリアネットワークＬＡＮ４４により互いに接続されている。なお、同図には複写機を２台のみ示したが、ローカルエリアネットワークＬＡＮ４４にはさらに多数台の複写機を接続することができ、１台でもかまわない。同図に示す複写機４１，４２とローカルエリアネットワークＬＡＮ４４で接続されたＰＣ４３には、各複写機を遠隔操作するための入力機能を備えている。つまり、ＰＣ４３からの入力操作によって、複写機４１，４２のコンソールにおけるボタン操作と同一の機能を実行する。

図２１は遠隔操作装置における操作パネルの表示例を示す図である。これは、複写機（画像処理装置）に備わっている簡単な操作パネルの概観と同じである。本発明の実施の形態では、複写機（画像処理装置）に備わっている操作パネルの表示データ（ビットマップデータ）がそのまま符号化され、遠隔操作装置に転送後復号再生される。同図に示すように、操作パネル５１は表示領域５２と操作領域５３とその他の領域５４に区別されている。タッチパネルになっていて操作ボタンが描かれている範囲を指で触れることにより、その操作ボタンに予め設定された複写機（画像処理装置）の動作を指令する。操作領域５３は外部からのポインティングデバイス等による座標の指定により指令することもできるが、特別なポインティングデバイスが必要になってくるという欠点をもっている。

本発明では、遠隔地から遠隔操作をする機能を提供するのであるが、そのインターフェースにおいても座標値（点）ではなく矩形領域（面）を指定することで、ユーザインターフェースの向上を図っている。特に座標点で指定する場合は、操作ボタンの境界領域にある場合など、確実に指定できたかどうかの認識が難しいという問題がある。

本実施の形態では、複写機等の画像処理装置の操作パネルの画面を遠隔操作装置上に表示する例を示す。操作パネルの画面情報を複写機等の画像処理装置から遠隔操作装置に転送することで実現するが、転送表示する内容は、操作パネルの画面情報に限らず、例えば読取原稿を転送し表示してもかまわない。

よって、図２１では遠隔操作装置において操作パネルの表示画面しか表示していないが、複写機等の監視において図２２に示すように、読取原稿表示領域５５に読取原稿を表示させていてもかまわない。

図２３は本発明の遠隔操作処理の概念図である。操作パネル５１はビットマップイメージで表示されているので、それを符号化（圧縮）し、遠隔操作装置（監視装置）側にネットワークを介して送信し遠隔操作装置で復号し遠隔操作装置の表示領域６１に再生することで実現する。余分な描画処理をすることなくビットマップイメージをそのまま転送することにより効率的に処理を実現している。パネル画面上の描画内容の変化があったときに、変化に対応して描画内容を再転送する。そのため、操作パネルの表示変化スピード（実操作スピード）に対応する必要があり、転送効率を上げる必要があるため描画イメージの符号量は小さいことが望ましい。そこで、本発明では、パネルイメージを符号化した後で、符号データの編集をして符号量を減らす処理をする。高速に転送することを可能としている。ところが、符号量をへらした符号データを復号再生するとテキストの解像度が落ちるなどして望ましくない場合がある。そこで、パネル表示にテキストが表示されたような場合には、遠隔操作装置は、その部分画像を詳しく再生することを画像処理装置側に要求する高精細表示要求を行う。画像処理装置はこの要求を受けて符号データを再構成し、編集により減らされた符号の部分を補充した符号データを作成し、当該符号データを転送し、遠隔操作装置側で復号し再生する。一方、遠隔操作装置での遠隔操作は、遠隔操作装置上のパネル上に記された操作ボタンを指示することによって指令を転送し、操作指令を出す。本発明では、画像データは矩形領域単位に区別して画像領域を指定することができて、上記高精細表示要求における領域の指定も、操作指示をする場合の要求においても、矩形領域を指定することにより実現し両者の指定のためのインターフェースを統一し簡略化している。指定された内容の解釈は、描画内容との対応によって簡単に決められる。すなわち、操作パネル上の操作ボタンの領域の矩形領域を指定すれば、操作指令であると解釈する。メッセージ表示領域であれば、高精細表示要求であるとする。それ以外は何もしない。

以上要約すると、本発明の典型的な実施の形態である遠隔操作システムは次のように動作する。
遠隔地にある遠隔装置（クライアント）は複写機等の画像処理装置（サーバ）から遠隔操作のために必要なパネル表示画像データ（ビットマップデータ）を受け取る。複写機等の画像処理装置（サーバ）の表示パネルは、元々表示用のデータであるので、それを画像データとして送る。複写機等の画像処理装置（サーバ）上で表示されていたビットマップデータを遠隔装置上でもそのまま表示することで操作を共通にすることができる。遠隔地にある遠隔装置（クライアント）はサーバから受けとったパネル画像に従って、直接操作と同様に操作の指示を部分画像の指定によって行う。通常、パネル操作は、パネル表示されたボタン等に触れることによって指令するので、同様な感覚で指令をする。遠隔地にあるクライアントにおける部分画像の指定は、サーバへの部分画像データへのアクセス要求とされる。

図２４は本発明の遠隔操作システムの構成例を示すブロック図である。同図に示す本発明の典型的な遠隔操作システムは、遠隔からの操作対象である画像処理装置（例えば、複写機）７０、遠隔操作インターフェース装置８０及び遠隔操作装置９０を含んで構築される。画像処理装置７０は、操作パネル出力処理部７１、操作パネル指定処理部７２、画像処理部７３及び操作信号出力部７４を有している。また、遠隔操作インターフェース装置８０は、符号データ編集部８１、符号化処理部８２、データ保存部８３、操作要求解析処理部８４及び送受信処理部８５を有している。更に、遠隔操作装置９０は、表示処理部９１、アクセス制御部９２、復号化処理部９３、部分画像指示部９４、データ保存部９５及び送受信処理部９６を有している。

図２５は遠隔操作システムの処理の流れの一例を示すブロック図である。同図に示すように、画像処理装置７０では、操作パネル指定処理部７２で操作指令がなされ、操作信号出力部７４で画像処理装置の操作指令が出され、画像処理部７３で画像処理動作がなされる。同時に、操作パネル出力処理部７１では、操作指令に基づいて出力（表示）内容が変更される。操作信号出力部７４では、遠隔操作装置９０からの操作要求がなされることも含んでいる。本発明の構成では、操作パネルの出力（表示）は、ビットマップデータのまま操作パネルに出力（表示）されるのと同時に、遠隔地に符号化されて送信される。遠隔操作インターフェース装置８０では、符号化処理部８２で操作パネルの出力（表示）画像のビットマップデータを符号化し、符号化された符号データは一旦データ保存部８３に保存し、続いて符号データ編集部８１で符号データを編集して、編集後の符号データを送受信処理部８５を介して遠隔操作装置９０に送信する。一方、遠隔操作インターフェース装置８０は、遠隔操作装置９０からの部分画像指示（アクセス）要求を受信し、操作要求解析部８４で、遠隔操作装置９０で部分画像の指示（アクセス）によって指定された画像領域に基づいて処理要求内容を識別し、画像処理装置７０に操作信号を出力したり、符号データを再編集して、遠隔操作装置９０に新たな符号データを送信する。遠隔操作装置９０は、送受信処理部９６で符号データを受信し、復号化処理部９３で復号し、表示処理部９１で再生する。一方、部分画像指示部９４で部分画像を指定すると、アクセス制御部９２で通信用のフォーマットに置き換えて、送受信処理部９６を介して遠隔操作インターフェース装置８０へ部分画像指示（アクセス）要求を送信する。

図２６は本発明の遠隔操作システムの通信動作を示す図である。なお、同図は画像処理装置（複写機）の遠隔操作における通信動作フローを示す図である。遠隔操作装置の表示（出力）、入力及び通信処理と画像処理装置（複写機）の表示（出力）、入力、動作、及び通信処理間の信号の流れを矢印で示している。複写機のシステムコントローラは、遠隔操作装置からコマンドＣｎｍを受信すると、所定の制御プログラムを起動し、必要に応じて遠隔装置へ応答Ｒｉｊ信号を送信する。以上の処理は、遠隔操作の開始処理である。図２６に示す例では、遠隔操作装置の入力により開始指令Ｃ１１が出され、初期設定がなされる。続いて、操作パネルの表示内容が遠隔操作装置の通信処理を経て遠隔操作装置側へ転送され、遠隔操作装置に表示される。遠隔操作の開始は複写機側で開始指令が出されてもかまわない。その場合は、開始指令が複写機側から遠隔操作装置側に伝えられると共に、操作パネルの表示内容が符号化され遠隔操作装置側に転送され、復号後遠隔操作装置上に複写機のパネルの内容が表示される。

次に、遠隔操作装置から複写機の操作のための情報（テキストメッセージ）を転送する指令Ｃ１２の例について説明する。図２７は遠隔操作装置側から複写機へメッセージを転送した場合の表示画面例を示す図である。同図に示すように、遠隔操作装置上で入力された『原稿セット 原稿をコンタクトガラス上にセットしてください。』というメッセージがそのまま複写機のパネル上に表示されている。遠隔地から使用者（オペレータ）へ指示に使用することができる。遠隔故障診断にも有効である。

続いて、使用者（オペレータ）は指示に従って原稿をセットしてスタートボタンを押すなどの操作をして操作パネル上の表示内容が変化すると上記と同様に操作パネルの表示内容が通信処理を経て遠隔操作装置側へ転送され（図２６の指令Ｒ１３）、遠隔操作装置に表示される。

そして、遠隔操作装置上でパネル表示の内容をより詳しく知りたい場合に、遠隔操作装置では、受信して表示されたパネル表示の内容の部分画像を詳しく再生することを画像処理装置側に要求する（図２６の指令Ｃ１４）ことができる。複写機側は、パネルが総符号データを再編集し、遠隔操作装置側へ再編集後の符号データを再送する（図２６の指令Ｒ１４）。表示内容を詳しくする（表示変更する）場合としては、パネル表示の解像度や画質の変更がある。

また、遠隔操作装置から複写機へ操作指令を出す場合、遠隔操作指令が遠隔操作装置から出されると、複写機は、指令に基づく処理をする。続いて、パネル表示の内容が通信処理を経て遠隔操作装置側へ転送され（図２６の指令Ｒ１５）、遠隔操作装置に表示される。

図２８は画像処理装置の処理を示すフローチャートである。さらに具体的に処理内容を明らかにしたのが、図２９の処理フローである。
本発明の実施の形態においては、図２８に示すように、画像処理装置（複写機）は、基本的には、パネル表示画像データを遠隔操作装置へ提供するサーバとして機能する。画像処理装置（複写機）は、始動スイッチが押されるなどで初期設定がなされた後（ステップＳ２０１）、操作指令によって所定の動作をする。本発明の実施の形態においては、ローカル操作と遠隔操作の二種類があり、それぞれ指令に基づいて所定の動作をする。遠隔からの操作内容としては、遠隔操作開始処理と表示変更処理と遠隔操作処理とがある。ローカル操作があった場合（ステップＳ２０２；ＹＥＳ）、当該ローカル操作の内容による遠隔操作処理を開始し、処理されてパネル表示画像を転送する（ステップＳ２０３，Ｓ２０４）。そして、遠隔操作があった場合（ステップＳ２０５；ＹＥＳ）、遠隔操作の内容による遠隔操作処理を開始し、処理されたパネル表示画像を転送する。そして、当該パネル表示の表示を変更した上で遠隔操作処理を行う（ステップＳ２０６〜Ｓ２０９）。

図２９に示すように、パネル表示画像は、表示画像データの矩形区分（ステップＳ３０５，Ｓ３１２，Ｓ３２０）、符号化（ステップＳ３０６，Ｓ３１３，Ｓ３２１）、符号データ編集（ステップＳ３０６，Ｓ３１３，Ｓ３２１）、符号データ転送（ステップＳ３０７，Ｓ３１４，Ｓ３２２）という手順で転送される。表示画像データの矩形区分化によって、画像データは矩形領域単位で符号化される。典型的には、階層符号化していて、符号レベルで編集される。この構成によって、符号量は適応的に制御することができて、転送符号量を減らすことにより、遠隔装置上で高速に再生することが可能となる。

一般に、複写機が監視装置に画像情報を転送する際には、転送トラフィックの負荷を軽減するために、転送対象である画像情報を符号化圧縮し、圧縮された符号データを送受信し、符号データを受取った監視装置は符号化伸張処理を実行して元の画像情報を再現する。ところが、符号データの編集ができない符号化では、符号量を調整するために圧縮率（符号化パラメータ）を変更して再符号化しなければならない等の効率的な符号量の調整ができないという問題があった。

そこで、本発明では、符号データの符号量の調整が容易な符号化仕様をもつ階層符号を用いて符号化し上述したような、符号データ編集機能を使用して符号量を調整する。典型的には、先に説明したＪＰＥＧ２０００で符号化することで、符号データレベルでの符号量の調整が容易に実現でき好適である。

図３０は遠隔処理を示すフローチャートである。遠隔操作装置上の操作用の画像の一部をアクセスして処理要求をする場合は、画像領域（矩形領域）の情報のみを画像処理装置（複写機）に送る。画像処理装置（複写機）側では、矩形領域単位に、部分符号データが対応しているので、該部分符号データに対応する元画像データとの対応関係から（ステップＳ４０３〜Ｓ４０５）、アクセス領域を特定することができる（ステップＳ４０６，Ｓ４０７）。

次に、本発明の実施の形態で取り上げている複写機の構成について具体的に説明する。図３１に示した複写機１００は、カラーであってもモノクロであってもかまわないが、ＣＰＵ１０１、イメージスキャナ１０２、イメージプロセッサ１０３、プリンタ１０４、コンソール１０５、自動原稿搬送装置（ＡＤＦ）１０６、ソータ１０７、インターフェース１０８、磁気ディスク１０９等で構成されている。

このような構成を有する複写機１００によれば、イメージスキャナ１０２によって読取られた画像の情報は、イメージプロセッサ１０３により必要とされる画像処理を受けた後、プリンタ１０４に出力される。プリンタ１０４がカラーである場合においては、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）及びＢＫ（ブラック）の各色画像を互いに離れた位置の独立した作像部で各色トナー像として形成し、それらのトナー像を同一の転写紙上に重ね合わせて転写する必要があるので、各色作像部間を転写紙が搬送されるのに要する時間だけ、各色の画像情報を遅延させる必要がある。そのため、プリンタ出力前に各色画像の位置合わせのために遅延メモリが使用される。遅延メモリを通すことによって、各色毎に定められた遅延時間だけ遅らせてその画像情報をプリンタ１０４に出力する。複写機全体の制御はＣＰＵ１０１によって実施される。ＣＰＵ１０１は、コンソール１０５から入力される各種コピーモード指定情報に応じて各ユニットの動作仕様を決定し、コピー処理が開始される前に動作パラメータを各ユニットに送信したり、また処理開始信号や処理の最中に必要な各種リアルタイムクロック信号を他ユニットに供給する。

また、イメージスキャナ１０３は、コンタクトガラス上に載置される原稿の二次元画像を主走査及び副走査しながら読取る。読取られる光学情報は、カラー画像の読み取りの場合は、Ｒ（レッド），Ｇ（グリーン）及びＢ（ブルー）の３原色に色分解され、各色の光像は一次元ＣＣＤイメージセンサによって４００ｄｐｉの標本化密度で標本化され電気信号に変換される。これらの電気信号は、それぞれ８ビットの量子化レベルに量子化され、デジタルカラー画像情報としてイメージスキャナ１２から出力される。

そして、イメージスキャナ１０３が出力する画像情報は、通常はイメージプロセッサ１０３を介してプリンタ１０４に出力されるが、インターフェース１０８を介してＬＡＮに出力したり、磁気ディスク１０９に書込んで保存することもできる。イメージプロセサ１０３は、イメージスキャナ１０２又はインターフェース１０８を介して外部から供給されるＲＧＢ画像情報に対して、色補正やディザ処理など種々の画像処理を施し、最終的にプリント信号であるＣＭＹＫ信号（シアン，マゼンタ，イエロー及びブラックの信号）に変換する画像加工機能，原稿のサイズや特定部分の色を検知してその情報をＣＰＵ１１に出力する画像検知機能及び各種模様や数字パターンを発生する画像生成機能を備えている。

また、磁気ディスク１０９は、数ページの画像情報と必要なプログラム情報を保持することができる。例えば、磁気ディスク１０９には、画面単位の表示画像データが複数組登録してあり、特定のシリンダ番号、トラック番号及びセクタ番号により定まる領域には、例えば給紙コロが損傷したときのサービスマンコール画面の情報が登録されている。登録されたデータの形式は、例えば５１２×２５６画素の構成をもつ白黒パターンをランレングスコード化したものである。また、ディスク上には、ＯＳ、複写機制御プログラム、課金管理情報などが常時保持されている。

更に、プリンタ１０４は、Ｃ，Ｍ，Ｙ及びＢＫ４色の独立した作像部を有するデジタルカラープリンタである。各々の作像部では、画像情報に応じて変調されたレーザ光が感光体に照射され、感光体上に画像の濃淡に応じた電位分布、即ち静電潜像が形成される。この静電潜像が現像部を通る時にＣ，Ｍ，Ｙ又はＢＫ色のトナーが電位の高低に応じて付着し、トナーによって静電潜像が可視化される。このトナー像は、画像の形成に同期して搬送される転写紙上に転写される。Ｃ，Ｍ，Ｙ及びＢＫの４つの作像部で形成されたトナー像をそれらが重なるように転写紙上に転写することによって、フルカラー画像が転写紙上に形成される。転写紙上のトナー像は、定着部を通る時に定着される。

また、コンソール１０５は、複写機の状態などをオペレータに対して表示する表示部と、複写モード指定などのオペレータからの入力を受付ける入力部を備えている。具体的には、例えば表示部は５１２×２５６ドット構成のビットマップ表示が可能な液晶表示器で構成されており、入力部は表示部に重ねて配置された透明タッチシートで構成されている。透明タッチシートは、感圧スイッチを１２８×６４の各領域に等間隔で配列したものであり、１２８×６４の分解能で入力（押圧）のあった座標を検出することができる。

次に、複写機のユーザインターフェースの構成について図３２を参照して説明する。
図３１のコンソール１０５は主にコンソールボード２０１とその制御回路で構成されている。コンソールボード２０１には、液晶表示器２０２、操作スイッチ（キースイッチマトリクス）２０３が設けられている。例えば、液晶表示器２０２は、例えば５１２×２５６ドット構成である。操作スイッチ２０３には、透明タッチシートが含まれている。制御装置としては、ＣＰＵ２０４、ＲＯＭ２０５、ＲＡＭ２０６、画像インターフェース２０７、割込みコントローラ２０８、シリアルＩ／Ｏ２０９、ＬＣＤコントロ−ラ２１０、ビデオＲＡＭ２１１、（Ｉ／Ｏ＋デコーダ）用のドライバ２１２、スイッチ入力ドライバ２１３及びバッテリ２１４が設けられている。

そして、ＲＯＭ２０５は、液晶表示器２０２に関する表示処理を実行する表示制御プログラム、透明タッチシートからのキー入力を識別する入力判定プログラム、通信制御プログラム、ポインタの情報各種表示要素の情報などの予め定められた固定データを保持している。コンソールのＲＡＭ２０６は、プログラム実行時のワークエリア及び液晶表示器２０２に表示される二次元表示画像に相当する二次元画像情報をビットマップ情報として保持する表示情報エリアを備えている。二次元画像情報は、例えば５１２×２５６画素構成で各画素の値は０又は１の二値が表示情報エリアのために割り当てられている。液晶表示器２０２に二次元表示画像を表示する場合、先ずＲＡＭ２０６上の表示情報エリアに表示画像をビットマップ形式で作成し、作成した画像データをビデオＲＡＭ２１１に転送する。これによってＬＣＤコントローラ２１０がビデオＲＡＭ２１１上の画像情報を液晶表示器２０２に表示する。なお、ＲＡＭ２０６には、二次元表示情報を記憶するエリアが複数画面分設けられている。複数画面分の記憶エリアを確保してあるのは、複写モード設定画面、コピーラン画面のような画面の種類毎に独立した画面領域を割り当てることや画像オーバーレイの制御を容易にするためである。

また、ＣＰＵ２０４が表示画像を作成及び更新する場合には、表示要素毎にＲＯＭ２０５上に予め登録された当該表示要素のビットマップ情報、ベクトル情報、文字情報等を読み出して、各々の要素のパターン情報を画像情報としてＲＡＭ２０６上の前記表示情報エリアに書込む。ＲＡＭ２０６上の表示情報エリアの情報をデュアルポートメモリで構成されるビデオＲＡＭ２１１に転送すると、ＬＣＤコントローラ２１０がビデオＲＡＭ２１１上の画像情報をサイクリックにスイッチ入力ドライバ２１３に出力する。これにより、表示画面が、液晶表示器２０２上に二次元画面として表示される。透明タッチシートにより表示した各ボタン（キー）の位置で押下が検出されると、それに応じて複写モードや表示内容が変わる。表示内容を変更する時には、新しい表示要素の画像情報をＲＡＭ２５上に書込み、その情報をビデオＲＡＭ２１１に転送する。なお、表示頻度が低くしかも固定的な表示内容の画面、例えば給紙コロが壊れてその部品を交換するためにサービスマンによる修理を促すための画面については、その二次元表示情報が図３１の磁気ディスク１０９上に予め登録されているので、その１画面全体の情報を磁気ディスク１０９から読み出して直接ＲＡＭ２０６に書込み、ＲＡＭ２０６上の情報をビデオＲＡＭ２１１に転送する。

また、液晶表示器２０２の表示面上には、透明タッチシートが重なっているので、それによって表示画面上の押下されたボタンの位置が検出される。表示画面上のボタンの存在しない位置を押下したり、予め定められた範囲外の数値を入力した場合には、その入力を無効とする。

更に、図３１のコンソール１０５のＲＯＭ２０５のある領域には、各表示要素の情報がビットマップ形式で登録してある。各表示要素のデータの構成は次のようになっている。アイコンの識別コード；ｉｄ、アイコンの属性；ａ１，ａ２，・・・ａｘ、横方向の長さ（画素数）；Ｌｘ、縦方向の長さ（画素数）；Ｌｙ、画素データビット列；ｄ１，ｄ２，ｄ３，・・・ｄｎ。また、ＲＯＭ２０５のある領域には、表示プログラムによって利用される座標やアドレスポインタの情報が画面の種別毎に、例えば画面上の第１表示要素を配置する座標ｘ１，ｙ１、第１表示要素の情報が登録されているメモリアドレス、画面上の第２表示要素を配置する座標ｘ２，ｙ２、第２表示要素の情報が登録されているメモリアドレス、当該画面データ終了の識別マークが登録されている。このようなデータ構成になっているので、ＲＯＭ２０５上の表示プログラムは、表示画面の画像を作成する際には、表示要素毎に、それを配置する位置の座標データ（ｘ，ｙ）と、その要素の情報が登録されているメモリアドレスを参照し、必要な情報を当該アドレスから読み出して、ＲＡＭ２０６上の表示エリア中の指定された座標（ｘ，ｙ）の位置に書込む。作成されたＲＡＭ２０６上の画像情報は、ビデオＲＡＭ２１１に転送され書込まれる。また、作成された画像情報は、複写機のＣＰＵ２０４を介してコンピュータＰＣに送信される。

図３１のコンソール１０５のＲＯＭ２０５に登録された入力判定プログラムは、透明タッチシート上の押下された座標（ｘ，ｙ）を調べる。つまり配置アドレスデータやアイコンＩＤや属性を元に特定ボタンが入力されたか否かを判定する。複写機のコンソール１０５では、操作入力に対して入力判定プログラムが起動される。この入力判定プログラムは、その時に液晶表示器２０２に表示し、またコンピュータＰＣにも送ってある表示画面の状態パラメ−タを知ることができる。この状態パラメ−タはＲＡＭ２０６上のワークエリアに保持されている。状態パラメ−タは、表示プログラムによって作られたものであり、その時の表示画面に含まれるボタンのＩＤ、属性、座標などの情報が含まれている。従って、入力判定プログラムは、状態パラメ−タの情報を参照することによって、コンピュータＰＣから入力された座標ｘｐ、ｙｐが特定のボタンの内側にあるか否かを照合することができる。例えば「呼出」ボタンの表示座標をｘ１，ｙ１とし、該ボタンの横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘ１≦ｘｐ≦ｘ１＋Ｌｘ、及びｙ１≦ｙｐ≦ｙ１＋Ｌｙの両方の条件を満たす場合に、マウスでクリックした点が「呼出」ボタンの内側であるものと判定する。

次に、コンピュータＰＣの構成について図３３を用いて説明する。
図３３に示すコンピュータＰＣ３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ビデオＲＡＭ３０４、ディスプレイコントローラ３０５、ディスクコントローラ３０６、キーボードコントローラ３０７、ＲＳ−２３２Ｃコントロ−ラ３０８、ＬＡＮコントローラ３０９、液晶表示器などのＬＣＤユニット３１０、磁気ディスクドライブ（３．５インチＦＤＤ）３１１、キーボード３１２及びマウス３１３を有している。それ以外にも、割り込みコントローラ、ＤＭＡコントローラ、タイマ、リアルタイムクロック、漢字ＲＯＭ、ディスクコントローラ、プリンタコントローラ、２００Ｍバイトハードディスクが備わっていてもかまわない。

そして、ＣＰＵ３０１は、例えば３２ビット構成であり、ＬＣＤユニット４０９は１２８０×１０２４画素構成の二次元表示器である。コンピュータＰＣ３００のソフトウェアには、複写機側と同様にＬＡＮ対応のオペレーティングシステム（ＯＳ）が備わっている。ＬＡＮコントローラ３０８には、ネットワークＬＡＮの同軸ケ−ブルと接続できる端子が設けられている。この実施の形態では、コンピュータＰＣ３００は複写機の表示情報を表示するだけでなく、それ自身からの入力によって複写機のボタン操作と同一の遠隔操作を複写機に対して行う。コンピュータＰＣ４００における入力操作は、この例では、ＬＣＤユニット３０９に表示されたボタンをマウス３１２により指示してクリックすることによって実施される。また、英数値入力に関しては、マウス以外にキーボード３１１からの入力も可能になっている。画面がＬＣＤユニット３０９に表示されている時に、例えばスタートボタンをマウスで指示してダブルクリックすると、クリックした位置の座標により、表示されている画像に対する相対位置座標が算出できる。よって、本発明では、表示されている画像は矩形領域単位に分割され、相対位置座標によって矩形領域単位の位置を特定することができる。そして、その指定された矩形領域の位置がコンピュータＰＣから複写機に送信される。

コンピュータＰＣ３００の表示画面においては、マウス３１２によって位置を移動しうるマウスカーソル（例えば矢印形状のマーク）が表示され、それで表示されるボタンを指示した状態でマウス３１２上のスイッチを押す（クリックする）ことにより、指示した表示ボタンを操作する。より具体的には、コンピュータＰＣ３００のコンソールでは入力判定プログラムが起動される。入力判定プログラムは、コンピュータＰＣ３００上のマウス３１２から入力された座標ｘｐ，ｙｐが表示画像データの特定の矩形領域の内側にあるか否かを照合する。例えば、表示画像データのコンソール上の表示画像データの特定の矩形領域の表示座標（左上位置座標）をｘ１、ｙ１とし、該矩形領域の横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘ１≦ｘｐ≦ｘ１＋Ｌｘ、かつｙ１≦ｙｐ≦ｙ１＋Ｌｙの両方の条件を満たす場合に、マウス３１２でクリックした点（座標ｘｐ，ｙｐ）が該矩形領域の内側であるものと判定する。矩形領域の表示座標（左上位置座標）ｘ１、ｙ１は、特定した値をもっていている場合もあるが、表示画像データのコンソール上の表示位置と、表示画像上の矩形位置との関係によって決められてもかまわない。したがって、矩形領域の座標値を順次取り出し、上記比較をすることにより、マウスでクリックした座標を含む矩形領域を判別できる。矩形領域は複数個別々に独立に指定することもできる。

また、マウス３１２では一定の範囲を指定することもできる。例えば、マウス３１２で範囲を指定した左上座標を（座標ｘｐ０，ｙｐ０）、横方向の長さをＬｘｐ０、縦方向の長さをＬｙｐ０とし、右下座標を（座標ｘｐ０＋Ｌｘｐ０，ｙｐ０＋Ｌｙｐ０）とする。同様に、表示画像データの特定の矩形領域の表示座標（左上位置座標）をｘ１、ｙ１とし、該矩形領域の横方向の長さをＬｘ、縦方向の長さをＬｙとする場合、ｘｐ０＋Ｌｘｐ０≦ｘ１ かつ ｘ１＋Ｌｘ≦ｘｐ０、かつｙｐ０＋Ｌｙｐ０≦ｙ１ かつ ｙ１＋Ｌｙ≦ｙｐ０の条件を満たす場合に、マウスで指定された範囲にその矩形領域は含まれるとする。

次に、部分画像アクセスから操作指令の生成においては、本発明では、画面上の画像の部分領域を指定することで、遠隔地から複写機が所定の処理をするように指令を出すわけであるが、描画内容に対応して操作内容が特定される。

また、図３４は操作パネル画像符号化データの生成の様子を示す図である。本発明では、操作パネルの表示画像データ（ビットマップデータ）を、その再生画像が矩形領域単位に区分できる形式で符号化する。典型的には、ＪＰＥＧ２０００仕様に基づき矩形をタイルあるいはプレシンクトとして指定して符号化する。ＪＰＥＧ２０００仕様の符号化では、符号データレベルで符号データ編集が容易に実現できる符号データ構成になっており、領域毎に符号量を制御することもできる。従って、転送速度や、遠隔装置ユニットにおける再生画質要求レベルに適応して、再現画像の画質のレベル（詳細レベル）を柔軟に制御することができるのである。そして、操作パネル画像は遠隔装置ユニット上のコンソールで再生される。操作パネル画像には、複写機（画像処理装置）の動作を指令する操作ボタンも表示され、それを指示することによって、遠隔からの操作指示をする。このとき、特定の座標をマウスで指定して、その座標値によって操作を特定することもできるが、本発明では、矩形領域を特定して、操作を特定する。矩形領域単位の指定の方が簡易なユーザインターフェースで実現できる。

本発明では、パネル表示画像は画像の矩形領域単位にブロック符号化されるので、表示画像データの構造区分化による符号化ができて、上述したように、領域毎に符号データを編集することが可能となりペリフェラル制御ができるだけでなく、画像領域と部分符号データとの対応関係が保持されるので、指示された位置を容易に把握することができ、効率的なアクセスが可能となる。すなわち、画像表示領域レベルで画像データと符号データとの対応関係がとられているので、遠隔装置上である画像領域を指示すると、対応する部分符号データ（の範囲）が特定でき、逆に、部分符号データ（の範囲）が特定できれば、画像の再現サイズ（またはアスペクト比）に依存することなく指示した画像領域が特定できる。上述したように符号データを編集して、符号量を調整するために符号データを編集する場合もあるが、その編集をする場合においても、画像表示領域レベルの画像データと符号データとの対応関係を保持する範囲で符号データを編集する。相対的な位置関係（ブロックの縦横位置）情報だけで制御可能であるので、より簡易な指定ができるのである。

図３０の処理フローに記載している画像アクセスは、遠隔装置ユニットのコンソール上の表示画像データの特定の矩形領域をマウスで指定することでなされる。前述したように、マウスで矩形領域を指定することができる。このとき、図３５のアクセス制御テーブルを予め遠隔装置ユニットが受信していて使用することで、矩形領域毎の画像座標を参照する。画像が等分割されて矩形の区分をすることによって、矩形領域の座標を簡単に特定することができる。縦方向横方向のそれぞれの分割数は、予め決められていてもよいが、複写機側で符号化したときの分割数を遠隔装置ユニットに送信することで簡単に設定できる。矩形領域が指定された場合に、指定された矩形領域の識別番号をサーバ側の複写機へ転送し、対応の処理がなされる。指定は、アクセスした矩形領域の座標値で特定でき、例えば指定された矩形領域の中心座標値を使用して、対応する指定を判別する。操作パネル表示の領域は、パネル操作テーブルを参照することで操作を判別する。例えば、矩形領域の表示座標（左上位置座標）をｘ１、ｙ１とし、該矩形領域の横方向の長さをＬｘ、縦方向の長さをＬｙとする場合には、中心座標値であるｘ１＋Ｌｘ/２、ｙ１＋Ｌｙ/２の座標が指定されたものとする。

そして、遠隔からの矩形領域の座標の指定を、ローカルな操作パネルの操作入力の場合の座標の指定とみなすことで、図３６に示すパネル操作テーブルを参照し、図３０に示す動作と同様な制御ができる。このようにして、部分画像アクセス領域をローカル操作指令領域に置き換え、遠隔からの操作指令を生成する。

図３６のパネル操作テーブルは、パネルからの指令操作あるいはパネル表示の制御をするためのテーブルである。現状態、操作種別（識別記号）、表示位置（例えば、矩形画像の左上座標値xx１、yy１と横方向の長さＬxxと縦方向の長さＬyy）、操作指令（識別記号）、表示出力（識別記号）、次状態よりなる。操作パネルは初期状態の設定では、状態は状態１であり、表示１で表示されている。操作入力は、表示位置の矩形範囲で特定され、操作入力によって、現状態が次々に遷移してテーブルに示された操作指令が出され、あるいはパネルの表示内容が変化したり、状態が変更されたりして制御される。

前述したように、図２９の画像処理装置（複写機）上でのパネル操作処理は、図３６のパネル操作テーブルを参照しながら処理をする。パネルの操作指令が操作処理である場合は、操作種別を判別し、操作種別に基づく操作指令を行い、更に操作種別に基づく表示を行い、操作種別に基づく表示を行う。操作種別の判別は、矩形領域と、該部分符号データとの対応関係から判別する。

次に、遠隔操作画面形成について説明する。画像処理装置（複写機）には、操作指令が操作パネル画面でするように限定されていないような場合もある。例えば、コピーのスタートボタンが、操作パネル画面以外の特別なボタンが用意されているような場合である。

図３７は操作パネル画面とそれ以外の操作ボタンとの合成画像を生成し、遠隔装置の操作画面とする場合の合成画像の例を示す図である。同図に示すように、新たに操作ボタン画面を作成し、遠隔装置上でその画面を用いて画像をアクセスすることで遠隔操作を実施する。前述した方式と同様な方式で操作指令をすることができるが、画像処理装置（複写機）側では、新たに追加した操作ボタンの処理の対応ができるように構成されている必要がある。それ以外の操作ボタンは、操作パネル画面上の指令ボタンと異なり装置に固定であるので、予め一つ操作パネル外の操作ボタンを用意しておき、画面からの操作ボタンの指令が、操作パネル外の操作ボタンから指令されたように置き換えればよいだけである。合成されたパネル画面が自動的に作られる。

図３８はマルチウインドゥ対応の操作パネル画面の場合の処理の概観を示す図である。同図に示すように、画像処理装置（複写機）側の操作パネルは、マルチウインドゥ対応になっていて、ポップアップ画面上にメッセージが表示されている。そのような場合には、遠隔地の操作画面上にも、その通りに表示する方法も考えられるが、そのようにすると操作ボタンの表示が隠れてしまう場合がある。本発明の方式では、先に説明したように、画面から指令を与える場合に、配置の位置が一致している必要はない。画像データと符号データとの対応がとれていればかまわないのである。そこで、マルチウィンドウの場合は、図３８に示すように、別々の画面に表示するようにする。

同様な理由から遠隔装置の操作画面の生成として、例えば、図２３の画面例に示すように、一部を拡大して表示することもできる。その場合も、表示位置に関しては、任意に設定してもかまわない。その画像データと符号データとの対応関係から指示を特定することができる。

また、本発明では遠隔地に表示された画像をアクセスすることによって操作指令を出す。その時、アクセス領域を判別し、アクセスした領域とアクセス事務機器のパネル表示上の操作指令領域との位置関係に基づいてアクセス内容が特定される。位置関係の判別は、アクセスの度に、座標の計算によってなされるが、予めアクセス単位である矩形領域毎に矩形領域と処理内容の対応をとるアクセス制御テーブルを用意しておいて、それを使用してアクセスがあったときに、処理内容を決める処理をすることもできる。

更に、図３５に示すアクセス制御テーブルは、矩形領域の識別番号、画像領域、アクセス領域の内容を定めるフラグにより構成されている。操作パネルの表示画像データ（ビットマップデータ）を矩形領域に分割したときに、操作パネル上の操作領域と表示領域に含まれる矩形領域を特定しておいて、それを、遠隔装置ユニット側で使用することで、部分画像をアクセス（矩形画像を指定）したときの処理の内容を予め特定することができる。また、アクセス制御により、矩形領域単位で、操作パネルなど、部分データのアクセスが操作信号に対応している特定画像領域と、操作パネル表示情報を表示する領域と、アクセスしても何もしないアクセス無効領域区別することができる。

図３５のアクセス制御テーブルは、予め遠隔操作装置側に転送しておけば、アクセスの場合に、操作対象でない矩形領域をアクセスした場合に、処理指令を画像処理装置（複写機）側に転送しなくてもすむ。

ところで、先に、図１３を参照してＪＰＩＰのキャッシュについて説明したが、ＪＰＩＰにはキャッシュが仕様に定義されていて、部分画像に対応する部分符号データの参照（アクセス）を制御する機能をもつ。ＪＰＩＰでは、サーバからクライアントへ転送済みの部分符号データの二重の転送をなくし効率的なアクセスを可能とする目的をで、該当する部分符号データが既に転送済みの場合は再転送しないように制御する。本発明でも、同様にアクセス制御を実現することから、ＪＰＩＰのキャッシュの機能を利用して、画像生成時に予めわかっている何も処理しない矩形領域については、部分符号データのアクセスを拒絶するように制御することもできる。非アクセス領域のデータは、既に転送ずみであるとすることで、遠隔操作ができないように制御する。このようなアクセス制限は、部分画像単位でなされるので、JPIPのキャッシュを用いてアクセスを制御することで、簡易にアクセス制御を実現することが可能となる。

また、図３７を参照して上述したように、合成画像を遠隔装置の操作画面とするような場合に、同図の例で、操作ボタンの領域以外の領域は予め非アクセス領域とするように、非アクセスの矩形領域に対応する符号データは既に転送済みであると設定したキャッシュを使用することで、ＪＰＩＰの仕様に基づいてアクセス制御できる。

なお、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。

ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。 タイル分割の基本を示す図である。 デコンポジション・レベルとサブ・バンドを示す図である。 プレシンクトとコード・フロックを示す図である。 ＪＰＥＧ２０００のパケットを示す図である。 画像全域のビットプレーン符号化例についてサブ・バンドをプレシンクトとした時のレイヤとパケットとの関係を示す図である。 本発明のプログレッシブ順を制御する処理を示す図である。 コード・ストリームの構造を示す図である。 ＪＰＩＰにおける典型的なクライアント・サーバ間のプロトコル概要を示す図である。 ＪＰＥＧ２０００ファイルとデータビンとの関係を示す図である。 プレシンクト・データビンとメッセージとの関係を示す図である。 プレシンクト・データビンの一例を示す図である。 ＪＰＩＰにおけるキャッシュを持ったクライアントサーバモデル構成例を示す図である。 ＪＰＩＰにおけるクライアントサーバネットワークモデルの構成例を示す例である。 ＪＰＩＰを使用した場合の出力表示画面例を示す図である。 ＪＰＥＧ２０００のコード・ストリームのフォーマットの概略構成とメインヘッダの概略構成を示す図である。 ＪＰＥＧ２０００のコード・ストリーム例を示す図である。 部分画像アクセスと操作指令との対応関係を示す図である。 部分画像アクセスと操作指令との対応に係る処理を示すフローチャートである。 本発明に係る遠隔制御システムの一例を示す図である。 遠隔操作装置における操作パネルの表示例を示す図である。 遠隔操作装置における操作パネルの別の表示例を示す図である。 本発明の遠隔操作処理の概念図である。 本発明の遠隔操作システムの構成例を示すブロック図である。 遠隔操作システムの処理の流れの一例を示すブロック図である。 本発明の遠隔操作システムの通信動作を示す図である。 遠隔操作装置側から複写機へメッセージを転送した場合の表示画面例を示す図である。 画像処理装置の概略処理を示すフローチャートである。 画像処理装置の動作における処理を示すフローチャートである。 遠隔処理を示すフローチャートである。 複写機の構成を示すブロック図である。 複写機のユーザインターフェースの構成を示すブロック図である。 コンピュータの構成を示すブロック図である。 操作パネル画像符号化データの生成の様子を示す図である。 アクセス制御テーブル例を示す図である。 パネル操作テーブル例を示す図である。 操作パネル画面とそれ以外の操作ボタンとの合成画像を生成し、遠隔装置の操作画面とする場合の合成画像の例を示す図である。 マルチウインドゥ対応の操作パネル画面の場合の処理の概観を示す図である。

符号の説明

７０；画像処理装置、７１；操作パネル出力部、
７２；操作パネル指定処理部、７３；画像処理部、
７４；操作信号出力部、８０；遠隔操作インターフェース装置、
８１；符号データ編集部、８２；符号化処理部、
８３，９５；データ保存部、８４；遠隔要求解析処理部、
８５，９６；送受信処理部、９０；遠隔操作装置、９１；表示処理部、
９２；アクセス制御部、９３；復号化処理部、９４；部分画像指示部。

Claims (13)

1. 画像データを符号化し符号データをクライアントへ転送する機能を有するサーバと、前記符号データを受信し、復号した二次元画像情報を表示する表示機能を有するクライアントとを有して構築するクライアントサーバシステムにおいて、
   前記サーバは、
   表示された二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、
   前記サーバに保存された符号データの、指定された画像領域に対応する部分符号データを識別する部分符号データ識別手段と、
   前記部分符号データを使用して前記クライアントが指定した部分画像データに対応する画像領域を識別する画像領域識別手段と、
   識別した画像領域に基づいて、前記サーバの処理装置の操作指令をする指令手段と
   を具備することを特徴とするクライアントサーバシステム。
2. 表示部を有する事務機器と、該事務機器に情報伝送路を介して接続される、表示部を有する遠隔操作ユニットとを有して構築する遠隔操作システムにおいて、
   前記事務機器は、
   前記事務機器の状態を示すとともに、操作指令のインターフェースである操作表示パネルの表示情報を二次元画像情報として保持する第１のイメージ記憶手段と、
   該第１のイメージ記憶手段が記憶する二次元画像情報を表示する第１のビットマップ表示手段と、
   所定の指示に応答して前記第１のイメージ記憶手段に保持された二次元画像情報を符号化する符号化手段と、
   符号化された第１の符号データを編集する符号データ編集手段と、
   該符号データ編集手段により生成された第２の符号データを前記遠隔操作ユニットに転送する制御手段とを具備し、
   前記遠隔操作ユニットは、
   前記事務機器が受信した第２の符号データを復号化する復号化手段と、
   復号化された第２の二次元画像情報を表示する第２のビットマップ表示手段とを具備することを特徴とする遠隔操作システム。
3. 前記遠隔操作ユニットは、表示された第２の二次元画像情報の一部の画像領域を矩形単位に指定する画像領域指定手段と、前記事務機器に指定した画像領域に対応する部分符号データを指定する部分符号データ指定手段とを有し、前記事務機器は、前記遠隔操作ユニットに指定された部分符号データに対応する画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、前記事務機器の操作指令をする指令手段とを有することを特徴とする請求項２に記載の遠隔操作システム。
4. 前記事務機器の前記第１のイメージ記憶手段に保持された二次元画像情報を前記事務機器の操作表示パネルの表示情報に合わせて矩形単位に分割する画像データ分割手段と、矩形単位に符号化する符号化手段とを有することを特徴とする請求項１に記載の遠隔操作システム。
5. 前記遠隔操作ユニットは、表示された第２の二次元画像情報を矩形単位に一部の画像領域を指定し前記事務機器に指定した画像領域を転送する画像領域指定手段を有し、前記事務機器は、前記遠隔操作ユニットに指定された画像領域の符号データを前記事務機器に保存された部分符号データを取り出し、部分符号データを前記遠隔操作ユニットに転送し、復号する復号手段と、復号した第３の二次元画像情報を表示する第２のビットマップ表示手段とを有することを特徴とする請求項２に記載の遠隔操作システム。
6. 前記遠隔操作ユニットの前記画像領域指定手段が、前記画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて前記事務機器が何も処理しないように設定するアクセス制限領域設定手段を有することを特徴とする請求項３又は５に記載の遠隔操作システム。
7. 前記遠隔操作ユニットの前記画像領域指定手段が、前記画像領域と、前記事務機器のパネル表示上の操作指令領域との位置関係に基づいて、画像領域の指定に基づいて前記事務機器が処理する処理内容を設定するアクセス制限領域設定手段を有することを特徴とする請求項３又は５に記載の遠隔操作システム。
8. 前記事務機器の操作ボタンをイメージ化する操作ボタンイメージ化手段を有し、前記事務機器の第１のイメージ記憶手段が保持する画像情報が、操作表示パネルの表示情報と操作ボタンをイメージ化した画像情報であることを特徴とする請求項２又は７に記載の遠隔操作システム。
9. 前記遠隔操作ユニットで入力したテキストを、前記事務機器の操作表示パネル上に表示するする遠隔メッセージ表示機能を有することを特徴とする請求項２又は７に記載の遠隔操作システム。
10. 前記事務機器の操作表示パネルがマルチウィンドウに表示する手段を有し、テキストが前記事務機器の操作表示パネル上の操作表示パネル表示しているウィンドウとは別のウィンドウ上に表示する遠隔メッセージ表示機能を備えることを特徴とする請求項２又は７に記載の遠隔操作システム。
11. 前記符号データは、ＪＰＥＧ２０００(ISO/IEC 15444-1)規格に基づき符号化されたデータであることを特徴とする請求項２〜１０のいずれか１項に記載の遠隔操作システム。
12. 請求項２〜１１のいずれか１項に記載の符号データの通信手段は、JPIP（ＪＰＥＧ２０００ image coding system-Part9:Interactivity tools, APIs and protocols）規格に基づき、前記事務機器に保存された符号化データの一部である部分符号データを、遠隔操作装置が受信する部分符号データアクセス機能を有することを特徴とする遠隔操作システム。
13. 前記アクセス制限領域設定手段が、JPIP規格のクライアントキャッシュによって実現することを特徴とする請求項６又は７に記載の遠隔操作システム。

Images