JP2009277092A - 画像処理装置及び画像処理方法ならびに画像処理方法を実行させるプログラム - Google Patents

Abstract

【課題】 一度属性情報を修正したクライアント環境において、修正後に送信したデータの属性情報に関してユーザの手を煩わせることなく自動的に属性情報修正処理を施す。
【解決手段】 クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存し、前記画像を構成するオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録し、前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアントの環境が前記保存手段によって保存されたクライアントの環境と同一で、前記記録手段によって属性の再評価を行った記録が有る場合に、受信した前記別の画像に対して属性の再評価を実行する。
【選択図】 図１０

Description

本発明は、画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラムに関する。特に、ＰＤＬデータの印刷時にアプリケーションおよびＰＤＬの解析処理により判断された属性を再評価する際、ＰＤＬ印刷時の環境に応じて自動的に再評価するかどうかを判断する技術に関するものである。

近年の複写機は、内部画像処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。基本的な機能を挙げるだけでも、原稿を複写するコピー機能、ホストコンピュータで作成した文書のプリントが可能なPDL機能がある。それらの機能に加え、ネットワークを介して原稿を複写機外部に送るSEND機能、コピー機能やPDL機能によって生成される原稿画像を複写機内部に保存して再利用を可能とするBOX機能がある。また、BOX機能によって複写機内部に保存した原稿画像を利用する合成や製本といった編集機能など、数え切れないほどの機能を有している。

一方で、画像の品質に対する要求も高く、原稿の高い再現性を求めるあまり、複写機内部の画像処理解像度は600dpiから1200dpi、2400dpiへ、信号のビット数は8bitから10bit、12bitへと増加の一途と辿っている。膨れ上がった情報量を持つ内部処理用のビットマップデータに耐えるだけのメモリやストレージの追加、高性能なCPUへの置き換えなどによって、機器や開発のコストの増加が無視できない状況になっている。

こうした機能の中で、ＰＤＬデータの印刷における高画質化技術として、各オブジェクトを例えばText, Graphics, Image等といった属性に分けて処理する技術があった。Textには高解像度のハーフトーン処理およびジャギー軽減のためのエッジ処理、Graphicsに関しては高解像度のハーフトーン処理、Imageに関しては高階調のハーフトーン処理等を行うことにより高画質を図ることができた。

また、ビットマップデータに対してベクトル化を行いベクトルデータにする技術やフォントデータに変換するOCR技術等があった。

また、ベクトル化するオブジェクトを指定してベクトル化を実行する技術（特許文献１）や、ドライバ上でオブジェクト種を指定する技術（特許文献２）などもあった。
特開２００５−１５９５１７公報 特開２００１−２５３１２５公報

しかしながら、上述した従来技術では、アプリケーションがテキストデータを文字属性ではなくイメージ属性やグラフィクス属性として送信してきた場合適切な画像処理を行うためには、処理を行う際に常にユーザが属性修正指示を出す必要があった。また、データとその属性が一致しない状況が発生しないクライアント環境（アプリケーションや、OS、PDL種別等）で属性修正指示を行う必要がないにもかかわらず、属性修正処理のために出力時間がかかってしまうという問題があった。

また、属性修正指示を行う際にオブジェクト数が大量にある場合は、目的のオブジェクトを検索するのに非常に手間がかかるという問題もあった。

本発明は、かかる問題点に鑑み、一度属性情報を修正したクライアント環境において、次回以降ユーザの手を煩わせることなく自動的に属性情報修正処理を施すことを目的とする。

また、データとその属性が一致しない状況が起きないユーザ環境においては、通常通りの処理で常に処理時間がかかるのを回避することを目的とする。

また、初回修正時に大量のオブジェクトがある際に目的のオブジェクトを見つけ出すのに非常に不便であったが、簡単に目的のオブジェクトを見つけ出すことを可能とすることを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存手段と、前記画像を構成するオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録手段と、前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアントの環境が前記保存手段によって保存されたクライアントの環境と同一で、前記記録手段によって属性の再評価を行った記録が有る場合に、受信した前記別の画像に対して属性の再評価を実行する実行手段とを有することを特徴とする。

また、本発明の画像処理装置は、画像をクライアントから受信する際、過去に前記クライアントから別の画像を受信し、該別の画像を構成するオブジェクトの属性の再評価を行ったという情報がある場合、前記受信した画像に対して属性の再評価を実行する実行手段を有することを特徴とする。

また、本発明の画像処理方法は、クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存工程と、前記画像を構成するオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録工程と、前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアント環境が前記保存工程にて保存されたクライアント環境と同一で、前記属性の再評価を行った記録が有る場合に、受信した前記別の画像に対して属性の再評価を実行する実行工程とを有することを特徴とする。

また、本発明の画像処理方法は、画像をクライアントから受信する際、過去に前記クライアントから別の画像を受信し、該別の画像を構成するオブジェクトの属性の再評価を行ったという情報がある場合、前記受信した画像に対して属性の再評価を実行する実行工程を有することを特徴とする。

更に、上記画像処理方法の各工程をコンピュータに実行させるためのプログラム、及び該プログラムを記憶したコンピュータで読み取り可能な記憶媒体を提供する。

また、本発明の画像処理システムは、画像処理装置と、該画像処理装置に対してオブジェクトから成る画像の画像処理を指示する情報処理装置であるクライアントとを有する画像処理システムであって、前記画像処理装置が、前記クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存手段と、前記画像を構成するオブジェクトの属性を再評価することが指示可能な画面の表示を前記クライアントに指示する表示指示手段と、前記クライアントからオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録手段と、前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアント環境が前記保存手段によって保存されたクライアント環境と同一で、前記記録手段に属性再評価を行った記録が有る場合に、属性再評価を実行する実行手段と、属性再評価の結果に基づいて、当該オブジェクトの属性を更新する更新手段とを有し、前記情報処理装置であるクライアントが、前記表示指示手段の指示に従って、前記オブジェクトの属性再評価が指示可能な画面を表示する表示手段と、ユーザの指示を受信して、前記オブジェクトの属性再評価の指示を前記画像処理装置に通知する通知手段とを有することを特徴とする。

本発明により、一度属性情報を修正したクライアント環境（アプリケーション、OS、PDL）においては、次回以降ユーザの手を煩わせることなく自動的に属性情報修正処理を施し、データとその属性を一致させることが出来る。

また、データとその属性が一致しない状況が起きないユーザ環境においても通常通りの処理ですむため、常に処理時間がかかる問題を回避することが可能となる。

また、従来は初回修正時に大量のオブジェクトがある際に目的のオブジェクトを見つけ出すのに非常に不便であったが、簡単に目的のオブジェクトを見つけ出すことが可能となる。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

＜本実施形態の画像処理システムの構成例＞
図１Ａは、本発明の実施形態の画像処理システムの構成を示すブロック図である。

実施形態１の画像処理システムは、情報処理装置として参照されるクライアントＰＣ１００と画像処理装置１２０がネットワーク１４０で接続された環境で実現する。ここで、本実施形態のクライアントＰＣは、制御部（不図示）を有しており、クライアント環境（アプリケーション、ＯＳ、ＰＤＬ）やドライバを制御する。また、画像処理装置１２０としては多機能複合機（ＭＦＰ）とするが、これに限定されない。また、図１Ａの構成は一例であり、ネットワーク１４０ではなくUSBなどでの直接接続でもよいし、クライアントＰＣやＭＦＰ自体が複数あっても問題ない。

一方、実施形態２の画像処理システムでは、クライアントＰＣ１００と画像処理装置１２０に、更に、図１Ａに破線で示したプリントサーバ１３０がネットワーク１４０で接続された環境で、本発明が実現される。

＜本実施形態の画像処理装置の構成例＞
本実施形態を適用するに好適なＭＦＰであるカラー複合機１２０の構成について、図１Ｂを用いて説明する。ここで説明する、カラー複合機は１つのドラムでカラー画像形成を行なう１Ｄカラー複合機である。

１Ｄカラー複合機は、スキャナ部（図中、原稿露光部）１０１、レーザ露光部１０２、感光ドラム１０３、作像部１０４、定着部１０５、給紙／搬送部１０６、及びこれらを制御する不図示のプリンタ制御部から構成される。

スキャナ部１０１は、原稿台に置かれた原稿に対して、照明を当てて原稿画像を光学的に読み取り、その像を電気信号に変換して画像データを作成する。

レーザ露光部１０２は、作成及び受信した画像データに応じて、変調されたレーザ光などの光線を等角速度で回転する回転多面鏡（ポリゴンミラー）に入射させ、反射走査光として感光ドラム１０３に照射する。

作像部１０４は、以下の一連の電子写真プロセスを実行して作像する。感光ドラム１０３を回転駆動し、帯電器によって帯電させ、前記レーザ露光部１０２によって感光ドラム１０３上に形成された潜像をトナーによって現像化する。そして、そのトナー像をシートに転写する。転写されずに感光ドラム１０３上に残った微小トナーを回収する。その際、シートが転写ドラム１０７の所定位置に巻きつき、４回転する。その間に、マゼンタ（Ｍ）、シアン（Ｃ）、イエロー（Ｙ）、ブラック（Ｋ）のトナーを持つそれぞれの現像ユニット（現像ステーション）が入れ替わりで順次前述の電子写真プロセスを繰り返し実行する。４回転の後、４色のフルカラートナー像を転写されたシートは、転写ドラム１０７を離れ、定着部１０５へ搬送される。

定着部１０５は、ローラやベルトの組み合わせによって構成され、ハロゲンヒータなどの熱源を内蔵し、前記作像部によってトナー像が転写されたシート上のトナーを、熱と圧力によって溶解、定着させる。

給紙／搬送部１０６は、シートカセットやペーパーデッキに代表されるシート収納庫を１つ以上持っている。そして、前記不図示のプリンタ制御部の指示に応じて、シート収納庫に収納された複数のシートの中から一枚分離し、作像部１０４から定着部１０５へ搬送する。シートは、作像部１０４の転写ドラム１０７に巻きつけられ、４回転した後に定着部１０５へ搬送される。４回転する間に前述のＹＭＣＫ各色のトナー像がシートに転写される。また、シートの両面に画像形成する場合は、定着部１０５を通過したシートを再度、作像部１０４へ搬送する搬送経路を通るように制御する。

不図示のプリンタ制御部は、カラー複合機全体を制御するコントロールユニットと通信して、その指示に応じて制御を実行する。そして、前述のスキャナ、レーザ露光、作像、定着、給紙／搬送の各部の状態を管理しながら、全体が調和を保って円滑に動作できるよう指示を行う。

(コントロールユニットの構成例１)
図１Ｃは、本実施形態に係るカラー複合機１２０のコントロールユニット（コントローラとも言う）の一構成例を示すブロック図である。

図１Ｃにおいて、コントロールユニット２００は、画像入力デバイスであるスキャナ２０１や画像出力デバイスであるプリンタエンジン２０２と接続し、画像データの読み取りやプリント出力のための制御を行う。また、コントロールユニット２００は、ＬＡＮ１０や公衆回線２０４と接続することで、画像情報やデバイス情報をネットワーク経由で入出力するためのコントロールでもある。

図１Ｃに示すコントロールユニット２００において、ＣＰＵ２０５はカラー複合機１の全体を制御するための中央処理装置である。ＲＡＭ２０６は、ＣＰＵ２０５が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。ＲＡＭ２０６には、画像データの外に以下のフローチャートの分岐で判断されるユーザにより設定入力された各種フラグも一次記憶される。さらに、ＲＯＭ２０７はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ２０８はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データや文書ファイル等を格納する。

なお、以下の図３及び図４に示す本実施形態のメタデータも、画像データと対応づけてＨＤＤ２０８に格納される。また、以下の図５、図６、図１０、図１２、図１３のフローチャートで示されるプログラムを含む、ＣＰＵ２０５で実行されるアプリケーションプログラムもＨＤＤ２０８に記憶されており、実行時にＲＡＭ２０６にロードされて実行される。あるいは、アプリケーションプログラムが、図示しないＣＤなどの外部記憶装置やネットワークを介してダウンロードされてもよい。

さらに、図１Ｃにおいて、操作部Ｉ／Ｆ２０９は、画像データ等を表示可能な表示画面を有する操作部２１０に対するインタフェース部であり、当該操作部２１０に対して画像データを出力する。また、操作部Ｉ／Ｆ２０９は、操作部２１０から操作者（すなわち、本画像処理システムの利用者）が入力した情報をＣＰＵ２０５に伝える役割をする。さらに、ネットワークインタフェース２１１は、例えばＬＡＮカードで実現され、図１Ａのネットワーク１４０に相当するＬＡＮ１０に接続して外部装置との間で情報の入出力を行う。さらにまた、モデム２１２は公衆回線２０４に接続し、外部装置との間で情報の入出力を行う。

本実施形態に係るコントロールユニット２００では、以上のデバイスがシステムバス２１３上に配置されている。

次に、イメージバスＩ／Ｆ２１４は、システムバス２１３と画像データを高速で転送する画像バス２１５とを接続するためのインタフェースであり、データ構造を変換するバスブリッジである。画像バス２１５は、ＰＣＩバス又はＩＥＥＥ１３９４で構成される。そして、画像バス２１５上には、以下で説明するＲＩＰ２１６、デバイスＩ／Ｆ２１７、スキャナ画像処理部２１８、プリンタ画像処理部２１９、画像編集用画像処理部２２０、カラーマネージメントモジュール（図中、ＣＭＭ）２３０といったデバイスが接続される。

ラスタイメージプロセッサ（ＲＩＰ）２１６は、ディスプレイリスト（ＤＬ）を解釈し、ラスタイメージ及びラスタイメージの各ピクセルに対応する属性ビットを作成（レンダリング）する。デバイスＩ／Ｆ部２１７は、スキャナ２０１やプリンタエンジン２０２とコントロールユニット２００とを接続し、画像データの同期系／非同期系の変換を行う。

また、スキャナ画像処理部２１８は、入力画像データに対して、補正、加工、編集等の各種処理を行う。プリンタ画像処理部２１９は、プリント出力画像データに対して、プリンタの補正、解像度変換等の処理を行う。画像編集用画像処理２２０は、画像データの回転や、画像データの圧縮伸長処理及び、ＲＩＰ２１６の生成した属性ビットに基づいた各種画像処理を行う。さらに、ＣＭＭ２３０は、画像データに対して、プロファイルやキャリブレーションデータに基づいた、色変換処理を施す専用ハードウェアモジュールである。

［実施形態１］
＜実施形態１の画像処理のデータフロー例＞
上記画像処理システムの構成における実施形態１の画像処理のデータフロー例を、図２を使い説明する。

クライアントＰＣ１００上のアプリケーションで作成された印刷データが、ドライバにて画像処理装置１２０に最適なＰＤＬデータに変換される。そして、このＰＤＬデータは、ネットワーク１４０を介してクライアントＰＣ１００から画像処理装置１２０へ転送される。本実施形態では、ページ１１０を印刷する場合を一例として考える。

ユーザが印刷しようとするページ１１０は、アプリケーションおよびドライバによって作成されたイメージオブジェクト、グラフィクスオブジェクト、テキストオブジェクトで構成されている。ページ１１０を詳細にみると、オブジェクト１１１および１１２はビットマップイメージとして作成され、オブジェクト１１３，１１５はグラフィクスオブジェクト、オブジェクト１１４はテキストオブジェクトから構成されている
これらのデータが、クライアントＰＣ１００からネットワーク１４０を介し画像処理装置１２０へＰＤＬデータとして送信される。受信されたＰＤＬデータは、画像処理装置１２０内のインタープリタにおいて、オブジェクトごとに中間データに変換されて、２次記憶装置（図１ＣのＨＤＤ２０８）に記憶される。

２次記憶装置（ＨＤＤ２０８）内部では、ドキュメントを構成しているオブジェクトごとに保存することが可能である。各々のオブジェクトには、そのオブジェクトの特徴を示すメタデータを対応付けて付加させることが可能である。

＜本実施形態のメタデータの構成例＞
次に、図３を用いて画像処理装置１２０のＨＤＤ２０８内に保持されるメタデータの構成を説明する。

メタデータは図３に示したとおり階層構造を有している。例えば、メタデータとして最上位層には、画像処理装置１２０の情報や基本的情報を保持する機器内共通の機器内共通メタデータ３００がある。機器内共通メタデータ３００の下位層に、画像処理装置１２０で処理される各ジョブの情報を保持するジョブ内共通のジョブ内共通メタデータ３０１、３０２がある。ジョブ内共通メタデータ３０１、３０２には、このメタデータ内にジョブ投入された作成日や作成者、作成されたアプリケーション名、ドライバのバージョン、ＰＤＬ名称、その各々のバージョン番号などが記述されている。

また、ジョブ内共通メタデータ３０１、３０２の下位層に、各ジョブに含まれるページ毎のページ内共通メタデータ３１０、３２０がある。このページ毎のページ内共通メタデータ３１０、３２０内には、該当ページのサイズ、メディア、カラー情報などが記述されている。

続いて、ページ毎のページ内共通メタデータ３１０、３２０の下位層に、各ページ内のオブジェクト単位のメタデータ３１１がある。オブジェクト単位のメタデータ３１１内には、オブジェクトの属性（Graphics,Image,Text）などが記述され、例えばTextオブジェクトの場合はそのテキスト内容などが保持されている。

（メタデータの内容の具体例）
図４を用いてメタデータの具体例を説明する。なお、図４はメタデータの一例であって、その用途や目的に従って有効な項目が準備されればよい。

まず、機器内共通メタデータ３００として、機器名称、属性修正情報など機器として共通のデータを保持している。次に、ジョブ内共通メタデータ３０１として、ジョブ投入日時、ジョブ作成者、アプリ、ＯＳ、ＰＤＬなどの情報を保持している。次に、ページ内共通メタデータ３１０として、サイズやメディアなどを保持している。

続いて、オブジェクトごとのメタデータ３１１については、３種類の属性ごとに説明する。まず、テキストオブジェクトのメタデータ例３１１−１は、属性情報（図の＜属性＞）、フォント名（図の＜名称＞）、サイズ（図の＜サイズ＞）、内容（図の＜内容＞）を保持する。また、グラフィクス属性のメタデータ例３１１−２として、属性情報（図の＜属性＞）と関数などのグラフィクスの情報（図の＜情報＞）を持つ。次に、イメージ属性のメタデータ例３１１−３として、属性情報（図の＜属性＞）および圧縮方式などの情報（図の＜情報＞）を持つ。ここで、ジョブ内共通メタデータ３０１で規定されているICCProfileタグを再びイメージ属性のメタデータ例３１１−３内で定義しているが、このような利用方法も問題ない。

なお、メタデータの記載に関して、本実施形態では記述言語としてＸＭＬを使用したが、記述方式は自由である。

＜実施形態１の画像処理の手順例＞
以下、上記本実施形態の画像処理システムの構成による、画像処理の手順を詳細に説明する。

＜ＰＤＬ印刷におけるユーザ指示による属性再評価を含む手順例＞
図５のフローチャートを用いて、ユーザの指示によるオブジェクト属性再評価方法の手順例に関して説明する。図５において、ステップＳ５０１とＳ５０２はクライアントＰＣ１００における処理である。ステップＳ５０３以降が画像処理装置１２０の処理であり、ＣＰＵ２０５により実行される。

まず、ユーザは通常、クライアントＰＣ１００上のアプリケーションでデータを作成する（Ｓ５０１）。アプリケーションから印刷指示を行うと、選択されたドライバにて該当画像処理装置１２０にて処理可能なＰＤＬデータへと変換され、ネットワーク１４０上をＰＤＬデータが送信される（Ｓ５０２）。

画像処理装置１２０にてＰＤＬデータを受信し、ＰＤＬデータを解釈するためにＰＤＬインタープリタにて処理を行う（Ｓ５０３）。インタープリタの処理が終了すると、ＰＤＬデータはＰＤＬに依存しない中間データに変換される（Ｓ５０４）。その後、中間データは２次記憶装置（ＨＤＤ２０８）にスプールされる（Ｓ５０５）。

次に、オブジェクトの属性再評価を指示可能な属性再評価ＵＩ（図７）を画面生成し、その生成された画面の表示をクライアントＰＣ１００に対して指示する（Ｓ５０６）。なお、かかる表示はＷｅｂブラウザを介するのが望ましいがこれに限定されない。クライアントＰＣ１００上の表示画面（図７）から再評価オブジェクトが選択され、続いて実行ボタン（図８のスタート７０１に相当）が押されたことを認識すると、ＣＰＵ２０５はステップＳ５０７からＳ５０８に分岐する。選択された再評価オブジェクトに対してＯＣＲ処理などにより文字認識を行い（Ｓ５０８）、ＨＤＤ２０８内のメタデータを更新する（Ｓ５０９）。

その後、再評価が実行されても実行されなくても、メタデータに基づいて、ステップＳ５０４で変換した中間データをレンダリングして（Ｓ５１０）、印刷する（Ｓ５１１）。

（メタデータ更新：Ｓ５０９の処理手順例）
図５におけるメタデータの更新（Ｓ５０９）の手順例の詳細な説明を、図６のフローチャートを使って説明する。

まず、ＯＣＲ処理（Ｓ５０８）などの結果から、属性情報の変更があったかどうかを確認する（Ｓ１００１）。

属性情報の変更があった場合には、アプリケーションによって最初に付与された属性である元属性がイメージで、この元属性を改めてテキストに変更するかどうかを判断する（Ｓ１００２）。変更すると判断された場合は、まずメタデータ３１１内の属性情報（＜属性＞）を"イメージ"から"テキスト"に変更する（Ｓ１００３）。ＯＣＲ処理でフォント名が分かったかどうかを判断し（Ｓ１００４）、分かった場合はメタデータのフィント名（＜名称＞）へ追加する（Ｓ１００５）。同様に、フォントサイズ（＜サイズ＞）もメタデータ３１１へ追加し（Ｓ１００６）、判明したテキストの内容も同様にメタデータの内容（＜内容＞）へ追加する（Ｓ１００７）。

次に、機器内共通メタデータ３００の属性修正情報タグ（＜属性修正情報＞）における環境タグ（＜環境＞）を検索し（Ｓ１００８）、同一の環境情報があるかどうか判断する（Ｓ１００９）。同一の環境情報がない場合は、新規に環境タグを作成し（Ｓ１０１０）、修正回数タグ（＜修正回数＞）をインクリメントする（Ｓ１０１１）。かかる修正回数タグ（＜修正回数＞）は、属性変更の種類の数だけ準備されている。
ここで、同一の環境とは、クライアント環境（アプリケーション、OS、PDL）が同じことを指す。

ステップＳ１００２においてイメージからテキストの変更ではなかった場合、グラフィクスからテキストへの変更か判断する（Ｓ１０１２）。もしこのグラフィックスからテキストへの変更であった場合は、イメージからテキストと同様の処理を行う。もしイメージからグラフィクスへの変更であった場合（Ｓ１０１３）、メタデータ３１１内の属性情報タグ（＜属性＞）を"イメージ"から"グラフィック"に変更し（Ｓ１０１４）、情報タグ（＜情報＞）も追加する（Ｓ１０１５）。

＜本実施形態の指示ＵＩの表示画面例＞
次に図７、図８、図９を用いて、図５のステップＳ５０６におけるＵＩによる属性再評価指示の一例を示す。クライアントＰＣ１００の表示画面には、指定ジョブに含まれるオブジェクトすべてが一覧として表示される。なお、大量のオブジェクトがある場合には、各オブジェクトの縮小表示やスクロール、あるいは複数ページ表示などが考えられる。

（オブジェクト一覧画面：図７）
まず、図７のオブジェクト一覧画面の表示がクライアントＰＣ１００に指示される。かかるオブジェクト一覧画面にて、ユーザは例えば属性を再評価したいオブジェクト６０１を選択する。本実施形態では、ＰＤＬデータにおいては、アプリケーションによりイメージ属性として元属性を付与され、画像処理装置１２０へ送信されたオブジェクトを選択するものとする。

６０２−１にオブジェクト６０１のメタデータを示す。ユーザによるオブジェクト６０１の選択が画像処理装置１２０に通知されると、クライアントＰＣの制御部によって自動的に対応するメタデータ６０２−１の表示が指示されるのが望ましい。

（属性再評価指示画面：図８）
図７でユーザによってオブジェクト６０１の選択が通知されると、クライアントＰＣの制御部は図８に表示画面を遷移させる。

図８の表示画面で、ユーザがスタートボタン７０１を押下することにより、このユーザからの指示をクライアントの制御部が受け、属性再評価の指示をクライアントＰＣから画像処理装置１２０に通知する。
通知を受けた画像処理装置１２０は、属性再評価作業を開始する。

（属性再評価後のオブジェクト一覧画面：図９）
属性再評価作業が終了すると、図９のように再度オブジェクト一覧画面に表示画面を遷移させる。ここで、ユーザがオブジェクト６０１を選択してメタデータを確認すると、オブジェクト６０１対応するメタデータ６０２−２の表示が指示される。メタデータ６０２−２は、図７にてアプリケーションによって最初に付与された属性であるイメージオブジェクトから、OCR処理などによりテキスト属性として再認識されて変更された属性や内容に変更されている。

＜属性再評価以降のジョブ投入時の処理手順例＞
図１０のフローチャートを用いて、属性再評価以降のジョブ投入時の処理手順例の説明を行う。かかる図１０においても、図５と同様に、ステップＳ９０１とＳ９０２はクライアントＰＣ１００における処理である。ステップＳ９０３以降が画像処理装置１２０の処理であり、ＣＰＵ２０５により実行される。

クライアントＰＣ１００においてアプリケーションにて印刷データを作成する（Ｓ９０１）。アプリケーションから印刷指示を行うと、選択されたドライバにて該当画像処理装置にて処理可能なＰＤＬデータへと変換され、クライアントＰＣ１００から画像処理装置１２０へＰＤＬデータが送信される（Ｓ９０２）。

画像処理装置１２０が受信したＰＤＬデータは、画像処理装置１２０内のＰＤＬインタープリタにてインタープリタ処理を行う（Ｓ９０３）。インタープリタの処理の結果、ＰＤＬ言語に依存しない中間データに変換され（Ｓ９０４）、メタデータが作成される（Ｓ９０５）。

その際に、機器内共通メタデータ３００における属性修正情報タグ（＜属性修正情報＞）内の環境（＜環境＞）を検索し、受信したＰＤＬデータを処理した環境が、過去に修正済みのユーザ環境か否かを確認する（Ｓ９０６）。もし、過去にユーザが修正済みでない場合は、図５と同様に、中間データをスプールし（Ｓ９０７）、クライアントＰＣ１００に対して属性再評価ＵＩ表示の指示を行う（Ｓ９０８）。なお、図１０では、図５のステップＳ５０７からＳ５０９の再評価実行処理は、煩雑さを避けるために省略されている。

ステップＳ９０６の判定において、受信したＰＤＬデータを処理した環境が過去に修正したことのあるユーザ環境であった場合は、該当オブジェクトがグラフィクスであるかどうかを判断する（Ｓ９０９）。判断結果がもしグラフィクスの場合は該当オブジェクトを一旦レンダリングする（Ｓ９１０）。
つまり、１度属性を修正した環境を有するクライアントから送信されたデータに関しては、オブジェクトの属性の修正を自動的に行う。

ステップＳ９１０でレンダリングした結果、又はテキストやイメージのオブジェクトをＯＣＲ処理にかけてテキスト判定し（Ｓ９１１）、新オブジェクトおよび新メタデータを作成し（Ｓ９１２）、既存中間データと合成する（Ｓ９１３）。

ユーザ指示の属性再評価、ユーザ環境が同じための自動属性再評価、再評価なし、のいずれの場合も、ページ全体をレンダリング処理し（Ｓ９１４）、その結果を印刷する（Ｓ９１５）。

上記処理手順により、ユーザが一度属性情報を修正した（再評価した）環境においては、修正以降はユーザが再度指定することなく自動的に属性情報の再評価処理を施すことが可能となる。また、再評価が必要でないユーザ環境においては一致するユーザ環境が保持されてないので、再評価処理は実行されない。そのため、常に再評価の処理時間がかかるという問題も避けることが可能となる。

［実施形態２］
以下、本発明の実施形態２について、図面を用いて詳細に説明する。

＜実施形態２の画像処理のデータフロー例＞
本実施形態２では、図１１のデータフローを用いて、図１Ａに破線で示した画像処理サーバとして参照されるプリントサーバ１３０が接続された形態での、属性情報再評価方法について説明する。

クライアントＰＣ１００上のアプリケーションにて印刷データを作成し、ドライバを用いてプリントサーバ１３０が理解できるＰＤＬデータに変換し、ＰＤＬデータ１１０をプリントサーバ１３０へ送信する。

プリントサーバ１３０では、受信したＰＤＬデータをレンダリング（展開）したビットマップデータ１１３０と属性データ１１３１とを、画像処理装置１２０へ転送する。本実施形態２では、一例として属性データ１１３１において、図２と同様に、１１３と１１５はグラフィクスオブジェクト、１１１と１１２はイメージオブジェクト、１１４はテキストオブジェクトとした。

画像処理装置１２０では、受信したレンダリング済みのビットマップデータ１１３０と属性データ１１３１とを、２次記憶装置（ＨＤＤ２０８）に保存する。特に、属性データ１１３１は、イメージ部分１１４２と、テキスト部分１１４３と、グラフィクス部分１１４４とを分解して保持する。

＜実施形態２の画像処理の手順例＞
図１２のフローチャートを用いて、実施形態２における画像処理の手順例を説明する。なお、図１２においては、ステップＳ１２０１とＳ１２０２はクライアントＰＣ１００における処理である。ステップＳ１２０３はプリントサーバ１３０における処理である。ステップＳ１２０４以降が画像処理装置１２０の処理であり、ＣＰＵ２０５により実行される。

実施形態１と同様に、アプリケーションで印刷データを作成し（Ｓ１２０１）、ドライバでＰＤＬデータを生成してプリントサーバ１３０に送信する（Ｓ１２０２）。

ＰＤＬデータをプリントサーバ１３０が受信する。プリントサーバ１３０にて、ＰＤＬデータからレンダリング済みのビットマップデータ１１３０および属性データ１１３１を生成し、画像処理装置１２０に転送する（Ｓ１２０３）。

ビットマップデータ１１３０および属性データ１１３１を受信した画像処理装置１２０は、実施形態１における図６から図８と同様のＵＩ表示を指示する（Ｓ１２０５）。

ユーザにより再評価を実行するオブジェクトが選択されて、再評価の実行指示があったかを判断する（Ｓ１２０６）。再評価の実行指示の通知を受けると、再評価実行と判断したオブジェクトに対して、該当箇所にＯＣＲ処理を行い（Ｓ１２０７）、その結果からメタデータを実施形態１の図６と同様の手順で更新する（Ｓ１２０８）。その後、属性データ１１４２〜１１４４の該当部分を変更する（Ｓ１２０９）。

ビットマップデータ１１３０と属性データ１１３１に基づき印刷を行う（Ｓ１２１０）。

その後、次回以降の処理、つまり属性再評価以降のジョブ投入後の処理に関しては実施形態１における処理と同等であるため省略する。
実施形態２のプリントサーバ１３０を用いた環境にて、ＰＤＬデータを印刷処理する際も、実施形態１と同様にユーザが一度属性情報を修正した環境において、修正以降は自動的に属性情報の再評価処理を施すことが可能となる。
また、再評価が必要でないユーザ環境においては一致するユーザ環境が保持されてないので、再評価処理は実行されない。そのため、常に再評価の処理時間がかかるという問題も避けることが可能となる。
また、実施形態２では、レンダリング処理が終了した後に画像処理装置へデータを送信するので、画像処理装置内での処理の手間が省ける。

また、プリントサーバ１３０を用いないＰＤＬデータの印刷処理の系においても、実施形態２と同様に、レンダリング処理が終了した後に実施形態２と同様の処理を行っても同等であり、同様の効果が奏される。

［実施形態３］
上記実施形態では、クライアントＰＣ１００の表示画面に、指定ジョブに含まれるオブジェクトすべてが一覧として表示される例を説明した。しかしながら、属性修正指示を行う際にオブジェクト数が大量にある場合は、目的のオブジェクトを検索するのに非常に手間がかかる。

本実施形態３では、クライアントＰＣ１００の表示画面に表示されるオブジェクトの数を適切に制限して、目的のオブジェクトの検索を容易にできて属性再評価をするオブジェクトを選択可能な処理例を示す。

＜属性再評価ＵＩ表示の一手順例＞
図１３のフローチャートを用いて、ＵＩ画面に表示するオブジェクトを選択する処理手順を説明する。なお、かかる図１３の処理は、上記実施形態における「属性再評価ＵＩ表示指示」の処理に適用される。

まず、中間データからオブジェクトを選択し（Ｓ１３０１）、テキストオブジェクトか否かを判断する（Ｓ１３０２）。テキストオブジェクトの場合は、ＵＩ選択対象とはならないため直ちにステップＳ１３０１に戻って次のオブジェクトを選択する。

もしテキストオブジェクトでなかった場合は、オブジェクトサイズを確認し、あるサイズ以上の大きさであるか否かを判断する（Ｓ１３０３）。このサイズが小さい場合、テキストオブジェクトである可能性が少ないと考えられるので、もし非常に小さなサイズのオブジェクトであった場合は、ＵＩ表示対象とせずにステップＳ１３０１に戻って次のオブジェクトを選択する。

ある大きさ以上の大きさであると判断した場合は、単純なフィル(fill)図形か否かを判断するためにエッジの個数をカウントする（Ｓ１３０４）。エッジの数が所定数以上であるか否かを判断する（Ｓ１３０５）。このエッジ数が少ない場合、テキストオブジェクトである可能性が少ないと考えられるので、エッジがテキストオブジェクトではない程の所定数より少なかった場合もＵＩ表示対象とせずに、ステップＳ１３０１に戻って次のオブジェクトを選択する。

エッジの数が所定数以上であった場合に、初めてＵＩ表示対象のオブジェクトと選別してメタデータ内にマークし、クライアントＰＣ１００への表示画面に付加して（Ｓ１３０６）、処理を終了する。

なお、しきい値のエッジの数は固定値であっても、変更可能であってもよい。表示画面のサイズやオブジェクトの個数などに対応して、適切なエッジの数が選択されるのが望ましい。

実施形態３によって、クライアントＰＣ１００の表示画面に、指定ジョブに含まれるオブジェクトが大量にある際、全てのオブジェクトではなく、ある条件を満たした一部のオブジェクトのみを画面に表示するため、目的のオブジェクトを検索することが容易になる。

［実施形態４］
本実施形態では、ＵＩ画面に表示するオブジェクトを選択する他の例を示す。

＜属性再評価ＵＩ表示の他の手順例＞
実施形態４では、実施形態１乃至３における、図７の表示画面内のオブジェクト一覧表示おいて、グラフィクスオブジェクトのみ、又はイメージオブジェクトのみを選別して表示画面を生成する。かかるオプションは、上記実施形態３と組み合わせても実行可能である。

実施形態４によってオブジェクトの属性ごとに、表示画面内に一覧表示するため、目的のオブジェクトのを検索しやすくなる上に、変更時の操作が容易になる。

［その他の実施形態］
なお、本実施形態では、ＰＤＬデータによる印刷ジョブにより本発明の特徴を説明したが、本発明はＰＤＬデータによる印刷ジョブに限定されない。例えば、本実施形態の画像処理装置１２０は多機能複写機であるので、スキャナ読込み処理、複写処理、データ送受信処理、ファクシミリ送受信処理などにも、同様に適用できる。

更に、画像処理装置１２０をクライアント装置やサーバ装置に置き換えても本発明は有効であり、これらも本発明に含まれる。

また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、プリンタなど）から構成されるシステムあるいは統合装置に適用しても、ひとつの機器からなる装置に適用してもよい。

又、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。又、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。このような処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本実施形態の画像処理システムの構成例を示すブロック図である。 本実施形態の画像処理装置の構成例を示す図である。 本実施形態の画像処理装置の制御部の構成例を示す図である。 実施形態１のデータフローの構成例を示す図である。 本実施形態のメタデータの構成例を示す図である。 本実施形態のメタデータ内の構造例を示す図である。 実施形態１の最初の印刷処理例の概要を示すフローチャートである。 本実施形態におけるメタデータ更新例の概要を示すフローチャートである。 本実施形態の操作画面の一例を示す図である。 本実施形態の属性再評価の操作画面の一例を示す図である。 本実施形態の再評価後の操作画面の一例を示す図である。 実施形態１の次回以降の印刷処理例の概要を示すフローチャートである。 実施形態２におけるデータフローの構成例を示す図である。 実施形態２の最初の印刷処理例の概要を示すフローチャートである。 実施形態３の属性再評価ＵＩ表示の手順例を示すフローチャートである。

Claims (19)

1. クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存手段と、
   前記画像を構成するオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録手段と、
   前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアントの環境が前記保存手段によって保存されたクライアントの環境と同一で、前記記録手段によって属性の再評価を行った記録が有る場合に、受信した前記別の画像に対して属性の再評価を実行する実行手段とを有することを特徴とする画像処理装置。
2. 前記オブジェクトの属性の再評価を指示することが可能な画面の表示を指示する表示指示手段と、
   属性の再評価の結果に基づいて、前記オブジェクトの属性を更新する更新手段とを更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記属性の再評価とは、前記再評価を指示されたオブジェクトに対して文字認識を行い、前記オブジェクトのメタデータに再評価した結果の属性を用いて、前記メタデータを更新することを特徴とする請求項１に記載の画像処理装置。
4. 前記メタデータは階層構造で保持され、
   前記クライアントの環境と属性の再評価の記録は、前記クライアントから前記画像を受信した装置に共通のメタデータとして保持され、
   前記オブジェクトの属性は、前記装置に共通のメタデータの下位層のオブジェクト単位のメタデータとして保持されることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記メタデータの階層構造は、前記クライアントから前記画像を受信した装置に共通のメタデータの下位層に保持されるジョブに共通のメタデータと、該ジョブに共通のメタデータの下位層に保持されるページに共通のメタデータとを更に有し、
   前記オブジェクト単位に保存されたメタデータは、前記ページに共通のメタデータの下位層として保持されることを特徴とする請求項４に記載の画像処理装置。
6. 前記表示指示手段は、１つのジョブに含まれるオブジェクトから前記属性の再評価を行うオブジェクトを選択することが可能になるように表示する画面を生成する画面生成手段を有することを特徴とする請求項２に記載の画像処理装置。
7. 前記表示指示手段は、１つのジョブに含まれるオブジェクトから、オブジェクトのサイズ及びオブジェクトのエッジ数に基づいてオブジェクトを選別する選別手段を有し、
   前記画面生成手段は、前記選別されたオブジェクトから前記属性の再評価を行うオブジェクトを選択することが可能になるように表示する画面を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記オブジェクトのサイズ及びオブジェクトのエッジ数は、ユーザからの指示を受けて決められた値であることを特徴とする請求項７記載の画像処理装置。
9. 前記表示指示手段は、１つのジョブに含まれるオブジェクトから、グラフィクスオブジェクト、又はイメージオブジェクトを選別する選別手段を有し、
   前記画面生成手段は、前記選別されたオブジェクトから前記属性の再評価を行うオブジェクトを選択可能に表示する画面を生成することを特徴とする請求項６に記載の画像処理装置。
10. 前記画像処理装置は画像形成装置であって、前記画像処理は印刷処理であり、画像を表わすＰＤＬデータを受信して中間データに変換して保存し、該中間データを展開してビットマップデータを生成して印刷することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像をクライアントから受信する際、
    過去に前記クライアントから別の画像を受信し、該別の画像を構成するオブジェクトの属性の再評価を行ったという情報がある場合、
    前記受信した画像に対して属性の再評価を実行する実行手段を有することを特徴とする画像処理装置。
12. クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存工程と、
    前記画像を構成するオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録工程と、
    前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアント環境が前記保存工程にて保存されたクライアント環境と同一で、前記属性の再評価を行った記録が有る場合に、受信した前記別の画像に対して属性の再評価を実行する実行工程とを有することを特徴とする画像処理方法。
13. 前記オブジェクトの属性再評価を指示することが可能な画面の表示を指示する表示指示工程と、
    属性再評価の結果に基づいて、前記オブジェクトの属性を更新する更新工程とを更に有することを特徴とする請求項１２に記載の画像処理方法。
14. 前記表示指示工程は、
    １つのジョブに含まれるオブジェクトから、オブジェクトのサイズ及びオブジェクトのエッジ数に基づいてオブジェクトを選別する選別工程と、
    前記選別されたオブジェクトを選択可能に表示する画面を生成する画面生成工程とを有することを特徴とする請求項１３に記載の画像処理方法。
15. 画像をクライアントから受信する際、
    過去に前記クライアントから別の画像を受信し、該別の画像を構成するオブジェクトの属性の再評価を行ったという情報がある場合、
    前記受信した画像に対して属性の再評価を実行する実行工程を有することを特徴とする画像処理方法。
16. 請求項１２乃至１５のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
18. 画像処理装置と、該画像処理装置に対してオブジェクトから成る画像の画像処理を指示する情報処理装置であるクライアントとを有する画像処理システムであって、
    前記画像処理装置が、
    前記クライアントから画像と該画像を構成するオブジェクトに対する画像処理の指示を受信し、前記クライアントの環境を、前記画像を構成するオブジェクトのメタデータとして保存する保存手段と、
    前記画像を構成するオブジェクトの属性を再評価することが指示可能な画面の表示を前記クライアントに指示する表示指示手段と、
    前記クライアントからオブジェクトの属性を再評価することが指示された場合に、前記属性の再評価を行った記録をメタデータとして記録する記録手段と、
    前記画像とは別の画像を受信する際、該画像に対して画像処理の指示をしたクライアント環境が前記保存手段によって保存されたクライアント環境と同一で、前記記録手段に属性再評価を行った記録が有る場合に、属性再評価を実行する実行手段と、
    属性再評価の結果に基づいて、当該オブジェクトの属性を更新する更新手段とを有し、
    前記情報処理装置であるクライアントが、
    前記表示指示手段の指示に従って、前記オブジェクトの属性再評価が指示可能な画面を表示する表示手段と、
    ユーザの指示を受信して、前記オブジェクトの属性再評価の指示を前記画像処理装置に通知する通知手段とを有することを特徴とする画像処理システム。
19. 当該画像処理システムは、画像処理サーバを更に有し、
    前記画像処理サーバが、
    前記クライアントから画像処理のために送られた画像から、該画像を展開したビットマップデータと該画像に含まれるオブジェクトの属性を前記ビットマップデータに対応付けて示す属性データとを生成する生成手段と、
    前記生成したビットマップデータと属性データとを、前記画像処理装置に送る送信手段とを有することを特徴とする請求項１８に記載の画像処理システム。

Images