JP2010068335A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】画像処理の性能に関する複数の指標について、利用者がどの指標をどの程度重視するのかという、利用者の要望に添った方法で画像処理を実行する画像処理装置を提供する。
【解決手段】画像処理の性能に関する複数の指標について、各指標をどの程度重視するかを示す優先度情報を利用者から受け付け、受け付けた優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行する画像処理装置である。
【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関する。

画像処理装置が画像に対して各種の画像処理を実行する場合に、同様の画像処理を実現する複数の方法の中から、実際に実行する方法を選択することがある（例えば特許文献１、２参照）。このような選択を行う際の基準としては、画像の種類や利用者の指定などが考えられる。
特許第２９０３９１７号公報 特開２００６−１６５７５３号公報

本発明は、画像処理の性能に関する複数の指標について、利用者がどの指標をどの程度重視するのかという、利用者の要望に添った方法で画像処理を実行する画像処理装置及びプログラムを提供することを目的とする。

請求項１記載の発明は、画像処理装置であって、画像処理の性能に関する複数の指標について、各指標をどの程度重視するかを示す優先度情報を利用者から受け付ける受け付け手段と、前記受け付けた優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行する画像処理実行手段と、を含むことを特徴とする。

請求項２記載の発明は、請求項１記載の画像処理装置であって、前記利用者の要求する画像処理を実現する複数種類の処理方式のそれぞれについて、前記複数の指標のそれぞれに対する評価値を記憶する手段と、前記受け付けた優先度情報と、前記記憶される各評価値と、に基づいて、前記複数種類の処理方式の中から一の処理方式を決定する決定手段と、をさらに含み、前記画像処理実行手段は、前記決定した処理方式により前記利用者の要求する画像処理を実行することを特徴とする。

請求項３記載の発明は、請求項１又は２記載の画像処理装置であって、前記画像処理実行手段は、前記受け付けた優先度情報に応じて決定される処理変数を用いて、前記利用者の要求する画像処理を実行することを特徴とする。

請求項４記載の発明は、請求項１から３のいずれか一項記載の画像処理装置であって、前記画像処理実行手段は、前記受け付けた優先度情報と、前記利用者の要求する画像処理の対象となる画像の属性情報と、に応じて定められる方法により、前記利用者の要求する画像処理を実行することを特徴とする。

請求項５記載の発明は、請求項１から４のいずれか一項記載の画像処理装置であって、前記受け付け手段は、利用者から複数工程の画像処理を順に実行する旨の要求を受け付け、前記画像処理装置は、前記受け付けた優先度情報に応じて、前記受け付けた複数工程の画像処理の実行順序を入れ替える順序入れ替え手段をさらに含み、前記画像処理実行手段は、前記入れ替えた順序で前記複数工程の画像処理のそれぞれを実行することを特徴とする。

請求項６記載の発明は、請求項５記載の画像処理装置であって、前記順序入れ替え手段は、前記受け付けた複数工程の画像処理の中に画像を分離又は合成する処理が含まれる場合に、前記受け付けた優先度情報に応じて、前記画像を分離又は合成する処理と、当該画像を分離又は合成する処理の前又は後に実行するよう要求された画像処理と、の実行順序を入れ替えることを特徴とする。

請求項７記載の発明は、請求項６記載の画像処理装置であって、前記順序入れ替え手段は、前記実行順序の入れ替えの結果、画像を分離する処理及び画像を合成する処理を連続して実行することとなる場合に、当該画像を分離する処理及び画像を合成する処理の実行を中止させることを特徴とする。

請求項８記載の発明は、画像処理の性能に関する複数の指標について、各指標をどの程度重視するかを示す優先度情報を利用者から受け付ける受け付け手段、及び前記受け付けた優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行する画像処理実行手段、としてコンピュータを機能させるためのプログラムである。

請求項１及び８記載の発明によれば、画像処理の性能に関する複数の指標について、利用者がどの指標をどの程度重視するのかという、利用者の要望に添った方法で画像処理が実行される。

請求項２記載の発明によれば、同様の画像処理を実現する複数種類の処理方式のうち、利用者の要望に添った処理方式が実際に実行される処理方式として決定される。

請求項３記載の発明によれば、利用者の要望に添った画像処理を実現する処理変数が、画像処理に用いられる処理変数として決定される。

請求項４記載の発明によれば、処理対象となる画像の属性に応じて、利用者の要望に添った画像処理を実現する方法が決定される。

請求項５記載の発明によれば、利用者の要求する複数工程の画像処理が、利用者の要望に添った実行順序で実行される。

請求項６記載の発明によれば、利用者の要求する複数工程の画像処理の中に画像を分離処理又は合成する処理が含まれる場合に、利用者の要望に添った実行順序で各工程の画像処理が実行される。

請求項７記載の発明によれば、利用者の要望に添うために実行順序の入れ替えを行った結果生じる不必要な処理が省略される。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。本実施形態に係る画像処理装置１は、例えばパーソナルコンピュータ等であって、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、を含んで構成される。

制御部１１は、例えばＣＰＵ等であって、記憶部１２に格納されるプログラムに従って各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。

記憶部１２は、例えばＲＡＭやＲＯＭ等のメモリ素子、ハードディスクなどを含んで構成される。記憶部１２は、制御部１１によって実行されるプログラムや、各種のデータを保持する。特に本実施形態では、記憶部１２は、後述する画像処理の対象となる画像のデータを記憶する。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、例えばキーボードやマウス等であって、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、例えば液晶ディスプレイ等であり、制御部１１からの指示に従って、画像の表示を行う。

以下、画像処理装置１が実現する機能について、説明する。画像処理装置１は、機能的に、図２に示すように、利用者指示受け付け部２１と、処理方法決定部２２と、順序入れ替え部２３と、画像処理実行部２４と、を含んで構成される。また、画像処理実行部２４は、複数種類の画像処理のそれぞれを実行する画像処理モジュールを含んで構成される。さらに、一つの種類の画像処理を実現するための処理方式が複数種類ある場合、当該複数種類の処理方式のそれぞれについて画像処理モジュールが用意されてもよい。これらの機能は、例えば制御部１１が記憶部１２に格納されているプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信手段を介して提供されてもよいし、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等、各種のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

利用者指示受け付け部２１は、利用者が操作部１３を用いて入力する、画像処理に関する各種の指示を受け付ける。具体的に、利用者指示受け付け部２１は、処理対象となる画像（以下、入力画像Ｉｉという）や、入力画像Ｉｉに対して利用者が要求する画像処理の種類などの情報を、利用者から受け付ける。なお、利用者指示受け付け部２１は、入力画像Ｉｉに対して複数工程の画像処理を順に実行すべき旨の利用者の要求を受け付けることとしてもよい。以下では具体例として、利用者指示受け付け部２１は、入力画像Ｉｉに対して実行すべき画像処理として、画像処理ＩＰ（１），ＩＰ（２），・・・，ＩＰ（Ｎ）というＮ工程の画像処理を順に実行すべき旨の要求を受け付けることとする。なお、利用者が指定可能な各工程の画像処理としては、例えば画像の拡大、縮小、フィルタリング、２値化、色変換、圧縮などが挙げられる。また、一つの入力画像Ｉｉを、各画像領域の画像特徴に応じて複数の画像に分離する処理や、分離された画像を合成して一つの画像に戻す処理などがあってもよい。

さらに本実施形態では、利用者指示受け付け部２１は、画像処理の性能に関する複数の指標について、各指標を利用者がどの程度重視するかを示す優先度情報を利用者から受け付ける。以下では具体例として、この優先度情報は、「処理速度」、「画質」、及び「画像の圧縮率」という画像処理の性能に関する３種類の指標について、各指標を利用者がどの程度重視するかを示す３つの数値情報Ｐｓ，Ｐｑ及びＰｃによって構成されることとする。この例では、３つの数値情報Ｐｓ，Ｐｑ及びＰｃのそれぞれが３種類の指標のそれぞれに対応し、数値が大きければ大きいほど利用者が対応する指標を重視していることを示している。これらの数値情報は、それぞれ上限及び下限が定められ、その範囲で利用者が自由に設定可能な数値であってもよい。あるいは、３つの数値情報Ｐｓ，Ｐｑ及びＰｃのとり得る値は、それらの合計の数値Ｐｔが予め定められた値になるよう制限されることとしてもよい。この場合には、利用者は予め定められた数値Ｐｔを３つの指標に割り振ることで、どの指標をより重視するかを指定することとなる。

また、利用者指示受け付け部２１は、入力画像Ｉｉの属性情報の入力を利用者から受け付けてもよい。例えば利用者指示受け付け部２１は、入力画像Ｉｉの性状（画像が文字画像か、写真画像か、表・線画像か、ＣＧ画像か、あるいはこれらのうちいくつかの性状が混在する画像か、など）を特定する属性情報について、利用者からの入力を受け付け、当該受け付けた属性情報を用いて、利用者が要求する画像処理を実行することとしてもよい。

処理方法決定部２２は、利用者指示受け付け部２１が受け付けた優先度情報に応じて、利用者指示受け付け部２１が受け付けた利用者の要求する画像処理の実行方法を決定する。なお、処理方法決定部２２が実行する処理の具体例については、後述する。

順序入れ替え部２３は、利用者指示受け付け部２１が受け付けた、利用者が要求する複数工程の画像処理ＩＰ（１），ＩＰ（２），・・・，ＩＰ（Ｎ）について、その実行順序を利用者指示受け付け部２１が受け付けた優先度情報に応じて入れ替える。なお、順序入れ替え部２３が実行する処理の具体例についても、後述する。

画像処理実行部２４は、利用者指示受け付け部２１が受け付けた優先度情報に応じて定められる方法及び実行順序で、入力画像Ｉｉに対して利用者の要求する画像処理を実行する。具体的に、まず画像処理実行部２４は、利用者が指定する入力画像Ｉｉを記憶媒体などから読み込む画像入力処理を行う。そして、読み込んだ入力画像Ｉｉに対して、利用者が要求する複数工程の画像処理ＩＰ（１），ＩＰ（２），・・・，ＩＰ（Ｎ）を、順に実行する。このとき、順序入れ替え部２３によって実行順序の入れ替えがなされていれば、画像処理実行部２４は、この入れ替えた順序で各工程の画像処理を実行する。逆に順序入れ替え部２３による実行順序の入れ替えがなされていなければ、画像処理実行部２４は、利用者が指定した順序で各工程の画像処理を実行する。さらに、画像処理実行部２４は、各工程の画像処理を、処理方法決定部２２によって決定される方法により実行する。具体的には、例えば同様の画像処理を実現する複数種類の処理方式のうち、処理方法決定部２２が決定した処理方式により当該画像処理を実行する。また、画像処理を実行する際に必要な処理変数（パラメタ）として、処理方法決定部２２が決定した処理変数を用いて、当該画像処理を実行する。

これにより、入力画像Ｉｉに対して利用者の要求する画像処理を適用した出力画像Ｉｏが生成される。画像処理実行部２４は、この生成された出力画像Ｉｏを、例えば表示部１４に出力して画面上に表示させたり、記憶部１２に書き込んだりするなど、利用者が指定する方法で出力する。

次に、処理方法決定部２２が優先度情報に応じて画像処理の実行方法を決定する処理のいくつかの具体例について、説明する。

まず第１の例として、処理方法決定部２２が、複数種類の処理方式の中から画像処理実行部２４に実行させる一つの処理方式を選択、決定する例について、説明する。

この例では、記憶部１２内に、利用者の要求する画像処理を実現する複数種類の処理方式のそれぞれについて、複数の指標のそれぞれに対する評価値を関連づけるテーブルが記憶されている。図３は、このような記憶部１２に記憶されるテーブルの一例を示している。この図の例では、画像処理装置１は、ある画像処理（ここでは画像処理ＩＰ（１）とする）に関して、３種類の処理方式Ｍ（１），Ｍ（２）及びＭ（３）のそれぞれによって当該画像処理ＩＰ（１）を実現するための画像処理モジュールを備えているものとする。そして、この３種類の処理方式のそれぞれに対して、各指標の評価値が関連づけて記憶されている。なお、ここでは、複数種類の指標のうち、「画質」及び「圧縮率」については、入力画像Ｉｉの性状ごとに異なる評価値が関連づけられている。図３では、例えば処理方式Ｍ（１）による画像処理ＩＰ（１）を文字画像に対して実行する場合の性能は、「速度」について評価値Ｅｓ１、「画質」について評価値Ｅｑｔ１、「圧縮率」について評価値Ｅｃｔ１により、それぞれ示される。

これらの評価値は、各処理方式が各指標に関してどの程度優れているかを示す数値情報であって、ここでは値が大きければ大きいほど当該指標に関する性能に優れていることとする。例えばこれらの評価値は、サンプル画像に対して予め各処理方式による画像処理を実行し、その実行結果をそれぞれの性能指標について評価することにより、決定される。具体例として、速度の評価値に関しては、標準的なサイズの画像に対して各処理方式による画像処理を実行した際の所要時間を計測することによって決定されることとしてもよい。なお、この速度の評価値は、単位時間あたりに処理可能な画素数に応じた値であってもよい。また、画質の評価値に関しては、画像処理の結果生成される出力画像に対して官能評価を行った結果によって決定されることとしてもよい。また、圧縮率の評価値については、画像処理の結果得られる出力画像の画像サイズによって決定される。なお、圧縮率については、画像の圧縮を伴う画像処理についてのみ問題となるので、その他の画像処理を実現する処理方式に関しては、そもそも評価値が記憶されず、後述する処理方式の選択の際にも考慮されないこととしてもよい。また、各評価値は、計測された画像処理の実行速度や圧縮画像のデータサイズなどの数値そのものではなく、各処理方式の間の性能の違いを示す相対評価値であることとしてもよい。こうすれば、入力画像Ｉｉの画像サイズなどによらずに、各処理方式の性能が評価される。

処理方法決定部２２は、画像処理の実行を利用者から要求された場合、まず入力画像Ｉｉの性状を特定する。入力画像Ｉｉの性状は、前述したように利用者の入力により特定されてもよいし、公知の判別処理によって特定されることとしてもよい。そして、処理方法決定部２２は、要求された画像処理を実現する複数種類の処理方式のそれぞれについて、利用者から受け付けた優先度情報と、特定された入力画像Ｉｉの性状に応じた各指標の評価値と、に基づいて、方式別評価値を算出する。具体的に、例えば文字画像である入力画像Ｉｉに対して画像処理ＩＰ（１）を実行する旨の要求を受け付けた場合、処理方法決定部２２は、画像処理ＩＰ（１）を実現する３種類の処理方式Ｍ（１），Ｍ（２）及びＭ（３）のそれぞれについて、以下に示すように各指標についての優先度情報と各指標の評価値とを予め定められた関数に代入して、方式別評価値Ｘ１，Ｘ２及びＸ３を算出する。
Ｘｍ＝ｆ（Ｐｓ，Ｅｓｍ，Ｐｑ，Ｅｑｔｍ，Ｐｃ，Ｅｃｔｍ） （ｍ＝１，２，３）
ここでｆは予め定められた関数を表している。この方式別評価値Ｘｍは、利用者が各指標をどの程度重視するかによって重み付けがなされた、各処理方式の性能を示す評価点を表している。すなわち、この方式別評価値が大きいほど、利用者が重視する性能指標に関して優れた処理方式であることとなる。処理方法決定部２２は、この方式別評価値が最も高い処理方式を、実際に画像処理実行部２４に実行させる処理方式として選択する。

具体例として、処理方式Ｍ（ｍ）の方式別評価値Ｘｍを算出する関数は、以下のような二乗平均平方根の値を算出するものであってよい。

この式において、添字ｉは複数の性能指標のそれぞれ（ここでは「速度」、「画質」、「圧縮率」）を特定するために用いられ、ｎは指標の数（ここでは３）を示している。なお、圧縮率の評価がない画像処理においては、「速度」及び「画質」でｎ＝２になる。また、Ｐｉはｉ番目の指標についての優先度情報を示しており、Ｅｉｍはｉ番目の指標について処理方式Ｍ（ｍ）の評価値を示している。

方式別評価値が最も高い処理方式が複数存在する場合には、処理方法決定部２２は、例えば以下のようにして、方式別評価値の高い複数の処理方式の中から実際に適用する処理方式を選択する。すなわち、画像処理の性能に関する複数の指標のうち、利用者から受け付けた優先度情報の数値が他の指標の優先度情報の数値より予め定められた閾値以上大きな指標があれば、この指標についての評価値が最も高い処理方式を、実際に適用する処理方式として選択する。一方、このように特に他の指標より重視すると指定された指標がない場合には、各指標についての評価値に最も偏りがない（すなわち、評価値のばらつきの小さい）処理方式を、実際に適用する処理方式として選択する。

なお、各処理方式の性能を示す評価値は、画像の性状だけでなく、画像のサイズ、使用される色空間、画像を構成する各画素のビット数やチャネル数（色成分の数）など、各種の属性情報の違いに応じてそれぞれ決定され、記憶部１２に記憶されることとしてもよい。この場合、処理方法決定部２２は、このような属性情報を、入力画像Ｉｉのヘッダ情報を参照したり利用者の入力する情報を受け付けたりして取得し、取得した属性情報に応じた評価値と、優先度情報と、を用いて、方式別評価値を算出する。これにより、入力画像Ｉｉの属性に応じて、より望ましい処理方式が選択される。

ここで、処理方法決定部２２が複数種類の処理方式の中から実際に適用する処理方式を選択する場合に、画像処理装置１が実行する処理の流れの一例について、図４を用いて説明する。なお、この図の例においては、各工程の実行順序の入れ替えについては、行わないものとする。

まず、利用者指示受け付け部２１が、利用者から指示を受け付ける（Ｓ１）。ここでは利用者が、入力画像Ｉｉを特定する情報、入力画像Ｉｉの性状情報、入力画像Ｉｉに対して実行すべきＮ工程の画像処理ＩＰ（１），ＩＰ（２），・・・，ＩＰ（Ｎ）の指示、及び、速度、画質、圧縮率それぞれについての優先度情報Ｐｓ，Ｐｑ，Ｐｃを入力することとする。

次に、処理方法決定部２２は、変数ｎに１を代入し（Ｓ２）、画像処理ＩＰ（ｎ）について、複数種類の処理方式が用意されているか否かを判定する（Ｓ３）。複数種類の処理方式が用意されていない（すなわち、処理方式が１種類しかない）のであれば、処理方法決定部２２は画像処理ＩＰ（ｎ）について処理方式の選択を行う必要がないので、ステップＳ１１に進む。

一方、画像処理ＩＰ（ｎ）に複数種類の処理方式が用意されている場合、処理方法決定部２２は、この複数種類の処理方式の中から１の処理方式を選択する。具体的に、まず処理方法決定部２２は、Ｓ１で利用者から受け付けた入力画像Ｉｉの性状情報に応じて、記憶部１２に記憶されているテーブルから、速度、画質、及び圧縮率のそれぞれについての各処理方式の評価値Ｅｓｍ，Ｅｑｍ，Ｅｃｍ（ｍ＝１，２，・・・，Ｍｎ）を読み出す（Ｓ４）。なお、ここでＭｎは、画像処理ＩＰ（ｎ）を実現する処理方式として画像処理装置１が実行可能な処理方式の種類の数を示している。

次に処理方法決定部２２は、変数ｍに１を代入し（Ｓ５）、処理方式Ｍ（ｍ）についての方式別評価値Ｘｍを、Ｓ４で読み出した処理方式Ｍ（ｍ）の評価値Ｅｓｍ，Ｅｑｍ，Ｅｃｍと、Ｓ１で受け付けた優先度情報Ｐｓ，Ｐｑ，Ｐｃと、に基づいて算出する（Ｓ６）。そして、ｍ＝Ｍｎになったかを判定する（Ｓ７）。ｍ＝Ｍｎになっていなければ、まだ方式別評価値の算出を行っていない処理方式があるので、ｍに１を加算して（Ｓ８）、Ｓ６に戻って処理を繰り返す。一方、ｍ＝Ｍｎになっていれば、選択可能な処理方式全てについて方式別評価値を算出したことになるので、続いて処理方法決定部２２は、Ｓ６で算出されたＸ１，Ｘ２，・・・，ＸＭｎの中から、最も高い方式別評価値を選択し（Ｓ９）、当該選択した方式別評価値に対応する処理方式Ｍ（ｍ）を、画像処理ＩＰ（ｎ）を実現する処理方式として決定する（Ｓ１０）。

次に処理方法決定部２２は、ｎ＝Ｎになったかを判定する（Ｓ１１）。ｎ＝Ｎになっていなければ、まだ処理方式の決定を行うべき画像処理が残っている可能性があるので、ｎに１を加算して（Ｓ１２）、Ｓ３に戻って次の画像処理ＩＰ（ｎ）に対する処理を行う。一方、ｎ＝Ｎになっていれば、利用者の要求する全ての画像処理について、処理方式が決定されたことになる。そのため、続いて画像処理実行部２４が、Ｓ１０で決定された処理方式により、各工程の画像処理を順に実行する（Ｓ１３）。これにより、利用者の指定する優先度に応じて決定された処理方式により、各画像処理が実行されることとなる。

次に、優先度情報に応じて画像処理の実行方法を決定する処理の第２の例として、処理方法決定部２２が、優先度情報に応じて処理変数を決定する例について、説明する。この例では、画像処理実行部２４は、処理方法決定部２２によって決定された処理変数を用いて、利用者の要求する画像処理を実行する。

具体例として、利用者の要求する画像処理が圧縮処理であって、入力画像Ｉｉが写真画像である場合、画像処理の処理方式としてはＪＰＥＧ圧縮の処理方式が選択されるものとする。この場合、処理方式自体は１種類しかない。しかし、画像処理実行部２４がＪＰＥＧ圧縮の画像処理を実行する際には、処理変数として、サブサンプリングのパラメタが指定される必要がある。サブサンプリングのパラメタは、例えば４：４：４、４：２：２、４：２：０、４：１：１などの中から選択される。そこで、これら複数のパラメタのそれぞれについて、前述した処理方式を選択する例と同様に、当該パラメタを用いて画像処理を実行した場合の、速度、画質、圧縮率のそれぞれの評価値が、記憶部１２に記憶されることとする。図５は、このような各パラメタについて記憶される評価値の一例を示している。

この例では、処理方法決定部２２は、前述した処理方式を選択する例と同様に、複数のパラメタのそれぞれについて、利用者から受け付けた優先度情報と、各指標の評価値と、を用いて、パラメタ別評価値を算出する。そして、算出したパラメタ別評価値が最も高いパラメタを、画像処理に使用する処理変数として決定する。画像処理実行部２４が、この決定された処理変数を用いて画像処理を実行することにより、利用者の重視する性能指標に優れた態様で画像処理が実行されることとなる。

なお、ここではパラメタは離散的な値であって、そのそれぞれに対して評価値が記憶されることとしたが、例えば処理方法決定部２２は、各指標の優先度情報を変数として予め定められた関数に代入することによって、処理変数そのものを算出することとしてもよい。

次に、順序入れ替え部２３が画像処理の順序を入れ替える処理の具体例について、説明する。

利用者によって複数工程の画像処理を順に実行する旨の要求がなされた場合、順序入れ替え部２３は、例えば特許文献１に記載される方法によって、各工程の画像処理の順序を入れ替えることとしてもよい。また、特に本実施形態では、以下に詳しく説明するように、複数工程の画像処理の中に画像を分離する処理（以下、分離処理という）又は画像を合成する処理（以下、合成処理という）が含まれる場合に、この分離処理又は合成処理と、当該処理の前又は後に実行するよう要求された画像処理と、の実行順序を入れ替えることとしてもよい。ここで分離処理は、文字を表す画像部分と写真を表す画像部分など、互いに異なる性状の画像部分が混在した一つの画像を、それぞれ単一の性状の画像部分のみからなる複数の分離画像に分離する処理である。また、合成処理は、複数の画像を重ね合わせて一つの画像を生成する処理である。

画像処理の中には、それぞれ特定の画像の性状に適した複数の処理方式が存在する適応的画像処理がある。例えばこのような画像処理を文字画像部分と写真画像部分の混在する入力画像Ｉｉに対して実行したい場合、まず入力画像Ｉｉを、文字画像部分だけを含んだ文字分離画像Ｉｔと、写真画像部分だけを含んだ写真分離画像Ｉｐと、に分離し、その後、文字分離画像Ｉｔ及び写真分離画像Ｉｐに対して、それぞれの画像の性状に適した処理方式で当該画像処理を実行することで、画像処理の性能が向上する場合がある。この場合、各分離画像に対して画像処理が実行された結果を再び合成することで、入力画像Ｉｉそのものに当該画像処理を実行した場合と同様の処理結果が得られる。しかしながら、利用者の重視する性能の指標によっては、このような分離処理及び合成処理を行うことが好ましくない場合もあり得る。例えば入力画像Ｉｉを複数の分離画像に分離してから画像処理を実行することで、出力画像の画質が向上する可能性があるとしても、利用者が画質より速度を重視している場合には、このような分離処理を行わずに、入力画像Ｉｉに対して直接当該画像処理を実行したほうが早く処理結果が得られる場合もある。そこで、順序入れ替え部２３は、利用者指示受け付け部２１が受け付けた優先度情報に応じて、このような分離処理、合成処理とその前後の工程の画像処理とを入れ替えるか否か判定することとする。

具体的に、利用者指示受け付け部２１が受け付けた複数工程の画像処理の中に、分離処理又は合成処理が含まれる場合、まず順序入れ替え部２３は、当該分離処理又は合成処理をその前後の工程の画像処理と入れ替え可能かを判定する。順序入れ替えの結果、画像処理同士の接続関係に矛盾が生じる場合、順序入れ替え部２３は、入れ替え不能と判定する。例えば画像処理ＩＰ（２）が分離処理であって、当該分離処理とその一つ前の工程の画像処理ＩＰ（１）とを入れ替え可能か判定する場合、順序入れ替え部２３は、画像処理ＩＰ（１）を実行する前の入力画像Ｉｉに対して画像処理ＩＰ（２）（すなわち分離処理）を実行可能か、分離処理によって得られる各分離画像に対して画像処理ＩＰ（１）を実行可能か、各分離画像に画像処理ＩＰ（１）を実行して得られる各画像に対して画像処理ＩＰ（３）を実行可能か、をそれぞれ判定する。そして、これらの全てが可能と判定される場合、順序入れ替えによって接続関係の矛盾は生じないと判定される。また、順序入れ替え部２３は、分離処理又は合成処理とその前後の工程の画像処理との間で入れ替えを行っても、同様の処理結果が得られるか否かについても判定する。例えば文字画像部分と写真画像部分とが混在する文字・写真混在画像に対して画像処理を実行する場合と、分離後、又は合成前の文字分離画像Ｉｔや写真分離画像Ｉｐのそれぞれに画像処理を実行する場合と、で処理結果が異なるようなときには、順序入れ替え不能と判定される。

入れ替え可能と判定された場合、さらに順序入れ替え部２３は、当該２つの工程の画像処理を入れ替えることによって、利用者の重視する指標に関して性能が向上するか否かを判定する。なお、この判定の具体例については、後述する。入れ替えによって性能の向上が見込めると判断される場合、順序入れ替え部２３は、これらの画像処理同士の順序の入れ替えを行い、画像処理実行部２４は、この入れ替えられた順序で各工程の画像処理を実行する。

なお、このような分離処理及び合成処理と他の画像処理との入れ替えを行うか否かの判定は、再帰的に行われる。すなわち、例えば順序入れ替え部２３は、分離処理又は合成処理をその前後の処理と入れ替えることとした場合に、入れ替え後に新たに実行順序が分離処理又は合成処理と隣接する（すなわち分離処理又は合成処理に対して連続的に実行される）こととなった画像処理についても、分離処理又は合成処理との入れ替えの対象とするか否かを判定する。

さらに、このような実行順序の入れ替えの結果、分離処理と合成処理とを連続して実行することとなる場合には、これら分離処理及び合成処理の実行を中止させる制御を行う。すなわち、画像処理の工程の中からこれら分離処理及び合成処理を削除して、画像処理実行部２４による実行の対象としないこととする。なぜなら、通常分離処理は分離された後の分離画像それぞれに対して適応的画像処理を実行するために行うので、順序入れ替えの結果、分離してすぐに合成を行うこととなった場合には、このような分離処理及び合成処理を実行する必要はなくなるからである。また、同様に、複数の分離画像の組を処理対象としている場合に、順序入れ替えの結果、合成処理を行い、その後すぐにまた合成された画像を再び複数の分離画像に分離する処理を行うこととなった場合には、これら連続する合成処理及び分離処理の実行を中止することとする。

図６（ａ）、図６（ｂ）及び図６（ｃ）は、複数工程の画像処理に対して順序入れ替え部２３による順序入れ替えを行った場合の画像処理の実行順序の一例を示している。図６（ａ）は、利用者によって要求された複数工程の画像処理の実行順序を示している。ここでは写真画像部分と文字画像部分とが混在する写真・文字混在画像を入力画像Ｉｉとしており、１番目の画像処理ＩＰ（１）がこの写真・文字混在画像を写真分離画像Ｉｐと文字分離画像Ｉｔとに分離する分離処理になっている。利用者の指示によれば、画像処理ＩＰ（２）及びＩＰ（３）は分離処理によって分離された写真分離画像Ｉｐ及び文字分離画像Ｉｔのそれぞれに対して順に実行される。その後、４番目の画像処理ＩＰ（４）として、写真分離画像Ｉｐと文字分離画像Ｉｔとを合成する合成処理が実行され、この結果、画像処理がなされた写真・文字混在画像が出力画像Ｉｏとして出力される。

これに対して、順序入れ替え部２３が、分離処理と画像処理ＩＰ（２）とを、また合成処理と画像処理ＩＰ（３）とを、それぞれ入れ替えると判定したとする。図６（ｂ）は、このような入れ替えがなされた後の各工程の画像処理の実行順序を示している。この図の例では、分離処理と合成処理とが互いに隣接しており、連続して実行することとなっている。そのため、前述したように、順序入れ替え部２３は、分離処理と合成処理とを実行しないこととする。図６（ｃ）は、互いに隣接する分離処理と合成処理とが削除された後の各工程の画像処理の実行順序を示している。このように、順序入れ替え部２３によって、利用者が要求する複数工程の画像処理と同様の画像処理を、より利用者の重視する性能指標に優れた手順で行うよう、画像処理の実行順序が入れ替えられる。

以下、順序入れ替え部２３が順序入れ替えを行うべきか否か判定する方法の具体例について、説明する。なお、ここでは適応的画像処理である画像処理ＩＰａと、分離処理と、を入れ替えるか否かの判定を行うこととするが、合成処理との入れ替えを行うか否かの判定についても、同様にして実施されてよい。

順序入れ替え部２３は、分離前の複数の性状が混在した画像に対して画像処理ＩＰａを実行し、その後分離処理を実行した場合（実行順序Ａ）と、分離処理を実行した後、分離後の互いに異なる性状の分離画像それぞれに対して画像処理ＩＰａを実行した場合（実行順序Ｂ）と、のそれぞれについて、利用者の重視する性能指標についての順序別評価値を算出する。そして、順序入れ替え部２３は、この順序別評価値による評価が高い方の実行順序を採用することとし、当該実行順序が利用者の指示した実行順序と違っていれば、実行順序の入れ替えを行う。このような順序別評価値の算出に使用するために、記憶部１２には、入力画像Ｉｉの性状によって処理性能に違いが生じる適応的画像処理のそれぞれについて、処理の対象となる画像の性状（例えば写真画像、文字画像、又は写真・文字混在画像など）と、画像処理の性能に関する複数の指標のそれぞれに対する評価値と、が関連づけて記憶されている。この評価値は、関連づけられた性状の画像に対して当該画像処理を実行する場合における、当該指標についての性能を示す値である。この評価値が、画像処理の対象となる画像の性状によって異なり、また実行順序の入れ替えを行うことによって当該画像処理の対象となる画像の性状が変化するために、順序の入れ替えによって利用者の重視する指標についての性能が向上する可能性が生じることとなる。

図７は、画像処理ＩＰａについてのこのような評価値の一例を示す説明図である。この図の例では、文字画像、写真画像、及び文字・写真混在画像のそれぞれに対して画像処理ＩＰａを実行した場合における、画像処理の性能の指標である画質及び速度のそれぞれについての評価値が示されている。

この評価値は、図３の例と同様に、各性能指標に関してどの程度優れているかを示す数値情報であって、値が大きければ大きいほど当該指標についての性能に優れていることとする。ただし、図７の例における評価値は、図３の例とは異なり、処理方式ごとに記憶される値ではなく、画像処理ＩＰａを実現する複数種類の方式のうち、処理の対象となる画像の性状ごとに問題とする性能指標について最も優れた処理方式で当該画像処理を実行した場合の性能を示す値であってよい。そのため、図７に例示する順序入れ替えの判定に用いる評価値は、図３に例示するテーブルとは別に記憶されてもよいが、図３に例示する処理方式ごとの評価値を格納するテーブルから選択されるものであってもよい。すなわち、処理の対象とする画像の性状と、利用者が重視する性能指標と、に関連づけられる複数種類の処理方式それぞれの評価値のうち、最も大きな値を、順序入れ替えの判定に用いる評価値として採用してもよい。

順序入れ替え部２３は、この画像処理の性能に関する複数の指標それぞれについて記憶されている評価値のうち、利用者の重視する性能の指標に関連づけられた評価値を用いて、順序入れ替えを行うか否かの判定を行う。ここで、利用者の重視する性能指標は、利用者指示受け付け部２１が受け付ける優先度情報により決定される。例えば画像処理ＩＰａについては圧縮率が問題とならず、画質及び速度だけが性能に関する指標として問題となる場合、利用者から受け付けた優先度情報のうち、画質についての優先度情報Ｎｐが速度についての優先度情報Ｎｓより大きければ、利用者は画質を重視していると判断し、逆に優先度情報Ｎｐより優先度情報Ｎｓが大きければ、利用者は速度を重視していると判断する。

具体的に、図７に示す評価値の例において、利用者の重視する性能指標が画質の場合、実行順序Ａにおける順序別評価値は、文字・写真混在画像に対する画質の評価値である５になる。一方、実行順序Ｂにおける順序別評価値は、文字画像に対する画質の評価値である１０と、写真画像に対する画質の評価値である８と、の平均値である９と算出される。ここでは実行順序Ｂの順序別評価値の方が実行順序Ａの順序別評価値より大きいため、順序入れ替え部２３は実行順序Ｂを採用すると決定する。

逆に、利用者の重視する性能指標が速度である場合、実行順序Ｂのパターンについては、分離画像のそれぞれに対して画像処理ＩＰａが実行されるため、単純に写真画像に対する速度の評価値と文字画像に対する速度の評価値との平均値を算出しても、実行順序Ｂのパターンの速度を評価したことにはならない。そこで、速度の評価を行う際には、速度の評価値の逆数を計算して画像処理ＩＰａに要する合計所要時間に対応する順序別評価値を算出してもよい。この場合、実行順序Ａにおける順序別評価値は、文字・写真混在画像に対する速度の評価値である８の逆数である０．１２５となる。一方、実行順序Ｂにおける順序別評価値は、文字画像に対する速度の評価値１０の逆数と写真画像に対する速度の評価値４の逆数との合計値である０．３５となる。ここでそれぞれの逆数を合計しているのは、分離画像それぞれに要する所要時間の合計値が実行順序Ｂのパターンにおける所要時間になるからである。この場合の順序別評価値は、それぞれの実行順序における画像処理の所要時間に応じた値となっているので、小さい方が速度の性能が優れていることになる。そのため、順序入れ替え部２３は順序別評価値の小さい実行順序Ａを採用すると決定する。

なお、ここでは単に速度の評価値の逆数を演算することによって画像処理の所要時間の尺度としたが、速度の評価値が単位時間あたり処理可能な画素数を示す指標である場合、速度の評価値の逆数に対して処理対象となる画像の画素数を乗じることによって、順序別評価値を算出してもよい。また、以上の説明では画像処理ＩＰａの所要時間だけを比較することとしたが、例えば画像処理ＩＰａの実行前後で分離処理に要する時間が変化する場合は、分離処理の所要時間を考慮して順序入れ替えの要否を判定してもよい。

また、以上の説明においてはまず利用者の重視する性能指標を一つだけ選択し、その指標についての評価値だけを用いて順序入れ替えの要否を判定することとしたが、これに限らず、前述した処理方法決定部２２と同様に、利用者が複数の性能指標のそれぞれをどの程度重視するかを示す優先度情報Ｎｓ，Ｎｑ，及びＮｃの値を用いて、順序入れ替えの要否を判定してもよい。この場合、例えば順序入れ替え部２３は、処理方法決定部２２と同様に、複数の性能指標それぞれについての優先度情報と、当該指標それぞれについての評価値と、に基づいて、利用者の重視する性能指標による重みづけがなされた順序別評価値を算出し、この順序別評価値を比較することによって、実行順序の入れ替えを行うか否かを判定する。

また、処理方法決定部２２が処理方法の決定に用いる評価値と同様に、順序入れ替えの要否判定に用いる各画像処理の性能を示す評価値についても、画像の性状だけでなく、画像のサイズ、使用される色空間、画像を構成する各画素のビット数やチャネル数（色成分の数）など、各種の属性情報の違いに応じてそれぞれ記憶部１２に記憶されることとしてもよい。この場合、順序入れ替え部２３は、処理対象となる画像の属性情報に応じた評価値を用いて、順序別評価値を算出することにより、順序入れ替えの要否を判定する。これにより、入力画像Ｉｉの属性に応じて、より望ましい実行順序で各工程の画像処理が実行されることとなる。

以上説明した本実施形態に係る画像処理装置１によれば、画像処理の性能に関する複数の指標について、利用者がどの指標をどの程度重視するのかを示す優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行することにより、利用者の要望に添った方法で画像処理が実行されることとなる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば順序入れ替え部２３による順序入れ替えの要否は、利用者が各性能指標をどの程度重視するかを示す優先度情報ではなく、単に利用者が複数種類の性能指標のいずれを重視するかを指定する情報に応じて判定されることとしてもよい。また、画像処理の性能に関する指標は、以上説明した３つに限らず、他の指標を含んでもよい。

本発明の実施の形態に係る画像処理装置の構成例を示す図である。 本発明の実施の形態に係る画像処理装置が実現する機能の一例を示す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が記憶する評価値の一例を示す図である。 本発明の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフロー図である。 本発明の実施の形態に係る画像処理装置が記憶する評価値の別の例を示す図である。 複数工程の画像処理に対する順序入れ替え処理の一例を説明する図である。 本発明の実施の形態に係る画像処理装置が記憶する評価値の別の例を示す説明図である。

符号の説明

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、２１ 利用者指示受け付け部、２２ 処理方法決定部、２３ 順序入れ替え部、２４ 画像処理実行部。

Claims (8)

1. 画像処理の性能に関する複数の指標について、各指標をどの程度重視するかを示す優先度情報を利用者から受け付ける受け付け手段と、
   前記受け付けた優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行する画像処理実行手段と、
   を含むことを特徴とする画像処理装置。
2. 前記利用者の要求する画像処理を実現する複数種類の処理方式のそれぞれについて、前記複数の指標のそれぞれに対する評価値を記憶する手段と、
   前記受け付けた優先度情報と、前記記憶される各評価値と、に基づいて、前記複数種類の処理方式の中から一の処理方式を決定する決定手段と、
   をさらに含み、
   前記画像処理実行手段は、前記決定した処理方式により前記利用者の要求する画像処理を実行する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理実行手段は、前記受け付けた優先度情報に応じて決定される処理変数を用いて、前記利用者の要求する画像処理を実行する
   ことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像処理実行手段は、前記受け付けた優先度情報と、前記利用者の要求する画像処理の対象となる画像の属性情報と、に応じて定められる方法により、前記利用者の要求する画像処理を実行する
   ことを特徴とする請求項１から３のいずれか一項記載の画像処理装置。
5. 前記受け付け手段は、利用者から複数工程の画像処理を順に実行する旨の要求を受け付け、
   前記画像処理装置は、前記受け付けた優先度情報に応じて、前記受け付けた複数工程の画像処理の実行順序を入れ替える順序入れ替え手段をさらに含み、
   前記画像処理実行手段は、前記入れ替えた順序で前記複数工程の画像処理のそれぞれを実行する
   ことを特徴とする請求項１から４のいずれか一項記載の画像処理装置。
6. 前記順序入れ替え手段は、前記受け付けた複数工程の画像処理の中に画像を分離又は合成する処理が含まれる場合に、前記受け付けた優先度情報に応じて、前記画像を分離又は合成する処理と、当該画像を分離又は合成する処理の前又は後に実行するよう要求された画像処理と、の実行順序を入れ替える
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記順序入れ替え手段は、前記実行順序の入れ替えの結果、画像を分離する処理及び画像を合成する処理を連続して実行することとなる場合に、当該画像を分離する処理及び画像を合成する処理の実行を中止させる
   ことを特徴とする請求項６記載の画像処理装置。
8. 画像処理の性能に関する複数の指標について、各指標をどの程度重視するかを示す優先度情報を利用者から受け付ける受け付け手段、及び
   前記受け付けた優先度情報に応じて定められる方法により、利用者の要求する画像処理を実行する画像処理実行手段、
   としてコンピュータを機能させるためのプログラム。

Images