JP2009296140A

JP2009296140A - 画像処理装置、プログラムおよび画像処理方法

Info

Publication number: JP2009296140A
Application number: JP2008145832A
Authority: JP
Inventors: Hirofumi Nishida; 広文西田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-06-03
Filing date: 2008-06-03
Publication date: 2009-12-17
Anticipated expiration: 2028-06-03
Also published as: JP5006263B2

Abstract

【課題】画像データに対する予測した最適な処理パラメータをユーザに推奨することにより、ユーザが少ない操作で、所望の画像を得ることができる画像処理装置を提供する。
【解決手段】予測関数構築部１０４は、最適な処理パラメータ値の算出に用いる関数を、各事例データの周囲の処理パラメータ値の変化の状態である性質と、事例データ全体における特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて構築する。これにより、適用できる処理パラメータが連続値をとり、あるいは、候補が多数あるような場合であっても、関数に基づく画像データに対する最適な処理パラメータの算出を高精度で行うことができるので、画像データに対する予測した最適な処理パラメータをユーザに推奨することにより、ユーザが少ない操作（メニューからの選択やパラメータ設定）で、所望の画像を得ることができる。
【選択図】図２

Description

本発明は、画像処理装置、プログラムおよび画像処理方法に関する。

従来、カラースキャナやデジタルカメラの普及により、例えばデジタルカメラで撮影した画像データを印刷装置において出力するなど、画像データの入力装置と出力装置が異なる場合がある。出力装置においては、例えば背景色の補正などの画像データの特徴に応じた補正を行った後に画像データを出力するが、前述のように、入力装置と出力装置とが異なる場合には、画像の特徴を特定するのが困難な場合がある。

このような問題を解決するものとして、各画像データに適切な画像処理を施す画像処理装置が知られている（例えば、「特許文献１」参照）。この装置においては、例えばスキャナなどの画像機器より入力されたカラー文書画像データに対して、様々な用途に最適な画像データを生成するためのデータの管理や手続きを行うべく、処理のＵｎｄｏ（取消）やＲｅｄｏ（やり直し）などの処理履歴や状態を管理する。

また、画像処理の状態の遷移を出力することにより、ユーザに状態の遷移を視覚的、直感的に把握させる画像処理装置も開示されている（例えば、「特許文献２」参照）。

特開２００６−０５３６９０号公報特開２００６−０７４３３１号公報

ところで、画像処理の対象となる画像データの種類だけでなく、ユーザの嗜好や画像データの利用目的なども多様化してきている。例えば、地肌処理としては、地肌の色によらず白にする地肌除去および原本の色を保持したまま汚れや裏写りを取り除く地肌クリーニングがある。いずれを選択するかは、ユーザの嗜好による。

しかしながら、画像処理の内容やそのパラメータ等を逐一ユーザに選択させる構成とした場合には、ユーザの操作が煩雑になるとともに、作業効率も低下するという問題がある。

本発明は、上記に鑑みてなされたものであって、画像データに対する予測した最適な処理パラメータをユーザに推奨することにより、ユーザが少ない操作（メニューからの選択やパラメータ設定）で、所望の画像を得ることができる画像処理装置、プログラムおよび画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明の画像処理装置は、事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築する関数構築手段と、画像データを取得する画像データ取得手段と、取得した前記画像データの特徴量を算出する特徴量算出手段と、取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出する最適パラメータ値算出手段と、を備え、前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、ことを特徴とする。

また、請求項２にかかる発明は、請求項１記載の画像処理装置において、前記性質は、所定の前記事例データの周囲で、処理パラメータ値の変化が激しい時には、より大きい絶対値をとり、処理パラメータ値がほぼ一定の場合には、０に近い値をとる、ことを特徴とする。

また、請求項３にかかる発明は、請求項２記載の画像処理装置において、前記性質が０である場合には、所定の前記事例データの周囲で、前記処理パラメータ値が一定である、ことを特徴とする。

また、請求項４にかかる発明は、請求項１記載の画像処理装置において、前記寄与度は、所定の特徴次元が予測に及ぼす影響が大きい場合には、より大きい絶対値をとり、予測に及ぼす影響が小さい場合には、０に近い値をとる、ことを特徴とする。

また、請求項５にかかる発明は、請求項４記載の画像処理装置において、前記寄与度が０である場合には、所定の特徴次元が予測に全く寄与しない、ことを特徴とする。

また、請求項６にかかる発明のプログラムは、コンピュータを、事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築する関数構築手段と、画像データを取得する画像データ取得手段と、取得した前記画像データの特徴量を算出する特徴量算出手段と、取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出する最適パラメータ値算出手段と、として機能させ、前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、ことを特徴とする。

また、請求項７にかかる発明の画像処理方法は、画像処理装置で実行される画像処理方法であって、前記画像処理装置は、制御部と記憶部を備え、前記制御部において実行される、関数構築手段が、事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築するステップと、画像データ取得手段が、画像データを取得するステップと、特徴量算出手段が、取得した前記画像データの特徴量を算出するステップと、最適パラメータ値算出手段が、取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出するステップと、を含み、前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、ことを特徴とする。

本発明によれば、最適な処理パラメータ値の算出に用いる関数を、各事例データの周囲の処理パラメータ値の変化の状態である性質と、事例データ全体における特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて構築するようにしたことにより、適用できる処理パラメータが連続値をとり、あるいは、候補が多数あるような場合であっても、関数に基づく画像データに対する最適な処理パラメータの算出を高精度で行うことができるので、画像データに対する予測した最適な処理パラメータをユーザに推奨することにより、ユーザが少ない操作（メニューからの選択やパラメータ設定）で、所望の画像を得ることができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、プログラムおよび画像処理方法の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１１に基づいて説明する。図１は、本発明の第１の実施の形態にかかる画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣ（Personal Computer）などのコンピュータであり、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２、情報を格納するＲＯＭ（Read Only Memory）３及びＲＡＭ（Random Access Memory）４等の一次記憶装置５、データファイル（例えば、カラービットマップ画像データ）を記憶する記憶部であるＨＤＤ（Hard Disk Drive）６等の二次記憶装置７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置８、ネットワーク９を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１０、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１１、並びに操作者がＣＰＵ２に命令や情報等を入力するためのキーボード１２、マウス等のポインティングデバイス１３等から構成されており、これらの各部間で送受信されるデータをデータバス１４が調停して動作する。

なお、本実施の形態においては、画像処理装置１として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末、palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。

このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ２がＲＯＭ３内のローダーというプログラムを起動させ、ＨＤＤ６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ４に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。

ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ６に記憶している。この意味で、ＨＤＤ６は、画像処理プログラムを記憶する記憶媒体として機能する。

また、一般的には、画像処理装置１のＨＤＤ６等の二次記憶装置７にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体８ａに記録され、この記憶媒体８ａに記録されたアプリケーションプログラムがＨＤＤ６等の二次記憶装置７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体８ａも、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、例えばネットワークインターフェース１０を介して外部からダウンロードさせることにより、ＨＤＤ６等の二次記憶装置７にインストールするように構成しても良い。また、本実施の形態の画像処理装置１で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ２が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理である画像処理について以下に説明する。

なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。

ここで、画像処理装置１のＣＰＵ２が実行する画像処理について説明する。図２は、画像処理装置１のＣＰＵ２が実行する画像処理にかかる機能を示す機能ブロック図である。画像処理装置１は、機能構成として、画像データ取得部１００と、特徴量算出部１０１と、事例保持手段である事例データベース１０２と、最適パラメータ値算出部１０３と、予測関数構築部１０４と、処理内容出力部１０５と、指定受付部１０６と、画像処理部１０７と、変化検出部１０８と、を備えている。

画像データ取得部１００は、画像データ取得手段として機能するものであって、画像データを取得する。さらに、入力された画像データが文書に関するものである場合には、文書の傾きの補正、すなわちスキュー補正を施す。

特徴量算出部１０１は、特徴量算出手段として機能するものであって、画像データ取得部１００で取得した画像データを入力とし、画像データ全体における特徴量を算出する。ここで、特徴量としては、画像全体における文字の割合や、画像全体における絵の割合、文字と絵の散乱度、レイアウト密度などの統計情報がある。また、文字や絵の空間分布、色やエッジの分布および地肌色などがある。特徴量の計算手法としては、特開２００７−１９３５２８号公報に開示されているような手法を用いることができる。概略的には、入力した画像を同じ大きさの矩形ブロックに排他的に分割し、各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類した後に、すべてのブロックの分類結果をもとに画像全体の画像特徴量ベクトルを計算する。さらに、色や輝度の分布から得られる統計量、あるいは、エッジ強度の分布から得られる統計量などを加えて、多次元の画像特徴量ベクトルを構成する。特徴量算出部１０１は、画像全体の特徴量（画像特徴量ベクトル）を、事例データベース１０２と最適パラメータ値算出部１０３に出力する。

指定受付部１０６は、画像データ取得部１００が取得した画像データに対して施すべき処理内容の指定を受け付ける。なお、処理内容の指定は、ユーザからのキーボード１２やポインティングデバイス１３等を介した入力により行われる。処理内容には、処理の種類と、そのパラメータ等が含まれている。処理の種類としては、例えば、地肌色補正処理、空間フィルタ処理および解像度拡大処理などがある。

地肌色補正処理としては、地肌色を除く地肌除去、地肌の色を補正する地肌クリーニングがある。地肌除去については、特開２００４−３２０７０１号公報や特開２００５−１１０１８４号公報に記載されている。ここで、アルゴリズムやパラメータの集合をＡとすると、地肌色補正処理は、以下のように定義される。
Ａ＝｛地肌除去、地肌クリーニング、何もしない｝

空間フィルタ処理としては、処理対象画像の全面に平滑化処理、エッジ強調処理、適応フィルタリングがある。ここで、適応フィルタリングとは、画素ごとに異なる処理を行うものである。詳細については、特開２００３−２８１５２６号公報に記載されている。空間フィルタ処理は、以下のように定義される。
Ａ＝｛平滑化処理、エッジ強調処理、適応的フィルタリング、何もしない｝

解像度拡大処理としては、例えば、特開２００５−０６３０５５号公報に記載されているような文字の解像度を拡大するような処理、通常の画像補間がある。解像度拡大処理は、以下のように定義される。
Ａ＝｛文字解像度拡大、画像補間、何もしない｝

事例データベース１０２は、所定の画像データに対して、特徴量算出部１０１により得られた特徴量（画像特徴量ベクトル）と、指定受付部１０６を介して同一の画像データに対してユーザから指定された処理内容とを対応付けてユーザ毎に（ユーザＩＤを付して）格納する。事例データベース１０２は、特徴量（画像特徴量ベクトル）と処理内容との組み合わせを、処理内容が指定された順に時系列に沿って格納する。すなわち、事例データベース１０２は、式１で示されるような履歴情報Ｈを格納する。

ここで、ｘ_ｉはｉ番目の画像データから抽出された特徴量（画像特徴量ベクトル）である。ｆ_ｉはその画像データに適したアルゴリズムや処理パラメータ、すなわち処理内容である。Ｍは、事例の個数である。

また、特徴量（画像特徴量ベクトル）ｘ_ｉは、式２で示される。

ここで、Ｄは特徴次元の数である。

図３は、事例データベース１０２に登録された履歴情報の一例を示す図である。図３に示す例においては、画像データと、画像データから得られた特徴量と、画像データに対して指定された処理内容とが対応付けられている。また、画像データに対して指定された処理内容は、図４に示すように、地肌色補正処理（地肌除去、地肌クリーニング）、空間フィルタ処理（平滑化処理、エッジ強調処理、適応的フィルタリング）、解像度拡大処理（文字解像度拡大、画像補間）などの内容である。また、図４に示すように、画像データに対して指定される処理内容は、処理そのもののみならず、パラメータも含んでいる。図４に示す「地肌除去３」「エッジ強調１」等がパラメータである。

最適パラメータ値算出部１０３は、最適パラメータ値算出手段として機能するものであって、特徴量算出部１０１から出力された特徴量（画像特徴量ベクトル）を入力とし、詳細については後述する予測関数構築部１０４で構築された予測関数を用いて、画像データ取得部１００で取得した画像データに対する最適な処理パラメータ値（処理内容）を算出する。

予測関数構築部１０４は、関数構築手段として機能するものであって、事例データベース１０２に蓄積されたデータを用いて、未知データに対する最適な処理パラメータ値の算出に用いる予測関数を構築する。

処理内容出力部１０５は、最適パラメータ値算出部１０３で算出された推奨値である最適な処理パラメータ値（処理内容）を適用した処理結果を表示装置１１に表示して提示する。ユーザは、表示装置１１に提示された推奨値を適用した処理結果が気に入ったか、気に入らないかを、キーボード１２やポインティングデバイス１３等を介して入力する。もし、推奨値を適用した処理結果が気に入らない場合には、ユーザは、キーボード１２やポインティングデバイス１３等を介して処理パラメータ値（処理内容）を入力し直すことにより、指定受付部１０６は、画像データ取得部１００が取得した画像データに対して施すべき処理内容の指定を受け付ける。ユーザの応答結果は、事例データベース１０２に出力される。

画像処理部１０７は、指定受付部１０６により選択された処理内容または最適パラメータ値算出部１０３で算出された推奨値である最適な処理パラメータ値（処理内容）にしたがい、画像データ取得部１００で取得した画像データに対し画像処理を施す。

変化検出部１０８は、所定の期間、すなわち第１期間に事例データベース１０２に登録された画像データと処理内容の関係と、第１期間よりも後の期間である第２期間に事例データベース１０２に登録された画像データと処理内容の関係との間の変化の有無を検出する。そして、変化検出部１０８は、変化を検出した場合、事例データベース１０２の内容を更新する。なお、画像データには、画像データの特徴量（画像特徴量ベクトル）も含まれている。

図５は、画像処理装置１において、画像データの特徴量（画像特徴量ベクトル）と、処理内容とを事例データベース１０２に登録する履歴登録処理を示すフローチャートである。

まず、画像データ取得部１００は、画像データを取得する（ステップＳ１００）。次に、特徴量算出部１０１は、画像データ取得部１００が取得した画像データの特徴量（画像特徴量ベクトル）を算出する（ステップＳ１０２）。

図６は、特徴量算出処理（ステップＳ１０２）における詳細な処理を示すフローチャートである。特徴量算出部１０１は、画像データ取得部１００から取得した画像データを同じ大きさの矩形ブロックに排他的に分割する（ステップＳ１１０）。具体的には、画像データを同じサイズのブロック、たとえば、１ｃｍ×１ｃｍ（解像度が２００ｄｐｉであれば８０画素×８０画素、解像度が３００ｄｐｉであれば１２０画素×高さ１２０画素）の矩形に分割する。

次に、各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップＳ１１２）。具体的には、図７に示すように、まず、処理対象となるブロック画像を１００ｄｐｉ程度の低解像度に縮小した画像Ｉを生成するとともに（ステップＳ１２０）、解像度のレベル数Ｌを設定し（ステップＳ１２２）、解像度縮小レベルｋを初期化（ｋ←０）する（ステップＳ１２４）。このようなステップＳ１２０〜Ｓ１２４の処理を行うのは、図８に示すように、画像Ｉとともに、さらに低解像度化した画像からも特徴を抽出するためである。詳細は後述するが、例えば、解像度レベル数Ｌを２にした場合には、画像Ｉと、解像度が１／２の画像Ｉ₁と、解像度が１／４の画像の画像Ｉ₂との計３つの画像から特徴を抽出する。

解像度縮小レベルｋが解像度レベル数Ｌに達していない場合には（ステップＳ１２６のＹｅｓ）、ステップＳ１２０において生成した画像Ｉから解像度を１／２^kに縮小した画像Ｉ_k（ｋ＝０，・・・，Ｌ）を生成する（ステップＳ１２８）。次に、画像Ｉ_kを２値化する（ステップＳ１３０）。ただし、２値画像において、黒画素は値１、白画素は値０をとるとする。

次いで、２値化した解像度が１／２^kの画像Ｉ_kから、Ｍ次元の特徴量ベクトルｆ_kを計算した後（ステップＳ１３２）、解像度縮小レベルｋを“１”だけインクリメント（ｋ←ｋ＋１）する（ステップＳ１３４）。

ここで、画像Ｉ_k（ｋ＝０，・・・，Ｌ）を２値化した画像から特徴を抽出する方法を述べる。自己相関関数を高次（Ｎ次）へと拡張した「高次自己相関関数（Ｎ次自己相関関数）」は、画面内の対象画像をＩ（ｒ）とすると、変位方向（Ｓ₁，Ｓ₂，…，Ｓ_N）に対して、（式３）で定義される。

ここで、和Σは画像全体の画素rについての加算である。従って、高次自己相関関数は、次数や変位方向（Ｓ₁，Ｓ₂，…，Ｓ_N）の取り方により、無数に考えられる。ここでは、簡単のため高次自己相関関数の次数Ｎを“２”までとする。また、変位方向を参照画素ｒの周りの局所的な３×３画素の領域に限定する。平行移動により等価な特徴を除くと、２値画像に対して、図９に示すように特徴の数は全部で２５個になる。各特徴の計算は、局所パターンの対応する画素の値の積を全画像に対して足し合わせればよい。例えば、「Ｎｏ．３」の局所パターンに対応する特徴は、参照画素ｒでの濃淡値とそのすぐ右隣の点での濃淡値との全画像に対する積和を取ることによって計算される。このようにして、解像度が１／２^kの画像から、Ｍ＝２５次元の特徴量ベクトルｆ_kが（式４）により計算される。

上述したようなステップＳ１２８〜Ｓ１３４の処理は、ステップＳ１８でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超える迄（ステップＳ１２６のＮｏ）、繰り返される。

ステップＳ１３４でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超えた場合には（ステップＳ１２６のＮｏ）、特徴量ベクトルｆ₀，・・・，ｆ_Lをもとにして、ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップ１３６）。

ここで、ブロックの分類の方法について詳述する。まず、前述したＭ＝２５次元の特徴量ベクトルｆ_k＝（ｇ（ｋ，１），・・・，ｇ（ｋ，２５））（ｋ＝０，・・・，Ｌ）から（２５×Ｌ）次元の特徴量ベクトルｘ＝（ｇ（０，１），・・・，ｇ（０，２５），・・・，ｇ（Ｌ，１），・・・，ｇ（Ｌ，２５））を生成する。このようなブロックの特徴量ベクトルｘを用いて分類を行うためには、前もって学習を行うことが必要である。そこで、本実施の形態においては、学習用データを文字だけ含むようなものと文字を含まないようなものの２種類に分けて特徴量ベクトルｘを計算する。その後、それぞれの平均をとることによって、文字画素の特徴量ベクトルｐ₀と非文字画素の特徴量ベクトルｐ₁を前もって計算しておく。そして、分類しようとしているブロック画像から得られた特徴量ベクトルｘを、既知の特徴量ベクトルｐ₀とｐ₁の線形結合に分解すれば、その結合係数ａ₀，ａ₁が文字画素と非文字画素の比率、あるいは、ブロックの「文字らしさ」と「非文字らしさ」を表すことになる。このような分解が可能であるのは、高次局所自己相関に基づく特徴が画面内の対象の位置に不変で、しかも、対象の数に関して加法性を持つことによる。特徴量ベクトルｘは、（式５）のように分解される。

ここで、ｅは誤差ベクトルである。また、Ｆは（式６）により定義される。

最小二乗法により、最適な結合係数ベクトルａは、（式７）により与えられる。

各ブロックについて、「非文字らしさ」を表すパラメータａ₁について閾値処理することにより、そのブロックを「絵」、「絵でない」、「未定」に分類する。各ブロックについて、「未定」または「絵でない」に分類されていて、文字らしさを表すパラメータａ₀が閾値以上であれば「文字」に、そうでなければ「その他」に分類する。図１０にブロック分類の例を示す。図１０の例においては、黒部分は「文字」、グレイ部分は「絵」、白部分は「他」を表わしている。

再び説明を図６に戻す。“絵”“文字”“他”の３種類のいずれかへの分類の後、すべてのブロックの分類結果をもとに２０程度の数の画像特徴量を算出する（ステップＳ１１４）。画像特徴量としては、例えば、文字、絵の割合、密集率：レイアウトの混み方（狭いところに詰め込まれている度合い）、文字、絵の散乱度：文字や写真が紙面全体に散らばって分布している度合いがある。この場合、具体的には、以下の５つの値を画像特徴量として計算する。なお、特徴量算出部１０１は、これ以外にも多様な画像特徴量を算出する。特徴量算出部１０１は、２０種類程度、すなわち２０次元程度の特徴量を抽出する。多様なユーザによる処理内容の指定の履歴に応じて適切な処理内容を選択するような予測関数を作成する観点から、できるだけ多くの特徴量を利用するのが好ましい。
１．文字の割合Ｒｔ∈［０，１］：全ブロックの中で「文字」に分類されたブロックの割合
２．非文字の割合Ｒｐ∈［０，１］：全ブロックの中で「絵」に分類されたブロックの割合
３．レイアウト密度Ｄ∈［０，１］：「文字」と「絵」のブロック数の面積の和を、描画領域の面積で割ったもの
４．文字散乱度Ｓｔ（＞０）：文字ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの
５．非文字散乱度Ｓｐ（＞０）：絵ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの

次いで、最適パラメータ値算出部１０３は、特徴量算出部１０１から出力された特徴量（画像特徴量ベクトル）を入力とし、予測関数構築部１０４で構築された予測関数を用いて、画像データ取得部１００で取得した画像データに対する最適な処理パラメータ値（処理内容）を算出する（ステップＳ１０３）。

但し、予測関数を構築する際には、以下の４つの点を考慮する。
１．事例データベース１０２に格納されている履歴情報Ｈは、当該画像処理装置１の個々のユーザ、タスク、嗜好に依存する。したがって、オンサイトでの学習が必要になる。
２．画像処理装置１においては、学習に利用できる履歴情報は、比較的少ない（数十から百）ことを想定しなければならない。これは、オンサイトでは、ユーザの嗜好やタスクをできるだけ少ないデータから読み取り、即座に適応することが必要なことに起因する条件である。
３．特徴空間（文字の割合など）は多次元（数十から数百）である。予測に適した特徴だけを選択し、撹乱要因を取り除くための特徴選択機構、あるいは、各特徴次元への重み付けが必要である。また、個々の選択対象やユーザによって、予測に適した特徴部分集合が違うことを考慮する必要がある。
４．処理パラメータの取り得る値が、連続的、あるいは候補数が多い。

これに対し、最近傍法は、オンサイトでの学習に適しており、確率分布関数の形を仮定しない識別方法である。最近傍法は、現在処理しているものと最も似ている過去の事例を使った予測方式であり、類似データが増えるほど、予測精度が向上する。

さらに、学習データが少なく、特徴が多次元である問題については、最近傍法における距離尺度に、各特徴次元の予測に対する貢献度に応じた重み付けや、学習データ（特徴量と処理内容の組み合わせ）ごとの重要度に応じた重み付けによりデータ数と次元数の間のジレンマを解消することができる。そこで、本実施の形態においては、このような最近傍法、すなわち重み付き距離の学習を取り入れた最近傍法を利用する。

ここで、本実施の形態における最適な処理パラメータ値（処理内容）の算出について詳述する。前述したように、最適な処理パラメータ値（処理内容）は、予測関数構築部１０４で構築された予測関数を用いて算出される。具体的には、画像データ取得部１００で取得した画像データから計算された特徴量（画像特徴量ベクトル）をｙとし、下記に示す式８について、ｉ番目の事例である処理パラメータ値（処理内容）ｘｉとの距離の２乗Δ（ｙ，ｘ_ｉ）を、下記に示す式９のように計算する。

ただし、ｗ_ｄ（ｄ＝１，２，．．．，Ｄ）は、特徴ベクトルの各次元に決められる係数パラメータで、その決め方は後述する。事例の中で、Δ（ｙ，ｘ_ｉ）の小さい順にＫ個（Ｋは予め決める定数で自然数）選ぶ。選ばれた事例のインデックスを集めた集合をＮ（ｙ）とあらわし、それを「ｙの近傍」と呼ぶ。ｙの近傍の各要素ｋ∈Ｎ（ｙ）について、事例データとして事例データベース１０２に蓄積されている特徴量（画像特徴量ベクトル）と処理パラメータ値（ｘ_ｋ，ｆ_ｋ）を使って、特徴量（画像特徴量ベクトル）ｙで表される未知データに対する処理パラメータ値の算出に用いる予測関数ｇを、下記に示す式１０のように計算し、出力する。

ここで、ｖ_ｋ（ｋ＝１，２，．．．，Ｍ）は各事例データに対して決められる係数で、その決め方は後述する。また，＃Ｎ（ｙ）はｙの近傍の個数である。

式１０で示したように、未知データｙに対する処理パラメータ値を計算する際に用いる係数パラメータ、すなわち、ｉ番目の事例についての係数パラメータｖ_ｉと、ｊ番目の特徴次元についての係数パラメータｗ_ｊをデータから自動的に学習する。学習の基準は，Leave-One-Outで評価した誤差、すなわち、各事例データ（ｘ_ｉ，ｆ_ｉ）について、その近傍Ｎ（ｘ_ｉ）から式４により推定した値と、真の値ｆ_ｉの２条誤差を、すべての事例データｉ＝１，２，・・・，Ｍに足し合わせた下記の式に示す和Ｊを最小にすることである。

この評価値の最小化の計算には、最急降下法を用いる。

ここで、

ｖ_ｊ（ｊ＝１，２，．．．，Ｍ）とｗ_ｄ（ｄ＝１，２，．．．，Ｄ）のそれぞれについて、初期値を設定（たとえば、１）し、すべてのｖ_ｊとｗ_ｄが収束するまで、式１２と式１３により、ｖ_ｊ（ｊ＝１，２，．．．，Ｍ）とｗ_ｄ（ｄ＝１，２，．．．，Ｄ）を更新する計算を反復する。すなわち、最適な処理パラメータ値を予測する予測関数ｇを規定するパラメータが、簡単な反復計算によって求められる。

この反復計算により、ｖ_ｉとｗ_ｊは次のように求められる。
（１）ｊ番目の事例データの周囲で，処理パラメータ値の変化が激しい時には、ｖ_ｊの絶対値が大きくなり、処理パラメータ値がほぼ一定の場合には、０に近い値を取る。ｖ_ｊ＝０はその事例データ（ｘ_ｊ，ｆ_ｊ）の周囲で，処理パラメータ値が一定（ｆ_ｊ）であることを意味する。
（２）ｄ番目の特徴次元が予測に及ぼす影響がより大きければ、ｗ_ｄの絶対値はより大きい値をとり、反対に影響が小さい場合には、０に近い値を取る。ｗ_ｄ＝０はその特徴次元が予測にまったく寄与しないことを意味する。

すなわち、最適な処理パラメータ値の算出に用いる予測関数ｇは、各事例データの周囲のパラメータ値の変化の状態（変化が激しい時には絶対値が大きくなり、ほぼ一定の場合には０に近い値）と、事例データ全体における各特徴量の予測に及ぼす影響（影響が大きければ絶対値は大きくなり、影響が小さい場合には０に近い値）という、２つの要因を取り入れることによって、各データの性質と寄与度（重要度）に応じて、精度の高い予測が可能になる。

以上のような処理により、画像データ取得部１００で取得した画像データに対する最適な処理パラメータ値（処理内容）が算出される。

続くステップＳ１０４では、ユーザへの処理パラメータ値の出力とユーザからの入力に待機する。ここで、図１１はステップＳ１０４の処理の流れを示すフローチャートである。図１１に示すように、画像処理部１０７は、ステップＳ１０３で算出された最適な処理パラメータ値（処理内容）を推奨値として適用して画像処理を実行し（ステップＳ２０１）、処理内容出力部１０５は、記憶装置に保存された画像処理結果をユーザに表示装置１１に表示して提示する（ステップＳ２０２）。

ここで、推奨値を適用した処理結果が気に入らない場合に、ユーザが、キーボード１２やポインティングデバイス１３等を介して処理パラメータ値（処理内容）を入力し直した場合には、指定受付部１０６は処理内容の指定を受け付け（ステップＳ２０３のＹｅｓ）、画像処理部１０７は入力された処理パラメータ値（処理内容）に従って画像処理を実行する（ステップＳ２０４）。そして、処理内容出力部１０５は、適用した推奨値による画像処理の結果、または入力された処理パラメータ値（処理内容）による画像処理の結果を記憶装置（例えば、ＲＡＭ４やＨＤＤ６など）に保存する（ステップＳ２０５）。

上述のようにして画像処理が確定すると、図５に示すように、変化検出部１０８は、画像データと処理内容の関係との間の変化を検出すると、画像データの画像特徴とユーザ指定の処理パラメータ値（処理内容）とを、事例データベース１０２に追加登録する（ステップＳ１０５）。

最後に、予測関数構築部１０４は、事例データベース１０２に蓄積されたデータを用いて、未知データに対する最適な処理パラメータ値の算出に用いる予測関数を構築する（ステップＳ１０６）。予測関数構築部１０４は、前述したように、ｙの近傍の各要素ｋ∈Ｎ（ｙ）について、事例データとして事例データベース１０２に蓄積されている特徴量（画像特徴量ベクトル）と処理パラメータ値（ｘ_ｋ，ｆ_ｋ）を使って、特徴量（画像特徴量ベクトル）ｙで表される未知データに対する処理パラメータ値の算出に用いる予測関数を構築する。

このように本実施の形態によれば、最適な処理パラメータ値の算出に用いる関数を、各事例データの周囲の処理パラメータ値の変化の状態である性質と、事例データ全体における特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて構築するようにしたことにより、適用できる処理パラメータが連続値をとり、あるいは、候補が多数あるような場合であっても、関数に基づく画像データに対する最適な処理パラメータの算出を高精度で行うことができるので、画像データに対する予測した最適な処理パラメータをユーザに推奨することにより、ユーザが少ない操作（メニューからの選択やパラメータ設定）で、所望の画像を得ることができる。

また、ユーザの嗜好の変化に応じて、処理事例をデータベースに加えて、予測関数を更新することにより、オンサイト（稼動中の実機上）でも精度の高い予測が可能になる。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図１２および図１３に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

第２の実施の形態にかかる画像処理装置１は、複数枚の対象画像データに対して処理内容予測処理をバッチ的に行うようにした点で第１の実施の形態とは異なるものとなっている。

図１２は、本発明の第２の実施の形態にかかる画像処理装置１の画像処理にかかる機能を示す機能ブロック図である。図１２に示すように、第２の実施の形態にかかる画像処理装置１の機能としては、第１の実施の形態で説明した画像処理装置１の機能に加えて、さらに処理結果保持部１１０を備えている。処理結果保持部１１０は、画像処理部１０７により施された画像処理の処理結果を保持する。

図１３は、ステップＳ１０４の処理の流れを示すフローチャートである。図１３に示すように、画像処理部１０７は、ステップＳ１０３で算出された最適な処理パラメータ値（処理内容）を推奨値として適用して画像処理を実行し（ステップＳ２０１）、処理結果保持部１１０は、適用した推奨値による画像処理の結果を記憶装置（例えば、ＲＡＭ４やＨＤＤ６など）に保存する（ステップＳ３０１）。

そして、本実施の形態においては、上記ステップＳ２０１〜Ｓ３０１の処理を処理対象となる全ての画像データ（複数枚の入力画像）について処理を終えるまで（ステップＳ３０２のＹｅｓ）、処理を繰り返す。

処理対象となる全ての画像データ（複数枚の入力画像）について処理を終えると（ステップＳ３０２のＹｅｓ）、処理内容出力部１０５は、記憶装置に保存された画像処理結果をユーザに表示装置１１に表示して提示する（ステップＳ２０２）。ステップＳ２０３以降は、第１の実施の形態と同様であるので、説明は省略する。

このように本実施の形態によれば、全ての画像データ（複数枚の入力画像）をバッチ的に処理して、処理結果を記録装置に蓄えておき、全ての画像データ（複数枚の入力画像）を処理し終わると、処理結果をまとめてユーザに提示する。ユーザがすべての結果を了承した場合には、処理は完了する。一方、ユーザが気に入らない処理がある場合には、ユーザが処理パラメータ値を指定しなおして、処理をやり直す。処理をやり直した画像について、画像特徴量と処理パラメータ値を履歴・事例データベースに蓄積し、必要に応じて、予測器の学習を行う。

［第３の実施の形態］
次に、本発明の第３の実施の形態を図１４に基づいて説明する。なお、前述した第１の実施の形態または第２の実施の形態と同じ部分は同じ符号で示し説明も省略する。

図１４は、本発明の第３の実施の形態にかかる複合機５０の構成を示す斜視図である。第１および第２の実施の形態においては、画像処理装置１としてＰＣなどのコンピュータを適用したが、本実施の形態は、画像処理装置１としてデジタル複合機などに備えられる情報処理装置を適用したものである。

図１４に示すように、複合機５０は、画像読取装置であるスキャナ部５１及び画像印刷装置であるプリンタ部５２を備えている。この複合機５０は、他の実施の形態において説明した画像処理装置１の各機能を有している。

より具体的には、画像データ取得部１００は、スキャナ部５１で読み取ったスキャン画像を画像データおよび対象画像データとして取得し、処理内容予測にかかる各種処理を行う。

なお、第３の実施の形態にかかる複合機５０のこれ以外の構成および処理は、他の実施の形態にかかる画像処理装置１の構成および処理と同様である。

［第４の実施の形態］
次に、本発明の第４の実施の形態を図１５に基づいて説明する。なお、前述した第１の実施の形態または第２の実施の形態と同じ部分は同じ符号で示し説明も省略する。

図１５は、本発明の第４の実施の形態にかかる画像処理システム６０を示すシステム構成図である。第１および第２の実施の形態においては、画像処理装置１としてローカルなシステム（例えば、パーソナルコンピュータ単体）を適用したが、本実施の形態は、画像処理装置１としてサーバクライアントシステムを構成するサーバコンピュータを適用したものである。

図１５に示すように、画像処理システム６０は、サーバクライアントシステムであり、サーバコンピュータＳと、複数のクライアントコンピュータＣとがネットワークＮを介して接続されている。サーバコンピュータＳは、画像処理装置１における処理を行う。各クライアントコンピュータＣは、サーバコンピュータＳに対して画像を送信する。サーバコンピュータＳは、画像処理装置１の各機能を有している。さらに、ネットワークＮ上には、ネットワークスキャナＮＳが設けられている。サーバコンピュータＳの画像データ取得部１００は、各クライアントコンピュータＳまたはネットワークスキャナＮＳから画像データを取得する。

また、事例データベース１０２は、サーバコンピュータＳ以外のサーバ（図示せず）に保持されるものであっても良い。

なお、第４の実施の形態にかかる画像処理システム６０のこれ以外の構成および処理は、他の実施の形態にかかる画像処理装置１の構成および処理と同様である。

本発明の第１の実施の形態にかかる画像処理装置の電気的な接続を示すブロック図である。画像処理にかかる機能を示す機能ブロック図である。事例データベースに登録された履歴情報の一例を示す図である。事例データベースに登録された処理内容の一例を示す図である。履歴登録処理を示すフローチャートである。特徴量算出処理における詳細な処理を示すフローチャートである。分類処理における詳細な処理を示すフローチャートである。多重解像度処理を示す模式図である。高次元自己相関関数計算のためのマスクパターンの一例を示す図である。ブロック分類の例を示す模式図である。ステップＳ１０４の処理の流れを示すフローチャートである。本発明の第２の実施の形態にかかる画像処理装置の画像処理にかかる機能を示す機能ブロック図である。ステップＳ１０４の処理の流れを示すフローチャートである。本発明の第３の実施の形態にかかる複合機の構成を示す斜視図である。本発明の第４の実施の形態にかかる画像処理システムの全体構成を示す図である。

符号の説明

１画像処理装置
１００画像データ取得手段
１０１特徴量算出手段
１０２事例保持手段
１０３最適パラメータ値算出手段
１０４関数構築手段

Claims

事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築する関数構築手段と、
画像データを取得する画像データ取得手段と、
取得した前記画像データの特徴量を算出する特徴量算出手段と、
取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出する最適パラメータ値算出手段と、
を備え、
前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、
ことを特徴とする画像処理装置。
前記性質は、所定の前記事例データの周囲で、処理パラメータ値の変化が激しい時には、より大きい絶対値をとり、処理パラメータ値がほぼ一定の場合には、０に近い値をとる、
ことを特徴とする請求項１記載の画像処理装置。
前記性質が０である場合には、所定の前記事例データの周囲で、前記処理パラメータ値が一定である、
ことを特徴とする請求項２記載の画像処理装置。
前記寄与度は、所定の特徴次元が予測に及ぼす影響が大きい場合には、より大きい絶対値をとり、予測に及ぼす影響が小さい場合には、０に近い値をとる、
ことを特徴とする請求項１記載の画像処理装置。
前記寄与度が０である場合には、所定の特徴次元が予測に全く寄与しない、
ことを特徴とする請求項４記載の画像処理装置。
コンピュータを、
事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築する関数構築手段と、
画像データを取得する画像データ取得手段と、
取得した前記画像データの特徴量を算出する特徴量算出手段と、
取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出する最適パラメータ値算出手段と、
として機能させ、
前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、
ことを特徴とするプログラム。
画像処理装置で実行される画像処理方法であって、
前記画像処理装置は、制御部と記憶部を備え、
前記制御部において実行される、
関数構築手段が、事例保持手段に保持された画像データと当該画像データに対する処理内容を示す処理パラメータ値との組み合わせである事例データを用いて、未知の画像データに対する最適な処理パラメータ値の算出に用いる関数を構築するステップと、
画像データ取得手段が、画像データを取得するステップと、
特徴量算出手段が、取得した前記画像データの特徴量を算出するステップと、
最適パラメータ値算出手段が、取得した前記画像データの特徴量を入力とし、当該画像データに対する最適な前記処理パラメータを、前記関数を用いて算出するステップと、
を含み、
前記関数構築手段は、前記各事例データの周囲の処理パラメータ値の変化の状態である性質と、前記事例データ全体における前記特徴量の予測に及ぼす影響の度合いである寄与度という２つの要因に応じて前記関数を構築する、
ことを特徴とする画像処理方法。