JP2009151371A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】簡便な処理で良好な画像処理結果を得ることができる画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】目標画像データ取得部２４２は、操作部１１からの入力操作により指定された画像処理を編集領域画像データに施すとともに、処理結果を目標画像データとして取得する。評価指標値算出部２６３は、画像処理手順によって画像処理された編集領域画像データと、目標画像データとの一致度を示す指標値を評価値として算出し、各画像処理手順に対応する指標値に基づいて各画像処理手順の適応度を評価する。次世代個体群生成部２６４は、評価指標値算出部２６３によって適応度が高いと判断される画像処理手順について、この画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングにより新たな画像処理手順を生成する。そして、指標値の算出および新たな画像処理手順の作成は所定の停止条件を満たすまで実行される。
【選択図】図２

Description

本発明は、処理対象画像に対して画像処理を実行する画像処理装置、画像処理方法、およびプログラムに関するもので、特に、遺伝的プログラミングを用いて生成された画像処理手順により画像処理を実行する技術に関する。

従来より、知識ベースおよび推論機構を用いて最適な画像処理コマンド列を生成する技術が知られている。また、ユーザーの要求情報に基づいて、画像処理コマンド群から適切なコマンド種別を選択し、コマンド実行順序を生成する技術も、従来より知られている。また、所定の条件に従ってソフトウエア部品を結合することにより、画像処理ソフトウエアを自動生成する技術も従来より知られている（例えば、特許文献１ないし３）。

さらに、遺伝的プログラミングを使用して、画像中から文字列を抽出する処理を自動構築する技術も、従来より知られている（例えば、特許文献４）。

特開平９−１７１５４９号公報 特開平１０−３４０３４６号公報 特開２０００−５６９５８号公報 特開２００４−３６２４４０号公報

ここで、いわゆるパーソナルコンピュータやワークステーションに読み込まれて使用される画像処理ソフトにおいて、画像の色変更やシャープネスの変更等の画像編集は、使用者により指定された画像処理コマンドおよびパラメータとに基づいて実行される。例えば、領域を指定することなく画像処理が実行されると、画像全体に対して画像処理が施される。また、使用者によって画像上の一部の領域が指定された場合、その指定された領域をマスク領域とし、このマスク領域に対して画像処理が施される。そして、画像処理が施されたマスク領域と、それ以外の領域とが合成されることにより、編集後の画像が形成される。

そして、このようなマスク領域を設定する等の画像編集作業には、画像処理に関する高度な知識が必要であり、画像処理に関する知識を有しない者にとっては非常に困難な作業となる。また、画像処理に関して高度の知識を有している者であっても、所望の編集結果を得るためには相当の工数が必要となり、使用者の作業効率低下という問題が生ずる。

そこで、本発明では、簡便な処理により良好な画像処理結果を得ることができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、処理対象画像データに対して画像処理を実行する画像処理装置であって、(a)使用者からの入力操作を受け付ける操作部と、(b)前記処理対象画像データのうち、前記操作部からの入力操作により指定された第１指定領域の画像データを、編集領域画像データとして取得する編集領域画像データ取得部と、(c)前記操作部からの入力操作により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する目標画像データ取得部と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する画像処理手順生成部とを備え、前記画像処理手順生成部は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する評価指標値算出部と、(d-2)前記評価指標値算出部によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する次世代画像処理手順生成部とを有するとともに、前記画像処理手順生成部による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする。

また、請求項２の発明は、請求項１に記載の画像処理装置において、(e)前記処理対象画像データのうち、前記操作部からの入力操作によって指定された第２指定領域の画像データを、非編集領域画像データとして取得する非編集領域画像データ取得部とをさらに備え、前記評価指標値算出部は、前記画像処理手順によって画像処理された前記非編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとして使用される前記非編集領域画像データと、の一致度を表示する第２指標値を評価値としてさらに算出するとともに、前記第１および第２評価指標値に基づいて各画像処理手順の適応度を評価することを特徴とする。

また、請求項３の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データ上の画素点における階調値と、前記目標画像データ上の対応する画素点における階調値と、の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする。

また、請求項４の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データ上の各画素点における階調値と、前記目標画像データ上の対応する画素点における階調値と、の差分２乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価することを特徴とする。

また、請求項５の発明は、請求項４に記載の画像処理装置において、前記重み係数は、前記評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、該エッジ画像データ上の対応する画素点の階調値であることを特徴とする。

また、請求項６の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、次の式１で示される評価値Ｈに基づいて評価することを特徴とする。

但し、Ｏ（ｘ、ｙ）は、処理対象画像データ上の画素点（ｘ、ｙ）における階調値を、Ｐ（ｘ、ｙ）は、目標画像データ上の画素点（ｘ、ｙ）における階調値を、Ｑ（ｘ、ｙ）は、評価対象画像データ上の画素点（ｘ、ｙ）における階調値を、Ｌは強調抑制係数Ｌを、それぞれ表す。

また、請求項７の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データの第１濃度ヒストグラムと、前記目標画像データの第２濃度ヒストグラムにつき、第１濃度ヒストグラムの各階調値における度数値と、第２濃度ヒストグラムの対応する階調値における度数値と、の差分２乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価することを特徴とする。

また、請求項８の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、エッジ抽出処理が施された前記評価対象画像データ上の各画素点における階調値と、エッジ抽出処理が施された前記目標画像データ上の対応する画素点における階調値と、の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする。

また、請求項９の発明は、請求項１または請求項２に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データを周波数領域に変換した第１画像データと、前記目標画像データを周波数領域に変化した第２画像データと、に基づいて評価すること特徴とする。

また、請求項１０の発明は、請求項１ないし請求項９のいずれかに記載の画像処理装置において、前記所定の停止条件を満たした場合、許容範囲内となる評価値に対応する画像処理手順を選択し、該選択された画像処理手順により画像処理された前記処理対象画像データを処理結果画像データとすることを特徴とする。

また、請求項１１の発明は、処理対象画像に所定の処理を行う画像処理方法であって、(a)使用者からの入力操作を受け付ける工程と、(b)前記処理対象画像データのうち、前記工程(a)により指定された第１指定領域の画像データを、編集領域画像データとして取得する工程と、(c)前記工程(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する工程と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する工程とを備え、前記工程(d)は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する工程と、(d-2)前記工程(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する工程とを有するとともに、前記工程(d)による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする。

また、請求項１２の発明は、処理対象画像に対して画像処理を実行させるコンピュータ読み取り可能なプログラムであって、前記コンピュータのＣＰＵに、(a)使用者からの入力操作を受け付ける機能と、(b)前記処理対象画像データのうち、前記機能(a)により指定された第１指定領域の画像データを、編集領域画像データとして取得する機能と、(c)前記機能(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する機能と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する機能とを実現させ、前記機能(d)は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する機能と、(d-2)前記機能(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する機能とを有するとともに、前記機能(d)による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行させることを特徴とする。

請求項１ないし請求項１２の発明によれば、画像処理装置の使用者は、（１）処理対象画像データの一部分として編集領域画像データを指定するとともに、（２）この編集領域画像データに使用者所望の画像処理が施された目標画像データを作成するだけで、遺伝的プログラミングに基づき、所望の処理結果を得ることができる画像処理手順を得ることができる。そのため、画像処理に関する知識を有しない者であっても、高度な画像編集処理を容易に実行することが可能となる。また、画像処理に関する高度な知識を有する者は、画像編集作業の工数を低減させることができ、使用者の作業効率を向上させることができる。

特に、請求項２の発明によれば、処理対象画像データの一部分として非編集領域画像データを指定するとともに、非編集領域画像データ、および処理対象画像データ上において非編集領域画像データと同様な属性を有する画像データに対して、画像処理が施されることを抑制できる。そのため、使用者のニーズにさらに適合した処理結果を得ることができる。

特に、請求項３の発明によれば、階調値の差分２乗値または差分絶対値を使用することにより、各画像処理手順の適応度を良好に評価することができる。

特に、請求項４の発明によれば、階調値の差分２乗値または差分絶対値にさらに重み係数を乗じており、画像全体の印象を決める重要な要素であるハイライト部（高明度部）やシャドウ部（低明度部）の評価を厳しくすることが可能となる。そのため、ハイライト部やシャドウ部に関して、使用者が望む画像編集を可能とする画像処理手順を高い精度で生成することができる。

特に、請求項５の発明によれば、エッジ抽出画像データによって重み付けを行っており、階調値が急峻に変換するエッジ部に関して、使用者が望む画像編集を可能とする画像処理手順を高い精度で生成することができる。

特に、請求項６の発明によれば、処理対象画像データも考慮に入れて画像の強調や抑制できため、使用者が望む画像編集を可能とする画像処理手順をさらに高い精度で生成することができる。

特に、請求項７の発明によれば、濃度ヒストグラムによって画像処理手順の適応度を評価を行うので、画像全体における階調値のバランスを重視した画像処理手順を生成することができる。

特に、請求項８の発明によれば、エッジ抽出画像データに基づいて画像処理手順の適応度を評価している。すなわち、目標画像データと評価対象画像データとの一致度が高い場合、対応する画像処理手順の適応度が高いと評価する。そのため、画像をゆがめる処理を行ったときなどに画像処理手順を高い精度で生成することができる。

特に、請求項９の発明によれば、目標画像データおよび評価対象画像データにつき、周波数領域における一致度に基づいて画像処理手順の適応度を評価することができる。そのため、目標画像データ全体におけるノイズや周波数成分毎の分布を考慮した画像処理手順を生成することが可能となる。

請求項１０の発明によれば、適応度の高い複数の画像処理手順のそれぞれから対応する処理結果画像データを生成することができる。そのため、使用者は、各処理結果画像データの中から最適なものを選択することが可能となる。

＜１．画像処理装置の構成＞
図１は、本発明の実施の形態に係る画像処理装置１の構成を概略的に示す図である。画像処理装置１は、読み込まれた画像データに対し、画像処理装置１の使用者（以下、単に、「使用者」または「ユーザ」と呼ぶ）が種々の画像処理を行うことができる装置である。画像処理装置１は、コンピュータによって実現されるのがその好適な一態様である。すなわち、画像処理装置１は、マウスやキーボードなどからなり、使用者からの入力操作を受け付ける操作部１１と、ディスプレイからなる表示部１２と、ハードディスクなどからなり、プログラム１３ｐを含む記憶部１３と、外部の装置との間で種々のデータの送受信を担う、例えば、ＬＡＮやＵＳＢ接続などが可能なインターフェース部１４と、ＤＶＤ−ＲＡＭやＤＶＤ−ＲＷ、あるいはマイクロドライブなどといった可搬性の記録媒体との間でデータのリード／ライトを行うリード／ライト部１５と、ＣＰＵ１６ａ、ＲＯＭ１６ｂ、ＲＡＭ１６ｃなどからなる制御部１６とを主として備えている。

＜２．画像処理装置の機能的構成＞
図２は、画像処理装置１において実現される機能的構成について示す図である。画像処理装置１においては、記憶部１３に格納されているプログラム１３ｐがＣＰＵ１６ａによって実行されることにより、制御部１６およびその他の各部の作用によって、機能的構成要素として、処理対象画像データ取得部２１と、データ保持部２２と、画像編集処理部２３と、指示情報取得部２４と、画像処理ライブラリ２５と、画像処理手順自動生成部２６とが主として実現される。

また、画像処理装置１における種々の操作は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）制御により行われる。すなわち、操作部１１を介して種々の処理用のメニューが表示部１２に呼び出され、使用者はその表示内容に基づいて、処理条件の設定や処理の実行指示、処理状況などの表示部１２への表示の指示、および、画像の編集作業などが行えるようになっている。

処理対象画像データ取得部２１は、画像処理装置１における画像処理の対象である処理対象画像データＤ１を取得する処理を担う。処理対象画像データＤ１の取得は、例えば、使用者によって操作部１１からなされる所定の実行指示に応答して、インターフェース部１４を介して該画像データの格納元から直接に行う態様であってもよいし、該画像データを記憶した記憶媒体からリード／ライト部１５にて取得する態様であってもよい。あるいは、複数の画像データをあらかじめ記憶部１３に読み込んでおき、その中から使用者が処理対象画像データＤ１を選択する態様や、画像編集処理部２３を利用して使用者によって作成または修正された画像データを直接読み込む態様であってもよい。さらに、これらの方法で取得した画像の一部の領域を指定し、該領域の画像データを処理対象画像データＤ１として用いる態様であってもよい。処理対象画像データ取得部２１によって取得された処理対象画像データＤ１はデータ保持部２２に格納される。

データ保持部２２は、処理対象画像データ取得部２１によって取得された処理対象画像データＤ１を格納するほか、後述する画像処理手順自動生成部２６での処理を行う際の処理条件に関する情報であって、後述する指示情報取得部２４によって取得される情報を指示情報Ｄ２として格納する。さらに、画像処理手順自動生成部２６の処理結果として生成される処理結果画像データＤ３についても格納する。

データ保持部２２に上述のような各種データを格納させておくことで、同じ処理対象画像データＤ１に対しての異なる条件での画像処理や、指示情報Ｄ２を変えずに異なる画像での画像処理、あるいは、処理条件を変えて行った複数の処理結果を処理結果画像データＤ３として格納させることができるようになっている。

なお、データ保持部２２の具体的構成は、画像処理装置１とデータの授受ができる態様であれば、特に限定されるものではない。また、必ずしも画像処理装置１と一体に設けられる必要はなく、別体のものであってもよい。

画像編集処理部２３は、画像に対して一般的な画像処理が行えるように構成されてなり、例えば、汎用な画像処理ソフトなどによって実現される機能的構成要素である。使用者は、操作部１１の操作により画像編集処理部２３に画像の編集内容を指示することで種々の一般的な画像編集を行うことができる。

指示情報取得部２４は、処理対象画像データＤ１に基づいて画像処理手順自動生成部２６の処理に際して用いる処理条件である指示情報Ｄ２を取得する処理を担う。画像処理手順自動生成部２６では、詳細は後述するが、使用者が指定した処理条件、すなわち、指示情報Ｄ２に基づいて、該処理条件を満足するような画像処理手順が生成される。指示情報取得部２４は、指示情報Ｄ２の取得を実現するため、編集領域画像データ取得部２４１と、目標画像データ取得部２４２と、非編集領域画像データ取得部２４３と、ユーザ意図情報取得部２４４とを備える。これらの機能的構成要素は、必要な画像や設定メニューを表示部１２に表示させつつ、ユーザによって操作部１１から入力された情報を取得する。

編集領域画像データ取得部２４１は、処理対象画像において、使用者が画像編集をしたいと考える領域の少なくとも一部分であって使用者によって指定された領域（編集領域：第１指定領域）の画像データ（編集領域画像データ）を取得する。すなわち、編集領域画像データ取得部２４１は、操作部１１からの入力操作により指定された編集領域の画像データを、編集領域画像データとして取得する。使用者は、編集領域として矩形やその他の任意の形状の領域を少なくとも１つ指定する。また、編集領域の指定の指定の仕方は、処理対象画像のある１画素を指定し、該画素の階調値を基準として指定した値幅の範囲内の階調値を持つ画素を一括に指定し編集領域とする方法等を選択することもできる。

図３は、処理対象画像における編集領域の指定の一例を示す図である。また、図３は、図４にグレースケールにて示す写真画像ＩＭを簡略かつ模式的に表した図である。図３において、ＩＭ１は処理対象画像を、矩形で囲まれた領域Ｔ１は使用者によって指定された編集領域を示す。また、（ａ）が示す砂地の領域は空の領域を模式的に表すものであり、他の（ｂ）〜（ｄ）の領域との階調値の違いが砂地でもって表されている。また、（ｂ）が示す無地の領域は山の領域を、（ｃ）が示す無地の領域は道の領域を模式的に表しており、階調値を無地で表している。（ｄ）が示す斜線の領域は草原を示しており、他の（ａ）〜（ｃ）の領域との階調値の違いが斜線をもって表わされている。なお、上述したように編集領域Ｔ１の形状は矩形に限られず任意であって構わない。

目標画像データ取得部２４２は、操作部１１からの入力操作により指定された画像処理を編集領域画像データに施すとともに、処理結果を目標画像データとして取得する。すなわち、目標画像データ取得部２４２は、編集領域画像データ取得部２４１にて取得された編集領域画像に対して、使用者が所望の画像編集を行った画像である目標画像の画像データを取得する。

使用者が編集領域を複数指定した場合は、各領域を個別に画像編集してもよいし、指定した複数の編集領域に対して一括に同様の編集を行ってもよい。また、複数の編集領域において、各領域の編集内容に矛盾があっても（例えば、一方の編集領域では青色を赤くする画像編集が行われ、他方の編集領域では青色を黄色くする画像編集が行われた場合）構わない。なお、画像処理手順自動生成部２６にて行われる処理では、画像編集の際に用いた画像処理の種類や方法、手順は問われない。

非編集領域画像データ取得部２４３は、処理対象画像データＤ１が示す画像において、使用者によって指定された領域であって、処理対象画像において使用者がそのままの画像を維持したいと考える領域（非編集領域：第２指定領域）の画像データ（非編集領域画像データ）を取得する。すなわち、非編集領域画像データ取得部２４３は、処理対象画像データＤ１のうち、操作部１１からの入力操作によって指定された非編集領域の画像データを、非編集領域画像データとして取得する。なお、使用者は、処理対象画像のままの画像を維持したいと考える領域全てを指定する必要はなく、該領域の一部分を指定しさえすれば構わない。

図５は、図３の処理対象画像ＩＭ１に対して、使用者が編集領域Ｔ１に画像編集を行った画像領域Ｔ２（目標画像領域Ｔ２）と、さらに、使用者が指定した非編集領域Ｔ３とを含む画像ＩＭ２が示された図である。編集領域Ｔ１を編集した目標画像領域Ｔ２が太線で囲まれた領域として示されており、編集領域Ｔ１に対して目標画像領域Ｔ２は、空を示す領域（ａ）の階調値を濃くする画像編集が使用者によって行われた様子が示されている。また、非編集領域Ｔ３は点線で囲まれた領域として示されている。

ユーザ意図情報取得部２４４は、画像処理手順自動生成部２６における処理を行うに際して、さらに、使用者によって設定可能な処理条件を取得する。主として、後述する評価指標値算出部２６３において実施される処理に関する処理条件を取得する。

画像処理ライブラリ２５には、種々の画像処理フィルタが、画像処理手順自動生成部２６で実行可能な形式にて記憶されている。これらの画像処理フィルタは、一般的な画像フィルタ、例えば、２値化のためのフィルタやＳｏｂｅｌフィルタ、ラプラシアンフィルタ、画像合成フィルタなどであって、画像処理ライブラリ２５には、基本的なものから高度のなものまでが蓄積されている。これらの画像処理フィルタは、画像処理手順自動生成部２６によって必要に応じて適宜に読み出される。

画像処理手順自動生成部２６（画像処理手順生成部）は、遺伝的プログラミングによって画像処理手順の自動生成処理を行う。すなわち、画像処理手順自動生成部２６は、処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する。

画像処理手順の自動生成処理を行う際の種々の処理条件は、処理対象画像データＤ１、指示情報取得部２４にて取得された指示情報Ｄ２、および、画像処理手順自動生成部２６においてあらかじめ組み込まれている処理条件に基づく。ユーザ意図情報取得部２４４において、使用者による指定が任意である処理条件であって、特に指定されなかったものについては、画像処理手順自動生成部２６にあらかじめ組み込まれている処理条件が用いられる。

図６は、本実施の形態で用いる画像処理手順を表す画像処理フィルタの組合せの一例を示す図である。図６に示される画像処理フィルタの組合せは、あらかじめ画像処理ライブラリ２５に格納されている画像処理フィルタを任意の形の木構造状に組み合わせることによって構成される木構造の画像処理フィルタ群によってなり、入力画像Ｉｎから出力画像Ｏｕｔへの画像処理を実現するものである。

図６に示す木構造の画像処理フィルタ群は、木構造の末端部であって、入力画像Ｉｎの入力が行われるノード（節）である終端記号Ｉｎ１〜Ｉｎ４と、１つまたは複数の画像の入力手段と１つの画像の出力手段とをもつ画像処理フィルタである非終端記号Ｆ１〜Ｆ７、Ｆ１０、Ｆ１００との２種類のノードによって構成される。Ｆ１〜Ｆ７は１つの画像を入力する画像処理フィルタ、Ｆ１０は２つの画像を入力する画像処理フィルタ、Ｆ１００は３つの画像を入力する画像処理フィルタを表す非終端記号である。入力画像は木構造における全ての終端記号Ｉｎ１〜Ｉｎ４より入力され、画像処理フィルタＦ１〜Ｆ７、Ｆ１０、Ｆ１００で順次画像処理、画像合成され、最終的に、画像処理フィルタＦ１００の処理を終えた１つの画像が出力される。このように木構造の画像処理フィルタ群は、終端記号と非終端記号の組合せにより、画像の領域や処理の目的毎に異なった複雑な画像処理手順を構築することができる。

入力画像がカラー画像、例えばＲＧＢ画像で表される画像の場合は、図６のような木構造の画像処理フィルタ群は、Ｒ、Ｇ、Ｂに対応した３つが必要となる。

図６において、画像処理フィルタＦ１００による処理を終えて出力された出力画像Ｏｕｔは、入力画像Ｉｎの処理結果として理想とされる目標画像と比較される。出力画像Ｏｕｔが目標画像に近いほど、その木構造の画像処理フィルタ群が優れていると評価する。評価方法については後述する。このように、入力画像Ｉｎに適用すると目標画像Ｔａｒとほぼ同じ出力画像Ｏｕｔを出力することができる木構造の画像処理フィルタ群、すなわち、評価の高い木構造の画像処理フィルタ群の決定が、遺伝的アルゴリズム（あるいは、遺伝的アルゴリズムを用いた遺伝的プログラミング）を用いて、以下で説明する画像処理手順自動生成部２６で行われる。

画像処理手順自動生成部２６は、画像処理手順の自動生成を行い、処理結果画像データＤ３をデータ保持部２２に出力する。画像処理手順自動生成部２６は、その機能を実現するため、初期世代個体群生成部２６１と、処理済画像データ生成部２６２と、評価指標値算出部２６３と、次世代個体群生成部２６４と、停止判定部２６９とを備える。

初期世代個体群生成部２６１は、所定数Ｎ個（ただし、Ｎは所定の自然数であり、その値は任意に設定することができる）の個体（所定数Ｎ個の画像処理フィルタ群）を生成して、これを初期世代の個体群として取得する。初期世代の個体群の生成の際、木構造の画像処理アルゴリズムを構成する非終端記号の個数や画像処理フィルタの個数は、所定の範囲内でランダムに決定される態様であっても、あらかじめ規定されている態様であってもよい。各個体の生成は、具体的には、終端記号と非終端記号とをランダムに組み合わせることによって実現される。

処理済画像データ生成部２６２は、各個体が示す画像処理手順に従い、所定の画像に対して画像処理を行って、その処理結果画像データをデータ保持部２２に出力する処理を担う。また、処理済画像データ生成部２６２においては、木構造の画像処理フィルタ群を画像に作用させる際に、処理対象画像全体に対して作用させることも、編集領域の画像に対してのみ作用させることも可能である。本実施の形態において、画像処理手順自動生成処理の最終的な処理結果の出力を除いては、編集領域画像に対して木構造の画像処理フィルタ群を作用させることによって処理速度の向上を図っている。

評価指標値算出部２６３は、算出された指標値に基づいて各画像処理手順の適応度を評価する。例えば、編集領域画像データのみが指定されている場合は、評価指標値算出部２６３は、画像処理手順によって画像処理された編集領域画像データを評価対象画像データとし、この評価対象画像データと、目標画像データとの一致度を表示する指標値（第１指標値）を評価値として算出するとともに、各画像処理手順に対応する指標値に基づいて各画像処理手順の適応度を評価する。

また、編集領域画像データと、非編集領域画像データと、が指定された場合、評価指標値算出部２６３は、画像処理手順によって画像処理された非編集領域画像データを評価対象画像データとし、この評価対象画像データと、目標画像データとして使用される非編集領域画像データと、の一致度を表示する指標値（第２指標値）を評価値としてさらに算出する。そして、評価指標値算出部２６３は、編集領域画像データに基づいて算出された第１指標値と非編集領域画像データに基づいて演算された第２指標値と、に基づいて各画像処理手順の適応度を評価する。

すなわち、評価指標値算出部２６３は、編集領域の画像に対して処理済画像データ生成部２６２の処理が施された画像（編集領域評価対象画像）と目標画像との類似の程度の評価、および、非編集領域の画像に対して処理済画像データ生成部２６２の処理が施された画像（非編集領域評価対象画像）と非編集領域画像との類似の程度を評価するための指標値を算出する処理を担う。

以下で述べる方法によって、２つの画像の類似の程度を評価する指標値を、各世代を構成するＮ個の個体のそれぞれについて算出する。指標値は、０に近いほど２つの画像の類似の程度が大きい、すなわち、評価として高くなり、大きな値を取る指標値ほど２つの画像が類似していないことを示す。

指標値を算出する一般的な方法としては、評価対象画像と目標画像あるいは非編集領域画像とで対応する各画素点における階調値の差分の絶対値、または差分の二乗値を算出し、これの値を画像全体で積算する方法（差分評価）がある。

この評価方法は、Ｈを指標値、ｘ、ｙをそれぞれ画像の画素点（ｘ、ｙ）とし、Ｐ（ｘ、ｙ）を目標画像あるいは非編集領域画像における（ｘ、ｙ）での階調値、Ｑ（ｘ、ｙ）を評価対象画像の（ｘ、ｙ）における階調値として、以下の式２で表される。Σは画像の全ての画素で和を取ることを示している。

式２に示すように、評価指標値算出部２６３は、評価対象画像データ（例えば、画像処理手順によって画像処理された編集領域画像データ）上の画素点における階調値と、目標画像データ（操作部１１からの入力操作により指定された画像処理が施された編集領域画像データ）上の対応する画素点における階調値と、の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価する。これにより、評価指標値算出部２６３は、各画像処理手順の適応度を良好に評価することができる。

また、本実施の形態では、上記のような指標値の算出方法のみならず、他に以下の算出方法も用いる。

上記の評価方法以外に本実施の形態では、式２で表される評価式に画像の階調に応じて重み係数Ｋ（Ｐ（ｘ、ｙ））を組み込んだ評価方法によって指標値を算出することができる。これは、以下の式３によって表されるものである。

式３に示すように、評価指標値算出部２６３は、評価対象画像データ上の各画素点における階調値と、目標画像データ上の対応する画素点における階調値と、の差分２乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価する。

図７は、重み係数Ｋの値の取り方についての一例を示す図である。図７においては、画像のハイライト部（高明度部）、あるいは、シャドウ部（低明度部）になるほど重み係数Ｋの値が大きくなるように、すなわち、評価対象編集領域画像と目標画像と、あるいは、評価対象非編集領域画像と非編集領域画像との比較に際して、ハイライト部とシャドウ部の画素値の違いが大きく評価されるように、重み係数Ｋが規定されている。コントラストの明確な部分は、画像全体を印象づける上重要な要因となっている。従って、このような重み係数Ｋを用いることによって、画像全体の印象に大きく影響する、画像のハイライト部とシャドウ部とにおける階調の変化は厳しく評価される一方、階調値の変化の目立ちにくい中間部については評価を緩くすることができる。なお、重み係数の選び方は上記のような選択に限られたものではなく、使用者が重要とする階調値の重みを大きくする態様であればよい。

また、本実施の形態では、評価対象編集領域画像と目標画像とを比較し指標値を算出する際に、評価対象編集領域画像と処理対象画像データＤ１との差異も考慮に入れ、式１で示す指標値を算出する方法も用いられる。

すなわち、Ｏ（ｘ、ｙ）を処理対象画像データ上の画素点（ｘ、ｙ）における階調値と、Ｐ（ｘ、ｙ）を目標画像データ上の画素点（ｘ、ｙ）における階調値と、Ｑ（ｘ、ｙ）を評価対象画像データ上の画素点（ｘ、ｙ）における階調値と、Ｌを強調抑制係数Ｌと、それぞれ表した場合、評価指標値算出部２６３は、次の式１で示される評価値Ｈに基づいて評価する。

Ｌが１より大きいと編集した内容はより強調され、一方、Ｌが１より小さいと編集は抑制され処理対象画像に近くなる。また、Ｌが１のときは、強調も抑制もされない。使用者が編集した目標画像は、必ずしも正解であるとは限らず、このため、編集後に編集を強調したり抑制したりすることがある。このような強調や抑制の編集処理も考慮に入れた評価を実現するために基画像（処理対象画像）も考慮に入れた評価を行って指標値の算出を行う。

図８は、式１による評価による強調・抑制の効果を示す概念図である。Ｐは目標画像の階調値、Ｑ１およびＱ２はそれぞれ異なる処理済画像の階調値を示しており、Ｑ１とＰとの階調値の差の絶対値およびＱ２とＰとの階調値の差の絶対値とは等しいことが示す図である。また、評価領域画像の階調値はＯで示されている。式２で表されるような通常の差分による画像評価では、目標画像の階調値Ｐに対して、異なる処理済画像の階調値Ｑ１およびＱ２に対する評価、すなわち、指標値は等しくなる。このような場合において、使用者は編集結果を強調したいのであれば、強調抑制係数Ｌを１より大きくすることによって目標画像の階調値ＰをＰ’の位置に押し上げることができる。これによって、Ｑ１よりＱ２の方がＰ’に近くなるため、Ｑ２の方がＱ１より高い適応値となる。すなわち、使用者は強調抑制係数Ｌを１より大きく設定することで、編集がより強調された画像が高い評価を得ることができるようになる。また、逆に強調抑制係数Ｌを１より小さくすると、目標画像の階調値ＰはＰ’’の位置に押し下げられることになり、より階調値の小さいＱ１が、階調値の高いＱ２より大きな適応値を持つものと評価される。したがって、強調抑制係数Ｌを１より小さい値に取ることで、目標画像に対してなされた編集を抑制された画像が高い評価、すなわち０に近い指標値を取ることができる。

また、本実施の形態では、評価対象編集領域画像と目標画像と、あるいは、評価対象非編集領域画像と非編集領域画像とについて濃度ヒストグラムを作成し、該濃度ヒストグラムにおける分布をそれぞれ比較することによって指標値を算出することができる。ｉ（ｉ＝０〜２５５）を階調値、ｈｐ（ｉ）を目標画像の濃度ヒストグラム、ｈｑ（ｉ）を評価対象編集領域画像の濃度ヒストグラムとすると、以下の式４によって目標画像と処理対象編集領域画像との比較、あるいは、非編集領域画像と処理対象非編集領域画像との比較を行う。

式４に示すように、評価指標値算出部２６３は、評価対象画像データのヒストグラム（第１濃度ヒストグラム）と、目標画像データのヒストグラム（第２濃度ヒストグラム）について、第１濃度ヒストグラムの各階調値における度数値と、第２濃度ヒストグラムの対応する階調値における度数値と、の差分２乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価する。

このような濃度ヒストグラムを用いた評価方法は、画像全体の階調のバランスを編集結果に一致させたい場合に用いるのが有効である。例えば、処理結果として基の画像の２値化画像のような画像、すなわち、ハイライト部とシャドウ部に画素が偏った画像にしたい場合に用いると有効な評価方法である。従来の評価方法では、ある領域と似通った領域のみ編集されるような画像処理フィルタ群の評価が高くなる傾向があるが、濃度ヒストグラムによる評価方法を用いることで、編集した領域の位置の影響を受けないような結果を得られる。

また、画像抽出したエッジ成分同士を比較することにより指標値の算出を行うことが可能である。エッジ画像によって重み付けを行う方法（式５）や、エッジ画像同士で直接比較する方法（式６）によって指標値を算出することができる。エッジ画像は一般的なラプラシアンフィルタなどで生成する。

エッジ重み係数Ｅ（ｘ、ｙ）を目標画像Ｐ（ｘ、ｙ）から抽出したエッジ画像とすると、エッジ画像によって重み付けを行う指標値の算出は、式５によって行われる。

すなわち、式５は、式３の重み係数Ｋ（Ｐ（ｘ、ｙ））として、評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、このエッジ画像データ上の対応する画素点の階調値Ｅ（ｘ、ｙ）を使用している。

式５の重み係数Ｅは、式２および式３が示す指標値の算出方法と違いエッジ画像に依存したものであるので、よりシャープな画像を高く評価できる。すなわち、画像において、階調値の変化の緩やかな部分の重要度を低くして指標値の算出を行う。従って、使用者が、目標画像の設定を行う際の画像編集で、シャープネス強調処理などを行った場合であって、画像の鮮鋭度を一致させたいと考える場合に有効な評価方法である。

また、評価対象編集領域画像と目標画像との、あるいは、評価対象非編集領域画像と非編集領域画像との、エッジ画像同士を直接比較する演算式は、Ｅｑ（ｘ、ｙ）を評価対象編集領域画像あるいは評価対象非編集領域画像におけるエッジ抽出画像、Ｅｐ（ｘ、ｙ））を目標画像あるいは非編集領域画像のエッジ抽出画像とすると、式６で示される。

式６に示すように、評価指標値算出部２６３は、エッジ抽出処理が施された評価対象画像データ上の各画素点における階調値と、エッジ抽出処理が施された目標画像データ上の対応する画素点における階調値と、の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価する。

この評価方法は、目標画像と処理対象編集領域画像との重なりの程度が大きい場合に高い評価をする評価方法であり、画像をゆがめるような編集を行うときに有効なものである。

また、比較を行う画像の周波数成分を取り出し、該周波数成分の差異を比較して指標値を算出することもできる。すなわち、評価指標値算出部２６３は、評価対象画像データを周波数領域に変換した画像データ（第１画像データ）と、目標画像データを周波数領域に変化した画像データ（第２画像データ）と、に基づいて評価する。この場合、編集箇所にとらわれず、画像全体のノイズや周波数成分毎の分布を合わせたい場合には、周波数成分を求めて指標値を算出する方法を用いることが有効である。周波数成分の算出には一般的なフーリエ変換等を用いる。

なお、上記の指標値の算出方法を複数用いることも可能である。これは、指標値の算出式の合成や、指標値の平均を取ることで実現される。例えば、使用者が、編集領域画像に対して、画像編集としてシャープネス処理を行った際には、エッジ抽出画像によって重み付けを行う方法（式５）とエッジ画像同士で直接比較する方法（式６）との組合せによって指標値を算出したり、さらに、色の修正も行った場合には、差分評価（式２）や重み係数Ｋを用いた差分評価（式３）で示される方法も組み合わせることにより、指標値を算出することが可能である。

以上の評価方法は、ユーザ意図情報取得部２４４において、使用者に選択させる。

次世代個体群生成部２６４（次世代画像処理手順生成部）は、評価指標値算出部２６３によって適応度が高いと判断される画像処理手順について、この画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する。例えば、次世代個体群生成部２６４は、同世代のＮ個の個体群に対して、後述する種々の遺伝子操作（自然淘汰、交叉、突然変異、エリート戦略）を行うことによって、あらたなＮ個の個体群を生成する。図２に示すように、次世代個体群生成部２６４は、その機能を実現するため、選択確率算出部２６５と、交叉処理部２６６と、突然変異処理部２６７と、エリート戦略処理部２６８とを備える。

選択確率算出部２６５は、同世代のＮ個の個体群に対して遺伝子操作を行うときに、どの個体に対して優先的に遺伝子操作を行うか示す選択確率を自然淘汰の原理に基づいて決定する。自然淘汰の原理とは、優秀な個体の遺伝子を優先的に次世代の個体に引き継がせていく原理であり、この場合は、同世代のＮ個の個体の中で、指標値が０に近い（評価の高い）個体ほど選択される確率を高くすることによって実現される。例えば、ある個体の指標値の逆数をその世代の全個体の指標値の逆数の和で割った値を用いる（ルーレット選択）。これは、個体ｉの指標値の逆数をｆｉとして、個体ｉが選ばれる確率をｐｉとすると、以下の式７で表される。

ルーレット選択による選択確率の決定は、指標値が０に近い個体のみならず、指標値が相対的に大きい個体についても選択されるので、生成される個体群の多様性を維持することが可能となる。

また、選択確率の決定方法については他の方法であってもよい。例えば、各個体を指標値の０に近い順に順位をつけ、順位毎に選択確率をあらかじめ決めておく方法（ランキング選択）や、あらかじめ決めた数だけ個体群の中からランダムで個体を取り出し、その中で最も指標値が０に近い個体を選択する方法（トーナメント選択）などが一般的によく用いられる。

交叉処理部２６６は、ペアとされた２つの個体を交叉させて、新たな個体を生成する処理を行う。所定の交叉位置（ただし、交叉位置は、木構造状の画像処理フィルタ群を構成する各ノードからランダムに選択された位置とする）より末端部分の部分木を入れ替えて、新たな個体を生成する処理である。これにより、各ペアからあらたな個体が２つ生成されることになる。

図９は、木構造の画像処理フィルタ群における交叉の一例を模式的に示す図である。図９においては、（ａ）と（ｂ）とに示される個体が交叉させられ、あらたに（ｃ）と（ｄ）に示される個体が生成される様子が示されている。（ａ）において交叉位置としてｐ１が、（ｂ）において交叉位置としてｐ２がランダムに選択され、（ａ）に示された木構造の画像処理フィルタ群のｐ１の位置より末端部分の部分木と、（ｂ）に示された木構造の画像処理フィルタ群のｐ２の位置より末端部分の部分木とが、交叉させられることによって（ｃ）と（ｄ）に示される個体があらたに生成される。

また、前述したように、ペアの選択は選択確率算出部２６５において決定された選択確率に基づいて行われるため、指標値が０に近い個体同士の交叉が行われる確率が高くなる。従って、交叉により生成された個体は指標値が０に近い個体ができやすい。これにより、世代が進むにつれて指標値が大きい個体が自然淘汰されていき、各世代における指標値平均は０に近づいていくものと思われる。

突然変異処理部２６７は、交叉により新たに生成された個体群の各ノードに対して、所定の確率（任意の確率値に設定可能である）でノードの変更や部分木の変更を行う。また、該ノードより末端部分のノードの削除を突然変異の内容として実施することもある。突然変異を行う個体も、突然変異の内容もランダムに決められる。

図１０は、木構造の画像処理アルゴリズムにおける突然変異の一例を模式的に示す図である。（ａ）は、木構造の画像処理フィルタ群において、ノードｐ５が突然変異の処理を行う位置として選択された様子を示している。また、（ｂ）においては、ｐ５で示される部分を、ランダムに生成されたｐ６で示される部分木に交換することによって、突然変異が実現されている。このように、木構造の画像処理フィルタ群におけるノードや部分木がランダムに変更されることによって、個体群の遺伝子の偏りを緩和することができる。

エリート戦略処理部２６８は、各世代において指標値の０に近い個体（エリート）をそのまま次の世代に残す処理を行う。これにより、指標値の最小値が大きくならないようにすることができる。次世代に残すエリート個体の数は任意であるが、エリートの遺伝子が集団の中に広まりすぎて個体群の多様性が失われるという恐れが出ない程度に調整される。

停止判定部２６９は、所定の停止条件を満たしているか否かを判定し、その判定によってあらたな個体群の生成を終了する。停止条件は、個体群の指標値の最小値が規定値を下回ったこと、世代数が規定値に達したことによって規定する態様であってもよいし、処理状況を表示部１２で使用者が参照し、使用者の意志で終了させる態様であってもよい。使用者の意志で終了させる態様としては、例えば、各世代のエリート個体が表す画像処理フィルタ群を編集領域画像データや処理対処画像データに作用させ、結果の画像を表示部１２に表示し、使用者が視認して納得のいく画像となった時点で画像処理手順の自動生成処理を終了すればよい。

このように、画像処理手順自動生成部２６について、評価指標値算出部２６３による指標値の算出、および、次世代個体群生成部２６４による新たな画像処理手順の作成は、所定の停止条件を満たすまで実行される。

図１１および図１２は、上記の指示情報Ｄ２に基づいて、画像処理手順自動生成部２６にて生成された画像処理手順によって生成された処理結果画像データＤ３の例であるＩＭ３およびＩＭ４を示す図である。図１１、図１２において、（ａ）〜（ｄ）の領域は、図３および図５と同様の領域を表している。図１１および図１２ではともに、（ａ）の領域においては、図５における目標画像領域Ｔ２の編集内容が反映された画像処理が行われている。すなわち、領域（ａ）全体が濃い砂地になるような処理結果になっている。また、図５における非編集領域画像Ｔ３で指定された領域を含む領域（ｄ）については、非編集領域画像Ｔ３を反映した処理結果、つまり、斜線で表される画像が領域（ｄ）全体で保たれるような処理結果になっている。

一方、領域（ｂ）に関しては、図１１においては図５の領域（ｂ）と同じ処理結果となっており、また、図１２においては、図５の領域（ｂ）とは異なる処理結果になっている。これは、評価指標値算出部２６３において、各個体の指標値が算出される際に用いられる画像は、図５における目標画像と非編集領域画像とであって、領域（ｂ）が異なるだけのＩＭ３とＩＭ４とを生成する画像処理フィルタ群の指標値は同じ値をとるためである。

本実施の形態において、指標値が高い複数の処理結果画像を処理結果として表示部１２に表示することにより、使用者がより望んでいる処理結果を選択することができる他、ユーザ意図情報取得部２４４において取得された、評価方法の種類や複数用いるかどうかの情報によって、編集領域あるいは非編集領域として指定されていない領域についても、精度よく使用者が望む処理結果画像に近い画像を生成可能にしている。

＜３．画像処理装置における処理の流れ＞
図１３は、画像処理装置１において行われる処理の概略的な流れを示す図である。始めに、画像処理装置１の画像処理の対象となる画像データを処理対象画像データＤ１として、処理対象画像データ取得部２１が取得する（ステップＳ１）。具体的には、画像処理装置１の使用者が画像処理の対象としたい画像データを特定し、操作部１１によって処理対象画像データ取得部２１に画像データの取得指示を与える。処理対象画像データ取得部２１が係る指示に応答して、該画像データを読み込むことで処理対象画像データＤ１が処理対象画像データ取得部２１によって取得される。取得された処理対象画像データＤ１は、データ保持部２２に一時的に保持されるとともに表示部１２に表示される。

続いて、使用者が、表示部１２に表示された処理対象画像に対して画像編集を行ったり、種々の項目からの選択や、パラメータ値を入力することによって、画像処理手順自動生成部２６での処理に必要な処理条件である指示情報Ｄ２が、指示情報取得部２４によって取得される（ステップＳ２）。

図１４は、ステップＳ２における指示情報Ｄ２取得の処理の流れの詳細を示す図である。まず、編集領域画像データの取得が、編集領域画像データ取得部２４１で行われる（ステップＳ２１）。

続いて、使用者によって編集された編集領域の画像データが、目標画像データとして、目標画像データ取得部２４２によって取得される（ステップＳ２２）。ステップＳ２１で指定した編集領域の画像に行う編集は、例えば、色相や明るさの変更、シャープネスの変更などや、異なる画像の挿入や描画・レタッチなどである。これらの編集過程は表示部１２に逐次表示される。

続いて、使用者によって指定された非編集領域の画像データが非編集領域画像データ取得部２４３によって取得される（ステップＳ２３）。

続いて、使用者によって設定されたユーザ意図情報の取得がユーザ意図情報取得部２４４によって取得される（ステップＳ２４）。

指示情報取得部２４は、ステップＳ２１〜ステップＳ２４にて取得された情報を指示情報Ｄ２としてデータ保持部２２へ送信する。

なお、指示情報Ｄ２の取得の流れは、図１４に示され流れに限定されるものではなく、例えば、非編集領域画像データの取得（ステップＳ２３）が、編集領域画像データの取得（ステップＳ２１）や目標画像データ（ステップＳ２２）より先に行われる態様であっても、ユーザ意図情報の取得（ステップＳ２４）の処理を他のステップより先に行われる態様であってもよい。

続いて、図１３に戻って、画像処理手順自動生成部２６にて、ステップＳ２で取得された指示情報に基づいて生成された木構造の画像処理フィルタ群を処理対象画像データＤ１に作用させた処理結果として、処理結果画像データＤ３が生成されデータ保持部２２へ出力される（ステップＳ３）。

図１５は、画像処理手順自動生成部２６における処理の詳細な流れを示す図である。はじめに、初期世代個体群生成部２６１が、初期世代を構成するＮ個の個体を生成する（ステップＳ３１）。ここで生成された各個体は、上述した通り、ランダムに選択された終端記号と非終端記号の組合せによって生成される。木構造状の染色体を、木の構造、入力画像の色、画像処理フィルタ、染色体の長さ、を全てランダムにして生成される。

続いて、処理済画像データ生成部２６２が、ステップＳ３１において生成された初期世代の各個体が示す画像処理フィルタ群を、ステップＳ２の処理で取得された編集領域画像データおよび非編集領域画像データに対して作用させる（ステップＳ３２）。これにより、各個体に対応した、それぞれ評価対象編集領域画像データ、および、評価対象非編集領域画像データを生成される。

続いて、評価指標値算出部２６３において、各個体に対応した、評価対象編集領域画像データと評価対象非編集領域画像データとが、それぞれ、目標画像データと非編集領域画像データと比較され、各個体の指標値が算出される（ステップＳ３３）。

続いて、停止判定部２６９にて、ステップＳ３３で算出された初期世代のＮ個の各個体の指標値のうち、最も大きな指標値を持つ個体の指標値が、あらかじめ規定された値より大きいか小さいかが判断される（ステップＳ３４）。初期世代の個体の指標値のうち最も小さい値が規定された値を下回ったときはステップＳ３４１の処理へ進み、大きいときはステップＳ３４７の処理へ進む。ステップＳ３４７については後述する。

続いて、選択確率算出部２６５において、以下で行われる交叉や突然変異の処理を実施する際に、どの個体を優先的に選択して該処理が行われるかの確率である選択確率が、各個体の指標値に基づいて算出される（ステップＳ３４１）。

続いて、交叉処理部２６６にて、所定の個体数を生成するまで交叉が行われる。選択確率に基づいて選ばれた２個体からあらたな個体が生成される（ステップＳ３４２）初期世代のＮ個の個体から、Ｎが偶数の場合は（Ｎ／２）−１組のペアが生成され、Ｎが奇数の場合は、（Ｎー１）／２組のペアが生成される。ペアになった２つの個体を交叉させてあらたな個体を生成する処理が交叉処理部２６６で行われる。ペアを作る際には、ステップＳ３４１で算出された選択確率を用いて選択された２つの個体で行い（Ｎが偶数の場合は、Ｎ−２個、Ｎが奇数の場合は、Ｎ−１個の個体を選択する）、選択されたＮ−２個（奇数の場合はＮ−１個）個体から、互いに異なる２つの個体をペアとして、（Ｎ／２）−１組（Ｎが奇数の場合は、（Ｎ−１）／２組）のペアを生成する。生成されたペアの各個体において、ランダムに選ばれたノードに対して、該ノードより末端部分の部分木を２個体間で交換する。以上により、Ｎが偶数の個体に対しては、Ｎ−２個の個体が、Ｎが奇数のとき個体に対してはＮ−１個の個体が交叉によりあらたに生成される。

続いて、突然変異処理部２６７が、ステップＳ３４２で生成された各個体の各ノードに対して、所定の確率で突然変異を起こす（ステップＳ３４３）。

さらに、エリート戦略により生成される次世代の個体数が初期世代の個体数Ｎと等しくなるようにエリート個体の選出がエリート戦略処理部２６８によって行われる（ステップＳ３４４）。ステップＳ３４２における交叉によって生成された個体数がＮ−２個のとき、エリート戦略によって１個の個体を補充するとともに、次に指標値が０に近い固体を１つ残すか、または、ランダムに生成した遺伝子を補充する。一方、生成された個体数（Ｎ−１）個の場合、エリート戦略によって１個の個体を補充する。ステップＳ３４２〜ステップＳ３４４の処理で、初期世代のＮ個の個体からあらたなＮ個の個体が生成され、これらは第２世代の個体とされる。

続いて、停止判定部２６９が、ステップＳ３４１〜Ｓ３４４までで生成されたあらたな個体に対して、所定の世代（第Ｇ世代）の個体が生成されたか否かを判断する（ステップＳ３４５）。すなわち、ステップＳ３２〜Ｓ３４４までの処理が所定回数（Ｇ−１回）実行されたか否かを判断する。ステップＳ３４５において、第Ｇ世代の個体が生成されていないと判断された場合、再びステップＳ３２の処理に戻る。ステップＳ３２に戻ったのちは、第２世代の個体群に対してあらたに第３世代を構成する個体群が生成されることになる。

続いて、ステップＳ３４５において、第Ｇ世代の個体が生成されたと判断された場合、各個体に対して、ステップＳ３２およびステップＳ３３で行われた処理と同様の処理によって、各個体の指標値が算出され、指標値の低い個体が抽出される。また、ステップＳ３４において、指標値が規定値を下回った場合も指標値の低い固体が抽出される（ステップＳ３４６）。すなわち、処理済画像データ生成部２６２が、生成された初期世代の各個体が表す画像処理フィルタ群を、編集領域画像データおよび非編集領域画像データに対して作用させ、それぞれ評価対象編集領域画像データ、および、評価対象非編集領域画像データを生成し、それぞれを比較することで各個体に対する指標値が算出される。各個体のうち、算出された指標値の小さな順に個体を少なくとも１つ所定数抽出する。また、所定の指標値を下回る値を持つ個体を抽出する態様であってもよい。

なお、上記においては、次世代の個体は、指標値に基づいて自然淘汰の原理によって選択された個体からペアを作り、そのペアを交叉させて生成する構成としているが、次世代の個体の生成方法はこれに限らない。例えば、指標値の小さい個体をそのまま次世代の個体として残す方法（エリート戦略）を採用してもよい。また、ランダムに次世代の個体を生成する方法を採用してもよい。

ステップＳ３４６において抽出された個体が示す画像処理フィルタ群を、処理対象画像データＤ１に作用させ、処理対象画像全体に対して画像処理が行われた画像を生成し、処理結果を処理結果画像データＤ３として、データ保持部２２に出力する（ステップＳ３４７）。

続いて、図１３に戻って、データ保持部２２に保持された処理結果画像データＤ３が、表示部１２に表示される（ステップＳ４）。使用者は、表示部１２に表示された処理結果画像を確認するとともに、処理結果画像が複数出力された場合は、もっとも望ましい処理結果である画像を選択することができる。以上で、画像処理装置における処理を終了する。

＜４．本実施の形態における画像処理装置の利点＞
以上のように、本実施の形態の画像処理装置１において、使用者は、（１）処理対象画像データＤ１の一部分として編集領域画像データを指定するとともに、（２）この編集領域画像データに使用者所望の画像処理が施された目標画像データを作成するだけで、遺伝的プログラミングに基づき、所望の処理結果を可能とする画像処理手順を得ることができる。そのため、画像処理に関する知識を有しない使用者であっても、高度な画像編集処理を容易に実行することが可能となる。また、画像処理に関する高度な知識を有する使用者は、画像編集作業の工数を低減させることができ、使用者の作業効率を向上させることができる。

また、本実施の形態の画像処理装置１は、処理対象画像データＤ１の一部分として非編集領域画像データを指定するとともに、非編集領域画像データ、および処理対象画像データ上において非編集領域画像データと同様な属性（明度等）を有する画像データに対して、画像処理が施されることを抑制できる。そのため、使用者のニーズにさらに適合した処理結果を得ることができる。

＜５．変形例＞
非編集領域画像データ取得部２４３によって取得される非編集領域画像データが、使用者の指定する非編集領域の基づくものではなく、使用者が指定した目標画像データに基づいて、非編集領域画像データ取得部２４３にて自動で決定される態様であってもよい。例えば、目標画像から特徴量（周波数成分やヒストグラム、階調値など）を抽出し、処理対象画像において、抽出した目標画像の特徴量と最も異なる領域を自動で抽出する態様であってもよい。

さらに、位置が近い（例えば、使用者が指定した編集領域の２倍の範囲内）複数の編集領域同士の外接矩形を取り、そこから該複数の編集領域を除いた領域を非編集領域とする態様であってもよい。

また、ユーザ意図情報取得部２４４において、各世代のエリート個体によって生成される画像の表示の可否を指定可能な態様であってもよい。

また、使用者が、画像処理手順自動生成部２６における処理中に指示情報Ｄ２を変更、あるいは、追加する態様であってもよい（突然変異）。

さらに、処理の途中過程で、エリート個体を作用させた画像を見て、評価方法、あるいは、指示情報Ｄ２の変更や追加、画像処理アルゴリズム自動生成処理の終了を指定できる態様であってもよい。

また、初期世代の個体群の生成や、突然変異を起こすノードの選択などに用いるランダム値を変更したうえで同様の画像処理アルゴリズム自動生成処理を複数回行い、複数の処理結果を表示し、その中から最適である処理結果画像を使用者に選択させる態様であってもよい。

また、交叉を行う際のペアの数やエリート戦略として残す個体の数は、各世代の個体数Ｎが保たれるのであれば、任意の数に変更可能である。

使用者が編集した意図により、画像評価方法が選択される。例えば、画像全体のバランスの一致や、テクスチャの一致を重視、ノイズの除去、などに対応した評価方法を、上述の評価方法の組合せをあらかじめ設定しておき、これを使用者が選択する態様であってもよい。

本実施の形態における画像処理装置の構成を概略的に示す図である。 本実施の形態の画像処理装置１によって実現される機能的構成について示す図である。 処理対象画像および編集領域を説明するための図である。 写真画像ＩＭを示す図である。 目標画像領域および非編集領域を説明するための図である。 木構造状の画像処理フィルタ群を概念的に示す図である。 重み係数Ｋの値の一例を示す図である。 強調抑制係数Ｌを説明するための図である。 交叉を説明するための図である。 突然変異を説明するための図である。 処理結果画像データＤ３を例示する図である。 処理結果画像データＤ３を例示する図である。 画像処理装置による画像処理シーケンスを説明するためのフローチャートである。 指示情報取得部による処理シーケンスを説明するためのフローチャートである。 画像処理手順自動生成部による処理シーケンスを説明するためのフローチャートである。

符号の説明

１ 画像処理装置
２１ 処理対象画像データ取得部
２４ 指示情報取得部
２６ 画像処理手順自動生成部
Ｄ１ 処理対象画像データ
Ｄ２ 指示情報
Ｄ３ 処理結果画像データ
ＩＭ１ 処理対象画像
Ｔ１ 編集領域
Ｔ２ 目標画像領域
Ｔ３ 非編集領域
ＩＭ３ 処理結果画像
ＩＭ４ 処理結果画像

Claims (12)

1. 処理対象画像データに対して画像処理を実行する画像処理装置であって、
   (a) 使用者からの入力操作を受け付ける操作部と、
   (b) 前記処理対象画像データのうち、前記操作部からの入力操作により指定された第１指定領域の画像データを、編集領域画像データとして取得する編集領域画像データ取得部と、
   (c) 前記操作部からの入力操作により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する目標画像データ取得部と、
   (d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する画像処理手順生成部と、
   を備え、
   前記画像処理手順生成部は、
   (d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する評価指標値算出部と、
   (d-2) 前記評価指標値算出部によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する次世代画像処理手順生成部と、
   を有するとともに、
   前記画像処理手順生成部による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   (e) 前記処理対象画像データのうち、前記操作部からの入力操作によって指定された第２指定領域の画像データを、非編集領域画像データとして取得する非編集領域画像データ取得部と、
   をさらに備え、
   前記評価指標値算出部は、
   前記画像処理手順によって画像処理された前記非編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとして使用される前記非編集領域画像データと、の一致度を表示する第２指標値を評価値としてさらに算出するとともに、
   前記第１および第２評価指標値に基づいて各画像処理手順の適応度を評価することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、
   前記評価対象画像データ上の画素点における階調値と、
   前記目標画像データ上の対応する画素点における階調値と、
   の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、
   前記評価対象画像データ上の各画素点における階調値と、
   前記目標画像データ上の対応する画素点における階調値と、
   の差分２乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記重み係数は、前記評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、該エッジ画像データ上の対応する画素点の階調値であることを特徴とする画像処理装置。
6. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、次の式１で示される評価値Ｈに基づいて評価することを特徴とする画像処理装置。
   但し、Ｏ（ｘ、ｙ）は、処理対象画像データ上の画素点（ｘ、ｙ）における階調値を、Ｐ（ｘ、ｙ）は、目標画像データ上の画素点（ｘ、ｙ）における階調値を、Ｑ（ｘ、ｙ）は、評価対象画像データ上の画素点（ｘ、ｙ）における階調値を、Ｌは強調抑制係数Ｌを、それぞれ表す。
7. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、前記評価対象画像データの第１濃度ヒストグラムと、前記目標画像データの第２濃度ヒストグラムにつき、
   第１濃度ヒストグラムの各階調値における度数値と、
   第２濃度ヒストグラムの対応する階調値における度数値と、
   の差分２乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価することを特徴とする画像処理装置。
8. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、
   エッジ抽出処理が施された前記評価対象画像データ上の各画素点における階調値と、
   エッジ抽出処理が施された前記目標画像データ上の対応する画素点における階調値と、
   の差分２乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。
9. 請求項１または請求項２に記載の画像処理装置において、
   前記評価指標値算出部は、
   前記評価対象画像データを周波数領域に変換した第１画像データと、
   前記目標画像データを周波数領域に変化した第２画像データと、
   に基づいて評価すること特徴とする画像処理装置。
10. 請求項１ないし請求項９のいずれかに記載の画像処理装置において、
    前記所定の停止条件を満たした場合、許容範囲内となる評価値に対応する画像処理手順を選択し、該選択された画像処理手順により画像処理された前記処理対象画像データを処理結果画像データとすることを特徴とする画像処理装置。
11. 処理対象画像に所定の処理を行う画像処理方法であって、
    (a) 使用者からの入力操作を受け付ける工程と、
    (b) 前記処理対象画像データのうち、前記工程(a)により指定された第１指定領域の画像データを、編集領域画像データとして取得する工程と、
    (c) 前記工程(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する工程と、
    (d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する工程と、
    を備え、
    前記工程(d)は、
    (d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する工程と、
    (d-2) 前記工程(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する工程と、
    を有するとともに、
    前記工程(d)による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする画像処理方法。
12. 処理対象画像に対して画像処理を実行させるコンピュータ読み取り可能なプログラムであって、
    前記コンピュータのＣＰＵに、
    (a) 使用者からの入力操作を受け付ける機能と、
    (b) 前記処理対象画像データのうち、前記機能(a)により指定された第１指定領域の画像データを、編集領域画像データとして取得する機能と、
    (c) 前記機能(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する機能と、
    (d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する機能と、
    を実現させ、
    前記機能(d)は、
    (d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第１指標値を評価値として算出するとともに、各画像処理手順に対応する前記第１指標値に基づいて各画像処理手順の適応度を評価する機能と、
    (d-2) 前記機能(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する機能と、
    を有するとともに、
    前記機能(d)による前記第１指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行させることを特徴とするコンピュータ読み取り可能なプログラム。