JP2006093757A - 画像処理装置と撮像装置、および画像処理プログラム - Google Patents

Abstract

【課題】 ユーザがわかりやすく操作できる画像処理装置と撮像装置、および画像処理プログラムの提供。
【解決手段】 画像処理装置100は、感性語指定部101、目標値設定部102、パラメータ設定部103、階調変換部104、記憶部105、画質評価量算出部106、表示部107、領域指定部110、および制御部108から構成されている。画像処理装置100には、レンズ系111、ＣＣＤ112からなる撮影手段と、前記撮影手段で撮影された映像信号をデジタル信号に変換する前処理部113が付設されている。前処理部113は、前記撮影手段で撮影された映像信号に対して、Gain増幅、Ａ／Ｄ変換、ＡＦ、ＡＥ制御などの処理を行う。感性語指定部101は、感性語として“明る目、やや明る目、やや暗め”のようなファクターを指定する。
【選択図】 図１

Description

本発明は、例えばデジタルカメラにおいて撮影された画像の階調変換特性の補正を行う画像処理装置と撮像装置、および画像補正プログラムに関するものである。

画像の階調を好ましく補正する処理は近年様々に工夫がなされており、中には場所によって階調特性が異なるようにできる自由度の高いものや、結果が破綻しないように階調特性を制限できるものが提案されている。例えば、特許文献１においては、ヒストグラム均等化により算出される第一の階調変換特性と、あらかじめ定められた第二の階調変換特性の距離を算出し、距離に応じて第一の階調変換特性と第二の階調変換特性を合成して最終的な階調変換特性を得る処理が開示されている。

特に、画像中の場所に応じて階調特性を変えることの出来る階調変換処理においては、例えば特許文献２のように、画像を複数の領域に分割し、領域に応じて異なる階調変換処理を施すものも知られている。

特開2003-69821号公報 特許第3465226号

前記特許文献１では、処理の結果の仕上がりが使用者にとって満足できない場合の対策については触れられていない。さらに、そのような対策の一つの方法として、これらの階調変換処理の結果に影響を与えるパラメータを変更して、再度階調変換処理を行うようなインターフェースを使用者に提供することが考えられる。しかしながら、前述したような高度な階調変換処理においては特にパラメータの意味が直感的に把握しにくく、使用者に直接パラメータを直接操作させることが難しいという課題についても触れられていないという問題があった。また、特許文献２では、領域の分割をユーザがコントロールするのが難しいという課題についても触れられていないという問題があった。

本発明は上記問題点に鑑み、これらの自由度は高いがパラメータの意味が直感的に把握しにくい階調変換処理を利用する場合であっても、使用者がわかりやすく操作できる画像処理装置と撮像装置のインターフェース、および画像処理プログラムの提供を目的とする。

(1)上記目的を達成するために、本発明の実施形態にかかる画像処理装置は、画像データを表示するための表示手段と、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段と、感性語に対応した目標値を設定する目標値設定手段と、前記表示手段に表示された画像上の特定領域を指定する領域指定手段と、前記特定領域から画質評価量を算出する画質評価量算出手段と、前記画像データに対して、前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段と、前記領域指定手段で指定した前記処理結果画像上の領域から前記画質評価量算出手段を用いて算出した画質評価量、および前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記画像処理パラメータを修正し、再度画像処理を行うよう制御する制御手段と、を備えることを特徴とする。

この発明に関する実施の形態は、図１に記載の第１の実施形態例が対応する。（１）の構成の画像データを表示するための表示手段は表示部107、ディスプレイ109が、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段は感性語指定部101が、感性語に対応した目標値を設定する目標値設定手段は目標値設定部102が、前記表示手段に表示された画像上の特定領域を指定する領域指定手段は領域指定部110が、前記特定領域から画質評価量を算出する画質評価量算出手段は画質評価量算出部106が、前記画像データに対して、前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段は画像処理装置100が、前記領域指定手段で指定した領域から前記画質評価量算出手段を用いて算出した画質評価量、および前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記画像処理パラメータを修正し、再度画像処理を行うよう制御する制御手段は制御部108がそれぞれ該当する。

この発明は、画像データに対して画像処理を行う画像処理装置において、ユーザにより指定された画像の特定領域と、感性語の選択による指定領域に対する仕上がり具合を満たすように、画質目標値、画像処理パラメータを設定する。画像処理実行後、処理結果から算出した画質評価量が目標に達しない場合、再度画像処理パラメータを変更し画像処理を行う。この構成によれば、感性語の指定による仕上がり具合の調整が可能なため、ユーザが具体的な画像処理パラメータの意味を理解していない場合でも、直感的でわかりやすい操作を行うことが出来る。

（２）本発明の（１）の画像処理装置は、前記画像処理手段は、画像中の場所に応じて階調特性を変えることの出来る階調変換処理を行うことを特徴とする。この発明に関する実施の形態は、図１に記載の第１の実施形態例が対応する。（２）の構成の階調変換処理は、階調変換部104で行う。

この発明は、画像中の場所に応じて階調特性を変えることの出来る階調変換処理を行う画像処理装置において、ユーザにより指定された画像の特定領域と、感性語の選択による指定領域に対する仕上がり具合を満たすように、画質目標値、画像処理パラメータを設定する。画像処理実行後、処理結果から算出した画質評価量が目標に達しない場合、再度画像処理パラメータを変更し画像処理を行う。この構成によれば、画像中の場所に応じて階調特性を変えることが出来る階調変換処理において、パラメータの意味が直感的に把握しにくく、ユーザにパラメータを直接操作させることが難しい場合であっても、感性語の指定による仕上がり具合の調整が可能なため、直感的でわかりやすい操作を行うことが出来る。

（３）本発明の（１）の画像処理装置は、前記感性語指定手段で指定する感性語は、感性語“明るさ”,“コントラスト”,“白飛び、黒潰れ（飽和度)”,“優先順位”のうち、少なくとも1つを含むことを特徴とする。この発明に関する実施の形態は、図５、図６に記載の第１の実施形態例が対応する。（３）の構成の感性語“明るさ”,“コントラスト”,“白飛び、黒潰れ（飽和度)”,“優先順位”は、スライダ１６、またはチェックマークで指示される項目が該当する。

この発明は、ユーザが指定する感性語として“明るさ”、“コントラスト”、“白飛び”、“黒潰れ”、“優先順位”を設定する。この構成によれば、ユーザが感覚的に把握しやすい感性語による仕上がり具合の指標として“明るさ”、“コントラスト”、“白飛び”、“黒潰れ”、“優先順位”を指定することが出来る。

（４）本発明の（１）の画像処理装置は、前記感性語指定手段で指定した内容を前記表示手段に表示することを特徴とする。この発明に関する実施の形態は、図5に記載の第１の実施形態例が対応する。（４）の構成の表示手段は、メニューウィンドウ１５が該当する。この発明は、ユーザが指定した各領域に対する感性語を表示されている画像上に直接表示する。この構成によれば、画像上に直接表示することで、ユーザが指定した内容を視覚的にわかりやすく理解できるようにする。

（５）本発明の（１）の画像処理装置は、前記感性語指定手段は選択された複数領域に対して同時に前記感性語を指定できることを特徴とする。この発明に関する実施の形態は、図5に記載の第１の実施形態例が対応する。（５）の構成の選択された複数領域に対して同時に前記感性語を指定することは、図5の表示パネル１０に表示された複数領域に対して、メニューウィンドウ１５で感性語を指定することが該当する。この発明は、ユーザが画像上の複数領域を選択し、各領域に共通して感性語の指定を一度に行う。この構成によれば、ユーザが同じ画像処理効果を期待する複数領域に対して、一度の操作で感性語の指定が可能となる。

（６）本発明の（１）の画像処理装置は、前記領域指定手段は前記画像データ中の任意の注目点を指定することで前記注目点が含まれる領域を指定できることを特徴とする。この発明に関する実施の形態は、図5、図7に記載の第１の実施形態例が対応する。（６）の構成の画像データ中の任意の注目点を指定することは、図７のSTEP4_2、4_3の手順が該当する。この発明は、表示画像中の任意の点を選択するとその点を含む領域を自動的に選択する。この構成によれば、ユーザが領域を選択する際に、領域内の画素をマウスで選択することで、自動的に領域を選択することが可能となる。

（７）本発明の（１）の画像処理装置は、前記領域指定手段は指定した領域を前記表示手段に表示することを特徴とする。この発明に関する実施の形態は、図4に記載の第１の実施形態例が対応する。（７）の構成の指定した領域を前記表示手段に表示することは、図4の表示パネル１０に表示された領域が該当する。この発明は、ユーザが領域を選択した際に、選択した領域を表示手段上に表示する。この構成によれば、ユーザが選択した領域を視覚的にわかりやすく理解できるようにしている。

（８）本発明の（１）の画像処理装置は、前記領域指定手段は前記画像データ中の全領域を指定することを特徴とする。この発明に関する実施の形態は、図6、図7に記載の第１の実施形態例が対応する。（８）の構成の画像データ中の全領域を指定することは、図7のSTEP4_1の手順が該当する。この発明は、全ての領域をあらかじめ選択し、一括して仕上がり具合を指定する。この構成によれば、画像中の全領域に対して一括して仕上がり具合を指定することが出来る。

（９）本発明の（１）の画像処理装置は、前記表示手段は原画像と結果画像の差分画像を表示することを特徴とする。この発明に関する実施の形態は、図5、図7に記載の第１の実施形態例が対応する。（９）の構成の差分画像を表示することは、図8のSTEP12_3の手順が該当する。この発明は、画像処理実施後に処理結果画像と原画像との差分画像を生成し、表示手段上に表示する。この構成によれば、ユーザが原画像と処理結果画像の差分画像を確認することで、領域毎の処理結果の違いについて視覚的にわかりやすく理解できる。

（１０）本発明の（１）の画像処理装置は、前記領域指定手段は事前に領域分割を行い、指定した注目点を含む領域を領域として自動設定することを特徴とする。この発明に関する実施の形態は、図5、図7に記載の第１の実施形態例が対応する。（１０）の構成の事前に領域分割を行うことは図7のSTEP2_1の手順が該当し、指定した注目点を含む領域を領域として自動設定することは図7のSTEP3_2の手順が該当する。この発明は、原画像に対して、自動的に領域分割を行った後、分割された領域内の任意画素の指定によって、領域を指定する。この構成によれば、ユーザが領域分割結果を確認しつつ、領域の指定が可能となる。

（１１）本発明の（１）の画像処理装置は、前記領域指定手段は領域を指定する際に、指定した前記注目点の周りの所定形状を領域として自動設定することを特徴とする。この発明に関する実施の形態は、図5、図7に記載の第１の実施形態例が対応する。（１１）の構成の指定した前記注目点の周りの所定形状を領域として自動設定することは、図7のSTEP4_4、の手順が該当する。この発明は、領域を指定する際に、任意の画素の指定により、自動的に画素周りの所定形状を領域として設定する。この構成によれば、ユーザが自由に領域範囲を選択することが出来る。

（１２）本発明の（１）の画像処理装置は、前記領域指定手段は任意の領域について膨張縮小処理を行うことを特徴とする。この発明に関する実施の形態は、図5、図7に記載の第１の実施形態例が対応する。（１２）の構成の任意の領域について膨張縮小処理を行うことは、図7のSTEP3_4の手順が該当する。この発明は、領域分割結果に対して、任意の領域について膨張縮小処理を行う。この構成によれば、ユーザが希望する正確な領域指定を行うことが出来るようになる。

(１３) 本発明の第１の実施形態にかかる撮像装置は、画像を撮影して画像データに変換する撮影手段と、前記画像データを表示するための表示手段と、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段と、前記感性語に対応した目標値を設定する目標値設定手段と、前記表示手段に表示された画像上の特定領域を指定する領域指定手段と、前記特定領域から画質評価量を算出する画質評価量算出手段と、前記画像データに対して前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段と、前記領域指定手段で指定した前記処理結果画像上の領域から前記画質評価量算出手段を用いて算出した画質評価量と前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記処理パラメータを修正し、再度画像処理を行うよう制御する制御手段と、を備えることを特徴とする。

この発明に関する実施の形態は、図1に示される第1 の実施形態例が対応する。上記構成の画像を撮影して画像データに変換する撮影手段は、レンズ系111、ＣＣＤ112前処理部113が該当する。また、画像データを表示するための表示手段は表示部107、ディスプレイ109が、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段は感性語指定部101が、感性語に対応した目標値を設定する目標値設定手段は目標値設定部102が、前記表示手段に表示された画像上の特定領域を指定する領域指定手段は領域指定部110が、前記特定領域から画質評価量を算出する画質評価量算出手段は画質評価量算出部106が、前記画像データに対して前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段は画像処理装置100が、前記領域指定手段で指定した領域から前記画質評価量算出手段を用いて算出した画質評価量、および前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記画像処理パラメータを修正し、再度画像処理を行うよう制御する制御手段は制御部108がそれぞれ該当する。

この発明の好ましい適用例は、図1に示された撮像装置である。この発明は、撮像装置の内部に、撮影された画像の階調変換特性の補正を行う手段を設けるものである。このため、使用者がわかりやすく操作できる撮像装置を得ることができる。

（１４）本発明の第1の実施形態にかかる画像処理プログラムは、コンピュータに、
（ａ）画像データに対して、ＧＵＩにより指定された画像処理効果を感覚的に表現した感性語に対応する所定の画像処理パラメータを設定する手順と、
（ｂ）前記設定された画像処理パラメータに基づき前記画像データに対して画像処理を施して処理結果画像を生成する手順と、
（ｃ）前記ＧＵＩにより前記処理結果画像上の特定領域を指定する手順と、
（ｄ）前記指定した特定領域に対して画質評価量を算出する手順と、
（ｅ）前記算出した画質評価量と、前記感性語に対応して設定される画質目標値とを比較する手順と、
（ｆ）前記比較結果に基づき前記画像処理パラメータを修正して再度画像処理を行う手順を実行させることを特徴とする。

この発明に関する実施の形態は、図7、図8に示される第1 の実施形態例が対応する。（１４）の構成で、（ａ）画像データに対して、ＧＵＩにより指定された画像処理効果を感覚的に表現した感性語に対応する所定の画像処理パラメータを設定する手順は、図８のSTEP7が、（ｂ）前記設定された画像処理パラメータに基づき前記画像データに対して画像処理を施して処理結果画像を生成する手順は、STEP8が、（ｃ）前記ＧＵＩにより前記処理結果画像上の特定領域を指定する手順と、（ｄ）前記指定した特定領域に対して画質評価量を算出する手順は、STEP9が、（ｅ）前記算出した画質評価量と、前記感性語に対応して設定される画質目標値とを比較する手順は、STEP10が、（ｆ）前記比較結果に基づき前記画像処理パラメータを修正して再度画像処理を行う手順は、STEP8〜STEP10のループ処理が、それぞれ対応する。

（１５）本発明の第２の実施形態にかかる画像処理プログラムは、コンピュータに、
（ａ）画像処理対象である画像データを読み込む手順と、
（ｂ）前記画像データの領域分割処理を行う手順と、
（ｃ）所望の分割結果を得るために各領域の大きさを調整する手順と、
（ｄ）前記各領域に対して感性語による仕上がり具合の指定を行う手順と、
（ｅ）前記各領域に対する階調変換処理を開始させる手順と、
（ｆ）前記感性語から画質目標値を設定する手順と、
（ｇ）デフォルトパラメータを設定する手順と、
（ｈ）前記設定されたパラメータを基に階調変換処理を実行し処理結果画像を得る手順と、
（ｉ）前記処理結果画像から画質評価値を算出する手順と、
（ｊ）評価関数により前記（ｆ）で算出された画質目標値と画質評価値を評価し、評価関数の値が所定の値より大きい場合はパラメータ修正を行って再度（ｈ）から（ｊ）を繰り返す手順と、
（ｋ）前記評価関数の値が所定の値より小さい場合は画像保存処理を行う手順と
を実行させることを特徴とする。

この発明に関する実施の形態は、図7、図8に示される第1 の実施形態例が対応する。（１５）の構成で、（ａ）画像処理対象である画像データを読み込む手順はSTEP1が、（ｂ）前記画像データの領域分割処理を行う手順はSTEP2が、（ｃ）所望の分割結果を得るために各領域の大きさを調整する手順はSTEP3が、（ｄ）前記各領域に対して感性語による仕上がり具合の指定を行う手順はSTEP4が、（ｅ）前記各領域に対する階調変換処理を開始させる手順はSTEP5が、（ｆ）前記感性語から画質目標値を設定する手順はSTEP6が、（ｇ）デフォルトパラメータを設定する手順はSTEP7が、（ｈ）前記設定されたパラメータを基に階調変換処理を実行し処理結果画像を得る手順はSTEP8が、（ｉ）前記処理結果画像から画質評価値を算出する手順はSTEP9が、（ｊ）評価関数により前記（ｆ）で算出された画質目標値と画質評価値を評価し、評価関数の値が所定の値より大きい場合はパラメータ修正を行って再度（ｈ）から（ｊ）を繰り返す手順はSTEP10が、（ｋ）前記評価関数の値が所定の値より小さい場合は画像保存処理を行う手順はSTEP11が、それぞれ対応する。

（１６）本発明の第２の実施形態にかかる画像処理プログラムは、コンピュータに、前記画像保存処理された画像に対して、原画像、処理結果画像、または差分画像を確認させる手順をさらに付加して実行させることを特徴とする。この発明に関する実施の形態は、図7、図8に示される第1 の実施形態例が対応する。（１６）の構成で、画像保存処理された画像に対して、原画像、処理結果画像、または差分画像を確認させる手順は、図8のSTEP12_2、12_3がそれぞれ該当する。

（１４）〜（１６）の実施形態にかかる発明は、画像信号処理を画像処理プログラムによりコンピュータで実現させるものである。このため、迅速にしかも正確で高精度な画像信号処理を実現させることが可能となる。

本発明においては、自由度は高いがパラメータの意味が直感的に把握しにくい階調変換処理を利用する場合であっても、使用者がわかりやすく操作できる画像処理装置と撮像装置、および画像処理プログラムが得られる。

以下、本発明の実施の形態について図を参照して説明する。図1は第１の実施形態例の構成図、図2は第１の実施形態例におけるGUIアプリケーション画面構成の説明図、図3は第１の実施形態例における初期画面の説明図、図4は第１の実施形態例における領域範囲設定画面の説明図、図5は第１の実施形態例における領域条件設定画面の説明図、図6は第１の実施形態例における全領域条件設定画面の説明図、図7、図8は第１の実施形態例におけるフローチャートである。

図1は、本発明の第１の実施形態例を撮像装置に適用した例を示す構成図である。図1の構成図に示されているように、画像処理装置100は、感性語指定部101、目標値設定部102、パラメータ設定部103、階調変換部104、記憶部105、画質評価量算出部106、表示部107、領域指定部110、および制御部108から構成されている。

画像処理装置100には、レンズ系111、ＣＣＤ112からなる撮影手段と、前記撮影手段で撮影された映像信号をデジタル信号に変換する前処理部113が付設されている。前処理部113は、前記撮影手段で撮影された映像信号に対して、Gain増幅、Ａ／Ｄ変換、ＡＦ、ＡＥ制御などの処理を行う。前処理部113でデジタル変換された映像信号は、画像処理装置100の記憶部105に保存される。図1の構成において、レンズ系111、ＣＣＤ112からなる撮影手段と、前処理部113を省略して、画像処理装置100を独立した構成とすることもできる。

図1に示すように、目標値設定部102は感性語指定部101から感性語を入力し、目標値をパラメータ設定部103に出力する。パラメータ設定部103は、この他に画質評価量算出部106から画質評価量を入力し、階調変換部104に前記目標値と画質評価量の比較結果を出力する。画質評価量算出部106は、領域指定部110から画像上の特定領域を入力し、記憶部105から選択された画像を入力する。

階調変換部104は、記憶部105から前記選択された画像を入力し、またパラメータ設定部103からデフォルトパラメータ入力して、階調変換結果を記憶部105に出力する。表示部107は、記憶部105から階調変換結果を入力する。制御部108は、これら各部と双方向に接続し、各部の動作を制御する。さらに、表示部107、感性語指定部101、制御部108および領域指定部110は、それぞれディスプレイ109ないしマウス110に接続しており、ディスプレイに画像やGUIを表示してマウスでユーザーとやりとりするインターフェースを構成する。

以下、画像処理装置100の作用について、図7、図8のフローチャートに基づいて順次説明する。（ａ）STEP1:
最初に、制御部108はGUIアプリケーションを呼び出しディスプレイ109に表示する。図2にGUIアプリケーション操作画面の構成図を示す。操作画面は、図2に示されているように、初期画面Ａ、領域範囲設定画面Ｂ、領域毎条件設定画面Ｃ、全領域条件設定画面Ｄで構成される。図3に示す初期画面では、画像データの選択、読み込み処理を行う(STEP1_1)。図示しないGUI表示により、ユーザーが階調変換処理の対象となる画像をマウス110で選択すると、制御部108は選択された画像を記憶部105から読み出し、表示部107がディスプレイ109上に表示されている画像表示パネル10へ画像を表示する。

画面上には領域分割を行う領域範囲設定作業、特定領域に対して希望する明るさ、およびコントラスト、飽和の程度を指定する領域毎条件設定作業というような、それぞれの作業に対応する操作画面へ移行するためのボタンが表示されている。これらのボタンに対してマウス110を用いてクリックすることにより、対応する操作画面へ移行することが出来る。

また、後述する領域選択の際の所定形状設定が予めされているかどうかを検知し(STEP1_2)、設定されていなければ領域範囲設定ボタン11の押下により（STEP2_1）、図4に示す領域範囲設定画面へ移行する。また、所定形状が設定されている場合にはSTEP4_1の処理へ移行し、領域条件設定ボタン12、または全領域条件設定ボタン13を押下する。

（ｂ）STEP2:
領域範囲設定画面では階調変換処理の前処理として領域分割を行うが、領域分割アルゴリズムとしては公知の方法を用いればよい。本実施例では、例えば単純領域拡張法等の手法を用いて、原画像から明度、コントラストなどの特徴量を基に一様と考えられる領域を割り出している(STEP2_1)。各領域に関する領域情報はマスク情報（後述）として保持され、画質評価量算出の際に用いられる。

画像に対して領域分割処理を行った結果は図4に示すように画像表示パネルに表示される。ユーザは領域分割結果に応じて領域範囲の修正を行うかどうか判断し、それに対応したGUI操作を行う(STEP2_2)。ユーザが期待する結果が得られた場合はSTEP4へ移行し、得られなかった場合はSTEP3へ移行する。

（ｃ）STEP3:
ユーザが期待した領域分割結果が得られなかった場合はGUI操作を用いて範囲調整を行うことが出来る。その場合は任意の領域内注目画素をマウス110でクリックする(STEP3_1)とクリック位置から注目画素が含まれる領域を自動選択(STEP3_2)し、領域上にメニューウィンドウ13が表示される(STEP3_3)。メニューウィンドウ13上では、例えば領域間での平均輝度や平均コントラスト等任意の特徴量に対する閾値をスライダ14を用いて調整する(STEP3_4)ことで、領域毎の拡大縮小処理が可能となっている。また、各領域に対する設定は領域上に例えばツールチップ20等を用いて表示される(STEP3_5)。

複数の領域に対して一度の操作で拡大（膨張）縮小処理をすることが可能であってもよい。その場合は、選択したい複数領域はShiftキーを押しながらマウス110によりクリックすることで選択することができ、選択した領域中の任意の点をマウス110でクリックすることにより前記のメニューウィンドウ13が表示される。本メニューウィンドウで指定した閾値の設定は複数領域全体に反映される。

（ｄ）STEP4:
領域条件設定ボタンを押下すると、図5の領域条件設定画面へ移行する（STEP4_1）。領域条件設定画面では表示された画像を見ながら任意の領域を指定し、その領域に対して希望する明るさおよびコントラスト領域毎の処理の優先度、飽和の程度を指定する。領域に対して条件設定指示を行わない場合はSTEP5へ移行し、条件設定を行う場合は以下の手順に従う(STEP4_2)。

最初に、マウス110を用いて任意の領域内注目画素をクリックする(STEP4_3)と、クリック位置から自動的に注目画素が含まれる領域を自動選択(STEP4_4)し、領域上にメニューウィンドウ15が表示される(STEP4_5)。メニューウィンドウ15上のスライダ16には程度を表す感性語が付与されている。

本発明において、画像処理結果の仕上がり具合に対する主観的印象を表現する語句を感性語として定義する。例えば本実施例では明るさに関する感性語として“明る目、やや明る目、やや暗め”、コントラストに関する感性語として“ぼかす、ややぼかす、ややくっきり、くっきり"、各領域に対する処理の優先度に関する感性語として”優先度低、優先度中、優先度高“、飽和の程度をあらわす感性語として”白飛びしない、黒つぶれしない“のようなファクターを用いている。

ただし、これらに限らず処理結果の仕上がりを表現可能な語句であれば感性語として適用できることは言うまでもない。このように、本発明においては、前記感性語を、利用者の画像処理結果の仕上がり具合に対する主観的印象の度合いを、設定された種々のファクターの大小、または強弱で表現するものとして用いている。

メニューウィンドウ上15上の感性語を選択することで、領域ごとの明るさ、コントラスト、各領域の処理の優先度や、飽和の程度（白飛び、黒潰れの程度）の指定が可能である。同様にメニューウィンドウ15上には白飛び、黒潰れ防止チェックボックス17が表示される。これらのチェックボックス17をチェックすることで、処理の結果、選択領域が白飛び、または黒潰れしないよう処理結果に反映させることが可能である。

このように、ユーザは感性語の選択により仕上がり具合を調整することができる(STEP4_6)。本GUIにより、ユーザは画像処理に伴う具体的なパラメータを意識しなくてもよく、直感的なわかりやすいインターフェースを構成することができる。また、階調変換部で領域分割を行う場合でも、それと無関係にユーザが好みの領域指定を行える利点がある。

複数の領域に対して、同様の感性語を指定することが可能であってもよい。その場合は、選択したい複数領域をShiftキーを押しながらマウス110によりクリックすることで選択することができる。選択した領域中の任意の点をマウス110でクリックすることにより、前記のメニューウィンドウ15が表示される。本メニューウィンドウで指定した感性語は、複数領域全体に反映される。

また、各領域に対する設定は、領域上に例えばツールチップ20等を用いて表示される(STEP4_7)。全領域毎条件設定ボタン23を押下する(STEP4_1)と、図6に示す全領域条件設定画面へ移行する。領域条件設定画面では、全領域に対して希望する明るさ、およびコントラスト、領域毎の処理の優先度、飽和の程度を感性語により指定する。感性語の種類、指定方法は前記メニューウィンドウ15上の項目と同様である(STEP4_2〜4_7)。

本実施例ではあらかじめ領域分割を行い、分割結果を基に領域の選択を行っているが、あらかじめ領域形状、（例えば矩形や円形など）を設定しておき、画像上からマウス110により指定した注目点の周りに所定形状による領域を形成することで領域の指定を行ってもよい。前述のように画像読込み処理(STEP1_1)後、所定形状が設定されている場合(STEP1_2)は、STEP2には移行せず、STEP4へ移行する。

（ｅ）STEP5:
上述の領域範囲設定、ならびに感性語による仕上がり具合の指定を作業を所望するM個所（Mは１以上の整数）の領域に対して行った後、ユーザーは処理開始ボタン18をクリックする。

（ｆ）STEP6:
すると、感性語指定部101は、指定されたM個の領域各々に対し、GUIにより指定された３種類の設定値を目標値設定部102に伝える。また同時に、各領域の重要度を目標値設定部102に伝える。目標値設定部102は、各領域ごとに、内部のLUTから３種の設定値に対する３種類の画質評価量の目標値を読み出して、パラメータ設定部103に出力する。

（ｇ）STEP7:
同時に、各領域の重要度に応じた重みと、３種類の設定値を重要視する順番に応じた重みとを内部のLUTから読み出して、パラメータ設定部103に出力する。以下、J番目の領域のｋ番目の画質評価量の目標値をTjk、その重みをαk、領域自体に対する重みをβjと記す。(jは1からMまで、kは1から3までの整数）画質評価量の具体的な意味については後述する。重みαkはメニューウィンドウ上に並んだ順番に設定されているが、図示しないオプションメニューによりユーザが自由に設定できる。

パラメータ設定部103は、画質評価量の目標値が入力されると、まずデフォルトのパラメータを階調変換部104に出力する。階調変換部104は例えば場所ごとに異なる階調変換を施すような自由度の高いものであり、パラメータがp1〜pNのN個あるとする。パラメータ設定部103から入力されるデフォルトパラメータもしたがってN個であり、これらはパラメータ設定部103内部のROMに保持されている。

（ｈ）STEP8:
階調変換部104はパラメータ設定部103からデフォルトパラメータの入力を受けると、記憶部105から前述のユーザーに選択された画像を読み出し、階調変換処理を行って結果を記憶部105の所定のメモリエリアに書き込む。

（ｉ）STEP9:
すると、次に画質評価量算出部106が所定のメモリエリアに書き込まれた階調変換結果の画像を読み出す。同時に、領域指定部110が、ユーザーが指定したM個の領域のマスク情報を画質評価量算出部106に出力する。これらの情報に基づいて、画質評価量算出部106は各領域Jごとに三種類の画質評価量Ejkを算出する。(jは1からMまで、kは1から3までの整数）

ここで算出される画質評価量は、種々の項目がありうるが、本実施の形態例では以下の三つを算出する。なお、算出の際には、領域指定部110から得られた各領域のマスク情報を用いる。J番目の領域に対するマスク情報Mj(x,y)は、画素位置(x,y)の画素がJ番目の領域に属す場合1、属さない場合0の値をとる。(ここで、jは1からMまでの整数）

（Ｉ）平均輝度レベルEj1： 画像の各画素(x,y)の輝度値V(x,y)を算出し
、それらの平均値を以下の式（１）、
Ej1 = ΣMj(x,y)*V(x,y)/ΣMj(x,y) （１）
で計算する。

（ＩＩ）平均コントラストEj2：まず、画像からエッジを検出して所定の閾値
以上のエッジ強度を持つ画素の集合Sを定める。次に、Sの各画素を中心とし所定の正方形に含まれる画素の和集合をとってSを拡張してS'とする。そして、S'においてMj(x,y)が1となる画素のみを選択し、各画素の輝度からS'をJ番目の領域に制限した輝度ヒストグラムhjを得る。最後に、輝度ヒストグラムhjの分散vjを求め、J番目の領域のコントラスト評価値とする。

（ＩＩＩ）飽和度Ej3: Mj(x,y)が1となる画素(x,y)の値が所定の範囲（例えば
8ビットの画素値に対し5から250の範囲）を外れているかどうか調べ、外れている画素の数OjをJ番目の領域に属する（つまりMj(x,y)が１の）画素の数で割って飽和度を求める。

各領域に対する画質評価量Ejkの算出が終了すると、画質評価量算出部106はこれらの値をパラメータ設定部103に出力する。

（ｊ）STEP10:
パラメータ設定部103は、画質評価量算出部106から画質評価量Ejkが得られると、Ejkを目標値設定部102から出力された目標値Tjkと比較し、なるべく両者が近づくようにパラメータp1からpNを更新する。そのために、パラメータ設定部103はパラメータに対する評価関数Fを以下の式（２）、
F(p1,...pN) = Σj Σk αk * βj * |Ejk-Tjk| （２）
のように算出する。ただし、jは1からMまで、kは1から3までの和をとる。|x|はxの絶対値を表す。

そして、評価関数Fが所定の値より小さいかどうか比較し、小さければ制御部108に制御を返す。小さくない場合は、Fが出来るだけ小さくなるような方向にパラメータp1からpNを微小変異させ、新たなパラメータp1',...pN'を再び階調変換部104に出力してステップ１からの処理を繰り返す。微小変異の方法としては、公知の非線形最適化でもちいられる種々の方法を使うことが出来る。所定回数の繰り返しを経てもFが所定値以下にならない場合は、繰り返しを中止して制御部108に制御を返す。

（ｋ）STEP11:
以上の処理により、各領域の重要度に応じて画質目標が満足された画像が、記憶部105に得られる。制御部108は、その後記憶部105に得られた最終結果を表示部107を介してユーザーに表示するとともに最終結果画像を記憶部105に記録し、一連の画質調整処理が終了する。

（ｌ）STEP12:
原画像ならびに、処理結果画像はGUIアプリケーション上の原画像表示トグルボタン21、処理結果画像表示トグルボタン22を押下することで画像表示パネル10に表示する(STEP12_2)。また、原画像表示トグルボタン21、処理結果画像表示トグルボタン22を同時にアクティブであることを検知した場合(STEP12_1)は、原画像、処理結果画像間でそれぞれに対応する画素値の差の絶対値をとり、その差分画像を画像表示パネル10に表示する(STEP12_3)。ユーザが期待する処理結果画像を得られなかった場合は、差分画像を見て、領域毎の画像処理の程度を確認しつつ、さらに領域毎に細かく仕上がり具合を調整することが出来る。

なお、上記実施例ではハードウェアによる処理を前提としていたが、別途ソフトウェアにて処理する構成も可能である。ソフトウェアで構成する場合のフローチャートを図７、図8に示す。フローチャートの各STEPは上記実施例１のSTEPに対応している。STEP1では画像処理対象である画像データを読み込む。STEP2で領域分割処理を行い、STEP3にてユーザが望む分割結果を得るために各領域の大きさを調整する。STEP4では各領域に対し、感性語による仕上がり具合の指定を行い、STEP5で画像処理実行ボタンの押下により、階調変換処理をスタートさせる。

STEP6から7ではユーザの入力した感性語から画質目標値、デフォルトパラメータの設定を行い、STEP8で設定されたパラメータを基に階調変換処理を実行し、処理結果画像を得る。STEP9では処理結果画像から画質評価値を算出し、STEP10で評価関数により、STEP6で算出された画質目標値と画質評価値を評価し、評価関数の値が所定の値より大きい場合はパラメータ修正を行った後、再度STEP8から10を繰り返すが、小さい場合はSTEP11にて画像保存処理を行い処理を終了する。画像保存後はSTEP12にて原画像、処理結果画像、または差分画像の確認が可能である。

以上説明したように、本発明によれば、ユーザがわかりやすく操作できる画像処理装置と撮像装置、および画像処理プログラムを提供することができる。

第１の実施形態例の構成図である。 GUIアプリケーション画面構成の説明図である。 初期画面の説明図である。 領域範囲設定画面の説明図である。 領域条件設定画面の説明図である。 全領域条件設定画面の説明図である。 第１の実施形態例のソフトウェアに関するフローチャートである。 第１の実施形態例のソフトウェアに関するフローチャートである。

符号の説明

１０・・・画像表示パネル、１１・・・領域範囲設定ボタン、１２・・・領域条件設定ボタン、１８・・・画像処理実行ボタン、２３・・・全領域条件設定ボタン、１００・・・画像処理装置、１０１・・・感性語指定部、１０２・・・目標値設定部、１０３・・・パラメータ設定部、１０４・・・階調変換部、１０５・・・記憶部、１０６・・・画質評価量算出部、１０７・・・表示部、１０８・・・制御部、１０９・・・ディスプレイ、１１０・・・領域指定部、１１１・・・レンズ系、１１２・・・ＣＣＤ、１１３・・・前処理部、

Claims (16)

1. 画像データを表示するための表示手段と、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段と、感性語に対応した目標値を設定する目標値設定手段と、前記表示手段に表示された画像上の特定領域を指定する領域指定手段と、前記特定領域から画質評価量を算出する画質評価量算出手段と、前記画像データに対して、前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段と、前記領域指定手段で指定した前記処理結果画像上の領域から前記画質評価量算出手段を用いて算出した画質評価量、および前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記画像処理パラメータを修正し、再度画像処理を行うよう制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記画像処理手段は、画像中の場所に応じて階調特性を変えることの出来る階調変換処理を行うことを特徴とする、請求項１に記載の画像処理装置。
3. 前記感性語指定手段で指定する感性語は、感性語“明るさ”,“コントラスト”,“白飛び、黒潰れ（飽和度)”,“優先順位”のうち、少なくとも1つを含むことを特徴とする、請求項２に記載の画像処理装置。
4. 前記感性語指定手段で指定した内容を前記表示手段に表示することを特徴とする、請求項１に記載の画像処理装置。
5. 前記感性語指定手段は選択された複数領域に対して同時に前記感性語を指定できることを特徴とする、請求項１に記載の画像処理装置。
6. 前記領域指定手段は前記画像データ中の任意の注目点を指定することで前記注目点が含まれる領域を指定できることを特徴とする、請求項１に記載の画像処理装置。
7. 前記領域指定手段は指定した領域を前記表示手段に表示することを特徴とする、請求項１に記載の画像処理装置。
8. 前記領域指定手段は前記画像データ中の全領域を指定することを特徴とする、請求項１に記載の画像処理装置。
9. 前記表示手段は原画像と結果画像の差分画像を表示することを特徴とする、請求項１に記載の画像処理装置。
10. 前記領域指定手段は事前に領域分割を行い、指定した注目点を含む領域を領域として自動設定することを特徴とする、請求項６に記載の画像処理装置。
11. 前記領域指定手段は領域を指定する際に、指定した前記注目点の周りの所定形状を領域として自動設定することを特徴とする、請求項６に記載の画像処理装置。
12. 前記領域指定手段は任意の領域について膨張縮小処理を行うことを特徴とする、請求項１０に記載の画像処理装置。
13. 画像を撮影して画像データに変換する撮影手段と、前記画像データを表示するための表示手段と、画像処理効果を感覚的に表現した感性語を指定する感性語指定手段と、前記感性語に対応した目標値を設定する目標値設定手段と、前記表示手段に表示された画像上の特定領域を指定する領域指定手段と、前記特定領域から画質評価量を算出する画質評価量算出手段と、前記画像データに対して前記感性語指定手段で指定した感性語に対応した所定の画像処理パラメータに基づいて画像処理を施し、処理結果画像を生成する画像処理手段と、前記領域指定手段で指定した前記処理結果画像上の領域から前記画質評価量算出手段を用いて算出した画質評価量と前記目標値設定手段により設定された目標値とを比較し、比較結果に基づき前記処理パラメータを修正し、再度画像処理を行うよう制御する制御手段と、を備えることを特徴とする撮像装置。
14. コンピュータに、
    （ａ）画像データに対して、ＧＵＩにより指定された画像処理効果を感覚的に表現した感性語に対応する所定の画像処理パラメータを設定する手順と、
    （ｂ）前記設定された画像処理パラメータに基づき前記画像データに対して画像処理を施して処理結果画像を生成する手順と、
    （ｃ）前記ＧＵＩにより前記処理結果画像上の特定領域を指定する手順と、
    （ｄ）前記指定した特定領域に対して画質評価量を算出する手順と、
    （ｅ）前記算出した画質評価量と、前記感性語に対応して設定される画質目標値とを比較する手順と、
    （ｆ）前記比較結果に基づき前記画像処理パラメータを修正して再度画像処理を行う手順を実行させる画像処理プログラム。
15. コンピュータに、
    （ａ）画像処理対象である画像データを読み込む手順と、
    （ｂ）前記画像データの領域分割処理を行う手順と、
    （ｃ）所望の分割結果を得るために各領域の大きさを調整する手順と、
    （ｄ）前記各領域に対して感性語による仕上がり具合の指定を行う手順と、
    （ｅ）前記各領域に対する階調変換処理を開始させる手順と、
    （ｆ）前記感性語から画質目標値を設定する手順と、
    （ｇ）デフォルトパラメータを設定する手順と、
    （ｈ）前記設定されたパラメータを基に階調変換処理を実行し処理結果画像を得る手順と、
    （ｉ）前記処理結果画像から画質評価値を算出する手順と、
    （ｊ）評価関数により前記（ｆ）で算出された画質目標値と画質評価値を評価し、評価関数の値が所定の値より大きい場合はパラメータ修正を行って再度（ｈ）から（ｊ）を繰り返す手順と、
    （ｋ）前記評価関数の値が所定の値より小さい場合は画像保存処理を行う手順
    を実行させる画像処理プログラム。
16. コンピュータに、前記画像保存処理された画像に対して、原画像、処理結果画像、または差分画像を確認させる手順をさらに付加して実行させる請求項１５に記載の画像補正プログラム。

Images