JP2015165608A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】ユーザーが指定領域ごとの画質調整を直観的に実行することができ、見本領域に対しても直感的に、かつ、選択した領域ごとに画質の再現を近づけられる画像処理装置等を提供する。【解決手段】第１の画像の画像情報を取得する画像情報取得部１１と、第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得するユーザ指示受付部１２と、第１の位置情報から指定領域を検出する領域検出部１３と、指定領域に対し画像処理を行なう画像処理部１５と、を備えることを特徴とする画像処理装置１０。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

特許文献１には、撮影画像中で特定被写体が指定されたら、色分布マップから特定被写体の検出された色が属する部分の近傍範囲を部分的に抽出した色相分布範囲、彩度分布範囲を示す色相インジケータと彩度インジケータとを特定被写体の近傍に直交配置させて表示させることで、２次元の操作空間を形成し、この操作空間内で指を移動する入力操作で色補正値を設定できるようにしたが色補正装置が開示されている。
また特許文献２には、入力画像を解析して特徴量を抽出する画像特徴抽出手段と、参照画像から抽出された特徴量、参照画像を加工した後の結果画像、加工に使用した画像処理、並びに加工に使用した画像処理のパラメータとを対応付けて記憶する参照画像記憶手段と、入力画像から抽出された特徴量を基に参照画像記憶手段を検索し、入力画像に類似する参照画像を取得する参照画像検索手段と、参照画像検索手段により取得された参照画像と対応する結果画像とをセットで表示する画像表示手段と、画像表示手段に表示されたセットから選択する参照画像選択手段と、参照画像選択手段で選択されたセットと対応する画像処理のパラメータとを用いて入力画像を加工する画像処理手段とを備える画像処理装置が開示されている。

特開２０１０−１４６３７８号公報 特開２０１２−１４６０７１号公報

ユーザが指定領域ごとの画質調整を直観的に実行することができ、見本領域に対しても直感的に、かつ、選択した領域ごとに画質の再現を近づけられることが望ましい。

請求項１に記載の発明は、第１の画像の画像情報を取得する画像情報取得部と、前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する位置情報取得部と、前記第１の位置情報から前記指定領域を検出する領域検出部と、前記指定領域に対し画像処理を行なう画像処理部と、を備えることを特徴とする画像処理装置である。
請求項２に記載の発明は、前記画像情報取得部は、見本となる第２の画像の画像情報をさらに取得し、前記位置情報取得部は、前記第２の画像の中から、ユーザが前記第１の画像の前記指定領域に対し行なう画像処理の見本とする画像領域として指定する見本領域の代表位置を表す第２の位置情報をさらに取得し、前記領域検出部は、前記第２の位置情報から前記見本領域をさらに検出し、前記画像処理部は、前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なうことを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記指定領域は複数存在し、複数の当該指定領域を切り替える領域切替部をさらに備えることを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記指定領域の画質を前記見本領域の画質に合せるためのパラメータを算出するパラメータ算出部をさらに備え、前記画像処理部は、前記パラメータに基づき前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なうことを特徴とする請求項２または３に記載の画像処理装置である。
請求項５に記載の発明は、第１の画像の画像情報を取得し、前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得し、前記第１の位置情報から前記指定領域を検出し、前記指定領域に対し画像処理を行なうことを特徴とする画像処理方法である。
請求項６に記載の発明は、第１の画像を表示する表示装置と、前記表示装置に表示される前記第１の画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記第１の画像の画像情報を取得する画像情報取得部と、前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する位置情報取得部と、前記第１の位置情報から前記指定領域を検出する領域検出部と、前記指定領域に対し画像処理を行なう画像処理部と、を備えることを特徴とする画像処理システムである。
請求項７に記載の発明は、コンピュータに、第１の画像の画像情報を取得する機能と、前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する機能と、前記第１の位置情報から前記指定領域を検出する機能と、前記指定領域に対し画像処理を行なう機能と、を実現させるプログラムである。

請求項１の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる画像処理装置が提供できる。
請求項２の発明によれば、指定領域の画質を見本領域の画質に合せることができる。
請求項３の発明によれば、本構成を有していない場合に比較して、指定領域の選択がより容易になる。
請求項４の発明によれば、本構成を有していない場合に比較して、指定領域の画質を見本領域の画質に合せる処理がより容易に行える。
請求項５の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる画像処理方法が提供できる。
請求項６の発明によれば、本構成を有していない場合に比較して、画像処理がより容易に行える画像処理システムが提供できる。
請求項７の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本発明の第１の実施の形態における画像処理装置の機能構成例を表すブロック図である。 指定領域をユーザインタラクティブに行う方法の例を示した図である。 （ａ）〜（ｃ）は、この方法によりシードが描かれた画素から領域が拡張する様子を示している。 （ａ）〜（ｅ）は、２つのシードが与えられた場合に、画像を２つの領域にわける具体例である。 （ａ）〜（ｃ）は、図３で示した画像について、領域拡張方法により指定領域が切り出される様子を示している。 最大流量最小カットの原理を説明した図である。 （ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の第１の例を示している。 （ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の第２の例を示している。 画像処理を行なう際に、表示装置の表示画面に表示される画面の例を示している。 （ａ）は、指定領域として、顔の部分の画像領域である「第２の指定領域」が選択されていることを示す。（ｂ）は、このときのＬ（ｘ、ｙ）の分布を示した図である。（ｃ）は、マスクを示している。 （ａ）は、図９で示す色相についてのスライダをスライドした様子を示している。（ｂ）は、色相を調整したときのトーンカーブの一例を示した図である。 （ａ）は、図９で示す彩度についてのスライダをスライドした様子を示している。（ｂ）は、彩度を調整したときのトーンカーブの一例を示した図である。 （ａ）は、図９で示す輝度についてのスライダをスライドした様子を示している。（ｂ）は、輝度を調整したときのトーンカーブの一例を示した図である。 色相および彩度の調整を行なうときに表示画面に表示される画面の他の例を示した図である。 （ａ）〜（ｂ）は、色相および彩度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。 （ａ）〜（ｃ）は、色相、彩度、輝度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。 空間周波数の調整を行なうときに表示画面に表示される画面の例を示した図である。 図１７による操作の結果、画像処理が行なわれた後の画像について説明した図である。 第１の実施の形態についての画像処理装置の動作について説明したフローチャートである。 本発明の第２の実施の形態における画像処理装置の機能構成例を表すブロック図である。 指定領域および見本領域をユーザインタラクティブに行う方法の例を示した図である。 （ａ）〜（ｂ）は、図２１で示した画像について。指定領域および見本領域が切り出される様子を示している。 Ｈ_１（ｘ、ｙ）とＨ_２（ｘ、ｙ）とを関係付けるパラメータを設定する関数について説明した図である。 （ａ）〜（ｃ）は、選択された指定領域に画質を選択された見本領域の画質に合せる画像処理を行なったときの変化を示した図である。 頭髪の部分である「第１の指定領域」の画質を「第１の見本領域」の画質に合せる画像処理と、顔の部分である「第２の指定領域」の画質を「第２の見本領域」の画質に合せる画像処理を同時に行なう場合を示している。 図２５−１において、ユーザが指等によりスワイプ操作を行なうことで、画像処理を行なう場合を示している。 （ａ）〜（ｃ）は、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる処理について説明した図である。 第２の実施の形態についての画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜発明の背景＞
例えば、カラーの画像の画質調整を行なうときには、カラーの画像全体に対し行なう場合とカラーの画像中において領域別に行なう場合がある。カラーの画像を表現する要素は、一般にＲＧＢ等の色成分、Ｌ^＊ａ^＊ｂ^＊等の輝度と色度、またはＨＳＶなどの輝度と色相と彩度により表すことができる。また画質を制御する代表例としては、色成分のヒストグラム制御、輝度のコントラスト制御、輝度のヒストグラム制御、輝度の帯域制御、色相制御、彩度制御などが挙げられる。また近年では、Retinex等のように視認性を表す画質についての制御も重要視されている。色や輝度の帯域に基づく画質を制御する場合、特に特定の領域に対してのみ画質調整を行うときは、この領域を切り出す処理が必要となる。

またユーザが画質調整を行なう際に、作業を行いやすいための工夫をした従来技術もある。
例えば、特定の領域を切り出し、切り出した領域と外接するように彩度と色相の調整インジケータ（スライダ）を表示させるものがある。

画質調整を、見本を参照して手動で行う場合は、画質を見るスキルも必要になる。しかし一般ユーザにとって、プロが行った画質調整を再現することは難しい。
これに対し、見本に対する処理パターンを記憶しておき、画質調整を行なう原画像を与えれば、特徴が類似したパターンが検索され、処理見本を得ることができるようにした従来技術がある。

以上の場合では、ユーザにとって切り出した領域に対する画質調整が行いやすいようにするか、または、ユーザは原画像を与えるだけであって、見本となる画像と処理結果がすでにある、ことがポイントとなっている。

しかしながら従来手法で特定の領域の切り出しを伴う画質調整を行う場合は、一般に、前景と背景（主要被写体とそれ以外）であることが多い。そして切り出す領域が複数ある場合は、１つ１つ切り出しては処理するの繰り返し等が考えられ、直観的な画質調整を行なうことが困難となりやすい。また、見本と画像処理パラメータの対応づけがすでに用意されていても、見本に対して、画質調整を行なう画像全体のおおよその画質をマッチさせることはできるが、切り出した領域ごとの画質を見本に近づけることは困難であった。

一方、近年のＩＣＴ（Information and Communication Technology）機器の増加に伴って、画像処理の幅が広がったことから、上記のように画像加工・画像編集も様々なアプローチが考えられる。この場合、タブレット端末等に代表されるＩＣＴ機器の利点は、タッチパネル等による直観性であり、ユーザインタラクティブ性が高まった中での画像加工・画像編集が行えることが特徴である。

以上の状況を踏まえ、本実施の形態では、以下のような画像処理システム１を用いて、特定の領域の切り出しや画質調整を行なう。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を進めることができる。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
［第１の実施の形態］
次に画像処理装置１０の第１の実施の形態について説明を行なう。
図２は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、領域検出部１３と、領域切替部１４と、画像処理部１５と、画像情報出力部１６とを備える。

画像情報取得部１１は、画像処理を行なう第１の画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。

ユーザ指示受付部１２は、位置情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが画像処理を行なう画像領域として、指定領域を指定する指示をユーザ指示情報として受け付ける。またユーザ指示受付部１２は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部１２は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。

領域検出部１３は、ユーザ指示受付部１２で受け付けられたユーザからの指示に基づき、表示装置２０で表示されている第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域を検出する。実際には、領域検出部１３は、表示装置２０で表示している画像の中から、指定領域を切り出す処理を行う。

本実施の形態では、指定領域の切り出しを下記に説明するユーザインタラクティブに行う方法を採用する。
図３は、指定領域をユーザインタラクティブに行う方法の例を示した図である。
ここでは、表示装置２０の表示画面２１で表示している画像が、前景として写る人物と、人物の背後に写る背景とからなる写真の画像Ｇである場合を示している。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は３つある。以後、頭髪の部分の指定領域を「第１の指定領域」、顔の部分の指定領域を「第２の指定領域」、頭髪や顔以外の部分の指定領域を「第３の指定領域」と言うことがある。

そしてユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる位置を示す情報を与えればよい。これは指定領域の代表位置を表す位置情報（第１の位置情報）をユーザが入力する、と言い換えることもできる。なお以後、この軌跡や点等を「シード」と言うことがある。
そしてこの位置情報（第１の位置情報）は、ユーザ指示情報としてユーザ指示受付部１２により取得され、さらに領域検出部１３により指定領域を切り出す処理が行なわれる。

領域検出部１３が、シードの情報を基にして指定領域を切り出すには、まずシードが描かれた箇所の画素に対しフラグを付加する。図３の例では、頭髪の部分に描かれた軌跡に対応する画素にフラグ「１」を、顔の部分に描かれた軌跡に対応する画素にフラグ「２」を、頭髪や顔以外の部分に対応する画素にフラグ「３」を付加する。
そしてシードが描かれた画素と周辺の画素との間で画素値の近さ（ＲＧＢ値のユークリッド距離など）を基に、近ければ連結し、遠ければ連結しない作業を繰り返し、領域を拡張していく。

図４−１（ａ）〜（ｃ）は、この方法によりシードが描かれた画素から領域が拡張する様子を示している。
図示するように（ａ）→（ｂ）→（ｃ）となるに従い、真ん中のシードが与えられた画素から、周辺の画素に領域が拡張していく。拡張した部分の画素には、シードが描かれた画素に付加されたフラグと同じフラグが付加される。

上記のように、領域拡張の考え方を基本として、複数の領域にわけることも可能である。
図４−２（ａ）〜（ｅ）は、２つのシードが与えられた場合に、画像を２つの領域にわける具体例である。
ここでは図４−２（ａ）の原画像に対し、図４−２（ｂ）で示すように、シードとしてシード１とシード２の２つを与える。そして各々のシードを基点に領域を拡張していく。この場合、例えば、原画像における近傍画素の値との近さ等に応じて領域を拡張していくことができる。このとき図４−２（ｃ）に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。

V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)

図４−２（ｄ）の例では、再判定の対象画素は、最終的にはシード２の領域として判定され、図４−２（ｅ）に示すように２つのシードを基に、２つの領域に切り分けられて収束する。
このように領域を拡張していく領域拡張方法により、指定領域を切り出すことができる。

図５（ａ）〜（ｃ）は、図３で示した画像Ｇについて、領域拡張方法により指定領域が切り出される様子を示している。
このうち図５（ａ）は、図３で示した画像Ｇであり、シードとして軌跡が描かれた状態を示している。
そして図５（ｂ）で示すように、シードとして軌跡が描かれた箇所から指定領域内に領域が拡張していき、図５（ｃ）で示すように最後に指定領域として３つの指定領域である「第１の指定領域（Ｓ１）」、「第２の指定領域（Ｓ２）」、「第３の指定領域（Ｓ３）」が切り出される。
このような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域を切り出すことができる。

この例では、画素の位置を（ｘ、ｙ）としたときに、その画素が何れの指定領域を表すのに下記数１式で表現することができる。ここで、ｌ（ｘ、ｙ）は、（ｘ、ｙ）に位置する画素について付加されたフラグの値である。即ち、指定領域中の画素には、１または２または３のフラグが付加されるため、このフラグの値によりその画素が何れの指定領域に属するのかがわかる。

このように領域拡張方法によれば、指定領域が３つ以上であっても切り出しが可能である。
なお指定領域が２つであり、これを切り出せばよい場合は、例えば、画像をグラフと見立て、最大流量最小カットの原理を利用した方法も使用できる。
この原理は、図６に示すように前景の仮想ノードを始点、背景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した背景領域の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と背景とを分離することになる（グラフカット）。
以上挙げた例は、領域カットに関する例であり、領域拡張やグラフなどの原理を利用した領域の切り出し方法の具体例を示した。ただし本実施の形態では、この領域カットの方法は問わず、いかなるものでも適用可能である。

以上説明した指定領域をユーザインタラクティブに行う方法では、指定領域の切り出しの精度がより高くなる。

図２に戻り、領域切替部１４は、複数の指定領域を切り替える。即ち、指定領域が複数存在した場合、ユーザが画像調整を行ないたい指定領域の選択を行ない、これに従い、領域切替部１４が指定領域を切り替える。

図７（ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置２０の表示画面２１に表示される画面の第１の例を示している。
図７（ａ）〜（ｃ）に示した例では、表示画面２１の左側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右側に画像切り替えボタン２１１が表示される。そしてユーザが入力装置３０を使用して、この画像切り替えボタン２１１を操作すると、指定領域が切り替わる。具体的には、入力装置３０がマウスであった場合は、マウスを操作してカーソルを画像切り替えボタン２１１に合せ、クリックを行なう。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像切り替えボタン２１１をタップする。

図７（ａ）では、指定領域として、頭髪の部分の画像領域である「第１の指定領域（Ｓ１）」が選択されている。そして上述したようにユーザが画像切り替えボタン２１１を操作すると、図７（ｂ）に示すように指定領域が、顔の部分の画像領域である「第２の指定領域（Ｓ２）」に切り替わる。そしてさらにユーザが画像切り替えボタン２１１を操作すると、図７（ｃ）に示すように指定領域が、頭髪や顔以外の部分の画像領域である「第３の指定領域（Ｓ３）」に切り替わる。またさらにユーザが画像切り替えボタン２１１を操作すると、「第１の指定領域（Ｓ１）」に切り替わり、図７（ａ）の状態に戻る。

図８（ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置２０の表示画面２１に表示される画面の第２の例を示している。
図８（ａ）〜（ｃ）に示した例では、表示画面２１の左側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右側に「領域１」、「領域２」、「領域３」の何れかを選択するラジオボタン２１２ａ、２１２ｂ、２１２ｃが表示される。この場合、「領域１」は、「第１の指定領域（Ｓ１）」に、「領域２」は、「第２の指定領域（Ｓ２）」に、「領域３」は、「第３の指定領域（Ｓ３）」に対応する。そしてユーザが入力装置３０を使用して、このラジオボタン２１２ａ、２１２ｂ、２１２ｃを選択すると、指定領域が切り替わる。

図８（ａ）は、ラジオボタン２１２ａが選択されている状態であり、指定領域として、頭髪の部分の画像領域である「第１の指定領域（Ｓ１）」が選択されている。そしてユーザがラジオボタン２１２ｂを選択すると、図８（ｂ）に示すように指定領域として、顔の部分の画像領域である「第２の指定領域（Ｓ２）」に切り替わる。そしてさらにユーザがラジオボタン２１２ｃを選択すると、図８（ｃ）に示すように指定領域が、頭髪や顔以外の部分の画像領域である「第３の指定領域（Ｓ３）」に切り替わる。

実際には、図７〜図８で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部１２により取得され、さらに領域切替部１４により指定領域の切り替えが行なわれる。

画像処理部１５は、選択された指定領域に対し実際に画像処理を行なう。
図９は、画像処理を行なう際に、表示装置２０の表示画面２１に表示される画面の例を示している。
ここでは、選択された指定領域に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面２１の左上側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右上側に「領域１」、「領域２」、「領域３」の何れかを選択するラジオボタン２１２ａ、２１２ｂ、２１２ｃが表示される。ここでは、ラジオボタンのうち２１２ａが選択されており、指定領域として、頭髪の部分の画像領域である「第１の指定領域（Ｓ１）」が選択されている。なおラジオボタン２１２ａ、２１２ｂ、２１２ｃを操作することで、指定領域の切り替えが可能であることは、図８の場合と同様である。

また表示画面２１の下側には、「色相」、「彩度」、「輝度」の調整を行なうためのスライドバー２１３ａと、スライダ２１３ｂが表示される。スライダ２１３ｂは、入力装置３０の操作によりスライドバー２１３ａ上において図中左右に移動し、スライドが可能である。スライダ２１３ｂは、初期状態ではスライドバー２１３ａの中央に位置し、この位置において「色相」、「彩度」、「輝度」の調整前の状態を表す。

そしてユーザが、入力装置３０を使用して、「色相」、「彩度」、「輝度」の何れかのスライダ２１３ｂをスライドバー２１３ａ上で図中左右にスライドさせると、選択された指定領域に対し画像処理がなされ、表示画面２１で表示される画像Ｇもそれに対応して変化する。この場合、図中右方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを減少させる画像処理がなされる。

なおこの際に、選択された指定領域については、その指定領域中の画素にさらにフラグを付与してもよい。この場合選択された指定領域中の画素には、例えば１が、選択されなかった指定領域中の画素には、例えば０が付与される。

この場合、画素の位置を（ｘ、ｙ）としたときに、その画素が何れの選択された指定領域中に存在するか否かは、下記数２式で表現することができる。ここで、Ｌ（ｘ、ｙ）は、（ｘ、ｙ）に位置する画素についてのこのフラグの値である。即ち、指定領域中の画素には、０または１のフラグが付加されるため、このフラグの値によりその画素が選択された指定領域中に存在するか否かがわかる。

図１０（ａ）は、指定領域として、顔の部分の画像領域である「第２の指定領域（Ｓ２）」が選択されていることを示す。
また図１０（ｂ）は、このときのＬ（ｘ、ｙ）の分布を示した図である。ここで白色の部分は、フラグが１であり、選択された指定領域であることを示す。また黒色の部分は、フラグが０であり、選択された指定領域外であることを示す。図１０（ｂ）は、選択された指定領域と選択された指定領域外とを切り分けるマスクと見ることもできる。この場合、Ｌ（ｘ、ｙ）が「１」の部分のみに画像処理がなされることになる。

またこのマスクとして以下のような数３式で表されるマスクＬ_Ｇ（ｘ、ｙ）を考えてもよい。

数３式は、Ｌ（ｘ、ｙ）をＧ（ｘ、ｙ）で畳み込むことを表し、Ｇ（ｘ、ｙ）は、以下の数４式で表されるガウス関数である。なおσは、ぼかし度合いを表すパラメータである。

図１０（ｃ）は、以上の処理により得られるマスクを示している。
図１０（ｂ）と図１０（ｃ）とを比較すると、図１０（ｃ）の場合は、指定領域を１、指定領域外を０と固定せず、０〜１の値を採るようにする。この場合、マスクの値は、通常は、選択された指定領域では１、選択された指定領域外では０であるが、選択された指定領域と選択された指定領域外との境界付近では、０〜１の値を採る。即ち、指定領域と指定領域外との境界がぼける平滑化マスクとなる。なおこの例では、ガウス関数を使用して平滑化マスクを作成したが、移動平均を用いる方法もある。

数３式におけるＬ_Ｇ（ｘ、ｙ）を使用することで、選択された指定領域と選択された指定領域外との境界が平滑化され、選択された指定領域の境界において、画像処理の効果がぼやけることになる。このようにすることで、選択された指定領域と選択された指定領域外との境界における境界段差が少なくなり、より自然に見える画像処理を行なうことができる。

また図９に示したように、「色相」、「彩度」、「輝度」について調整を行なうときは、画像処理前の画像情報（例えば、ＲＧＢデータ）を、例えば、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）の各値からなるＨＳＶデータに変換して行なうことが好ましい。ただしこれに限られるものではなく、色相、彩度、輝度を求めることができる色データであればよい。例えば、Ｌ^＊、ａ^＊、ｂ^＊の各値からなるＬ^＊ａ^＊ｂ^＊データや、Ｙ、Ｃｂ、Ｃｒの各値からなるＹＣｂＣｒデータのような輝度色差空間における色データであってもよい。

このとき調整前のＨＳＶデータを、Ｈ（ｘ、ｙ）、Ｓ（ｘ、ｙ）、Ｖ（ｘ、ｙ）、「色相」、「彩度」、「輝度」について調整後のＨＳＶデータを、Ｈ’（ｘ、ｙ）、Ｓ’（ｘ、ｙ）、Ｖ’（ｘ、ｙ）であるとすると、この画像処理は、以下の数５式で表すことができる。

また選択された指定領域において、調整前のＨＳＶデータの平均値をＨave、Ｓave、Ｖaveとすると、Ｈave、Ｓave、Ｖaveは、以下の数６式であらわすことができる。ここでＮは、選択された指定領域の画素数であり、Ｄは選択された指定領域を表す。

また数３式、図１０（ｃ）で表されるマスクを使用する場合は、Ｈave、Ｓave、Ｖaveは、以下の数７式であらわすことができる。

そして図９に示す「色相」、「彩度」、「輝度」のスライダ２１３ｂをスライドさせたときには、以下に説明するように、このＨave、Ｓave、Ｖaveの箇所が最も大きく置換されるようにする。

図１１（ａ）は、図９で示す色相についてのスライダ２１３ｂをスライドした様子を示している。
そしてユーザが、スライダ２１３ｂを中央位置から図中右側に移動した場合、上述したように色相を増加させる入力を行なうことになる。一方、スライダ２１３ｂを中央位置から図中左側に移動した場合、色相を減少させる入力を行なうことになる。図１１（ａ）では、このときの増分をΔＨ、減少分を−ΔＨとして図示している。

図１１（ｂ）は、色相を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のＨ（ｘ、ｙ）を表し、縦軸は、色相（Ｈ）を調整した後のＨ’（ｘ、ｙ）を表す。

ここでは、上記ΔＨや−ΔＨは、色相の平均値Ｈaveにおける増分、減少分を表すものとしている。
つまり色相をΔＨ増加させたときは、平均値ＨaveではΔＨ増加するため、Ｈave＋ΔＨとなる。またトーンカーブは、この箇所と、色相（Ｈ）の最小値０および最大値Ｈmaxを結ぶ２つの直線から構成される図１１（ｂ）の上側の太線のようになる。
また色相をΔＨ減少させたときは、平均値ＨaveではΔＨ減少するため、Ｈave−ΔＨとなる。そしてトーンカーブは、この箇所と、色相（Ｈ）の最小値０および最大値Ｈmaxを結ぶ２つの直線から構成される図１１（ｂ）の下側の太線のようになる。

また図１２（ａ）は、図９で示す彩度についてのスライダ２１３ｂをスライドした様子を示している。
そしてユーザが、スライダ２１３ｂを中央位置から図中右側に移動した場合、上述したように彩度を増加させる入力を行なうことになり、このときの増分をΔＳで示している。
一方、スライダ２１３ｂを中央位置から図中左側に移動した場合、彩度を減少させる入力を行なうことになり、このときの減少分を−ΔＳとして図示している。

図１２（ｂ）は、彩度を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のＳ（ｘ、ｙ）を表し、縦軸は、彩度（Ｓ）を調整した後のＳ’（ｘ、ｙ）を表す。

ここでは、上記ΔＳや−ΔＳは、彩度（Ｓ）の平均値Ｓaveにおける増分、減少分を表すものとしている。
そして彩度をΔＳ増加させたときは、平均値ＳaveではΔＳ増加するため、Ｓave＋ΔＳとなる。またトーンカーブは、この箇所と、彩度（Ｓ）の最小値０および最大値Ｓmaxを結ぶ２つの直線から構成される図１２（ｂ）の上側の太線のようになる。
また彩度をΔＳ減少させたときは、平均値ＳaveではΔＳ減少するため、Ｓave−ΔＳとなる。そしてトーンカーブは、この箇所と、彩度（Ｓ）の最小値０および最大値Ｓmaxを結ぶ２つの直線から構成される図１２（ｂ）の下側の太線のようになる。

さらに図１３（ａ）は、図９で示す輝度についてのスライダ２１３ｂをスライドした様子を示している。
そしてユーザが、スライダ２１３ｂを中央位置から図中右側に移動した場合、上述したように輝度を増加させる入力を行なうことになり、このときの増分をΔＶで示している。
一方、スライダ２１３ｂを中央位置から図中左側に移動した場合、輝度を減少させる入力を行なうことになり、このときの減少分を−ΔＶとして図示している。

図１３（ｂ）は、輝度を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のＶ（ｘ、ｙ）を表し、縦軸は、輝度（Ｖ）を調整した後のＶ’（ｘ、ｙ）を表す。

ここでは、上記ΔＶや−ΔＶは、輝度（Ｖ）の平均値Ｖaveにおける増分、減少分を表すものとしている。
そして輝度をΔＶ増加させたときは、平均値ＶaveではΔＶ増加するため、Ｖave＋ΔＶとなる。またトーンカーブは、この箇所と、輝度（Ｖ）の最小値０および最大値Ｖmaxを結ぶ２つの直線から構成される図１３（ｂ）の上側の太線のようになる。
また輝度をΔＶ減少させたときは、平均値ＶaveではΔＶ減少するため、Ｖave−ΔＶとなる。そしてトーンカーブは、この箇所と、輝度（Ｖ）の最小値０および最大値Ｖmaxを結ぶ２つの直線から構成される図１３（ｂ）の下側の太線のようになる。

そして数７式を調整後のＨＳＶデータを算出する数５式に適用させた場合は、以下の数８式となる。数８式でｆ_Ｈ（Ｈ（ｘ、ｙ））は、図１１（ｂ）のトーンカーブを表す関数である。またｆ_Ｓ（Ｓ（ｘ、ｙ））は、図１２（ｂ）のトーンカーブを表す関数であり、ｆ_Ｖ（Ｖ（ｘ、ｙ））は、図１３（ｂ）のトーンカーブを表す関数である。

また上述した例では、指定領域を選択するときには、画像切り替えボタン２１１やラジオボタン２１２ａ、２１２ｂ、２１２ｃを使用し、選択された指定領域に対し、色相、彩度、輝度の調整を行なうときには、スライダ２１３ｂを使用したが、これに限られるものではない。

図１４は、色相および彩度の調整を行なうときに表示画面２１に表示される画面の他の例を示した図である。
図１４では、指定領域を選択した後に、ユーザが色相および彩度の調整を行なう場合を示している。このときユーザは、入力装置３０を操作し、表示画面２１に表示されているカーソルを左右方向または上下方向に移動させドラッグ操作を行なう。また表示画面２１がタッチパネルだった場合は、ユーザは、ユーザの指やタッチペン等により表示画面２１上で左右方向または上下方向にスワイプ操作を行なう。

このとき左右方向の操作を行なったときは、色相の調整が行なわれる。即ち、右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を増加させる。また左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を減少させる。

また上下方向の操作を行なったときは、彩度の調整が行なわれる。即ち、上方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度を増加させる。また下方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度を減少させる。

さらに本実施の形態では、カーソルや指等の移動量および回数により色相や彩度の調整量を変化させる。つまりカーソルや指等の移動量および回数が大きいほどより大きく色相や彩度を増加または減少させる。これはカーソルや指等の移動量および回数により、図１１（ｂ）、図１２（ｂ）のΔＨ、−ΔＨ、ΔＳ、−ΔＳの大きさを変化させることに対応する。

図１５（ａ）〜（ｂ）は、色相および彩度の調整を行なうときに表示画面２１に表示される画面のさらに他の例を示した図である。
図１５（ａ）では、調整を行なう項目を切り替えるのに、タップ操作で切り替える場合を示している。つまり入力装置３０がタッチパネルであった場合に表示画面２１の何れかの箇所をタップすると、調整を行なう項目が、「色相」および「彩度」と、「色相」および「輝度」との間で交互に切り替えられる。
そして調整を行なう項目が、図１５（ａ）で示す「色相」および「彩度」から、「色相」および「輝度」に切り替えが行なわれたときは、図１５（ｂ）に示しように、左右方向の操作を行なったときは、色相の調整が行なわれ、上下方向の操作を行なったときは、輝度の調整が行なわれる。このとき色相の調整については、図１４の場合と同様となる。また上方向にスワイプ操作を行なったときには、輝度を増加させ、下方向にスワイプ操作を行なったときには、輝度を減少させる。なお指等の移動量および回数により色相や輝度の調整量を変化させることは、図１４の場合と同様である。

図１６（ａ）〜（ｃ）は、色相、彩度、輝度の調整を行なうときに表示画面２１に表示される画面のさらに他の例を示した図である。
図１６（ａ）〜（ｃ）では、表示画面２１の左側に「第１の指定領域（Ｓ１）」が選択された状態の画像Ｇが表示され、表示画面２１の右側に「色相」、「彩度」、「輝度」のそれぞれに対応するラジオボタン２１４ａ、２１４ｂ、２１４ｃが表示される。そしてユーザが入力装置３０を使用して、このラジオボタン２１４ａ、２１４ｂ、２１４ｃを選択すると、調整する項目として「色相」、「彩度」、「輝度」が切り替わる。

図１６（ａ）は、ラジオボタン２１４ａに対応する「色相」が選択された状態を示している。
このとき例えば、ユーザが、カーソルや指等により、上述した左右方向の操作を行なったときは、色相の調整が行なわれる。即ち、ユーザが右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を増加させる。またユーザが左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を減少させる。

図１６（ｂ）は、ラジオボタン２１４ｂに対応する「彩度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、彩度の調整が同様にして行なわれる。
また図１６（ｃ）は、ラジオボタン２１４ｃに対応する「輝度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、輝度の調整が同様にして行なわれる。

またパラメータとして画像の有する空間周波数に着目したパラメータを設定し、このパラメータを利用して空間周波数を調整する画像処理を行なうことも考えられる。

具体的には、各画素値の輝度Ｖを、以下の数９式を使用して調整する。なお数９式では、画素の位置を表す（ｘ、ｙ）は省略している。数９式でα_ｇは、強調度合いを表すパラメータであり、α_Ｂは、ぼかし帯域を表すパラメータである。
この場合、Ｖ−Ｖ_Ｂ（α_Ｂ）は、アンシャープ成分を表す。またＶ_Ｂは、平滑化画像を表し、α_Ｂが小さい場合は、ぼかし度合いが小さい画像となり、α_Ｂが大きい場合は、ぼかし度合いが大きい画像となる。そのためα_Ｂが小さい場合は、アンシャープ成分Ｖ−Ｖ_Ｂ（α_Ｂ）は、より高周波となるので、数９式はより高周波強調の式となり細かい輪郭（ディテール）がくっきり再現される。対してα_Ｂが大きい場合は、アンシャープ成分Ｖ−Ｖ_Ｂ（α_Ｂ）は、より低周波となるので、数９式はより低周波強調の式となり、おおまかな輪郭（形状）が強調される。またα_ｇは、強調度合い（ゲイン）であるため、α_ｇが小さい場合は、強調の度合いが小さく、α_ｇが大きい場合は、強調の度合いが大きくなる。

例えば、頭髪の画像などは、高周波成分が質感を高めるので、ぼかし帯域の制御が重要となる。
図１７は、空間周波数の調整を行なうときに表示画面２１に表示される画面の例を示した図である。
ここでは、指定領域として頭髪の部分である「第１の指定領域（Ｓ１）」が選択されている。そしてユーザが、カーソルや指等により、左右方向の操作を行なったときは、ぼかし帯域α_Ｂの調整が行なわれる。即ち、ユーザが、右方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第１の指定領域（Ｓ１）」のぼかし帯域α_Ｂを高周波方向にする。またユーザが、左方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、選択された「第１の指定領域（Ｓ１）」のぼかし帯域α_Ｂを低周波方向にする。
またユーザが、カーソルや指等により、上下方向の操作を行なったときは、強調の度合いα_ｇの調整が行なわれる。即ち、ユーザが、上方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第１の指定領域（Ｓ１）」の強調の度合いα_ｇを増加させる。またユーザが、左方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第１の指定領域（Ｓ１）」の強調の度合いα_ｇを減少させる。

図１８は、図１７による操作の結果、画像処理が行なわれた後の画像Ｇについて説明した図である。
図示するようにぼかし帯域α_Ｂの調整を行い、ぼかし帯域α_Ｂを高周波方向にしたとき（図中右方向）は、「第１の指定領域（Ｓ１）」である頭髪の部分がよりシャープな画質となり、ぼかし帯域α_Ｂを低周波方向にしたとき（図中左方向）は、よりアンシャープな画質となる。
また強調の度合いα_ｇの調整を行い、強調の度合いα_ｇを増加させたとき（図中上方向）は、「第１の指定領域（Ｓ１）」である頭髪の部分がより強調した画像として表示され、強調の度合いα_ｇを減少させたとき（図中下方向）は、頭髪の部分がよりめだたない画像として表示される。

再び図２に戻り、画像情報出力部１６は、以上のように画像処理がなされた後の画像情報を出力する。なおこのときＨＳＶデータからＲＧＢデータに戻して出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。

図１９は、第１の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図１９を使用して、第１の実施の形態の画像処理装置１０の動作について説明を行う。

まず画像情報取得部１１が、画像処理を行なう第１の画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。

そしてユーザが、例えば、図３で説明した方法で、ユーザが、画像処理を行なう画像領域である指定領域を、入力装置３０を使用して軌跡等のシードを入力することで指定する。この指定領域についてシードの情報は、ユーザ指示受付部１２が受け付ける（ステップ１０２）。
さらに領域検出部１３が、例えば、図４−１、図４−２、図５、図６で説明した方法により、指定領域を切り出す処理を行う（ステップ１０３）。

次にユーザが、指定領域の選択を入力装置３０を使用して入力する。これは、例えば、図７〜図８で説明した操作により入力することができる。
このユーザによる指定領域の選択の指示は、ユーザ指示受付部１２が受け付ける（ステップ１０４）。
そして領域切替部１４により指定領域の切り替えが行なわれる（ステップ１０５）。

またユーザは、選択された指定領域について行なう画像処理の指示を入力装置３０を使用して入力する。これは、例えば、図９で説明したスライダ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部１３が受け付ける（ステップ１０６）。

次に画像処理部１５が、ユーザの指示に基づき、選択された指定領域の画像処理を行なう（ステップ１０７）。
そして画像情報出力部１６が、画像処理がなされた後の画像情報を出力する（ステップ１０８）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。

［第２の実施の形態］
次に画像処理装置１０の第２の実施の形態について説明を行なう。
図２０は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２０では、画像処理装置１０が有する種々の機能のうち第２の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、領域検出部１３と、領域切替部１４と、パラメータ算出部１７と、画像処理部１５と、画像情報出力部１６とを備える。

第２の実施の形態では、図２で説明した第１の実施の形態と比較して、パラメータ算出部１７がさらに加わっている。
本実施の形態では、画像処理を行なう対象となる第１の画像に加え、見本となる第２の画像が用意される。そして第２の画像の画質に第１の画像の画質を合せる画像処理が行なわれる。
以下、この事項について説明を行なう。

画像情報取得部１１は、画像処理を行なう第１の画像に加え、見本となる第２の画像の画像情報をさらに取得する。この第２の画像の画像情報についても第１の画像の画像情報と同様の、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。

ユーザ指示受付部１２は、第１の実施の形態と同様に、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
また本実施の形態では、画像処理を行なう第１の画像に加え、見本となる第２の画像に対して入力されるユーザの指示をユーザ指示情報として受け付ける。この事項に関するさらに詳しい説明については後述する。

領域検出部１３は、第１の画像の中から指定領域を検出するのみならず、これに加え、見本領域を検出する。この見本領域は、第２の画像の中から、ユーザが第１の画像の指定領域に対し行なう画像処理の見本とする画像領域である。この見本領域についても、領域検出部１３は、表示装置２０で表示している第２の画像の中から、切り出す処理を行なう。

本実施の形態では、見本領域の切り出しについても図３で説明したのと同様に、ユーザインタラクティブに行うことができる。
図２１は、指定領域および見本領域をユーザインタラクティブに行う方法の例を示した図である。ここでは、表示装置２０の表示画面２１に左側に第１の画像である画像Ｇ１が表示され、右側の第２の画像である画像Ｇ２が表示される場合を示している。
ここで左側の画像Ｇ１は、図３と同様の画像であり、前景として写る人物と、人物の背後に写る背景とからなる写真の画像である。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ指定領域として選択する場合を示している。

このときユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し、軌跡や点等の「シード」を与え、この位置情報（第１の位置情報）を基に、領域検出部１３が指定領域を切り出す処理を行なう。

また右側の画像Ｇ２は、同様に前景として写る人物と、人物の背後に写る背景とからなる写真の画像である。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ見本領域として選択する場合を示している。

このときユーザは、画像Ｇ２に対しても頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し、軌跡や点等の「シード」を与える。この位置情報（第２の位置情報）は、ユーザ指示情報としてユーザ指示受付部１２により取得される。そしてこの位置情報（第２の位置情報）を基に、領域検出部１３が見本領域を切り出す処理を行なう。なお以後、頭髪の部分の見本領域を「第１の見本領域」、顔の部分の見本領域を「第２の見本領域」、頭髪や顔以外の部分の見本領域を「第３の見本領域」と言うことがある。
つまりこの場合もユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる位置を示す情報を与える。これは見本領域の代表位置を表す位置情報（第２の位置情報）をユーザが入力する、と言い換えることもできる。

図２２（ａ）〜（ｂ）は、図２１で示した画像について。指定領域および見本領域が切り出される様子を示している。
このうち図２２（ａ）は、指定領域として、人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分の３つの指定領域である「第１の指定領域（Ｓ１）」、「第２の指定領域（Ｓ２）」、「第３の指定領域（Ｓ３）」が切り出される場合を示している。
また図２２（ｂ）は、見本領域として、人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分の３つの見本領域である「第１の見本領域（Ｍ１）」、「第２の見本領域（Ｍ２）」、「第３の見本領域（Ｍ３）」が切り出される場合を示している。
これらの指定領域や見本領域に属する画素にそれぞれフラグを付与することは、本実施の形態でも同様である。例えば、頭髪の部分についてフラグ「１」を、顔の部分についてフラグ「２」を、頭髪や顔以外の部分についてフラグ「３」を付加する。

領域切替部１４は、指定領域や見本領域が複数存在した場合、これらを切り替える。即ちユーザが画像調整を行ないたい指定領域や見本としたい見本領域の選択を行なう。そしてこれに従い、領域切替部１４が指定領域を切り替える。指定領域や見本領域の選択は、第１の実施の形態で説明したように、画像切り替えボタンやラジオボタンを使用することで行なうことができる。

画像切り替えボタンやラジオボタンの操作の結果は、ユーザ指示情報としてユーザ指示受付部１２により取得され、領域切替部１４により指定領域や見本領域の切り替えが行なわれる。

パラメータ算出部１７は、選択された指定領域の画質を選択された見本領域の画質に合せるためのパラメータを算出する。
このパラメータは種々考えられるが、ここでは色相と彩度の２つを制御するためのパラメータの決定方法を説明する。
まず選択された指定領域の（ｘ、ｙ）に位置する画素の画素値が、ＨＳＶデータで与えられる場合を考え、これをＨ_１（ｘ、ｙ）、Ｓ_１（ｘ、ｙ）、Ｖ_１（ｘ、ｙ）とする。また同様に選択された見本領域の（ｘ、ｙ）に位置する画素の画素値としてＨ_２（ｘ、ｙ）、Ｓ_２（ｘ、ｙ）、Ｖ_２（ｘ、ｙ）を考える。

まず選択された指定領域の色相平均Ｈ_１aveと彩度平均Ｓ_１aveは、下記数１０式で算出できる。ここでＮ_１は、選択された指定領域の画素数であり、Ｄ_１は選択された指定領域を表す。

また見本領域の色相平均Ｈ_２aveと彩度平均Ｓ_２aveは、下記数１１式で算出できる。ここでＮ_２は、選択された見本領域の画素数であり、Ｄ_２は選択された見本領域を表す。

そして色相平均Ｈ_１aveと色相平均Ｈ_２aveを基にし、Ｈ_１（ｘ、ｙ）とＨ_２（ｘ、ｙ）とを関係付けるパラメータ、および彩度平均Ｓ_１aveと彩度平均Ｓ_２ave基にし、Ｓ_１（ｘ、ｙ）とＳ_２（ｘ、ｙ）とを関係付けるパラメータを設定すればよい。

図２３は、Ｈ_１（ｘ、ｙ）とＨ_２（ｘ、ｙ）とを関係付けるパラメータを設定する関数について説明した図である。
図２３は、横軸がＨ_１（ｘ、ｙ）を表し、縦軸がＨ_２（ｘ、ｙ）を表す。そして（Ｈ_１ave、Ｈ_２ave）の点と色相の最小値（０、０）および最大値（Ｈmax、Ｈmax）を結ぶ２つの直線から構成される太線で図示した関数を設定する。この場合、Ｈ_１（ｘ、ｙ）とＨ_２（ｘ、ｙ）とを関連付けるパラメータは、この２つの直線の傾きとして定義できる。
なおこの例では、Ｈ_１（ｘ、ｙ）とＨ_２（ｘ、ｙ）とを関係付けるパラメータを設定する関数を考えたが、Ｓ_１（ｘ、ｙ）とＳ_２（ｘ、ｙ）とを関係付けるパラメータについても同様に定義できる。
なお色相と彩度の２つを制御するためのパラメータだけでなく、輝度を制御するパラメータを設定してもよく、画質を決める他の要素についてのパラメータを考え、設定してもよい。

画像処理部１５は、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう。このとき画像処理部１５は、パラメータ算出部１７で算出されたパラメータに基づき選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう。

図２４（ａ）〜（ｃ）は、選択された指定領域に画質を選択された見本領域の画質に合せる画像処理を行なったときの変化を示した図である。
このうち図２４（ａ）は、画像処理を行なう前の画像Ｇ１を示している。そしてこの画像Ｇ１中の顔の部分である「第２の指定領域（Ｓ２）」の画質を図２４（ｂ）に示す画像Ｇ２中の顔の部分である「第２の見本領域（Ｍ２）」の画質に合せる。その結果、図２４（ｃ）に示すように、「第２の指定領域（Ｓ２）」である顔の部分の画質が変化し、「第２の見本領域（Ｍ２）」の画質と同じとなる。

また図２５−１は、頭髪の部分である「第１の指定領域（Ｓ１）」の画質を「第１の見本領域（Ｍ１）」の画質に合せる画像処理と、顔の部分である「第２の指定領域（Ｓ２）」の画質を「第２の見本領域（Ｍ２）」の画質に合せる画像処理を同時に行なう場合を示している。
この場合、図２５−１の下部に図示するようなチェックボックス２１５を設け、このチェックボックス２１５をチェックした領域の画質が変化する。この場合、「領域１」をチェックすることで、「第１の指定領域（Ｓ１）」の画質を「第１の見本領域（Ｍ１）」の画質に合せる画像処理が行なわれ、「領域２」をチェックすることで、「第２の指定領域（Ｓ２）」の画質を「第２の見本領域（Ｍ２）」の画質に合せる画像処理が行なわれる。よってこの両者の画像処理が同時に行なわれる。

また、図２５−２は、図２５−１において、ユーザが指等によりスワイプ操作を行なうことで、画像処理を行なう場合を示している。
この場合は、ユーザが指等を左方向にスワイプすると指定領域の画質に近づき、右方向にスワイプすると見本領域の画質に近づく。そしてチェックボックス２１５として「領域１」と「領域２」がチェックされているので、「第１の指定領域（Ｓ１）」と「第１の見本領域（Ｍ１）」、および「第２の指定領域（Ｓ２）」と「第２の見本領域（Ｍ２）」の間で、画質が同時に変化することになる。なお図２４のようにェックボックス２１５を設けない場合にも適用できることはもちろんである。

またパラメータとして画像の有する空間周波数に着目したパラメータを設定し、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せることで、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なうことも考えられる。

具体的には、例えば、上述した数９式のアンシャープ成分Ｖ−Ｖ_Ｂ（α_Ｂ）に対して、ぼかし帯域α_Ｂを低周波から高周波にかけ何段階かに分けて設定しておく。ここでは、これをα_Ｂ１、α_Ｂ２、α_Ｂ３の３段階とする。
このとき高周波成分を表す画像の画素値をＩ_ｈｉｇｈ、中周波成分を表す画像の画素値をＩ_ｍｉｄ、低周波成分を表す画像の画素値をＩ_ｌｏｗとしたときに、Ｉ_ｈｉｇｈ、Ｉ_ｍｉｄ、Ｉ_ｌｏｗを以下の数１２式で定義する。

そしてぼかし帯域α_Ｂをα_Ｂ１、α_Ｂ２、α_Ｂ３としたときの画像に対し、画素値の閾値を設け、この閾値以上の画素を抽出する。そして抽出した画素について、Ｉ_ｈｉｇｈ、Ｉ_ｍｉｄ、Ｉ_ｌｏｗを、それぞれＩ_ｈｉｇｈ（ｘ、ｙ）、Ｉ_ｍｉｄ（ｘ、ｙ）、Ｉ_ｌｏｗ（ｘ、ｙ）（（ｘ、ｙ）は、抽出した画素の位置）とする。そしてある領域中の各周波数成分の強度の度合いをＴ_ｈｉｇｈ、Ｔ_ｍｉｄ、Ｔ_ｌｏｗとする。このＴ_ｈｉｇｈ、Ｔ_ｍｉｄ、Ｔ_ｌｏｗは、Ｉ_ｈｉｇｈ（ｘ、ｙ）、Ｉ_ｍｉｄ（ｘ、ｙ）、Ｉ_ｌｏｗ（ｘ、ｙ）の平均値であると考えると、以下の数１３式のように定義できる。数１３式で、Ｎは、この領域中で抽出された画素数であり、Ｄはこの領域を表す。

そして選択された指定領域の画質を選択された見本領域の画質に合せるには、それぞれの領域のＴ_ｈｉｇｈ、Ｔ_ｍｉｄ、Ｔ_ｌｏｗの値が近づくような処理をすればよい。

具体的には、選択された指定領域と選択された見本領域とで、数１３式のＴ_ｈｉｇｈ、Ｔ_ｍｉｄ、Ｔ_ｌｏｗを算出する。そして最も大きかったものをそれぞれの代表帯域とする。ここでは例えば、Ｔ_ｈｉｇｈ（高周波成分）が代表帯域になったとする。そして選択された指定領域のＴ_ｈｉｇｈをＴ^Ｏ _ｈｉｇｈ、選択された見本領域のＴ_ｈｉｇｈをＴ^Ｒ _ｈｉｇｈとし、これらの強度の比を基に、数９式の強調の度合いα_ｇを算出することができる。強調の度合いα_ｇは、下記数１４式となる。

この強調の度合いα_ｇを使用し数９式を使用することで、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる。そしてその結果、選択された指定領域の画質を選択された見本領域の画質に合せることができる。

図２６（ａ）〜（ｃ）は、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる処理について説明した図である。
図２６（ａ）は、画像処理を行なう第１の画像である画像Ｇ１であり、頭髪の部分である「第１の指定領域（Ｓ１）」が選択されている。
また図２６（ｂ）は、見本となる第２の画像である画像Ｇ２であり、頭髪の部分である「第１の見本領域（Ｍ１）」が選択されている。
そして図２６（ｃ）は、「第１の指定領域（Ｓ１）」の空間周波数を「第１の見本領域（Ｍ１）」の空間周波数に合せ、「第１の指定領域（Ｓ１）」の画質を「第１の見本領域（Ｍ１）」に合せた場合を示している。

なお画像情報出力部１６については、実施の形態１と同様の機能を有する。

図２７は、第２の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図２７を使用して、第２の実施の形態の画像処理装置１０の動作について説明を行う。

まず画像情報取得部１１が、画像処理を行なう第１の画像の画像情報としてＲＧＢデータを取得する（ステップ２０１）。また画像情報取得部１１が、見本となる第２の画像の画像情報としてＲＧＢデータを取得する（ステップ２０２）。これらのＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。

そしてユーザが、指定領域を入力装置３０を使用して軌跡等のシードを入力することで指定する。同様にユーザは、見本領域を入力装置３０を使用して軌跡等のシードを入力することで指定する。
この指定領域や見本領域のシードの情報は、ユーザ指示受付部１２が受け付ける（ステップ２０３）。
さらに領域検出部１３が、指定領域や見本領域を切り出す処理を行う（ステップ２０４）。

次にユーザが、指定領域や見本領域の選択を入力装置３０を使用して入力する。
このユーザによる指定領域や見本領域の選択の指示は、ユーザ指示受付部１２が受け付ける（ステップ２０５）。
そして領域切替部１４により指定領域や見本領域の切り替えが行なわれる（ステップ２０６）。

またユーザは、選択された指定領域について行なう画像処理の指示を入力装置３０を使用して入力する。これは、例えば、スライダ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部１３が受け付ける（ステップ２０７）。

そしてパラメータ算出部１７が、選択された指定領域の画質を選択された見本領域の画質に合せるためのパラメータを算出する（ステップ２０８）。

次に画像処理部１５が、算出されたパラメータに基づき、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう（ステップ２０９）。
そして画像情報出力部１６が、画像処理がなされた後の画像情報を出力する（ステップ２１０）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。

以上詳述した第１の実施の形態の画像処理システム１によれば、指定領域を画像の中からより容易に、また直感的にに指定でき、また指定領域毎にインタラクティブに画質の調整を行なうことができる。また第２の実施の形態の画像処理システム１によれば、これに加え、指定領域を見本領域と対応づけることができ、そして選択された指定領域の画質を選択された見本領域の画質に合せる画像処理がより容易となる。即ち、ユーザは、画質のマッチングをより直感的に、またより容易に行なうことが可能となる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図２８は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、第１の画像の画像情報を取得する機能と、第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する機能と、第１の位置情報から指定領域を検出する機能と、指定領域に対し画像処理を行なう機能と、を実現させるプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…領域検出部、１４…領域切替部、１５…画像処理部、１６…画像情報出力部、１７…パラメータ算出部、２０…表示装置、３０…入力装置

Claims (7)

1. 第１の画像の画像情報を取得する画像情報取得部と、
   前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する位置情報取得部と、
   前記第１の位置情報から前記指定領域を検出する領域検出部と、
   前記指定領域に対し画像処理を行なう画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像情報取得部は、見本となる第２の画像の画像情報をさらに取得し、
   前記位置情報取得部は、前記第２の画像の中から、ユーザが前記第１の画像の前記指定領域に対し行なう画像処理の見本とする画像領域として指定する見本領域の代表位置を表す第２の位置情報をさらに取得し、
   前記領域検出部は、前記第２の位置情報から前記見本領域をさらに検出し、
   前記画像処理部は、前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なうことを特徴とする請求項１に記載の画像処理装置。
3. 前記指定領域は複数存在し、複数の当該指定領域を切り替える領域切替部をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記指定領域の画質を前記見本領域の画質に合せるためのパラメータを算出するパラメータ算出部をさらに備え、
   前記画像処理部は、前記パラメータに基づき前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なうことを特徴とする請求項２または３に記載の画像処理装置。
5. 第１の画像の画像情報を取得し、
   前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得し、
   前記第１の位置情報から前記指定領域を検出し、
   前記指定領域に対し画像処理を行なうことを特徴とする画像処理方法。
6. 第１の画像を表示する表示装置と、
   前記表示装置に表示される前記第１の画像の画像情報に対し画像処理を行なう画像処理装置と、
   ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
   を備え、
   前記画像処理装置は、
   前記第１の画像の画像情報を取得する画像情報取得部と、
   前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する位置情報取得部と、
   前記第１の位置情報から前記指定領域を検出する領域検出部と、
   前記指定領域に対し画像処理を行なう画像処理部と、
   を備える
   ことを特徴とする画像処理システム。
7. コンピュータに、
   第１の画像の画像情報を取得する機能と、
   前記第１の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第１の位置情報を取得する機能と、
   前記第１の位置情報から前記指定領域を検出する機能と、
   前記指定領域に対し画像処理を行なう機能と、
   を実現させるプログラム。

Images