JP2013074301A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】ユーザの操作において確実かつ簡単に画像における変化を所望する領域を指定して、その所望する領域を変化させることができるようにする。
【解決手段】スルー画像から、注目点領域を推定して抽出する（ステップＳ１０５）。次に、タッチパネルから供給されるモニタ上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０６）。引き続き、前記ステップＳ１０５で推定抽出された注目点領域と、前記ステップＳ１０６で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（ボカシ処理又は鮮鋭化処理する対象とする領域）を判別して選択する（ステップＳ１０７）ＳＤＲＡＭ内に保存されている撮影画像の選択領域（ステップＳ１０７で選択された領域）を対象領域とし、その他の領域にマスクを設定し、設定ボカシ処理量（ステップＳ１０９で設定されたボカシ処理量）に応じて、ボカシ処理を施す。
【選択図】図２

Description

本発明は、擦り動作等の継続的な指示に応じて画像の一部を徐々に変化させて表示する画像処理装置、画像処理方法、及び、プログラムに関する。

コンパクトカメラでは一般に、一眼レフのようなＦ値の小さい「明るいレンズ」を搭載しにくい。また、撮像イメージサイズが小さいので、同じ画角を得るには、実際のレンズ焦点距離を短かくする必要があり、被写界深度はどうしても深くなる。このため、前景から背景までピントが合った撮影がしやすい反面、前景や背景をぼかしたり、主要被写体だけにピントを合わせて強調する表現がしにくいなど、問題があった。

そこで、画面上でタッチ選択された背景領域に、平滑化フィルタでボケ処理を施したりする（特許文献１参照）などの技術が提案されている。

特開２００８−０７９１９３号公報

しかしながら、前述したタッチ選択された背景領域にボケ処理を施す方法では、主要被写体の検出が難しく、背景のみならず主要被写体もボケ処理が施されてぼけてしまう不都合が生ずる。また、色度などで画像における領域を自動分割すると、色の賑やかな画像においては、領域が多数に分かれてしまい、領域の指定入力が難しくなるという問題が生じる。

本発明は、かかる従来の課題に鑑みなされたものであり、ユーザの操作において確実かつ簡単に画像における変化を所望する領域を指定して、その所望する領域を変化させることができるようにすることを目的とする。

前記課題を解決するために、請求項１記載の発明は、画像を記憶する記憶手段と、表示手段と、この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、前記記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御手段と、この第１の表示制御手段によって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得手段と、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工手段と、を備えることを特徴とする。

また、請求項２記載の発明は、請求項１記載の発明において、前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を更に備えることを特徴とする。

また、請求項３記載の発明は、請求項１記載の発明において、前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を更に備えることを特徴とする。

また、請求項４記載の発明は、画像を記憶する記憶手段と、表示手段とを備える機器が有するコンピュータを、前記表示手段の表示面対して外部から指示を検出する第１の検出手段、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、前記記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御手段、この第１の表示制御手段によって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得手段、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工手段、として機能させることを特徴とする。
また、請求項５記載の発明は、表示手段の表示面対して外部から指示を検出する第１の検出ステップと、この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御ステップと、この第１の表示制御ステップによって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得ステップと、前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工ステップと、を含むことを特徴とする。

本発明によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定することができ、画像の指定した領域を徐々に変化させて表示することができる。

本発明の一実施の形態を適用した電子カメラのブロック図である。 撮影時のぼかし処理の手順を示すフローチャートである。 タッチ検出および軌跡の検出処理の手順を示すフローチャートである。 注目点領域の抽出処理（１）の手順を示すフローチャートである。 第１の実施の形態におけるボカシ処理及び鮮鋭化処理の画像の例を示す図である。 図５に続く画像の例を示す図である。 注目点領域の抽出処理（２）の手順を示すフローチャートである。 階層型画像データの作成処理例を示す図である。 第２の実施の形態におけるボカシ処理された画像例、及びボカシ程度の調整例を示す説明図である。

以下、本発明の一実施の形態を図に従って説明する。
図１は、本発明の各実施の形態に共通するデジタルカメラ１の電気的構成を示す回路ブロック図である。このデジタルカメラ１は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１１には、ズームレンズ１１１や図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。前記ズームレンズ１１１は、駆動機構に設けられているズームモーター１２によって光軸方向に駆動される。

デジタルカメラ１全体を制御するＣＰＵ（Central Processing Unit）１３には、バス１４及びタイミング発生器（ＴＧ：Timing Generator）１５を介してモータードライバ１６が接続されている。モータードライバ１６は、ユーザの操作に応じたＣＰＵ１３の命令に従いタイミング発生器１５が発生するタイミング信号に基づき、ズームモーター１２を駆動する。これにより、ズームレンズ１１１が駆動されて、そのレンズ位置が変化する。

このとき、ＣＰＵ１３は、自己が発生する命令を記憶して管理している。したがって、ＣＰＵ１３は、自己が発生する命令を記憶して管理することにより、自己が発生する命令によりタイミング発生器１５が発生するタイミング信号に応じて変化するズームレンズ１１１のレンズ位置を取得することができる。

また、図示は省略するが、実際には、フォーカスレンズを駆動するためのフォーカスモーター及びモータードライバや、メカシャッタやメカ絞り及びそれらを駆動するためのモーターを有する駆動機構等が設けられている。

また、デジタルカメラ１は、撮像素子としてＣＣＤ（Charge Coupled Device）１８を有している。ＣＣＤ１８は、レンズブロック１１の光軸上に配置されている。被写体は、レンズブロック１１によってＣＣＤ１８の受光面に結像される。ＣＣＤ１８は、ＣＰＵ１３の命令に従いタイミング発生器１５が生成するタイミング信号に基づき垂直及び水平ドライバ１９によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路２０に出力する。ユニット回路２０は、ＣＣＤ１８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ（Correllated Double Sampling）回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等から構成され、デジタル信号をＤＳＰ（Digital Signal Processor）２１へ出力する。

ＤＳＰ２１は、ユニット回路２０から出力されたデジタル信号に対しペデスタルクランプやオートホワイトバランス等の各種画像処理を施すことにより、輝度（Ｙ）信号及び色差（ＵＶ）信号からなる画像データを生成する。ＤＳＰ２１で変換された画像データは順次ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に格納されるとともに、ＲＥＣ（Record）スルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶のモニタ４へ送られてスルー画像として画面表示される。

そして、静止画撮影モードにおいては、レリーズ釦操作をトリガとして、ＣＰＵ１３は、ＣＣＤ１８、垂直及び水平ドライバ１９、ユニット回路２０、及びＤＳＰ２１に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られＳＤＲＡＭ２２に一時記憶された画像データは、ＣＰＵ１３により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ２５に記録される。この外部メモリ２５に記録された静止画ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ１３に読み出されるとともに伸張され、画像データとしてＳＤＲＡＭ２２に展開された後、画像データに基づく画像がモニタ４に表示される。

フラッシュメモリ２６には、ＣＰＵ１３に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。

また、デジタルカメラ１は、半押し操作と全押し操作とが可能なレリーズ釦、ズーム釦、ＯＫ釦等の複数の操作キー及びスイッチを含むキー入力部２７を有している。キー入力部２７は、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ１３へ供給する。

なお、モニタ４には、タッチパネル２３が積層されている。タッチパネル２３は、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出し、検出した位置及び度合位置を示す信号をＣＰＵ１３に供給する。

（第１の実施の形態）
次に、以上の構成にかかるデジタルカメラ１の第１の実施の形態における動作を説明する。図２は、本実施の形態における撮影時のぼかし処理の手順を示すフローチャートである。ユーザによるキー入力部２７での操作により、ぼかし処理モードが設定されるとＣＰＵ１３は前記プログラムに従って、このフローチャートに示す処理を実行する。

すなわち、ＣＰＵ１３は、撮影モードが設定されているか否かを判断し（ステップＳ１０１）、撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ１０２）。

撮影モードが設定されている場合には、スルー撮像、スルー表示処理を実行し、レンズブロック１１を介してＣＣＤ１８により所定のフレームレートで撮像したスルー画像を液晶のモニタ４に表示させる（ステップＳ１０３）。次に、タッチ操作によるぼかし撮影が設定されているか否かを判断し（ステップＳ１０４）、設定されていない場合にはステップＳ１０５〜Ｓ１１４の処理を行うことなく、ステップＳ１１５に進む。

タッチ操作によるぼかし撮影が設定されている場合には、液晶表示パネル３に表示されているスルー画像から、注目点領域を推定して抽出する（ステップＳ１０５）。なお、このステップＳ１０５で実行される注目点領域の推定抽出に関しては、図４に示すフローチャートに基づき後述する。次に、タッチパネル２３から供給されるモニタ４上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０６）。このステップＳ１０６で実行されるタッチ検出及びタッチ軌跡の検出処理に関しては、図３に示すフローチャートに基づき後述する。

引き続き、前記ステップＳ１０５で推定抽出された注目点領域と、前記ステップＳ１０６で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（ボカシ処理又は鮮鋭化処理する対象とする領域）を判別して選択する（ステップＳ１０７）。つまり、前記ステップＳ１０６で検出されたタッチ入力軌跡がある領域であっても、前記ステップＳ１０５で推定抽出された注目点領域である場合には、この領域を処理対象領域とはせずに、タッチ入力軌跡がある領域であって注目点領域でない領域のみを処理対象領域として判別する。さらに、この処理対象領域に対する処理種別である機能コマンドとして、予めボカシ処理（ステップＳ１０８）と鮮鋭化処理（ステップＳ１１１）のいずれが選択設定されているかを判断する。

機能コマンドとしてボカシ処理が選択設定されている場合には（ステップＳ１０８→ＹＥＳ）、前記ステップＳ１０７で選択されたスルー画像における選択領域をボカシ処理の対象領域に設定し、前記ステップＳ１０６で検出したタッチの度合に応じてボカシ処理量を設定する（ステップＳ１０９）。また、ボカシ処理を実行すべきことを示すボカシ処理Ｆｌａｇに「１」を立てる（ステップＳ１１０）。

他方機能コマンドがボカシ処理でない場合には、機能コマンドが鮮鋭化処理であるか否かを判断する（ステップＳ１１１）。鮮鋭化処理である場合には（ステップＳ１１１→ＹＥＳ）、前記ステップＳ１０７で選択されたスルー画像における選択領域をボカシ処理の対象領域に設定し、前記ステップＳ１０６で検出したタッチの度合に応じて鮮鋭化処理量を設定する（ステップＳ１１２）。また、鮮鋭化処理を実行すべきことを示す鮮鋭化処理Ｆｌａｇに「１」を立てる（ステップＳ１１０）。さらに、機能コマンドがボカシ処理と鮮鋭化処理のいずれでもない場合には、その他のコマンド処理を実行する（ステップＳ１１４）。

そして、ステップＳ１１０、Ｓ１１３、Ｓ１１４のいずれかに続くステップＳ１１５においては、キー入力部２７に設けられたレリーズ釦が半押し操作されたか否か、又はＡＥロックなどの撮影準備操作がなされたか否かを判断する（ステップＳ１１５）。これら操作のいずれかがなされたならば、測光処理を行うとともに、この測光処理により得られた計測露出値と予め設定されている設定撮影条件に応じてＣＣＤ１８の露光条件を設定する（ステップＳ１１６）。

引き続き、レリーズ釦が全押し（または、撮影指示操作が検出）されたか否か（ステップＳ１１７）、または半押しされているレリーズ釦から手指が離されて、半押しが解除されたか否か（ステップＳ１１８）を判断する。レリーズ釦の半押しが解除された場合には、ＡＥロックや処理フラグ（ボカシ処理Ｆｌａｇまたは鮮鋭化処理Ｆｌａｇ）を解除して（ステップＳ１１９）、リターンする。

レリーズ釦が全押し（または、撮影指示操作が検出）された場合には、前記ステップＳ１１６で設定された設定露出条件などの撮影条件に応じて、ＣＣＤ１８を露出させて撮影処理する（ステップＳ１２０）。そして、この撮影処理により得られた撮影画像データをＳＤＲＡＭ２２に一時的に記憶する（ステップＳ１２１）。

次に、ボカシ処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２２）。ボカシ処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２１でＳＤＲＡＭ２２に保存した今回の撮影画像にボカシ処理を施す（ステップＳ１２３）。具体的には、ＳＤＲＡＭ２２内に保存されている撮影画像の選択領域（ステップＳ１０７で選択された領域）を対象領域とし、その他の領域にマスクを設定し、設定ボカシ処理量（ステップＳ１０９で設定されたボカシ処理量）に応じて、ボカシ処理を施す。したがって、本実施の形態によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定することができ、画像の指定した領域を徐々に変化（ボカシ変化）させて表示することができる。

さらに、このボカシ処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１２４）。しかる後に、このボカシ処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、ボカシ処理Ｆｌａｇ＝０に戻しす（ステップＳ１２５）。したがって、ユーザにおいて画像の所望領域を確実にボカシ変化させた画像を外部メモリ２５に保存することができる。

また、ボカシ処理Ｆｌａｇ＝１の状態でない場合には、鮮鋭化処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２６）。鮮鋭化処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２１でＳＤＲＡＭ２２に保存された今回の撮影画像に鮮鋭化処理を施す（ステップＳ１２７）。具体的には、ＳＤＲＡＭ２２内に保存した撮影画像の選択領域（ステップＳ１０７で選択された領域）を対象領域とし、その他の領域にマスクを設定し、設定鮮鋭化処理量（ステップＳ１１２で設定された鮮鋭化処理量）に応じて、鮮鋭化処理を施す。

さらに、この鮮鋭化処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１２８）。しかる後に、この鮮鋭化処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、鮮鋭化処理Ｆｌａｇ＝０に戻して（ステップＳ１２９）、リターンする。

また、ボカシ処理Ｆｌａｇ＝０、かつ、鮮鋭化処理Ｆｌａｇ＝０の状態にある場合には、前記ステップＳ１２１でＳＤＲＡＭ２２に保存された今回の撮影画像に通常の信号処理（デジタル現像処理）を施す（ステップＳ１３０）。さらに、この通常の信号処理済み画像をモニタ４にレビュー表示した後（ステップＳ１３１）、この通常の信号処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し（ステップＳ１３２）、リターンする。

図３は、前記タッチ検出及びタッチ軌跡の検出処理（ステップＳ１０６）のサブルーチンを示すフローチャートである。すなわち、ＣＰＵ１３は、タッチパネル２３を走査して、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出する（ステップＳ２０１）。また、ユーザによるタッチが継続中であるか否かを判断する（ステップＳ２０２）。タッチが継続中であるならば、タッチ継続中Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ２０３）。

タッチ継続中Ｆｌａｇ＝１の状態でない場合には、タッチ継続中Ｆｌａｇ＝０であって検出されたタッチが新たなタッチであるか否かを判断する（ステップＳ２０４）。新たなタッチであるならば、タッチ検出動作を開始し（ステップＳ２０５）、検出されたタッチ点の位置と度合を開始点としてＳＤＲＡＭ２２にメモリする（ステップＳ２０６）。また、タッチが継続中となったことを示すタッチ継続中Ｆｌａｇを立てて、タッチ継続中Ｆｌａｇ＝１にする（ステップＳ２０７）。

このステップＳ２０７での処理によりタッチ継続中Ｆｌａｇ＝１となると、再度このフローに従ってステップＳ２０１からの処理が実行された際に、ステップＳ２０３の判断がＹＥＳとなる。したがって、ステップＳ２０３からステップＳ２０８に進み、前記ステップＳ２０１で検出されたタッチ点の座標位置、度合を順次ＳＤＲＡＭ２２にメモリして蓄積する。

さらに、このタッチ点の座標位置の蓄積により得られる連続タッチ点から選択された複数点を折れ線（またはスプライン曲線）で連結する（ステップＳ２０９）。つまり、ステップＳ２０１で検出されるタッチ位置は、このフローチャートに従って処理が実行される毎に得られる点的な位置情報（連続タッチ点）である。したがって、これら点的な位置情報（連続タッチ点）から選択された複数点を連結することにより、点的なタッチ情報を線的なタッチ情報に変換する。

さらに、この連結されたタッチ点の軌跡を表示部であるモニタ４にプロット描画し、当該モニタ４に表示されているスルー画像に重畳表示する（ステップＳ２１０）。したがって、ユーザがモニタ４に表示されているスルー画像の所望部分を例えば手指で擦ると、当該所望部分に擦った軌跡が重畳表示されることとなる。

また、ユーザがスルー画像の所望部分を擦るのをやめてモニタ４から手指を離すと、再度ステップＳ２０１からの処理が実行された際にステップＳ２０２の判断がＮＯとなる。したがって、ステップＳ２０２からステップＳ２１１に進みタッチ入力が終了したか否かを判断する。このタッチ入力が終了したか否かの判断は、タッチ継続中Ｆｌａｇ＝１の状態でタッチが不継続となったか否かにより判断することができる。

タッチ入力が終了したならば、タッチ点の座標位置、度合のＳＤＲＡＭ２２へのメモリ処理（ステップＳ２０８）と、モニタ４のスルー画像上へのタッチ点の軌跡描画処理（ステップＳ２１０）とを終了させる（ステップＳ２１２）。引き続き、最後のタッチ点の位置と度合を終了点としてＳＤＲＡＭ２２にメモリする（ステップＳ２１３）。また、前記ステップＳ２１０でモニタ４にプロット描画されているタッチ軌跡の連結プロット線を出力した後（ステップＳ２１４）、タッチ継続中Ｆｌａｇ＝０にする（ステップＳ２１５）。

そして、前記ステップＳ２１４で出力したタッチ位置と軌跡から、機能コマンドの選択か、対象領域の指示かを判別する（ステップＳ２１６）。つまり、本実施の形態においては、以上に説明したスルー画像における対象領域の指示入力のみならず、図２のステップＳ２０８、Ｓ１１１、Ｓ１１４に示した機能コマンドの設定もモニタ４に対するタッチをタッチパネル２３より検出することにより行う。したがって、タッチパネル２３より検出したモニタ４に対するタッチが機能コマンドの選択であるのか、対象領域の指示であるのか判別する必要がある。

また、この判別は機能コマンドの選択であればタッチ位置は固定的であり、タッチ軌跡も短いことから、タッチ位置とタッチ軌跡とから判別することができる。したがって、ステップＳ２１６での判別処理の結果に基づき、タッチが機能コマンドの入力であるか否かを判断する（ステップＳ２１７）。機能コマンドの入力であるならば、機能コマンドの設定・変更処理を実行する（ステップＳ２１８）。

また、機能コマンドの入力でない場合には、対象領域の指示入力か否かを判断し（ステップＳ２１９）、そうである場合には対象領域の指示設定処理を実行する（ステップＳ２１０）。機能コマンドの入力と対象領域の指示入力のいずれでもない場合には、その他の入力処理を実行する（ステップＳ２２１）。

図４は、本発明の第１の実施の形態において前記ステップＳ１０５で実行される注目点領域の抽出処理のサブルーチンを示すフローチャートである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像I(x,y)をＳＤＲＡＭ２２に入力する（ステップＳ３０１）。次に、ガウシアン解像度ピラミッドの作成を行う（ステップＳ３０２）。このガウシアン解像度ピラミッドの作成に際しては、下記式（１）及び（２）に示すように、入力画像I(x,y)から、順次、ガウシアンフィルタ処理とダウンサンプリング処理を行って、階層型のスケール画像 I（L）の組を作成する。
I(０)＝I(x,y)・・・（１）
I(L+1)＝Subsampled_(1/2×1/2) ［I(L)*G_(5×5)］・・・（２）

引き続き、ステップＳ３０３〜Ｓ３０６の処理で輝度の特徴量マップ(F_I)を作成し、ステップＳ３０７〜Ｓ３１０の処理で色の特徴量マップ(F_Ｃ)を作成し、ステップＳ３０１１〜Ｓ３１４の処理で方向性の特徴量マップ(F_Ｏ)を作成する。まず、輝度の特徴量マップ(F_I)の作成について説明すると、各注目画素c∈{2、3、4}の各スケール画像の輝度成分I(c)求める（ステップＳ３０３）。また、各注目画素の周辺s=c+δ、δ∈{3、4}の各スケール画像の輝度成分I(s)を求める（ステップＳ３０４）。さらに、下記式（３）に示すように、各スケール画像について、輝度IのCenter-Surroundのスケール間差分〔-〕(輝度コントラスト)を求める（ステップＳ３０５）。
I(c、s)=｜I(c)〔-〕I(s)｜・・・（３）

しかる後に、下記式（４）に示すように、輝度コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、輝度の特徴量マップ(F_I)を作成する（ステップＳ３０６）。
F_I＝〔+〕_c〔+〕_sN(I(c,s))・・・（４）
ただし、c=2〜4、s=c+3〜c+4。

他方、色の特徴量マップ(F_Ｃ)は、ステップＳ３０７〜Ｓ３１０の処理により作成する。すなわち、各注目画素c∈{2、3、4}の各スケール画像の色成分R(c)、G(c)、B(c)、Y(c)を求める（ステップＳ３０７）。また、各注目画素の周辺s=c+δ、δ∈{3、4}の各スケール画像の色成分R(s)、G(s)、B(s)、Y(s)を求める（ステップＳ３０８）。さらに、下記式（４）（５）により各スケール画像について、色相(R/G,B/Y)のCenter-Surroundのスケール間差分〔-〕(色相コントラスト)を求める（ステップＳ３０９）。
RG(c、s)=|(R(c)-G(c))〔-〕(G(s)-R(s))|・・・（４）
BY(c、s)=|(B(c)-Y(c))〔-〕(B(s)-Y(s))|・・・（５）

また、下記式（６）により、色相コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、色の特徴量マップ(F_C)を作成する（ステップＳ３１０）。
F_C＝〔+〕_c〔+〕_s{N(RG(c,s))+N(BY(c,s))}・・・（６）
ただし、c=2〜4、s=c+3〜c+4。

そして、方向性の特徴量マップ(F_Ｏ)は、ステップＳ３０１１〜Ｓ３１４の処理により作成する。すなわち、各注目画素c∈{2、3、4}の各スケール画像の方向性成分Ｏ(c,θ)を求める（ステップＳ３１１）。また、各注目画素の周辺s=c+δ、δ∈{3、4}の各スケール画像の方向性成分Ｏ(s,θ)を求める（Ｓ３１２）。下記式（７）により、各スケール画像について、方向性ＯのCenter-Surroundのスケール間差分〔-〕(方向性コントラスト)を求める（ステップＳ３１３）。
Ｏ(c,s,θ)＝｜Ｏ(c,θ)〔-〕Ｏ(s,θ)｜・・・（７）

また、下記式（８）により、方向性コントラストの特徴量マップを正規化し、c、s、θの全範囲にわたって結合し、方向性の特徴量マップ(F_O)を作成する（ステップＳ３１４）。
F_O＝Σθ〔+〕_c〔+〕_s{N(Ｏ(c,s,θ))・・・（８）
ただし、θ=0°,45°,90°,135°、
c=2〜4、s=c+3〜c+4

以上の処理により、輝度の特徴量マップ(F_I)、色の特徴量マップ(F_C)、方向性の特徴量マップ(F_O)が作成されることとなる。したがって、下記式（９）に示すように、これら複数の特徴量マップを、線形和で統合して、顕著性マップ(Saliency Map)Sを求める（ステップＳ３１５）。
S＝w₁・N(F_I)+w₂・N(F_C)+w₃・N(F_O)・・・（９）

そして、顕著性マップSの所定閾値以上の領域(S≧S_th)を、注目点領域として抽出するのである（ステップＳ３１６）。

図５（Ａ）〜（Ｈ）及び図６（Ｉ）〜（Ｐ）は、以上に説明した第１の実施の形態における画像の例を示す図である。先ず、スルー画像又は撮影画像を元画像Ｐ１０１としてモニタ４に表示する（Ａ）。この元画像Ｐ１０１から複数の特徴量マップ（色の特徴量マップFC（Ｂ）、特徴量マップFO（Ｃ）、特徴量マップFI（Ｄ））を生成する。そしてこれら特徴量マップFC、特徴量マップFO、特徴量マップFIを顕著性マップに統合することにより、単一の顕著性マップＰ１０７を生成する（Ｅ）。そして、図４のステップＳ３１６においても説明したように、顕著性マップの所定閾値以上の領域を、注目点領域Ｐ１０８として抽出する（Ｆ）。

また、元画像を平滑化フィルタで処理し、この平滑化処理された元画像のエッジ検出を検出して、エッジ画像（輪郭線）Ｐ１１１を得る（Ｇ）。そして、前記注目点領域Ｐ１０８で得られた注目点の領域近傍をエッジ画像（輪郭線）から抽出して、注目点の近傍抽出画像Ｐ１１３を得る（Ｈ）。

他方、図６（Ｉ）に示すように、ユーザが、タッチパネル上で「Ｂｌｕｒ(ぼかす)」と「Ｆｏｃｕｓ(ピント)」を選択した後、表示されている元画像にタッチすると、ぼかすＰ１１４又はぼかさない領域がタッチパネルで検出され描画される（Ｉ）。すると、タッチパネルによりタッチが検出されるとともに、検出されたタッチの位置、タッチの度合、軌跡Ｐ１１５が順次記憶されていく（Ｊ）。これら記憶されたタッチの位置等は折れ線又はＢスプライン曲線等（Ｐ１１６）で結合され、タッチ指示領域が判定される（Ｋ）。

そして、前記Ｐ１１３で得られた注目点の近傍抽出画像から、タッチ指示領域に近い注目点領域だけが抽出され、抽出領域Ｐ１１８が得られる（Ｌ）。さらに、現画像において抽出領域に対応する画像部分Ｐ１１９が特定され（Ｍ）、当該部分（本例では右側の大輪のバラ）のみが鮮鋭化処理される。

また、前記特定された抽出領域Ｐ１１８に対応する画像部分（本例では右側の大輪のバラ）を覆う形状のマスクを作成する。そして、この作成したマスクを元画像において描画指示されたぼかさない領域（本例では右側の大輪のバラ、Ｐ１２２）を覆って保護する（Ｎ）。引き続き、ぼかさない領域をマスクした状態で、元画像をボカシ処理し（Ｐ１２３）、ボカシ処理された画像を得る（Ｏ）。

したがって、このボカシ処理より、「右側の大輪のバラ」を除く画像部分がボカシ処理された画像が得られ、表示される。また、前記鮮鋭化処理より、「右側の大輪のバラ」のみが鮮鋭化処理された画像が得られている。そこで、こので得られた「右側の大輪のバラ」のみが鮮鋭化処理された画像と、「右側の大輪のバラ」を除く画像部分がボカシ処理された画像とを合成処理する。これにより、タッチ指示された注目点領域以外がボカシ処理された画像（Ｐ１２６）が得られて表示されることとなる（Ｐ）。
（第２の実施の形態）
図７は、本発明の第２の実施の形態において、前記ステップＳ１０５で実行される注目点領域の抽出処理のサブルーチンを示すフローチャートである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像ＩをＳＤＲＡＭ２２に入力する（ステップＳ４０１）。次に、階層型のスケール画像の組（ガウシアン解像度ピラミッド）を作成する（ステップＳ４０２）。引き続き、ステップＳ４０３〜Ｓ４１０の処理でコントラストの特徴量マップF_C(x,I)、center-surroundの色ヒストグラムの特徴量マップF_h(x,I)、色の空間分布の特徴量マップF_S(x,I)を求める。

まず、コントラストの特徴量マップF_C(x,I)処理について説明すると、下記式（１０）により、マルチ・スケールのコントラストの特徴量マップF_C(x,I)を求める（ステップＳ４０３）。
F_C(x,I)＝Σ_LΣ_X'||I^L(x)-I^L(x')||²・・・（１０）
ただし、I^L(x)は、ガウシアンピラミッドのＬ番目の階層の画像

また、center-surroundの色ヒストグラムの特徴量マップF_h(x,I)を求めるには、矩形を異なるアスペクト比{0.5,0.75,1.0,1.5,2.0}に変えて、各矩形領域の色ヒストグラムR(x)と、周辺輪郭の色ヒストグラムR_S(x)とを、それぞれ計算する（ステップＳ４０４）。下記式（１１）により、色ヒストグラムR(x)とR_S(x)のカイ２乗距離が最大となる矩形領域のヒストグラムR^*(x)を求める（ステップＳ４０５）。
R^*(x)＝argmax{X²(R(x),R_S(x))}・・・（１１）

さらに、下記式（１２）により、center-surroundの色ヒストグラムの特徴量マップF_h(x,I)を求める（ステップＳ４０６）。
F_h(x,I)∝Σ_X'{w_XX'・X²(R^*(x')R^*S(x'))}・・・（１２）

また、色の空間分布の特徴量マップF_S(x,I)を求めるには、下記式（１３）を用いて、色の空間分布について、水平方向の分散V_h(c)を計算する（ステップＳ４０７）。
V_h(c)＝(1/|X|_C)Σ_x{p(c|I_x)・|x_h-M_h(c)|²}・・・（１３）

また、下記式（１４）を用いて、色の垂直方向の分散V_V(c)を計算する（ステップＳ４０８）。
V_V(c)＝(1/|Y|_C)Σ_y{p(c|I_y)・|y_h-N_h(c)|²}・・・（１４）

また、下記式（１４）を用いて、色の空間的な分散V(c)を求める（ステップＳ４０９）。
V(c)＝V_h(c)+V_V(c)・・・（１４）

そして、下記式（１５）を用いて、色の空間分布の特徴量マップF_S(x,I)を求める(ステップＳ４１０)。
F_S(x,I)∝Σ_cp(c|I_x)・(1-V(c))・・・（１５）

以上の処理により、コントラストの特徴量マップF_C(x,I)、center-surroundの色ヒストグラムの特徴量マップF_h(x,I)、色の空間分布の特徴量マップF_S(x,I)が求められることとなる。したがって、下記式（１６）に示すように、各特徴量マップを線形統合して、顕著性マップS(x,I)を求めて出力する（ステップＳ４１１）。
S(x,I)＝w₁・F_c(x,I)+w₂・F_h(x,1)+w₃・F_S(x,1) ・・・（１６）

そして、顕著性マップSの所定閾値以上の領域(S≧S_th)を、注目点領域として抽出するのである（ステップＳ４１２）。

図８は、注目点領域の推定抽出の前処理としての階層型画像データ（ガウシアン解像度ピラミッド）の作成処理の例を示す図である。この図に示すように、画像Ｉ（３）、画像Ｉ（２）、画像Ｉ（１）、画像Ｉ（０）からなる階層型画像データ（ガウシアン解像度ピラミッド）を作成する。

なお、ボカシ処理方法としは、下記（ａ）（ｂ）を挙げることができる。

（ａ）ガウシアン分布フィルタ(Gaussian Filter)を用いるボカシ処理

ただし、上式でＧσ（ｘ）は、ガウシアン分布に従い、

つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）を調整して、任意程度のボケ画像を合成することができる。

（ｂ）バイラテラル・フィルタ(Bilateral Filter)を用いるボカシ処理
下記式（１９）に示すように、空間フィルタＧσｓ（ｘ）とインテンシティフィルタ（Ｇσｓ（ｘ））とを組み合わせて、任意程度のボケ画像を合成する。

つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σｓ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）をσｒ（強度パラメータ）により、ぼかす強度（点ｐの輝度Ｉｐとの違いに応じた影響の度合をそれぞれ調整して、ぼかし処理ことができる。

図９は、以上に説明した第２の実施の形態におけるボカシ処理された画像例、及びボカシ程度の調整例を示す説明図である。スルー画像又は撮影画像を元画像として用いる（ステップＰ２０１）。タッチパネル上で「Ｂｌｕｒ(ぼかす)」と「Ｆｏｃｕｓ(ピント)」から、「Ｆｏｃｕｓ(ピント)」を選択した後、画像上の３本のバラに円曲線状に触れる（ステップＰ２０２）。これにより、３本のバラにピントが指示され、他にボカシが指示される（ステップＰ２０３）。

また、ステップＰ２０４、Ｐ２０６、Ｐ２０８に示す形態で、３本のパラの背景領域におけるボカシ程度を指示する。すなわち、タッチパネル上で「Ｂｌｕｒ(ぼかす)」を選択した後、ステップＰ２０４に示すように、背景領域に短く複数箇所でタッチする。また、ステップＰ２０６に示すように、背景領域に短いタッチと長いタッチとを混在させる。あるいは、ステップＰ２０８に示すように、背景領域に連続した長いタッチを行う。

このような場合、ボカシの程度は、Ｐ２０４＜Ｐ２０６＜Ｐ２０８とし、ステップＰ２０４が最もボカシが少なく、ステップＰ２０６が次にボカシが多く、ステップＰ２０８が最もボカシが多く指示されたものと判断する。したがって、ステップＰ２０４の場合には３本のバラの背景領域にガウシアンフィルタ、半径＝１画素でボカシ処理を施す（ステップＰ２０５）。また、ステップＰ２０６の場合には３本のバラの背景領域にガウシアンフィルタ、半径＝２．５画素でボカシ処理を施し（ステップＰ２０７）、ステップＰ２０８の場合には３本のバラの背景領域にガウシアンフィルタ、半径＝４．５画素でボカシ処理を施す（ステップＰ２０９）。

また、タッチパネル上で「Ｂｌｕｒ(ぼかす)」と「Ｆｏｃｕｓ(ピント)」から、「Ｆｏｃｕｓ(ピント)」を選択した後、右のバラに円曲線状に触れる（ステップＰ２１０）。これにより、右のバラにピントが指示され、他にボカシが指示される（ステップＰ２１１）。

また、ステップＰ２０４、Ｐ２０６、Ｐ２０８に示す形態で、３本のパラの背景領域におけるボカシ程度を指示する。すなわち、タッチパネル上で「Ｂｌｕｒ(ぼかす)」を選択した後、ステップＰ２０４に示すように、背景領域に短く複数箇所でタッチする。また、ステップＰ２０６に示すように、背景領域に短いタッチと長いタッチとを混在させる。あるいは、ステップＰ２０８に示すように、背景領域に連続した長いタッチを行う。

このような場合、ボカシの程度は、前述のようにＰ２０４＜Ｐ２０６＜Ｐ２０８とし、ステップＰ２０４が最もボカシが少なく、ステップＰ２０６が次にボカシが多く、ステップＰ２０８が最もボカシが多く指示されたものと判断する。したがって、ステップＰ２０４の場合には右のバラ以外の領域にガウシアンフィルタ、半径＝１画素でボカシ処理を施す（ステップＰ２１２）。また、ステップＰ２０６の場合には右のバラ以外の領域にガウシアンフィルタ、半径＝２．５画素でボカシ処理を施し（ステップＰ２１３）、ステップＰ２０８の場合には右のバラ以外の領域にガウシアンフィルタ、半径＝４．５画素でボカシ処理を施す（ステップＰ２１４）。

したがって、以上の処理により、タッチの形態を変化させることによりボカシの程度及び領域を設定することもできる。

なお、実施の形態に下記の構成を加えるようにしてもよい。
（１）表示画面にアイコンとして、「ボカシ処理」、「ボケ除去処理」など、撮影モードや修正モードを選択するアイコン、もしくは、処理の程度や領域の大きさ、・・・などを選択するためのアイコンやパレットなどの操作オブジェクトを表示する。そして、
・操作オブジェクトの表示に対応する領域または近くを、点状、または、じわっと、短距離でタッチされた場合は、操作オブジェクトの選択と見なし、そのオブジェクトに応じたモードや処理の切替え、選択を行う。
・操作オブジェクト領域内を線状、または所定距離以上なぞられた場合は、既選択処理の対象領域の指定入力と見なす。
・操作オブジェクト領域から離れた点がタッチされた場合も、既選択処理の対象領域の指定入力と見なす。
・操作オブジェクト領域または近くであっても、その他領域からつながる軌跡で、線状にタッチされたり、比較的長い距離こすられたりした時は、既選択処理の対象領域の指定の延長と判断して、こすられた領域を、操作オブジェクト対応領域も含めて、対象領域として指定する。

（２）指やペンでこすったりなぞったりされた領域を、「ボカシ処理」（または「ボケ除去処理」）の対象領域として指定入力すると同時に、タッチの強弱（強さ、圧力、導電率）や太さ、面積、軌跡の形状、こすった度合や程度（塗りつぶし割合、往復回数、タッチ時間）などを分析して、それらに応じて、「ボカシ処理」（または「ボケ除去処理」）の強弱、程度、領域の広さ、フィルタの係数、・・・等を加減調整して設定し、設定された強弱、程度、領域、フィルタ特性にて、「ボカシ処理」（または「ボケ除去処理」）を施す。

（３）撮影条件（焦点距離ｆ、絞り開口F値、撮影距離Ｌ）および許容錯乱円半径ｄ（または画像の印刷サイズ）に応じて、主被写体領域とその他領域の領域毎の被写界深度の深さ、またはボケ具合を計算して、計算された被写界深度またはボケ具合と、ユーザー操作によるぼかしの強弱加減との組合せに応じて、ぼかしフィルタの係数などを設定して、画像処理によるぼかしの強弱、程度、分布状態を自動調整する。

１ デジタルカメラ
４ モニタ
１１ レンズブロック
１２ ズームモーター
１３ ＣＰＵ
１８ ＣＣＤ
１９ 水平ドライバ
２０ ユニット回路
２１ ＤＳＰ
２２ ＳＤＲＡＭ
２３ タッチパネル
２５ 外部メモリ
２６ フラッシュメモリ
２７ キー入力部
１１１ ズームレンズ

Claims (5)

1. 画像を記憶する記憶手段と、
   表示手段と、
   この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、
   この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、
   前記記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御手段と、
   この第１の表示制御手段によって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得手段と、
   前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工手段と、
   を備えることを特徴とする画像処理装置。
2. 前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を更に備えることを特徴とする請求項１記載の画像処理装置。
3. 前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を更に備えることを特徴とする請求項１記載の画像処理装置。
4. 画像を記憶する記憶手段と、表示手段とを備える機器が有するコンピュータを、
   前記表示手段の表示面対して外部から指示を検出する第１の検出手段、
   この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、
   前記記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御手段、
   この第１の表示制御手段によって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得手段、
   前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工手段、
   として機能させることを特徴とするプログラム。
5. 表示手段の表示面対して外部から指示を検出する第１の検出ステップと、
   この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、
   記憶手段から画像を読み出し、前記表示手段に表示するよう制御する第１の表示制御ステップと、
   この第１の表示制御ステップによって表示されている画像を複数の画像領域に分割し、この分割された画像領域毎に特徴量情報を取得する取得ステップと、
   前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの位置及び位置情報に対応している前記分割された画像領域の特徴量情報に基づいて、前記指示情報に対応する画像領域を加工する加工ステップと、
   を含むことを特徴とする画像処理方法。