JP2011170840A

JP2011170840A - 画像処理装置及び電子機器

Info

Publication number: JP2011170840A
Application number: JP2011002433A
Authority: JP
Inventors: Haruo Hatanaka; 晴雄畑中; Yoshiyuki Tsuda; 佳行津田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-01-20
Filing date: 2011-01-07
Publication date: 2011-09-01
Also published as: JP2011170838A; US20130016246A1; CN102812490A

Abstract

【課題】画像上に写り込んでいる不要オブジェクトを簡便に除去する。
【解決手段】人物７０３が不要オブジェクトである場合、タッチパネル機能を利用してユーザが人物７０３を指定することで、人物７０３の画像領域が不要領域７１１に設定される。画像補正部は、不要領域７１１以外の画像領域を補正パッチ領域（補正用領域）として入力画像７００から抽出し、補正パッチ領域の画像データを用いて不要領域７１１を補正することで不要オブジェクトを除去することができる。この際、ユーザは抽出禁止領域７１２を指定することができ、該指定が成されている場合、抽出禁止領域７１２以外の画像領域から補正パッチ領域７１３が抽出される。
【選択図】図２２

Description

本発明は、画像処理を行う画像処理装置及び画像処理機能を備えた電子機器に関する。

デジタルカメラを用いた写真撮影等によって得た任意のデジタル画像に、意図しない傷（傷のような模様）や、意図せず写りこんでしまった不要な物体が含まれることがある。画像編集ソフトウェアを用いてデジタル画像を編集（補正）すれば、これらの不要オブジェクト（不要な物体や模様等）をデジタル画像から除去することが可能である。

図１８（ａ）の符号９１０は、補正の対象となるデジタル画像を表している。入力画像９１０には二人の人物９１１及び９１２が現れている。人物９１１がユーザの注目人物であり、人物９１２がユーザにとっての不要オブジェクトであるとする。画像編集ソフトウェアでは、入力画像９１０を液晶ディスプレイ等の表示画面に表示させた状態で、ユーザによる編集操作を受け付ける。ユーザは、入力画像９１０上における人物９１１の画像領域を不要領域とみなし、適当な塗りつぶし色を用いて該不要領域を塗りつぶす編集操作を行う。これにより、ユーザは、不要オブジェクトが除去された所望の画像を得ることができる。図１８（ｂ）は、編集操作中における表示画像の様子を示しており、符号９１３は、塗りつぶし用のアイコン（筆を模したアイコン）を示している。

また、以下に示すような画像処理ソフトウェアも開発されている（下記非特許文献１及び２参照）。図１９に示すような人物９２１〜９２３の画像を含む入力画像９２０が当該画像処理ソフトウェアに供給され、ユーザが人物９２３を不要オブジェクトとして捉えている場合、ユーザはユーザインターフェースを介して入力画像９２０中の不要領域（不要オブジェクトが存在する領域）ＡＡを指定する。そうすると、当該画像処理ソフトウェアは、図２０（ａ）に示す如く自動的に小領域ＢＢを選択し、小領域ＢＢ内の信号を用いて結果画像９３０を生成する（図２０（ｂ）参照）。結果画像９３０では、不要領域ＡＡ内に存在していた不要オブジェクトが除去されている。

"Photoshop CS5:コンテンツに応じた塗り"、［ｏｎｌｉｎｅ］、平成２２年５月、Adva-Soft、［平成２２年１２月１４日検索］、インターネット＜URL：http://www.adobe.com/jp/joc/photoshop/photoshop/whatsnew/whatsnew_05.html＞ "Touch Retouch"、［ｏｎｌｉｎｅ］、平成２２年、Adva-Soft、［平成２２年１２月１４日検索］、インターネット＜URL：http://iphotomania.com/applications.html＞

しかしながら、画像処理ソフトウェアによる小領域ＢＢの選び方によっては、ユーザの意図と異なった結果画像が生成されることもある。例えば、図２１（ａ）に示すような、人物９２２を内包する小領域ＢＢ’が小領域ＢＢとして選択されると、人物９２２の画像データが小領域ＡＡに反映されたような結果画像９３０’（図２１（ｂ）参照）、即ち、同一の人物９２２が重複して映し出されたような結果画像９３０’が得られることとなる。このような、ユーザの意図と異なる結果画像を出力することは極力回避されるべきである。

そこで本発明は、ユーザの意図に沿った補正結果の生成に寄与する画像処理装置及び電子機器を提供することを目的とする。

本発明に係る画像処理装置は、第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置において、前記補正部は、前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、与えられた操作に従って前記第２入力画像内に抽出禁止領域を設定する抽出禁止領域設定部と、を備え、前記補正用領域抽出部は、前記第２入力画像における前記抽出禁止領域以外の画像領域から前記補正用領域を抽出することを特徴とする。

対象領域内の画像を補正するための補正用領域を画像データに基づいて自動的に抽出するようにすれば、ユーザの作業負担が軽減され、対象領域内の画像の補正が容易化される。更に、抽出禁止領域の設定機能を設けることにより、ユーザの意図に反する補正用領域の抽出が回避され、結果、ユーザの意図に沿った補正結果を得ることが可能となる。

具体的には例えば、前記補正部は、前記第１入力画像に含まれる不要領域を指定し、該不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部を更に備え、前記補正用領域抽出部は、前記対象領域内の、前記不要領域以外の画像領域である残部領域の画像データを、前記第２入力画像の画像データと対比することにより、前記第２入力画像から前記補正用領域を検出して抽出するようにしても良い。

より具体的には例えば、前記補正用領域抽出部は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域を前記第２入力画像内から探索し、探索された画像領域を内包する画像領域を前記補正用領域として前記第２入力画像から抽出するようにしても良い。

不要領域を含まない残部領域の類似領域を探索することで補正用領域を設定するようにすれば、不要オブジェクトの影響を受けることなく、不要オブジェクトの除去に適した補正用領域を抽出することが可能となる。

また例えば、上記画像処理装置は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域が前記第２入力画像内に複数存在する場合、その複数の画像領域の中から、前記補正用領域に含められるべき画像領域を外部操作に従って選択するようにしても良い。

また例えば、前記補正用領域抽出部は、前記対象領域内に人物の顔の画像が含まれている場合、前記第２入力画像から人物の顔の画像を検出する顔検出処理の結果を利用して、前記補正用領域を検出するようにしても良い。

また例えば、前記補正処理部は、設定された混合比率にて前記対象領域の画像データと前記補正用領域の画像データとを混合することにより前記対象領域内の画像を補正するようにしても良い。

また例えば、前記補正処理部は、設定された混合比率にて前記対象領域の画像データと前記補正用領域の画像データとを混合することにより前記対象領域内の画像を補正し、前記混合比率を、前記残部領域の画像特徴と前記補正用領域に含まれる画像領域の画像特徴との類似度に応じて設定するようにしても良い。

また例えば、上記画像処理装置は、前記混合比率を調整するための調整操作に従って前記混合比率を調整するようにしても良い。

また例えば、前記補正処理部は、前記対象領域の画像データと前記補正用領域の画像データとを互いに異なる複数の混合比率にて混合する処理を個別に実行することで複数の補正候補画像を生成し、前記複数の補正候補画像を表示部に表示させ、外部からの選択操作に従って前記複数の補正候補画像の中の１つを選択し、選択した補正候補画像に対応する混合比率を用いて前記対象領域内の画像を補正するようにしても良い。

また例えば、前記補正部は、第１補正処理部としての前記補正処理部に加えて、前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正するようにしても良い。

これにより、不要領域の形状に応じた適切な補正を成すことが可能となる。

本発明に係る電子機器は、上記の画像処理装置を備えたことを特徴とする。

本発明に係る他の電子機器は、第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置と、前記第１入力画像の全部又は一部を表示する表示部と、前記第１入力画像に含まれる不要領域を指定する不要領域指定操作を受け付けるとともに、前記不要領域内の画像の補正を指示する補正指示操作を受け付ける操作部と、を備えた電子機器であって、前記補正部は、前記不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部と、前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、前記操作部に対して成された抽出禁止領域指定操作に従って前記第２入力画像内に抽出禁止領域を設定する抽出禁止領域設定部と、を備え、前記補正指示操作に応じて前記対象領域内の画像を補正し、その補正が成された際、前記表示部は、補正後の対象領域内の画像を表示し、前記補正用領域抽出部は、前記第２入力画像における前記抽出禁止領域以外の画像領域から前記補正用領域を抽出することを特徴とする。

また例えば上記他の電子機器において、前記補正部は、第１補正処理部としての前記補正処理部に加えて、前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、前記補正指示操作が成された際、前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正するようにしても良い。

本発明によれば、入力画像の対象領域内の画像を容易に補正することのできる画像処理装置及び電子機器を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体的構成を表すブロック図である。本発明の実施形態に係り、入力画像から出力画像を生成する画像補正部を示す図である。二次元画像と二次元座標系ＸＹとの関係を示す図である。図２の画像補正部に対する入力画像の例を示す図である。図４の入力画像の一部である、補正対象領域内の画像を示す図（ａ）と、該画像から生成されたマスク画像を示す図（ｂ）である。上記マスク画像の類似領域を示す図（ａ）と、その類似領域を包含する補正パッチ領域を示す図（ｂ）である。図４の入力画像に基づく出力画像の例を示す図である。上記マスク画像の類似領域が複数個検出された場合に設定される複数の補正パッチ領域候補を入力画像上に示した図（ａ）と、該複数の補正パッチ領域候補が表示画像上で強調される様子を示した図（ｂ）である。画像データ混合の係数（ｋ_ＭＩＸ）を変化させた時における、補正対象画像の補正結果変化を示す図である。補正対象領域内の画像が拡大表示されている時における表示画面の様子を示す図である。補正対象領域内の画像が拡大表示されている時において、ユーザによりタッチパネル調整操作が成される様子を示す図である。不要オブジェクト除去モードにおける、図１の撮像装置の動作フローチャートである。不要領域と補正対象領域との関係を示す図である。補正対象領域内の注目画素位置と補正対象領域の外周との距離を説明するための図である。上記距離と画像データ混合の係数との関係例を示す図である。図１２に示される調整処理の詳細フローチャートである。図１に示される画像補正部の内部ブロック図である。従来の画像編集ソフトウェアによる不要オブジェクト除去方法を説明するための図である。従来の他の画像編集ソフトウェアに対する入力画像を示す図である。従来の他の画像編集ソフトウェアによる不要オブジェクト除去方法を説明するための図である。従来の他の画像編集ソフトウェアによる不要オブジェクト除去方法を説明するための図である。本発明の第２実施形態に係る不要オブジェクト除去方法を説明するための図である。本発明の第２実施形態に係る抽出禁止領域設定部を示す図である。本発明の第２実施形態に係る画像補正部の内部ブロック図である。本発明の第２実施形態に係る撮像装置の動作フローチャートである。

以下、本発明の実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体的構成を表すブロック図である。撮像装置１は、符号１１〜１８によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い。尚、表示部１６は、撮像装置１と異なる表示装置等に設けられたものである、と解釈するようにしても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。

画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。また、或る画素に対する画像データを、画素信号と呼ぶことがある。画素信号は、例えば、画素の明るさを表す輝度信号及び画素の色を表す色差信号から成る。

撮影制御部１３は、ユーザの指示やフレーム画像の画像データに基づき、撮像部１１の画角（焦点距離）及び焦点位置並びに撮像素子への入射光量を調節する。

画像処理部１４は、フレーム画像に対して所定の画像処理（デモザイキング処理、ノイズ低減処理、エッジ強調処理など）を行う。

記録媒体１５は、不揮発性の半導体メモリや磁気ディスク等から成り、上記画像処理後のフレーム画像の画像データや、上記画像処理前のフレーム画像の画像データなどを記録する。表示部１６は、液晶ディスプレイパネル等から成る表示装置であり、フレーム画像等の表示を行う。操作部（操作受付部）１７は、ユーザによる操作を受け付ける。操作部１７に対する操作内容は主制御部１８に伝達される。主制御部１８は、操作部１７に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

表示部１６には所謂タッチパネル機能が設けられており、ユーザは、表示部１６の表示画面を操作体で触れることによりタッチパネル操作を成すことができる。操作体とは、指や所定のタッチペンである。タッチパネル機能の実現には操作部１７も関与しており、本実施形態では、タッチパネル操作も操作部１７に対する操作の一種であると考える（後述の他の実施形態においても同様）。操作部１７は、操作体が触れている、表示画面上の位置を逐次検出することによって、ユーザによるタッチパネル操作の内容を認識する。尚、以下の説明文中における表示及び表示画面とは、特に記述なき限り表示部１６における表示及び表示画面を指し、以下の説明文中における操作とは、特に記述無き限り操作部１７に対する操作を指す。

画像処理部１４には、画像補正部（補正部）３０が設けられている。図２に示す如く、画像補正部３０は、入力画像を補正する機能を備えており、補正が成された入力画像を出力画像として生成する。入力画像は、記録媒体１５に記録されている画像（撮像部１１の撮影によって得られた画像）であっても良いし、撮像装置１以外の装置より供給される画像（例えば、遠隔地にあるファイルサーバの記録画像）であっても良い。本明細書にて述べられる画像は、特に記述なき限り二次元画像である。

また、図３に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。二次元画像３００は、例えば、上記の入力画像、出力画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。また、本明細書では、画素位置（ｘ，ｙ）に配置された画素をも（ｘ，ｙ）にて参照することがある。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

［入力画像の補正方法］
端的に説明すると、画像補正部３０では、入力画像中に存在する不要オブジェクトの画像領域に類似しつつも不要オブジェクトを含まない画像領域を自動的に検出し、検出領域を補正パッチ領域として用いて不要オブジェクトの画像領域を補正することで（単純には不要オブジェクトの画像領域を補正パッチ領域にて置き換えることで）出力画像を生成する。画像補正部３０による補正処理は、記録媒体１５に記録されている画像等を表示部１６にて再生表示する再生モードにて実行される。以下の説明は、特に記述なき限り、再生モードにおける撮像装置１の動作説明である。入力画像の補正方法を詳細に説明する。

図４の符号３１０は、補正の対象となる入力画像を表している。入力画像３１０は表示部１６に表示される。ユーザにとって不要な物体又は模様等が入力画像３１０に存在しており、ユーザが、その不要な物体又は模様等を入力画像３１０から排除することを望んでいることを想定する。不要な物体又は模様等を、不要オブジェクトと呼ぶ。不要オブジェクトの画像データが存在している画像領域を不要領域と呼ぶ。不要領域は、入力画像の全画像領域の一部であって、不要オブジェクトを含む閉じた領域である。

図４に示す如く、入力画像３１０には二人の人物３１１及び３１２が現れている。人物３１１がユーザの注目人物であり、人物３１２がユーザにとっての不要オブジェクトであるとする。この場合、ユーザは、不要領域を指定する不要領域指定操作を操作部１７に対して成す。不要領域指定操作が成される際、入力画像３１０の全体が表示画面に表示される。或いは、不要オブジェクトが拡大表示されるように、入力画像３１０の一部が表示画面に表示される。ユーザは、不要領域の指定を容易とするべく、この拡大表示をなすべきことを、操作部１７を介して撮像装置１に指示することができる。

不要領域指定操作を、タッチパネル操作によって実現することができる。例えば、不要オブジェクトとしての人物３１２が表示されている位置を操作体を用いて指定することにより不要領域を指定することができる。画像補正部３０は、人物３１２の表示位置が指定された場合、入力画像３１０の画像データに基づく公知の輪郭追跡等を用いて人物３１２の輪郭を抽出し、人物３１２の輪郭にて囲まれる画像領域を不要領域として設定することができる。但し、不要領域の輪郭をユーザが直接指定することも可能である。尚、タッチパネル操作以外の操作（例えば、操作部１７に設けられた十字キーに対する操作）によって、不要領域指定操作を成すことも可能である。

画像補正部３０は、不要領域の指定が成されると、不要領域を内包する画像領域を補正対象領域として設定する。不要領域は、補正対象領域の一部である。補正対象領域の設定は、ユーザの操作に依らず自動的に成される。但し、ユーザが、補正対象領域の位置及び大きさを指定するようにしても良い。図４において、破線で囲まれた領域が補正対象領域３２０であり、図５（ａ）に、補正対象領域３２０内の画像である補正対象画像３２１を示す。今、不要領域の輪郭は人物３１２の輪郭そのものであるとする。

補正対象領域３２０の設定後、画像補正部３０は、補正対象領域３２０内の不要領域の部分のみをマスクした画像をマスク画像３２２として作成する。図５（ｂ）はマスク画像３２２のイメージ図である。図５（ｂ）において、斜線領域はマスクの成されている領域を表す。補正対象領域３２０を、不要領域とそれ以外の画像領域（残部領域）とに分解することができるが、後者の画像領域の画像データのみから形成される画像（穴あき二次元画像）がマスク画像３２２である。

マスク画像３２２の設定後、画像補正部３０は、マスク画像３２２の画像データと入力画像３１０の画像データ（但し、補正対象領域３２０以外の画像データ）との対比に基づく画像マッチング等を用いて、マスク画像３２２に類似する画像を持つ画像領域（以下、マスク画像３２２の類似領域という）を入力画像３１０内から探索する。即ち例えば、マスク画像３２２をテンプレートとして用い、マスク画像３２２の画像特徴に類似する画像特徴を有する画像領域を入力画像３１０内から探索する。そして、探索した類似領域を内包する画像領域を補正パッチ領域（補正用領域）として入力画像３１０から抽出する。

例えば、マスク画像３２２の画像領域と同一の大きさ及び形状を有する評価領域を入力画像３１０上に設定し、マスク画像３２２内の画素信号と評価領域内の画素信号とのＳＳＤ（Sum of Squared Difference）又はＳＡＤ（Sum of Absolute Difference）を求め、ＳＳＤ又はＳＡＤに基づき、マスク画像３２２及び評価領域間の類似度（換言すれば、マスク画像３２２と評価領域内の画像との類似度）を定める。類似度は、ＳＳＤ又はＳＡＤが増加するに従って減少し、ＳＳＤ又はＳＡＤが減少するに従って増加する。マスク画像３２２内の画素信号（例えば輝度値）と評価領域内の画素信号（例えば輝度値）との差の二乗値を、マスク画像３２２及び評価領域の対応画素間で求めたとき、マスク画像３２２の全画素について求めた二乗値の合計値がＳＳＤである。マスク画像３２２内の画素信号（例えば輝度値）と評価領域内の画素信号（例えば輝度値）との差の絶対値を、マスク画像３２２及び評価領域の対応画素間で求めたとき、マスク画像３２２の全画素について求めた絶対値の合計値がＳＡＤである。画像補正部３０は、入力画像３１０上において評価領域を水平又は垂直方向に１画素ずつ移動させながら、移動の度に、ＳＳＤ又はＳＡＤと類似度とを求める。そして、求めた類似度が所定の基準類似度以上となる評価領域を、マスク画像３２２の類似領域として検出する。つまり、或る注目画像領域がマスク画像３２２の類似領域であるとは、その注目画像領域内の画像とマスク画像３２２との間の類似度が所定の基準類似度以上であることを指す。

今、図６（ａ）に示す画像領域３３１が、マスク画像３２２の類似領域として探索されたとする。この場合、画像補正部３０は、画像領域３３１を内包する、図６（ｂ）に示す補正パッチ領域３４０を設定する。画像領域３３１は図６（ａ）において斜線で満たされた領域であり、補正パッチ領域３４０は図６（ｂ）において斜線で満たされた領域である。画像領域３３１の形状及び大きさはマスク画像３２２のそれらと同じであり、補正パッチ領域３４０の形状及び大きさは補正対象領域３２０のそれらと同じである。画像領域３３１は、矩形領域の一部が欠落した領域であるが、補正パッチ領域３４０には該欠落はない。補正パッチ領域３４０は、その欠落した領域と画像領域３３１とを合成した領域である。

画像補正部３０は、補正パッチ領域３４０の設定後、補正対象領域３２０内の画像データと補正パッチ領域３４０内の画像データを混合することで（換言すれば加重加算することで）、補正対象領域３２０内の画像を補正する。その混合によって得られた画像データは、出力画像における補正対象領域３２０内の画像データとして取り扱われる。即ち、入力画像３１０に基づく出力画像は、入力画像３１０に対して上記混合を施して得た画像である。

図７に、入力画像３１０に基づく出力画像の例としての出力画像３５０を示す。補正対象領域３２０内の画像データが入力画像３１０及び出力画像３５０間で異なる以外、入力画像３１０及び出力画像３５０は同じものである。出力画像３５０は、補正パッチ領域３４０内の画像データの混合比率を相当に高く設定した場合に得られ、出力画像３５０において、人物３１２は全く或いは殆ど見られない。補正パッチ領域３４０内の画像データの混合比率（後述の係数ｋ_ＭＩＸの値）は１であっても良く、その混合比率が１の場合、補正対象領域３２０内の画像データが補正パッチ領域３４０内の画像データそのものにて置き換えられることになる。このように、補正対象領域３２０内の画像を補正パッチ領域３４０内の画像を用いて補正する処理を入力画像３１０に施すことで、出力画像３５０は得られる。

補正対象領域３２０内の或る画素位置が（ｘ_１，ｙ_１）であって、且つ、画素位置（ｘ_１，ｙ_１）に配置された画素に対応する、補正パッチ領域３４０内の画素の画素位置が（ｘ_２，ｙ_２）である場合、出力画像３５０の画素位置（ｘ_１，ｙ_１）における画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）は、下記式（１）に従って算出される。
Ｐ_ＯＵＴ（ｘ_１，ｙ_１）＝（１−ｋ_ＭＩＸ）・Ｐ_ＩＮ（ｘ_１，ｙ_１）＋ｋ_ＭＩＸ・Ｐ_ＩＮ（ｘ_２，ｙ_２）
・・・（１）

ここで、Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）は夫々入力画像３１０の画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素信号を表している。入力画像３１０上において、補正対象領域３２０の中心位置を右側にΔｘ画素分だけ且つ下側にΔｙ画素分だけ移動した位置が補正パッチ領域３４０の中心位置であるならば、ｘ_２＝ｘ_１＋Δｘ且つｙ_２＝ｙ_１＋Δｙである（Δｘ及びΔｙは整数）。画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）は、入力画像３１０の画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。同様に、画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）は、出力画像３５０の画素位置（ｘ_１，ｙ_１）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。各画素信号がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）を混合することにより画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）を得ればよい。画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

画像補正部３０は、係数ｋ_ＭＩＸの値を、「０＜ｋ_ＭＩＸ≦１」を満たす範囲内で決定する。係数ｋ_ＭＩＸは出力画像３５０に対する補正パッチ領域３４０の混合比率（加重加算比率）に相当し、係数（１−ｋ_ＭＩＸ）は出力画像３５０に対する補正対象領域３２０の混合比率（加重加算比率）に相当する。

仮に、補正対象領域３２０内の画像３２１（図５（ａ）参照）そのものをテンプレートとして用いて補正パッチ領域を探索すると、人物３１１を含む画像領域が補正パッチ領域として設定される可能性が高くなる。人物３１１を含む画像領域が補正パッチ領域として設定されると、上記の画像データの混合（加重加算）により、補正後の補正対象領域に人物３１１の像が現れてしまう。このような像の出現は望まれない。これを考慮し、画像補正部３０では、不要領域をマスクしたマスク画像３２２を用いて補正パッチ領域を探索、設定する。このため、不要オブジェクトの影響を受けることなく、不要オブジェクトの除去に適した補正パッチ領域を検出することが可能となる。

尚、マスク画像３２２の類似領域が複数個検出された場合には、その検出された複数の類似領域の中から、補正パッチ領域に含められるべき類似領域をユーザに選択させると良い。例えば、マスク画像３２２の類似領域として５つの類似領域が探索された場合、画像領域３３１から補正パッチ領域３４０を設定したのと同様の方法を用いて（図６（ａ）及び（ｂ）参照）、各類似領域に対応する補正パッチ領域候補を設定する。図８（ａ）の符号３６１〜３６５は、ここで設定した５つの補正パッチ領域候補を表している。各補正パッチ領域候補の設定後、画像補正部３０は、補正対象領域３２０及び補正パッチ領域候補３６１〜３６５を明示した、図８（ｂ）に示すような表示画像３６０を表示部１６に表示させる。表示画像３６０は、補正対象領域３２０及び補正パッチ領域候補３６１〜３６５を視認させるための枠を入力画像３１０に重畳した画像である。表示画像３６０を表示している状態において、操作部１７は、補正パッチ領域候補３６１〜３６５の中の１つを選択する選択操作（タッチパネル操作を含む）を受け付け、その選択操作が成された際、画像補正部３０は、選択された補正パッチ領域候補を補正パッチ領域として設定する。このような選択操作を可能にしておくことにより、ユーザに大きな操作負担を課すことなく、不要オブジェクトの除去により適した補正パッチ領域を設定することが可能となる

また、上述の例では、入力画像３１０内でマスク画像３２２の類似領域を探索するようにしているが、入力画像３１０と異なる入力画像３７０（不図示）内でマスク画像３２２の類似領域を探索し、入力画像３７０から補正パッチ領域を抽出するようにしてもよい。これにより、入力画像３１０にマスク画像３２２の類似領域が含まれない場合でも、不要オブジェクトを良好に除去することが可能なる。但し、以下の各説明では、特に記述なき限り、共通の入力画像内に補正対象領域及び補正パッチ領域が設定されることを想定する。入力画像３７０は、入力画像３１０と同様、記録媒体１５に記録されている画像（撮像部１１の撮影によって得られた画像）であっても良いし、撮像装置１以外の装置より供給される画像（例えば、遠隔地にあるファイルサーバの記録画像）であっても良い。

また、上述の説明では、補正対象領域３２０内の画像データのみを用いてマスク画像３２２を形成しているが、補正対象領域３２０の周辺画素の画像データをもマスク画像３２２に含めた上で、マスク画像３２２の類似領域の探索及び探索結果に基づく補正パッチ領域の設定を行うようにしても良い。即ち例えば、補正対象領域３２０を内包する、補正対象領域よりも大きな画像領域に注目し、その注目画像領域から不要領域を除外して残った領域より形成される画像をマスク画像３２２として用いるようにしても良い。

また、人間の肌や毛などを補正する場合、人間の体の各部位（顔、眼、鼻、腕など）の位置情報（入力画像上における位置を表す情報）を利用して補正パッチ領域を設定するようにしても良い。例えば、入力画像上に第１及び第２人物の顔が含まれている場合において、第１人物の目尻のしわが不要オブジェクトであるとき、まず、画像補正部３０は、入力画像の画像データに基づく顔検出処理によって第１人物の顔を含む顔領域と第２人物の顔を含む顔領域を入力画像から検出すると共に各顔領域において目尻の存在する部分の画像領域を特定する。そして、第１人物の目尻の存在する部分の画像領域を補正対象領域に設定する一方で、第２人物の目尻の存在する部分の画像領域を補正パッチ領域に設定し、補正対象領域の画像データと補正パッチ領域の画像データを混合することによって、或いは、補正対象領域を補正パッチ領域にて単純に置き換えることによって、入力画像を補正するようにしてもよい。第２人物の目尻にしわが存在していなければ、この補正によって得られる出力画像上において、第１人物の目尻のしわは目立たなくなる或いは第１人物の目尻にしわは存在しなくなる。このような方法を用いれば、テンプレートを用いたマッチングで類似領域が検出できない場合でも、所望の不要オブジェクト除去が可能となる。

［補正強度の調整機能］
画像補正部３０は、上記の係数ｋ_ＭＩＸの値を調整することで補正対象領域３２０の補正強度（補正量）を調整する機能を備える。例えば、マスク画像３２２の画像特徴と補正パッチ領域３４０に含まれる画像領域３３１（図６（ａ）及び（ｂ）参照）の画像特徴との類似度ＤＳ（類似の度合い）に応じて、画像補正部３０は、係数ｋ_ＭＩＸの値を決定することができる。類似度ＤＳが低い場合において出力画像に対する補正パッチ領域３４０の寄与度（ｋ_ＭＩＸ）を高く設定しすぎると、補正部分の境界が目立ち、不自然な出力画像が得られることがある。これを考慮し、画像補正部３０は、類似度ＤＳが大きいほど係数ｋ_ＭＩＸの値が大きくなり且つ類似度ＤＳが小さいほど係数ｋ_ＭＩＸの値が小さくなるように、類似度ＤＳに応じて係数ｋ_ＭＩＸの値を調整する。これにより、補正部分の境界が目立ちにくくなる。

尚、補正対象領域内の画像データと補正パッチ領域内の画像データを混合することによる補正は、補正パッチ領域内の画像データを補正対象領域内に移植する方法であるとも言える（ｋ_ＭＩＸ＝１の場合には、補正パッチ領域内の画像データが完全に移植されるが、ｋ_ＭＩＸ＜１の場合には、不完全な移植が成される）。また、補正対象領域内の画像データと補正パッチ領域内の画像データを混合することによる補正を、以下、特に混合補正と呼び、混合補正後の補正対象領域内の画像を混合結果画像と呼ぶ。

図９に、係数ｋ_ＭＩＸを変化させた時における、補正対象画像の補正結果変化を示す。図９において、画像３８１〜３８４の夫々は、補正対象領域３２０及び補正パッチ領域３４０に基づく混合結果画像を表している。但し、画像３８２、３８３及び３８４は、夫々、係数ｋ_ＭＩＸが０．３、０．７及び１．０である時の混合結果画像を表しており、画像３８１は係数ｋ_ＭＩＸが殆どゼロである時の混合結果画像を表している。このように、係数ｋ_ＭＩＸを増大させるに従って補正対象領域３２０の補正強度が増大して不要オブジェクトの除去度合いが大きくなる。

また、ユーザは操作部１７に対して所定の調整操作を施すことにより係数ｋ_ＭＩＸを調整することができる。以下に示すような調整操作を利用することで、簡単な作業で不要オブジェクトの像を薄くしつつ補正部分の境界が目立ちにくくする、といったことが可能となる。調整操作として、タッチパネル機能を利用したタッチパネル調整操作を採用することができる。

タッチパネル調整操作を含む調整操作の実行時において、画像補正部３０は、補正前又は補正後の補正対象領域３２０内の画像を表示画面に拡大表示させることができる。ユーザが、この拡大表示をすべきことを撮像装置１に指示することもできる。図１０に、補正対象領域３２０内の画像が拡大表示されている時における表示画面の様子を示す。図１０及び後述の図１１において、斜線領域は表示部１６の筐体を表しており、斜線領域の内側に位置している部分が表示画面を表している。調整操作によって係数ｋ_ＭＩＸが変更されると、即時、補正対象領域３２０に対する混合補正が変更後の係数ｋ_ＭＩＸを用いて成され、変更後の係数ｋ_ＭＩＸを用いて生成された混合結果画像が表示画面に表示される。

タッチパネル調整操作を用いる場合、
表示部１６の表示画面上で操作体を振動運動させるときにおける操作体の振動回数、
上記振動運動における操作体の振動の周波数、
上記振動運動における操作体の移動の速度、
上記振動運動における操作体の振動の振幅、
表示画面上における操作体の移動方向、
表示画面に触れている操作体の個数（例えば指の本数）、及び
表示画面に対して操作体が付与する圧力の大きさ、の内の、少なくとも１つに応じて係数ｋ_ＭＩＸを調整することができる。
勿論、タッチパネル調整操作が成される時における操作体は、表示部１６の表示画面上に触れているものとする。

図１１に、操作体が指である時における、上記振動運動のイメージ図を示す。上記振動運動とは、表示画面と操作体との接触位置を表示画面上の第１及び第２位置間で往復させる運動を指す。ここで、第１及び第２位置は互いに異なる位置である。第１及び第２位置は、或る程度の広がりを有する位置を解釈されるべきであり、第１及び第２位置を夫々第１及び第２表示領域と言い換えることもできる。

例えば、係数ｋ_ＭＩＸの値が或る基準値である状態を起点として、上記振動回数が増大するに従って係数ｋ_ＭＩＸを増大又は減少させるようにしても良い。この場合、上記振動回数が１回増えるごとに、係数ｋ_ＭＩＸがΔｋずつ増加又は減少する（Δｋ＞０）。また、上記振動回数によって係数ｋ_ＭＩＸを増大又は減少させる場合、上記周波数、速度又は振幅が増大するに従って係数ｋ_ＭＩＸの単位変化量であるΔｋを増大させるようにしても良い。
典型的には、上記振動回数が増大するに従って係数ｋ_ＭＩＸを増大させるようにすると良い。この場合、操作体を表示画面上で往復運動させる度に不要オブジェクトが薄れていく様子が表示画面上で確認される。また、上記速度等の増大に伴うΔｋの増大も実行するようにすれば、操作体を表示画面上でより速く往復運動させる度に不要オブジェクトがより素早く薄れていく様子が表示画面上で確認される。つまり、紙面上の不要記載を消しゴムで消すかのような直感的なユーザインターフェースを実現することができる。

尚、ｋ_ＭＩＸ＝０であるならば補正対象領域内の画像が全く補正されないため、原則として「０＜ｋ_ＭＩＸ≦１」を満たす範囲内で係数ｋ_ＭＩＸが調整されるのであるが、補正の効果確認等のため、調整操作の実行時に限ってはｋ_ＭＩＸはゼロとされうる。調整操作によってｋ_ＭＩＸがゼロよりも大きく設定されたならば、ｋ_ＭＩＸの値に従って補正対象領域内の画像が補正されることとなる。従って、調整操作は、補正対象領域内の画像（不要領域内の画像）の補正を指示する操作であるとも言える。

また例えば、表示画面上における操作体の移動方向に応じて係数ｋ_ＭＩＸの増減方向を決定するようにしても良い。つまり例えば、上記移動方向が表示画面の水平方向と平行であるならば係数ｋ_ＭＩＸを増大方向に調整し、上記移動方向が表示画面の垂直方向と平行であるならば係数ｋ_ＭＩＸを減少方向に調整するようにしても良い（勿論、この逆でも良い）。操作体の移動方向による係数ｋ_ＭＩＸの増減方向決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、操作体の振動運動における操作体の移動方向に応じて係数ｋ_ＭＩＸを増大方向に変更するのか或いは係数ｋ_ＭＩＸを減少方向に変更するのかを決定すればよい。

また例えば、表示画面に触れている操作体の個数に応じて、係数ｋ_ＭＩＸの変化量や係数ｋ_ＭＩＸの増減方向を決定するようにしても良い。上記個数による係数ｋ_ＭＩＸの変化量決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、例えば、上記個数が増大するにつれてΔｋを増大させると良い。この場合、１つの操作体を表示画面上で振動運動させたときよりも、２つの操作体を表示画面上で振動運動させたときの方が、速く係数ｋ_ＭＩＸが変化していくこととなる。また、上記個数による係数ｋ_ＭＩＸの増減方向決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、表示画面上で振動運動を行う操作体の個数に応じて係数ｋ_ＭＩＸを増大方向に変更するのか或いは係数ｋ_ＭＩＸを減少方向に変更するのかを決定すればよい。

また例えば、表示画面に対して操作体が付与する圧力の大きさが大きくなるほど、係数ｋ_ＭＩＸを大きくするようにしても良い（その逆でも良い）。また、圧力の大きさと振動運動を組み合わせて係数ｋ_ＭＩＸの調整を行うようにしても良い。この場合、例えば、圧力の大きさが増大するにつれてΔｋを増大させた上で、操作体の振動運動による係数ｋ_ＭＩＸの調整を行うようにしても良い。

尚、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を、タッチパネル調整操作以外の調整操作にて成すことも可能である。例えば、操作部１７にスライダー式スイッチやダイヤル式スイッチが設けられている場合には、それらのスイッチに対する操作を調整操作として用いて、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。操作部１７にトグルスイッチが設けられている場合には、トグルスイッチに対する操作に応じて係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。また、調整用メニュー（例えば、補正強度の強／中／弱を選択させるメニュー）を表示画面に表示し、調整用メニューに対応したユーザの操作に応じて、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。

また、タッチパネル調整操作によって補正強度を調整している時、混合結果画像の表示位置によっては、混合結果画像が操作体に隠れて確認しづらくなる。そこで、タッチパネル調整操作による補正強度の調整時（係数ｋ_ＭＩＸの調整時）には、操作位置以外の表示位置に混合結果画像を表示すると良い。これにより、補正強度の調整が容易となる。操作位置とは、表示画面と操作体の接触位置を含み、更に、操作体が表示画面に接触すると予想される位置（例えば、上記振動運動における、表示画面及び操作体間の接触位置の軌跡上の位置）をも含みうる。加えて、表示画面の下方側にはユーザの手の甲などが存在することが想定されるため、表示画面の上方側に混合結果画像を表示するとよい。

また、画像補正部３０において以下のような処理を行うようにしても良い。
係数ｋ_ＭＩＸに代入されるべき、互いに異なる第１〜第ｎの係数値を用意し、第ｉの係数値を係数ｋ_ＭＩＸに代入した状態で混合補正を行うことにより第ｉの混合結果画像を生成する（ｎは２以上の整数であって、ｉは１以上ｎ以下の整数）。この生成処理を、ｉが１、２、・・・（ｎ−１）、ｎの夫々であるときに対して実行することで、第１〜第ｎの混合結果画像を生成し、得られた第１〜第ｎの混合結果画像（補正候補画像）を表示画面に表示させる。この表示を行っている状態で、操作部１７は、第１〜第ｎの混合結果画像の内の１つを選択する選択操作を受け付ける。画像補正部３０は、その選択操作にて選択された混合結果画像を用いて出力画像を生成する。例えば、ｎ＝３である場合、第１〜第３の混合結果画像としての混合結果画像３８２〜３８４（図９参照）を生成し、混合結果画像３８２〜３８４を表示画面に表示する。そして例えば、上記選択操作によって画像３８３が選択されたならば、画像３８３を用いて出力画像を生成する。即ち、画像３８３に対応する係数ｋ_ＭＩＸ（＝０．７）を用いた混合補正にて入力画像３１０の補正対象領域３２０を補正し、この補正によって得られた混合結果画像３８３を内包する出力画像を生成する。このような処理を可能としておくことにより、ユーザは簡単な作業で所望の補正結果（出力画像）を得ることが可能となる。

［膨張処理による補正］
不要オブジェクトを画像処理で除去する方法は、移植法と膨張法に大別される。移植法は、上述したような、補正対象領域とは別の画像領域内の画像を用いて補正対象領域内の不要オブジェクトを除去する方法である。膨張法は、不要領域の周辺領域を膨張させる膨張処理を用いることで不要領域を縮退（shrinking）又は完全消滅させる方法である。移植法では、類似領域が入力画像から見つからない場合に、補正ができないという問題がある。一方、膨張法では、不要オブジェクトが細い線状のもの（文字や電線など）である場合には違和感なく不要オブジェクトを除去することができるが、不要オブジェクトがある程度の厚みを持つ場合には単色で塗りつぶしたような補正結果が得られ、補正部分の境界が目立つというデメリットがある。これらの特性を考慮し、不要領域の形状が細線状である場合には膨張法によって補正対象領域を補正し、そうでない場合には移植法によって補正対象領域を補正するようにしても良い。これにより、不要領域の形状に応じた最適な補正が行われるようになる。

膨張法を用いる場合、画像補正部３０は、入力画像の補正対象領域の画像データのみに基づき膨張処理を用いて補正対象領域内の画像を補正する。補正方法の具体的切り替え方法、及び、膨張処理を用いた補正対象領域の具体的補正方法は、後述される。

［動作フローチャート］
次に、画像補正部３０の動作に特に着目した、撮像装置１の動作の流れを説明する。図１２は、この動作の流れを表すフローチャートである。

再生モードにて、ユーザは、記録媒体１５等に記録されている所望の画像を表示部１６に表示させることができる。表示されている画像に不要オブジェクトが写りこんでいる場合、ユーザが操作部１７に対して所定操作を成すことで、撮像装置１の動作モードは、再生モードの一種である不要オブジェクト除去モードに移行する。図１２に示される各ステップの処理は、不要オブジェクト除去モードにて実行される処理である。この不要オブジェクト除去モードにおける入力画像及び出力画像を、夫々、記号Ｉ_ＩＮ及びＩ_ＯＵＴによって参照する。

不要オブジェクト除去モードでは、まず、ユーザの指示に従って入力画像Ｉ_ＩＮの不要領域周辺が拡大表示され、この状態でユーザは不要領域指定操作を成す。画像補正部３０は、ステップＳ１１においてユーザの不要領域指定操作に基づき不要領域を設定した後、ステップＳ１２において該不要領域を内包する矩形領域を補正対象領域Ａとして設定する。図１３に示す如く、この矩形領域は、例えば、不要領域に外接する長方形（換言すれば、不要領域を取り囲むことのできる最小の長方形）を基準として、該長方形の大きさを上下左右に夫々Δ画素分だけ拡大した領域である（Δは正の整数）。補正対象領域Ａの中心位置と不要領域の中心位置は同じであるとする。Δの値を予め定めた固定値とすることができる。但し、補正対象領域Ａから不要領域を除いて残った領域の面積が所定の基準面積（例えば、１０２４画素に相当する面積）未満になる場合には、その面積が基準面積以上になるようにΔの値を調整するようにしても良い。

補正対象領域Ａの設定後、ステップＳ１３において、画像補正部３０は、補正対象領域３２０からマスク画像３２２を生成したのと同様の方法により補正対象領域Ａに基づくマスク画像Ａ_ＭＳＫを生成する。補正対象領域Ａ及びマスク画像Ａ_ＭＳＫは、夫々、上述の補正対象領域３２０及びマスク画像３２２に対応する。

続くステップＳ１４において、画像補正部３０は、不要領域の形状が細線状であるか判定する。具体的には、まず、補正対象領域Ａ内の画像を二値化画像に変換する。この二値化画像では、不要領域に属する画素の画素値が「０」とされ且つそれ以外の画素の画素値が「１」とされる。そして、その二値化画像における不要領域が縮退する方向に、該二値化画像に膨張処理（モフォロジー膨張処理とも呼ばれる）を施す。画素（ｘ，ｙ）又は画素（ｘ，ｙ）の８近傍画素の少なくとも１つに「１」の画素値が存在する場合、膨張処理によって画素（ｘ，ｙ）の画素値は「１」に設定される。このような膨張処理を上記二値化画像に対して所定回数（例えば５回）実行することで得られる画像上において不要領域の面積がゼロである場合（即ち、「０」の画素値を有する領域が存在しなくなった場合）、不要領域の形状は細線状であると判断し、そうでない場合には、不要領域の形状は細線状でないと判断する。

不要領域の形状が細線状でないと判断された場合（ステップＳ１４のＮ）、ステップＳ１４からステップＳ１５に移行する。画像補正部３０は、ステップＳ１５において、マスク画像Ａ_ＭＳＫをテンプレートとして用いたテンプレートマッチングを行って、マスク画像Ａ_ＭＳＫの類似領域を入力画像Ｉ_ＩＮ内から探索する。そして、ステップＳ１６において、探索された複数の類似領域を強調表示する。即ち、上述したように、各類似領域に対応する補正パッチ領域候補が視認可能となるように表示画面の入力画像Ｉ_ＩＮ上における各補正パッチ領域候補を強調表示し（即ち、図８（ｂ）に示すような表示画像３６０を表示し）、ステップＳ１７において、複数の補正パッチ領域候補の１つを選択する、ユーザからの選択操作を操作部１７を用いて受け付ける。そして、選択操作が成されると、ステップＳ１８において、選択された補正パッチ領域候補を補正パッチ領域Ｂに設定する。

また、マスク画像Ａ_ＭＳＫの類似領域が複数存在している場合、その複数の類似領域に対して求められた複数の類似度の内、最大の類似度を特定し、最大の類似度に対応する類似領域についての補正パッチ領域候補を上記選択操作に依らず自動的に補正パッチ領域Ｂに設定するようにしても良い。また、マスク画像Ａ_ＭＳＫの類似領域が１つしか存在していなかった場合には、ステップＳ１６及びＳ１７の処理の実行を省略し、ステップＳ１８において、その１つの類似領域を包含する画像領域を補正パッチ領域Ｂに設定する。

尚、マスク画像Ａ_ＭＳＫの類似領域が入力画像Ｉ_ＩＮから検出されない場合（即ち、基準類似度以上の類似度を有する画像領域が入力画像Ｉ_ＩＮから検出されない場合）、その旨をユーザに通知し、ユーザに手動で補正パッチ領域Ｂを設定してもらうようにしても良いし、入力画像Ｉ_ＩＮの補正の実行を取りやめるようにしても良い。ステップＳ１８にて設定される補正パッチ領域Ｂは、上述の補正パッチ領域３４０に対応し、補正パッチ領域Ｂの画像データは撮像装置１のメモリ上に記憶される。

一方、不要領域の形状が細線状であると判断された場合（ステップＳ１４のＹ）、ステップＳ１４からステップＳ１９に移行する。ステップＳ１９に移行した場合、画像補正部３０は、膨張処理によって補正対象領域Ａ内の不要領域を除去する。即ち、補正対象領域Ａの不要領域内における画素を一旦削除して考え、補正対象領域Ａの不要領域内における各画素及び各画素信号を、補正対象領域Ａ内の画素であって且つ不要領域の周辺に位置する画素及び画素信号を用いて補間する。この補間は、公知の膨張処理（モフォロジー膨張処理とも呼ばれる）によって実現される。単純な例として例えば、不要領域の周辺に位置する画素が全て共通の画素信号を持っているならば、膨張処理によって、補正対象領域Ａの不要領域内における各画素の画素信号に該共通の画素信号が設定される（即ち、不要領域内が単一色で塗りつぶされる）。不要領域の形状が細線状であると判断された場合、ステップＳ１９の膨張処理後の補正対象領域Ａが補正パッチ領域Ｂに設定され、膨張処理後の補正対象領域Ａの画像データが補正パッチ領域Ｂの画像データとして撮像装置１のメモリ上に記憶される。

ステップＳ１８又はステップＳ１９の処理の後、ステップＳ２０の処理が実行される。ステップＳ２０において、画像補正部３０は、補正対象領域Ａの画像データと補正パッチ領域Ｂの画像データを混合することで混合結果画像を生成する。この混合の方法は、上述した補正対象領域３２０及び補正パッチ領域３４０に対する混合の方法と同様である。即ち、補正対象領域Ａ内の或る画素位置が（ｘ_１，ｙ_１）であって、且つ、画素位置（ｘ_１，ｙ_１）に配置された画素に対応する、補正パッチ領域Ｂ内の画素の画素位置が（ｘ_２，ｙ_２）である場合、混合結果画像の画素位置（ｘ_１，ｙ_１）における画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）は、下記式（２）に従って算出される。
Ｐ_Ｃ（ｘ_１，ｙ_１）＝（１−ｋ_ＭＩＸ）・Ｐ_Ａ（ｘ_１，ｙ_１）＋ｋ_ＭＩＸ・Ｐ_Ｂ（ｘ_２，ｙ_２）
・・・（２）

ここで、Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）は夫々入力画像Ｉ_ＩＮの画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素信号を表している。入力画像Ｉ_ＩＮ上において、補正対象領域Ａの中心位置を右側にΔｘ画素分だけ且つ下側にΔｙ画素分だけ移動した位置が補正パッチ領域Ｂの中心位置であるならば、ｘ_２＝ｘ_１＋Δｘ且つｙ_２＝ｙ_１＋Δｙである（Δｘ及びΔｙは整数）。画素信号Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）は、入力画像Ｉ_ＩＮの画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素の輝度及び色を表す信号である。同様に、画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）は、出力画像Ｉ_ＯＵＴの画素位置（ｘ_１，ｙ_１）における画素の輝度及び色を表す信号である。但し、後述されるステップＳ２６の調整処理が実行された場合には、画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）の具体的な信号値は変更されうる。各画素信号がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）を混合することにより画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）を得ればよい。画素信号Ｐ_Ａ（ｘ_１，ｙ_１）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

式（２）における係数ｋ_ＭＩＸの設定方法及び意義は上述した通りである。即ち、マスク画像Ａ_ＭＳＫの画像特徴と補正パッチ領域Ｂに内包される類似領域の画像特徴（補正パッチ領域Ｂに内包される、マスク画像Ａ_ＭＳＫの類似領域の画像特徴）との類似度ＤＳ_１に応じて、式（２）における係数ｋ_ＭＩＸの値を設定すればよい。ここにおける類似度ＤＳ_１は、上述の類似度ＤＳに相当するものであり、類似度ＤＳ_１が大きいほど係数ｋ_ＭＩＸの値が大きくなり且つ類似度ＤＳ_１が小さいほど係数ｋ_ＭＩＸの値が小さくなるように、画像補正部３０は、類似度ＤＳ_１に応じて係数ｋ_ＭＩＸの値を調整する。但し、補正パッチ領域ＢがステップＳ１９にて設定されたものであるならば、式（２）における係数ｋ_ＭＩＸを予め定めた固定値ｋ_ＦＩＸとしておくことができる。

補正対象領域Ａ及び補正パッチ領域Ｂの画像データを混合する際、混合対象の画素位置に関わらず係数ｋ_ＭＩＸの値として共通の値を用いるようにしても良いが、補正部分と非補正部分との間の境界を目立ちにくくするために、補正対象領域Ａの周辺に近い画素ほど、係数ｋ_ＭＩＸを小さくするようにしてもよい。

これについて説明を加える。今、Ｐ_Ｃ（ｘ，ｙ）を算出する際の係数ｋ_ＭＩＸをｋ_ＭＩＸ（ｘ，ｙ）にて表すと共に、図１４に示す如く、補正対象領域Ａ内の画素位置（ｘ，ｙ）と補正対象領域Ａの外周との最短距離をｄ（ｘ，ｙ）にて表す。ｄ（ｘ，ｙ）は、画素位置（ｘ，ｙ）と補正対象領域Ａの外周とを接続する線分の内、最小の長さを有する線分の長さである。この場合、距離ｄ（ｘ，ｙ）が小さいほどｋ_ＭＩＸ（ｘ，ｙ）を小さくすると良い。これにより、補正対象領域Ａの周辺に近い画素ほど、係数ｋ_ＭＩＸを小さくなって、混合結果画像に対する補正対象領域Ａの画像データの寄与率が増大するからである。具体的には例えば、図１５に示す如く、ｄ（ｘ，ｙ）＝０の時にはｋ_ＭＩＸ（ｘ，ｙ）＝０とし、且つ、０＜ｄ（ｘ，ｙ）＜Δの時にはｄ（ｘ，ｙ）がゼロからΔに向かって増大するに従ってｋ_ＭＩＸ（ｘ，ｙ）をゼロからｋ_Ｏに向かって線形的に又は非線形的に増大させ、Δ≦ｄ（ｘ，ｙ）の時にはｋ_ＭＩＸ（ｘ，ｙ）＝ｋ_Ｏとすればよい。ここで、ｋ_Ｏは、上記類似度ＤＳ_１に応じて設定された係数ｋ_ＭＩＸの値、又は、固定値ｋ_ＦＩＸである。

ステップＳ２０にて生成された混合結果画像はステップＳ２１において表示部１６に表示される。この際、混合結果画像と混合補正の成されていない補正対象領域Ａ内の画像とを表示部１６に並列表示すると良い。並列表示を見ることで、ユーザは、補正効果及び補正による弊害発生有無を確認することができるからである。混合結果画像の表示を行いつつ、ステップＳ２２において、撮像装置１は、メッセージ表示等を用いてユーザに補正内容の確定を促す。

ステップＳ２２において、所定の確定操作が操作部１７に成された場合には、ステップＳ２３及びＳ２４の処理を実行して出力画像Ｉ_ＯＵＴの生成処理を完了する。ステップＳ２３において、画像補正部３０は、ステップＳ２０又は後述のステップＳ３４（図１６参照）にて得られた最新の混合結果画像を入力画像Ｉ_ＩＮの補正対象領域Ａに嵌め込むことで出力画像Ｉ_ＯＵＴを生成する。つまり、入力画像Ｉ_ＩＮの補正対象領域Ａの画像をステップＳ２０又はＳ３４にて得られた最新の混合結果画像にて置きかえることで出力画像Ｉ_ＯＵＴを生成する。ステップＳ２４では、得られた出力画像Ｉ_ＯＵＴの画像データを記録媒体１５に記録する。この際、ユーザの指示に応じて、出力画像Ｉ_ＯＵＴの画像データを入力画像Ｉ_ＩＮの画像データに上書き保存するようにしても良いし、入力画像Ｉ_ＩＮの画像データを記録媒体１５に残しつつ、別途、出力画像Ｉ_ＯＵＴの画像データを記録媒体１５に記録するようにしても良い。

一方、ステップＳ２２において、所定の確定操作が操作部１７に成されなかった場合には、ステップＳ２２からステップＳ２５に移行する。ステップＳ２５において、撮像装置１は、メッセージ表示等を用いて、入力画像Ｉ_ＩＮの補正を最初からやり直すのか又は補正強度の調整を行うのかを問い合わせる。ステップＳ２５において、補正を最初からやり直すことを指示する操作が成された場合には、ステップＳ１１に戻ってステップＳ１１以降の処理を再度実行しなおす。ステップＳ２５において、補正強度の調整を行うことを指示する操作が成された場合には、ステップＳ２６における調整処理を実行し、調整処理の完了後、ステップＳ２２に戻ってステップＳ２２以降の処理を再度実行する。尚、ステップＳ２６の調整処理の実行中を含め、何れのタイミングにおいても、所定の終了指示操作が成された場合には、不要オブジェクト除去モードにおける動作を終了する。

図１６は、ステップＳ２６の調整処理の詳細フローチャートである。調整処理は、ステップＳ３１〜Ｓ３５の処理から成る。ステップＳ２６の調整処理が開始されると、まず、ステップＳ３１の処理が実行される。ステップＳ３１において、画像補正部３０は、操作部１７に対して調整処理の終了を指示する調整終了操作が成されたか否かを確認し、調整終了操作が成されている場合には調整処理を終了してステップＳ２２に戻る。一方、調整終了操作が成されていない場合には、続くステップＳ３２において、調整操作が操作部１７に成されているかを確認する。調整操作が成されていない場合にはステップＳ３２からステップＳ３１に戻るが、調整操作が成されている場合にはステップＳ３２からステップＳ３３に移行し、画像補正部３０は、ステップＳ３３において、調整操作に従って補正対象領域Ａに対する補正強度を調整する。即ち、調整操作に従って係数ｋ_ＭＩＸを変更する。ここにおける調整操作は、上述したそれと同じものであり、調整操作に従う係数ｋ_ＭＩＸの変更方法も上述したとおりである。特に、タッチパネル調整操作により係数ｋ_ＭＩＸを変更可能にしておけば、非常に使い勝手が良い。

ステップＳ３３に続くステップＳ３４では、変更後の係数ｋ_ＭＩＸを用いた式（２）に従い、補正対象領域Ａの画像データと補正パッチ領域Ｂの画像データを混合することで混合結果画像を生成する。この生成方法は、図１２のステップＳ２０のそれと同様である。ステップＳ３４にて生成された混合結果画像はステップＳ３５において表示部１６に表示され、その後、ステップＳ３１に戻ってステップＳ３１以降の処理を繰り返し実行する。従って、調整終了操作が成されることなく調整操作が再度成された場合には、補正強度（係数ｋ_ＭＩＸ）の調整が継続されることとなる。

尚、上述の説明とは異なるが、ステップＳ１８又はＳ１９にて補正パッチ領域Ｂを設定した後、ステップＳ２０〜Ｓ２２の処理を行うのではなく、直接ステップＳ２６に移行してステップＳ２６の調整処理を行うようにしても良い。この場合、補正パッチ領域Ｂの設定後、撮像装置１は、入力画像Ｉ_ＩＮの全体を表示画面に表示しつつ或いは補正対象領域Ａ内の画像を表示画面に拡大表示しつつ（即ち、入力画像Ｉ_ＩＮの一部を表示画面に表示しつつ）、調整終了操作又は調整操作が成されるのを待機する。この状態で、例えば、ユーザが表示画面上において操作体を上記振動運動（図１１参照）させると、その振動運動が補正対象領域Ａ内の画像（不要領域内の画像）の補正を指示する操作として取り扱われ、係数ｋ_ＭＩＸが初期値（例えばゼロ）を起点として増大方向に変更される（ステップＳ３３）。その結果、ステップＳ３４にて混合補正が成され、ユーザは、ステップＳ３５の混合結果画像の表示を介して不要オブジェクトの除去効果を表示画面上で確認することができる。この際、操作体の振動運動の繰り返し実行によって係数ｋ_ＭＩＸが段階的に増大するようにしておけば、紙面上の不要記載が消しゴムにより徐々に薄れていくかの如く、表示画面上で不要オブジェクトが徐々に薄れていく様子が確認される。

［画像補正部の内部ブロック］
次に、画像補正部３０の内部構成を説明する。図１７は、画像補正部３０の内部ブロック図である。画像補正部３０は、符号３１〜３８によって参照される各部位を備える。

不要領域設定部３１は、上述の不要領域指定操作に従って不要領域を設定する。補正対象領域設定部３２は、設定された不要領域を内包する補正対象領域（上述の補正対象領域３２０や補正対象領域Ａ）を設定する。マスク画像生成部３３は、不要領域設定部３１及び補正対象領域設定部３２の設定の内容に基づいて入力画像からマスク画像（上述のマスク画像３２２やマスク画像Ａ_ＭＳＫ）を生成する。

補正方法選択部３４は、不要領域の形状が細線状であるか否かを判定することによって、移植法及び膨張法のどちらを用いて補正対象領域を補正するのかを選択する（即ち、補正方法選択部３４は図１２のステップＳ１４の処理を実行する）。補正方法選択部３４の判定結果及び選択結果は、補正パッチ領域抽出部３５、第１補正処理部３６及び第２補正処理部３７に伝達される。

補正パッチ領域抽出部（補正パッチ領域検出部）３５は、不要領域の形状が細線状ではないと判定された場合、マスク画像を用いたテンプレートマッチングにより、補正パッチ領域（上述の補正パッチ領域３４０やステップＳ１８における補正パッチ領域Ｂ）を入力画像から検出して抽出する。不要領域の形状が細線状ではないと判定された場合、例えば、補正パッチ領域抽出部３５は、図１２のステップＳ１５〜Ｓ１８の処理を実行することにより補正パッチ領域を抽出及び設定する。一方、不要領域の形状が細線状であると判定された場合、補正パッチ領域抽出部３５は、補正対象領域に対する膨張処理によって補正パッチ領域を生成する。即ち例えば、不要領域の形状が細線状であると判定された場合、補正パッチ領域抽出部３５は、図１２のステップＳ１９の処理を実行することにより補正パッチ領域を生成する。

第１補正処理部３６及び第２補正処理部３７の夫々は、補正対象領域の画像データと補正パッチ領域の画像データを混合することで混合結果画像を生成する。但し、第１補正処理部３６は、補正方法選択部３４にて不要領域の形状が細線状ではないと判定されて移植法が選択された場合にのみ動作し、第２補正処理部３７は、補正方法選択部３４にて不要領域の形状が細線状であると判定されて膨張法が選択された場合にのみ動作する。図１７では、便宜上、第１補正処理部３６と第２補正処理部３７を別個の部位として示しているが、それらにて行われる処理は共通処理を含んでいるため、第１補正処理部３６と第２補正処理部３７を１つの部位に統合することも可能である。尚、不要領域の形状が細線状であると判定された場合、補正パッチ領域の画像データを生成するための膨張処理は第２補正処理部３７にて行われても構わない。画像合成部３８は、第１補正処理部３６又は第２補正処理部３７からの混合結果画像を入力画像の補正対象領域に嵌め込むことで出力画像を生成する。

［類似領域の他の検出方法］
上述の説明内容とは異なるが、画像補正部３０において、以下のようにして補正対象領域３２０の類似領域を探索するようにしても良い。まず、補正対象領域３２０を設定した後、入力画像３１０の全画像領域をぼかすぼかし処理を実行する。ぼかし処理では、例えば、平均化フィルタ等を用いた空間フィルタリングを入力画像３１０の全画素を対象として実行することにより、入力画像３１０の全体をぼかす。この後、ぼかし処理後の補正対象領域３２０内の画像Ｑ_１をテンプレートとして用いたテンプレートマッチングにより、画像Ｑ_１の画像特徴に類似する画像特徴を持つ画像Ｑ_２を、ぼかし処理後の入力画像３１０から検出及び抽出する。画像Ｑ_１及びＱ_２の形状及び大きさは互いに同じであるとする。

画像Ｑ_１と注目画像との間の類似度が所定の基準類似度以上であるとき、該注目画像は、画像Ｑ_１の画像特徴に類似する画像特徴を持つと判断される。対比画像間又は対比画像領域間の類似度は、上述したように、対比画像間又は対比画像領域間における画素信号のＳＳＤ又はＳＡＤから求まる。

画像Ｑ_２が位置する画像領域は、補正対象領域３２０の類似領域として取り扱われる。画像補正部３０は、ぼかし処理前の入力画像３１０から画像Ｑ_２が位置する画像領域を補正パッチ領域として抽出する。即ち、ぼかし処理前の入力画像３１０から画像Ｑ_２が位置する画像領域内の画像データを抽出し、抽出した画像データを補正パッチ領域の画像データとして設定する。そして、ぼかし処理前の補正対象領域３２０の画像データと補正パッチ領域の画像データを混合することにより混合結果画像を生成し、生成した混合結果画像をぼかし処理前の入力画像３１０の補正対象領域３２０に嵌め込むことで出力画像を生成する。つまり、入力画像３１０の補正対象領域３２０内の画像を混合結果画像で置きかえることで出力画像を生成する。

このようなぼかし処理を用いて補正対象領域の類似領域を探索するようにすれば、不要領域をマスクするといった処理を割愛することが可能となる。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は、第１実施形態を基礎とする実施形態であり、矛盾なき限り、第２実施形態に記載の技術を、第１実施形態に記載の技術と組み合わせて実施することができる。加えて、第２実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載を第２実施形態に適用することができる。

第２実施形態では、図２１（ｂ）の結果画像９３０’のような、ユーザの意図に反する結果画像の生成を容易に回避することのできる方法を説明する。尚、以下の説明では、図１の操作部１７に設けられたボタン（不図示）等に対する操作を、便宜上、ボタン操作と呼ぶ。

図２２（ａ）〜（ｅ）等を参照して、第２実施形態に係る方法を説明する。図２３には、画像補正部３０（図２及び図１７参照）に設けておくことのできる抽出禁止領域設定部３９が示されている。図２４に、図１７の画像補正部３０に抽出禁止領域設定部３９を追加した場合における、画像補正部３０の内部構成例を示す。

今、図２２（ａ）に示す画像７００が画像補正部３０に対する入力画像Ｉ_ＩＮとして入力されたことを想定する。入力画像７００には人物７０１〜７０３の画像が含まれており、ユーザは、人物７０３を不要オブジェクトとして捉えているものとする。この場合、ユーザは、タッチパネル操作又はボタン操作により、人物７０３を取り囲む画像領域７１１を不要領域として指定するための操作を成す（図２２（ｂ）参照）。この操作として、上述の任意の不要領域指定操作を利用することができる。不要領域指定操作の内容を表す情報が不要領域指定情報として不要領域設定部３１（図２４参照）に伝達されると、不要領域設定部３１は、不要領域指定情報に基づき画像領域７１１を不要領域に設定する。

不要領域指定操作に続いて、ユーザは、タッチパネル操作又はボタン操作により、抽出禁止領域を指定するための抽出禁止領域指定操作を成すことができる。抽出禁止領域設定部３９は、抽出禁止領域指定操作の内容を表す抽出禁止領域指定情報に基づき抽出禁止領域を設定する。抽出禁止領域の設定には、入力画像における抽出禁止領域の位置、大きさ、形状及び輪郭の設定が含まれる。ここでは、抽出禁止領域指定操作によってユーザが人物７０２を取り囲む画像領域を抽出禁止領域７１２として指定したものとする（図２２（ｃ）参照）。抽出禁止領域指定操作に基づく抽出禁止領域の指定及び設定方法は、不要領域指定操作に基づく不要領域の指定及び設定方法と同様である。

上述してきたように、不要領域の除去は補正パッチ領域の画像データを用いて成されるが、抽出禁止領域内の画像データは補正パッチ領域の画像データとして用いられることが禁止される。即ち、補正パッチ領域は、入力画像における、抽出禁止領域以外の画像領域内から抽出され、抽出禁止領域と重なり合う画像領域が補正パッチ領域として抽出されることは禁止される。図２２（ｃ）の例の場合、入力画像７００の全画像領域から抽出禁止領域７１２を除いて得た残部領域より補正パッチ領域が探索及び抽出される。補正パッチ領域の探索及び抽出方法は、第１実施形態で示したそれと同様である。結果、図２２（ｄ）の波線７１３で囲まれた枠内の領域が補正パッチ領域として抽出される。補正パッチ領域７１３と抽出禁止領域７１２が重なり合うことはない。尚、第１実施形態で述べたように、入力画像７００と異なる入力画像７００’（不図示）から補正パッチ領域を抽出することも可能であり、この場合、入力画像７００’内に抽出禁止領域を設定することも可能である。

補正パッチ領域の抽出及び設定後、第１実施形態で述べた方法にて入力画像７００を補正することにより、結果画像としての出力画像７２０を得ることができる（図２２（ｅ）参照）。図２２（ｄ）及び（ｅ）の例では、抽出禁止領域７１２と異なる背景領域が補正パッチ領域７１３として設定されることで、出力画像７２０において不要な人物７０３を適切に除去することができている。尚、上述の例では、抽出禁止領域の個数が１であるが、抽出禁止領域の個数は２以上であっても良い（即ち、ユーザは複数の抽出禁止領域を指定することもできる）。

図２５を参照して、不要オブジェクト除去モードにおける撮像装置１の動作手順を説明する。説明の具体化のため、不要領域７１１及び抽出禁止領域７１２の設定を介して入力画像７００から出力画像７２０が得られることを想定しつつ図２５の各処理を説明する。図２５の説明において適宜図１２が引用され、図１２の引用時においては不要領域７１１を内包する補正対象領域が補正対象領域Ａと呼ばれることがあり且つ設定された補正パッチ領域が補正パッチ領域Ｂとも呼ばれることがある。図２５に示される各処理は、不要オブジェクト除去モードにおいて実行される。例えば、入力画像７００の撮影直後に入力画像７００を表示部１６に表示しているときにおいて所定のタッチパネル操作又はボタン操作が成された際、或いは、再生モードにおいて所定メニューが選択された際に、不要オブジェクト除去モードへ移行する。

不要オブジェクト除去モードへ移行すると、撮像装置１は入力画像７００の表示を成しながら（ステップＳ１００）、ステップＳ１０１においてユーザによる不要領域指定操作の入力を待機する。不要領域指定操作の入力が成されると、ステップＳ１０２において、不要領域設定部３１は不要領域指定操作に従って不要領域７１１を設定する。ユーザは、タッチパネル操作を用いて不要領域７１１の位置、大きさ、形状及び輪郭等を直接指定することができる（抽出禁止領域７１２も同様）。或いは、予め用意された複数の画像領域の中から不要領域７１１をボタン操作などを用いてユーザに選択させても良い（抽出禁止領域７１２も同様）。

不要領域７１１の設定後、ステップＳ１０３において、撮像装置１は、抽出禁止領域の設定が必要であるか否かをユーザに問い合わせる。そして、抽出禁止領域の設定が必要と回答された場合にのみステップＳ１０３からステップＳ１０４に移行してステップＳ１０４及びＳ１０５の処理後にステップＳ１０６に移行する。一方で、抽出禁止領域の設定が不要と回答された場合にはステップＳ１０３からステップＳ１０６へ直接移行する。

ステップＳ１０４において、撮像装置１は、ユーザによる抽出禁止領域指定操作の入力を待機する。抽出禁止領域指定操作の入力が成されると、ステップＳ１０５において、抽出禁止領域設定部３９は抽出禁止領域指定操作に従って抽出禁止領域７１２を設定する。抽出禁止領域７１２が設定されると、ステップＳ１０５からステップＳ１０６に移行する。

ステップＳ１０３又はＳ１０５から移行するステップＳ１０６において、画像補正部３０（補正パッチ領域抽出部３５）は、ユーザの操作に拠らず自動的に、補正パッチ領域を抽出及び設定する。補正パッチ領域の抽出及び設定方法として、第１実施形態で述べたそれを用いることができる。即ち例えば、不要領域を内包する図４の補正対象領域３２０の設定後、図６（ｂ）の補正パッチ領域３４０を入力画像３１０から抽出したのと同様の方法にて、不要領域７１１を内包する補正対象領域を入力画像７００内に設定し、入力画像７００内の補正対象領域に対応する補正パッチ領域を入力画像７００から抽出する。或いは例えば、図１２のステップＳ１２〜Ｓ１８の処理によって入力画像７００（又は７００’）内に補正パッチ領域を設定することができる。何れにせよ、抽出禁止領域７１２が設定されている場合には、入力画像７００（又は７００’）における、抽出禁止領域７１２以外の画像領域内から補正パッチ領域が抽出される。結果、例えば、図２２（ｄ）の補正パッチ領域７１３が抽出及び設定される。

尚、図１２のステップＳ１２〜Ｓ１８の処理を利用した場合において複数の類似領域が探索されたとき（ステップＳ１５）、第１実施形態では、ユーザに複数の類似領域の中から補正パッチ領域を選択させていた。これに対し、本実施形態では、ユーザの操作負担を軽減するべく、ステップＳ１０６において該選択操作をユーザに課すことなく、自動的に補正パッチ領域を設定するとよい（但し、上記選択操作をユーザに課してもよい）。また、図１２のステップＳ１２〜Ｓ１８の処理を図２５のステップＳ１０６に適用した場合において、不要領域の形状が細線状であると判断された場合には（ステップＳ１４のＹ）、図１２のステップ１９の処理によって補正パッチ領域を設定しても良い。この場合、補正パッチ領域７１３と異なる補正パッチ領域がステップＳ１０６において設定されることになる。また、

ステップＳ１０６にて補正パッチ領域が設定された後、ステップＳ１０７において、画像補正部３０は、入力画像７００に基づく出力画像７２０を生成する。不要領域及び補正パッチ領域の設定後に入力画像から出力画像を生成する方法として、第１実施形態に示したそれを用いることができる。例えば、図１２のステップＳ２０の処理を用いることができる。より具体的には例えば、不要領域７１１を内包する補正対象領域Ａの画像データと補正パッチ領域Ｂ（例えば補正パッチ領域７１３又は補正パッチ領域７１３と異なる補正パッチ領域）の画像データを混合することで混合結果画像を生成し、生成した混合結果画像を入力画像７００の補正対象領域Ａに嵌め込むことで出力画像７２０を生成する。この混合における係数ｋ_ＭＩＸの値は１であってもよく、ｋ_ＭＩＸ＝１のとき、入力画像７００において補正対象領域Ａ内の画像データが補正パッチ領域Ｂ内の画像データそのものにて置き換えられることになる。

また、入力画像７００（又は７００’）における、抽出禁止領域７１２以外の画像領域内から複数の補正パッチ領域を抽出することも可能であり、複数の補正パッチ領域が抽出された場合には、出力画像７２０の補正対象領域Ａ内の画像データを、複数の補正パッチ領域の画像データを用いて生成するようにしてもよい。

ステップＳ１０７では、生成された出力画像７２０の表示も成される。この表示を行いつつ、ステップＳ１０８において、撮像装置１は、ユーザに補正内容を確定してよいか否かを問い合わせる。この問い合わせに対し、ユーザは、タッチパネル操作又はボタン操作を用いて、所定の確定操作を成すことができる。

確定操作を成さない場合、ユーザは、タッチパネル操作又はボタン操作を用いて、抽出禁止領域から再指定を行うための操作又は不要領域から再指定を行うための操作を成すことができる（ステップＳ１１０）。
ユーザが前者の操作を成した場合には、ステップＳ１０８からステップＳ１１０を介してステップＳ１０４に戻ってステップＳ１０４〜Ｓ１０８の処理が再度実行され、その処理の中で抽出禁止領域の再指定及び再設定並びに出力画像の再生成が成される。
ユーザが後者の操作を成した場合には、ステップＳ１０８からステップＳ１１０を介してステップＳ１０１に戻ってステップＳ１０１〜Ｓ１０８の処理が再度実行され、その処理の中で不要領域及び抽出禁止領域の再指定及び再設定並びに出力画像の再生成が成される。

ステップＳ１０８においてユーザが確定操作を成した場合、ステップＳ１０７にて生成された最新の出力画像の画像データを記録媒体１５に記録し（ステップＳ１０９）、図２５の動作を終了する。尚、ステップＳ１０７にて生成された出力画像に対して第１実施形態で述べた調整処理（例えば図１２のステップＳ２６参照）を実行し、調整処理後の出力画像を記録媒体１５に記録するようにしてもよい。

本実施形態の如く抽出禁止領域の設定機能を設けておくことにより、少ない操作負担で不適切な補正パッチ領域の抽出が回避され（ユーザが禁止した領域が補正パッチ領域として抽出されることが回避され）、結果、意図に反する出力画像の生成が回避される。換言すれば、少ない操作負担でユーザの意図に沿った出力画像を生成することができる。

補正パッチ領域として使用可能な候補領域を複数個ユーザに提示し、複数の候補領域の中から補正パッチ領域をユーザに選択させるという方法も採用可能であるが、候補領域が多数存在する場合や、１つの不要領域を複数の補正パッチ領域を用いて補正する場合にはユーザの操作負担がやや重くなる。補正パッチ領域域の選択及び設定を撮像装置１側で自動的に行うようにすれば、候補領域が多数存在する場合などにおいても、ユーザの操作負担が軽くなる。

尚、既に述べたことではあるが、第２実施形態に記載の技術を、第１実施形態に記載の技術と組み合わせて実施することができる。従って、以下のことがいえる。
第１実施形態において、画像補正部３０に抽出禁止領域設定部３９を追加し、抽出禁止領域指定操作に従って入力画像内に抽出禁止領域を設定してもよい。そして、第１実施形態において、補正パッチ領域を、入力画像における、抽出禁止領域以外の画像領域内から抽出するとよい（即ち、抽出禁止領域と重なり合う画像領域が補正パッチ領域として抽出されることを禁止するとよい）。

また、撮像装置１において以下のような変形動作を行っても良い。変形動作の説明では、入力画像７００に対して不要領域７１１が設定されて不要領域７１１を内包する補正対象領域Ａが入力画像７００内に設定されたことを前提とする。また、補正対象領域Ａに基づくマスク画像を記号Ａ_ＭＳＫにて表す。また、変形動作において、類似領域の探索に図１２のステップＳ１５の方法を利用することができる。

第１の変形動作を説明する。マスク画像Ａ_ＭＳＫの類似領域を補正パッチ領域Ｂとして入力画像７００又は７００’から探索し、補正パッチ領域Ｂを用いて補正対象領域Ａ内の画像を補正することを単位補正と呼ぶ。単位補正は、補正対象領域Ａの画像データに補正パッチ領域Ｂの画像データを混合することで或いは補正対象領域Ａの画像データを補正パッチ領域Ｂの画像データにて置き換えることで実現され、第１の変形動作では、単位補正が複数回繰り返し実行される。単位補正が一度も成されていない状態における補正対象領域Ａを記号Ａ［０］にて表し、ｉ回目の単位補正によって得られる補正対象領域Ａを記号Ａ［ｉ]によって表し、補正対象領域Ａ［ｉ］に基づくマスク画像を記号Ａ_ＭＳＫ［ｉ］にて表し、マスク画像Ａ_ＭＳＫ［ｉ］に対して探索された補正パッチ領域Ｂを記号Ｂ［ｉ］にて表す。

そうすると、１回目の単位補正では、マスク画像Ａ_ＭＳＫ［０］の類似領域を補正パッチ領域Ｂ［０］として入力画像７００又は７００’から探索し、補正パッチ領域Ｂ［０］を用いて補正対象領域Ａ［０］内の画像を補正することで補正対象領域Ａ［１］を得る。２回目の単位補正では、補正対象領域Ａ［１］に基づくマスク画像Ａ_ＭＳＫ［１］の類似領域を補正パッチ領域Ｂ［１］として入力画像７００又は７００’から探索し、補正パッチ領域Ｂ［１］を用いて補正対象領域Ａ［１］内の画像を補正することで補正対象領域Ａ［２］を得る。３回目以降の単位補正も同様である。

補正対象領域Ａ内の画像が新たな単位補正によって殆ど変化しなくなるまで単位補正を繰り返し実行することができる。例えば、補正対象領域Ａ［ｉ−１］内の各画素信号と補正対象領域Ａ［ｉ］内の各画素信号との差を求め、その差が十分に小さいと判断された場合に単位補正の繰り返し実行を終了する。その差が十分に小さいと判断されなかった場合には、補正対象領域Ａ［ｉ＋１］を得るべく（ｉ＋１）回目の単位補正を更に実行する。単位補正の繰り返し回数を予め定めておいても良い。補正対象領域Ａ［ｉ］が得られた時点で単位補正の繰り返し実行が終了した場合、入力画像７００の補正対象領域Ａに対して補正対象領域Ａ［ｉ］の画像データを嵌め込むことで出力画像７２０を得る。

第２の変形動作を説明する。補正対象領域Ａが比較的大きい場合などにおいては、補正対象領域Ａに適合する１つの補正パッチ領域Ｂを探索できないこともある。このような場合において第２の変形動作を利用すると有益である。

第２の変形動作では、補正対象領域Ａを複数の画像領域に分割する。分割によって得られた各画像領域を分割領域と呼ぶ。そして、分割領域ごとに補正パッチ領域を探索して単位補正を行う。説明の具体化のため、補正対象領域Ａを４つの分割領域Ａ_１〜Ａ_４に分割することを考える。分割領域Ａ_１〜Ａ_４の設定に伴って、マスク画像Ａ_ＭＳＫも４つの分割マスク画像Ａ_ＭＳＫ１〜Ａ_ＭＳＫ４に分割される。分割マスク画像Ａ_ＭＳＫｊは、分割領域Ａ_ｊに対応するマスク画像である（ｊは１、２、３又は４）。

第２の変形動作における１回分の単位補正では、分割マスク画像Ａ_ＭＳＫｉの類似領域を補正パッチ領域Ｂ_ｊとして入力画像７００又は７００’から探索し、補正パッチ領域Ｂ_ｊを用いて分割領域Ａ_ｊ内の画像を補正する処理を分割領域ごとに行う。単位補正を１回だけ実行するようにしても良いし、第１の変形動作で述べた方法の如く、単位補正を複数回繰り返し実行しても良い。今、ｉ回目の単位補正を実行した時点で単位補正の繰り返し実行が終了したことを想定する。そうすると、入力画像７００の分割領域Ａ_１〜Ａ_４に対して、夫々、分割領域Ａ_１［ｉ］〜Ａ_４［ｉ］の画像データを嵌め込むことで出力画像７２０を得る。分割領域Ａ_ｊ［ｉ］は、単位補正が一度も成されていない状態における分割領域Ａ_ｊに対して単位補正をｉ回分行って得られる画像領域である。

［変形等］
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

上述の実施形態では、画像処理部１４及び画像補正部３０が撮像装置１内に設けられていることを想定したが（図１参照）、画像処理部１４又は画像補正部３０は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。上記電子機器に、画像処理部１４又は画像補正部３０に加え、記録媒体１５、表示部１６及び操作部１７を設けておくと良い。

図１の撮像装置１又は上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は上記電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい

１撮像装置
１１撮像部
１４画像処理部
１５記録媒体
１６表示部
１７操作部
３０画像補正部

Claims

第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置において、
前記補正部は、
前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、
前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、
与えられた操作に従って前記第２入力画像内に抽出禁止領域を設定する抽出禁止領域設定部と、を備え、
前記補正用領域抽出部は、前記第２入力画像における前記抽出禁止領域以外の画像領域から前記補正用領域を抽出する
ことを特徴とする画像処理装置。
前記補正部は、前記第１入力画像に含まれる不要領域を指定し、該不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部を更に備え、
前記補正用領域抽出部は、前記対象領域内の、前記不要領域以外の画像領域である残部領域の画像データを、前記第２入力画像の画像データと対比することにより、前記第２入力画像から前記補正用領域を検出して抽出する
ことを特徴とする請求項１に記載の画像処理装置。
前記補正用領域抽出部は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域を前記第２入力画像内から探索し、探索された画像領域を内包する画像領域を前記補正用領域として前記第２入力画像から抽出する
ことを特徴とする請求項２に記載の画像処理装置。
前記補正部は、第１補正処理部としての前記補正処理部に加えて、
前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、
前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正する
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
請求項１〜請求項４の何れかに記載の画像処理装置を備えた
ことを特徴とする電子機器。
第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置と、
前記第１入力画像の全部又は一部を表示する表示部と、
前記第１入力画像に含まれる不要領域を指定する不要領域指定操作を受け付けるとともに、前記不要領域内の画像の補正を指示する補正指示操作を受け付ける操作部と、を備えた電子機器であって、
前記補正部は、
前記不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部と、
前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、
前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、
前記操作部に対して成された抽出禁止領域指定操作に従って前記第２入力画像内に抽出禁止領域を設定する抽出禁止領域設定部と、を備え、前記補正指示操作に応じて前記対象領域内の画像を補正し、
その補正が成された際、前記表示部は、補正後の対象領域内の画像を表示し、
前記補正用領域抽出部は、前記第２入力画像における前記抽出禁止領域以外の画像領域から前記補正用領域を抽出する
ことを特徴とする電子機器。