JP2017034461A - 画像処理装置、画像処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】 本発明は、複数の画像間のフォーカスの差を視認しやすい画像処理装置の制御方法を提供することを目的とする。【解決手段】 本発明における画像処理装置１００の制御方法は、複数の入力画像それぞれの輪郭成分を取得する輪郭取得工程と、複数の入力画像のうち少なくとも１つの基準画像の輪郭成分と複数の入力画像のうち基準画像以外の入力画像の輪郭成分との差分に基づいて、当該入力画像に対して強調処理を施す第１の強調工程とを備えることを特徴とする。【選択図】 図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関する。

人間の左右の眼に見立てた２台の撮像装置を用いて取得した２つの画像を合成し、立体視が可能な立体画像を形成する技術がある。立体画像の合成に用いられる複数の画像は、被写体に対して同程度にフォーカスがあっていることが望ましい。フォーカスの程度は、画像のエッジ（輪郭）の状況で判断することが可能である。

特許文献１には、撮影した画像からエッジ成分を検出して、着色処理を施して表示する技術が開示されている。

特開２００７−６０３２８号公報

複数の画像に対してフォーカスを確認する場合、上述した従来の技術では、それぞれの画像に対してエッジ成分に応じた着色処理が行われる。したがって、立体画像を形成する複数の画像を取得する際には、各画像の着色処理の結果を見比べて、複数の画像間のフォーカスの差の有無を確認することが必要であり、作業が煩雑となる課題があった。

そこで、本発明は、上記課題に鑑みて、複数の画像間のフォーカスの差を視認しやすい画像処理装置の制御方法を提供することを目的とする。

上述した課題を解決するために、本発明における画像処理装置の制御方法は、複数の入力画像それぞれの輪郭成分を取得する輪郭取得工程と、前記複数の入力画像のうちの基準画像の前記輪郭成分と、前記複数の入力画像のうち前記基準画像以外の入力画像の前記輪郭成分との差分に応じて、前記複数の入力画像のうち少なくとも１つの入力画像に対して強調処理を施す第１の強調工程とを備えることを特徴とする。

また、上述した課題を解決するために、本発明における画像処理装置は、複数の入力画像それぞれの輪郭成分を取得する輪郭取得手段と、前記複数の入力画像のうち少なくとも１つの基準画像の前記輪郭成分と前記複数の入力画像のうち前記基準画像以外の入力画像の前記輪郭成分との差分に基づいて、当該入力画像に対して強調処理を施す第１の強調手段とを備えることを特徴とする。

本発明の画像処理装置の制御方法によれば、複数の画像間の輪郭成分の差分に応じて、強調処理が施される。したがって、複数の画像間のフォーカスの差を視認しやすい。

第１の実施例における画像処理装置１００の機能ブロックを示すブロック図である。 第１の実施例における輪郭強調処理方法の決定フローを示すフロー図である。 表示部２００に表示されたＯＳＤ４００を示す模式図である。 強調処理部１４０の差分強調処理フローを示すフロー図である。 輪郭成分の差分に対する強調値を示すテーブルを示す模式図である。 第１の実施例における合成部１５０が生成した表示画像を示す模式図である。 ＯＳＤ表示上に、基準画像を選択するＯＳＤを重畳表示した場合の表示部２００を示した模式図である。 第２の実施例における画像処理装置１１００の機能ブロックを示すブロック図である。 被写体と、各撮像装置との位置関係と、各撮像装置の視線とを示した模式図である。 第２の実施例における強調処理部１１４０の差分強調処理のフローを示すフロー図である。 角度補正値を差し引かれた輪郭成分の差分と、対応する強調値との関係を示すテーブルの模式図である。 基準画像Ｃと差分強調処理が施された入力画像Ｂとを重畳して生成した表示画像を示した模式図である。

以下、図面を用いて本発明の実施の形態について説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定され、以下に例示する実施例によって限定されるものではない。また、実施例の中で説明されている特徴の組み合わせすべてが本発明に必須とは限らない。本明細書および図面に記載の内容は例示であって、本発明を制限するものと見なすべきではない。本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

（第１の実施例）
図１は、本実施例における画像処理装置１００の機能ブロックを示すブロック図である。画像処理装置１００は、画像供給部１０、画像供給部１１、および表示部２００と接続している。画像処理装置１００と画像供給部１０、画像供給部１１、および表示部２００との接続の方法は、有線または無線を問わない。

本実施例において、画像供給部１０と画像供給部１１とは、人間の左右の眼に見立てて配置された撮像装置である。画像供給部１０と画像供給部１１とは、取得した画像を逐次、画像処理装置１００に出力する。なお、画像供給部は、撮像装置に限らず、同一の被写体に対して予め取得した焦点距離が異なる複数の画像群を記憶する画像記憶装置であってもよい。画像記憶装置は、例えばハードディスク等の不揮発性メディアや、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）等である。

表示部２００は、液晶パネルを用いたディスプレイである。表示部２００は、画像処理装置１００から出力された画像信号に基づいて、画像を表示する。表示部２００は、液晶パネル等の透過型のパネルを用いたディスプレイに限られず、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子を用いた自発光型のディスプレイであってもよい。なお、表示部２００は複数あってもよい。また、表示部２００と画像処理装置１００とが同一の装置に含まれ、表示装置を構成してもよい。

画像処理装置１００は、信号入力部１１０、信号入力部１１１、輪郭取得部１２０、画像位置補正部１３０、強調処理部１４０、合成部１５０、操作入力部１６０、設定値取得部１７０、制御部１８０、記憶部１８１、およびバスライン１８２を備える。信号入力部１１０は、画像供給部１０から入力画像Ａを取得する。また、信号入力部１１１は、画像供給部１１から入力画像Ｂを取得する。取得された画像はそれぞれ、輪郭取得部１２０、画像位置補正部１３０、および強調処理部１４０に出力される。

輪郭取得部１２０は、取得した各画像から輪郭成分を取得する。輪郭成分は、画像中の輪郭の強度を示す値である。輪郭取得部１２０は、取得した各画像に対して、微分処理もしくは高域周波数通過処理を施し、輪郭成分を取得する。輪郭成分の値が大きいほど、輪郭が強いことを示す。つまり、画像内の輪郭成分の値が大きい領域ほど、フォーカスが合っていることを示す。輪郭取得部１２０は、それぞれの信号入力部から取得した各画像に対して、輪郭成分を取得し、強調処理部１４０へ出力する。

画像位置補正部１３０は、取得した各画像を解析し、各画像に含まれるオブジェクトが一致する位置補正量を取得する。具体的には、画像位置補正部１３０は、各信号入力部から取得した各画像の相対位置を変更してパターンマッチング処理を施し、類似度が高くなる相対位置を取得する。言い換えると、画像位置補正部１３０は、取得した各画像間の対応する領域を特定し、各画像間の相対位置を取得する。画像位置補正部１３０は、得られた相対位置から位置補正量を決定し、強調処理部１４０へ出力する。

パターンマッチング処理には、各画像を複数の領域に分け、各領域の輝度差の２乗を合計したＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）が用いられる。ＳＳＤで得られた値が小さいほど、複数の画像に含まれるオブジェクトが一致していることを示す。パターンマッチング処理は、ＳＳＤに限られず、他の方法で位置補正量を決定することも可能である。

強調処理部１４０は、各信号入力部から取得した各画像と、輪郭取得部１２０から取得した各画像の輪郭成分と、画像位置補正部１３０から取得した位置補正量とを用いて、輪郭強調処理を施す。強調処理部１４０は、各信号入力部から取得した画像のうち１つを基準画像とする。第１の実施例において、信号入力部１１０に入力された入力画像Ａを基準画像とする。強調処理部１４０は、基準画像である入力画像Ａの輪郭成分と、位置補正量により画素の位置を補正された基準画像でない入力画像Ｂの輪郭成分との差分を用いて、入力画像Ｂに対して、差分強調処理を施す。

第１の実施例において、差分強調処理は、輪郭成分の差分が大きいほど、当該領域の赤色の度合いが強くなるように着色する処理である。すなわち、輪郭成分の差分が大きい領域ほど、濃い赤色で着色される。なお、着色処理に用いられる色は、赤色に限らず、ユーザが任意に決定することが可能である。また、差分強調処理は輪郭成分の差分に応じて輝度や彩度を変更する処理であってもよく、着色処理に加えて輝度を変更する処理であってもよい。

差分強調処理は、輪郭成分の差分の大小が直感的に把握できるように、輪郭成分の差分に応じて異なる強調処理がされていればよい。強調処理部１４０は、入力画像Ａと、輪郭強調処理を施された入力画像Ｂを、合成部１５０に出力する。

合成部１５０は、強調処理部１４０から取得した各画像を用いて、表示画像を生成し、表示部２００に出力する。合成部１５０は、取得した各画像を、水平方向もしくは垂直方向に並べて表示画像を生成して、表示部２００に出力する。合成部１５０は、複数の画像を並べるだけでなく、複数の画像それぞれに透過処理を施し、複数の画像を重畳して表示画像を生成することも可能である。

操作入力部１６０は、例えば画像処理装置１００に設置された操作ボタンや、タッチパネル等のユーザーインターフェースである。ユーザは、操作入力部１６０に入力することにより、輪郭強調処理や、差分強調処理を実施するか否か等を決定することができる。さらに、各強調処理に用いる色等の条件を決定することも可能である。また、表示部２００に表示されたＯｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ（ＯＳＤ）の表示を変更することが可能である。操作入力部１６０に入力された情報は、設定値取得部１７０と合成部１５０とに出力される。

設定値取得部１７０は、操作入力部１６０から取得した情報に基づいて、輪郭強調フラグおよび差分強調フラグを設定する。また、設定値取得部１７０は、操作入力部１６０から取得した情報に基づいて、各強調処理に用いる色等のデータを取得する。設定値取得部１７０は、輪郭強調フラグ、差分強調フラグ、および各強調処理に用いるデータを強調処理部１４０に出力する。

制御部１８０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＭＰＵ）等のコンピュータである。制御部１８０は、記憶部１８１から読み出したプログラムを実行し、各機能ブロックを制御する。各機能ブロックは、制御部１８０の制御に基づいて動作する。記憶部１８１は、制御部１８０で実行するプログラムを記憶する。記憶部１８１は、不揮発性のハードディスク等の記憶媒体である。バスライン１８２は、画像処理装置１００内の各機能ブロック間のデータの通信を行うための伝送用経路である。

図２は、第１の実施例における輪郭強調処理方法の決定フローを示すフロー図である。なお、決定フローにおいて、各機能ブロックは、制御部１８０で実行されたプログラムに基づいて動作する。

Ｓ３００で、輪郭強調処理方法の決定フローが開始されると、Ｓ３０１で、合成部１５０は、ＯＳＤ４００を表示部２００に表示する。図３は、表示部２００に表示されたＯＳＤ４００を示す模式図である。ＯＳＤ４００は、輪郭強調処理のＯＮ／ＯＦＦを表示するメニュー４０１と、差分強調処理のＯＮ／ＯＦＦを表示するメニュー４０２とを備える。このとき、輪郭強調処理がＯＦＦである場合には、メニュー４０２はグレーアウト表示され、ユーザはメニュー４０２を選択することができない。

Ｓ３０２で、ユーザは、輪郭強調処理を実施するか否かを、操作入力部１６０を用いて選択する。ユーザが輪郭強調処理をＯＦＦであると選択した場合（Ｓ３０２ Ｎｏ）、Ｓ３０６に進む。Ｓ３０６では、設定値取得部１７０が、輪郭強調フラグと差分強調フラグとをともに０と設定する。

ユーザが輪郭強調処理をＯＮであると選択した場合（Ｓ３０２ Ｙｅｓ）、Ｓ３０３に進む。Ｓ３０３で、ユーザは、差分強調処理を実施するか否かを、操作入力部１６０を用いて選択する。ユーザが差分強調処理をＯＦＦであると選択した場合（Ｓ３０３ Ｎｏ）、Ｓ３０５に進む。Ｓ３０５では、設定値取得部１７０が、輪郭強調フラグを１と設定し、差分強調フラグを０と設定する。ユーザが差分強調処理をＯＮであると選択した場合（Ｓ３０３ Ｙｅｓ）、Ｓ３０４に進む。Ｓ３０４では、設定値取得部１７０が、輪郭強調フラグと、差分強調フラグとを１と設定する。

次に強調処理部１４０の処理フローについて説明する。設定値取得部１７０から取得した輪郭強調フラグおよび差分強調フラグがともに０である場合、強調処理部１４０は、各信号入力部から取得した画像を、強調処理をせずに合成部１５０に出力する。

また、設定値取得部１７０から取得した輪郭強調フラグが１であり、差分強調フラグが０である場合、強調処理部１４０は、各信号入力部から取得した画像に対して、輪郭取得部１２０から取得した輪郭成分を用いて輪郭強調処理を施す。そして強調処理部１４０は、輪郭強調処理を施した画像を合成部１５０に出力する。輪郭強調処理は、各画像の輪郭成分が所定の閾値よりも大きい場合に、予め設定された色へ着色する処理を施す。

図４は、強調処理部１４０の差分強調処理フローを示すフロー図である。なお、差分強調処理フローにおいて、各機能ブロックは、制御部１８０で実行されたプログラムに基づいて動作する。設定値取得部１７０から取得した輪郭強調フラグおよび差分強調フラグがともに１である場合、強調処理部１４０は、差分強調処理を開始する（Ｓ５００）。Ｓ５０１で、強調処理部１４０は、画像位置補正部１３０から、位置補正量を取得する。Ｓ５０２で、強調処理部１４０は、各信号入力部から入力された画像に対応する画像の輪郭成分を、輪郭取得部１２０から取得する。

Ｓ５０３で、強調処理部１４０は、輪郭成分の差分を取得する。強調処理部１４０は、各信号入力部から入力された画像のうち、１つの画像を基準画像として決定する。前述したように、第１の実施例において、入力画像Ａが基準画像とされる。基準画像は、予め決められている選択方法に基づいて、強調処理部１４０により自動的に選択されることも可能であるし、ユーザが操作入力部１６０に入力した情報に基づいて決定されることも可能である。

図７は、図３で示したＯＳＤ表示上に、複数の信号入力部のうち、どちらの信号入力部から入力された画像を基準画像とするかを選択するＯＳＤを重畳表示した表示部２００を示した模式図である。ユーザが、輪郭強調および差分強調を実施する（ＯＮ）と選択した場合、基準画像を選択するＯＳＤ７００が表示される。ユーザは、操作入力部１６０を操作し、基準画像とする画像が入力される信号入力部を選択する。選択された信号入力部を示す情報は、設定値取得部１７０を経由して強調処理部１４０に出力される。

Ｓ５０３で、強調処理部１４０は、位置補正量を用いて基準画像（入力画像Ａ）の各画素に対応する、基準画像でない画像（入力画像Ｂ）の画素を決定する。これにより、基準画像と、基準画像でない画像との間で、同一のオブジェクトを表示している画素同士を関連付ける。強調処理部１４０は、基準画像でない画像の画素それぞれに対して、当該画素の輪郭成分と、当該画素に関連付けられた基準画像の画素の輪郭成分の差分を取得する。

Ｓ５０４で、強調処理部１４０は、Ｓ５０３で得られた基準画像でない画像の画素それぞれにおける輪郭成分の差分に応じて、当該画素に対して強調処理を施す。図５は、輪郭成分の差分に対する強調値を示すテーブルを示す模式図である。図５で、強調値は（Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ））の各画素値に加算される補正値として表わされている。第１の実施例において、強調処理は、赤色の着色処理であり、輪郭成分の差分が大きいほど、強調値が大きくなる。なお、着色処理に用いる色は、ユーザが任意に設定することも可能である。

強調処理部１４０は、Ｓ５１４で、図５に示したような輪郭成分の差分と強調色との関連を示す情報を取得する。強調処理部は、取得した輪郭成分の差分と強調色との関連を示す情報に基づいて、基準画像でない画像に対して、強調処理を施す。具体的には、強調処理部１４０は、基準画像でない画像の各画素に対して、輪郭成分の差分から決定された強調値を加算する。なお、このとき、基準画像に対しては、強調処理を施さずに合成部１５０へ出力してもよい。第１の実施例では、強調処理部１４０は、基準画像の輪郭成分が所定の閾値よりも大きい画素に対して、着色する輪郭強調処理を施す。

輪郭強調処理を施された基準画像と、差分強調処理を施された基準画像でない画像とは、合成部１５０へ出力される（Ｓ５０５）。合成部１５０は、強調処理部１４０から取得した画像を用いて表示画像を生成する。図６は、第１の実施例における合成部１５０が生成した表示画像を示す模式図である。左側に輪郭強調処理が施された基準画像が表示されており、右側に差分強調処理が施された基準画像でない画像が表示されている。第１の実施例において、被写体は直方体の物体である。

図６の左側に示すように、基準画像は、輪郭成分が所定の閾値以上である直方体の右手前の各辺が強調して表示されている。また、図６の右側に示すように、差分強調処理を施した入力画像Ｂは、直方体の右手前の頂点がもっとも強く着色されており、各辺に沿って頂点から離れるほど、弱い着色処理が施されている。これは、入力画像Ｂは、基準画像に対して、右手前の頂点の輪郭成分が大きく異なることを示しおり、当該箇所について２つの画像間のフォーカスが異なっていることを示している。合成部１５０は、基準画像と、差分強調処理が施された入力画像Ｂとのそれぞれに透過処理を施し、重畳して表示画像を生成することも可能である。図１２は、基準画像と差分強調処理が施された入力画像Ｂとを重畳して生成した表示画像を示した模式図である。合成部１５０は、生成された表示画像を表示部２００に出力する。なお、表示部２００が複数ある場合、合成部１５０は、基準画像と、差分強調処理が施された入力画像Ｂとをそれぞれことなる表示部２００に出力することも可能である。

ユーザは、表示された差分強調処理の結果を確認しながら、入力画像Ｂに対応する画像供給部１１のフォーカス合わせを行うことで、基準画像（入力画像Ａ）と入力画像Ｂとのフォーカスを同程度に合わせることが可能となる。なお、ユーザは、基準画像（入力画像Ａ）に対応する画像供給部１０のフォーカス合わせを行ってもよいし、両方の画像供給部に対して操作をすることも可能である。また、ユーザ操作だけでなく、輪郭成分の差分が所定の値以下となるように、制御部１８０が、それぞれの画像供給部に対してフォーカス操作を実行することも可能である。

上述のように、本実施例で説明した画像処理装置によれば、複数の画像のうち、基準画像の輪郭成分と基準画像でない画像の輪郭成分との差分に応じて、異なる強調処理が当該画像に施される。したがって、複数の画像間のフォーカスの差を直感的に視認しやすい画像を提供することが可能となる。

なお、本実施例では、人間の左右の眼に見立てて配置された２つの撮影装置を画像供給部とする場合について説明したが、画像供給部は２つ以上設置されていてもよい。例えば、同一の被写体に対して、上下左右に配置された複数の撮影装置を画像供給部としてもよい。この場合においても、複数の画像供給部から供給される画像のうち１つを基準画像として、基準画像以外の画像について、輪郭成分の差分を用いた強調処理を施すことで、複数の画像間のフォーカスの差を視認しやすくなる。

また、本実施例では、基準画像の輪郭成分と、基準画像でない入力画像の輪郭成分との差分を用いて、基準画像でない入力画像に対して強調処理を施したが、基準画像に対して強調処理を施すことも可能である。この場合、基準画像とのフォーカスの差を、基準画像側で確認しながら、強調処理されていない基準画像でない入力画像を確認することができる。したがって、基準画像でない入力画像のフォーカスを合わせる際に、強調処理の影響を受けずに操作することが可能となる。

（第２の実施例）
図８は、本実施例における画像処理装置１１００の機能ブロックを示すブロック図である。画像処理装置１１００は、撮像装置１０１０と、撮像装置１０１１と、表示部２００と接続している。第１の実施例と同名の機能ブロックは、第１の実施例と同様の機能を発揮するため、説明を省略する。撮像装置１０１０および撮像装置１０１１は、それぞれ同一の被写体に対して異なる位置から画像を取得し、画像処理装置１１００に出力する。

画像処理装置１１００は、視線角度取得部１１９０を備える。視線角度取得部１１９０は、各撮像装置から供給される画像が取得された際の、各撮像装置の視線の方向を示す情報を、各撮像装置から取得する。図９は、被写体と、各撮像装置との位置関係と、各撮像装置の視線とを示した模式図である。

立体映像の撮影方式には、撮像装置間の光軸の関係が異なる交差法と平行法とがある。人間の左右の眼に見立てて被写体に対して左右に配置した２つの撮像装置の光軸を、平行にして画像を取得する方法が平行法である。一方で２つの撮像装置の光軸が、交差するようにして画像を取得する方法が交差法である。図９は交差法で画像を取得している際の、各撮像装置の配置を示している。交差法で立体画像を形成する場合、左右それぞれに対応する画像には、視線の角度に応じたフォーカスのずれが許容される。

視線角度取得部１１９０は、各撮像装置から視線方向情報を取得する。視線方向情報は方向を示すデータであればよい。視線角度取得部１１９０は、取得した各撮像装置から視線方向情報から、撮像装置の視線が成す角度θを取得する。なお、角度θは上述の方法に限られず、ユーザが操作入力部から入力することも可能である。取得した角度θは、強調処理部１１４０に出力される。

図１０は、第２の実施例における強調処理部１１４０の差分強調処理のフローを示すフロー図である。なお、差分強調処理のフローにおいて、各機能ブロックは、制御部１１８０で実行されたプログラムに基づいて動作する。図４と同名の処理については、第１の実施例と同様の処理であるので、説明を省略する。Ｓ１５０５で、強調処理部１１４０は、輪郭成分の差分から角度θに応じて決定された角度補正値を減算して、補正を行う。角度補正値は、角度θに応じて決定される値であり、上述した視線の角度に応じて許容されるフォーカスのずれに対応する。角度補正値は、角度θが大きいほど大きな値となる。

図１１は、角度補正値を差し引かれた輪郭成分の差分と、対応する強調値との関係を示すテーブルの模式図である。補正前に、角度補正値以下であった領域は全て差分値が０となる。つまり、角度補正値以下の輪郭成分の差分は０であるとみなされ、当該箇所には、強調処理がされない。

上述のように、本実施例で説明した画像処理装置によれば、複数の画像のうち、基準画像の輪郭成分と基準画像でない画像輪郭成分との差分に応じて、異なる強調処理が当該画像に施される。したがって、複数の画像間のフォーカスの差を直感的に視認しやすい画像を提供することが可能となる。

また、画像を取得する撮像装置の視線の成す角度に応じて、輪郭成分の差分を補正することにより、交差法等の方式で画像が取得された場合においてもフォーカスの差をより正確に認識することが可能となる。

なお、本実施例においては、画像処理装置１１００に画像を出力する装置が撮像装置である場合について説明したが、第１の実施例と同様に記憶された画像群から画像を出力する画像記憶部であってもよい。この場合、それぞれの画像群が取得された際の撮像装置の視線方向を画像記憶部が画像群とともに記憶し、視線角度取得部１１９０に出力することで、視線の成す角度に応じた補正が可能となる。

１０ 画像供給部
１１ 画像供給部
１００ 画像処理装置
１２０ 輪郭取得部
１３０ 画像位置補正部
１４０ 強調処理部
１５０ 合成部
１８０ 制御部
２００ 表示部

Claims (19)

1. 複数の入力画像それぞれの輪郭成分を取得する輪郭取得工程と、
   前記複数の入力画像のうちの基準画像の前記輪郭成分と、前記複数の入力画像のうち前記基準画像でない入力画像の前記輪郭成分との差分に応じて、前記複数の入力画像のうち少なくとも１つの入力画像に対して強調処理を施す第１の強調工程と
   を備えることを特徴とする画像処理装置の制御方法。
2. 前記基準画像のある領域と当該領域に対応する前記基準画像でない入力画像の領域との相対位置を取得する取得工程を備え、
   前記第１の強調工程は、前記取得工程が取得した前記相対位置を用いて、前記複数の入力画像のうち少なくとも１つの入力画像に対して強調処理を施すことを特徴とする請求項１に記載の画像処理装置の制御方法。
3. 前記強調処理は、前記輪郭成分の差分に応じて、当該入力画像に着色処理を施す処理であって、
   前記強調工程では、前記輪郭成分の差分が大きいほど、当該入力画像に対する着色の度合いを強くすることを特徴とする請求項１または請求項２に記載の画像処理装置の制御方法。
4. 前記第１の強調工程では、前記輪郭成分の差分に応じて、異なる輝度を用いて、当該入力画像に強調処理を施すことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置の制御方法。
5. 前記複数の入力画像を取得した撮像装置の視線方向を、前記複数の入力画像それぞれに対して取得する取得工程を備え、
   前記第１の強調工程では、前記取得工程で取得された前記基準画像を取得した際の前記視線方向および前記複数の入力画像のうち前記基準画像でない入力画像を取得した際の前記視線方向が形成する角度に応じて、前記差分を補正することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置の制御方法。
6. 前記補正は、前記差分に対して、前記角度に応じた補正値を減算することを特徴とする請求項５に記載の画像処理の制御方法。
7. 前記基準画像と、前記複数の入力画像のうち、前記第１の強調工程で強調処理を施された入力画像を少なくとも１つ用いて、表示画像を合成する合成工程を備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置の制御方法。
8. 前記合成工程では、前記基準画像と、前記第１の強調工程で強調処理を施された入力画像を含む前記複数の入力画像とを、水平方向もしくは垂直方向の少なくとも一方に並べて、前記表示画像を合成することを特徴とする請求項７に記載の画像処理装置の制御方法。
9. 前記合成工程では、前記基準画像と、前記第１の強調工程で強調処理を施された入力画像を含む前記複数の入力画像を、重畳して、前記表示画像を合成することを特徴とする請求項７に記載の画像処理装置の制御方法。
10. 前記複数の入力画像のうち、前記基準画像を選択する選択工程を備えることを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置の制御方法。
11. 前記複数の入力画像のうち、前記第１の強調工程で強調処理を施された入力画像でない入力画像に対して、当該入力画像から取得した輪郭成分を用いて強調処理を施す第２の強調工程を備えることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置の制御方法。
12. 前記第２の強調工程は、前記輪郭成分が所定の値以上である場合に、着色処理を施すことを特徴とする請求項１１に記載の画像処理装置の制御方法。
13. 前記複数の入力画像はそれぞれ、同一の被写体に対して焦点距離を変えられた画像を供給することが可能な画像供給手段から供給されることを特徴とする請求項１乃至請求項１１のいずれか１項に記載の画像処理装置の制御方法。
14. 前記画像供給手段は、撮像装置であることを特徴とする請求項１３に記載の画像処理装置の制御方法。
15. 前記画像供給手段は、同一の被写体に対して焦点距離を変更して取得された複数の画像を記憶し、前記複数の画像のうちいずれかを出力することが可能な記憶手段であることを特徴とする請求項１３に記載の画像処理装置の制御方法。
16. 前記複数の入力画像のうちの基準画像の前記輪郭成分と、前記複数の入力画像のうち前記基準画像でない入力画像の前記輪郭成分との差分が小さくなるように、前記画像供給手段を制御する制御工程を備えることを特徴とする請求項１３乃至請求項１５のいずれか１項に記載の画像処理装置の制御方法。
17. 前記第１の強調工程は、前記複数の画像のうち、前記基準画像でない入力画像に対して強調処理を施すことを特徴とする請求項１乃至請求項１６のいずれか１項に記載の画像処理装置の制御方法。
18. 請求項１乃至請求項１４のいずれか１項に記載の画像処理装置の制御方法の各工程をコンピュータ上で実行することが可能なプログラム。
19. 複数の入力画像それぞれの輪郭成分を取得する輪郭取得手段と、
    前記複数の入力画像のうち少なくとも１つの基準画像の前記輪郭成分と前記複数の入力画像のうち前記基準画像でない入力画像の前記輪郭成分との差分に基づいて、前記複数の入力画像のうち少なくとも１つの入力画像に対して強調処理を施す第１の強調手段と
    を備えることを特徴とする画像処理装置。

Images