JP2017212636A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】映像を切り出す範囲と不要像の位置の変化とに基づいて不要像の補正処理を制御する。【解決手段】画像処理装置１０４は、撮像により生成された第１の映像のうち切り出し範囲内の第２の映像を切り出す処理を行う。該装置は、第１の映像のうち切り出し範囲の位置を可変に設定する範囲設定手段２０３と、第１の映像において被写体像とは異なる不要像を検出する検出手段２０１と、第１の映像に対して不要像を除去または低減する不要像補正処理を行う補正手段２０２とを有する。補正手段は、切り出し範囲内において不要像が検出されない場合は不要像補正処理を行わず、切り出し範囲内において不要像が検出された場合に不要像補正処理を行う。【選択図】図２

Description

本発明は、デジタルカメラ等の撮像装置により取得された画像に対して画像処理を行う画像処理技術に関する。

全方位３６０度の視野空間を撮像することが可能な全方位カメラと呼ばれる撮像装置が用いられている。特許文献１には、半球状の視野画像（全方位画像）を視野内における任意のオリエンテーション（方向）および回転位置にて任意の倍率で歪みの少ない通常の遠近画像に変換する技術が開示されている。この技術によれば、機械的なパン／チルト機構を設けることなく半球状の視野空間内の任意の箇所の撮影映像（動画）を取得することができる。

また、撮影映像から一部画角の部分映像を切り出す際に撮像光学系に付着したゴミ等の異物の像（不要像）による画質低下を補正する技術がある。特許文献２には、異物の位置情報を部分映像の切り出し範囲に応じて変換し、変換後の位置情報を用いて切り出した部分映像を補正する技術が開示されている。

特表平６−５０１５８５号公報 特開２０１２−０４４５４２号公報

特許文献２に開示された技術では、異物の位置が変化せずに固定している前提で該異物により発生する不要像の検出および補正を行う。このため、例えばゴーストのように光源位置やカメラの動きに応じて発生位置が変化する不要像に対しては適切に補正を行えないおそれがある。

本発明は、映像を切り出す範囲と不要像の位置の変化とに基づいて不要像の補正処理を制御することで、処理負荷の増大を抑えながらも画質の低下を防止することができるようにした画像処理装置および撮像装置等を提供する。

本発明の一側面としての画像処理装置は、撮像により生成された第１の映像のうち切り出し範囲内の第２の映像を切り出す処理を行う。該画像処理装置は、第１の映像のうち切り出し範囲の位置を可変に設定する範囲設定手段と、第１の映像において被写体像とは異なる不要像を検出する検出手段と、第１の映像に対して不要像を除去または低減する不要像補正処理を行う補正手段とを有する。そして、補正手段は、切り出し範囲内において不要像が検出されない場合は不要像補正処理を行わず、切り出し範囲内において不要像が検出された場合に不要像補正処理を行うことを特徴とする。

なお、上記画像処理装置を有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、撮像により生成された第１の映像のうち切り出し範囲内の第２の映像を切り出す処理を行う。該画像処理方法は、第１の映像のうち切り出し範囲の位置を可変に設定し、第１の映像において被写体像とは異なる不要像を検出し、第１の映像に対して不要像を除去または低減する不要像補正処理を行う。そして、切り出し範囲内において不要像が検出されない場合は不要像補正処理を行わず、切り出し範囲内において不要像が検出された場合に不要像補正処理を行うことを特徴とする。

本発明によれば、位置が可変な切り出し範囲と不要像の位置の変化とに基づいて適応的に不要像補正処理を制御することができる。これにより、処理負荷の増大を抑えながら画質低下を防止することができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における画像処理部の構成を示すブロック図。 実施例１における画角決定部の構成を示すブロック図。 実施例１における画像処理を示すフローチャート。 実施例１における入力画像とそこからの画像切り出し範囲の例を示す図。 本発明の実施例２における画像処理を示すフローチャート。 実施例２における入力画像とそこからの画像切り出し範囲の例を示す図。 実施例２におけるゴースト補正制御処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

本発明の実施例１では、全方位カメラや魚眼カメラ等の撮像装置を用いた撮像により超広角な映像を生成し、該映像に対して各種補正処理や所定画角の切り出しを行う。本実施例では、撮像において撮像装置を三脚に取り付ける等して撮像画角を固定する場合について説明する。

図１には、実施例１である画像処理装置を備えた撮像装置の構成を示す。光学系１０１は、変倍レンズやフォーカスレンズ等を含むレンズ群と絞りとを備えている。光学系１０１は、撮像装置に一体に設けられていてもよいし、撮像装置の本体に対して交換可能であってもよい。光学系１０１は、被写体からの光を結像させて被写体像を形成するとともに、被写体像の倍率や明るさ（光量）を調整する。

撮像部１０２は、光学系１０１により形成された被写体像を光電変換（撮像）して電気信号としてのアナログ撮像信号を出力する撮像素子を有する。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力されたアナログ撮像信号をデジタル撮像信号に変換する。画像処理部１０４は、Ａ／Ｄ変換部１０３からのデジタル撮像信号に対して通常の画像処理を行うとともに後述する階調処理を行い、映像信号（以下、撮影映像という）を出力する。また、画像処理部１０４は、撮影映像のうち一部画角の部分映像を切り出してこれを出力する切り出し機能を有する。なお、画像処理部１０４は、Ａ／Ｄ変換部１０３からのデジタル撮像信号に対してのみでなく、後述する記録部１０７から読み出した撮影映像に対しても同様の画像処理を行うことができる。

露光量制御部１０５は、適正な明るさの撮影映像を得るための撮像時の露光量を算出し、該露光量を実現するために光学系１０１と撮像部１０２を制御して、絞りや撮像素子のゲインを制御する。

表示部１０６は、画像処理部１０４から出力された撮影映像をＬＣＤ等の表示素子に表示する。撮像を行いながら表示部１０６に撮影映像を表示することで、表示部１０６は電子ビューファインダ（ＥＶＦ）として機能する。

記録部１０７は、半導体メモリや光ディスク等の記録媒体に対する撮影映像の記録と読み出しを行う。

図２には、画像処理部１０４のうち上述した切り出し機能に関する部分の構成を示している。検出部（検出手段）２０１は、第１の映像としての撮影映像において、撮像時に光学系１０１に付着したゴミ等の異物により又はゴーストとして発生した不要像を検出する。なお、本実施例では、不要像としてゴーストを例として説明する。

補正部（補正手段）２０２は、検出部２０１で検出されたゴーストを撮影映像から除去または低減するゴースト補正処理（不要像補正処理）と、撮影映像における歪みを除去または低減する座標変換による歪み補正処理とを行う。

画角決定部（範囲設定手段）２０３は、撮影映像から第２の映像としての部分映像を切り出す画角範囲（以下、切り出し範囲という）を決定（設定）する。図３には、画角決定部２０３の構成を示している。指定範囲取得部（範囲指定手段）３０１は、例えばユーザ（撮影者）がタッチパネルを備えた表示部１０６上で任意の位置（座標）をタッチすることに応じて、撮影映像のうちタッチされた座標に基づく部分映像範囲としての指定映像範囲を取得する。通常は、指定映像範囲内には、ユーザが着目している被写体像（以下、単に被写体という）が存在する。

被写体追尾部（追尾手段）３０２は、指定範囲取得部３０１が取得した指定映像範囲内に存在する被写体の動きをテンプレートマッチング等の既存の動き検出技術を用いて検出し、その被写体に追従するように部分映像範囲を移動（変化）させる処理を行う。

座標算出部３０３は、指定座標取得部３０１が出力した指定映像範囲と被写体追尾部３０２が出力した部分映像範囲のいずれか一方を選択することで切り出し範囲を決定する。このように、切り出し範囲はユーザの指定により又は被写体の追尾に応じてその位置が可変である。

図２において、切り出し部２０４は、撮影映像（ただし、補正部２０２での補正処理を受けた補正撮影映像）のうち画角決定部２０３が決定した切り出し範囲の部分映像（実際には後述するフレーム画像からの切り出し画像）を切り出して出力する。

図４（Ａ），（Ｂ）のフローチャートには、撮影映像を構成する各フレーム画像に対する本実施例での画像処理（画像処理方法）の流れを示している。本画像処理は、コンピュータとしての画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って実行する。

図４（Ａ）のステップＳ４０１では、画像処理部１０４は、処理対象であるフレーム画像の全てに対して画像処理が完了したか否かを判定する。画像処理部１０４は、完了していなければステップＳ４０２に進む。

ステップＳ４０２では、画像処理部１０４は、撮像映像としての超広角映像のフレーム画像を１つずつ順次取得する。図５（Ａ）には画像処理部１０４が順次取得するフレーム画像５０１〜５０３の例を示す。図５（Ａ）（および後述する図５（Ｂ），（Ｃ））において、菱形は光学系１０１において発生する不要像としてのゴーストを表し、星形はユーザが着目する被写体を表している。この図から、着目被写体には動きがあり、フレーム画像ごとにその位置が変化しているのに対し、ゴーストは位置が変化していないことが分かる。これは、前述したように撮像画角を固定して撮像したことにより、不図示の光源と光学系１０１との位置関係に変化がないためである。

ステップＳ４０３では、画像処理部１０４は、切り出し範囲の座標を算出する処理を行う。この処理を図４（Ｂ）のフローチャートを用いて説明する。

ステップＳ４１１では、画像処理部１０４は、切り出し範囲を決定するための画像（切り出し座標決定用画像）を生成する。具体的には、フレーム画像に対して縮小処理を行って、表示部１０６に表示したり後述する所定の被写体を追尾するために使用されたりする画像を生成する。図５（Ｂ）の画像５１１は、図５（Ａ）のフレーム画像５０２に対して縮小処理を行うことにより生成される切り出し座標決定用画像を示している。

次にステップＳ４１２は、画像処理部１０４は、ステップＳ４１１で生成した切り出し座標決定用画像に対してその歪みが補正されるように、光学系１０１の光学情報に基づく座標変換としての歪み補正処理を行う。該歪み補正処理は、この後のステップＳ４１３で行う追尾処理においてテンプレートマッチングを行うために画像の歪みを補正しておく必要があるために行う処理である。つまり、被写体の追尾処理は、撮影映像（フレーム画像）から得られる映像（切り出し座標決定用画像）に対して歪み補正処理が行われることで生成された歪み補正映像（歪み補正画像）において行われる。図５（Ｂ）中の画像５１２は、歪み補正処理が行われることで生成された歪み補正画像を示している。

次にステップＳ４１３は、画像処理部１０４は、切り出し範囲の座標を算出する。まず画像処理部１０４は、着目被写体の位置を取得するための手段を、前述した指定範囲取得部３０１を介したユーザ指定と被写体追尾部３０２による被写体追尾のいずれかからユーザが選択することによって決定する。ユーザ指定が選択された場合は、画像処理部１０４は、前述したようにユーザがタッチした座標を中心とする矩形領域を切り出し範囲として、その４つの頂点の座標を算出する。以下の説明では、被写体追尾によって切り出し範囲を決定するものとする。

図５（Ｂ）に示した画像５１３において、点線で示した小さい矩形領域は、図５（Ａ）に示したフレーム画像５０１から生成した切り出し座標決定用画像（図示せず）から被写体追尾を行った結果として得られた被写体領域を示している。また、破線で示した大きい矩形領域は、被写体追尾の結果として得られた上記被写体領域を含む領域である。画像処理部１０４は、この大きい矩形領域をフレーム画像５０２からの切り出し範囲として決定する。なお、画像処理部１０４は、被写体追尾の結果として得られた上記被写体領域が中央に位置するように切り出し範囲を決定するようにしてもよい。

なお、ここまでで説明した切り出し範囲の決定方法は例に過ぎず、他の決定方法を用いてもよい。

以上で、画像処理部１０４は、ステップＳ４０３での切り出し範囲の座標の算出処理を完了し、図４（Ａ）に示すステップＳ４０４に進む。

ステップＳ４０４では、画像処理部１０４は、ステップＳ４０２で取得したフレーム画像に対してゴーストの検出を行い、ゴーストを検出した場合にその位置（座標）を算出する。ゴーストの検出方法については、特開２０１３−１７９５６４号公報にて開示されているように、互いに視差を有する複数の視差画像の位置合わせを行うことで得られる差分情報をゴースト（不要画像成分）として検出する手法を用いることができる。ここで、複数の視差画像の差分には不要画像成分と被写体の視差成分とが含まれているため、閾値処理やスムージング処理等によってそれらを分離することが望ましい。ただし、不要画像成分や被写体の形状によっては不要画像成分と被写体の視差成分とを完全に分離することが困難な場合があり、この場合はゴーストを誤検出するおそれがある。しかし、本実施例では、以下の処理によりゴーストの誤検出による処理負荷の増加や出力映像の画質劣化を抑える。

次にステップＳ４０５では、画像処理部１０４は、ステップＳ４０３で算出した切り出し範囲内にステップＳ４０４で検出されたゴーストの座標が含まれているか否かを判定する。すなわち、切り出し範囲内においてゴーストが検出されたか否かを判定する。切り出し範囲にゴーストが含まれている場合には画像処理部１０４はステップＳ４０６に進み、ゴーストが含まれていない場合にはステップＳ４０７に進む。このとき、ゴーストの座標は、前述した縮小処理や歪み補正処理がなされていないフレーム画像内での値である。このため、検出されたゴーストの座標を縮小処理での縮小率や歪み補正処理での座標変換に応じて変換し、その変換後のゴーストの座標と切り出し範囲との比較を行う。図５（Ｂ）に示す画像５１３では、破線で示す切り出し範囲内に菱形で表すゴーストが含まれない。このため、画像処理部１０４はステップＳ４０７に進む。

ステップＳ４０６では、画像処理部１０４は、ステップＳ４０４で検出したゴーストを補正（除去または低減）するゴースト補正処理を行う。これにより、ゴースト補正画像（つまりは不要像補正映像）が得られる。ゴースト補正処理は、前述した特開２０１３−１７９５６４号公報で開示されているように、２つのサブ画素により構成された画素ごとに不要画像成分が含まれていないサブ画素を選択して、該選択したサブ画素に対するゲイン調整をすることで行ってもよい。また、同公報に開示されているように、視差画像を合成した再構成画像から不要画像成分を差し引くことでゴースト補正処理を行ってもよい。

ここで、ゴーストの発生しやすさは、光学系１０１の焦点距離や絞り値等の撮像条件に応じて異なるが、本実施例では撮像条件だけでなく、超広角画像からの切り出し範囲とゴーストの発生位置の変化とに応じてゴースト補正処理を行うか否かを制御する。すなわち、ステップＳ４０５〜Ｓ４０６の処理を行う。これは、切り出し範囲内にゴーストが存在していない場合にはゴースト補正処理を行わないことで、無用な処理負荷の増加を抑え、さらにステップＳ４０４にて述べたような誤検出による処理負荷の増加や画質の劣化をできるだけ回避することができるためである。

ステップＳ４０７は、画像処理部１０４は、光学系１０１の光学情報に基づいて、ゴースト補正処理がなされたゴースト補正画像又はゴースト補正処理がなされなかったフレーム画像に対してその歪みを補正する歪み補正処理（座標変換）を行う。これにより、歪み補正画像（つまりは歪み補正映像）が得られる。

次にステップＳ４０８では、画像処理部１０４は、ステップＳ４０３で算出した切り出し範囲の座標に基づいて、ステップＳ４０７で得られた歪み補正画像から切り出し範囲内の部分画像（切り出し画像）の切り出し処理を行う。例として、図５（Ａ）に示したフレーム画像５０２に対してステップＳ４０３〜Ｓ４０８の処理を行った結果として得られる切り出し画像を、図５（Ｃ）に画像５２１として示す。この画像５２１は、フレーム画像５０２に対してゴーストおよび歪みが補正され、かつ着目被写体を含んだ画像である。また、ゴーストの誤検出および誤補正による劣化成分も含まない画像である。

ステップＳ４０８からステップＳ４０１に戻った画像処理部１０４は、全てのフレーム画像に対して処理が完了したと判定するとステップＳ４０９に進む。

ステップＳ４０９では、画像処理部１０４は、これまでの処理で順次生成される複数の切り出し画像をフレーム画像とする出力映像を生成し、これを表示部１０６に表示したり記録部１０７にて記録したりする。

本実施例によれば、撮像時に撮像画角が固定されている場合において、撮影映像において位置が可変な切り出し範囲と不要像の位置の変化とに基づいて適応的に不要像に対する補正処理を制御することができる。これにより、処理負荷の増大を抑えながら画質低下を防止することができる。

本発明の実施例２では、実施例１と同様に全方位カメラや魚眼カメラ等の撮像装置を用いた撮像により超広角な映像を生成し、該映像に対して各種補正処理や所定画角の切り出しを行う。ただし、本実施例では、撮像において撮像装置をパンニング等することで撮像画角が変化する場合について説明する。本実施例における撮像装置の構成は実施例１と同様であり、実施例１と共通する又は類似する構成要素には実施例１と同符号を付す。また、本実施例では、実施例１と同様の処理や公知の処理については詳細な説明を省略する。

図６のフローチャートには、撮影映像を構成する各フレーム画像に対する本実施例での画像処理（画像処理方法）の流れを示している。本画像処理も、コンピュータとしての画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ６０１〜Ｓ６０３の処理は、実施例１の図４（Ａ）に示したステップＳ４０１〜Ｓ４０３の処理と同様である。ステップＳ６０３で行われる切り出し範囲の座標を算出する処理は、実施例１において図４（Ｂ）に示した処理と同じである。図７（Ａ）には、画像処理部１０４が順次取得するフレーム画像７０１〜７０３の例を示す。図７（Ａ）（および後述する図７（Ｂ），（Ｃ））において、菱形は光学系１０１において発生する不要像としてのゴーストを表し、星形はユーザが着目する被写体を表している。また、丸形は光学系１０１に付着したゴミ等の異物の像（影）であり、不要像である。異物には、例えば撮像素子の直前に配置された光学ローパスフィルタに付着するゴミが含まれる。以下の説明において、異物の不要像をゴミという。

この図から、撮像装置のパンニングにより着目被写体とゴーストの位置はフレーム画像ごとに変化している一方、ゴミの位置は変化していない（撮影映像内において常に同じ位置に現れる）ことが分かる。

ステップＳ６０４では、画像処理部１０４は、ステップＳ６０２で取得した超広角映像のフレーム画像に対してゴーストとゴミの検出を行い、ゴーストおよびゴミのうち少なくとも一方を検出した場合にその位置（座標）を算出する。ゴーストの検出方法については実施例１にて説明した通りである。一方、ゴミの検出方法については、特許文献２にて開示されているような公知の方法を用いればよい。すなわち、ゴミ検出用に別途撮像により生成された画像からゴミの位置および大きさの情報を取得し、それらの情報を用いて検出対象であるフレーム画像においてゴミの検出を行えばよい。

次にステップＳ６０５では、画像処理部１０４は、ステップＳ６０３で算出した切り出し範囲内にステップＳ６０４で検出されたゴミの座標が含まれているか否かを判定する。ゴミが含まれている場合には画像処理部１０４はステップＳ６０６に進み、ゴミが含まれていない場合にはステップＳ６０７に進む。

ステップＳ６０６では、画像処理部１０４は、ステップＳ６０４で検出したゴミを補正（除去または低減）するゴミ補正処理を行う。これにより、ゴミ補正画像（不要像補正画像）が得られる。ゴミ補正処理は、例えば特開２００７−１８９４６７号公報にて開示されているような補間処理等の公知の方法を用いることができる。ステップＳ６０５〜Ｓ６０６において、切り出し範囲内にゴミが含まれる場合にのみゴミ補正処理が行われるため、処理負荷の無用な増加を抑えることができる。

ステップＳ６０７では、画像処理部１０４は、ゴースト補正処理を制御する処理（ゴースト補正制御処理）を行う。図８のフローチャートには、ゴースト補正制御処理の流れを示している。

ステップＳ６３１は、画像処理部１０４は、ステップＳ６０３で算出した切り出し範囲（の座標）の変化履歴の情報、すなわち切り出し範囲がどのように変化したかの情報を取得する。図７（Ｂ）に示す画像７１１は、切り出し範囲の変化履歴の例を示している。画像７１１においてそれぞれ点線で示す矩形領域は、順次取得されるフレーム画像のそれぞれでの切り出し範囲を示す。この例は、撮像中に着目被写体が撮像装置に対して左から右へ移動し、それをパンニングにより追尾した結果、切り出し範囲が矢印で示すように変化したことを示している。なお、図７（Ｂ）においては着目被写体、ゴーストおよびゴミの図示は省略している。

次にステップＳ６３２では、画像処理部１０４は、ステップＳ６０４で検出したゴーストの座標の変化履歴の情報、すなわちゴーストの座標がどのように変化したかの情報を取得する。図７（Ｃ）に示す画像７２１は、ゴーストの座標の変化履歴の例を示している。画像７２１において最も左側の点線の菱形が最初のフレーム画像上でのゴーストの座標を示し、それよりも右側の点線および最も右側の実線の菱形がその後に順次取得されるフレーム画像のそれぞれでのゴーストの座標を示す。この例は、撮像中に撮像装置をパンニングしたために、不図示の光源と光学系１０１との位置関係の変化に応じてゴーストの座標が変化したことを示している。なお、図７（Ｃ）においては着目被写体およびゴミの図示は省略している。

次にステップＳ６３３では、画像処理部１０４は、ステップＳ６３１で算出した切り出し範囲にステップＳ６３２で算出したゴーストの座標が含まれているか否かを判定する。全ての切り出し範囲にゴーストの座標が含まれていない場合には、画像処理部１０４はステップＳ６３７に進み、ゴーストの補正を行わない。一方、ゴーストの座標が含まれている切り出し範囲がある場合には、画像処理部１０４はステップＳ６３４に進む。

ステップＳ６３４では、画像処理部１０４は、ステップＳ６３１およびＳ６３２で取得した２つの変化履歴情報を比較してそれらの差分を算出する。具体的には、以下の式（１）により変動ベクトルの差分絶対値和Dif_Vを算出する。

ここで、Vt[i][x]はｉ番目のフレーム画像に対する切り出し範囲の位置（座標）の変化の水平成分を示し、Vt[i][y]はその垂直成分を示す。また、Vg[i][x]はｉ番目のフレーム画像に対するゴーストの位置（座標）の変化の水平成分を示し、Vg[i][y]はその垂直成分を示す。Ｎは撮像により取得したフレーム画像の総数を示す。Dif_Vは、切り出し範囲の位置の変化に対するゴーストの位置の変化の大きさを示す評価値に相当する。

次にステップＳ６３５では、画像処理部１０４は、ステップＳ６３４で算出したDif_Vが所定値以下か否か、すなわち位置が変化していく切り出し範囲に対するゴーストの位置の変化が小さいか否かを判定する。Dif_Vが所定値以下であれば（所定値より小さければ）、画像処理部１０４はステップＳ６３７に進み、ゴースト補正処理を行わないと決定する。一方、Dif_Vが所定値よりも大きければ、すなわち位置が変化していく切り出し範囲に対してゴーストの位置の変化が大きい場合は、画像処理部１０４はステップＳ６３６に進み、ゴースト補正処理を行うと決定する。

以上で、ステップＳ６０７におけるゴースト補正制御処理を完了し、画像処理部１０４は図６のステップＳ６０８に進む。

ステップＳ６０８では、画像処理部１０４は、処理対象であるフレーム画像の全てに対して画像処理が完了したか否かを判定する。画像処理部１０４は、完了していなければステップＳ６０９に進む。

ステップＳ６０９では、画像処理部１０４は、ステップＳ６０７で行ったゴースト補正制御処理の結果においてゴースト補正処理を行うと決定されたときにのみ、実施例１におけるステップＳ４０６と同様にゴースト補正処理を行う。

これは、位置が変化していく切り出し範囲に対するゴーストの位置の変化が小さい場合には、ゴースト補正処理を行わなくてもゴーストを含んだ出力映像が不自然に見えることはないためである。また、実施例１で説明したゴーストの誤検出による画質劣化や処理負荷の増加を防止することもできるためである。一方、位置が変化していく切り出し範囲に対してゴーストの位置の変化が大きい場合には、ゴーストの見え方（動き）が不自然となるため、ゴースト補正処理を行う必要がある。

なお、本実施例では、Dif_Vが所定値より大きいか否かでゴースト補正処理を行うか行わないかを単純に切り替える場合について説明したが、Dif_Vの値の大きさに応じてゴースト補正処理の強度を徐々に増減させるようにしてもよい。例えば、Dif_Vの値が大きいほど、実施例１のステップＳ４０６で説明したように視差画像を合成した画像から差し引く不要画像成分に大きなゲインをかけることで、ゴースト補正処理の強度を強くしてもよい。これにより、撮影映像に対するゴースト補正処理の有無の敏感度を抑えることができる。

ステップＳ６１０〜Ｓ６１２の処理は、実施例１におけるＳ４０７〜Ｓ４０９と同じである。

本実施例によれば、撮像時に撮像画角が変化する場合においても、撮影映像において位置が可変な切り出し範囲と不要像の位置の変化とに基づいて適応的に不要像に対する補正処理を制御することができる。これにより、処理負荷の増大を抑えながら画質低下を防止することができる。

なお、上記各実施例では、超広角映像から部分映像を切り出して歪み補正処理を行う場合に不要像を除去または低減する補正処理を行う場合ついて説明した。しかし、超広角映像ではない広角映像等の通常画角映像から部分映像を切り出して歪み補正処理を行わない場合でも、各実施例で説明した補正処理を行うことが可能である。

また、上記各実施例では、撮像装置に画像処理部１０４として内蔵された画像処理装置について説明したが、撮像装置とは別のパーソナルコンピュータ等により画像処理装置を構成してもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０２ 撮像部
１０４ 画像処理部
２０１ 検出部
２０２ 補正部
２０３ 画角決定部

Claims (11)

1. 撮像により生成された第１の映像のうち切り出し範囲内の第２の映像を切り出す処理を行う画像処理装置であって、
   前記第１の映像のうち前記切り出し範囲の位置を可変に設定する範囲設定手段と、
   前記第１の映像において被写体像とは異なる不要像を検出する検出手段と、
   前記第１の映像に対して前記不要像を除去または低減する不要像補正処理を行う補正手段とを有し、
   前記補正手段は、前記切り出し範囲内において前記不要像が検出されない場合は前記不要像補正処理を行わず、前記切り出し範囲内において前記不要像が検出された場合に前記不要像補正処理を行うことを特徴とする画像処理装置。
2. 前記範囲設定手段は、ユーザ指定に応じて前記切り出し範囲の位置を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記範囲設定手段は、前記第１の映像における前記被写体像の動きを検出し、該被写体像を追尾するように前記切り出し範囲の位置を変化させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記切り出し範囲内において前記不要像が検出された場合において、
   前記切り出し範囲の位置の変化に対する前記不要像の位置の変化の大きさを示す評価値に応じて前記不要像補正処理を行うか否かを制御することを特徴とする請求項１から３に記載のいずれか一項に記載の画像処理装置。
5. 前記所定値は、前記切り出し範囲の位置の変化に対する前記不要像の位置の変化の大きさが小さいほど小さな値となり、
   前記補正手段は、前記評価値が所定値より小さいときは前記不要像補正処理を行わず、前記評価値が前記所定値より大きいときは前記不要像補正処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記不要像は、撮像において用いられる光学系にて発生するゴーストおよび前記光学系に付着した異物の像のうち少なくとも一方であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記範囲設定手段は、前記第１の映像から得られる映像であって、歪みを除去または低減する歪み補正処理を行うことで得られた歪み補正映像において前記被写体像を追尾することを特徴とする請求項３に記載の画像処理装置。
8. 前記補正手段は、前記不要像補正処理を行うことで得られた不要像補正映像に対して、歪みを除去または低減する歪み補正処理を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記不要像補正処理および歪みを除去または低減する歪み補正処理を行うことで得られた補正映像から前記部分映像を切り出すことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 被写体を撮像する撮像部と、
    請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. 撮像により生成された第１の映像のうち切り出し範囲内の第２の映像を切り出す処理を行う画像処理方法であって、
    前記第１の映像のうち前記切り出し範囲の位置を可変に設定し、
    前記第１の映像において被写体像とは異なる不要像を検出し、
    前記第１の映像に対して前記不要像を除去または低減する不要像補正処理を行い、
    前記切り出し範囲内において前記不要像が検出されない場合は前記不要像補正処理を行わず、前記切り出し範囲内において前記不要像が検出された場合に前記不要像補正処理を行うことを特徴とする画像処理方法。