JP2017117143A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 所定の被写体の撮影画像内に生じる歪曲収差をその被写体の状況に応じて適切に制御できるようにする。【解決手段】 顔の頬骨の位置を検出し（ステップＢ１）、その頬骨の位置がセンターラインよりも上側に位置し、その顔が上半分領域に多く占められている場合には（ステップＢ２でＮＯ）、糸巻き型の歪曲収差の補正処理を実行しない。頬骨の位置がセンターラインよりも下側に位置し、その顔が上半分領域に多く占められている場合には（ステップＢ２でＹＥＳ）、糸巻き型の歪曲収差の補正処理を実行する（ステップＢ６）。【選択図】 図４

Description

本発明は、撮影画像内に生じる歪曲収差の補正を制御する画像処理装置、画像処理方法及びプログラムに関する。

一般に、デジタルカメラにおいては、光学ズーム（ズームレンズ）の倍率を広角側から望遠側に変化させると、その撮像素子により得られた矩形の撮影画像の中央部と周辺部との歪の度合いの違いから画像全体が外側に向かって引き伸ばされるような歪曲収差が生じるため、その歪曲収差を補正するようにしている。この場合、レンズ自体で歪曲を補正せず、光学系では収差を残したままにしておき、撮像された画像に対して画像処理を施すことによってその歪曲収差を補正する画像処理技術が知られている（特許文献１参照）。

特開２００３−１１０８４７号公報

しかしながら、上述した特許文献の技術のように撮像された画像を画像処理して、糸巻き型の歪曲収差を一律に補正してしまうことは、被写体の状況によっては必ずしも適切であるとはいえない場合があった。

本発明の課題は、所定の被写体の撮影画像内に生じる歪曲収差をその被写体の状況に応じて適切に制御できるようにすることである。

上述した課題を解決するために本発明は、
被写体を撮影した画像を取得する取得手段と、
前記取得手段によって取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する判定手段と、
前記取得手段によって取得された画像に対して歪曲収差を補正する補正手段と、
前記判定手段の判定結果に基づいて前記補正手段による歪曲収差の補正を制御する制御手段と、
を備えることを特徴とする画像処理装置である。

本発明によれば、所定の被写体の撮影画像内に生じる歪曲収差をその被写体の状況に応じて適切に制御することができる。

画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 （１）、（２）は、撮像部６においてその撮像素子６Ｅに結像された画像内に生じる糸巻き型の歪曲収差を説明するための図。 撮影モードに切り替えられた際に実行開始する動作（本実施形態の特徴的な動作）を説明するためのフローチャート。 糸巻き型の歪曲収差の補正を制御する処理（図３のステップＡ８）を詳述するためのフローチャート。 （１）、（２）は、被写体（人物の顔）がライブビュー画像の上半分領域に多く占められている場合に糸巻き型歪曲収差の補正の制御を説明するための図。 （１）、（２）は、被写体（人物の顔）がライブビュー画像の下半分領域に多く占められている場合に糸巻き型歪曲収差の補正の制御を説明するための図。 第２実施形態において、第２実施形態において、複数の被写体（人物の顔）がライブビュー画像の上半分領域及び下半分領域に存在している場合に糸巻き型歪曲収差の補正の制御を説明するための図。 第２実施形態において、糸巻き型歪曲収差の補正を制御する処理（図３のステップＡ８）を詳述するためのフローチャート。 実施形態の変形例において、（１）、（２）は、ライブビュー画像の下半分領域に多く占められている場合に樽型歪曲収差の補正の制御を説明するための図。 実施形態の変形例において、（１）、（２）は、ライブビュー画像の上半分領域に多く占められている場合に樽型歪曲収差の補正の制御を説明するための図。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
まず、図１〜図６を参照して本発明の第１実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
画像処理装置（デジタルカメラ）は、基本的な撮像機能、計時機能などを備え、静止画像の他に動画像の撮影も可能なカメラである。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３Ａ、このカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ３Ｂなどを有している。なお、記憶部３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部４は、図示省略したが、撮影が可能な動作モード（撮影モード）と、撮影済み画像（保存画像）を再生する動作モード（再生モード）とを切り替えるモード変更ボタンと、撮影開始を指示するレリーズボタン（２段押し型のボタン）、露出やシャッタスピードなどの撮影条件を設定するボタンなど、各種のキーを備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理として、例えば、モード変更処理、撮影処理、撮影条件設定処理などを行う。表示部５は、高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、縦横比の異なる表示画面を有し、ライブビュー画像をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像）を含めた広義の画像を意味している。

撮像部６は、被写体を高精細に撮影可能なカメラ部を構成するもので、レンズユニット６Ａは、ズームレンズ６Ｂ、フォーカスレンズ（合焦レンズ）６Ｃ、絞り・シャッタ６Ｄ、撮像素子（ＣＣＤあるいはＣＭＯＳ）６Ｅを有している。撮像部６は、制御部１からの制御信号に応じてズームレンズ６Ｂ、フォーカスレンズ６Ｃ、絞り・シャッタ６Ｄを駆動することによりズーム調整、自動焦点調整（ＡＦ）、自動露出調整（ＡＥ）を制御する。このズームレンズ６Ｂ、フォーカスレンズ６Ｃの光学系を介して被写体の画像が撮像素子６Ｅに結像されると、光電変換されて読み出された画像信号（アナログ値の信号）は、デジタル値のデータに変換されて所定の画像処理が施された後、表示部５にライブビュー画像としてリアルタイムにモニタ表示される。

制御部１は、レリーズボタンの操作による撮影指示に応じて撮像素子から取得した画像に対して現像処理及び画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる。姿勢検出部７は、例えば、加速度センサによって構成されたもので、重力方向に対する自カメラの姿勢として、例えば、カメラを横向きにして撮影するか縦向きにして撮影するかなどのカメラの姿勢を検出する。制御部１は、姿勢検出部７によって検出されたカメラ姿勢に応じて表示部５の画面に横構図の画像又は縦構図の画像を表示させる。

図２は、撮像部６においてその撮像素子６Ｅに結像された画像内に生じる糸巻き型の歪曲収差を説明するための図である。
ズームレンズ６Ｂの倍率を広角側から望遠側に変化させると、その撮像素子６Ｅから取得した矩形の画像の中央部と周辺部とでは歪の度合いが異なるために画像全体が外側に向かって引き伸ばされたような糸巻き型の歪曲収差が生じる。図２（１）は、この糸巻き型の歪曲収差を概念的に示した図である。図２（２）は、この糸巻き型の歪曲収差の影響を受けて円形（略真円）の被写体が斜め方向に歪むことを示した図で、画像の隅部に位置している円形の被写体が斜め方向に伸びてしまうことを示している。なお、図示の例は、画像の隅部（例えば、右上隅部）に位置している円形の被写体が、図中、幅広の矢印方向（右上方向）に所定量（約１．５％）に伸びることを示している。

このような糸巻き型歪曲収差を補正する場合に、本実施形態においては、レンズ自体でその歪曲を補正せず、光学系では収差を残したままにしておき、撮像された画像をデジタル処理（例えば、座標変換処理）して収差を補正するようにしている。なお、このような補正処理は、例えば、デジタルズームを行って画像全体の大きさを変えながら歪曲を補正するものであり、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

このように糸巻き型歪曲収差を補正する本実施形態の特徴は、撮像素子６Ｅから取得した矩形の画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に被写体（人物の顔）が多く占められているかを判定し、その判定結果に基づいて糸巻き型歪曲収差の補正を制御する、つまり、糸巻き型歪曲収差の補正機能のオン／オフを制御したり、その補正の強度を制御したりするようにした点である。なお、画像の上部領域と下部領域とは、ライブビュー画像が表示される表示部５のモニタ画面において、その画面の向きに応じて変化する画面の上部領域と下部領域に相応する画像部分を意味している。

次に、第１実施形態における画像処理装置（デジタルカメラ）の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図３は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図３は、撮影モードに切り替えられた際に実行開始する動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、制御部１は、撮像部６においてその光学系を介して撮像素子６Ｅに結像された画像を取得しながら表示部５のモニタ画面（ライブビュー画面）にライブビュー画像として表示させる動作を開始する（ステップＡ１）。そして、レリーズボタンが半押し操作（１段押し込み操作）されるまで待機状態となる（ステップＡ２）。ここて、半押し操作が行われると（ステップＡ２でＹＥＳ）、自動焦点調整（ＡＦ）及び自動露出調整（ＡＥ）処理を開始する（ステップＡ３）。

そして、制御部１は、撮像素子６Ｅから取得した画像を解析しながらその画像内に含まれている人物の顔を検出する（ステップＡ４）。この顔検出処理は、顔パーツを検出したり、肌色を検出するなど、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。この顔検出処理の結果、画像内に人物の顔が写っていない場合、又は写っていてもその顔が小さすぎる場合（所定サイズ以下の場合）には（ステップＡ５でＮＯ）、ステップＡ９に移り、レリーズボタンが全押し操作されたか、つまり、撮影指示を受けたかを調べる。

ここで、レリーズボタンが全押し操作されなければ（ステップＡ９でＮＯ）、上述の顔検出処理（ステップＡ４）に戻るが、レリーズボタンが全押し操作された場合には（ステップＡ９でＹＥＳ）、撮像素子６Ｅから取得した画像に対して現像処理、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＡ１０）。ここで、撮影モードが解除されて再生モードへの切り替が指示された場合には（ステップＡ１１でＹＥＳ）、図３のフローから抜けるが、撮影モードのままであれば（ステップＡ１１でＮＯ）、上述のステップＡ２に戻り、レリーズボタンが再度半押し操作されるまで待ち状態となる。

いま、上述の顔検出処理（ステップＡ４）によって人物の顔が検出されると（ステップＡ５でＹＥＳ）、次のステップＡ６に移り、姿勢検出部７から現在のカメラの姿勢を取得し、そのカメラ姿勢に応じてライブビュー画面にセンターライン（仮想線）を設定する（ステップＡ７）。すなわち、カメラが横向きか、縦向きかに応じて表示部５に横構図又は縦構図のライブビュー画面を表示させると共に、そのライブビュー画像の全体をその上下方向に二等分して上部領域（上半分領域）と下部領域（下半分領域）に分けるためのセンターライン（仮想線）をライブビュー画面上に設定する。

図５及び図６は、カメラの向きが横向きの場合に横構図のライブビュー画面を例示した図である。この横構図のライブビュー画面内に設定したセンターラインＣＬの設定によってライブビュー画像の全体は、上半分領域と下半分領域に論理的に分けられる。なお、カメラの向きが縦向きの場合には、縦構図のライブビュー画面となるが、この場合においても、ライブビュー画面内に設定したセンターラインＣＬの設定によってライブビュー画像の全体は、上半分領域と下半分領域に論理的に分けられる。このようにライブビュー画面上にセンターライン（仮想線）ＣＬを設定した状態において、糸巻き型の歪曲収差の補正を制御する処理（ステップＡ８）に移る。その後、上述のステップＡ９に移り、レリーズボタンが全押し操作されたか（撮影指示を受けたか）を調べる。

図４は、糸巻き型歪曲収差の補正を制御する処理（図３のステップＡ８）を詳述するためのフローチャートである。
まず、制御部１は、上述の顔検出処理によって検出された顔部分の領域を更に解析することによって頬骨の位置を顔の上下方向の中心位置として検出する（ステップＢ１）。この場合、画像内に人物の顔が斜めに写っていると、左右の頬骨の位置（上下方向の位置）が異なってしまうため、本実施形態では左右の頬骨の位置を検出し、それらを結ぶ線の中点（鼻上の位置）を頬骨の位置（顔の上下方向の中心位置）として検出するようにしている。これによって頬骨の位置は、顔の傾きに拘わらず、顔の上下方向の中心位置として特定することができる。

このように頬骨の位置（顔の上下方向の中心位置）を特定すると、この頬骨の位置に基づいてライブビュー画像の上半分領域、下半分領域のいずれに被写体（人物の顔）が多く占められているか否かを判定する。すなわち、頬骨の位置は、ライブビュー画面上に設定したセンターラインＣＬよりも下側に位置しているか否かを調べる（ステップＢ２）。ここで、図５（１）は、頬骨の位置がセンターラインＣＬよりも上側に位置している場合、つまり、被写体（人物の顔）がライブビュー画像の上半分領域に多く占められている場合を示している。

このように頬骨の位置がセンターラインＣＬよりも上側に位置していれば（ステップＢ２でＮＯ）、糸巻き型の歪曲収差の補正処理を実行せずに、そのまま図４のフローから抜ける。なお、図５（１）は、人物の顔がライブビュー画像の上半分領域に多く占められている場合に、糸巻き型歪曲収差の補正処理を実行（補正機能をオン）したものと仮定した時のライブビュー画像を示している。この場合、歪曲収差の補正処理によって人物の頭部（髪部分）がその斜め方向（右上方向）に伸びないように補正されるため、頭部（髪部分）のボリューム感が薄くなり、その結果、相対的に顔部分が大きく見え、顔全体として下膨れしたような印象を与えてしまう。

これに対して本実施形態では、頬骨の位置がセンターラインＣＬよりも上側に位置している場合（ステップＢ２でＮＯ）、つまり、被写体（人物の顔）がライブビュー画像の上半分領域に多く占められている場合には、糸巻き型の歪曲収差の補正処理を抑制するため（実行しないため）、そのライブビュー画像は、図５（２）に示すようになる。すなわち、図５（２）は、糸巻き型歪曲収差の補正処理を実行しない場合（補正機能をオフした場合）のライブビュー画像を示し、図５（１）とは逆に、糸巻き型歪曲収差によって、人物の頭部（髪部分）がその斜め方向（右上方向）に伸びるために、頭部（髪部分）のボリューム感が厚くなり、その結果、相対的に顔の部分が小さく見え、顔全体として小顔となったような印象を与えることができる。なお、頬骨の位置がセンターラインＣＬの略上であれば、上述のステップＢ２でＮＯと判断されるため、糸巻き型歪曲収差の補正処理を抑制（禁止）するようにしている。

一方、検出した頬骨の位置がセンターラインＣＬよりも下側に位置している場合（ステップＢ２でＹＥＳ）、つまり、人物の顔がライブビュー画像の下半分領域に多く占められている場合には、糸巻き型歪曲収差の補正対象として、その時のライブビュー画像を取得する（ステップＢ３）。そして、検出した頬骨の位置とセンターラインＣＬとの距離を算出して（ステップＢ４）、その距離は所定の閾値以上であるかを調べる（ステップＢ５）。すなわち、糸巻き型歪曲収差は、画像の中央部よりも周辺部の方が大きく歪むために、本実施形態では、画像内の顔の位置に応じてその歪曲収差の補正の度合いを調整するために、検出した頬骨の位置とセンターラインＣＬとの距離は所定の閾値以上であるかを調べる。

いま、頬骨の位置とセンターラインＣＬとの距離が所定の閾値以上であれば（ステップＢ５でＹＥＳ）、人物の顔が画像の周辺部側に寄っているものと判断して、糸巻き型歪曲収差の補正処理を通常の強度で実行するが（ステップＢ６）、頬骨の位置とセンターラインＣＬとの距離が所定の閾値未満であれば（ステップＢ５でＮＯ）、被写体（人物の顔）が画像の中央部側に寄っているものと判断して、糸巻き型歪曲収差の補正処理を通常の１／２強度で実行する（ステップＢ７）。

図６（１）は、頬骨の位置がセンターラインＣＬよりも下側に位置している場合、つまり、人物の顔がライブビュー画像の下半分領域に多く占められている場合において、糸巻き型歪曲収差の補正処理を実行しない（補正機能をオフ）したものと仮定した時のライブビュー画像を示している。この場合、糸巻き型歪曲収差によって、人物の頭部（頬の部分）がその斜め方向（右下方向）に伸びるために、顔部分が大きく見え、その結果、顔全体として下膨れしたような印象を与えてしまう。

これに対して本実施形態では、頬骨の位置がセンターラインＣＬよりも下側に位置している場合（ステップＢ２でＹＥＳ）、つまり、人物の顔がライブビュー画像の下半分領域に多く占められている場合には、糸巻き型歪曲収差の補正処理を実行（補正機能をオン）する。図６（２）は、糸巻き型歪曲収差の補正処理を実行した場合（補正機能をオンした場合）のライブビュー画像を示している。この補正処理によって人物の顔がその斜め方向（右下方向）に伸びないように歪補正されるため、顔全体が引き締まり、その結果、相対的に小顔となったような印象を与えることができる。

以上のように、第１実施形態において制御部１は、撮像素子６Ｅから取得し、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定し、その判定結果に基づいて糸巻き型歪曲収差の補正を制御するようにしたので、被写体を撮影した画像内に生じる糸巻き型の歪曲収差をその被写体の状況に応じて適切に制御することが可能となる。

制御部１は、人物の顔を撮影した人物画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に人物の顔が多く占められているかを判定するようにしたので、人物の顔が写っている位置に応じて糸巻き型歪曲収差の補正を制御することができる。

制御部１は、上部領域の方が下部領域よりも人物の顔が多く占められていると判定した場合に糸巻き型歪曲収差の補正を抑制するように制御するようにしたので、人物の頭部（髪部分）がその斜め方向に伸びて頭部（髪部分）のボリューム感が厚くなり、相対的に顔の部分が小さく見え、顔全体として小顔の印象を与えることができるようらなる。

制御部１は、下部領域の方が上部領域よりも人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を実行するようにしたので、人物の顔がその斜め方向に伸びないような歪補正によって顔全体が引き締まって相対的に小顔の印象を与えることができる。

制御部１は、下部領域の方が上部領域よりも人物の顔が多く占められていると判定した場合に、その多さが所定量未満であれば、糸巻き型歪曲収差の補正の強度を下げてその歪み補正を実行するようにしたので、人物の顔の位置に応じてその歪曲収差の補正の度合いを調整することができる。

制御部１は、人物画像の上半分領域と下半分領域を分けるセンターラインを基準として顔の頬骨がセンターラインより上か下かに基づいて、上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定するようにしたので、その判定が容易、かつ確実なものとなる。

なお、上述した第１実施形態においては、糸巻き型歪曲収差の補正を制御する場合に、撮影画像（人物画像）の全体に対する補正を制御するようにしたが、人物の顔を含む頭部領域に対してのみその補正を抑制するようにしてもよい。これによって例えば、人物の顔の部分又は背景部分だけその補正を抑制するなど、人物の顔の部分とそれ以外の背景部分とに分けて歪曲収差の補正を制御することができる。

上述した第１実施形態においては、上部領域の方が下部領域よりも人物の顔が多く占められていると判定した場合に糸巻き型歪曲収差の補正を抑制するように制御するようにしたが、その多さが所定量以上であれば、歪曲収差の補正の強度を下げてその補正を実行させるように制御するようにしてもよい。これによってその歪曲収差の補正の度合いを人物の顔の位置に応じて調整することができる。

（第２実施形態）
以下、この発明の第２実施形態について図７及び図８を参照して説明する。
なお、上述した第１実施形態においては、被写体としての人物が１人の場合を例示したが、この第２実施形態においては、複数の人物、つまり、２人の場合において、糸巻き型歪曲収差の補正を制御するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図７は、第２実施形態において、複数の被写体（人物の顔）がライブビュー画像の上半分領域及び下半分領域に存在している場合に糸巻き型歪曲収差の補正の制御を説明するための図である。
第２実施形態において制御部１は、撮像素子６Ｅから取得した撮影画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に人物の顔が多く占められているかを判定する際に、その撮影画像（人物画像）に複数の人物が含まれている場合には、その複数の人物の顔が上部領域と下部領域のいずれの領域内に多く占められているかを判定し、上部領域の方が下部領域よりも複数の人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を抑制し、下部領域の方が上部領域より複数の人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を実行するようにしている。

図７（１）は、複数の人物（２人）を撮影した人物画像において、下部領域の方が上部領域よりも２人の顔が多く占められている場合を例示した場合を示している。この場合、制御部１は、各人物の頬骨の位置がセンターラインＣＬよりも下側に位置しているので、下部領域の方が上部領域よりも２人の顔が多く占めていると判定して、その人物画像に対して糸巻き型歪曲収差の補正を実行する。その結果、各人物の顔全体が引き締まって相対的に小顔となったような印象を与える画像を得ることができる。

図７（２）は、複数の人物（２人）を撮影した人物画像において、その一方の人物の顔が上部領域の方が下部領域よりも多く占められ、他方の顔が下部領域の方が上部領域よりも多く占められている場合を示している。制御部１は、図７（２）に示すように、一方の人物の顔（図中、右側の顔）が上部領域に多く占められていると判定し、他方の人物の顔（図中、左側の顔）が下部領域に多く占められていると判定すると、糸巻き型歪曲収差の補正を抑制するようにしている。

図８は、第２実施形態において、糸巻き型歪曲収差の補正を制御する処理（図３のステップＡ８）を詳述するためのフローチャートである。
まず、制御部１は、センターラインＣＬよりも上側の上半分領域内に占める複数の人物の顔を検出する（ステップＣ１）。すなわち、人物毎にその頬骨の位置がセンターラインＣＬよりも上側に位置しているかを検出することによって上半分領域内に占められている人物の顔（人数）を検出する。同様に、センターラインＣＬよりも下側の下半分領域内に占める複数の人物の顔を検出する（ステップＣ２）。すなわち、人物毎にその頬骨の位置がセンターラインＣＬよりも下側に位置しているかを検出することによって下半分領域内に占められている人物の顔（人数）を検出する。

そして、上半分領域内の人物の顔（人数）と下半分領域内の人物の顔（人数）とを比較し、下半分領域内に占められている人物の顔の方が多いかを判別する（ステップＣ３）。図７（１）の例では、上半分領域内の人物は０人、下半分領域内の人物は２人であるから、下半分領域内に占められている人物の顔の方が多いので（ステップＣ３でＹＥＳ）、その時のライブビュー画像を取得し（ステップＣ４）、このライブビュー画像の全体に対して糸巻き型歪曲収差の補正を行う（ステップＣ５）。その後、図８のフローから抜ける。この補正処理によって各人物の顔がその斜め方向に伸びないように歪補正されるため、顔全体が引き締まり、その結果、相対的に小顔となったような印象を与えることができる。

一方、上半分領域内に占められている人物の顔の方が多い場合には（ステップＣ３でＮＯ）、糸巻き型歪曲収差の補正を実行せずに、図８のフローからそのまま抜ける。また、図７（２）に示すように、上半分領域内の人物の顔（人数）と下半分領域内の人物の顔（人数）とを比較した結果、両者が等しい場合にも（ステップＣ３でＮＯ）、糸巻き型歪曲収差の補正を実行せずに、図８のフローからそのまま抜ける。

以上のように、第２実施形態において制御部１は、人物画像に複数の人物が含まれている場合に、その複数の人物の顔が上部領域と下部領域のいずれの領域内に多く占められているかを判定し、上部領域の方が下部領域よりも複数の人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を抑制し、下部領域の方が上部領域より複数の人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を実行させるように制御するようにしたので、複数の人物が含まれている人物画像であっても対応することが可能となる。

制御部１は、人物画像に複数の人物が含まれている場合に、上部領域の方が下部領域よりも一方の顔が多く占められ、かつ、下部領域の方が上部領域よりも他方の顔が多く占められていれば、糸巻き型歪曲収差の補正を抑制するようにしたので、人物画像全体のバランスを考慮することができる。

なお、上述した第２実施形態においては、上部領域の方が下部領域よりも複数の人物の一方の顔が多く占められ、かつ、下部領域の方が上部領域よりも他方の顔が多く占められていれば、糸巻き型歪曲収差の補正を抑制するようにしたが、その補正を抑制するか否かをユーザ操作によって選択可能とし、その選択結果に基づいて歪曲収差の補正を制御するようにすれば、ユーザの意向を考慮することができる。

上述した第２実施形態においては、糸巻き型歪曲収差の補正を制御する方法として、その補正を抑制（禁止）するか実行するかを選択するようにしたが、第１実施形態と同様にその補正の強度を調整するようにしてもよい。更に、補正の強度を段階的に制御するようにしてもよい。また、人物の人数は２人に限らず、３人以上であってもよい。

（変形例１）
上述した各実施形態においては、制御部１は、糸巻き型の歪曲収差が生じる画像に対して、上部領域の方が下部領域よりも人物の顔が多く占められていると判定した場合には糸巻き型歪曲収差の補正を抑制するように制御するようにし、また、下部領域の方が上部領域よりも人物の顔が多く占められていると判定した場合には、糸巻き型歪曲収差の補正を実行するようにしたが、これに限定されない。例えば、樽型の歪曲収差が生じるような画像に対しても、上述した各実施形態のように上部領域の方が下部領域よりも人物の顔が多く占められている場合と、下部領域の方が上部領域よりも人物の顔が多く占められていると判定した場合とで、樽型歪曲収差の補正を変えるように制御してもよい。

この場合、頬骨の位置がセンターラインＣＬよりも下側に位置していれば樽型の歪曲収差の補正処理を実行しない。なお、図９（１）は、人物の顔がライブビュー画像の下半分領域に多く占められている場合に、樽型歪曲収差の補正処理を実行（補正機能をオン）したものと仮定した時のライブビュー画像を示している。この場合、糸巻き型歪曲収差の補正とは逆に、樽型歪曲収差の補正処理によって人物の頭部（髪部分）がその斜め方向（右上方向）に伸びないように補正されるため、頭部（髪部分）のボリューム感が薄くなり、その結果、相対的に顔部分が大きく見え、顔全体として下膨れしたような印象を与えてしまう。

これに対して、この変形例では、頬骨の位置がセンターラインＣＬよりも下側に位置している場合、つまり、被写体（人物の顔）がライブビュー画像の下半分領域に多く占められている場合には、樽型の歪曲収差の補正処理を抑制するため（実行しないため）、そのライブビュー画像は、図９（２）に示すようになる。すなわち、図９（２）は、糸巻き型歪曲収差の補正処理を実行しない場合（補正機能をオフした場合）のライブビュー画像を示し、図９（１）とは逆に、樽型の歪曲収差によって、人物の頭部（髪部分）がその斜め方向（右上方向）に伸びるために、頭部（髪部分）のボリューム感が厚くなり、その結果、相対的に顔の部分が小さく見え、顔全体として小顔となったような印象を与えることができる。

一方、図１０（１）は、頬骨の位置がセンターラインＣＬよりも上側に位置している場合、つまり、人物の顔がライブビュー画像の上半分領域に多く占められている場合において、樽型歪曲収差の補正処理を実行しない（補正機能をオフ）と仮定した時のライブビュー画像を示している。この場合、樽型歪曲収差によって、人物の頭部（ほほ部分）がその斜め方向（右下方向）に伸びるために、顔部分が大きく見え、その結果、顔全体として下膨れしたような印象を与えてしまう。

これに対して、この変形例では、頬骨の位置がセンターラインＣＬよりも上側に位置している場合、つまり、人物の顔がライブビュー画像の上半分領域に多く占められている場合には、樽型歪曲収差の補正処理を実行（補正機能をオン）する。図１０（２）は、樽型歪曲収差の補正処理を実行した場合（補正機能をオンした場合）のライブビュー画像を示している。この補正処理によって人物の顔がその斜め方向（右下方向）に伸びないように歪補正されるため、顔全体が引き締まり、その結果、相対的に小顔となったような印象を与えることができる。

なお、上述した各実施形態においては、人物画像の上半分領域と下半分領域を分けるセンターラインＣＬを基準として顔の頬骨がセンターラインＣＬより上か下かに基づいて、上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定するようにしたが、例えば、肌色領域（顔領域）の上下方向においてセンターラインＣＬから最も遠い位置、つまり、顎の先端位置、及び額の毛の生え際の位置までの距離を検出してその距離を比較することにより、上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定するようにしてもよい。又は、センターラインＣＬを基準として上半分領域内に占める顔の面積、及び下半分領域内に占める顔の面積を検出してその面積を比較することにより、上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定するようにしてもよい。

上述した各実施形態においては、ライブビュー画像に生じる糸巻き型歪曲収差の補正を抑制するようにしたが、撮影済みの保存画像を読み出して、この保存画像に生じる糸巻き型歪曲収差の補正を被写体の状況に応じて制御するようにしてもよい。

上述した各実施形態においては、画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に所定の被写体が多く占められているかを判定するようにしたが、画像の全体を２つに分ける場合に限らず、例えば、画像の一部分を上部領域と下部領域に分けたり、画像の全体、又は一部分を上部領域、中間領域、下部領域の３つに分けたりしてもよい。このように３つ以上に分けた場合でも上部領域、下部領域のいずれの領域内に所定の被写体が多く占められているかを判定するようにすればよい。

上述した各実施形態においては、静止画像を撮影する場合を例示したが、動画撮影を行う場合であっても同様に適用可能である。この場合、フレーム画像毎に糸巻き型歪曲収差の補正を制御するようにすればよい。

上述した各実施形態においては、被写体として人物を撮影する場合を示したが、勿論、人物に限らず、ペット、植物、建物などであってもよい。

また、上述した各実施形態においては、画像処理装置としてデジタルカメラに適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
被写体を撮影した画像を取得する取得手段と、
前記取得手段によって取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する判定手段と、
前記取得手段によって取得された画像に対して歪曲収差を補正する補正手段と、
前記判定手段の判定結果に基づいて前記補正手段による歪曲収差の補正を制御する制御手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記補正手段は、前記取得手段によって取得された画像に対して糸巻き型の歪曲収差を補正する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記取得手段は、人物の顔を撮影した人物画像を取得し、
前記判定手段は、前記取得手段によって取得された人物画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に所定の被写体として人物の顔が多く占められているかを判定する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制するように制御する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項３に記載の画像処理装置において、
前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合に、その多さが所定量未満であれば、前記補正手段による歪曲収差の補正の強度を下げてその補正を実行させるように制御する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項３乃至６のいずれか１項に記載の画像処理装置において、
前記制御手段は、前記補正手段による歪曲収差の補正を制御する場合に、前記取得手段によって取得された人物画像のうち、少なくとも人物の顔を含む頭部領域に対してその補正を制御する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項３に記載の画像処理装置において、
前記判別手段は、前記取得手段によって取得された人物画像に複数の人物が含まれている場合に、その複数の人物の顔が前記上部領域と下部領域のいずれの領域内に多く占められているかを判定し、
前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも複数の人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制し、下部領域の方が上部領域より複数の人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項３に記載の画像処理装置において、
前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも複数の人物の一方の顔が多く占められていると判定され、かつ下部領域の方が上部領域よりも他方の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制するように制御する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項３に記載の画像処理装置において、
前記判定手段によって上部領域の方が下部領域よりも複数の人物の一方の顔が多く占められていると判定され、かつ下部領域の方が上部領域よりも他方の顔が多く占められていると判定された場合に、前記補正手段による歪曲収差の補正を抑制するか否かをユーザ操作によって選択するユーザ選択手段を更に備え、
前記制御手段は、前記ユーザ選択手段による選択結果に基づいて前記補正手段による歪曲収差の補正を制御する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項３乃至１０のいずれか１項に記載の画像処理装置において、
前記判定手段は、前記取得手段によって取得された人物画像の上半分領域と下半分領域を分けるセンター位置を基準として顔の頬骨が前記センター位置より上か下かに基づいて、前記上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１に記載の画像処理装置において、
前記補正手段は、前記取得手段によって取得された画像に対して樽型の歪曲収差を補正する、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１２に記載の画像処理装置において、
前記取得手段は、人物の顔を撮影した人物画像を取得し、
前記判定手段は、前記取得手段によって取得された人物画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に所定の被写体として人物の顔が多く占められているかを判定する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項１３に記載の画像処理装置において、
前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
ことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、請求項１３に記載の画像処理装置において、
前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制させるように制御する、
ことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、
画像処理装置における画像処理方法であって、
被写体を撮影した画像を取得する処理と、
前記取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する処理と、
前記取得された人物画像に対して歪曲収差を補正する処理と、
前記判定結果に基づいて前記糸巻き型の歪曲収差の補正を制御する処理と、
を含むことを特徴とする。
（請求項１７）
請求項１７に記載の発明は、
画像処理装置のコンピュータに対して、
被写体を撮影した画像を取得する機能と、
前記取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する機能と、
前記取得された人物画像に対して歪曲収差を補正する機能と、
前記判定結果に基づいて前記糸巻き型の歪曲収差の補正を制御する機能と、
を実現させるためのプログラムである。

１ 制御部
３ 記憶部
３Ａ プログラムメモリ
４ 操作部
５ 表示部
６ 撮像部
６Ｂ ズームレンズ
６Ｅ 撮像素子
７ 姿勢検出部
ＣＬ センターライン

Claims (17)

1. 被写体を撮影した画像を取得する取得手段と、
   前記取得手段によって取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する判定手段と、
   前記取得手段によって取得された画像に対して歪曲収差を補正する補正手段と、
   前記判定手段の判定結果に基づいて前記補正手段による歪曲収差の補正を制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記取得手段によって取得された画像に対して糸巻き型の歪曲収差を補正する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、人物の顔を撮影した人物画像を取得し、
   前記判定手段は、前記取得手段によって取得された人物画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に所定の被写体として人物の顔が多く占められているかを判定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制するように制御する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合に、その多さが所定量未満であれば、前記補正手段による歪曲収差の補正の強度を下げてその補正を実行させるように制御する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、前記補正手段による歪曲収差の補正を制御する場合に、前記取得手段によって取得された人物画像のうち、少なくとも人物の顔を含む頭部領域に対してその補正を制御する、
   ことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記判別手段は、前記取得手段によって取得された人物画像に複数の人物が含まれている場合に、その複数の人物の顔が前記上部領域と下部領域のいずれの領域内に多く占められているかを判定し、
   前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも複数の人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制し、下部領域の方が上部領域より複数の人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
   ことを特徴とする請求項３に記載の画像処理装置。
9. 前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも複数の人物の一方の顔が多く占められていると判定され、かつ下部領域の方が上部領域よりも他方の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制するように制御する、
   ことを特徴とする請求項３に記載の画像処理装置。
10. 前記判定手段によって上部領域の方が下部領域よりも複数の人物の一方の顔が多く占められていると判定され、かつ下部領域の方が上部領域よりも他方の顔が多く占められていると判定された場合に、前記補正手段による歪曲収差の補正を抑制するか否かをユーザ操作によって選択するユーザ選択手段を更に備え、
    前記制御手段は、前記ユーザ選択手段による選択結果に基づいて前記補正手段による歪曲収差の補正を制御する、
    ことを特徴とする請求項３に記載の画像処理装置。
11. 前記判定手段は、前記取得手段によって取得された人物画像の上半分領域と下半分領域を分けるセンター位置を基準として顔の頬骨が前記センター位置より上か下かに基づいて、前記上半分領域と下半分領域のいずれの領域内に人物の顔が多く占められているかを判定する、
    ことを特徴とする請求項３乃至１０のいずれか１項に記載の画像処理装置。
12. 前記補正手段は、前記取得手段によって取得された画像に対して樽型の歪曲収差を補正する、
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記取得手段は、人物の顔を撮影した人物画像を取得し、
    前記判定手段は、前記取得手段によって取得された人物画像の全体を上部領域と下部領域に分けて、そのいずれの領域内に所定の被写体として人物の顔が多く占められているかを判定する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記制御手段は、前記判定手段によって上部領域の方が下部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を実行させるように制御する、
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記制御手段は、前記判定手段によって下部領域の方が上部領域よりも人物の顔が多く占められていると判定された場合には、前記補正手段による歪曲収差の補正を抑制させるように制御する、
    ことを特徴とする請求項１３に記載の画像処理装置。
16. 画像処理装置における画像処理方法であって、
    被写体を撮影した画像を取得する処理と、
    前記取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する処理と、
    前記取得された人物画像に対して歪曲収差を補正する処理と、
    前記判定結果に基づいて前記糸巻き型の歪曲収差の補正を制御する処理と、
    を含むことを特徴とする画像処理方法。
17. 画像処理装置のコンピュータに対して、
    被写体を撮影した画像を取得する機能と、
    前記取得され、上部領域と下部領域とを含む画像のいずれの領域内に所定の被写体が多く占められているかを判定する機能と、
    前記取得された人物画像に対して歪曲収差を補正する機能と、
    前記判定結果に基づいて前記糸巻き型の歪曲収差の補正を制御する機能と、
    を実現させるためのプログラム。

Images