JP2013153375A - 画像処理装置、画像処理方法および記録媒体 - Google Patents

Abstract

【課題】構図の自動設定の可用性をより高める。
【解決手段】入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が上記入力画像の範囲を超える場合に、上記被写体が第２の構図で配置される第２のトリミング領域を設定する構図設定部を含む画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法および記録媒体に関する。

近年、フォーカスや露光を自動調整するデジタルスチルカメラなどの撮像装置が普及している。かかる撮像装置では、例えば撮影シーンに適したフォーカスや露光などが設定され、ユーザはこれらの調整をしなくても、良好な撮像画像を取得することができる。

さらに、撮像画像の構図についても、例えば特許文献１，２に記載された技術のように、ユーザの操作によらず自動的に設定する技術が提案されている。これらの技術では、例えば、被写体の顔の大きさや位置を検出し、それらを基準にして、撮像画像の中の適切な領域をトリミング画像として切り出す。

特開２００９−８９２２０号公報 特開２００９−２１８８０７号公報

しかしながら、上記の特許文献１，２に記載されたような技術では、例えば設定されたトリミング画像の領域が撮像画像の範囲を超えるような場合、構図が設定されない。従って、例えば被写体が大きく写っていたり、画像の端に映っていたりすると、構図が設定されない場合があった。このような場合でも、ユーザが構図の自動設定を望む場合もあり、上記の技術はこうした希望に十分には応えられていなかった。

そこで、本開示では、構図の自動設定の可用性をより高めることが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。

本開示によれば、入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が上記入力画像の範囲を超える場合に、上記被写体が第２の構図で配置される第２のトリミング領域を設定する構図設定部を含む画像処理装置が提供される。

また、本開示によれば、入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が上記入力画像の範囲を超える場合に、上記被写体が第２の構図で配置される第２のトリミング領域を設定することを含む画像処理方法が提供される。

また、本開示によれば、入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が上記入力画像の範囲を超える場合に、上記被写体が第２の構図で配置される第２のトリミング領域を設定する機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。

上記の構成によれば、最初に設定されるトリミング領域が入力画像の範囲を超えるような場合であっても、別の手法によって入力画像の範囲内に収まるトリミング領域が生成される可能性が高くなる。従って、より多くの場合に、構図の自動設定を利用することができる。

以上説明したように本開示によれば、構図の自動設定の可用性をより高めることができる。

本開示の第１の実施形態に係るデジタルスチルカメラの機能構成を示す概略的なブロック図である。 本開示の第１の実施形態に係るデジタルスチルカメラの処理を示すフローチャートである。 トリミング領域設定の例について説明するための図である。 トリミング領域設定の例について説明するための図である。 本開示の第１の実施形態におけるトリミング領域設定の第１の例を示す図である。 本開示の第１の実施形態におけるトリミング領域設定の第２の例を示す図である。 本開示の第１の実施形態におけるトリミング領域設定の第３の例を示す図である。 本開示の第１の実施形態におけるトリミング領域設定の第４の例を示す図である。 本開示の第２の実施形態に係るデジタルスチルカメラの機能構成を示す概略的なブロック図である。 本開示の第２の実施形態に係るデジタルスチルカメラの処理を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．機能構成
１−２．処理フロー
１−３．トリミング領域の設定例
２．第２の実施形態
３．補足

以下の説明では、画像処理装置の一例であるデジタルスチルカメラに係る本開示の第１および第２の実施形態を紹介する。なお、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、入力画像を処理してトリミング画像を生成する機能を有する各種の装置でありうる。また、本開示の実施形態は、入力画像を処理してトリミング画像を生成する方法、入力画像を処理してトリミング画像を生成する機能をコンピュータに実現させるためのプログラム、および当該プログラムが記録されるコンピュータ読み取り可能な記録媒体をも含む。

（１．第１の実施形態）
（１−１．機能構成）
まず、図１を参照して、本開示の第１の実施形態に係るデジタルスチルカメラの機能構成について説明する。図１は、本実施形態に係るデジタルスチルカメラ１００の機能構成を示す概略的なブロック図である。

デジタルスチルカメラ１００は、撮像光学系１０１、撮像部１０２、制御回路１１０、表示部１２０、および記憶部１３０を含む。制御回路１１０は、被写体認識部１１１、構図設定部１１２、トリミング部１１３、記録制御部１１４、および表示制御部１１５の機能を実現する。なお、デジタルスチルカメラ１００は、図示された機能構成以外にも、一般的にデジタルスチルカメラに設けられる操作部などの構成要素を含みうる。

撮像光学系１０１は、フォーカスレンズ、ズームレンズなどの各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１０１に含まれる光学部品を介して、撮像部１０２に含まれる撮像素子の露光面に結像される。

撮像部１０２は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、撮像素子を駆動するためのタイミングジェネレータ、および信号処理回路を含む。信号処理回路は、撮像素子が被写体像を光電変換することによって出力されるアナログ画像信号を処理し、デジタル画像信号に変換して制御回路１１０に出力する。信号処理回路は、例えばＤＳＰ（Digital Signal Processor）によって実現される。

制御回路１１０は、被写体認識部１１１、構図設定部１１２、トリミング部１１３、記録制御部１１４、および表示制御部１１５の機能を実現するとともに、デジタルスチルカメラ１００の各部の動作を制御する。制御回路１１０は、例えば、記憶部１３０に格納されたプログラムに基づいて動作することによって上記の機能を実現するＣＰＵ（Central Processing Unit）によって実現される。制御回路１１０の機能の一部または全部は、上記の信号処理回路と同様にＤＳＰによって実現されてもよい。以下、制御回路１１０によって実現される各機能部分について説明する。

被写体認識部１１１は、撮像部１０２から取得される入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する。ここで、被写体は、例えば人の顔である。他にも、被写体は、動物の顔や花、料理など、各種の物体でありうる。被写体認識部１１１は、例えば、ウェーブレット変換やＨａａｒ特徴検出などのアルゴリズムを用いて被写体の領域を算出する。被写体の領域は、例えば人の顔の場合であれば、あご、耳、および眉が含まれる最小矩形の座標値でありうる。なお、被写体の領域は、必ずしも矩形でなくてもよく、三角形または楕円などの形であってもよい。さらに、被写体認識部１１１は、被写体の領域に加えて、被写体の向きを認識してもよい。

構図設定部１１２は、被写体が所定の構図で配置されるように、入力画像のトリミング領域を設定する。この実施形態において、構図設定部１１２は、所定の構図として三分割構図を用いる。なお、所定の構図は、二分割構図など他の構図であってもよい。また、後述するように、構図設定部１１２は、複数の種類の構図を併用してもよい。構図設定部１１２は、被写体認識部１１１によって認識された被写体の位置、サイズ、および向きに従ってトリミング領域を設定する。より具体的には、構図設定部１１２は、被写体のサイズに応じてトリミング領域のサイズを決定し、トリミング領域を三分割した交点のいずれかに被写体が配置されるようにトリミング領域の位置を決定する。構図設定部１１２は、設定されたトリミング領域の情報を、トリミング部１１３に提供する。

ここで、構図設定部１１２は、トリミング領域を設定する処理として、まず、被写体が第１の構図で配置される第１のトリミング領域の設定を試みる。この第１のトリミング領域が入力画像の範囲内にある場合、そのまま入力画像をトリミングすることが可能であるため、構図設定部１１２はこの第１のトリミング領域の情報をトリミング部１１３に提供する。一方、第１のトリミング領域が入力画像の範囲を超える場合、そのままでは入力画像がトリミングできないため、構図設定部１１２は第２のトリミング領域の設定を試みる。第２のトリミング領域では、被写体が第２の構図で配置される。第２のトリミング領域が入力画像の範囲内にある場合、構図設定部１１２は、第２のトリミング領域の情報をトリミング部１１３に提供する。

第２のトリミング領域は、第１のトリミング領域が入力画像の範囲を超える場合に設定されるため、第１のトリミング領域よりも小さい領域であることが望ましい。あるいは、第２のトリミング領域は、第１のトリミング領域の縦横やアスペクト比を変更したものであってもよい。また、構図設定部１１２は、第１の構図と第２の構図とを異なる種類の構図にする（例えば、第１の構図として三分割構図を用い、第２の構図として二分割構図を用いる）ことによって第２のトリミング領域を設定してもよい。

構図設定部１１２は、上記のようなトリミング領域の再設定処理を、新たに設定されたトリミング領域が入力画像の範囲内に収まるまで繰り返してもよい。つまり、構図設定部１１２は、第２のトリミング領域が入力画像の範囲を超える場合に、被写体が第３の構図で配置される第３のトリミング領域を設定してもよい。なお、以上で説明したような構図設定部１１２の処理については、後に処理フローやトリミング領域の設定例を参照してさらに説明する。

トリミング部１１３は、入力画像から、構図設定部１１２が設定したトリミング領域のトリミング画像を生成する。このとき、トリミング部１１３は、例えば画素補間して解像度を上げるなどの処理（超解像処理ともいう）によって、トリミング画像を入力画像のサイズまで拡大してもよい。後述するように、構図設定部１１２は、この拡大処理によって入力画像のサイズまで拡大することが可能であることを、構図の再設定処理の繰返しの条件として用いてもよい。

記録制御部１１４は、トリミング部１１３によって生成されたトリミング画像を、画像データとして記憶部１３０に記録する。記録制御部１１４は、トリミング画像とともに入力画像の画像データを記録してもよい。

表示制御部１１５は、記憶部１３０に画像データとして記録された画像を、表示部１２０に表示させる。表示制御部１１５は、例えば、デジタルスチルカメラ１００で撮像が実行された後に、プレビュー画像として画像を表示させてもよいし、ユーザの操作に従って記憶部１３０に記録された任意の画像を再生画像として表示させてもよい。

表示部１２０は、例えばＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどで構成される。表示部１２０は、表示制御部１１５の制御に従って、デジタルスチルカメラ１００に関する各種の情報をユーザに向けて表示する。

記憶部１３０には、デジタルスチルカメラ１００の処理に関する各種のデータが格納される。記憶部１３０は、例えば、フラッシュＲＯＭ（Read Only Memory）もしくはＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリ、ＤＶＤ（Digital Versatile Disc）もしくはＣＤ（Compact Disc）などの光ディスク、またはハードディスクなどでありうる。記憶部１３０は、デジタルスチルカメラ１００に内蔵される記憶装置であってもよく、デジタルスチルカメラ１００に着脱可能な記録媒体であってもよい。また、記憶部１３０は、複数の種類の記憶装置または記録媒体を含んでもよい。記憶部１３０には、記録制御部１１４によって入力画像やトリミング画像の画像データが格納されるほか、制御回路１１０のＣＰＵに上記の機能を実現させるためのプログラムなどが格納されうる。

（１−２．処理フロー）
次に、図２を参照して、本開示の第１の実施形態に係るデジタルスチルカメラの処理フローについて説明する。図２は、デジタルスチルカメラ１００の処理を示すフローチャートである。

図示された処理では、まず、被写体認識部１１１が、撮像部１０２から取得された入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する（ステップＳ１０１）。次に、構図設定部１１２が、被写体認識部１１１によって認識された被写体の位置、サイズ、および向きに従って、被写体が所定の構図で配置されるようにトリミング領域を設定する（ステップＳ１０３）。ここで設定されるトリミング領域は、上述した第１のトリミング領域にあたる。

ここで、構図設定部１１２は、入力画像の範囲内でトリミング領域が設定されたか否かを判定する（ステップＳ１０５）。ここで、入力画像の範囲内でトリミング領域が設定されたと判定された場合、トリミング部１１３が、設定されたトリミング領域に従って入力画像からトリミング画像を生成し（ステップＳ１０７）、記録制御部１１４がトリミング画像を記憶部１３０に記録する（ステップＳ１０９）。

一方、ステップＳ１０５で、入力画像の範囲内でトリミング領域が設定されなかったと判定された場合、構図設定部１１２は、トリミング領域が再設定可能であるか否かを判定する（ステップＳ１１１）。この判定は、例えば、上述のように、トリミング領域が再設定によって縮小される場合に、トリミング部１１３がさらに縮小されたトリミング領域のトリミング画像を入力画像のサイズまで拡大することが可能であるか否かの判定であってもよい。また、上記の判定は、トリミング領域の再設定回数が所定の回数に到達したか否かの判定であってもよい。

ステップＳ１１１で、トリミング領域が再設定可能であると判定された場合、構図設定部１１２は、トリミング領域の設定条件を変更する（ステップＳ１１３）。この設定条件の変更は、例えば、被写体のサイズに応じてトリミング領域のサイズを設定するときのパラメータの変更であってもよく、また用いる構図の種類の変更であってもよい。なお、ここで変更される設定条件の詳細については後述する。

次に、構図設定部１１２は、ステップＳ１１３で変更された設定条件に従って、再びトリミング領域を設定する（ステップＳ１０３）。ここで設定されるトリミング領域は、上述した第２のトリミング領域にあたる。

一方、ステップＳ１１１で、トリミング領域が再設定可能ではないと判定された場合、構図設定部１１２は、トリミング領域を設定せずに処理を終了する。この場合、トリミング部１１３は、トリミング画像を生成しない。従って、記録制御部１１４は、トリミング画像を記憶部１３０に記録しない。

（１−３．トリミング領域の設定例）
次に、図３Ａ〜図７を参照して、本開示の第１の実施形態に係るデジタルスチルカメラにおけるトリミング領域の設定例について説明する。図３Ａおよび図３Ｂは、トリミング領域設定の一般的な例について説明するための図である。図４〜図７は、デジタルスチルカメラ１００でのトリミング領域の設定例を示す図である。

図３Ａは、トリミング領域の設定が可能である場合の例を示す図である。図示された例では、被写体認識部１１１が、入力画像３００に含まれる被写体として人の顔を認識する。人の顔は、例えば顔領域３１０ａとして認識されうる。この顔領域３１０ａによって、入力画像３００における被写体の位置および被写体のサイズが示される。さらに、被写体認識部１１１は、例えば顔領域３１０ａの部分の画像の解析によって、被写体である顔の向きを認識する。

このようにして被写体認識部１１１が認識した被写体の位置、サイズ、および向きに従って、構図設定部１１２がトリミング領域３２０を設定する。例えば、構図設定部１１２は、まず、被写体の向きに従って、トリミング領域を縦長にするか横長にするかを決定する。図示された例では、顔領域３１０ａによって示される顔が左を向いているため、構図設定部１１２はトリミング領域を横長にする。

次に、構図設定部１１２は、顔領域３１０ａのサイズに応じて、トリミング領域３２０のサイズを決定する。図示された例において、構図設定部１１２は、トリミング領域３２０の幅を、顔領域３１０ａの幅のｎ倍（ｎ≧２）に設定する。

さらに、構図設定部１１２は、所定の構図で被写体が配置される所定の位置に被写体が配置されるように、トリミング領域３２０の位置を決定する。例えば三分割構図の場合、被写体が配置される位置は、トリミング領域３２０を縦および横にそれぞれ三分割する線の４つの交点のいずれかである。構図設定部１１２は、例えば、被写体の向きに基づいて、どこに被写体を配置するかを決定する。

なお、本明細書では、トリミング領域における被写体配置の状態全般を「構図」と称する。この「構図」は、上記の例では、構図の種類（例えば三分割構図や二分割構図のような）、トリミング領域に対する被写体の相対的なサイズ（ｎの値）、およびどの点に被写体を配置するか（三分割構図の場合であれば、４つの交点のいずれに配置するか）、によって定義される。

図３Ａの例では、上記のようにして設定されたトリミング領域３２０が入力画像３００の範囲内にある。従って、トリミング部１１３によってトリミング領域３２０でのトリミング画像４００が生成される。

一方、図３Ｂの例では、同様にして設定されたトリミング領域３２０が、入力画像３００の範囲を超えている。従って、このままでは、トリミング画像４００は生成されない。

上記の図３Ａおよび図３Ｂに示すようなトリミング領域の設定処理では、例えば顔領域３１０ａが大きかったり、顔領域３１０ａが入力画像３００の端に位置していたりすると、トリミング画像４００が生成されない。従って、撮像した画像がトリミングされず、適切な構図で保存されないケースが発生する。

また、図３Ｂのような場合に、トリミング領域３２０のうち入力画像３００の範囲を超えた部分を無視してトリミング画像を生成することも考えられる。しかしながら、そうした場合も、トリミング画像は設定された構図を無視したものになってしまうため、撮像した画像は必ずしも適切な構図では保存されない。

加えて、上記の図３Ａに示すようなトリミング画像の生成処理では、トリミング画像の生成が可能ではあるものの、例えばトリミング領域３２０のサイズと顔領域３１０ａのサイズとの関係が固定されており、異なる入力画像から生成されたトリミング画像であっても、例えば被写体が比較的小さいものが多いなど、構図の変化が乏しく創造性に欠ける印象をユーザに与える場合がある。

そこで、本実施形態では、構図設定部１１２が、例えば上記の図３Ｂのような場合に、トリミング領域の設定条件を変更して、新たなトリミング領域の設定を試みる。トリミング領域の設定条件の変更は、例えば、上記の例でトリミング領域３２０のサイズを設定する場合のｎの値の変更であってもよいし、また三分割構図における別の交点に被写体を配置することであってもよい。あるいは、構図設定部１１２は、トリミング設定条件の変更として、三分割構図に代えて二分割構図を用いる、といったように、構図の種類を変更してもよい。

このようにして、異なる設定条件で新たなトリミング領域を設定し、そのトリミング領域が入力画像３００の範囲内にあれば、例えば図３Ａおよび図３Ｂの例のような処理ではトリミング画像が生成できなかったような場合にも、トリミング画像を生成することができる。また、このようにして生成されるトリミング画像は、生成元の入力画像によって被写体の大きさなどが変化するため、構図の変化に富み創造性が豊かな印象をユーザに与える可能性もある。

以下では、かかる本実施形態におけるトリミング領域の設定のいくつかの例を紹介する。

（第１の例）
図４は、本実施形態におけるトリミング領域設定の第１の例を示す図である。（ａ）に示すように、まず、構図設定部１１２は、入力画像３００に含まれる被写体の顔領域３１０ａが三分割構図で配置される第１のトリミング領域３２０を設定する。しかしながら、この第１のトリミング領域３２０は、入力画像３００の範囲を超えている。

そこで、構図設定部１１２は、（ｂ）に示すように、第２のトリミング領域３２２を設定する。図示された例において、構図設定部１１２は、第１のトリミング領域３２０を縮小して第２のトリミング領域３２２を設定する。

例えば、構図設定部１１２は、図３Ａの例でトリミング領域のサイズを設定するのに用いられたｎの値を小さくすることによってトリミング領域を縮小してもよい。ｎの値は、図３Ａの例ではｎ≧２となるように設定されたが、この第２のトリミング領域３２２の設定処理では、ｎ＜２であってもよく、さらにはｎ＜１であってもよい。つまり、構図設定部１１２は、顔領域３１０ａの一部が含まれない程度まで第１のトリミング領域３２０を縮小してもよい。

ここで、どの程度まで第１のトリミング領域３２０を縮小するかは任意であるが、例えば、構図設定部１１２は、顔領域３１０ａの中の目領域３１２ａが含まれるように、第１のトリミング領域３２０を縮小してもよい。目領域３１２ａは、顔領域３１０ａの中で、画像の観察者によって特に注視されると考えられる注視領域である。目領域３１２ａは、例えば、被写体認識部１１１で用いられるアルゴリズムと同様のアルゴリズムを用いて、または被写体認識部１１１の認識結果を利用して特定されうる。なお、注視領域は、図示された例のように目領域には限られず、顔領域３１０ａに含まれるその他の器官であってもよい。

また、第１のトリミング領域３２０は横長の領域であったが、第２のトリミング領域３２２は横長でも縦長でもよい。例えば、構図設定部１１２は、被写体の特徴に応じて、第２のトリミング領域３２２が横長か縦長かを切り替えてもよい。図４では、横長の第２のトリミング領域３２２ａと、縦長の第２のトリミング領域３２２ｂとが示されている。この例では、いずれの領域も入力画像３００の範囲内にあるため、（ｃ）に示すように、横長のトリミング画像４００ａと縦長のトリミング画像４００ｂとの両方を生成することが可能である。

図示された例では、横長および縦長の第２のトリミング領域３２２ａ，３２２ｂがいずれも入力画像３００の範囲内にあるが、例えばいずれか一方だけが入力画像３００の範囲内にある場合、構図設定部１１２は、入力画像３００の範囲内にある方の第２のトリミング領域３２２を選択してもよい。また、構図設定部１１２は、被写体の特徴、例えば目領域３１２ａが略左右方向に並んでいることや顔の傾きなどに応じて、第２のトリミング領域３２２ａ，３２２ｂのいずれかを選択してもよい。

あるいは、構図設定部１１２は、横長および縦長の第２のトリミング領域３２２ａ，３２２ｂの情報を両方ともトリミング部１１３に提供してもよい。この場合、表示制御部１１５は、例えばトリミング画像４００ａ，４００ｂの両方をプレビュー画像として表示部１２０に表示させ、ユーザに保存するトリミング画像を選択させてもよい。なお、上記のように、第２のトリミング領域が横長か縦長かを切り替える、または両方出力してユーザに選択させる構成は、ここで紹介する他の例にも適用されうる。

上記の図４に示すようなトリミング画像の生成処理では、第１のトリミング領域３２０を縮小して第２のトリミング領域３２２を設定する。このとき、第１のトリミング領域３２０の縮小の程度が適切でないと、ユーザが注視している領域、例えば顔領域３１０ａの中の目領域３１２ａのような領域が途中で切れているトリミング領域が設定される可能性がある。このような場合、ユーザは、第２のトリミング領域の構図を適切であるとは感じない。

そこで、上記の例では、目領域３１２ａのような領域を注視領域とし、この注視領域が含まれるように第１のトリミング領域３２０を縮小して、第２のトリミング領域３２２を設定する。これによって、例えばユーザが第２のトリミング領域３２２の構図を適切であると感じる可能性を高めることができる。

（第２の例）
図５は、本実施形態におけるトリミング領域設定の第２の例を示す図である。なお、上記の図３Ａ〜図４の例とは異なり、図５の例では、被写体認識部１１１が、入力画像３００に含まれる被写体として花を認識する。花は、例えば花領域３１０ｂとして認識されうる。

（ａ）に示すように、まず、構図設定部１１２は、花領域３１０ｂが三分割構図で配置される第１のトリミング領域（図示せず）を設定する。花領域３１０ｂは、入力画像３００に大きく写っているため、第１のトリミング領域は、入力画像３００の範囲を超える。

そこで、構図設定部１１２は、第１のトリミング領域を縮小して第２のトリミング領域を設定する。この第２のトリミング領域で入力画像をトリミングしたトリミング画像４００ｃ〜４００ｆが、（ｂ）に示されている。

この例において、構図設定部１１２は、入力画像３００の解析によって注視領域３１２ｂを設定し、この注視領域３１２ｂが含まれるように、第１のトリミング領域を縮小する。注視領域３１２ｂは、例えば、花領域３１０ｂの中で輝度がより高い領域、彩度がより高い領域、またはエッジがより多い領域である。

また、構図設定部１１２は、第２のトリミング領域のアスペクト比を、被写体の特徴に応じて変更してもよい。（ｂ）には、さまざまなアスペクト比で第２のトリミング領域が設定された場合のトリミング画像４００が示されている。このうち、トリミング画像４００ｃは、入力画像３００のアスペクト比（４：３）を変更していないものである。トリミング画像４００ｄは、アスペクト比を１６：９に変更したものである。トリミング画像４００ｅは、アスペクト比を３：２に変更したものである。トリミング画像４００ｆは、アスペクト比を１：１に変更したものである。

図示された例では、それぞれのアスペクト比の第２のトリミング領域がいずれも入力画像３００の範囲内にあるが、例えばあるアスペクト比の第２のトリミング領域が入力画像３００の範囲を超える場合、構図設定部１１２は、当該アスペクト比の第２のトリミング領域を選択対象から除外してもよい。また、構図設定部１１２は、被写体の特徴、例えば注視領域３１２ｂの形状に応じて、いずれかのアスペクト比の第２のトリミング領域を選択してもよい。

あるいは、構図設定部１１２は、複数のアスペクト比の第２のトリミング領域の情報をトリミング部１１３に提供してもよい。この場合、表示制御部１１５は、例えばトリミング画像４００ｃ〜４００ｆのそれぞれをプレビュー画像として表示部１２０に表示させ、ユーザに保存するトリミング画像を選択させてもよい。なお、上記のように、第２のトリミング画像のアスペクト比を切り替える、または複数出力してユーザに選択させる構成は、ここで紹介する他の例にも適用されうる。

上記の図５に示すようなトリミング画像の生成処理では、例えば図４の顔領域３１０ａに対する目領域３１２ａのように、被写体の領域内の注視領域が予め定められていないような場合でも、入力画像３００の解析によって注視領域３１２ｂが設定される。従って、例えば花や料理のような被写体の場合でも、適切に注視領域３１２ｂを設定して第２のトリミング領域を設定することができる。

また、第２のトリミング領域のアスペクト比を切り替える場合、トリミング画像のアスペクト比を固定しないことで、より多くの場合にトリミング画像を生成することができる。また、複数のアスペクト比のトリミング画像をユーザに提示する場合、多彩なトリミング画像を、例えばユーザの嗜好に応じて生成することができる。

（第３の例）
図６は、本実施形態におけるトリミング領域設定の第３の例を示す図である。なお、上記の図３Ａ〜図５の例とは異なり、図６の例では、被写体認識部１１１が、入力画像３００に含まれる被写体のとして車を認識する。車は、例えば車領域３１０ｃとして認識されうる。

（ａ）に示すように、まず、構図設定部１１２は、車領域３１０ｃが三分割構図で配置される第１のトリミング領域（図示せず）を設定する。車領域３１０ｃは、入力画像３００に大きく写っているため、第１のトリミング領域は、入力画像３００の範囲を超える。

そこで、構図設定部１１２は、第１のトリミング領域を縮小して第２のトリミング領域を設定する。この第２のトリミング領域で入力画像をトリミングしたトリミング画像４００が、（ｂ）に示されている。

この例において、構図設定部１１２は、ユーザ操作によって注視領域３１２ｃを設定し、この注視領域３１２ｃが含まれるように、第１のトリミング領域を縮小する。注視領域３１２ｃは、例えば、入力画像３００を撮像する前にユーザ操作によって指定された車領域３１０ｃの中の注視点の近傍の領域であってもよい。この場合、被写体認識部１１１は、被写体の車領域３１０ｃを物体追尾によって継続的に認識するとともに、指定された注視点を物体追尾に対応して移動させてもよい。

また、注視領域３１２ｃは、例えばユーザがプレビュー画像または再生画像として表示された入力画像３００からトリミング画像４００を生成するときに、表示部１２０に表示された入力画像３００の中からユーザによって選択された注視点の近傍の領域であってもよい。つまり、注視領域３１２ｃは、画像が撮像されて記録された後に設定されてもよい。

上記の図６に示すようなトリミング画像の生成処理では、ユーザの指定によって注視領域３１２ｃが設定される。従って、例えば注視領域を自動的に検出することが困難な被写体の場合でも、ユーザの所望に従って注視領域３１２ｃを設定して適切な第２のトリミング領域を設定することができる。

（第４の例）
図７は、本実施形態におけるトリミング領域設定の第４の例を示す図である。この例は、いわゆるマクロ撮影の例である。（ａ）に示すように、この例における被写体はケーキであるが、入力画像３００のほとんどの部分を占めている。それゆえ、被写体は、図３Ａ〜図６の例のような領域としては認識されない。また、構図設定部１１２が被写体を三分割構図で配置した第１のトリミング領域は、入力画像３００の範囲を超える。

そこで、構図設定部１１２は、第２のトリミング領域を設定する。図示された例において、構図設定部１１２は、入力画像でフォーカスされているフォーカス領域３１２ｄが含まれるように第２のトリミング領域を設定する。より具体的には、構図設定部１１２は、フォーカス領域３１２ｄを三分割構図で配置した第２のトリミング領域を設定してもよい。

このとき、構図設定部１１２は、横長または縦長の第２のトリミング領域のいずれかまたは両方を設定してもよい。（ｂ）には、それぞれの場合に生成されるトリミング画像４００ａ，４００ｂが示されている。構図設定部１１２は、被写体の特徴、例えばフォーカス領域３１２ｄの形状に応じて、縦長または横長の第２のトリミング領域のいずれかを選択してもよい。

上記の図７に示すようなトリミング画像の生成処理では、入力画像でフォーカスされているフォーカス領域３１２ｄが注視領域に設定される。従って、例えば被写体の領域自体が入力画像３００の範囲を超えるようなマクロ撮影などの場合でも、適切に注視領域を設定してトリミング領域を設定することができる。

（２．第２の実施形態）
次に、図８および図９を参照して、本開示の第２の実施形態について説明する。図８は、本実施形態に係るデジタルスチルカメラ２００の機能構成を示す概略的なブロック図である。図９は、デジタルスチルカメラ２００の処理を示すフローチャートである。

なお、この第２の実施形態は、デジタルスチルカメラ２００がフォーカス判定部２１６を含む点で上記の第１の実施形態とは相違するが、それ以外の点については第１の実施形態と同様であるため、詳細な説明を省略する。

図８に示されるように、本実施形態では、デジタルスチルカメラ２００がフォーカス判定部２１６を含む。フォーカス判定部２１６は、被写体認識部１１１によって認識された被写体がフォーカスされているか否かを判定する。フォーカス判定部２１６は、例えばコントラスト検出方式や位相差検出方式など、オートフォーカスと同様の方式を用いて、被写体がフォーカスされているか否かを判定する。例えばコントラスト検出方式を用いる場合、フォーカス判定部２１６は、入力画像の被写体の領域でのコントラストが所定の閾値以上であるか、または他の領域のコントラストよりも大きいかを判定することによって、被写体がフォーカスされているか否かを判定する。また、位相差検出方式を用いる場合、フォーカス判定部２１６は、ラインセンサなどの測光センサ（図示せず）を用いて検出された被写体の領域での位相差に基づいて、撮像光学系１０１の焦点が被写体に合っているかを判定することによって、被写体がフォーカスされているか否かを判定する。

ここで、フォーカス判定部２１６は、被写体がフォーカスされているか否かの判定結果を構図設定部１１２に提供する。構図設定部１１２は、フォーカス判定部２１６での判定結果に基づき、被写体がフォーカスされている場合に第１のトリミング領域を設定する。一方、被写体がフォーカスされていない場合、第１の実施形態で説明されたようなトリミング領域の設定の処理は実行されない。なお、フォーカス判定部２１６は、被写体として認識された領域の全体がフォーカスされている場合に、被写体がフォーカスされていると判定してもよいし、被写体として認識された領域の少なくとも一部がフォーカスされている場合に、被写体がフォーカスされていると判定してもよい。

図９では、フォーカス判定部２１６の処理が、ステップ２１５として示されている。ステップＳ１０１で被写体認識部１１１が被写体を認識した後、フォーカス判定部２１６は、認識された被写体がフォーカスされているか否かを判定する（ステップＳ２１５）。ここで、被写体がフォーカスされていると判定された場合、ステップＳ１０３以降のトリミング領域の設定の処理が実行される。一方、被写体がフォーカスされていると判定されなかった場合、処理はステップＳ１０１に戻る。

以上で説明した第２の実施形態では、被写体がフォーカスされている場合に、トリミング領域を設定する処理が実行される。被写体がフォーカスされている場合の方が、構図設定の精度は高くなる。また、被写体がフォーカスされていない場合、設定されたトリミング領域でトリミング画像が生成されても、結局失敗作になる可能性が高い。つまり、上記の本実施形態の構成によれば、結果としてユーザが望まないトリミング画像が生成されることを防ぎ、より高い精度でユーザが所望するトリミング画像を生成することができる。

（３．補足）
なお、本開示の実施形態は、上記で説明した以外にも、以下にその一例を示すように、さまざまな変形が可能である。

例えば、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、撮像機能を有する携帯電話（スマートフォン）やタブレット型ＰＣ（Personal Computer）などの携帯端末であってもよい。また、画像処理装置は、それ自体は撮像機能を有さないデスクトップ型のＰＣなどの情報処理装置であってもよい。この場合、画像処理装置は、例えば他の装置で撮像された画像を入力画像として取得する。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定する構図設定部を備える画像処理装置。
（２）前記第２のトリミング領域は、前記第１のトリミング領域よりも小さい、前記（１）に記載の画像処理装置。
（３）前記構図設定部は、前記被写体のうちの所定の領域が含まれるように前記第１のトリミング領域を縮小することによって前記第２のトリミング領域を設定する、前記（２）に記載の画像処理装置。
（４）前記所定の領域は、ユーザ操作によって設定される、前記（３）に記載の画像処理装置。
（５）前記所定の領域は、前記入力画像の解析によって設定される、前記（３）に記載の画像処理装置。
（６）前記被写体は、顔であり、
前記所定の領域は、前記顔に含まれる所定の器官に対応する領域である、前記（３）に記載の画像処理装置。
（７）前記第１の構図または前記第２の構図のうちの少なくともいずれかは三分割構図である、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）前記構図設定部は、前記第２のトリミング領域が横長か縦長かを前記被写体の特徴に応じて切り替える、前記（７）に記載の画像処理装置。
（９）前記構図設定部は、前記第２のトリミング領域のアスペクト比を前記被写体の特徴に応じて変更する、前記（７）または（８）に記載の画像処理装置。
（１０）前記構図設定部は、前記入力画像でフォーカスされている領域が含まれるように前記第２のトリミング領域を設定する、前記（７）〜（９）のいずれか１項に記載の画像処理装置。
（１１）前記第２の構図は、前記第１の構図とは異なる種類の構図である、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）前記被写体がフォーカスされているか否かを判定するフォーカス判定部をさらに備え、
前記構図設定部は、前記被写体がフォーカスされている場合に前記第１のトリミング領域を設定する、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）前記構図設定部は、前記第２のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第３の構図で配置される第３のトリミング領域を設定する、前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）前記入力画像から前記第２のトリミング領域または前記第３のトリミング領域のトリミング画像を生成し、該トリミング画像を画素補間して解像度を上げる処理によって前記入力画像のサイズに拡大するトリミング部をさらに備え、
前記構図設定部は、前記拡大が可能である場合に前記第２のトリミング領域または前記第３のトリミング領域を設定する、前記（１３）に記載の画像処理装置。
（１５）入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定することを含む画像処理方法。
（１６）入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定する機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

１００，２００ デジタルスチルカメラ（画像処理装置）
１０２ 撮像部
１１１ 被写体認識部
１１２ 構図設定部
１１３ トリミング部
１１４ 記録制御部
１１５ 表示制御部
１２０ 表示部
１３０ 記憶部
２１６ フォーカス判定部
３００ 入力画像
３１０ 被写体領域
３１２ 注視領域
３２０ 第１のトリミング領域
３２２ 第２のトリミング領域
４００ トリミング画像

Claims (16)

1. 入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定する構図設定部を備える画像処理装置。
2. 前記第２のトリミング領域は、前記第１のトリミング領域よりも小さい、請求項１に記載の画像処理装置。
3. 前記構図設定部は、前記被写体のうちの所定の領域が含まれるように前記第１のトリミング領域を縮小することによって前記第２のトリミング領域を設定する、請求項２に記載の画像処理装置。
4. 前記所定の領域は、ユーザ操作によって設定される、請求項３に記載の画像処理装置。
5. 前記所定の領域は、前記入力画像の解析によって設定される、請求項３に記載の画像処理装置。
6. 前記被写体は、顔であり、
   前記所定の領域は、前記顔に含まれる所定の器官に対応する領域である、請求項３に記載の画像処理装置。
7. 前記第１の構図または前記第２の構図のうちの少なくともいずれかは三分割構図である、請求項１に記載の画像処理装置。
8. 前記構図設定部は、前記第２のトリミング領域が横長か縦長かを前記被写体の特徴に応じて切り替える、請求項７に記載の画像処理装置。
9. 前記構図設定部は、前記第２のトリミング領域のアスペクト比を前記被写体の特徴に応じて変更する、請求項７に記載の画像処理装置。
10. 前記構図設定部は、前記入力画像でフォーカスされている領域が含まれるように前記第２のトリミング領域を設定する、請求項７に記載の画像処理装置。
11. 前記第２の構図は、前記第１の構図とは異なる種類の構図である、請求項１に記載の画像処理装置。
12. 前記被写体がフォーカスされているか否かを判定するフォーカス判定部をさらに備え、
    前記構図設定部は、前記被写体がフォーカスされている場合に前記第１のトリミング領域を設定する、請求項１に記載の画像処理装置。
13. 前記構図設定部は、前記第２のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第３の構図で配置される第３のトリミング領域を設定する、請求項１に記載の画像処理装置。
14. 前記入力画像から前記第２のトリミング領域または前記第３のトリミング領域のトリミング画像を生成し、該トリミング画像を画素補間して解像度を上げる処理によって前記入力画像のサイズに拡大するトリミング部をさらに備え、
    前記構図設定部は、前記拡大が可能である場合に前記第２のトリミング領域または前記第３のトリミング領域を設定する、請求項１３に記載の画像処理装置。
15. 入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定することを含む画像処理方法。
16. 入力画像に含まれる被写体が第１の構図で配置される第１のトリミング領域が前記入力画像の範囲を超える場合に、前記被写体が第２の構図で配置される第２のトリミング領域を設定する機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

Images