JP2016143973A - 撮影装置、撮影システム、撮影方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】複数の被写体が撮影される場合、被写体に焦点が合う画像を撮影することができることを目的とする。
【解決手段】複数の被写体を撮影する撮影装置が、前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得し、前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成し、前記特徴量データを重ね合わせて、重ね合わせデータを生成し、前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成し、前記画像データにおいて、前記空間データに基づいて前記被写体を抽出し、抽出された前記被写体に焦点を合わせる設定を行うことにより上記課題を解決する。
【選択図】図１

Description

本発明は、撮影装置、撮影システム、撮影方法、プログラム、及び記録媒体に関する。

従来、カメラ等が焦点（ピント）を変更して撮影を行う自動焦点（Ａｕｔｏ Ｆｏｃｕｓ（以下、ＡＦと言う。））が知られている。

また、同一の被写体を異なる焦点距離でそれぞれ撮像して、焦点距離がそれぞれ異なる複数の画像データを生成する方法が知られている。焦点距離がそれぞれ異なる複数の画像データを生成する方法では、まず、複数の画像データから被写体の位置ずれ量を得て、位置ずれ量に基づいて各画像データをそれぞれ補正する。次に、補正されたそれぞれの画像の合焦状態を示す評価値を計算し、評価値に基づいて焦点が合う画像を選択する方法が知られている（例えば、特許文献１参照）。

しかしながら、複数の被写体が撮影されると、焦点を合わせようとする被写体をカメラ等が位置ずれ量等に基づいて選択するため、複数の被写体のうち、いずれかの被写体には、焦点が合っていない状態で撮影される場合がある。即ち、被写体に焦点が合っていない画像が撮影される場合がある。

本発明の１つの側面は、複数の被写体が撮影される場合、被写体に焦点が合う画像を撮影することができる撮影装置を提供することを目的とする。

一態様における、複数の被写体を撮影する撮影装置は、前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得部と、前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成部と、前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成部と、前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成部と、前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出部と、抽出された前記被写体に焦点を合わせる設定を行う設定部とを含む。

複数の被写体が撮影される場合、被写体に焦点が合う画像を撮影することができる。

本発明の一実施形態に係る撮影装置を使用する場面の一例を示す図である。 本発明の一実施形態に係る撮影装置のハードウェア構成の一例を示すブロック図である。 本発明の一実施形態に係る撮影装置の機能構成の一例を示す機能ブロック図である。 本発明の一実施形態に係る撮影装置による全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る撮影装置による画像領域の分割の一例を示す図である。 本発明の一実施形態に係るライトフィールド画像を撮影する構成の一例を示す図である。 本発明の一実施形態に係る重ね合わせデータの生成の一例を示すフローチャートである。 本発明の一実施形態に係る重ね合わせデータの生成の一例を示す模式図である。 本発明の一実施形態に係る空間データの生成の一例を示す模式図である。 本発明の一実施形態に係る距離重み係数及び位置重み係数の特性の一例を示す図である。 本発明の一実施形態に係る撮影装置による被写体の抽出の一例を示す模式図である。 本発明の一実施形態に係る撮影装置による全体処理の処理結果の一例を示す図である。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施形態に係る撮影装置を使用する場面の一例を示す図である。以下、図１に示すように、撮影装置１によって、複数の被写体として第一被写体２及び第二被写体３と、第三被写体４を含む背景とが撮影される場面を例に説明する。

（撮影装置のハードウェア構成例）
図２は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を示すブロック図である。具体的には、撮影装置１は、ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１Ｈ１と、出力Ｉ／Ｆ１Ｈ２と、入力Ｉ／Ｆ１Ｈ３と、撮像素子１Ｈ４と、記録媒体Ｉ／Ｆ１Ｈ５と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート１Ｈ６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ７と、記憶装置１Ｈ８とを有する。また、各ハードウェアは、Ｉ／Ｏポート１Ｈ６及びバス（ｂｕｓ）を介して接続される。

ネットワークＩ／Ｆ１Ｈ１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークと接続するインタフェースである。具体的には、ネットワークＩ／Ｆ１Ｈ１は、ＬＡＮカード又はＢｌｕｅｔｏｏｔｈ（登録商標）インタフェース等である。また、ネットワークＩ／Ｆ１Ｈ１は、ネットワークを介してデータを撮影装置１に入出力する。

出力Ｉ／Ｆ１Ｈ２は、撮影装置１からデータを出力するインタフェースである。例えば、出力Ｉ／Ｆ１Ｈ２は、液晶又は有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイである。即ち、出力Ｉ／Ｆ１Ｈ２は、撮影装置１を操作するユーザに画像及びアイコン（ｉｃｏｎ）等を表示して、ユーザが操作を行う際のユーザインタフェースとして機能する。なお、出力Ｉ／Ｆ１Ｈ２は、撮影装置１に接続される出力装置にデータ等を出力するコネクタ等でもよい。

入力Ｉ／Ｆ１Ｈ３は、ユーザによる操作及びデータを撮影装置１に入力するインタフェースである。例えば、入力Ｉ／Ｆ１Ｈ３は、キースイッチ又はダイヤル等である。即ち、入力Ｉ／Ｆ１Ｈ３は、撮影装置１に対するユーザの操作を受け付けて、ユーザが操作を行う際のユーザインタフェースとして機能する。なお、入力Ｉ／Ｆ１Ｈ３は、撮影装置１に接続される入力装置からデータ等を入力するコネクタ等でもよい。

また、出力Ｉ／Ｆ１Ｈ２及び入力Ｉ／Ｆ１Ｈ３は、タッチパネル等のように、出力Ｉ／Ｆ１Ｈ２及び入力Ｉ／Ｆ１Ｈ３が一体である構成でもよい。

撮像素子１Ｈ４は、被写体を撮影して画像データを生成する光学センサ等である。また、撮像素子１Ｈ４は、レンズ等の光学部品を有してもよい。具体的には、撮像素子１Ｈ４は、レンズ等を介して被写体を撮影し、Ａ／Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）等の処理を行ってアナログ信号をデジタル信号に変換して画像データを生成する。

記録媒体Ｉ／Ｆ１Ｈ５は、撮影装置１と、記録媒体５とを接続するインタフェースである。例えば、記録媒体Ｉ／Ｆ１Ｈ５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）Ｉ／Ｆ、光学ドライブ、又はＳＤ（登録商標）カードスロット等である。

また、記録媒体５は、撮影装置１又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータが読み取り可能な記録媒体である。例えば、記録媒体５は、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤ（登録商標）カード、又はＭＯ等である。

ＣＰＵ１Ｈ７は、撮影装置１が行う各種処理を実現する演算及び画像データ等の各種データを加工する演算装置並びに撮影装置１が有するハードウェア等を制御する制御装置である。なお、ＣＰＵ１Ｈ７は、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等でもよい。

記憶装置１Ｈ８は、撮影装置１が使うデータ、プログラム６、及び設定値等を記憶する。例えば、記憶装置１Ｈ８は、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。なお、記憶装置１Ｈ８は、ハードディスク（ｈａｒｄｄｉｓｋ）等の補助記憶装置等を有してもよい。また、プログラム６は、インストール可能な形式又はＣＰＵ１Ｈ７が実行可能な形式のデータである。さらに、プログラム６は、ネットワークＩ／Ｆ１Ｈ１によって、電気通信回線を通じて頒布できる。さらにまた、プログラム６は、記録媒体Ｉ／Ｆ１Ｈ５によって、記録媒体５に記録できる。

（撮影装置の機能構成例）
図３は、本発明の一実施形態に係る撮影装置の機能構成の一例を示す機能ブロック図である。具体的には、撮影装置１は、撮影部１Ｆ１と、取得部１Ｆ２と、特徴量データ生成部１Ｆ３と、重ね合わせデータ生成部１Ｆ４と、抽出部１Ｆ５と、設定部１Ｆ６と、操作部１Ｆ７とを含む。

撮影部１Ｆ１は、例えば撮像素子１Ｈ４（図２）等によって実現され、被写体を撮影する。

取得部１Ｆ２は、例えばＣＰＵ１Ｈ７（図２）等によって実現され、撮影部１Ｆ１によって撮影される被写体の焦点距離をそれぞれ取得する。また、取得部１Ｆ２は、焦点距離に基づいて撮影部１Ｆ１によって撮影される画像データＤ１を取得する。なお、画像データＤ１は、焦点距離ごとにそれぞれ別の画像データであってもよいし、複数の焦点距離に対応する画像データでもよい。

特徴量データ生成部１Ｆ３は、例えばＣＰＵ１Ｈ７等によって実現され、画像データＤ１が有する画素がそれぞれ示す画素値から特徴量を算出して特徴量データＤ３を生成する。

重ね合わせデータ生成部１Ｆ４は、例えばＣＰＵ１Ｈ７等によって実現され、特徴量データ生成部１Ｆ３が生成する特徴量データＤ３を重ね合わせて、重ね合わせデータＤ４を生成する。

抽出部１Ｆ５は、例えばＣＰＵ１Ｈ７等によって実現され、重ね合わせデータ生成部１Ｆ４が生成する重ね合わせデータＤ４に基づいて画像内の被写体を抽出する。

設定部１Ｆ６は、例えばＣＰＵ１Ｈ７等によって実現され、撮影部１Ｆ１が有するレンズの焦点距離又は絞り等を調整して、抽出部１Ｆ５が抽出した被写体に焦点を合わせる設定を行う。

操作部１Ｆ７は、例えば入力Ｉ／Ｆ１Ｈ３（図２）等によって実現され、ユーザによる操作を入力し、撮影部１Ｆ１に撮影を行わせるタイミング及び撮影装置１に各種処理を開始させるタイミングを撮影装置１に入力する。

（全体処理例）
図４は、本発明の一実施形態に係る撮影装置による全体処理の一例を示すフローチャートである。

（画像データの画像領域の分割例（ステップＳ０１））
ステップＳ０１では、撮影装置は、撮影した画像データの画像領域を分割する。

図５は、本発明の一実施形態に係る撮影装置による画像領域の分割の一例を示す図である。以下、図１に示す場面で撮影装置１が撮影し、図５（Ａ）に示す画像データＤ１が生成される場合を例に説明する。

例えば、ステップＳ０１では、撮影装置１は、画像データＤ１の画像領域を図５（Ｂ）に示すように分割する。具体的には、図５（Ｂ）では、撮影装置１は、画像データＤ１の画像領域を横方向に１０個及び縦方向に８個の分割領域となるようにそれぞれ分割する。また、図５（Ｂ）は、各分割領域がそれぞれ均等のサイズとなるように分割する例である。以下、画像データＤ１の画像領域の横方向をｉ軸とし、縦軸をｊ軸とする。さらに、各分割領域は、Ｒ（ｉ，ｊ）の座標でそれぞれ示す。

各分割領域のうち、図５では、撮影された被写体に対応する分割領域がある。具体的には、「子供」の第一被写体２に対応する分割領域は、例えば第一分割領域Ａ１であり、第一分割領域Ａ１は、Ｒ（２，５）の分割領域である。さらに、「象」の第二被写体３に対応する分割領域は、例えば第二分割領域Ａ２であり、第二分割領域Ａ２は、Ｒ（５，３）の分割領域である。さらにまた、背景である第三被写体４に対応する分割領域は、例えば第三分割領域Ａ３であり、第三分割領域Ａ３は、Ｒ（４，１）の分割領域である。

図５（Ｂ）に示す方法では、予め定められた分割数の分割領域に画像領域を撮影装置１が分割するため、撮影装置１は、画像データＤ１に撮影されるシーンに依らず、一定の計算負荷で分割を行うことができる。

なお、撮影装置１は、画像データＤ１の画像領域を図５（Ｃ）に示すように、分割してもよい。具体的には、図５（Ｃ）では、撮影装置１は、各分割領域が被写体にそれぞれ対応するように、画像データＤ１の画像領域を分割する。例えば、図５（Ｃ）は、画像データＤ１の画像領域を分割領域Ａ４乃至Ａ１１に分割する例である。また、図５（Ｃ）に示す分割は、例えば、いわゆる平均化処理及びエッジ（ｅｄｇｅ）フィルタ処理等によって、各被写体の輪郭を示すエッジ画像を生成すること等で実現される。

図５（Ｂ）に示す方法では、画像データＤ１の画像領域が横方向に１０個及び縦方向に８個となるようにそれぞれ分割されるので、図５（Ｂ）では、分割数は、８０個となる。これに対して、図５（Ｃ）に示す方法では、分割数は、８個である。したがって、図５（Ｃ）に示す方法は、分割数を少なくできる。ゆえに、撮影装置１は、図５（Ｃ）に示す方法を用いることによって、計算負荷を少なくできる。

なお、分割は、例えばラベリング（ｌａｂｅｌｉｎｇ）等によって実現されてもよい。また、ステップＳ０１（図４）は、例えば、ユーザが撮影準備状態にする操作を行うと、撮像素子１Ｈ４（図２）がＡ／Ｄ変換等を行い、画像データＤ１が生成される処理である。なお、撮影準備状態にする操作は、例えば入力Ｉ／Ｆ１Ｈ３（図２）の一例であるシャッタボタンに対して、ユーザによって、いわゆる半押しが行われた場合等である。

（焦点距離の取得例（ステップＳ０２））
図４に戻り、ステップＳ０２では、撮影装置は、焦点距離を取得する。具体的には、ステップＳ０２では、撮影装置は、ステップＳ０１で生成された分割領域の焦点距離をそれぞれ取得する。

例えば、焦点距離は、撮像素子１Ｈ４（図２）がコントラスト又は位相差を利用するＡＦを行う場合、ＡＦ機能によって求められる。具体的には、コントラストを利用するＡＦでは、焦点距離を変化させて明暗差（コントラスト）が最大となる点を探して焦点距離が求められる。一方、位相差を利用するＡＦでは、レンズに光が入射すると、入射した光が２つに分けられる。次に、分けられた２つの光がそれぞれセンサに導かれ、光がそれぞれ結像した２つの画像の間隔（視差）からピント面の位置（方向）及び合焦となる点までの距離を判定して焦点距離が求められる。

なお、焦点距離は、ステレオ法又は画面位相差ＡＦ機能等によって求められてもよい。

（全分割領域の焦点距離が取得されたか否かの判断例（ステップＳ０３））
ステップＳ０３では、撮影装置は、全分割領域の焦点距離が取得されたか否かを判断する。例えば、図５（Ｂ）に示す方法でステップＳ０１が行われる場合、ステップＳ０３では、撮影装置は、８０個の焦点距離がそれぞれ取得されたか否かを判断する。

ステップＳ０３で全分割領域の焦点距離が取得されたと判断する場合（ステップＳ０３でＹＥＳ）、撮影装置は、ステップＳ０４に進む。一方、ステップＳ０３で全分割領域の焦点距離が取得されていないと判断する場合（ステップＳ０３でＮＯ）、撮影装置は、ステップＳ０２に進む。即ち、ステップ０３によって、全分割領域の焦点距離が取得されるまで、ステップＳ０２が繰り返される。

（画像データを焦点距離ごとに取得する例（ステップＳ０４））
ステップＳ０４では、撮影装置は、画像データを焦点距離ごとに取得する。即ち、ステップＳ０４では、撮影装置は、ステップＳ０２で取得される各焦点距離にそれぞれ焦点距離を変化させて、焦点距離ごとに画像データをそれぞれ取得する。具体的には、例えば図５（Ｂ）に示す方法でステップＳ０１が行われる場合、撮影装置は、各分割領域に対応する焦点距離ごとに画像データをそれぞれ取得し、合計８０枚の画像データを取得する。

なお、ステップＳ０４では、複数の分割領域のうち、焦点距離が同一又は所定の値以内の差となる被写体に対応する分割領域がある場合、撮影装置は、いずれか１つの分割領域の画像データを取得してもよい。例えば、４つの分割領域がそれぞれ同一の被写体に対応し、４つの分割領域の焦点距離が同一となる場合、撮影装置は、４つの分割領域について１枚の画像データを取得する。このように画像データを取得すると、撮影装置は、４枚の画像データをそれぞれ取得するのを１枚の画像データとすることができる。したがって、撮影装置は、画像データのデータ量を少なくすることができる。この場合、画像データの撮影に用いる焦点距離は、各分割領域の焦点距離を平均した平均値又は各分割領域の焦点距離のうち最小値が好ましい。

また、画像データは、レンズの絞りを最大に開放（絞り値を最も小さく）して撮影され、ピント面から離れると、画像のボケが大きくなる状態で撮影されるのが好ましい。

なお、画像データは、三次元空間における光線の情報を有するデータでもよい。具体的には、画像データは、いわゆるライトフィールド（Ｌｉｇｈｔ Ｆｉｌｅｄ）画像のデータでもよい。

図６は、本発明の一実施形態に係るライトフィールド画像を撮影する構成の一例を示す図である。具体的には、図６に示す構成では、撮像素子１Ｈ４は、レンズ１Ｈ９を有し、レンズ１Ｈ９に入射する光線がセンサ１Ｈ１１に結像する前にマイクロレンズ１Ｈ１０を通過する構成とする例である。なお、撮像素子１Ｈ４は、光学フィルタ等の光学部品をさらに有する構成でもよい。また、図６では、実線、破線、及び一点鎖線は、第１地点Ｐ１からの光線の一部を示す。即ち、第１地点Ｐ１で発光した一部の光線は、レンズ１Ｈ９及びマイクロレンズ１Ｈ１０を通過してセンサ１Ｈ１１に到達する。

ここで、第１地点Ｐ１に位置する被写体に係る光線は、レンズ１Ｈ９によって、マイクロレンズ１Ｈ１０の位置ＰＡに焦点を結ぶとする。この場合、それぞれの光線について、画像素子によって光線の方向及び明るさが記憶される。さらに、記憶された光線の方向及び明るさに基づいて、マイクロレンズ１Ｈ１０によって位置ＰＡに焦点を結ぶ画素を平均化すると、第１地点Ｐ１にピント面を合わせた画像が生成される。

次に、第２地点Ｐ２に位置する点Ｐ３について、点Ｐ３を通過する３本の光線は、マイクロレンズ１Ｈ１０を通過してセンサ１Ｈ１１に到達する。この場合、それぞれの光線について、画像素子によって光線の方向及び明るさが記憶される。さらに、記憶された光線の方向及び明るさに基づいて、マイクロレンズ１Ｈ１０によって位置ＰＢに焦点を結ぶ画素を平均化すると、第２地点Ｐ２にピント面を合わせた画像が生成される。これは、位置ＰＢに焦点が合うようにピント面を合わせると、第１地点Ｐ１にある被写体がボケることが計算されたことに相当する。即ち、ライトフィールド画像は、第１地点Ｐ１及び第２地点Ｐ２等の複数の焦点距離に対応した画像を示すことができる画像である。

ライトフィールド画像が撮影できる構成では、撮影装置は、焦点距離を変化させて画像データを取得する必要が少ない。また、ライトフィールド画像が用いられると、記憶される光線に係るデータに基づいて、撮影後にフォーカスする位置が変更できる、いわゆる「リフォーカス」が可能となる。このため、撮影装置は、ライトフィールド画像によって、複数の焦点距離にそれぞれ対応する画像データを取得することができる。また、ライトフィールド画像が撮影できる構成であると、撮影装置は、焦点距離を変化させて焦点距離ごとに画像データをそれぞれ取得する方法と比較して、複数の焦点距離に対応する画像データを高速に取得することができる。

（全焦点距離の画像データが取得されたか否かの判断例（ステップＳ０５））
図４に戻り、ステップＳ０５では、撮影装置は、全焦点距離の画像データが取得されたか否かを判断する。例えば、図５（Ｂ）に示す方法でステップＳ０１が行われる場合、ステップＳ０５では、撮影装置は、８０個の焦点距離にそれぞれ対応する画像データがそれぞれ取得されたか否かを判断する。一方、ライトフィールド画像が用いられる場合、ステップＳ０５では、撮影装置は、ライトフィールド画像が取得されたか否かを判断する。

ステップＳ０５で全焦点距離の画像データが取得されたと判断する場合（ステップＳ０５でＹＥＳ）、撮影装置は、ステップＳ０６に進む。一方、ステップＳ０５で全焦点距離の画像データが取得されていないと判断する場合（ステップＳ０５でＮＯ）、撮影装置は、ステップＳ０４に進む。即ち、ステップ０５によって、全分割領域の画像データが取得されるまで、ステップＳ０４が繰り返される。

（重ね合わせデータの生成例（ステップＳ０６））
ステップＳ０６では、撮影装置は、焦点距離ごとに重ね合わせデータをそれぞれ生成する。

図７は、本発明の一実施形態に係る重ね合わせデータの生成の一例を示すフローチャートである。例えば、ステップＳ０６では、撮影装置は、図７に示す処理を行う。

（画像データの選択例（ステップＳ０６１））
ステップＳ０６１では、撮影装置は、画像データを選択する。具体的には、ステップＳ０６１では、撮影装置は、ステップＳ０４及びＳ０５（図４）によって焦点距離ごとに生成される複数の画像データのうち、いずれか１つの画像データを選択する。

（特徴量の選択例（ステップＳ０６２））
ステップＳ０６２では、撮影装置は、特徴量を選択する。具体的には、ステップＳ０６２では、撮影装置は、複数の特徴量が用いられる場合、複数の特徴量のうち、いずれか１つの特徴量を選択する。また、ステップＳ０６２では、撮影装置は、ステップＳ０６１で選択される画像データの画素値を変換して特徴量を算出してもよい。例えば、画像データの画素値がＲＧＢ値であり、かつ、特徴量が輝度である場合、撮影装置は、ＲＧＢ値から各画素の輝度をそれぞれ算出する。なお、用いられる特徴量は、予め撮影装置に設定される又はユーザによって任意に設定できる。

特徴量は、画像データが有する画素がそれぞれ示す画素値に基づいて算出される値である。例えば、特徴量は、輝度、明度、彩度、色相、色、モーション、エッジ成分、方位、又はこれらの組み合わせで示される値である。また、色は、ＲＧＢ値を用いて算出される値等である。さらに、特徴量データは、画像において、特徴量のコントラスト値によって、人が被写体に対して興味を引く注目度を定量的に示すデータである。

ここで、例えば注目被写体の色味が背景と同系である場合に、特徴量として色又は色相等が選択されると、特徴量のコントラスト値が小さくなり、生成された特徴量データは、該被写体に対して興味を引く注目度を適正に示さない結果となる場合がある。この場合、特徴量には、画像データのエッジ成分とその方位とが選択されるのが好ましい。以下、エッジ成分と方位とが用いられる特徴量データの生成法について説明する。

例えば、撮影装置は、画像データに対し、４方位（０°、４５°、９０°、１３５°）のエッジ成分の強度平均をそれぞれ計算し、それぞれの特徴量とする。また、エッジ検出には、Ｓｔｅｅｒａｂｌｅ Ｇａｂｏｒフィルタ等を用いることで、撮影装置は、任意の方位に対しエッジ成分強度を算出することができる。

さらに、画像データの解像度を段階的に下げた異スケール画像を複数用意し、エッジ検出がそれぞれ行われると、撮影装置は、周波数成分ごとの特徴量データをそれぞれ生成することができる。

エッジ成分強度は、画像データに含まれる主要な直線成分を反映し、画像データの大局的な特徴を示す。また、周波数成分ごとの特徴量データからは、被写体の種類及び奥行きを判別することができる。これは、被写体が自然物である場合、各方位に対する周波数成分は、等方性を示す。また、被写体が人工物である場合、各方位に対する周波数成分は、方位依存が大きくなる。したがって、撮影装置は、これらの特徴を利用する。

さらに、エッジ成分及び方位による特徴量データは、画像データを分割した領域ごとに計算されてもよく、この場合、撮影装置は、注目領域とその周辺領域とのエッジ成分強度のコントラスト値から、より注目度として適正な特徴量データとすることができる。

（ガウシアンピラミッドデータの生成例（ステップＳ０６３））
ステップＳ０６３では、撮影装置は、選択された特徴量に基づいてガウシアンピラミッド（Ｇａｕｓｓｉａｎ Ｐｙｒａｍｉｄ）データを特徴量ごとにそれぞれ生成する。例えば、ステップＳ０６２で選択された特徴量が輝度である場合、撮影装置は、輝度に係るガウシアンピラミッドデータを生成する。これに対して、ステップＳ０６２で選択された特徴量が色である場合、撮影装置は、レッド成分ｒをグリーン成分ｇで除算した値及びブルー成分ｂをイエロー成分ｙで除算した値に係るガウシアンピラミッドデータをそれぞれ生成する。各色成分は、ＲＧＢ値を用いて計算できる（例えば、ｒ＝Ｒ−（Ｇ＋Ｂ）／２、ｇ＝Ｇ−（Ｒ＋Ｂ）／２、ｂ＝Ｂ−（Ｒ＋Ｇ）／２、ｙ＝（Ｒ＋Ｇ）／２−｜Ｒ−Ｇ｜／２−Ｂ）。

ガウシアンピラミッドデータは、画像のボケ具合がそれぞれ異なるようにフィルタ係数が設定された複数のガウシアンフィルタをステップＳ０６１で選択される画像データにそれぞれ適用させて生成される複数の画像で構成されるデータである。例えば、画像のボケ具合が順に２倍となるように設定されたガウシアンフィルタによるフィルタリングが行われると、画像の解像度が順に２分の１となる画像がそれぞれ生成され、ガウシアンピラミッドデータが生成される。つまり、例えば、ガウシアンフィルタが８段階適用されると、原画像データから１／２５６（＝１／２^８）の縮尺となる画像まで合計９枚の画像で構成されるガウシアンピラミッドデータが生成される。

（特徴量データの生成例（ステップＳ０６４））
ステップＳ０６４では、撮影装置は、生成されたガウシアンピラミッドデータに基づいて特徴量データを特徴量ごとにそれぞれ生成する。具体的には、まず、撮影装置は、ガウシアンピラミッドデータに含まれる解像度がそれぞれ異なる画像を同サイズに規格化して比較する。この場合、解像度の低い（画素の粗い）画像に含まれる画素は、同じ位置の解像度の高い（画素の細かい）画像に含まれる画素の周辺の特徴量を示す。そのため、規格化された異なる解像度の画像の差分を算出すると、撮影装置は、注目する画素の周辺と比較して特徴量の差分が大きくなる領域を算出できる。

つまり、ステップＳ０６４では、撮影装置は、ガウシアンピラミッドデータに含まれる異なる解像度の２つの画像に基づいて差分を求め、コントラスト値を算出する。次に、撮影装置は、算出されたコントラスト値を画像データが有する画素に対応させて特徴量データを生成する。

（全特徴量の特徴量データが生成されたか否かの判断例（ステップＳ０６５））
ステップＳ０６５では、撮影装置は、全特徴量の特徴量データが生成されたか否かを判断する。即ち、予め撮影装置に設定された特徴量ごとにそれぞれ特徴量データが生成されたか否かを撮影装置が判断する。

ステップＳ０６５で全特徴量の特徴量データが生成されたと判断する場合（ステップＳ０６５でＹＥＳ）、撮影装置は、ステップＳ０６６に進む。一方、ステップＳ０６５で全特徴量の特徴量データが生成されていないと判断する場合（ステップＳ０６５でＮＯ）、撮影装置は、ステップＳ０６２に進む。即ち、ステップＳ０６５によって、全特徴量の特徴量データが生成されるまで、ステップＳ０６２乃至Ｓ０６４が繰り返される。

（特徴量データに基づく重ね合わせデータの生成例（ステップＳ０６６））
ステップＳ０６６では、撮影装置は、特徴量データに基づいて重ね合わせデータを生成する。具体的には、ステップＳ０６６では、重ね合わせデータは、ステップＳ０６４で特徴量ごとにそれぞれ生成される特徴量データを重ね合わせて生成される。

図８は、本発明の一実施形態に係る重ね合わせデータの生成の一例を示す模式図である。具体的には、図８は、ステップＳ０６１（図７）で画像データＤ１が選択され、ｎ種類の特徴量７について、図７に示す処理がそれぞれ行われる例である。また、図８は、ｎ種類の特徴量７のうち、「特徴量１」は、輝度とし、「特徴量２」は、レッド成分ｒをグリーン成分ｇで除算した色を示す値とし、「特徴量３」は、ブルー成分ｂをイエロー成分ｙで除算した色を示す値とする例である。さらに、図８は、「特徴量４」乃至「特徴量７」をそれぞれ方位０°、４５°、９０°、及び１３５°のエッジ成分とする例である。

ステップＳ０６２（図７）では、ｎ種類の特徴量７のうち、いずれかの特徴量が選択される。次に、ステップＳ０６３（図７）では、撮影装置は、ステップＳ０６２で選択された特徴量に係るガウシアンピラミッドデータＤ２を特徴量ごとにそれぞれ生成する。

続いて、ステップＳ０６４（図７）では、撮影装置は、ガウシアンピラミッドデータＤ２に基づいて、特徴量データＤ３として例えば特徴量マップデータを特徴量ごとにそれぞれ生成する。

次に、ステップＳ０６６（図７）では、撮影装置は、生成される特徴量マップデータを線形的に重ね合わせて重ね合わせデータＤ４を生成する。なお、重ね合わせによって各ガウシアンピラミッドデータＤ２が有するノイズが強調される場合がある。したがって、ステップＳ０６６では、撮影装置は、各ガウシアンピラミッドデータＤ２が有するノイズを低減させるため、規格化処理を行って特徴量マップデータを重ね合わせてもよい。

また、重ね合わせデータＤ４は、"Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ"（Ｌ. Ｉｔｔｉ，Ｃ. Ｋｏｃｈ，ａｎｄ Ｅ. Ｎｉｅｂｕｒ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２０，Ｎｏ１１，１９９８）等の方法によって生成されるいわゆる顕著性マップ等でもよい。

（全焦点距離の重ね合わせデータが生成されたか否かの判断例（ステップＳ０７））
図４に戻り、ステップＳ０７では、撮影装置は、全焦点距離の重ね合わせデータが生成されたか否かを判断する。具体的には、全焦点距離の重ね合わせデータが生成されたと撮影装置が判断する場合（ステップＳ０７でＹＥＳ）、撮影装置は、ステップＳ０８に進む。一方、全焦点距離の重ね合わせデータが生成されていないと判断する場合（ステップＳ０７でＮＯ）、撮影装置は、ステップＳ０６に進む。即ち、ステップＳ０７によって、全焦点距離の重ね合わせデータが生成されるまでステップＳ０６が繰り返される。

（重ね合わせデータに基づく空間データの生成例（ステップＳ０８））
ステップＳ０８では、撮影装置は、重ね合わせデータに基づいて空間データを生成する。空間データは、ステップＳ０６で生成される全焦点距離の重ね合わせデータに基づいて生成されるデータであり、空間データは、人が被写体に対して興味を引く注目度を定量的に示すデータである。

図９は、本発明の一実施形態に係る空間データの生成の一例を示す模式図である。具体的には、図９は、図５（Ａ）に示す画像データＤ１から空間データＤ５を生成する例を示す図である。

図４に示すステップＳ０２及びステップＳ０３によって、撮影装置は、各被写体の焦点距離８をそれぞれ取得する。以下、図９では、撮影装置が、被写体として第一被写体２、第二被写体３、及び第三被写体４について処理する例を示す。また、図９では、第一被写体２の焦点距離８をＬ（２，５）とし、第二被写体３の焦点距離８をＬ（５，３）とし、第三被写体４の焦点距離８をＬ（４，１）とする。

まず、図９では、ステップＳ０２及びステップＳ０３によって、撮影装置は、各被写体の焦点距離８として、Ｌ（２，５）、Ｌ（５，３）、及びＬ（４，１）をそれぞれ取得する。

次に、ステップＳ０４及びステップＳ０５（図４）によって、撮影装置は、焦点距離がＬ（２，５）、Ｌ（５，３）、及びＬ（４，１）となるように設定し、各焦点距離でそれぞれ画像データＤ１を取得する。具体的には、図９では、焦点距離をＬ（２，５）にして取得される画像データをＩＭＧ（２，５）とする。さらに、焦点距離をＬ（５，３）にして取得される画像データをＩＭＧ（５，３）とし、焦点距離をＬ（４，１）にして取得される画像データをＩＭＧ（４，１）とする。なお、図９では、各画像データにおいて、ハッチングの領域は、ピントが合っていないため、画像がボケている様子を示す。

さらに、ステップＳ０６及びステップＳ０７（図４）によって、撮影装置は、画像データＤ１ごとに重ね合わせデータＤ４をそれぞれ生成する。具体的には、図９では、ＩＭＧ（２，５）の画像データから生成される重ね合わせデータＤ４をＳＭ（２，５）とする。さらに、ＩＭＧ（５，３）の画像データから生成される重ね合わせデータＤ４をＳＭ（５，３）とし、ＩＭＧ（４，１）の画像データから生成される重ね合わせデータＤ４をＳＭ（４，１）とする。なお、図９では、各重ね合わせデータＤ４において、黒色で示す領域は、注目度が低い領域を示し、白色で示す領域は、注目度が高い領域を示す。

次に、ステップＳ０８（図４）によって、撮影装置は、焦点距離ごとにそれぞれ生成される重ね合わせデータＤ４に基づいて、空間データＤ５を生成する。なお、図９では、空間データＤ５において、黒色で示す領域は、注目度が低い領域を示し、白色で示す領域は、注目度が高い領域を示す。

空間データＤ５は、各重ね合わせデータＤ４に基づいて、重み係数Ｗ（ｉ，ｊ）によって生成できる。例えば、重み係数Ｗ（ｉ，ｊ）は、各被写体Ｒ（ｉ，ｊ）に対するそれぞれの焦点距離Ｌ（ｉ，ｊ）から求まる距離重み係数Ｗ１と、撮影される範囲の画角における各被写体Ｒ（ｉ，ｊ）の位置から求まる位置重み係数Ｗ２とを乗算して算出される。

図１０は、本発明の一実施形態に係る距離重み係数及び位置重み係数の特性の一例を示す図である。具体的には、図１０（Ａ）では、横軸は、各被写体Ｒ（ｉ，ｊ）に対するそれぞれの焦点距離Ｌ（ｉ，ｊ）を最大焦点距離Ｌｍａｘで規格化した規格化焦点距離ｄ（ｉ，ｊ）を示す。また、図１０（Ａ）では、縦軸は、規格化焦点距離ｄ（ｉ，ｊ）に対する距離重み係数Ｗ１を示す。即ち、図１０（Ａ）から、規格化焦点距離ｄ（ｉ，ｊ）及び距離重み係数Ｗ１の関係は、下記（１）式のように示せる。

Ｗ１＝ｆ１（ｄ（ｉ，ｊ））・・・（１）
また、図１０（Ｂ）は、撮影される画像領域を示す画角９における各被写体Ｒ（ｉ，ｊ）の位置ｆ２（ｉ，ｊ）と、位置重み係数Ｗ２との関係を示す。また、位置ｆ２（ｉ，ｊ）及び位置重み係数Ｗ２の関係は、下記（２）式のように示せる。

Ｗ２＝ｆ２（ｉ，ｊ）・・・（２）
ここで、規格化焦点距離ｄ（ｉ，ｊ）は、例えば、焦点距離Ｌ（ｉ，ｊ）を最大焦点距離Ｌｍａｘで除算して求められる値である。また、最大焦点距離Ｌｍａｘは、各焦点距離Ｌ（ｉ，ｊ）のうち、最大の値となる焦点距離である。

したがって、重み係数Ｗ（ｉ，ｊ）は、下記（３）式で示すように、距離重み係数Ｗ１と、位置重み係数Ｗ２とを乗算して算出される。

Ｗ（ｉ，ｊ）＝Ｗ１・Ｗ２＝ｆ１（ｄ（ｉ，ｊ））・ｆ２（ｉ，ｊ）・・・（３）
さらに、空間データＤ５は、下記（４）式によって求められる。

Σ_ｉ，ｊ（Ｗ（ｉ，ｊ）・ＳＭ（ｉ，ｊ））・・・（４）
また、位置重み係数Ｗ２は、図１０（Ｂ）で示す特性に限らず、例えば画像データの構図に基づいて変更されてもよい。例えば、撮影装置は、画像データ中に水平線又は消失点が存在する場合、これらによって視線が誘導される特徴を活かし、該水平線又は消失点の近傍において位置重み係数が高めとなるような特性と設定することができる。

画像データに存在する水平線又は消失点等は、エッジ検出による直線成分の抽出等から位置を特定することができる。例えば、代表的な手法としては、"Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ"（Ｒ．Ｏ．Ｄｕｄａ，ａｎｄ Ｐ．Ｅ．Ｈａｒｔ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．１５，Ｎｏ．１，１９７２）等がある。

（空間データに基づく被写体の抽出例（ステップＳ０９））
図４に戻り、ステップＳ０９では、撮影装置は、空間データに基づいて被写体を抽出する。例えば、ステップＳ０９では、撮影装置は、画像において、撮影される複数の被写体のうち、主な被写体を抽出する。主な被写体は、例えば、撮影の対象となるシーンにおいて、注目度が高い被写体等である。即ち、主な被写体が抽出できると、撮影装置は、抽出される主な被写体に焦点を合わせて撮影できるため、撮影装置は、ユーザが焦点を合わせたい被写体を写す画像を撮影できる。

図１１は、本発明の一実施形態に係る撮影装置による被写体の抽出の一例を示す模式図である。具体的には、図１１（Ａ）は、図９に示す処理によって生成される空間データＤ５を示す。空間データＤ５では、注目度が高い領域は、第一被写体が撮影された第一領域Ｓｃ、第二被写体が撮影された第二領域Ｓｅ、及び第三被写体が撮影された第三領域Ｓｔである。

さらに、図１１（Ｂ）では、縦軸を注目度とし、横軸を図１１（Ａ）における位置として、空間データＤ５を示す。なお、縦軸の値は、空間データＤ５が有する注目度のうち、最大値を「１」として注目度を規格化して示す。具体的には、図１１（Ｂ）では、第一曲線１１は、第一被写体に係る注目度を示し、第二曲線１２は、第二被写体に係る注目度を示し、第三曲線１３は、第三被写体に係る注目度をそれぞれ示す。

空間データＤ５では、第二被写体が撮影された第二領域Ｓｅで注目度が最大となる。これに対して、第三被写体が撮影された第三領域Ｓｔは、第一領域Ｓｃ及び第二領域Ｓｅと比較して、注目度が低い領域となる。

例えば、ステップＳ０９（図４）では、撮影装置は、注目度が最大となる領域に撮影される被写体を抽出する。即ち、図５（Ａ）に示す画像データＤ１では、空間データＤ５に基づいて第二被写体が抽出される。

図１１（Ｃ）は、本発明の一実施形態に係る撮影装置による抽出結果の一例を示す図である。具体的には、抽出結果データＤ６は、画像データＤ１に対するステップＳ０９の処理結果例を示す図である。即ち、抽出結果データＤ６では、空間データＤ５に基づいて第二被写体が抽出されるため、第二被写体が撮影される第一抽出領域２０が抽出される。

なお、ステップＳ０９では、撮影装置は、注目度が所定の閾値以上となる領域に撮影される被写体を抽出してもよい。例えば、撮影装置には、予め閾値Ｓｔｈが設定される。ステップＳ０９では、撮影装置は、図１１（Ｂ）に図示するように、閾値Ｓｔｈ以上となる領域に撮影される被写体を抽出する。即ち、図１１（Ｂ）では、第一領域Ｓｃ及び第二領域Ｓｅがそれぞれ閾値Ｓｔｈ以上となる注目度の高い領域であるため、図５（Ａ）に示す画像データＤ１では、空間データＤ５に基づいて、第一被写体及び第二被写体がそれぞれ抽出される。抽出結果データＤ６では、空間データＤ５に基づいて第一被写体及び第二被写体がそれぞれ抽出されるため、第二被写体が撮影される第一抽出領域２０と、第一被写体が撮影される第二抽出領域２１とがそれぞれ抽出される。

よって、閾値Ｓｔｈが用いられると、注目度の高い被写体が撮影される領域が抽出されるため、撮影装置は、注目度の高い複数の被写体を抽出できる。また、第二抽出領域２１は、第一抽出領域２０と比較すると注目度は低いが、画像内では、注目度が高い領域である。

（焦点の設定例（ステップＳ１０））
図４に戻り、ステップＳ１０では、撮影装置は、抽出された被写体に焦点が合うように設定を行う。例えば、撮影装置は、第二抽出領域２１（図１１（Ｃ））のボケが少なくなるように、レンズの絞り調整によって、被写界深度の範囲を設定する。一方、例えば、第一抽出領域２０（図１１（Ｃ））以外に被写体が抽出されなかった場合、撮影装置は、第一抽出領域２０に焦点距離を合わせ、レンズの絞りをできるだけ開放し、被写界深度をできるだけ狭くするように設定するのが好ましい。

（全体処理の処理結果例）
図１２は、本発明の一実施形態に係る撮影装置による全体処理の処理結果の一例を示す図である。なお、図１２（Ａ）乃至図１２（Ｄ）では、実線３０は、上記（１）式によって算出される距離重み係数Ｗ１とする。また、図１２（Ａ）乃至図１２（Ｄ）では、第一破線３１乃至第九破線３９は、（２）式によって算出される位置重み係数Ｗ２及び重ね合わせデータＤ４（図９）の値であるＳＭ（ｉ，ｊ）を乗算したそれぞれの値とする。

図１２（Ａ）乃至図１２（Ｄ）は、それぞれ異なる被写体が想定された例である。具体的には、図１２（Ａ）は、例えば、人物をメインにするシーンである。即ち、図１２（Ａ）は、例えば、いわゆるポートレイト（ｐｏｒｔｒａｉｔ）撮影等のシーンである。なお、被写体は、人物に限られず、被写体は、車両又はバイク等の単体の物体でもよい。

また、図１２（Ｂ）は、例えば、撮影装置に近い位置に人物等が位置し、かつ、背景としてランドマーク（ｌａｎｄｍａｒｋ）となる建築物又は景色等が存在するシーンである。

さらに、図１２（Ｃ）は、例えば、花、料理、又は商品等の対象物が複数並べられたシーンである。

さらにまた、図１２（Ｄ）は、例えば、遠景を基調とし、風景全般を撮影するシーンである。即ち、図１２（Ｄ）は、パンフォーカス（ｐａｎ−ｆｏｃｕｓ）で撮影されることが多いシーンである。

図１２（Ａ）乃至図１２（Ｄ）では、ステップＳ０９（図４）によって、メインとなる被写体がそれぞれ抽出される。また、図１２（Ａ）乃至図１２（Ｄ）では、黒矢印４０乃至４３は、メインとなる被写体がそれぞれ抽出される規格化焦点距離ｄ（ｉ，ｊ）をそれぞれ示す。これに対して、図１２（Ｂ）乃至図１２（Ｄ）では、白矢印５０乃至５３は、ステップＳ０９によって、メインとなる被写体以外の被写体がそれぞれ抽出される規格化焦点距離ｄ（ｉ，ｊ）をそれぞれ示す。

図１２（Ａ）乃至図１２（Ｄ）では、撮影装置は、実線３０で示す距離重み係数Ｗ１及び第一破線３１乃至第九破線３９に基づいて、黒矢印４０乃至４３及び白矢印５０乃至５３のように、被写体に焦点が合う規格化焦点距離ｄ（ｉ，ｊ）を特定できる。

さらに、図１２（Ａ）乃至図１２（Ｄ）では、矢印ＤＦ１乃至ＤＦ４は、撮影装置によって設定される被写界深度をそれぞれ示す。即ち、撮影装置が被写界深度を矢印ＤＦ１乃至ＤＦ４のように設定すると、撮影装置は、黒矢印４０乃至４３及び白矢印５０乃至５３がそれぞれ示す位置で撮影される被写体のボケを少なくすることができる。

例えば、図１２（Ａ）のシーンでは、注目度の高い被写体は、１つであるため、黒矢印４０が示すように、メインとなる被写体が抽出される。次に、撮影装置は、黒矢印４０に対応する被写体が撮影される第一破線３１の領域に焦点が合うようにレンズの絞り等を調整して、被写界深度が矢印ＤＦ１となるように設定する。即ち、撮影装置は、被写界深度が矢印ＤＦ１となるように設定することによって、人物等の被写体に焦点が合う画像を撮影できる。

また、図１２（Ｂ）のシーンでは、注目度の高い被写体は、２つある。２つの注目度の高い被写体のうち、黒矢印４１に対応する被写体は、実線３０で示す距離重み係数Ｗ１が白矢印５０に対応する被写体と比較して大きな値であるため、メインとなる被写体として抽出される。一方、白矢印５０に対応する被写体は、メインとなる被写体以外の被写体として抽出される。次に、撮影装置は、黒矢印４１に対応する被写体が撮影される第二破線３２及び白矢印５０に対応する被写体が撮影される第三破線３３の領域に焦点が合うようにレンズの絞り等を調整して、被写界深度が矢印ＤＦ２となるように設定する。即ち、撮影装置は、被写界深度が矢印ＤＦ２となるように設定することによって、人物等及び背景の被写体に焦点が合う画像を撮影できる。

さらに、図１２（Ｃ）のシーンでは、複数の被写体が撮影装置に近い位置で撮影される場合が多い。図１２（Ｃ）は、注目度の高い被写体が３つある例である。３つの注目度の高い被写体のうち、黒矢印４２に対応する被写体は、実線３０で示す距離重み係数Ｗ１及び注目度が他の２つの被写体と比較して大きな値であるため、メインとなる被写体として抽出される。一方、黒矢印４２に対応する被写体以外の２つの被写体のうち、図１２（Ｃ）では、白矢印５１に対応する被写体は、距離重み係数Ｗ１が大きい値であるため、メインとなる被写体以外の被写体として抽出される。次に、撮影装置は、黒矢印４２に対応する被写体が撮影される第五破線３５及び白矢印５１に対応する被写体が撮影される第四破線３４の領域に焦点が合うようにレンズの絞り等を調整して、被写界深度が矢印ＤＦ３となるように設定する。即ち、撮影装置は、被写界深度が矢印ＤＦ３となるように設定することによって、複数の被写体に焦点が合う画像を撮影できる。

なお、図１２（Ｃ）は、３つの注目度の高い被写体のうち、黒矢印４２に対応する被写体がメインとなる被写体として抽出される例である。この場合、撮影装置は、全焦点距離のうち、中央値に近い焦点距離から短い焦点距離が被写界深度に含まれるように設定できる。

さらにまた、図１２（Ｄ）のシーンでは、遠景を基調とするため、注目度の高い被写体が撮影装置から遠い位置で撮影される場合が多い。例えば、図１２（Ｄ）では、３つの注目度の高い被写体のうち、最も遠方にある黒矢印４３に対応する被写体が、メインとなる被写体として抽出される例である。さらに、図１２（Ｄ）では、白矢印５２及び白矢印５３に対応する被写体が、メインとなる被写体以外の被写体として抽出される。次に、撮影装置は、黒矢印４３に対応する被写体が撮影される第九破線３９、白矢印５２に対応する被写体が撮影される第七破線３７、及び白矢印５３に対応する被写体が撮影される第八破線３８の領域に焦点が合うようにレンズの絞り等を調整して、被写界深度が矢印ＤＦ４となるように設定する。即ち、撮影装置は、被写界深度が矢印ＤＦ４となるように設定することによって、風景全般を撮影する場合等でも被写体に焦点が合う画像を撮影できる。

なお、図１２（Ｄ）は、３つの注目度の高い被写体のうち、黒矢印４３に対応する被写体がメインとなる被写体として抽出される例である。これに対して、撮影装置は、黒矢印４３に対応する被写体以外をメインとなる被写体として抽出してもよい。この場合、３つの注目度の高い被写体のうち、いずれかがメインとなる被写体として抽出されても、撮影装置は、３つの注目度の高い被写体に焦点が合う範囲を被写界深度に含むように設定できる。したがって、撮影装置は、注目度の高い被写体が複数ある場合でも、パンフォーカスで撮影できるため、風景全般を撮影するのに適した焦点で、画像を撮影できる。

（変形例）
上述した処理は、撮影装置と、撮影装置に接続される情報処理装置とを有する撮影システムによって行われてもよい。情報処理装置は、例えばデジタルビデオカメラ、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、タブレット、ＰＣ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、ウェアラブルＰＣ、ゲーム機器、カーナビゲーション端末、プロジェクタ等の投影装置、又は電子黒板等である。

なお、各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されるコンピュータに実行させるためのプログラムによって実現されてもよい。即ち、プログラムは、撮影装置又は情報処理装置等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、各処理は、１つ以上の情報処理装置を有する撮影システムによって、各処理の一部又は全部を並列、分散、又は冗長して処理されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は、係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ 撮影装置
２ 第一被写体
３ 第二被写体
４ 第三被写体
５ 記録媒体
６ プログラム
７ 特徴量
８ 焦点距離
９ 画角
１１ 第一曲線
１２ 第二曲線
１３ 第三曲線
２０ 第一抽出領域
２１ 第二抽出領域
Ｄ１ 画像データ
Ｄ２ ガウシアンピラミッドデータ
Ｄ３ 特徴量データ
Ｄ４ 重ね合わせデータ
Ｄ５ 空間データ
Ｄ６ 抽出結果データ
Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８、Ａ９、Ａ１０、Ａ１１ 分割領域

特許５００５５７０号公報

Claims (9)

1. 複数の被写体を撮影する撮影装置であって、
   前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得部と、
   前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成部と、
   前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成部と、
   前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成部と、
   前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出部と、
   抽出された前記被写体に焦点を合わせる設定を行う設定部と
   を含む撮影装置。
2. 複数の被写体を撮影する撮影装置であって、
   前記被写体の焦点距離をそれぞれ取得し、画像データを取得する取得部と、
   前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成部と、
   前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成部と、
   前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成部と、
   前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出部と、
   抽出された前記被写体に焦点を合わせる設定を行う設定部と
   を含む撮影装置。
3. 前記画像データは、ライトフィールド画像のデータである請求項２に記載の撮影装置。
4. 前記特徴量は、輝度、明度、彩度、色相、色、モーション、エッジ成分、方位、又はこれらの組み合わせで示される請求項１乃至３のいずれかに記載の撮影装置。
5. 前記設定部は、レンズの絞りによって前記設定を行う請求項１乃至４のいずれかに記載の撮影装置。
6. 複数の被写体を撮影する撮影装置及び前記撮影装置に接続される１以上の情報処理装置を有する撮影システムであって、
   前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得部と、
   前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成部と、
   前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成部と、
   前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成部と、
   前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出部と、
   抽出された前記被写体に焦点を合わせる設定を行う設定部と
   を含む撮影システム。
7. 複数の被写体を撮影する撮影装置が行う撮影方法であって、
   前記撮影装置が、前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得手順と、
   前記撮影装置が、前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成手順と、
   前記撮影装置が、前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成手順と、
   前記撮影装置が、前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成手順と、
   前記撮影装置が、前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出手順と、
   前記撮影装置が、抽出された前記被写体に焦点を合わせる設定を行う設定手順と
   を含む撮影方法。
8. 複数の被写体を撮影するコンピュータに撮影を実行させるためのプログラムであって、
   前記コンピュータが、前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得手順と、
   前記コンピュータが、前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成手順と、
   前記コンピュータが、前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成手順と、
   前記コンピュータが、前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成手順と、
   前記コンピュータが、前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出手順と、
   前記コンピュータが、抽出された前記被写体に焦点を合わせる設定を行う設定手順と
   を実行させるためのプログラム。
9. 複数の被写体を撮影するコンピュータに撮影を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記コンピュータが、前記被写体の焦点距離をそれぞれ取得し、前記焦点距離ごとにそれぞれ画像データを取得する取得手順と、
   前記コンピュータが、前記画像データがそれぞれ有する画素がそれぞれ示す画素値に基づいて算出される特徴量のコントラスト値を示す特徴量データを前記焦点距離ごとにそれぞれ生成する特徴量データ生成手順と、
   前記コンピュータが、前記特徴量データを重ね合わせて、重ね合わせデータを生成する重ね合わせデータ生成手順と、
   前記コンピュータが、前記焦点距離及び前記重ね合わせデータに基づいて生成される空間データを生成する空間データ生成手順と、
   前記コンピュータが、前記画像データにおいて、前記空間データに基づいて前記被写体を抽出する抽出手順と、
   前記コンピュータが、抽出された前記被写体に焦点を合わせる設定を行う設定手順と
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。