JP2013197827A - 撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末 - Google Patents

Abstract

【課題】撮影装置等で撮影された撮影画像に、その撮影画像に応じた構図のフレームを設定する。
【解決手段】撮影画像が入力される画像入力部１と、画像入力部１に入力された撮影画像から主被写体を検出する主被写体検出部２と、主被写体検出部２にて検出された主被写体の状態を認識する状態認識部３と、状態認識部３にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、その状態に対応づけられた構図のフレームを選出する構図選出部４ａと、構図選出部４ａにて選出されたフレームを設定フレームとして撮影画像に設定するフレーム設定部５とを有する。
【選択図】図１

Description

本発明は、撮影画像にフレームを設定する撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末に関し、特に、撮影画像に応じた構図のフレームを設定する技術に関する。

近年、デジタルカメラやカメラ付き携帯端末等の普及により、撮影した画像をデジタルデータとして記憶媒体に記憶しておくユーザが増えている。このような撮影においては、撮影領域を示すフレーム枠の設定が重要な役割を果たすことが多い。

特許文献１には、撮影対象となる画像全体から主被写体を検出し、その主被写体を複数の所定の位置に配置させた複数のフレーム枠候補を表示装置に表示し、複数のフレーム枠候補から少なくとも１つのフレーム枠を選択させる方法が開示されている。この方法を用いれば、構図の知識を有しないユーザでも、撮影画像を、簡単な操作で最適な構図に編集することができるようになる。

特開２００７−２９５２０３号公報

しかしながら、上述した技術においては、主被写体を複数の所定の位置に配置させた複数のフレーム枠候補を表示するものであり、主被写体の配置位置は予め決められているため、主被写体の状態とは無関係に構図のフレームが決められてしまうという問題点がある。例えば、主被写体の表情が笑顔である場合、笑顔を強調すべきであるとしても、表示されたフレーム枠候補にはその笑顔を強調できるものがあるとは限らない。また、主被写体の姿勢が全身を用いた特殊なポーズである場合、その特殊なポーズを残しておいたり伝えたりしたくても、表示されたフレーム枠候補にはそのポーズがわかりやすいものがあるとは限らない。

本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、撮影装置等で撮影された撮影画像に、その撮影画像に応じた構図のフレームを設定することができる、撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末を提供することを目的とする。

上記目的を達成するために本発明は、
撮影画像が入力される入力手段と、
前記入力手段に入力された撮影画像から主被写体を検出する主被写体検出手段と、
前記主被写体検出手段にて検出された主被写体の状態を認識する状態認識手段と、
前記状態認識手段にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する第１の選出手段と、
前記第１の選出手段にて選出されたフレームを設定フレームとして前記撮影画像に設定する設定手段とを有する。

また、入力された撮影画像から主被写体を検出する主被写体検出処理と、
前記主被写体検出処理にて検出された主被写体の状態を認識する状態認識処理と、
前記状態認識処理にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する選出処理と、
前記選出処理にて選出されたフレームを前記撮影画像に設定する設定処理とを有する。

また、前記撮影補助装置を搭載した撮影装置であって、
撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有する。

また、前記撮影補助装置を搭載したカメラ付き携帯端末であって、
撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有する。

本発明によれば、撮影画像に含まれる主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、その状態に対応づけられた構図のフレームを選出し、選出したフレームを撮影画像に設定する構成としたことにより、撮影装置等で撮影された撮影画像に、その撮影画像に応じた構図のフレームを設定することができる。

本発明の撮影補助装置の基本的な構成の一例を示すブロック図である。 本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。 本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。 本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。 図３に示した撮影補助装置を搭載した撮影装置の実施の一形態を示すブロック図である。 図５に示した撮影装置の主被写体検出部、状態認識部、状態特定構図選出部及びフレーム枠候補出力部における処理の一例を説明するためのフローチャートである。 図５に示した撮影装置において画像フレーム枠推奨部にて選出された構図のフレームを撮影画像に設定する処理を説明するためのフローチャートである。 図５に示した撮影装置において表示部に表示される適切構図ガイド画像の一例を示す図である。 図８に示したように表示部に表示された適切構図ガイド画像に応じた撮影画像を記憶部に記憶させる処理を説明するためのフローチャートである。 図５に示した撮影装置の主被写体検出部、状態認識部、状態特定構図選出部及びフレーム枠候補出力部における処理の他の例を説明するためのフローチャートである。 図５に示した撮影装置において表示部に表示される適切構図ガイド画像の他の例を示す図である。 図５に示した撮影装置の注視領域検出部、文字認識部、目障判定部、目障排除構図選出部及びフレーム枠候補出力部における処理の一例を説明するためのフローチャートである。 図５に示した撮影装置において表示部に表示される適切構図ガイド画像の他の例を示す図である。 図５に示した撮影装置の輝度解析部、背景領域特定部、輝度適正構図選出部及びフレーム枠候補出力部における処理の一例を説明するためのフローチャートである。 図５に示した撮影装置において表示部に表示される適切構図ガイド画像の他の例を示す図である。 図５に示した撮影装置において、状態特定構図選出部、目障排除構図選出部及び輝度適性構図選出部にて選出された構図のフレームを全て撮影画像に重ねたイメージの一例を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。

まず、本発明の撮影補助装置の基本的な構成例について説明する。

図１は、本発明の撮影補助装置の基本的な構成の一例を示すブロック図である。

本例における撮影補助装置は図１に示すように、入力手段となる画像入力部１と、主被写体検出手段となる主被写体検出部２と、状態認識手段となる状態認識部３と、第１の選出手段となる構図選出部４ａと、設定手段となるフレーム設定部５とから構成されている。

上記のように構成された撮影補助装置は、例えば、撮影装置やカメラ付き携帯端末に搭載されて使用される。撮影装置やカメラ付き携帯端末に搭載されて使用される場合、撮影装置やカメラ付き携帯端末にて撮影された撮影画像が画像入力部１に入力されると、まず、主被写体検出部２が、画像入力部１に入力された撮影画像から、人物の顔や人体等の主被写体を検出する。次に、状態認識部３が、主被写体検出部２にて検出された主被写体の状態を認識する。この認識処理は、例えば、主被写体検出部２にて検出された主被写体が人物の顔である場合はその人物の顔の表情を認識し、また、主被写体検出部２にて検出された主被写体が人体である場合はその姿勢を認識する等を行う。構図選出部４ａは、状態認識部３にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、その状態に対応づけられた構図のフレームを選出する。撮影補助装置や、これが搭載された撮影装置やカメラ付き携帯端末においては、主被写体の状態が予め複数設定されており、例えば、これら撮影補助装置や、これが搭載された撮影装置やカメラ付き携帯端末の記憶部に主被写体の複数の状態が記憶されている。構図選出部４ａにて構図のフレームが選出されると、フレーム設定部５が、撮影装置やカメラ付き携帯端末にて撮影された撮影画像に、構図選出部４ａにて選出された構図フレームを設定フレームとして設定する。この撮影画像への設定フレームの設定は、例えば、設定フレームの外枠をガイド情報として撮影画像上に重ねることによって行ったり、撮影装置やカメラ付き携帯端末の表示部に撮影画像が表示された場合に、撮影画像のうち設定フレーム以外の部分が隠蔽された状態となるように行ったり、また、撮影画像を、撮影画像から設定フレーム以外の部分を削除したものに置き換えることによって行ったりすることが考えられる。

本例における撮影補助装置においては、撮影画像に含まれる主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、その状態に対応づけられた構図のフレームを選出し、選出したフレームを撮影画像に設定することにより、撮影装置やカメラ付き携帯端末等で撮影された撮影画像に、その撮影画像に応じた構図のフレームを設定することができる。

ここで、撮影装置やカメラ付き携帯端末等で撮影された撮影画像においては、撮影画像の中に目障りな文字や文字列が含まれる場合がある。ところが、背景技術に記載した技術のように、主被写体を複数の所定の位置に配置させた複数のフレーム枠候補を表示するものにおいては、このような目障りな文字や文字列について何ら考慮されることなくフレームが設定されてしまう。

そこで、図１に示した構成に、撮影画像の中に目障りな文字や文字列が含まれる場合に、これらの文字や文字列を考慮したフレームの設定を行う構成を付加したものについて以下に説明する。

図２は、本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。

本例における撮影補助装置は図２に示すように、図１に示したものに対して、注視領域検出手段となる注視領域検出部６と、第２の選出手段となる構図選出部４ｂとが新たに設けられている点が異なるものである。

図２に示した撮影補助装置においても、主被写体検出部２、状態認識部３及び構図選出部４ａにおいては、図１に示したものと同様の動作を行う。また、注視領域検出部６が、画像入力部１に入力された撮影画像から注視領域を検出する。なお、注視領域の検出は、撮影画像の中で特徴を有する領域を検出するものであって、例えば、主被写体以外の一定の大きさの範囲であって、色を指定するためのパラメータ値が所定の範囲外となる領域や、主被写体以外の一定の大きさの範囲であって、色彩が不規則に変化する点が単位面積にて所定数以上存在する領域や、主被写体以外の一定の大きさの範囲であって、予め設定された特徴文字または特徴画像が単位面積にて所定数以上存在する領域を注視領域として検出するというように行われる。構図選出部４ｂは、注視領域検出部６にて検出された注視領域に、予め設定された文字または文字列が含まれている場合、撮影画像からその注視領域が除かれるような構図のフレームを選出する。構図選出部４ｂにて構図のフレームが選出されると、フレーム設定部５が、撮影装置やカメラ付き携帯端末にて撮影された撮影画像に、構図選出部４ａにて選出された構図フレームと構図選出部４ｂにて選出された構図フレームとに応じたフレームを設定フレームとして設定する。

本例における撮影補助装置においては、撮影画像から検出された注視領域に、予め設定された文字または文字列が含まれている場合、撮影画像からその注視領域が除かれるような構図のフレームを選出し、選出したフレームに応じた設定フレームを設定することにより、図１に示した構成による効果に加えて、撮影画像の中に目障りな文字や文字列が含まれる場合に、これらの文字や文字列を除いた構図のフレームを設定することができる。

ここで、撮影装置やカメラ付き携帯端末等で撮影された撮影画像においては、背景領域の一部に明るさが顕著に異なる領域が存在する場合がある。例えば、窓の白とびが挙げられる。ところが、背景技術に記載した技術のように、主被写体を複数の所定の位置に配置させた複数のフレーム枠候補を表示するものにおいては、このように背景領域における明暗のバランスについて何ら考慮されることなくフレームが設定されてしまう。

そこで、図２に示した構成に、背景領域における明暗のバランスを考慮したフレームの設定を行う構成を付加したものについて以下に説明する。

図３は、本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。

本例における撮影補助装置は図３に示すように、図２に示したものに対して、輝度検出手段となる輝度解析部７と、背景領域特定手段となる背景領域特定部８と、第３の選出手段となる構図選出部４ｃとが新たに設けられている点が異なるものである。

図３に示した撮影補助装置においても、主被写体検出部２、状態認識部３、注視領域検出部６及び構図選出部４ａ，４ｂにおいては、図１及び図２に示したものと同様の動作を行う。また、輝度解析部７が、画像入力部１に入力された撮影画像の輝度を解析し、輝度レベルが所定値以上となる画素集合領域を検出する。また、背景領域特定部８が、画像入力部１に入力された撮影画像から背景領域を特定する。構図選出部４ｃは、画像入力部１に入力された撮影画像から、背景領域特定部８にて特定された背景領域のうち輝度解析部７にて検出された画素集合領域が除かれるような構図のフレームを選出する。構図選出部４ｃにて構図のフレームが選出されると、フレーム設定部５は、撮影装置やカメラ付き携帯端末にて撮影された撮影画像に、構図選出部４ａにて選出された構図フレームと構図選出部４ｂにて選出された構図フレームと構図選出部４ｃにて選出された構図フレームとに応じたフレームを設定フレームとして設定する。

本例における撮影補助装置においては、撮影画像の背景領域のうち、輝度レベルが所定値以上となる画素集合領域を有する背景領域が除かれるような構図のフレームを選出し、選出したフレームに応じた設定フレームを設定することにより、図１及び図２に示した構成による効果に加えて、背景領域における明暗のバランスを考慮したフレームを設定することができる。

図４は、本発明の撮影補助装置の基本的な構成の他の例を示すブロック図である。

本例における撮影補助装置は図４に示すように、図３に示したものに対して、輝度解析部７と背景領域特定部８とが入れ替わった配置となっている。

図４に示した撮影補助装置においては、背景領域特定部８が、画像入力部１に入力された撮影画像から背景領域を特定し、輝度解析部７が、背景領域特定部８にて特定された背景領域の輝度を解析し、輝度レベルが所定値以上となる画素集合領域を検出することになる。そして、構図選出部４ｃにおいて、画像入力部１に入力された撮影画像から輝度解析部７にて検出された画素集合領域が除かれるような構図のフレームを選出する。

以下に、上述した撮影補助装置の具体的な実施形態について、図３に示した撮影補助装置を用いた実施形態を例に挙げて説明する。

図５は、図３に示した撮影補助装置を搭載した撮影装置の実施の一形態を示すブロック図である。

本形態は図５に示すように、撮影手段となる光学部１０と、入力部２０と、表示部３０と、記憶部４０と、制御部５０とを有する撮影装置である。

光学部１０は、撮像素子やレンズ等から構成され、撮影対象となる被写体等を撮影するものであって、一般的な撮影装置に搭載されているものを用いることができる。

入力部２０は、タッチスクリーン等から構成され、撮影装置の操作を行うためのものであり、一般的な撮影装置に搭載されているものを用いることができる。

表示部２０は、液晶ディスプレイ等からなり、撮影画像を表示するためのものであって、一般的な撮影装置に搭載されているものを用いることができる。

記憶部４０は、撮影画像を記憶するとともに、光学部１０にて撮影された被写体等の撮影画像に応じた構図や、撮影画像に含まれている場合に目障りとなる文字や文字列等を予め記憶している。

制御部５０は、ＣＰＵと専用回路とメモリ等を含み、メモリ上のプログラムにより様々な情報処理を行うものであって、画像処理部５１と、入力制御部５２と、構図ガイド生成部５３と、データ変換部５４と、表示制御部５５と、トリミング手段となる構図トリミング部５６と、ファイル化部５７と、記憶制御部５８と、画像フレーム枠推奨部１００とを有しており、画像フレーム枠推奨部１００と構図ガイド生成部５３とから、図３に示した撮影補助装置が構成される。

画像処理部５１は、光学部１０にて被写体等が撮影された撮影画像をデジタル化処理する。

入力制御部５２は、入力部２０に対する操作を認識する。

構図ガイド生成部５３は、図１〜図４に示したフレーム設定部５に相当するものであって、画像フレーム枠推奨部１００から出力された構図のフレームに基づいて、画像処理部５１にて処理された撮影画像に重ねる構図ガイドを生成し、この構図ガイドを、画像処理部５１にて処理された撮影画像に重ねて適切構図ガイド画像を生成する。

データ変換部５４は、構図ガイド生成部５３にて生成された適切構図ガイド画像を表示部３０の表示形式に合わせてデータ変換する。

表示制御部５５は、表示部３０における撮影画像の表示を制御する。

構図トリミング部５６は、画像処理部５１にて処理された撮影画像を、画像フレーム枠推奨部１００から出力されたフレームの座標情報に基づいてトリミングして撮影画像情報を生成する。

ファイル化部５７は、構図トリミング部５６にて生成された撮影画像情報を、記憶部４０に記憶した後に、読み出して再生できるように、圧縮処理やデータ形式の変換等を行って撮影画像情報ファイルを生成する。

記憶制御部５８は、記憶部４０に対する撮影画像の記憶及び読み出しを制御する。

画像フレーム枠推奨部１００は、画像入力部１０１と、主被写体検出部１０２と、状態認識部１０３と、状態特定構図選出部１０４ａと、注視領域検出部１０６と、文字認識部１１１と、目障判定部１１２と、目障排除構図選出部１０４ｂと、輝度解析部１０７と、背景領域特定部１０８と、輝度適正構図選出部１０４ｃと、フレーム枠候補出力部１１３とを有している。なお、主被写体検出部１０２と、状態認識部１０３と、状態特定構図選出部１０４ａとが一連の処理を行うように構成されており、また、注視領域検出部１０６と、文字認識部１１１と、目障判定部１１２と、目障排除構図選出部１０４ｂとが一連の処理を行うように構成されており、また、輝度解析部１０７と、背景領域特定部１０８と、輝度適正構図選出部１０４ｃとが一連の処理を行うように構成されている。

画像入力部１０１は、図１〜図４に示した画像入力部１に相当するものであって、光学部１０にて撮影され、画像処理部５１にてデジタル化処理された撮影画像が入力される。

主被写体検出部１０２は、図１〜図４に示した主被写体検出部２に相当するものであって、画像入力部１０１に入力された撮影画像から、人物の顔や人体等の主被写体を検出する。

状態認識部１０３は、図１〜図４に示した状態認識部３に相当するものであって、主被写体検出部１０２にて検出された主被写体の状態を認識する。

状態特定構図選出部１０４ａは、図１〜図４に示した構図選出部４ａに相当するものであって、状態認識部３にて認識された主被写体の状態が、記憶部４０に予め記憶された複数の状態のうちの１つに該当する場合、その状態に対応づけられて記憶部４０に記憶された構図のフレームを選出する。

注視領域検出部１０６は、図２〜図４に示した注視領域検出部６に相当するものであって、画像入力部１０１に入力された撮影画像から注視領域を検出する。

文字認識部１１１は、注視領域検出部１０６にて注視領域が検出された場合、その注視領域に含まれている文字を認識する。

目障判定部１１２は、文字認識部１１１にて認識された文字と、記憶部４０に予め記憶されている文字や文字列とを照合し、文字認識部１１１にて認識された文字が、記憶部４０に目障りな文字や文字列として予め記憶されているものであるかどうかを判定する。

目障排除構図選出部１０４ｂは、図２〜図４に示した構図選出部４ｂに相当するものであって、文字認識部１１１にて認識された文字が、記憶部４０に目障りな文字や文字列として予め記憶されている場合、画像入力部１０１に入力された撮影画像から、その文字を含む注視領域が除かれるような構図のフレームを選出する。

輝度解析部１０７は、図３に示した輝度解析部７に相当するものであって、画像入力部１０１に入力された撮影画像の輝度を解析し、輝度レベルが所定値以上となる画素集合領域を検出する。

背景領域特定部１０８は、図３に示した背景領域特定部８に相当するものであって、画像入力部１に入力された撮影画像から背景領域を特定する。

輝度適性構図選出部１０４ｃは、図３に示した構図選出部４ｃに相当するものであって、画像入力部１０１に入力された撮影画像から、背景領域特定部１０８にて特定された背景領域のうち輝度解析部１０７にて検出された画素集合領域が除かれるような構図のフレームを選出する。

以下に、上記のように構成された撮影装置の動作について説明する。

上述したように、画像フレーム枠推奨部１００は、主被写体検出部１０２と、状態認識部１０３と、状態特定構図選出部１０４ａとが一連の処理を行うように構成されており、また、注視領域検出部１０６と、文字認識部１１１と、目障判定部１１２と、目障排除構図選出部１０４ｂとが一連の処理を行うように構成されており、また、輝度解析部１０７と、背景領域特定部１０８と、輝度適正構図選出部１０４ｃとが一連の処理を行うように構成されているため、まず、主被写体検出部１０２、状態認識部１０３、状態特定構図選出部１０４ａ及びフレーム枠候補出力部１１３における処理について説明する。

図６は、図５に示した撮影装置の主被写体検出部１０２、状態認識部１０３、状態特定構図選出部１０４ａ及びフレーム枠候補出力部１１３における処理の一例を説明するためのフローチャートである。

光学部１０にて撮影されて画像処理部５１にてデジタル化処理された撮影画像が画像入力部１０１に入力されると（ステップ１）、まず、主被写体検出部１０２が、画像入力部１０１に入力された撮影画像から人物の顔を検索し、顔が検索された場合は、撮影画像内における顔の座標と大きさを算出する（ステップ２）。なお、この顔検出処理は、本発明における被写体検出処理に相当するものであって、一般的に知られている顔認識技術を利用して行うことが考えられる。

撮影画像から顔が検索され、その座標と大きさが算出されると（ステップ３）、次に、状態認識部１０３が、主被写体検出部１０２にて検出された顔の表情を認識する（ステップ４）。状態認識部１０３は、この表情認識処理によって、主被写体検出部１０２にて検出された顔の表情が、例えば、笑顔であるのか、悲しんでいる表情であるか等を判定することができる。この表情認識処理についても、一般的に知られ始めているものを用いることが考えられるが、例えば、主被写体検出部１０２にて検出された顔の表情について、状態認識部１０３に予め登録されている表情とパターンマッチングを行い、状態認識部１０３に予め登録されている表情のうち、主被写体検出部１０２にて検出された顔の表情に対して、その顔の各部位（目、鼻、口等）の状態（位置、角度等）についての一致度が最も高い表情を、主被写体検出部１０２にて検出された顔の表情として認識すること等によって行うことが考えられる。なお、この表情認識処理が、本発明における状態認識処理に相当する。

そして、状態認識部１０３にて検出された顔の表情が、予め設定された表情である場合は、状態特定構図選出部１０４ａにおける構図読出処理に移行する（ステップ５）。これは、光学部１０にて撮影された撮影画像に含まれている顔の表情が、この撮影画像を加工すべきものである場合にのみ構図読出処理に移行させるためである。例えば、顔の表情が笑顔である場合、笑顔を強調することが好ましいと思われることから、撮影画像を顔がアップショットとなるように加工するために行われる。

状態特定構図選出部１０４ａは、状態認識部１０３にて認識された顔の表情をキーとして、この顔の表情に対応づけられた構図を記憶部４０から読み出す（ステップ６）。記憶部４０には、上述したように、光学部１０にて撮影された被写体の撮影画像に応じた構図が、その撮影画像に含まれる顔の表情に対応づけて記憶されている。例えば、顔の表情として笑顔に対して、顔がアップショットとなるようにした構図等が記憶されている。このような構図は、ステップ５にて状態認識部１０３における表情認識処理から状態特定構図選出部１０４ａにおける構図読出処理に移行する条件となる表情のみについて記憶部４０に記憶されていればよい。

次に、状態特定構図選出部１０４ａが、フレーム枠座標導出処理として、主被写体検出部１０２にて検出された顔が、記憶部４０から読み出した構図に応じた位置及び大きさとなるように、撮影画像のフレーム枠の４つの頂点の座標を導き出す（ステップ７）。これにより、状態特定構図選出部１０４ａが、状態認識部１０３にて認識された顔の表情に対応づけられた構図のフレームを選出することになる。

その後、状態特定構図選出部１０４ａにて選出された構図のフレームについて、そのフレームの４つの頂点の座標からなる座標情報をフレーム枠候補出力部１１３から出力する（ステップ８）。

なお、ステップ３にて撮影画像から顔が検出されなかった場合は、ステップ４〜８の処理を行わず、また、ステップ５にて、状態認識部１０３にて検出された顔の表情が予め設定された表情ではなかった場合は、ステップ６〜８の処理を行わない。

次に、上記のようにして画像フレーム枠推奨部１００にて選出された構図のフレームを、撮影画像に設定する処理について説明する。

図７は、図５に示した撮影装置において画像フレーム枠推奨部１００にて選出された構図のフレームを撮影画像に設定する処理を説明するためのフローチャートである。

画像フレーム枠推奨部１００から出力された構図のフレームの座標情報は構図ガイド生成部５３に入力される。

構図ガイド生成部５３は、画像フレーム枠推奨部１００から出力された構図のフレームの座標情報に基づいて、画像処理部５１にて処理された撮影画像に重ねるガイド情報となる構図ガイドを生成し（ステップ１１）、この構図ガイドを、画像処理部５１にて処理された撮影画像上に重ねて適切構図ガイド画像を生成する（ステップ１２）。これにより、画像フレーム枠推奨部１００にて選出された構図のフレームが、画像処理部５１にて処理された撮影画像に設定されることになる。

構図ガイド生成部５３にて生成された適切構図ガイド画像はデータ変換部５４に入力され、データ変換部５４が、構図ガイド生成部５３にて生成された適切構図ガイド画像を表示部３０の表示形式に合わせてデータ変換する（ステップ１３）。

その後、表示制御部５５の制御によって、データ変換部５４にてデータ変換された適切構図ガイド画像を表示部３０に表示する（ステップ１４）。

図８は、図５に示した撮影装置において表示部３０に表示される適切構図ガイド画像の一例を示す図である。

図８に示すように、表示部３０に表示される適切構図ガイド画像には、主被写体２０１が表示されるとともに、構図ガイド生成部５３にて生成された構図ガイドが適切構図ガイドマーク２０３として表示される。本例においては、主被写体２０１の顔の表情が笑顔であるため、主被写体２０１の顔がアップショットとなるような構図のフレームが選出され、そのフレームによる適切構図ガイドマーク２０３が表示されている。また、図８に示すように、表示部３０に表示される主被写体２０１を示す主被写体マーク２０２を表示することも考えられる。その場合、適切構図ガイドマーク２０３と主被写体マーク２０２とを異なる色で表示することにより、これら適切構図ガイドマーク２０３と主被写体マーク２０２とをユーザが判別することができる。

次に、表示部３０に表示された適切構図ガイド画像に応じた撮影画像を記憶部４０に記憶させる処理について説明する。

図９は、図８に示したように表示部３０に表示された適切構図ガイド画像に応じた撮影画像を記憶部４０に記憶させる処理を説明するためのフローチャートである。

図８に示したように表示部３０に表示される適切構図ガイド画像が表示されている状態において、入力部２０を介してフレームの指定が行われると（ステップ２１）、まず、構図トリミング部５６が、画像処理部５１にて処理された撮影画像をトリミングする（ステップ２２）。入力部２０を介してのフレームの指定は、表示部３０に表示されている適切構図ガイドマーク２０３に対してタッチスクリーンを用いた接触指定であってもよいし、表示部３０にメニューを表示させ、このメニューを用いて、現在表示部３０に表示されている適切構図ガイド画像における適切構図ガイドマーク２０３の指定であってもよい。

構図トリミング部５６は、画像処理部５１にてデジタル化処理された撮影画像を、画像フレーム枠推奨部１００から出力されたフレームの座標情報に基づいてトリミングして撮影画像情報を生成する。図８に示した例であれば、画像処理部５１にて処理された撮影画像から適切構図ガイドマーク２０３外の部分を削除するトリミングを行うことになる。

その後、ファイル化部５７が、構図トリミング部５６にて生成された撮影画像情報を、記憶部４０に記憶した後に、読み出して再生できるように、圧縮処理やデータ形式の変換等を行って撮影画像情報ファイルを生成し（ステップ２３）、この撮影画像情報ファイルを記憶制御部５８の制御によって記憶部４０に記憶する（ステップ２４）。

上述した例においては、主被写体として人物の顔を検出した場合の、主被写体検出部１０２、状態認識部１０３、状態特定構図選出部１０４ａ及びフレーム枠候補出力部１１３における処理について説明したが、以下に、主被写体として人体を検出した場合の処理について説明する。

図１０は、図５に示した撮影装置の主被写体検出部１０２、状態認識部１０３、状態特定構図選出部１０４ａ及びフレーム枠候補出力部１１３における処理の他の例を説明するためのフローチャートである。

光学部１０にて撮影されて画像処理部５１にてデジタル化処理された撮影画像が画像入力部１０１に入力されると（ステップ３１）、まず、主被写体検出部１０２が、画像入力部１０１に入力された撮影画像から人体を検索し、人体が検索された場合は、撮影画像内における人体と座標と大きさを算出する（ステップ３２）。なお、この人体検出処理は、本発明における被写体検出処理に相当するものであって、人体の特徴となる五体の構成及び位置／バランスを用いた認識技術を利用して行うことが考えられる。

撮影画像から人体が検索され、その座標と大きさが算出されると（ステップ３３）、次に、状態認識部１０３が、主被写体検出部１０２にて検出された人体の姿勢を認識する（ステップ３４）。状態認識部１０３においては、この姿勢認識処理によって、主被写体検出部１０２にて検出された人体の姿勢が、例えば、立っている状態なのか、座っている状態なのか、あるいは、特定のポーズをしている状態なのか等を判定することができる。この姿勢認識処理については、主被写体検出部１０２にて検出された人体の姿勢について、状態認識部１０３に予め登録されている姿勢とパターンマッチングを行い、状態認識部１０３に予め登録されている姿勢のうち、主被写体検出部１０２にて検出された人体の姿勢に対して、その人体の五体の状態についての一致度が最も高い姿勢を、主被写体検出部１０２にて検出された人体の姿勢として認識すること等によって行うことが考えられる。なお、この姿勢認識処理も、本発明における状態認識処理に相当する。

そして、状態認識部１０３にて検出された人体の姿勢が、予め設定された姿勢である場合は、状態特定構図選出部１０４ａにおける構図読出処理に移行する（ステップ３５）。これは、光学部１０にて撮影された撮影画像に含まれている人体の姿勢が、この撮影画像を加工すべきものである場合にのみ構図読出処理に移行させるためである。例えば、人体の姿勢が、サッカーのボールを蹴る姿勢や、野球にてボールを投げる、打つ姿勢や、剣道で竹刀を振り上げた状態の姿勢等、全身で１つのまとまりのある姿勢である場合、全身を映すフルショットとすることが好ましいと思われることから、撮影画像を人体がフルショットとなるように加工するために行われる。

状態特定構図選出部１０４ａは、状態認識部１０３にて認識された人体の姿勢をキーとして、この人体の姿勢に対応づけられた構図を記憶部４０から読み出す（ステップ３６）。記憶部４０には、上述したように、光学部１０にて撮影された被写体の撮影画像に応じた構図が、その撮影画像に含まれる人体の姿勢に対応づけて記憶されている。例えば、人体の姿勢としてサッカーのボールを蹴る姿勢に対して、人体がフルショットとなるようにした構図等が記憶されている。このような構図は、ステップ３５にて状態認識部１０３における姿勢認識処理から状態特定構図選出部１０４ａにおける構図読出処理に移行する条件となる姿勢のみについて記憶部４０に記憶されていればよい。

次に、状態特定構図選出部１０４ａが、フレーム枠座標導出処理として、主被写体検出部１０２にて検出された人体が、記憶部４０から読み出した構図に応じた位置及び大きさとなるように、撮影画像のフレーム枠の４つの頂点の座標を導き出す（ステップ３７）。これにより、状態特定構図選出部１０４ａが、状態認識部１０３にて認識された人体の姿勢に対応づけられた構図のフレームを選出することになる。

その後、状態特定構図選出部１０４ａにて選出された構図のフレームについて、そのフレームの４つの頂点の座標からなる座標情報をフレーム枠候補出力部１１３から出力する（ステップ３８）。

なお、ステップ３３にて撮影画像から人体が検出されなかった場合は、ステップ３４〜３８の処理を行わず、また、ステップ３５にて、状態認識部１０３にて検出された人体の姿勢が予め設定された姿勢ではなかった場合は、ステップ３６〜３８の処理を行わない。

上述したようにして構図のフレームの座標情報が画像フレーム枠推奨部１００から出力されると、図７に示したものと同様の処理によって、画像処理部５１にて処理された撮影画像について適切構図ガイド画像が表示部３０に表示されることになる。

図１１は、図５に示した撮影装置において表示部３０に表示される適切構図ガイド画像の他の例を示す図である。

図１１に示すように、表示部３０に表示される適切構図ガイド画像には、主被写体３０１が表示されるとともに、構図ガイド生成部５３にて生成された構図ガイドが適切構図ガイドマーク３０３として表示される。本例においては、主被写体３０１の人体の姿勢が、サッカーのボールを蹴るシュートポーズであるため、主被写体３０１の人体がフルショットとなるような構図のフレームが選出され、そのフレームによる適切構図ガイドマーク３０３が表示されている。また、図１１に示すように、表示部３０に表示される主被写体３０１を示す主被写体マーク３０２を表示することも考えられる。その場合、適切構図ガイドマーク３０３と主被写体マーク３０２とを異なる色で表示することにより、これら適切構図ガイドマーク３０３と主被写体マーク３０２とをユーザが判別することができる。

このように表示部３０に表示された適切構図ガイド画像についても、図９に示したものと同様の処理によって、適性構図ガイドマーク３０３内の部分のみの撮影画像が記憶部４０に記憶されることになる。

次に、注視領域検出部１０６、文字認識部１１１、目障判定部１１２、目障排除構図選出部１０４ｂ及びフレーム枠候補出力部１１３における処理について説明する。

図１２は、図５に示した撮影装置の注視領域検出部１０６、文字認識部１１１、目障判定部１１２、目障排除構図選出部１０４ｂ及びフレーム枠候補出力部１１３における処理の一例を説明するためのフローチャートである。

光学部１０にて撮影されて画像処理部５１にてデジタル化処理された撮影画像が画像入力部１０１に入力されると（ステップ４１）、まず、注視領域検出部１０６が、画像入力部１０１に入力された撮影画像から注視領域を検索し、注視領域が検索された場合は、撮影画像内における注視領域の範囲の座標を算出する（ステップ４２）。なお、この注視領域検出処理は、例えば、一定の大きさの範囲であって、色彩が他の領域とは顕著に異なる領域を注視領域として検出することが考えられる。色彩は、色度、明度、彩度のパラメータ値によって数値的に表現することができるため、この色を指定するためのパラメータ値が所定の範囲外となる領域を注視領域として検出すればよい。またその際、主被写体は、背景となる領域に対して色彩が顕著に異なる可能性が高いため、撮影画像から主被写体を検出し、主被写体を除いた領域から注視領域を検出することが好ましい。また、注視領域検出処理を、一定の大きさの範囲であって、不規則な色彩変化が密集する領域を注視領域として検出することによって行ってもよい。これは、色彩が不規則に変化する変化点を検出し、その変化点が単位面積にて所定数以上存在する領域を、不規則な色彩変化が密集する領域とすることが考えられる。この場合においても、撮影画像から主被写体を検出し、主被写体を除いた領域から注視領域を検出することが好ましい。また、注視領域検出処理を、一定の大きさの範囲であって、予め設定された特徴文字または特徴文字列が密集している領域を注視領域として検出することによって行ってもよい。これは、予め設定された特徴文字や特徴文字列を検出し、これら特徴文字や特徴文字列が単位面積にて所定数以上存在する領域を、不規則な色彩変化が密集する領域とすることが考えられる。この場合においても、撮影画像から主被写体を検出し、主被写体を除いた領域から注視領域を検出することが好ましい。

撮影画像から注視領域が検索され、その範囲の座標が算出されると（ステップ４３）、次に、文字認識部１１１が、注視領域検出部１０６にて検出された注視領域に含まれている文字を認識し、その文字の並びから文字列に変換する（ステップ４４）。なお、認識された文字が１文字である場合は、文字列への変換は行わない。

文字認識部１１１にて文字が認識された場合は（ステップ４５）、目障判定部１１２において、文字認識部１１１にて認識された文字または変換された文字列と、記憶部４０に予め記憶されている文字や文字列とを照合し、文字認識部１１１にて認識された文字や文字列が、記憶部４０に目障りな文字や文字列として予め記憶されているものであるかどうかを判定する（ステップ４６）。ここで、記憶部４０には、上述したように、撮影画像に含まれている場合に目障りとなる文字や文字列等が予め記憶されている。目障りとなる文字や文字列等とは、例えば、道路標識や看板等に記載された文字や文字列またはマーク等である。すなわち、本発明にて文字認識部１１１にて認識される文字には絵やマークを含んでおり、文字認識部１１１はこれら絵やマークを認識できる機能も有している。道路標識や看板は、風景を撮影した場合に、その撮影画像の中に含まれていると目障りなものである。また、コンビニエンスストアの店舗の入り口に表示された店舗名や、自動販売機に表示された商品名等についても、撮影画像に含まれている場合、目障りとはならないとしても、著作権の侵害とはならないものの、撮影画像を広告に利用する場合に競合他社の名前が撮影画像に含まれていることは好ましくはない。そのため、記憶部４０には、目障りな文字や文字列、あるいは、このように撮影画像に含まれていると好ましくない文字や絵、マーク等も記憶されており、目障り判定部１１２において、文字認識部１１１にて認識された文字や文字列等が、これら記憶部４０に予め記憶されているものであるかどうかを判定することになる。

文字認識部１１１にて認識された文字または変換された文字列と、記憶部４０に予め記憶されている文字や文字列とを照合した結果、文字認識部１１１にて認識された文字や文字列が、記憶部４０に予め記憶されているものであると判定された場合（ステップ４７）、目障り排除構図選出部１０４ｂが、文字認識部１１１にて認識された文字や文字列を含む注視領域が除かれるようなフレーム枠の４つの頂点の座標を導き出す（ステップ４８）。これにより、目障り排除構図選出部１０４ｂにおいて、文字認識部１１１にて認識された文字や文字列を含む注視領域が除かれるような構図のフレームを選出することになる。ここで、注視領域が除かれるようなフレームを選出する場合に、注視領域が含まれない最大の大きさのフレームを選出することが考えられるが、その他に、例えば、上述したような色彩の違いを用いて背景領域とその他の領域との境界を認識し、その境界を介して注視領域が含まれる側が除かれるようなフレームを選出してもよい。

その後、目障り排除構図選出部１０４ｂにて選出された構図のフレームについて、そのフレームの４つの頂点の座標からなる座標情報をフレーム枠候補出力部１１３から出力する（ステップ４９）。

なお、ステップ４３にて撮影画像から注視領域が検出されなかった場合は、ステップ４４〜４９の処理を行わず、また、ステップ４５にて注視領域から文字や文字列が認識されなかった場合は、ステップ４６〜４９の処理を行わず、また、ステップ４７にて、文字認識部１１１にて認識された文字や文字列が、記憶部４０に予め記憶されているものではないと判定された場合は、ステップ４８，４９の処理を行わない。

上述したようにして構図のフレームの座標情報が画像フレーム枠推奨部１００から出力されると、図７に示したものと同様の処理によって、画像処理部５１にて処理された撮影画像について適切構図ガイド画像が表示部３０に表示されることになる。

図１３は、図５に示した撮影装置において表示部３０に表示される適切構図ガイド画像の他の例を示す図である。

図１３に示すように、表示部３０に表示される適切構図ガイド画像には、注視領域検出部１０６にて検出され、記憶部４０に予め記憶されている文字を含む注視領域４０１が表示されており、この注視領域４０１が除かれるような構図のフレームが選出され、そのフレームによる適切構図ガイドマーク４０３が表示されている。

このように表示部３０に表示された適切構図ガイド画像についても、図９に示したものと同様の処理によって、適性構図ガイドマーク４０３内の部分のみの撮影画像が記憶部４０に記憶されることになる。

次に、輝度解析部１０７、背景領域特定部１０８、輝度適正構図選出部１０４ｃ及びフレーム枠候補出力部１１３における処理について説明する。

図１４は、図５に示した撮影装置の輝度解析部１０７、背景領域特定部１０８、輝度適正構図選出部１０４ｃ及びフレーム枠候補出力部１１３における処理の一例を説明するためのフローチャートである。

光学部１０にて撮影されて画像処理部５１にてデジタル化処理された撮影画像が画像入力部１０１に入力されると（ステップ５１）、まず、輝度解析部１０７が、画像入力部１０１に入力された撮影画像の輝度を解析し、輝度が極端に高い画素を検出する（ステップ５２）。なお、輝度は極端に高いかどうかは、輝度解析部１０７にて予め設定された所定値と輝度とを比較することによって行う。

画像入力部１０１に入力された撮影画像から、輝度が極端に高い画素が検出された場合は（ステップ５３）、次に、輝度解析部１０７が、画像入力部１０１に入力された撮影画像に、輝度レベルが極端に高い画素の集合領域が存在するかを検出する（ステップ５４）。これは、例えば、ステップ５２にて検出された、輝度が所定値以上となる画素の座標からその密度を算出し、その密度が所定値以上となることによって、全体の輝度レベルが所定値以上となる領域が存在するかどうかを検出することによって行うことが考えられる。

画像入力部１０１に入力された撮影画像に、輝度レベルが極端に高い画素の集合領域が存在する場合（ステップ５５）、背景領域特定部１０８が、画像入力部１に入力された撮影画像から背景領域を特定する（ステップ５６）。なお、背景領域の特定は、撮影画像から主被写体と注視領域を、例えば上述した方法等によって検出し、どちらも含まない領域の外周部分を背景領域として特定すること等が考えられる。

次に、輝度適性構図選出部１０４ｃが、画像入力部１０１に入力された撮影画像から、背景領域特定部１０８にて特定された背景領域のうち輝度解析部１０７にて検出された画素集合領域が除かれるようなフレーム枠の４つの頂点の座標を導き出す（ステップ５７）。これにより、輝度適性構図選出部１０４ｃが、画像入力部１０１に入力された撮影画像から、背景領域特定部１０８にて特定された背景領域のうち輝度解析部１０７にて検出された画素集合領域が除かれるような構図のフレームを選出することになる。

その後、輝度適性構図選出部１０４ｃにて選出された構図のフレームについて、そのフレームの４つの頂点の座標からなる座標情報をフレーム枠候補出力部１１３から出力する（ステップ５８）。

なお、ステップ５３にて、画像入力部１０１に入力された撮影画像から輝度が極端に高い画素が検出されなかった場合は、ステップ５４〜５８の処理を行わず、また、ステップ５５にて、画像入力部１０１に入力された撮影画像に、輝度が極端に高い画素の集合領域が存在しなかった場合は、ステップ５６〜５８の処理を行わない。

上述したようにして構図のフレームの座標情報が画像フレーム枠推奨部１００から出力されると、図７に示したものと同様の処理によって、画像処理部５１にて処理された撮影画像について適切構図ガイド画像が表示部３０に表示されることになる。

図１５は、図５に示した撮影装置において表示部３０に表示される適切構図ガイド画像の他の例を示す図である。

図１５に示すように、表示部３０に表示される適切構図ガイド画像には、背景領域特定部１０８にて特定された背景領域のうち輝度解析部１０７にて検出された画素集合領域が検出輝度領域５０４として表示されており、この検出輝度領域５０４が除かれるような構図のフレームが選出され、そのフレームによる適切構図ガイドマーク５０３が表示されている。なお、本例にて示される検出輝度領域５０４は、窓の白とびの部分であるため、輝度レベルが極端に高いものとなっている。また、図１５に示すように、表示部３０に表示される主被写体を示す主被写体マーク５０２を表示することも考えられる。その場合、適切構図ガイドマーク５０３と主被写体マーク５０２とを異なる色で表示することにより、これら適切構図ガイドマーク５０３と主被写体マーク５０２とをユーザが判別することができる。

このように表示部３０に表示された適切構図ガイド画像についても、図９に示したものと同様の処理によって、適性構図ガイドマーク５０３内の部分のみの撮影画像が記憶部４０に記憶されることになる。

なお、本例においては、画像入力部１０１に入力された撮影画像の中で輝度が極端に高い画素に基づいて、全体の輝度レベルが所定値以上となる画素集合領域が存在するかを検出し、その画素集合領域が除かれるような構図のフレームを選出しているが、画像入力部１０１に入力された撮影画像の輝度を解析し、全体の輝度レベルが所定値以上であった場合、背景領域の一部が除かれるような構図のフレームを選出する構成としてもよい。いずれの場合においても、撮影画像全体の平均輝度が所定値以下となり、また、輝度分布等が所定の範囲内のものとなる。

また、上記説明においては、画像フレーム枠推奨部１００が、主被写体検出部１０２と、状態認識部１０３と、状態特定構図選出部１０４ａとが一連の処理を行うように構成されており、また、注視領域検出部１０６と、文字認識部１１１と、目障判定部１１２と、目障排除構図選出部１０４ｂとが一連の処理を行うように構成されており、また、輝度解析部１０７と、背景領域特定部１０８と、輝度適正構図選出部１０４ｃとが一連の処理を行うように構成されていることから、これら３つの一連の処理をわかりやすく説明するためにそれぞれを分けているが、実際には、これら３つの処理が並行して行われることになる。以下に、上述した３つの処理を合わせた場合の例について説明する。

図１６は、図５に示した撮影装置において、状態特定構図選出部１０４ａ、目障排除構図選出部１０４ｂ及び輝度適性構図選出部１０４ｃにて選出された構図のフレームを全て撮影画像に重ねたイメージの一例を示す図である。

図１６に示すように、画像処理部５１にて処理された撮影画像においては、主被写体検出部１０２にて検出された主被写体２０１と、注視領域検出部１０６にて検出され、記憶部４０に予め記憶されている文字を含む注視領域４０１と、背景領域特定部１０８にて特定された背景領域のうち輝度解析部１０７にて検出された検出輝度領域５０４とが含まれている。そして、主被写体２０１に応じた主被写体フレーム６０１が状態特定構図選出部１０４ａにて選出され、注視領域４０１が除かれるような目障排除フレーム６０２が目障排除構図選出部１０４ｂにて選出され、検出輝度領域５０４が除かれるような輝度適性フレーム６０３が輝度適性構図選出部１０４ｃにて選出されている。

この場合、フレーム枠候補出力部１１３は、主被写体フレーム６０１と目障排除フレーム６０２と輝度適性フレーム６０３とのうち、面積が最も小さなフレームを選択し、構図ガイド生成部５３及び構図トリミング部５６に出力することが考えられる。これは、本発明の撮影補助装置の機能の趣旨を鑑みた場合、主被写体フレーム６０１と目障排除フレーム６０２と輝度適性フレーム６０３とのそれぞれの外側となる領域は、排除すべきであって、排除しない場合、主被写体フレーム６０１については、主被写体２０１の表情に応じたフレームを選出できないこととなり、また、目障排除フレーム６０２については、目障となる文字や文字列が撮影画像に含まれたままとなってしまうこととなり、また、輝度適性フレーム６０３については、輝度が適性化されなくなってしまうためである。

また、これに限らず、フレーム枠候補出力部１１３が、主被写体フレーム６０１と目障排除フレーム６０２と輝度適性フレーム６０３とに優先順位を設定しておき、この優先順位に基づいて、１つのフレームを選択、出力するようにしてもよい。

さらに、フレーム枠候補出力部１１３が、主被写体フレーム６０１と目障排除フレーム６０２と輝度適性フレーム６０３との全てを構図ガイド生成部５３及び構図トリミング部５６に出力してもよい。その場合、表示部３０には、図１６に示したイメージのような画像が表示されることとなり、ユーザが入力部２０を介して、主被写体フレーム６０１と目障排除フレーム６０２と輝度適性フレーム６０３とのうち、いずれかを指定することで、構図トリミング部５６が、指定されたフレームに応じたトリミングを行うことになる。

なお、上述した実施の形態においては、選出された構図のフレームの外枠を適切構図ガイドマークとして撮影画像上に重ねることにより、選出された構図のフレームを撮影画像に設定するものについて説明したが、選出された構図フレームの撮影画像への設定はこれに限らない。撮影画像が表示された場合に撮影画像のうち構図のフレーム以外の部分が隠蔽されるように、選出された構図のフレームを撮影画像に設定してもよい。例えば、構図のフレーム枠の外側の全面を白色や黒色でベタ表示するような構成とすることが考えられる。その場合、表示部３０には、構図のフレーム枠内の画像のみが表示されることになる。また、撮影画像から構図のフレーム以外の部分を削除し、撮影画像をこの新たな画像に置き換えてしまってもよい。

また、本発明の構成要素は、上述したブロック図に示されるような機能として分離されるものに限らず、適宜、機能毎に分離した構成としてもよい。

また、本発明においては、撮影補助装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを撮影補助装置となるコンピュータにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを撮影補助装置に読み込ませ、実行するものであっても良い。撮影補助装置にて読取可能な記録媒体とは、ＩＣカードやメモリカード、あるいは、フロッピーディスク（登録商標）、光磁気ディスク、ＤＶＤ、ＣＤ等の移設可能な記録媒体の他、撮影補助装置に内蔵されたＨＤＤ等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。

また、本発明の撮影補助装置が搭載される装置は、図５に示したような撮影装置に限らず、移動体通信端末やスマートフォン、さらには、携帯音楽プレーヤーや携帯ゲーム機、タブレットＰＣやノートＰＣ等、撮影機能を有するものであればよい。

上記の実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には、限られない。

（付記１）
撮影画像が入力される入力手段と、
前記入力手段に入力された撮影画像から主被写体を検出する主被写体検出手段と、
前記主被写体検出手段にて検出された主被写体の状態を認識する状態認識手段と、
前記状態認識手段にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する第１の選出手段と、
前記第１の選出手段にて選出されたフレームを設定フレームとして前記撮影画像に設定する設定手段とを有する撮影補助装置。

（付記２）
付記１に記載の撮影補助装置において、
前記主被写体検出手段は、人物の顔を検出し、
前記状態認識手段は、前記主被写体検出手段にて検出された顔の表情を認識する撮影補助装置。

（付記３）
付記２に記載の撮影補助装置において、
前記第１の選出手段は、パターンマッチングを行うことにより、予め設定された複数の表情のうち、前記状態認識手段にて認識された表情に一致度が最も高い表情に対応づけられた構図のフレームを選出する撮影補助装置。

（付記４）
請求項１に記載の撮影補助装置において、
前記主被写体検出手段は、人体を検出し、
前記状態認識手段は、前記主被写体検出手段にて検出された人体の姿勢を認識する撮影補助装置。

（付記５）
付記４に記載の撮影補助装置において、
前記第２の選出手段は、パターンマッチングを行うことにより、予め設定された複数の姿勢のうち、前記状態認識手段にて認識された姿勢に一致度が最も高い姿勢に対応づけられた構図のフレームを選出する撮影補助装置。

（付記６）
付記１に記載の撮影補助装置において、
前記入力手段に入力された撮影画像から注視領域を検出する注視領域検出手段と、
前記注視領域検出手段にて検出された注視領域に、予め設定された文字または文字列が含まれている場合、前記撮影画像から当該注視領域が除かれるような構図のフレームを選出する第２の選出手段とを有し、
前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。

（付記７）
付記６に記載の撮影補助装置において、
前記注視領域検出手段は、主被写体以外の一定の大きさの範囲であって、色を指定するためのパラメータ値が所定の範囲外となる領域を前記注視領域として検出する撮影補助装置。

（付記８）
付記６に記載の撮影補助装置において、
前記注視領域検出手段は、主被写体以外の一定の大きさの範囲であって、色彩が不規則に変化する点が単位面積にて所定数以上存在する領域を前記注視領域として検出する撮影補助装置。

（付記９）
付記６に記載の撮影補助装置において、
前記注視領域検出手段は、主被写体以外の一定の大きさの範囲であって、予め設定された特徴文字または特徴画像が単位面積にて所定数以上存在する領域を前記注視領域として検出する撮影補助装置。

（付記１０）
付記６に記載の撮影補助装置において、
前記入力手段に入力された撮影画像から輝度が所定値以上となる領域を検出する輝度検出手段と、
前記撮影画像から背景領域を特定する背景領域特定手段と、
前記撮影画像から、前記背景領域特定手段にて特定された背景領域のうち前記輝度検出手段にて検出された領域が除かれるような構図のフレームを選出する第３の選出手段とを有し、
前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームと前記第３の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。

（付記１１）
付記６に記載の撮影補助装置において、
前記入力手段に入力された撮影画像から背景領域を特定する背景領域特定手段と、
前記背景領域特定手段にて特定された背景領域から輝度が所定値以上となる領域を検出する輝度検出手段と、
前記撮影画像から、前記輝度検出手段にて検出された領域が除かれるような構図のフレームを選出する第３の選出手段とを有し、
前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームと前記第３の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。

（付記１２）
付記１乃至１１のいずれかに記載の撮影補助装置において、
前記設定手段は、前記設定フレームの外枠をガイド情報として前記撮影画像上に重ねることにより、前記撮影画像に前記設定フレームを設定する撮影補助装置。

（付記１３）
付記１乃至１１のいずれかに記載の撮影補助装置において、
前記設定手段は、前記撮影画像が表示された場合に当該撮影画像のうち前記設定フレーム以外の部分が隠蔽された状態となるように、前記撮影画像に前記設定フレームを設定する撮影補助装置。

（付記１４）
付記１乃至１１のいずれかに記載の撮影補助装置において、
前記設定手段は、前記撮影画像を、該撮影画像から前記設定フレーム以外の部分を削除したものに置き換えることにより、前記撮影画像に前記設定フレームを設定する撮影補助装置。

（付記１５）
入力された撮影画像から主被写体を検出する主被写体検出処理と、
前記主被写体検出処理にて検出された主被写体の状態を認識する状態認識処理と、
前記状態認識処理にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する選出処理と、
前記選出処理にて選出されたフレームを前記撮影画像に設定する設定処理とを有する撮影補助方法。

（付記１６）
付記１乃至１４のいずれかに記載の撮影補助装置を搭載した撮影装置であって、
撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有する撮影装置。

（付記１７）
付記１乃至１４のいずれかに記載の撮影補助装置を搭載したカメラ付き携帯端末であって、
撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有するカメラ付き携帯端末。

（付記１８）
コンピュータに、
入力された撮影画像から主被写体を検出する主被写体検出手順と、
前記主被写体検出手順にて検出された主被写体の状態を認識する状態認識手順と、
前記状態認識手順にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する選出手順と、
前記選出手順にて選出されたフレームを前記撮影画像に設定する設定手順とを実行させるためのプログラム。

１，１０１ 画像入力部
２，１０２ 主被写体検出部
３，１０３ 状態認識部
４ａ〜４ｃ 構図選出部
５ フレーム設定部
６，１０６ 注視領域検出部
７，１０７ 輝度解析部
８，１０８ 背景領域特定部
１０ 光学部
２０ 入力部
３０ 表示部
４０ 記憶部
５０ 制御部
５１ 画像処理部
５２ 入力制御部
５３ 構図ガイド生成部
５４ データ変換部
５５ 表示制御部
５６ 構図トリミング部
５７ ファイル化部
５８ 記憶制御部
１００ 画像フレーム枠推奨部
１０４ａ 状態特定構図選出部
１０４ｂ 目障排除構図選出部
１０４ｃ 輝度適性構図選出部
１１１ 文字認識部
１１２ 目障判定部
１１３ フレーム枠候補出力部
２０１，３０１ 主被写体
２０２，３０２，５０２ 主被写体マーク
２０３，３０３，４０３，５０３ 適切構図ガイドマーク
４０１ 注視領域
５０４ 検出輝度領域
６０１ 主被写体フレーム
６０２ 目障排除フレーム
６０３ 輝度適性フレーム

Claims (10)

1. 撮影画像が入力される入力手段と、
   前記入力手段に入力された撮影画像から主被写体を検出する主被写体検出手段と、
   前記主被写体検出手段にて検出された主被写体の状態を認識する状態認識手段と、
   前記状態認識手段にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する第１の選出手段と、
   前記第１の選出手段にて選出されたフレームを設定フレームとして前記撮影画像に設定する設定手段とを有する撮影補助装置。
2. 請求項１に記載の撮影補助装置において、
   前記入力手段に入力された撮影画像から注視領域を検出する注視領域検出手段と、
   前記注視領域検出手段にて検出された注視領域に、予め設定された文字または文字列が含まれている場合、前記撮影画像から当該注視領域が除かれるような構図のフレームを選出する第２の選出手段とを有し、
   前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。
3. 請求項２に記載の撮影補助装置において、
   前記入力手段に入力された撮影画像の輝度を解析し、輝度レベルが所定値以上となる画素集合領域を検出する輝度検出手段と、
   前記撮影画像から背景領域を特定する背景領域特定手段と、
   前記撮影画像から、前記背景領域特定手段にて特定された背景領域のうち前記輝度検出手段にて検出された画素集合領域が除かれるような構図のフレームを選出する第３の選出手段とを有し、
   前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームと前記第３の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。
4. 請求項２に記載の撮影補助装置において、
   前記入力手段に入力された撮影画像から背景領域を特定する背景領域特定手段と、
   前記背景領域特定手段にて特定された背景領域の輝度を解析し、輝度レベルが所定値以上となる画素集合領域を検出する輝度検出手段と、
   前記撮影画像から、前記輝度検出手段にて検出された画素集合領域が除かれるような構図のフレームを選出する第３の選出手段とを有し、
   前記設定手段は、前記第１の選出手段にて選出された構図のフレームと前記第２の選出手段にて選出された構図のフレームと前記第３の選出手段にて選出された構図のフレームとに応じたフレームを前記設定フレームとして前記撮影画像に設定する撮影補助装置。
5. 請求項１乃至４のいずれか１項に記載の撮影補助装置において、
   前記設定手段は、前記設定フレームの外枠をガイド情報として前記撮影画像上に重ねることにより、前記撮影画像に前記設定フレームを設定する撮影補助装置。
6. 請求項１乃至４のいずれか１項に記載の撮影補助装置において、
   前記設定手段は、前記撮影画像が表示された場合に当該撮影画像のうち前記設定フレーム以外の部分が隠蔽された状態となるように、前記撮影画像に前記設定フレームを設定する撮影補助装置。
7. 請求項１乃至４のいずれか１項に記載の撮影補助装置において、
   前記設定手段は、前記撮影画像を、該撮影画像から前記設定フレーム以外の部分を削除したものに置き換えることにより、前記撮影画像に前記設定フレームを設定する撮影補助装置。
8. 入力された撮影画像から主被写体を検出する主被写体検出処理と、
   前記主被写体検出処理にて検出された主被写体の状態を認識する状態認識処理と、
   前記状態認識処理にて認識された主被写体の状態が、予め設定された複数の状態のうちの１つに該当する場合、当該状態に対応づけられた構図のフレームを選出する選出処理と、
   前記選出処理にて選出されたフレームを前記撮影画像に設定する設定処理とを有する撮影補助方法。
9. 請求項１乃至７のいずれか１項に記載の撮影補助装置を搭載した撮影装置であって、
   撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
   前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有する撮影装置。
10. 請求項１乃至７のいずれか１項に記載の撮影補助装置を搭載したカメラ付き携帯端末であって、
    撮影対象を撮影し、該撮影対象の撮影画像を出力する撮影手段と、
    前記撮影手段から出力された撮影画像を前記設定フレームに応じてトリミングするトリミング手段とを有するカメラ付き携帯端末。

Images