JP2010103972A - 画像処理装置及び電子機器 - Google Patents

Abstract

【課題】入力画像から主要被写体を含む切り出し領域を容易かつ正確に選択して切り出すことを可能とする画像処理装置や、当該画像処理装置を備えた電子機器を提供する。
【解決手段】切り出し処理部６０は、入力画像から主要被写体を検出する主要被写体検出部６１と、検出された主要被写体を含む切り出し領域を決定する切り出し領域決定部６２と、入力画像から切り出し領域の部分を切り出して切り出し画像を生成する切り出し部６３と、を備える。切り出し領域決定部６２は、検出された主要被写体の位置が、切り出し領域中の所定の位置となるように切り出し領域を決定する。
【選択図】図２

Description

本発明は、入力画像の一部を切り出して所望の切り出し画像を得る画像処理装置や、当該画像処理装置を備えた電子機器に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。また、このような撮像装置や表示装置として、処理対象となる画像（以下、入力画像とする）から所定の領域を切り出すとともに、切り出した領域の画像（以下、切り出し画像とする）を記録したり表示したりするものがある（特許文献１参照）。

このような切り出し処理を行うことにより、撮像の簡易化を図ることができる。具体的に例えば、ユーザに広画角となる入力画像を撮像させるとともに、得られる入力画像に切り出し処理を行い、ユーザが特に撮像を行いたいと考える被写体（以下、主要被写体とする）が含まれる領域の切り出しを行う。このような処理を行うこととすると、主要被写体が含まれる構図の画像を得るために、ユーザが集中して被写体を追う必要がなくなる。特に、撮像装置を主要被写体の方に簡易的に向けるだけで足りるようになる。

特開２００７−１５０９０７号公報

しかしながら、入力画像の切り出し方によっては、好適な切り出し画像が得られない問題が生じ得る。例えば、主要被写体の大部分が切り出し領域外に出てしまい、主要被写体が大きく欠けた切り出し領域が選択される場合が生じ得る。また例えば、主要被写体は切り出し領域内に含まれているが、主要被写体の周囲の状況が切り出し領域内にほとんど含まれないために、周囲の状況が不明確となる場合が生じ得る。

なお、撮像時や再生時にユーザが切り出し領域を逐一（例えば、所定の時間間隔で）指定することとすれば、所望の切り出し領域を選択することは可能となる。しかしながら、撮像中や再生中に何度も切り出し領域を指定することは、困難かつ煩雑なものとなる。

以上の問題を鑑みて、本発明は、入力画像から主要被写体を含む切り出し領域を容易かつ正確に選択して切り出すことを可能とする画像処理装置や、当該画像処理装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力画像から所定の領域を切り出して切り出し画像を生成する切り出し処理部を備える画像処理装置において、前記切り出し処理部が、前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、前記主要被写体検出部によって検出される前記主要被写体の位置を含む切り出し領域を決定する切り出し領域決定部と、前記入力画像から前記切り出し領域を切り出して前記切り出し画像を生成する切り出し部と、を備え、前記主要被写体検出部によって検出される前記主要被写体の位置が、前記切り出し領域中の所定の位置となるように、前記切り出し領域決定部が前記切り出し領域を決定することを特徴とする。

また、上記構成の画像処理装置において、前記主要被写体検出部によって検出される前記主要被写体の位置と、前記切り出し領域の位置と、の関係を指定する構図情報が、前記切り出し領域決定部に入力されるとともに、前記構図情報にしたがって、前記切り出し領域決定部が前記切り出し領域を決定することとしても構わない。

このように構成すると、切り出し領域と主要被写体との位置関係を、ユーザが決定した任意の位置関係とすることが可能となる。なお、構図情報を変更可能としても構わない。変更可能とすることで、主要被写体の状態が変化する（例えば、顔の向きや進行方向が変化する）場合にも、所望の位置関係に変更して対応することが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、前記主要被写体の向きを検出するとともに、前記切り出し領域決定部が、前記主要被写体検出部によって検出される前記主要被写体の向きに基づいて、前記切り出し領域を決定することとしても構わない。

特に、切り出し領域中の主要被写体の位置が、主要被写体が向いている方向（例えば、顔の向き、目線の向き、動きの向きなど）と逆方向に寄ったものとなるように、切り出し領域を決定すると好ましい。このように構成すると、主要被写体が注目している領域や、どこに向かってどのように移動しているかを明確化することが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、前記入力画像から前記主要被写体の顔を検出することで、前記主要被写体の位置を検出することとしても構わない。このように構成すると、主要被写体の顔の表情を中心とした構図の切り出し画像を、容易かつ正確に得ることが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、順次入力される入力画像から前記主要被写体を検出する追尾処理を行い、当該追尾処理によって前記主要被写体の位置を順次検出することとしても構わない。このように構成すると、より正確に主要被写体を検出し続けることが可能となる。特に、主要被写体を途中で取り違えることを抑制することが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、前記入力画像に対応する音声信号から前記主要被写体の位置を検出することとしても構わない。このように構成すると、音を発する種々の物体を主要被写体として検出することが可能となる。なお、入力画像に対応する音声信号を、例えば、入力画像の撮像時に集音されて生成された音声信号としても構わない。

また、上記構成の画像処理装置において、前記入力画像を圧縮処理して得られる符号化情報に基づいて、前記主要被写体の位置を検出することとしても構わない。特に、符号量が他よりも多い部分を、前記主要被写体として検出することとしても構わない。このように構成すると、動く種々の物体を主要被写体として検出することが可能となる。

また、上記構成の画像処理装置において、前記入力画像から得られるＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値の少なくとも１つを用いて、前記主要被写体を検出することとしても構わない。特に、ＡＦ評価値が大きく、ＡＥ評価値及びＡＷＢ評価値が最適値に近い部分を、主要被写体が存在する位置としても構わない。このように構成すると、種々の物体を主要被写体として検出することが可能となる。

また、上記構成の画像処理装置において、前記主要被写体が、複数の構成被写体から成るとき、前記主要被写体検出部が、前記入力画像中の前記構成被写体のそれぞれの位置を検出し、当該それぞれの位置に基づいて前記主要被写体の位置を検出することとしても構わない。

このように構成すると、主要被写体が複数の構成被写体から成る場合であったとしても、主要被写体が１つの物体から成る場合と同じように、切り出し領域の決定を行うことが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、前記構成被写体のそれぞれの向きを検出するとともに、当該それぞれの向きに基づいて前記主要被写体の向きを検出し、前記切り出し領域決定部が、前記主要被写体検出部によって検出される前記主要被写体の向きに基づいて、前記切り出し領域を決定することとしても構わない。

特に、切り出し領域中の主要被写体（構成被写体全体）の位置が、主要被写体が向いている方向（例えば、構成被写体全体の顔や目線の平均向き、動きの平均方向など）と逆方向に寄ったものとなるように、切り出し領域を決定すると好ましい。このように構成すると、主要被写体が注目している領域や、どこに向かってどのように移動しているかを明確化することが可能となる。

また、上記構成の画像処理装置において、前記主要被写体検出部が、前記構成被写体のそれぞれの向きを検出するとともに、当該それぞれの向きに基づいて前記主要被写体の向きを検出し、前記構成被写体のそれぞれの向きの相関が所定の大きさ以下であるとき、前記切り出し領域決定部は、前記複数の構成被写体のそれぞれが含まれる前記切り出し領域を決定することとしても構わない。

このように構成すると、構成被写体の向きがばらついて主要被写体の向きを算出することが困難である場合に、それぞれの構成被写体を容易に把握可能な切り出し領域を決定することが可能となる。さらに、主要被写体の中心を、切り出し領域の中心としても構わない。

また、本発明の電子機器は、上記のいずれかに記載の画像処理装置を備え、当該画像処理装置から出力される前記切り出し画像を記録または再生することを特徴とする。

本発明によると、検出された主要被写体の位置と切り出し領域とが所定の位置関係になるような切り出し領域が、入力画像に対して設定されることとなる。そのため、出力される切り出し画像に、容易かつ正確に主要被写体を含ませることが可能となる。さらに、検出された主要被写体の位置と切り出し領域との所定の位置関係を適宜設定することにより、容易に所望の構図（例えば、主要被写体とその周囲の状況が含まれる構図）の切り出し画像を得ることが可能となる。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本動作を示すフローチャートである。 は、第１実施例の主要被写体検出部の検出方法の一例について説明する模式図である。 は、第２実施例の主要被写体検出部の検出方法の一例について説明する模式図である。 は、第３実施例の主要被写体検出部の検出方法の一例について説明する模式図である。 は、第５実施例の主要被写体検出部の検出方法の一例について説明する模式図である。 は、第１実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図である。 は、第２実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図である。 は、第３実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図である。 は、第３実施例の切り出し領域決定部の切り出し方法の別例について説明する模式図である。 は、主要被写体が複数の構成被写体を備える場合にも切り出し画像を生成し得る切り出し処理部の構成の一例を示すブロック図である。 は、複数の主要被写体に基づいて決定される切り出し領域の一例を示す模式図である。 は、複数の主要被写体に基づいて決定される切り出し領域の一例を示す模式図である。 は、複数の主要被写体に基づいて決定される切り出し領域の一例を示す模式図である。 は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図である。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における電子機器の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号から一部を切り出して新たな画像信号を得る切り出し処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられる切り出し処理部６０は、入力される画像信号の一部を切り出して新たな画像信号を生成する切り出し処理を行う。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

また、画像処理部６に備えられる切り出し処理部６０は、必要に応じて撮像装置１の各部（例えば、音声処理部７や圧縮処理部８など）から種々の情報（例えば、音声信号や圧縮処理時の符号化情報）を取得可能であることとする。ただし、図１においては、これらの情報が切り出し処理部６０に入力されることを示す矢印の図示を省略する。

＜＜切り出し処理部＞＞
次に、図１に示した切り出し処理部６０の基本構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し処理部６０に入力されて切り出し処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、切り出し処理部６０から出力される画像信号を「切り出し画像」と呼ぶこととする。

切り出し処理部６０は、主要被写体検出用情報に基づいて主要被写体の入力画像中の位置を検出して主要被写体位置情報を出力する主要被写体検出部６１と、主要被写体位置情報に基づいて切り出し画像の構図を決定するとともに切り出し領域を決定して切り出し領域情報を出力する切り出し領域決定部６２と、切り出し領域情報に基づいて入力画像を切り出して切り出し画像を生成する切り出し部６３と、を備える。

主要被写体検出用情報として、例えば、入力画像や入力画像に対応した音声信号、圧縮処理部８の圧縮処理時の符号化情報などを用いることができる。なお、これらの主要被写体検出用情報を用いた主要被写体の検出方法の詳細については後述する。

また、切り出し領域決定部６２には、構図情報が入力される。構図情報とは、検出された主要被写体の位置を含んだどの領域を切り出し領域として決定すべきかを指示する情報である。この構図情報は、例えば初期設定時にユーザによって入力される。なお、切り出し領域決定部６２による切り出し領域の決定方法の詳細については後述する。

切り出し処理部６０の基本動作について図面を参照して説明する。図３は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本動作を示すフローチャートである。図３に示すように、切り出し処理部６０は、最初に切り出しを行う対象となる入力画像を取得する（ＳＴＥＰ１）。

また、主要被写体検出部６１は、取得した入力画像に含まれる主要被写体の検出を行う（ＳＴＥＰ２）。特に、主要被写体検出部６１は、ＳＴＥＰ１で取得した入力画像に対応した情報である主要被写体検出用情報を用いて主要被写体の検出を行う。そして、主要被写体位置情報を出力する。

次に、切り出し領域決定部６２が、主要被写体位置情報に基づいて切り出し領域を決定し、切り出し領域情報を出力する（ＳＴＥＰ３）。そして、切り出し部６３が、入力画像から切り出し領域情報が示す領域を切り出して、切り出し画像を生成する（ＳＴＥＰ４）。

ここで、切り出し処理を終了する指示が入力されているか否かが確認される（ＳＴＥＰ５）。切り出し処理を終了する指示が入力されていない場合（ＳＴＥＰ５、ＮＯ）、ＳＴＥＰ１に戻り、次のフレームの入力画像の取得を行う。そして、上述したＳＴＥＰ２〜４の動作を行い、次のフレームの切り出し画像の生成を行う。一方、切り出し処理を終了する指示が入力されている場合は（ＳＴＥＰ５、ＹＥＳ）、終了する。

このような構成とすることで、検出された主要被写体を含んだ所望の構図となる画像を入力画像から切り出して、切り出し画像を生成することが可能となる。特に、入力画像に対してユーザが逐一切り出し領域を決定することを要せず、主要被写体の位置に応じた切り出し領域を決定することが可能となる。したがって、容易かつ正確に、主要被写体を含む切り出し画像を生成することが可能となる。

＜主要被写体検出部＞
次に、主要被写体検出部６１の検出方法の詳細について、各実施例を挙げるとともに図面を参照して説明する。

［第１実施例：主要被写体検出部］
第１実施例の主要被写体検出部６１では、画像情報に基づいて主要被写体を検出する。特に、図２に示した主要被写体検出用情報として入力画像を用いるとともに、この入力画像に基づいて主要被写体の検出を行う。より具体的には、入力画像に顔検出処理を施して顔領域を検出し、この顔領域の位置を主要被写体の位置とする。

顔検出処理方法の一例について図面を参照して説明する。図４は、第１実施例の主要被写体検出部の検出方法の一例について説明する模式図である。特に、顔検出処理方法の一例について示すものである。なお、図４に示す方法は一例に過ぎず、顔検出処理方法として既存のどのような方法を用いることとしても構わない。

本例では、入力画像と重みテーブルとを比較することで顔を検出することとする。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図４に示すように、まず入力画像３０から、例えば縮小率を０．８として縮小画像３１〜３５が作成されて階層化される。また、各画像３０〜３５において判定を行う判定領域６０の大きさは、どの画像３０〜３５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域４０を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域４０とマッチングする顔画像の検出が行われる。ここで、入力画像３０の他に複数の縮小画像３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。

マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域４０には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域４０に顔が存在すると判定し、判定領域を走査して次の判定領域４０での判定に移行する。なお、上述の例は正面顔を検出するものであるが、横顔のサンプルなどを用いることによって主要被写体の顔の向きなどを検出することとしても構わない。

上記の方法などによって顔検出処理を行うことにより、入力画像から主要被写体の顔が含まれる顔領域を検出することができる。そして、本実施例の主要被写体検出部６１は、例えば検出された顔領域の入力画像中における位置の情報を、主要被写体位置情報として出力する。

本実施例の構成とすることによって、主要被写体の顔の表情を中心とした構図の切り出し画像を、容易かつ正確に得ることが可能となる。

なお、顔検出によって主要被写体の顔の向きを検出し、主要被写体位置情報に含めることとしても構わない。また、主要被写体の顔の向きの検出するために、例えば、上記の検出方法の例において横顔のサンプルを用いることとしても構わない。また、特定の人物の顔をサンプルとして記録し、特定の人物を検出する顔認識処理を行っても構わない。また、検出された複数の顔領域を主要被写体位置情報として出力することとしても構わない。

［第２実施例：主要被写体検出部］
第２実施例の主要被写体検出部６１では、追尾処理を利用して主要被写体の位置を検出する。また、本実施例においても、図２に示した主要被写体検出用情報として入力画像を用いる。

追尾処理方法の一例について図面を参照して説明する。図５は、第２実施例の主要被写体検出部の検出方法の一例について説明する模式図である。特に、追尾処理方法の一例について説明するものである。なお、図５に示す方法は一例に過ぎず、追尾処理方法として既存のどのような方法を用いることとしても構わない。

図５に示す追尾処理方法では、第１実施例において説明した顔検出処理の結果を用いる。図５に示すように、本例の追尾処理方法では、最初に顔検出処理によって入力画像５０から主要被写体の顔領域５１を検出する。そして、顔領域５１の下方（眉間から口の方向）であり顔領域５１の隣接する位置に、主要被写体の胴体が含まれる胴体領域５２を設定する。

そして、順次入力されてくる入力画像５０について、順次胴体領域５２を検出することで主要被写体の追尾処理を行う。このとき、胴体領域５２の色（例えば、色差信号ＵＶやＲＧＢ信号、Ｈ（Hue）Ｓ（Saturation）Ｂ（Brightness）のＨの信号など、色を示す信号値）に基づいて追尾処理を行う。具体的に例えば、胴体領域５２の設定時に胴体領域５２の色を認識するとともに記憶し、その後に入力されてくる画像中から認識した色に類似する色を有した領域を検出することで、追尾処理を行う。

上記の方法などによって追尾処理を行うことにより、入力画像から主要被写体の胴体領域５２を検出することができる。そして、本実施例の主要被写体検出部６１は、例えば検出された胴体領域５２の入力画像中における位置の情報を、主要被写体位置情報として出力する。

本実施例の構成とすることによって、正確に主要被写体を検出し続けることが可能となる。特に、主要被写体を撮像途中で取り違えることを抑制することが可能となる。

［第３実施例：主要被写体検出部］
第３実施例の主要被写体検出部６１では、圧縮処理部８の圧縮処理時における符号化情報を利用して主要被写体の位置を検出する。本実施例においては、図２に示した主要被写体検出用情報として、符号化情報を用いる。

符号化情報の一例について図面を参照して説明する。図６は、第３実施例の主要被写体検出部の検出方法の一例について説明する模式図であり、特に、符号化情報について説明するものである。なお、図６（ａ）は入力画像の一例を示したものである。また、図６（ｂ）は、図６（ａ）の入力画像を符号化した場合に得られる符号化情報の一例であり、符号量（ビットレート）の割り当てを模式的に示すものである。

圧縮処理部８では、例えば、時刻が異なる複数の入力画像を用いてある時刻の予測画像を生成し、入力画像と予測画像との差分を符号化する圧縮処理方法が用いられる。このような圧縮処理方法を用いる場合、動きがある物体は割り当てられる符号量が他の物体よりも多いものとなる。本実施例では、入力画像の圧縮処理時に割り当てられる符号量の多少に応じて、主要被写体を検出する。

図６（ａ）に示す入力画像７０では、動く物体は幼児７１のみであり、他の物体７２，７３は動かないものである。この場合、図６（ａ）に示す入力画像７０を用いて得られる符号化情報７４は、図６（ｂ）に示すように、幼児７１の領域のみ割り当てられる符号量が多くなる。なお、撮像装置１のぶれなどの影響により、他の物体７２，７３の部分においても、僅かに符号量が多くなる部分が生じ得る。

圧縮処理に伴う符号化情報７４を用いることにより、入力画像７０から符号量が多い領域（主要被写体が含まれる領域）７１を検出することができる。そして、本実施例の主要被写体検出部６１は、例えば検出された符号量が多い領域７１の入力画像７０における位置の情報を、主要被写体位置情報として出力する。

なお、図６（ｂ）に示すように、符号量を複数の画素（例えば、８×８など）から構成されるエリア単位で算出することとしても構わないし、画素単位で算出することとしても構わない。また、圧縮処理部８で用いられる圧縮処理の方法として、ＭＰＥＧやＨ．２６４などの方法を用いることとしても構わない。

本実施例の構成とすることによって、符号量が多い領域を検出するだけで主要被写体の検出を行うことが可能となる。そのため、容易に主要被写体を検出することが可能となる。さらに、動く種々の物体を主要被写体として検出することが可能となる。

［第４実施例：主要被写体検出部］
第４実施例の主要被写体検出部６１では、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）を行う際の指標となるそれぞれの評価値を利用して、主要被写体の位置を検出する。本実施例においては、図２に示した主要被写体検出用情報として、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値の少なくとも１つを用いる。なお、これらの評価値は入力画像に基づいて算出される。

ＡＦ評価値は、例えば、入力画像の各画素の輝度値の高周波成分を、複数の画素から構成されるエリア毎に演算することによって算出することができる。そして、このＡＦ評価値が大きいエリアでは、フォーカスが合っていることとなる。そのため、ＡＦ評価値が大きいエリアを、ユーザが撮像したいと考える主要被写体が含まれるエリアであると推定することができる。

ＡＥ評価値は、例えば、入力画像の各画素の輝度値を、複数の画素から構成されるエリア毎に演算することによって算出することができる。そして、このＡＥ評価値が、ある最適値に近いエリアでは露出が最適なものになっていることとなる。そのため、ＡＥ評価値が最適値に近いエリアを、ユーザが撮像したいと考える主要被写体が含まれるエリアであると推定することができる。

ＡＷＢ評価値は、例えば、入力画像の各画素の各成分値（例えば、ＲＧＢの各値や色差信号ＵＶの各値）を、複数の画素から構成されるエリア毎に演算することによって算出することができる。また例えば、それぞれのエリア内における成分値の割合から色温度を算出し、これによってＡＷＢ評価値を表現することも可能である。そして、このＡＷＢ評価値が、ある最適値に近いエリアではホワイトバランスが最適なものになっていることとなる。そのため、ＡＷＢ評価値が最適値に近いエリアを、ユーザが撮像したいと考える主要被写体が含まれるエリアであると推定することができる。

上記の少なくとも一つの評価値を用いることにより、入力画像から主要被写体が含まれるエリアを検出することができる。そして、本実施例の主要被写体検出部６１は、例えば、検出されたエリアの入力画像における位置の情報を、主要被写体位置情報として出力する。

本実施例の構成とすることによって、入力画像の調整を行うために必要とされるそれぞれの評価値を利用して、主要被写体の検出を行うことが可能となる。そのため、容易に主要被写体を検出することが可能となる。また、種々の物体を主要被写体として検出することが可能となる。

なお、上記の各評価値を複数の画素から構成されるエリア単位で算出することとしても構わないし、画素単位で算出することとしても構わない。

［第５実施例：主要被写体検出部］
第５実施例の主要被写体検出部６１では、音声信号を利用して主要被写体の位置を検出する。本実施例においては、図２に示した主要被写体検出用情報として、入力画像に対応する音声信号を用いる。入力画像に対応する音声信号とは、例えば、入力画像の撮像時に集音されて生成された音声信号を示すものであり、後段の圧縮処理部８において入力画像と時間的に関連付けられる音声信号である。

本実施例による主要被写体検出方法の一例について、図面を参照して説明する。図７は、第５実施例の主要被写体検出部の検出方法の一例について説明する模式図である。特に、主要被写体から到来する音声を集音する場合の一例を示したものである。なお、以下における本実施例の説明においては、図１で示した集音部５が、少なくとも２つのマイクを備えたマイクアレイであるものとする。

図７に示すように、主要被写体が発してマイク５ａ，５ｂに到来する音声は、それぞれのマイク５ａ，５ｂによって集音されて音声信号へと変換される。このとき、主要被写体とマイク５ａ，５ｂとを結んだ直線と、マイク５ａ，５ｂを結んだ直線とが成す到来角度θに応じて、マイク５ａ，５ｂに到来する音声に時間差が生じる。なお、マイク５ａ，５ｂの間隔Ｄは、マイク５ａ，５ｂと主要被写体との距離よりも十分小さいものとし、主要被写体とマイク５ａ，５ｂとを結んだそれぞれの直線が略平行になるものとする。また、本例における到来角度θは、マイク５ａ，５ｂを結んだ直線と主要被写体とマイク５ａ，５ｂとを結んだ直線とが成す角度とする。

この場合、例えば主要被写体からマイク５ａ，５ｂに到達する音声の時間差（遅延時間）を算出することで、到来角度θを算出することができる。特に、遅延距離ｄｌ＝Ｄ×ｃｏｓ（θ）を、音速ｃ（≒３４４ｍ／ｓｅｃ）で除算した値が遅延時間ｄｔとなるため、遅延時間ｄｔに基づいて到来角度θを算出することができる。なお、遅延時間ｄｔは例えば、マイク５ａ，５ｂから得られるそれぞれの音声信号を時間軸上で比較する（例えば、パターンマッチングを行う）ことによって、算出することができる。

また、マイク５ａ，５ｂから得られるそれぞれの音声信号を周波数軸上で比較し、得られる位相差に基づいて到来方向を算出することも可能である。例えば、下記式（１）に示すように、マイク５ａ，５ｂから得られる音声信号の演算を行うことで、位相差φを算出する。下記式（１）において、ｓｐｅｃ＿ｒ（ｉ）は、マイク５ａで集音されて得られる音声信号の周波数帯域ｉの成分である。また、ｓｐｅｃ＿ｌ（ｉ）は、マイク５ｂで集音されて得られる音声信号の周波数帯域ｉの成分である。なお、それぞれの音声信号の周波数帯域ｉの成分を算出するために、それぞれの音声信号に対してＦＦＴ（Fast Fourier Transform）処理を施すこととしても構わない。

図７に示すような０°≦θ＜９０°の場合であれば、位相差φが正の値となる。一方、９０°＜θ≦１８０°の場合であれば、位相差φは負の値となる。

複数のマイク５ａ，５ｂから得られる音声信号を用いることにより、主要被写体が存在する方向を検出することが可能となる。そして、本実施例の主要被写体検出部６１は、例えば、検出された主要被写体が存在する方向に基づいて求められる、入力画像中の主要被写体の位置の情報を、主要被写体位置情報として出力する。

本実施例の構成とすることによって、音声信号に基づいて主要被写体の検出を行うことが可能となる。そのため、音を発する種々の物体を主要被写体として検出することが可能となる。

なお、一例として集音部５に備えられる２つのマイク５ａ，５ｂから得られる２つの音声信号を用いる場合について説明したが、用いる音声信号は２つに限られない。３つ以上のマイクから得られる３つ以上の音声信号を用いることも可能である。用いる音声信号を増やすと、より正確に主要被写体が存在する方向を特定することができるため、好ましい。

［変形例：主要被写体検出部］
なお、主要被写体位置情報が、入力画像のある領域（例えば、顔領域）を示すものとしても構わないし、ある点（例えば、顔領域の中心座標）を示すものとしても構わない。

また、上述したそれぞれの実施例の主要被写体検出部は、単独で用いるのみならず組み合わせて用いることも可能である。例えば、上述したそれぞれの方法によって得られる複数の検出結果に対して重み付けを行うとともに合成し、主要被写体位置情報として出力することとしても構わない。このように構成すると、様々な方法で主要被写体の検出が行われるため、より正確に主要被写体を検出することが可能となる。

また、それぞれの検出方法に優先度を設け、優先度が高い検出方法では検出不能である場合に、優先度が低い検出方法を用いて主要被写体の検出を行い、得られた検出結果を主要被写体位置情報として出力することとしても構わない。

＜切り出し領域決定部＞
次に、切り出し領域決定部６２の切り出し方法の詳細について、各実施例を挙げるとともに図面を参照して説明する。なお、以下では説明の具体化のため、第１実施例の主要被写体検出部６１によって出力される主要被写体位置情報（顔領域）に基づいて、切り出し領域情報を設定し、出力する場合について説明することとする。

［第１実施例：切り出し領域決定部］
第１実施例の切り出し領域決定部６２は、ユーザの操作によって入力される構図情報に基づいて、切り出し領域を決定する。この構図情報は、例えば、画像記録開始前のプレビュー画像の表示中などに入力される。

本実施例の切り出し領域決定部６２の、切り出し領域の決定方法の一例について、図面を参照して説明する。図８は、第１実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図である。図８（ａ），（ｂ）では、入力画像の座標を、左上（０，０）、右上（２５，０）、左下（０，１１）、右下（２５，１１）とする。

図８（ａ）に示す例では、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であるものとする。また、切り出し領域の座標が、左上（９，４）、右上（２１，４）、左下（９，１１）、右下（２１，１１）であるものとする。この場合、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、左上（−５，−３）、右上（３，−３）、左下（−５，１）、右下（３，１）となる。

また、図８（ｂ）に示す例では、顔領域の座標が、左上（７，５）、右上（１１，５）、左下（７，８）、右下（１１，８）であるものとする。また、切り出し領域の座標が、左上（２，２）、右上（１４，２）、左下（２，９）、右下（１４，９）であるものとする。この場合、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、図８（ａ）と同様に、左上（−５，−３）、右上（３，−３）、左下（−５，１）、右下（３，１）となる。

図８（ａ），（ｂ）に示した例のように、本実施例では、主要被写体位置情報（例えば顔領域）が示す位置と切り出し領域の位置との関係が、主要被写体の位置に関わらず設定した位置関係（構図情報）で維持される。そして、切り出し部６３において、入力画像から切り出し領域のみが切り出され、切り出し画像が得られる。

以上のように構成することによって、ユーザが所望する構図を維持した切り出し画像を容易に得ることが可能となる。

なお、ユーザが構図を決定する際に、撮像装置１に備えられる操作部１６が用いられることとしても構わない。また、操作部１６をタッチパネルとしても構わないし、方向キーなどのボタンとしても構わない。

［第２実施例：切り出し領域決定部］
第２実施例の切り出し領域決定部６２も第１実施例と同様に、ユーザの操作によって入力される構図情報に基づいて、切り出し領域を決定する。ただし、本実施例では、撮像中に構図情報を変更可能であるものとする。

本実施例の切り出し領域決定部６２の、切り出し領域の決定方法の一例について、図面を参照して説明する。図９は、第２実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図であり、第１実施例について説明した図８に相当するものである。また、図９（ａ）〜（ｃ）についても、入力画像の座標を、左上（０，０）、右上（２５，０）、左下（０，１１）、右下（２５，１１）とする。

図９（ａ）は、図８（ａ）と同様の状態を示したものである。即ち、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であり、切り出し領域の座標が、左上（９，４）、右上（２１，４）、左下（９，１１）、右下（２１，１１）である。また、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、左上（−５，−３）、右上（３，−３）、左下（−５，１）、右下（３，１）となる。また、図９（ａ）では、主要被写体の進行方向が左向きであることとする。

図９（ｂ）は、主要被写体の進行方向が右向きとなる場合である。なお、顔領域の位置は図９（ａ）と同じ位置とする。そのため、切り出し領域の座標は図９（ａ）に示す場合と同様のものとなる。図９（ａ）に示す場合、ユーザは、主要被写体が左方に進行している場合を考えて構図を決定している。そのため、図９（ｂ）に示すように、主要被写体が進行方向を変えた場合、ユーザが構図を変更したいと考える場合がある。

そこで、本実施例では、構図（主要被写体の位置と切り出し領域との位置関係）を撮像中に変更可能な構成としている。構図の変更は、例えば、図９（ｂ）に示す状態となった場合などに行われ得る。構図の変更が行われる場合、それまで設定されていた構図が解除される。このとき、例えば、構図を解除する旨の構図情報が切り出し領域決定部６２に入力されたり、変更直前まで入力されていた構図情報とは異なる構図情報が切り出し領域決定部６２に入力されたりする。

その後、ユーザによって新たな構図が決定されると、新たな構図を示す構図情報が切り出し領域決定部６２に入力される。そして、切り出し領域決定部６２は、図９（ｃ）に示すように、新たな構図となる切り出し領域を決定する。図９（ｃ）に示す例では、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であるものとする。また、切り出し領域の座標が、左上（１１，４）、右上（２３，４）、左下（１１，１１）、右下（２３，１１）であるものとする。この場合、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、図９（ａ）とは異なり、左上（−３，−３）、右上（５，−３）、左下（−３，１）、右下（５，１）となる。

以上のように構成すると、主要被写体の状態に応じて、ユーザが望む構図を自由に決定することが可能となる。そのため、不自然な構図となる切り出し画像が生成され続けることを抑制することが可能となる。

なお、構図情報を解除した後、新たな構図情報を設定するまでの間に使用される構図情報を、解除前と同様の構図情報としても構わないし、予め設定しておいた解除中用の構図情報としても構わない。また、ユーザが構図を決定する際に、撮像装置１に備えられる操作部１６が用いられることとしても構わない。さらに、操作部１６をタッチパネルとしても構わないし、方向キーなどのボタンとしても構わない。

［第３実施例：切り出し領域決定部］
第３実施例の切り出し領域決定部６２は、入力される主要被写体位置情報に基づいて、最適となる構図を自動的に決定する。そのため、ユーザの指示に従って構図を決定したり変更したりする第１及び第２実施例とは、この点において異なる。

本実施例の切り出し領域決定部６２の、切り出し領域の決定方法の一例について、図面を参照して説明する。図１０は、第３実施例の切り出し領域決定部の切り出し方法の一例について説明する模式図であり、第１実施例について説明した図８に相当するものである。また、図１０（ａ），（ｂ）についても、入力画像の座標を、左上（０，０）、右上（２５，０）、左下（０，１１）、右下（２５，１１）とする。

図１０（ａ），（ｂ）に示すように、本実施例では主要被写体位置情報に、主要被写体の位置だけでなく主要被写体の状態を示す情報（例えば、顔の向き）が含まれるものとする。なお、図１０（ａ），（ｂ）において、主要被写体の顔の向きを黒い矢印で表現する。

図１０（ａ）は、図８（ａ）と同様の状態を示したものである。即ち、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であり、切り出し領域の座標が、左上（９，４）、右上（２１，４）、左下（９，１１）、右下（２１，１１）である。また、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、左上（−５，−３）、右上（３，−３）、左下（−５，１）、右下（３，１）となる。ただし、図１０（ａ）では、主要被写体の顔の向きが左向きであると検出されているものとする。

一方、図１０（ｂ）に示す例は、主要被写体の顔の向きが左向きから右向きへと変化した場合について示したものである。図１０（ｂ）に示す場合においても、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であり、図１０（ａ）に示す位置と同じ位置にあるものとする。

そして、図１０（ｂ）の場合に、切り出し領域決定部６２によって決定される切り出し領域の座標が、左上（１１，４）、右上（２３，４）、左下（１１，１１）、右下（２３，１１）とする。また、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、図１０（ａ）とは異なり、左上（−３，−３）、右上（５，−３）、左下（−３，１）、右下（５，１）となる。

図１０（ａ），（ｂ）のそれぞれは、切り出し領域中の顔領域の位置が顔の向きと逆方向に寄ったものとなるように、切り出し領域が設定される場合について示したものである。なお、このような設定は、ユーザによって成されるものであっても構わないし、予め撮像装置に記録されているものであっても構わない。

以上のように構成すると、主要被写体の状態が変化した場合に、容易に構図の変更を行うことが可能となる。特に、第２実施例のようにユーザが手動で構図を設定し直す手間を省くことが可能となる。さらに、構図の変更に時間がかからないため、変更に伴って不自然な構図の切り出し画像が生成されることを抑制することが可能となる。

また、切り出し領域中の主要被写体の位置が、顔の向きと逆方向に寄ったものとなるように、切り出し領域を決定することとすると、主要被写体が注目しているであろう領域を切り出し画像内に含めることが可能となる。

なお、上記の例では、主要被写体の状態を示す情報として顔の向きが用いられる場合について説明したが、主要被写体の状態を示す情報として適用可能な情報はこの限りではない。例えば、主要被写体の目線の向きでも構わないし、主要被写体の動きベクトルでも構わない。なお、主要被写体の目線の向きを用いる場合、顔の向きを用いる場合と同様の動作を行うこととしても構わない。また、主要被写体の動きベクトルを用いる場合について、以下に図面を参照して説明する。

図１１は、第３実施例の切り出し領域決定部の切り出し方法の別例について説明する模式図であり、本実施例の一例について示した図１０に相当するものである。また、図１１についても、入力画像の座標を、左上（０，０）、右上（２５，０）、左下（０，１１）、右下（２５，１１）とし、顔領域の座標が、左上（１４，７）、右上（１８，７）、左下（１４，１０）、右下（１８，１０）であるものとする。

図１１中のハッチングを付した部分は、現在の入力画像より前に処理された入力画像の主要被写体を示したものである。そして、現在の入力画像と前の入力画像とを比較することで、図示するような動きベクトルが算出される。この動きベクトルの算出方法として、既存のどのような方法を用いても構わない。

例えば、ブロックマッチング法や代表点マッチング法などの種々のマッチング方法を利用することで、動きベクトルを算出しても構わない。なお、主要被写体とその近傍の画素の画素値の変動を利用して、動きベクトルを算出することとしても構わない。また、エリア毎に動きベクトルを算出することとしても構わない。また、主要被写体検出用情報が複数の入力画像であり、主要被写体検出部６１が動きベクトルを算出するとともに、主要被写体位置情報に動きベクトルを含ませる構成としても構わない（図２参照）。

図１１に示すように、本例では、切り出し領域中の主要被写体の位置（顔領域）が、動きベクトルが示す方向側と逆方向に寄ったものとなるように、切り出し領域が決定される。例えば切り出し領域の座標が、左上（１１，４）、右上（２３，４）、左下（１１，１１）、右下（２３，１１）となり、切り出し領域と顔領域との位置関係、例えば（切り出し領域の座標）―（顔領域の座標）は、左上（−５，−３）、右上（３，−３）、左下（−５，１）、右下（３，１）となる。

このように構成しても、主要被写体の状態の変化に応じて容易かつ自動的に構図の変更を行うことが可能となる。また、主要被写体の位置が動きベクトルが示す方向側と逆方向に寄ったものとなるように、切り出し領域を決定することによって、主要被写体がどこに向かってどのように移動しているかを明確化することが可能となる。

また、構図の変更にヒステリシス特性を持たせ、ある一定時間内は構図が変更されないこととしても構わない。このように構成すると、主要被写体の状態によって頻繁に構図が変更されることによって、不自然な切り出し画像が生成されることを抑制することが可能となる。

［変形例：切り出し領域決定部］
なお、上述した各実施例について、座標を画素単位としても構わないし、エリア単位としても構わない。また、構図情報を、切り出し領域の位置と主要被写体位置情報が示す位置との座標の差としても構わないし、主要被写体位置情報が示す領域を上下左右方向に拡大するそれぞれの割合としても構わない。

また、主要被写体が入力画像の端に移動し、構図情報にしたがって決定される切り出し領域の位置が入力画像の外側に出る場合、構図情報を変更して、切り出し領域が入力画像内に入るようにしても構わない。また、撮像装置１のズーム倍率を小さくする制御を行うなどして入力画像の画角を広げ、主要被写体の位置が入力画像の端から離れるように制御しても構わない。

また、主要被写体位置情報が示す主要被写体の領域の大きさが可変となるとき、決定される切り出し領域の大きさが、この主要被写体の領域の大きさに応じて増減することとしても構わない。そして、切り出し部６３が、切り出し画像の拡大処理（例えば、画素の補間処理）や、縮小処理（例えば、画素の間引き処理や加算平均化処理）を行い、所定の大きさの画像となるように制御することとしても構わない。また、この場合の構図情報を、主要被写体位置情報が示す領域を上下左右方向に拡大するそれぞれの割合としても構わない。

また、上述したそれぞれの実施例の切り出し領域決定部６２は、単独で用いるのみならず組み合わせて用いることも可能である。例えば、第２実施例の切り出し領域決定部６２において、ユーザが構図の解除を行って新たな構図を設定するまでの間に、第３実施例の切り出し領域決定部６２によって決定された構図を採用することとしても構わない。

＜＜主要被写体が複数の物体から成る場合への適用＞＞
上述の各実施例では、主要被写体が一つの物体から成る場合について中心に述べたが、複数の物体（以下、構成被写体とする）から成る場合であっても同様に、切り出し画像を生成することが可能である。以下、主要被写体が複数の構成被写体から成る場合においても切り出し画像を生成し得る切り出し処理部の構成及び動作について、具体的に説明する。

最初に、この切り出し処理部の構成例について図面を参照して説明する。図１２は、主要被写体が複数の構成被写体を備える場合にも切り出し画像を生成し得る切り出し処理部の構成の一例を示すブロック図であり、基本構成について示した図２に相当するものである。なお、図２と同様の構成となる部分には同様の符号を付し、その詳細な説明については省略する。

図１３に示すように、本例の切り出し処理部６０ｂは、主要被写体検出部６１ｂと、切り出し領域決定部６２と、切り出し部６３と、を備える。ただし、主要被写体検出部６１ｂが、主要被写体検出用情報に基づいて一つの構成被写体の入力画像中の位置をそれぞれ検出して第１〜第ｎ構成被写体位置情報をそれぞれ出力する第１〜第ｎ構成被写体検出部６１１〜６１ｎと、第１〜第ｎ構成被写体位置情報を統計処理して主要被写体位置情報を出力する統計処理部６１ｘと、を備える。なお、ｎは２以上の整数である。

第１〜第ｎ構成被写体検出部６１１〜６１ｎは、上述した図２の主要被写体検出部６１と同様の検出動作を行い、それぞれが異なる構成被写体の位置を検出する。そして、検出結果を第１〜第ｎ構成被写体位置情報として出力する。なお、上述のように第１〜第ｎ構成被写体検出部６１１〜６１ｎのそれぞれは、構成被写体の顔や目線の向き、動きベクトルなどの方向に関する情報も検出し得る。また、図１２では概念的に示すために、第１〜第ｎ構成被写体検出部６１１〜６１ｎを分離して示しているが、複数の構成被写体を同時に検出可能な１つのブロック（プログラム）としても構わない。

統計処理部６１ｘは、第１〜第ｎ構成被写体検出部６１１〜６１ｎのそれぞれから出力される第１〜第ｎ構成被写体位置情報を統計処理することで、入力画像中から検出された複数の構成被写体全体（即ち、主要被写体）の入力画像中の位置を示す主要被写体位置情報を算出し、出力する。なお、上述のように第１〜第ｎ構成被写体位置情報に、構成被写体の顔や目線の向き、動きベクトルなどの方向に関する情報が含まれる場合、これらの情報に対しても統計処理を行い、得られる主要被写体の方向に関する情報を主要被写体位置情報に含ませることとしても構わない。

したがって、主要被写体位置情報には、入力画像中の主要被写体の位置（例えば、検出された全ての構成被写体を包含する矩形領域の位置や、構成被写体の平均位置など）の情報が含まれ得る。また、主要被写体の顔や目線の向き（例えば、構成被写体の顔や目線の平均向き）の情報、主要被写体の動きベクトルの方向や大きさ（例えば、構成被写体の動きベクトルの平均方向や平均の大きさ）なども含まれ得る。

切り出し領域決定部６２は、上述した図２の切り出し領域決定部６２と同様に、主要被写体位置情報に基づいて切り出し領域を決定して切り出し領域情報を出力する。そして、切り出し部６３が、入力画像から切り出し領域情報が示す切り出し領域を切り出して、切り出し画像を生成する。

次に、切り出し領域決定部６２による切り出し領域の決定方法の具体例について、図面を参照して説明する。図１３〜図１５は、複数の主要被写体に基づいて決定される切り出し領域の一例を示す模式図である。

（具体例１）
図１３は、複数の構成被写体の顔や目線の向きが略等しい方向となる場合（例えば、合唱時）について示したものである。また、図中に入力画像１００と、主要被写体位置情報によって示される主要被写体位置１１０と、切り出し領域１２０と、を示している。

第１〜第ｎ構成被写体検出部６１１〜６１ｎは、主要被写体検出用情報である入力画像に対して顔検出を行うことで、構成被写体の検出を行う。また、統計処理部６１ｘが、この検出結果である第１〜第ｎ構成被写体位置情報に基づいて主要被写体位置１１０を算出する。そして、切り出し領域決定部６２が、主要被写体位置１１０と主要被写体の顔の向きとに基づいて切り出し領域１２０を決定する。

本具体例では、主要被写体の顔や目線の向きが特定の方向（図中の黒塗りの矢印、左方向）として算出される。そこで、切り出し領域決定部６２は、主要被写体位置１１０が主要被写体の顔や目線の向き（図中左方向）とは逆方向（図中右方向）に寄った位置になるように、切り出し領域１２０を決定する。このとき、全ての構成被写体が含まれるように、切り出し領域１２０を決定しても構わない。

このように構成すると、容易かつ自動的に主要被写体（複数の構成被写体）の状態に応じた構図となる切り出し領域１２０を決定することが可能となる。特に、構成被写体が注目しているであろう領域を明確化した切り出し領域１２０を決定することが可能となる。

なお、本具体例において、第１〜第ｎ構成被写体検出部６１１〜６１ｎが、上述の第１実施例の主要被写体検出部６１と同様の検出方法を用いて、それぞれの主要被写体の検出を行うこととしても構わない。また、切り出し領域決定部６２が、上述の第３実施例の切り出し領域決定部６２と同様の決定方法を用いて、切り出し領域を決定することとしても構わない（図１０参照）。

（具体例２）
具体例１において、それぞれの構成被写体の顔や目線の向きにばらつきがあり（相関が所定の大きさ以下）、主要被写体の顔や目線の向きを特定の方向として算出することが困難である（算出される方向の信頼性が低い）場合における切り出し領域の決定方法の一例について、本具体例で説明する。図１４は、構成被写体の顔や目線の向きにばらつきがある場合（例えば、玉入れ時）について示したものである。また、図中に入力画像１０１と、主要被写体位置情報によって示される主要被写体位置１１１と、切り出し領域１２１と、を示している。

本具体例では、主要被写体の顔や目線の方向を、特定の方向として算出することが困難となる。そこで、切り出し領域決定部６２は、それぞれの構成被写体が含まれるように、切り出し領域１２１を決定する。このとき、主要被写体位置１１１が略中心になるように、切り出し領域１２１を決定しても構わない。

このように構成すると、具体例１と同様に、容易かつ自動的に主要被写体（複数の構成被写体）の状態に応じた構図となる切り出し領域１２１を決定することが可能となる。特に、顔や目線などの向きがばらつく構成被写体のそれぞれを容易に把握可能な切り出し領域１２１を決定することが可能となる。

（具体例３）
図１５は、複数の構成被写体が同じ方向に動いている場合（例えば、徒競走時）について示したものである。また、図中に入力画像１０２と、主要被写体位置情報によって示される主要被写体位置１１２と、切り出し領域１２２と、を示している。

第１〜第ｎ構成被写体検出部６１１〜６１ｎは、主要被写体検出用情報である入力画像に対して顔検出を行うことで、主要被写体の検出を行うとともに、それぞれの構成被写体について動きベクトルの算出を行う。また、統計処理部６１ｘが、この検出結果である第１〜第ｎ構成被写体位置情報に基づいて主要被写体位置１１２を算出するとともに、主要被写体の動きベクトルを算出する。そして、切り出し領域決定部６２が、主要被写体位置１１２と主要被写体の動きベクトルとに基づいて切り出し領域１２２を決定する。

本具体例では、主要被写体の動きベクトルが特定の方向（図中黒塗りの矢印、左方向）として算出される。そこで、切り出し領域決定部６２は、主要被写体位置１１２が主要被写体の動きベクトルの方向（図中左方向）とは逆方向（図中右方向）に寄った位置になるように、切り出し領域１２２を決定する。このとき、全ての構成被写体が含まれるように、切り出し領域１２２を決定しても構わない。

このように構成すると、具体例１及び２と同様に、容易かつ自動的に主要被写体（複数の構成被写体）の状態に応じた構図となる切り出し領域１２２を決定することが可能となる。特に、構成被写体がどこに向かってどのように移動しているかを明確化することが可能となる。

なお、本具体例において、第１〜第ｎ構成被写体検出部６１１〜６１ｎが、上述の第１実施例の主要被写体検出部６１と同様の検出方法を用いてそれぞれの構成被写体を検出しても構わないし、既存の種々の方法（例えば、ブロックマッチング法や代表点マッチング法など）を利用して動きベクトルを算出することとしても構わない。また、切り出し領域決定部６２が、上述の第３実施例の切り出し領域決定部６２と同様の決定方法を用いて、切り出し領域を決定しても構わない（図１１参照）。

また、具体例１に対する具体例２のように、それぞれの構成被写体の動きベクトルがばらつく（相関が所定の大きさ以下となる）場合、切り出し領域決定部６２が、それぞれの構成被写体が含まれるように、切り出し領域を決定しても構わない。

なお、具体例１〜３では、検出された主要被写体の位置と向きとに基づいて切り出し領域を決定する場合（上述の切り出し領域の第３実施例参照）について述べたが、ユーザの操作により入力される構図情報と主要被写体の位置とに基づいて切り出し領域が決定される（上述の切り出し領域の第１及び第２実施例参照）としても構わない。

また、入力画像内に含まれる複数の被写体の全てを構成被写体としても構わないし、ユーザが選択した被写体を構成被写体としても構わない。また、被写体の画像特徴や動きなどの相関性を利用するなどして自動的に選択された被写体を構成被写体としても構わない。

＜＜他の電子機器への適用＞＞
上述の例は、撮像装置１の撮像部で得られた入力画像に対して切り出し処理を行い、切り出し画像を記録する場合（即ち、撮像時に切り出し処理を行う場合）のものである。しかしながら、本発明は、外部メモリ１０などに記録された入力画像を読み出す際に切り出し処理を行う場合（即ち、再生時に切り出し処理を行う場合）にも、適用することができる。

図１６に、再生時に切り出し処理を行うことが可能な撮像装置１ａを示す。図１６は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図であり、図１に相当するものである。なお、図１と同様の部分については同じ符号を付し、その詳細な説明については省略する。

図１６に示す撮像装置１ａは、画像処理部６の代わりに画像処理部６ａを備える点と、伸長処理部１１から入力される画像信号を処理して画像出力回路部１２に出力する画像処理部６ｂをさらに備える点と、を除き、図１の撮像装置１と同様の構成となる。

画像処理部６ａは、切り出し処理部６０を備えない構成となる点を除き、図１に示す画像処理部６と同様の構成となる。一方、画像処理部６ｂに切り出し処理部６０ａが備えられる。なお、切り出し処理部６０ａは、図２や図１２に示す切り出し処理部６０，６０ｂと同様の構成とすることができる。また、切り出し処理部６０ａに備えられる主要被写体検出部６１として、例えば、上述の第１〜第５実施例の主要被写体検出部６１を用いることができる。また、切り出し領域決定部６２として、例えば、上述の第１〜第３実施例の切り出し領域決定部６２を用いることができる。

また、画像処理部６ｂに備えられる切り出し処理部６０ａは、必要に応じて撮像装置１ａの各部（例えば、伸長処理部１１など）から種々の情報（例えば、音声信号や圧縮処理時の符号化情報）を取得可能であることとする。ただし、図１６においては、これらの情報が切り出し処理部６０ａに入力されることを示す矢印の図示を省略する。

図１６に示す撮像装置１ａは、外部メモリ１０に記録されている圧縮符号化信号が伸長処理部１１に読み出されるとともに、伸長処理部１１で復号されて画像信号が出力される。この画像信号が、画像処理部６ｂと切り出し処理部６０ａとに入力されることにより、種々の画像処理や切り出し処理が行われる。なお、切り出し処理部６０ａの構成及び動作については、図２に示す切り出し処理部６０と同様のものとなる。そして、画像処理や切り出し処理が施された画像信号は画像出力回路部１２に入力されるとともに、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

本例のように、再生時に切り出し処理を行う場合では、入力画像が記録されたものであるため、入力画像の取得を停止させることが可能である。そのため、静止させた入力画像に対して切り出し領域を決定することが可能となる。したがって、切り出し領域決定部６２の第１及び第２実施例などにおいて、ユーザが切り出し領域の決定を行う場合に、所望の切り出し領域を正確に選択して決定することが可能となる。

なお、撮像装置１ａが、イメージセンサ２、レンズ部３、ＡＦＥ４、集音部５、画像処理部６、音声処理部７及び圧縮処理部８を備えない構成としても構わない。即ち、再生機能のみを備える再生専用の装置としても構わない。また、画像処理部６ｂから出力される画像信号を、再度外部メモリ１０に記録可能な構成としても構わない。即ち、編集時に切り出し処理を行うことが可能であるものとしても構わない。

また、上述した切り出し処理は、例えば、動画の撮像時や再生時、静止画の撮像時に利用可能である。静止画の撮像時に利用する場合とは、例えば、複数の画像に基づいて１つの静止画の画像を作成する場合などである。

＜＜その他変形例＞＞
また、本発明の実施形態における撮像装置１，１ａについて、画像処理部６，６ａ，６ｂや切り出し処理部６０，６０ａ，６０ｂなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１、図２の切り出し処理部６０、図１２の切り出し処理部６０ｂ及び図１６の撮像装置１ａ、切り出し処理部６０ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ａや切り出し処理部６０，６０ａ，６０ｂを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力画像を切り出して所望の切り出し画像を得る画像処理装置に関する。また、デジタルビデオカメラに代表される撮像装置などの電子機器に関する。

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６ 画像処理部
６０，６０ａ，６０ｂ 切り出し処理部
６１，６１ｂ 主要被写体検出部
６１１〜６１ｎ 構成被写体検出部
６１ｘ 統計処理部
６２ 切り出し領域決定部
６３ 切り出し部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス

Claims (9)

1. 入力画像から所定の領域を切り出して切り出し画像を生成する切り出し処理部を備える画像処理装置において、
   前記切り出し処理部が、
   前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、
   前記主要被写体検出部によって検出される前記主要被写体の位置を含む切り出し領域を決定する切り出し領域決定部と、
   前記入力画像から前記切り出し領域を切り出して前記切り出し画像を生成する切り出し部と、を備え、
   前記主要被写体検出部によって検出される前記主要被写体の位置が、前記切り出し領域中の所定の位置となるように、前記切り出し領域決定部が前記切り出し領域を決定することを特徴とする画像処理装置。
2. 前記主要被写体検出部によって検出される前記主要被写体の位置と、前記切り出し領域の位置と、の関係を指定する構図情報が、前記切り出し領域決定部に入力されるとともに、
   前記構図情報にしたがって、前記切り出し領域決定部が前記切り出し領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記主要被写体検出部が、前記主要被写体の向きを検出するとともに、
   前記切り出し領域決定部が、前記主要被写体検出部によって検出される前記主要被写体の向きに基づいて、前記切り出し領域を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記主要被写体検出部が、前記入力画像から前記主要被写体の顔を検出することで、前記主要被写体の位置を検出することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記主要被写体検出部が、前記入力画像に対応する音声信号から前記主要被写体の位置を検出することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記主要被写体が、複数の構成被写体から成るとき、
   前記主要被写体検出部が、前記入力画像中の前記構成被写体のそれぞれの位置を検出し、当該それぞれの位置に基づいて前記主要被写体の位置を検出することを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 前記主要被写体検出部が、前記構成被写体のそれぞれの向きを検出するとともに、当該それぞれの向きに基づいて前記主要被写体の向きを検出し、
   前記切り出し領域決定部が、前記主要被写体検出部によって検出される前記主要被写体の向きに基づいて、前記切り出し領域を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記主要被写体検出部が、前記構成被写体のそれぞれの向きを検出するとともに、当該それぞれの向きに基づいて前記主要被写体の向きを検出し、
   前記構成被写体のそれぞれの向きの相関が所定の大きさ以下であるとき、
   前記切り出し領域決定部は、前記複数の構成被写体のそれぞれが含まれる前記切り出し領域を決定することを特徴とする請求項６または請求項７に記載の画像処理装置。
9. 請求項１〜請求項８のいずれかに記載の画像処理装置を備え、
   当該画像処理装置から出力される前記切り出し画像を記録または再生することを特徴とする電子機器。

Images