JP2010252052A - 撮影装置、撮影方法及びプログラム - Google Patents

Abstract

【課題】ユーザが所望する被写体を容易に優先して撮影できるようにする。
【解決手段】本発明は、画像を撮影する撮影手段と、前記撮影手段により撮影される画像から特徴部分を検出する特徴検出手段と、前記撮影手段により撮影される画像のズーム倍率を制御するズーム制御手段と、前記特徴検出手段により特徴部分が検出されたときの前記ズーム制御手段によるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録手段と、前記特徴検出手段により複数の特徴部分が検出された場合、前記登録手段により登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定手段とを有することを特徴とする。
【選択図】図２

Description

本発明は、ビデオカメラ等の撮影装置、撮影方法及びプログラムに関する。特に、被写体を認識してカメラ制御を行う撮影装置、撮影方法及びプログラムに用いられて好適である。

近年、撮影している画像から顔等の注目すべき被写体を認識するスチルカメラや監視用カメラが知られている。このようなカメラでは、複数の被写体が画像内にいる場合に、被写体の画像内における位置や大きさから主たる被写体を判断し、主たる被写体に対するフォーカスや露出等のカメラ制御を行う。

例えば、特許文献１では、撮影画像から複数の顔を検出して、本体に登録されている人物と一致する顔があった場合、その顔を優先して顔部分に対するフォーカスや露出の制御を行い、顔部分に枠表示を行うデジタルカメラが提案されている。
また、特許文献２では、撮影画像に対する複数の測距部分から、中央部分を優先してフォーカスを制御するスチルカメラが提案されている。
また、特許文献３では、複数のカメラを用いて、ユーザが入力装置によって指定した人物を主たる被写体とするシステムが提案されている。

特開２００４−３２０２８７号公報 特開０７−１４０３７４号公報 特開２００１−２３５６７５号公報

しかしながら、従来のカメラでは、ユーザが所望の人物の顔を撮影しているときに、他の人物が撮影範囲に入ってくると、他の人物の画像内での位置や大きさによってユーザが所望しない他の人物が主たる被写体として優先されてしまうことがあった。それによって所望の人物に対してフォーカスや露出の制御が行われなかったり、顔に検出枠が表示されなかったりする等の問題があった。特に、スチルカメラの場合には、ユーザがレリーズ前に所望の被写体が優先されるように操作することができるが、ビデオカメラの場合には連続して撮影を行うため、所望の人物に対するフォーカスや露出の制御が外れてしまうと、画質面で大きな問題となっていた。

また、特許文献１に提案されているデジタルカメラでは、所望の被写体を判別するために、登録済みの人物の顔と一致するかを判定する処理が必要で、ハードウェアが複雑化し、ソフトウェアの処理時間が長くなってしまう問題があった。
また、特許文献２に提案されているスチルカメラでは、撮影対象の人物の後で通行人等が撮影範囲の中央を通り過ぎた場合には、所望しない他の人物が優先される問題があった。
また、特許文献３に提案されている主たる被写体を指定できるシステムでは、主たる被写体を指定するための入力装置が必要であった。また、ユーザが主たる被写体の選択のため繁雑な操作を行う必要があるといった問題があった。

本発明は、上述したような問題点に鑑みてなされたものであり、ユーザが所望する被写体を容易に優先して撮影できるようにすることを目的とする。

本発明の撮影装置は、画像を撮影する撮影手段と、前記撮影手段により撮影される画像から特徴部分を検出する特徴検出手段と、前記撮影手段により撮影される画像のズーム倍率を制御するズーム制御手段と、前記特徴検出手段により特徴部分が検出されたときの前記ズーム制御手段によるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録手段と、前記特徴検出手段により複数の特徴部分が検出された場合、前記登録手段により登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定手段とを有することを特徴とする。
本発明の撮影方法は、画像を撮影する撮影ステップと、前記撮影ステップにより撮影される画像から特徴部分を検出する特徴検出ステップと、前記撮影ステップにより撮影される画像のズーム倍率を制御するズーム制御ステップと、前記特徴検出ステップにより特徴部分が検出されたときの前記ズーム制御ステップによるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録ステップと、前記特徴検出ステップにより複数の特徴部分が検出された場合、前記登録ステップにより登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定ステップとを有することを特徴とする。
本発明は、画像を撮影する撮影ステップと、前記撮影ステップにより撮影される画像から特徴部分を検出する特徴検出ステップと、前記撮影ステップにより撮影される画像のズーム倍率を制御するズーム制御ステップと、前記特徴検出ステップにより特徴部分が検出されたときの前記ズーム制御ステップによるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録ステップと、前記特徴検出ステップにより複数の特徴部分が検出された場合、前記登録ステップにより登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定ステップとをコンピュータに実行させるためのプログラムである。

発明によれば、検出された複数の被写体から、ユーザが所望する被写体を容易に優先して撮影することができる。

撮影装置の構成を示す図である。 被写体リストを更新する処理動作を示すフローチャートである。 被写体リストの一例を示す図である。 第１の実施形態に係る複数被写体を撮影したときの出力画像の図である。 第１の実施形態に係るズームインしたときの出力画像の図である。 第１の実施形態に係るズームアウトしたときの出力画像の図である。 第１の実施形態に係る被写体の距離に応じた点数の対応を示す図である。 第１の実施形態に係る被写体の幅に応じた点数の対応を示す図である。 第２の実施形態に係る複数被写体を撮影したときの出力画像の図である。 第２の実施形態に係るズームインしたときの出力画像の図である。 第２の実施形態に係るズームアウトしたときの出力画像の図である。 第２の実施形態に係る人物がユーザに向かって移動したときの出力画像の図である。 第２の実施形態に係る被写体の距離に応じた点数の対応を示す図である。 第２の実施形態に係る被写体の幅に応じた点数の対応を示す図である。 第２の実施形態に係るズーム情報に応じた点数の対応を示す図である。

以下、本発明に係る実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、本実施形態に係る撮影装置の構成を示す図である。本実施形態では、撮影装置として、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラ（以下、ビデオカメラという）を例にして説明する。
まず、ビデオカメラ１００の構成について説明する。
ビデオカメラ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４及び内部バス１０５の制御系ブロックを含んで構成されている。ＣＰＵ１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続されている。また、ＣＰＵ１０１はＲＯＭ１０３に格納されたプログラムに基づいて各ブロックの制御を行う。ＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザによる各種の操作レバーやボタン等の入力をＣＰＵ１０１に伝える。ＣＰＵ１０１は、操作部１０４を介したユーザの指示に応じ、各種処理を行うことができる。

また、ビデオカメラ１００は、変倍レンズ１１０、フォーカスレンズ１１１、絞り１１２、レンズドライバ１１３、ＣＣＤイメージセンサ１１４及びＡＦＥ１１５のカメラ系ブロックを含んで構成されている。変倍レンズ１１０、フォーカスレンズ１１１を通過した光は、ＣＣＤイメージセンサ１１４の撮像面上に結像し、撮像面の光学像が電気信号に変換される。レンズドライバ１１３は、ＣＰＵ１０１の制御により、変倍レンズ１１０、フォーカスレンズ１１１及び絞り１１２を駆動して、ズーム倍率の変更によるズーム処理やフォーカスと絞り量の調整を行う。なお、ＣＰＵ１０１は、ズーム制御手段の一例に対応する。ＡＦＥ１１５は、ＣＰＵ１０１に指示されたシャッター速度に基づき、ＣＣＤイメージセンサ１１４を駆動して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。

また、ビデオカメラ１００は、画像入力部１２０、画像処理部１２１、バッファメモリ１２２、フォーカス評価部１２３、露出評価部１２４及び特徴検出部１２５の画像処理系ブロックを含んで構成されている。画像入力部１２０は、ＣＰＵ１０１の制御により、画像信号を撮影時にはＡＦＥ１１５から、再生時にはＣＯＤＥＣ１３０から受信し、画像処理部１２１に入力する。画像処理部１２１は、バッファメモリ１２２を用いて、色変換や解像度変換、画像の切り出しによるズーム処理といった各種の画像信号処理を行う。
フォーカス評価部１２３及び露出評価部１２４は、画像処理部１２１から取得した画像信号に含まれる複数の領域に対して、フォーカス及び露出の状態をそれぞれ評価する。特徴検出部１２５は、バッファメモリ１２２から読み出した画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置を検出する。ここで、本実施形態での特徴部分とは、人物の顔部分である。特徴検出部１２５はバッファメモリ１２２から読み出したフレームの画像信号から特徴部分の検出を終えると、すぐに別のフレームの画像信号を読み出して特徴部分の検出を行う。これを繰り返すことにより、動画像に含まれる特徴部分を時間的に連続して検出することができる。そして、前後のフレーム間でその位置や大きさが近い値を持つ特徴部分を同一被写体における特徴部分と判断することによって、同一被写体を追跡することができる。そして、特徴検出部１２５は、特徴部分を検出する度に被写体リストとして検出した特徴部分の大きさや位置をＲＡＭ１０２に格納する。また、特徴検出部１２５は、そのときのズーム処理の状態に応じて、被写体リストにズーム情報を登録する。

また、ビデオカメラ１００は、ＣＯＤＥＣ１３０、バッファメモリ１３１、ディスクコントローラ１３２及びディスク１３３のレコーダ系ブロックを含んで構成されている。撮影画像の記録時、ＣＯＤＥＣ１３０は、ＣＰＵ１０１の制御により、画像処理部１２１から取得した画像信号を符号化してバッファメモリ１３１に書き出す。ディスクコントローラ１３２は、その符号データをディスク１３３（ＤＶＤ等の記録媒体）に記録する。一方、記録画像の再生時には、ディスクコントローラ１３２は、ＣＰＵ１０１の制御により、ディスク１３３から読み出した符号データをバッファメモリ１３１に書き出す。ＣＯＤＥＣ１３０は、その符号データを復号化する。

また、ビデオカメラ１００は、描画処理部１４０、バッファメモリ１４１、ＬＣＤコントローラ１４２、ＬＣＤ１４３、外部出力コントローラ１４５及び外部端子１４６の表示系ブロックを含んで構成されている。描画処理部１４０は、ＣＰＵ１０１の制御により、画像処理部１２１から取得した画像信号に対して、描画した文字や図形等を重畳して、バッファメモリ１４１に書き出す。ＬＣＤコントローラ１４２は、バッファメモリ１４１から読み込んだ画像信号をＬＣＤ１４３に出力して表示する。また、外部出力コントローラ１４５は、バッファメモリ１４１より読み込んだ画像信号を、外部端子１４６に接続ケーブル１５０を介して接続されている外部出力装置１５１に出力して表示させる。

次に、ビデオカメラが被写体リストを更新する処理動作について、図２に示すフローチャートを参照して説明する。この処理は、動画中のいずれかのフレームの画像信号から特徴部分の検出が行われる度に実行され、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムを実行することにより実現する。
ここで、被写体リストとは、被写体の特徴部分の情報が記憶された登録情報であり、ＲＡＭ１０２等に格納されている。被写体リストには、図３に示すように、複数の被写体の特徴部分の位置（水平位置ｘ，垂直位置ｙ）と、特徴部分の幅ｗと、ズーム情報Ｚｏとが登録される。なお、本実施形態の特徴検出部１２５は、特徴部分を含む正方形の幅ｗを、特徴部分の大きさとして検出する。この特徴部分の位置と幅の情報は、ズーム倍率が広角端（ワイド端）にあるときの座標に換算されて登録される。ズーム倍率をあげた状態で撮影された画像信号の画角は、ズーム倍率が広角端であるときの画角の中央の一部を切り取ったものに相当する。そこで、ズーム倍率の設定値から、撮影された画像信号の画角が、ズーム倍率が広角端であるときの中央何割の画角に相当するかを演算すれば、検出された特徴部分の位置と幅の情報を、ズーム倍率が広角端にあるときの座標に換算して登録することができる。ズーム倍率の設定値は、操作部１０４に含まれるズームレバーの操作量から求めた値でも、センサで検出した変倍レンズ１１０の位置から求めた値でもかまわない。また、本実施形態でのズーム情報Ｚｏとは、特徴検出部１２５が検出する特徴部分が１つになるまでズーム倍率を上げられた（ズームインされた）被写体であるか否かを示す情報である。特徴部分が１つになるまでズームインされた被写体には、図３の登録番号１のズーム情報Ｚｏに示すように、ズーム情報に１が登録される。一方、特徴部分が１つになるまでズームインされていない被写体には、図３の登録番号２のズーム情報Ｚｏに示すように、ズーム情報に０が登録される。なお、特徴部分が１つになるまでズームインされていない被写体には、被写体リストのズーム情報に何も登録しないようにしてもよい。

まず、図２に示すフローチャートのステップＳ２０１では、ＣＰＵ１０１は、特徴検出部１２５が検出した特徴部分の数Ｎを取得する。
次に、ステップＳ２０２では、ＣＰＵ１０１は、あるフレームの画像信号から検出されたＮ個の特徴部分のうち、被写体リストと照合していない特徴部分が残っているか否かを判定する。照合していない特徴部分がある場合、ステップＳ２０３に処理を進める。ステップＳ２０３において、ＣＰＵ１０１は、ｎ番目の特徴部分の情報、具体的には特徴部分の大きさと位置を取得する。（ここで１≦ｎ≦Ｎであり、ｎは初期値として１が設定され、ステップＳ２０２に戻るたびにカウントアップされる）。

続いて、ステップＳ２０４では、ＣＰＵ１０１は、取得した特徴部分の大きさ及び位置をズーム倍率が広角端にあるときの座標に換算し、これと同じ要素又は近い要素が、被写体リストに登録されているか否かの照合を行う。被写体リストには、それよりも前のフレームの画像信号から検出された特徴部分の大きさと位置が、ズーム倍率が広角端にあるときの座標に換算された値で保持されている。すなわち、新たに取得した特徴部分の大きさ及び位置と同じ又は近い要素がそれよりも前のフレームの画像信号から検出されていれば、その特徴部分は、前のフレームにて既に特徴部分が検出されている被写体と同一被写体のものであると判断する。反対に、検出されなければ、その特徴部分は、それよりも前のフレームの画像信号にて既に検出された被写体とは別の被写体のものであると判断する。そして、該当する要素が被写体リストに登録されている場合、ステップＳ２０５に処理を進める。
ステップＳ２０５では、ＣＰＵ１０１は、該当する要素の大きさと位置を、新たに取得した特徴部分の大きさと位置になるように、被写体リストを更新する。

一方、ステップＳ２０４において、該当する要素が被写体リストに登録されていない場合、すなわち、それよりも前のフレームの画像信号にて既に検出された被写体とは別の被写体の特徴部分が検出されたと判断された場合にはステップＳ２０６に処理を進める。
ステップＳ２０６では、ＣＰＵ１０１は、新たな要素として、取得した特徴部分の大きさと位置を被写体リストに登録する。

ステップＳ２０７では、ＣＰＵ１０１は、該当する要素が判定条件に合致するか否かを判定する。ここで、本実施形態における判定条件とは、ズームインがされていること、かつ、そのフレームの画像信号から検出された特徴部分が１つであるという条件である。ここで、特徴部分が１つであるとは、出力画像に顔部分が１つ、すなわち人物が１人しか検出されていない場合を意味する。該当する要素が判定条件に合致していない場合、ステップＳ２０２に処理を戻す。該当する要素が判定条件に合致している場合、ステップＳ２０８に処理を進める。
ステップＳ２０８では、ＣＰＵ１０１は、特徴検出部１２５を制御して、該当する要素における被写体リストのズーム情報に１を登録する。

一方、ステップＳ２０２において、全ての特徴部分の照合が終了している場合、ステップＳ２０９に処理を進める。
ステップＳ２０９では、ＣＰＵ１０１は、一定時間内に同じ又は近い要素が新たに検出され、その要素が更新された特徴部分については、その新たに検出された要素をリストに記憶させる。反対に、一定時間更新されなかった要素については、被写体リストから削除し、そのズーム情報を０にクリアして、処理を終了する。
ＣＰＵ１０１は、被写体リストの中からズーム情報が１の被写体を優先すべき被写体として判断し、ズーム情報が１の被写体がない場合は、複数の被写体の位置及び大きさから優先すべき被写体を判断する。なお、ＣＰＵ１０１は、優先決定手段の一例に対応する。

次に、ズーム処理を行って、複数の人物を撮影したときのビデオカメラの動作処理について図４を参照して説明する。
図４に示す出力画像４００は、ユーザによる操作部１０４のレバー操作によって、ＣＰＵ１０１がレンズドライバ１１３又は画像処理部１２１を制御しズームインを行っているときに、ＬＣＤ１４３又は外部出力装置１５１に表示された画像である。出力画像４００には、ユーザが撮影しようとしている人物４１０と、他の人物４２０とが写っている。
ここで、特徴検出部１２５は、出力画像４００に基づいて、人物４１０、４２０の顔部分を特徴部分として、その大きさと位置を検出する。この処理は、上述した図２に示すフローチャートのステップＳ２０３に対応する。

ＣＰＵ１０１は、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。
次に、ＣＰＵ１０１は、検出されている特徴部分が上述したズーム情報の判定条件に合致するかを判定する。この処理は、図２に示すステップＳ２０７に対応する。より具体的に説明すると、図４に示す出力画像４００では、ズームインという条件を満たすものの、特徴検出部１２５によって検出された特徴部分が１つという条件を満たさない。したがって、ＣＰＵ１０１は、特徴検出部１２５を制御して、被写体リストのズーム情報を０のままにする。この処理は、ステップＳ２０７をＮＯに進む場合に対応する。

被写体リストのズーム情報が全て０の場合、つまり人物４１０、４２０に対応する被写体リストのズーム情報が０の場合、ＣＰＵ１０１は、人物４１０、４２０の特徴部分の位置及び大きさに基づいて、所定の評価基準から判断して、優先すべき被写体を決定する。ここでは、図７及び図８を参照して後述する優先すべき被写体を判断する方法により、人物４２０を優先すべき被写体として決定されたものとして説明する。

ＣＰＵ１０１は、優先すべき被写体である人物４２０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４から取得する。ＣＰＵ１０１は、取得したフォーカス、露出の評価結果に基づいて、レンズドライバ１１３とＡＦＥ１１５とを制御して、フォーカスと露出（絞り量とシャッター速度）の調整を行う。
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体と判断した人物４２０の顔部分に対して実線で検出枠４２１を描画し、他の被写体である人物４１０の顔部分に対して破線で検出枠４１１を描画し、画像信号に重畳して出力する。

次に、上述したズーム情報が全て０の場合に、優先すべき被写体を判断する方法について、図７及び図８を参照して説明する。図７及び図８は、ＣＰＵ１０１が優先すべき被写体を判断する際、被写体の位置、大きさを考慮する割合をそれぞれ点数（評価値）で示したグラフである。このグラフのデータは、例えばビデオカメラ１００のＲＯＭ１０３に格納されている。
まず、図７において、横軸は被写体の特徴部分の位置（ｘ，ｙ）と画像の中心（Ｘ０，Ｙ０）との距離ｄを示し、縦軸は点数ｐを示している。ここでの被写体の特徴部分の位置（ｘ，ｙ）と画像の中心（Ｘ０，Ｙ０）との距離ｄは、ズーム倍率が広角端にあるときの座標に換算する必要はない。図７に示す対応線７００によれば、特徴部分の位置が画像の中心に近いほど点数は高く、画像の中心から最も遠い距離Ｄｍａｘに近づくと急峻に点数が低くなり０に至る。ここで、図４を参照して具体的に説明すると、図４に示した人物４１０の顔画像と画像の中心との距離をＤ１とすると、ＣＰＵ１０１は、図７に示す対応線７００から点数Ｐｄ１を取得する。一方、図４に示す人物４２０の顔画像と画像の中心との距離をＤ２とすると、ＣＰＵ１０１は、図７に示す対応線７００から点数Ｐｄ２を取得する。

次に、図８において、横軸は被写体の特徴部分の幅ｗを示し、縦軸は点数ｐを示している。ここでの被写体の特徴部分の幅ｗは、ズーム倍率が広角端にあるときの座標に換算する必要はない。図８に示す対応線８００によれば、特徴検出部１２５が検出できる最も小さい特徴部分の幅Ｗｍｉｎに近いほど点数は低く、検出できる最も大きい特徴部分の幅Ｗｍａｘに近づくほど点数が高くなる。ここで、図４に示す人物４１０の顔画像を含む正方形を幅Ｗ１とすると、ＣＰＵ１０１は、図８に示す対応線８００から点数Ｐｗ１を取得する。一方、図４に示す人物４２０の顔画像を含む正方形を幅Ｗ２とすると、ＣＰＵ１０１は、図８に示す対応線８００から点数Ｐｗ２を取得する。

そして、図４に示す人物４１０、４２０の被写体リストにおいて、何れもズーム情報が０である場合、ＣＰＵ１０１は、人物４１０の合計点数Ｐｄ１＋Ｐｗ１と、人物４２０の合計点数Ｐｄ２＋Ｐｗ２とを比較する。そして、ＣＰＵ１０１は、合計点数が高い人物４２０を優先すべき被写体と判断する。

次に、図４に示す出力画像４００の状態から更にズーム処理を行って、１人のみの人物を撮影したときのビデオカメラの動作処理について図５を参照して説明する。
図５に示す出力画像５００は、撮影したい人物４１０に対して、ユーザによって画角が少し横に移動され、かつ、ユーザによる操作部１０４のレバー操作によってズームインを行ったときに、ＬＣＤ１４３又は外部出力装置１５１に表示された画像である。出力画像５００には、人物４１０が拡大されて表示されていると共に、人物４２０が撮影範囲から外れて（フレームアウトして）表示されている。
ここで、特徴検出部１２５は、出力画像５００に基づいて、人物４１０の顔部分を特徴部として、その大きさと位置を検出する。この処理は、上述した図２に示すフローチャートのステップＳ２０３に対応する。

ＣＰＵ１０１は、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。
次に、ＣＰＵ１０１は、検出されている特徴部分が上述したズーム情報の判定条件に合致するかを判定する。この処理は、図２に示すステップＳ２０７に対応する。より具体的に説明すると、図５に示す出力画像５００では、ズームインが行われ、かつ特徴検出部１２５によって検出された特徴部分が１つという条件を満たす。したがって、ＣＰＵ１０１は、特徴検出部１２５を制御して、被写体リストにおける人物４１０に対応する要素のズーム情報に１を登録する。この処理は、ステップＳ２０８の処理に対応する。

被写体リストのズーム情報に１がある場合、ＣＰＵ１０１は、ズーム情報が１に対応する人物４１０の顔部分に対するフォーカス、露出の評価結果に基づいて、フォーカスと露出の調整を行う。
また、ＣＰＵ１０１は、描画処理部１４０を制御して、人物４１０の顔部分に対して実線で検出枠５１１を描画し、画像信号に重畳して出力する。

次に、図５に示す出力画像５００の状態からビデオカメラでズーム倍率を下げる処理（ズームアウト）を行って、複数の人物を撮影したときのビデオカメラの動作処理について図６を参照して説明する。
図６に示す出力画像６００は、ユーザによる操作部１０４のレバー操作によって、ズームアウトを行われ、かつ、ユーザによって画角が元に位置に移動されたときに、ＬＣＤ１４３又は外部出力装置１５１に表示された画像の一例である。出力画像６００には、人物４２０が再び撮影範囲に含まれるように（フレームイン）表示されている。
ここで、特徴検出部１２５は、出力画像６００に基づいて、人物４１０の特徴部分に加え新たに人物４２０の特徴部分の大きさと位置を検出する。この処理は、上述した図２に示すフローチャートのステップＳ２０３に対応する。

ＣＰＵ１０１は、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この特徴部分の位置と幅の情報は、ズーム倍率が広角端にあるときの座標に換算されて登録されているため、ズームインが行われた画像とズームアウトが行われた画像とで、検出された特徴部分が同一被写体のものであるか否かを判断することが可能である。また、ズームインが行われた画像とズームアウトが行われた画像とで画角がずれていても、画角がずれる過程で検出された特徴部分の位置と幅を随時比較することで、どの特徴部分が同一被写体のものであるか否かを判断することができる。この処理は、図２に示すフローチャートのステップＳ２０４、Ｓ２０５に対応する。
次に、ＣＰＵ１０１は、検出されている特徴部分が上述したズーム情報の判定条件に合致するかを判定する。この処理は、図２に示すステップＳ２０７に対応する。より具体的に説明すると、図６に示す出力画像６００では、ズームインでなくズームアウトが行われ、特徴検出部１２５によって検出された特徴部分が１つではないためズーム情報の判定条件に合致しない。すなわち、ＣＰＵ１０１は、特徴検出部１２５を制御して、被写体リストのズーム情報において、ズームインが行われたときに１人だけ特徴部分が検出された人物４１０に対応する要素のズーム情報を１のままにし、人物４２０に対応する要素のズーム情報を０にする。

被写体リストのズーム情報に１がある場合、ＣＰＵ１０１は、ズーム情報に１が登録されている要素に対応する人物４１０を優先すべき被写体と決定する。
ＣＰＵ１０１は、優先すべき被写体である人物４１０の顔部分に対するフォーカス、露出の評価結果に基づいて、フォーカスと露出の調整を行う。
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体と判断した人物４１０の顔部分に対して実線で検出枠６１１を描画し、他の被写体である人物４２０の顔部分に対して破線で検出枠６２１を描画し、画像信号に重畳して出力する。

このように、本実施形態によれば、ユーザが撮影しようとする人物に対して、一度、ズームインを行い、撮影範囲内に写る人物が１人になるよう撮影することで、所望の人物を優先して撮影することができる。そして、所望する人物に対して、フォーカスや露出等のカメラ制御を行ったり、検出枠の描画処理を行ったりすることができる。

（第２の実施形態）
次に、第２の実施形態に係るビデオカメラについて説明する。第２の実施形態のビデオカメラは、第１の実施形態のビデオカメラに比べて、ズーム情報の判定条件と優先すべき被写体を判断する方法が異なる。本実施形態の判定条件とは、特徴検出部１２５が検出する特徴部分の数によらず、被写体に対してズームインされていることを条件とする。したがって、全ての被写体に対して、ズームインされたものか（＝１）、否か（＝０）のズーム情報が被写体リストに登録される。また、本実施形態では、優先すべき被写体をズーム情報、特徴部分の位置及び大きさを総合的に考慮して判断する。なお、本実施形態のビデオカメラの構成や被写体リストを更新する処理動作は、第１の実施形態と同様である。

まず、ズーム処理を行わず、複数の人物を撮影したときのビデオカメラの動作処理について図９を参照して説明する。
図９に示す出力画像９００は、ＬＣＤ１４３又は外部出力装置１５１に表示された画像である。出力画像９００には、ユーザが撮影しようとしている人物９１０と、他の人物９２０、人物９３０とが写っている。このとき、撮影開始時からズーム処理は一度も行われていないものとする。
ここで、特徴検出部１２５は、出力画像９００に基づいて、人物９１０、９２０、９３０の顔部分を特徴部分として、その大きさと位置を検出する。この処理は、上述した図２に示すフローチャートのステップＳ２０３に対応する。

ＣＰＵ１０１は、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。なお、ＣＰＵ１０１は、ズームインを行っていないため、被写体リストにおける各人物に対応する要素のズーム情報は０のままである。
次に、ＣＰＵ１０１は、人物９１０、９２０、９３０のズーム情報、位置及び大きさに基づいて、後述する所定の評価基準から判断して、優先すべき被写体を決定する。ここでは、ユーザが撮影したい人物９１０と異なる人物９２０が優先すべき被写体として決定されたものとする。

ＣＰＵ１０１は、優先すべき被写体である人物９２０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４から取得する。ＣＰＵ１０１は、取得したフォーカス、露出の評価結果に基づいて、レンズドライバ１１３とＡＦＥ１１５とを制御して、フォーカスと露出（絞り量とシャッター速度）の調整を行う。
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体とした人物９２０の顔部分に対して実線で検出枠９２１を描画し、他の被写体である人物９１０、９３０の顔部分に対して破線で検出枠９１１、９３１を描画し、画像信号に重畳して出力する。

次に、上述した優先すべき被写体を判断する方法について、図１３、図１４及び図１５を参照して説明する。図１３、図１４及び図１５は、ＣＰＵ１０１が優先すべき被写体を判断する際、被写体の位置、大きさ及びズーム情報を考慮する割合をそれぞれ点数（評価値）で示したグラフである。このグラフのデータは、例えばビデオカメラ１００のＲＯＭ１０３に格納されている。
まず、図１３において、横軸は被写体の特徴部分の位置（ｘ，ｙ）と画像の中心（Ｘ０，Ｙ０）との距離ｄを示し、縦軸は点数ｐを示している。図１３に示す対応線１３００によれば、特徴部分の位置が画像の中心に近いほど点数は高く、画像の中心から最も遠い距離Ｄｍａｘに近づくと急峻に点数が低くなり０に至る。ここで、図９を参照して具体的に説明すると、図９に示した人物９１０の顔画像と画像の中心との距離をＤ１とすると、ＣＰＵ１０１は、図１３に示す対応線１３００から点数Ｐｄ１を取得する。また、図９に示す人物９２０の顔画像と画像の中心との距離をＤ２とすると、ＣＰＵ１０１は、図１３に示す対応線１３００から点数Ｐｄ２を取得する。また、図９に示す人物９３０の顔画像と画像の中心との距離をＤ３とすると、ＣＰＵ１０１は、図１３に示す対応線１３００から点数Ｐｄ３を取得する。ここで、ＣＰＵ１０１は、第１の評価値取得手段の一例に対応する。

次に、図１４において、横軸は特徴部分の幅ｗを示し、縦軸は点数ｐを示している。図１４に示す対応線１４００によれば、特徴検出部１２５が検出できる最も小さい特徴部分の幅Ｗｍｉｎに近いほど点数は低く、検出できる最も大きい特徴部分の幅Ｗｍａｘに近づくほど点数が高くなる。ここで、図９に示す人物４１０の顔画像を含む正方形を幅Ｗ１とすると、ＣＰＵ１０１は、図１４に示す対応線１４００から点数Ｐｗ１を取得する。また、図９に示す人物９２０の顔画像を含む正方形を幅Ｗ２とすると、ＣＰＵ１０１は、図１４に示す対応線１４００から点数Ｐｗ２を取得する。また、図９に示す人物９３０の顔画像を含む正方形を幅Ｗ３とすると、ＣＰＵ１０１は、図１４に示す対応線１４００から点数Ｐｗ３を取得する。ここで、ＣＰＵ１０１は、第２の評価値取得手段の一例に対応する。

次に、図１５において、横軸は特徴部分のズーム情報の値Ｚｏを示し、縦軸は点数ｐを示す。図１５に示す対応によれば、Ｚｏは０か１であり、ＣＰＵ１０１は、それぞれの値に対応した固定の点数を取得する。ここでは、Ｚｏが１とすると、ＣＰＵ１０１は、点数ＰＺｏを取得する。ここで、ＣＰＵ１０１は、第３の評価値取得手段の一例に対応する。
そして、ＣＰＵ１０１は、各人物の特徴部分の位置、大きさ及びズーム情報における合計点数を算出し、最も合計点数が高い人物を優先すべき被写体として決定する。ここで、ＣＰＵ１０１は、優先決定手段の一例に対応する。
具体的に、図９に示す人物９１０、９２０、９３０の場合、ズーム情報はそれぞれ０であるため、ＣＰＵ１０１は、人物９１０の合計点数Ｐｄ１＋Ｐｗ１と、人物９２０の合計点数Ｐｄ２＋Ｐｗ２と、人物９３０の合計点数Ｐｄ３＋Ｐｗ３とを比較する。その結果、ＣＰＵ１０１は、合計点数が最も高い人物９２０を優先すべき被写体と判断する。

次に、図９に示す出力画像９００の状態からズーム処理を行って、撮影したい人物９１０を撮影したときのビデオカメラの動作処理について図１０を参照して説明する。
図１０は、図９に示す出力画像から撮影したい人物９１０に対してユーザによる操作部１０４のレバー操作によってズームインを行ったときに、ＬＣＤ１４３又は外部出力装置１５１に表示された画像の一例である。出力画像１０００には、人物９１０、人物９３０が拡大されて表示されていると共に、人物９２０がフレームアウトされている。

ＣＰＵ１０１は、第１の実施形態と同様の方法にて、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。
次に、ＣＰＵ１０１は、検出されている特徴部分がズーム情報の判定条件に合致するかを判定する。この処理は、図２に示すステップＳ２０７に対応する。本実施形態のズーム情報の判定条件とは、ズームインが行われているという条件である。ここでは、ズームインが行われているため、ＣＰＵ１０１は、特徴検出部１２５を制御して、被写体リストにおける人物９１０、９３０に対応する要素のズーム情報に１を登録する。この処理は、ステップＳ２０８の処理に対応する。

次に、ＣＰＵ１０１は、上述した図１３、図１４及び図１５を用いた評価基準から判断して、優先すべき被写体を決定する。具体的には、人物９１０と人物９３０の特徴部分の幅Ｗが同じで、ズーム情報も同じなので、特徴部分の位置が画像中心に近い人物９１０の合計点数が高くなる。したがって、ＣＰＵ１０１は人物９１０を優先すべき被写体と判断する。
ＣＰＵ１０１は、優先すべき被写体である人物９１９の顔部分に対するフォーカス、露出の評価結果に基づいて、フォーカスと露出の調整を行う。
また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体と判断した人物９１０の顔部分に対して実線で検出枠１０１１を描画し、他の被写体である人物９３０の顔部分に対して破線で検出枠１０３１を描画し、画像信号に重畳して出力する。

次に、図１０に示す出力画像１０００の状態からズームアウトを行って、撮影したときのビデオカメラの動作処理について図１１を参照して説明する。
図１１に示す出力画像１１００は、ユーザによる操作部１０４のレバー操作によって、ズームアウトを行ったときに、ＬＣＤ１４３又は外部出力装置１５１に表示された画像の一例である。出力画像１１００には、人物９２０が再びフレームインしている。なお、各人物の画像内における特徴部分の位置、大きさは図９の出力画像９００と同じものとする。
ここで、特徴検出部１２５は、出力画像１１００に基づいて、人物９１０、９３０の特徴部分に加えて、新たに人物９２０の特徴部分の大きさと位置を検出する。この処理は、上述した図２に示すフローチャートのステップＳ２０３に対応する。

ＣＰＵ１０１は、第１の実施形態と同様の方法にて、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。
次に、ＣＰＵ１０１は、検出されている特徴部分がズーム情報の判定条件に合致するかを判定する。ここでは、ズーム処理として、ズームインでなくズームアウトが行われたので、ＣＰＵ１０１は、被写体リストにおける各人物に対応する要素のズーム情報を変更しない。

次に、ＣＰＵ１０１は、上述した図１３、図１４及び図１５を用いた評価基準から判断して、優先すべき被写体を決定する。具体的には、人物９１０、９２０、９３０の画像内における特徴部分の位置、大きさは図９と同じである。また人物９１０と人物９３０とには、ズーム情報として１が登録されている。したがって、人物９１０の合計点数はＰｄ１＋Ｐｗ１＋Ｐｚｏ１であり、人物９２０の合計点数はＰｄ２＋Ｐｗ２であり、人物９３０の合計点数はＰｄ３＋Ｐｗ１＋Ｐｚｏ１となる。ズーム情報による点数の追加によって人物９１０の合計点数が人物９２０の合計点数より高くなり、ＣＰＵ１０１は、人物９１０を優先すべき被写体と判断する。

ＣＰＵ１０１は、優先すべき被写体である人物９１０の顔部分に対するフォーカス、露出の評価結果に基づいて、フォーカスと露出の調整を行う。
ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体とした人物９１０の顔部分に対して実線で検出枠１１１１を描画し、他の被写体である人物９２０、９３０の顔部分に対して破線で検出枠１１２１、１１３１を描画し、画像信号に重畳して出力する。

次に、図１１に示す出力画像１１００の状態から人物９２０がビデオカメラに向かって移動したときのビデオカメラの動作処置について図１２を参照して説明する。
図１２は、ＬＣＤ１４３又は外部出力装置１５１に表示された画像の一例である。図１１から図１２に示す出力画像１２００に遷移する間、ズーム処理は行われていないものとする。また、出力画像１２００は、人物９２０がビデオカメラ（ユーザ）に向かって手前方向に移動したために、より中心に近い位置で大きく写っている。なお、ユーザは、人物９１０に代わって、人物９２０を主たる被写体として撮ろうとしており、人物９２０が画像中心に大きく入ってきても、そのままの位置で撮影し続けているものとする。

ＣＰＵ１０１は、特徴検出部１２５の検出結果に基づいて、被写体リストを更新する。この処理は、図２に示すフローチャートのステップＳ２０５に対応する。ここでは、新しく検出された特徴部分はないので、ＣＰＵ１０１は、すでに検出されている特徴部分の大きさと位置を更新する。
次に、ＣＰＵ１０１は、検出されている特徴部分がズーム情報の判定条件に合致するかを判定する。ここでは、ズーム処理が行われていないので、ＣＰＵ１０１は、被写体リストにおける各人物に対応する要素のズーム情報を変更しない。

次に、ＣＰＵ１０１は、上述した図１３、図１４及び図１５を用いた評価基準から判断して、優先すべき被写体を決定する。具体的には、図１２の出力画像１２００では、図１１に示す出力画像１１００の人物９１０、９３０の画像内における特徴部分の位置、大きさ及びズーム情報が同じであるため、合計点数も図１１に示す出力画像１１００の場合と同じである。しかし、人物９２０は画像の中心近くに位置しているので、人物９２０の特徴部分と画像の中心との距離がＤ２´となり、図１３に示す対応線１３００から点数はＰｄ２´になる。また、人物９２０の特徴部分も大きくなっているので、人物９２０の顔画像を含む正方形が幅Ｗ２´となり、図１４に示す対応線１４００から点数はＰｗ２´になる。したがって、人物９２０の合計点数はＰｄ２´＋Ｐｗ２´となり、人物９１０の合計点数より高くなるので、ＣＰＵ１０１は人物９２０を優先すべき被写体と判断する。

ＣＰＵ１０１は、優先すべき被写体である人物９２０の顔部分に対するフォーカス、露出の評価結果に基づいて、フォーカスと露出の調整を行う。
ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体と判断した人物９２０の顔部分に対して実線で検出枠１２１１を描画し、他の被写体である人物９１０、９３０の顔部分に対して破線で検出枠１２１１、１２３１を描画し、画像信号に重畳して出力する。

このように本実施形態によれば、ユーザが撮影しようとする人物に対してズームインを行ったり、より中心に近く又は大きく撮影されていたりすれば、それらの要素を総合的に判断して、所望の人物を優先して撮影することができる。そして、所望する人物に対して、フォーカスや露出等のカメラ制御を行ったり、検出枠の描画処理を行ったりすることができる。

なお、第１と第２の実施形態では、優先すべき被写体と判断した人物の顔部分に対して実線で検出枠を描画し、他の被写体である人物の顔部分に対して破線で検出枠を描画する場合について説明したが、この場合に限られない。実線の検出枠は、ユーザが優先すべき被写体であることが識別できる表示であればよい。また、破線の検出枠は、優先すべき被写体ではないことが識別できる表示であればよい。したがって、ユーザが優先すべき被写体と他の被写体との間で検出枠の色が異なるように表示してもよい。

また、第１と第２の実施形態では、優先すべき被写体を判断する場合に、特徴検出部により検出された特徴部分の位置及び大きさの両方を考慮する場合について説明したが、この場合に限られない。例えば、特徴部分の位置又は特徴部分の大きさの何れかを考慮して優先すべき被写体を判断してもよい。

また、上述した本発明の実施形態における撮影方法の各ステップは、撮影装置（コンピュータ）のＲＡＭやＲＯＭ等に記憶されたプログラムをＣＰＵが実行することにより実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器からなるシステムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給してもよい。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

１００ 撮影装置
１０１ ＣＰＵ
１１４ ＣＣＤ
１２１ 画像処理部
１２３ フォーカス評価部
１２４ 露出評価部
１２５ 特徴検出部
１４０ 描画処理部

Claims (8)

1. 画像を撮影する撮影手段と、
   前記撮影手段により撮影される画像から特徴部分を検出する特徴検出手段と、
   前記撮影手段により撮影される画像のズーム倍率を制御するズーム制御手段と、
   前記特徴検出手段により特徴部分が検出されたときの前記ズーム制御手段によるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録手段と、
   前記特徴検出手段により複数の特徴部分が検出された場合、前記登録手段により登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定手段とを有することを特徴とする撮影装置。
2. 前記登録手段は、前記ズーム制御手段により画像のズーム倍率が上げられた場合、特徴部分に対するズーム情報を登録することを特徴とする請求項１に記載の撮影装置。
3. 前記登録手段は、前記特徴検出手段により１つのみの特徴部分が検出された場合、特徴部分に対するズーム情報を登録することを特徴とする請求項１に記載の撮影装置。
4. 前記優先決定手段は、前記複数の特徴部分のうち優先する特徴部分を決定する場合、特徴部分の大きさ及び前記撮影手段により撮影された画像の中心から特徴部分までの距離の少なくとも何れか１つとズーム情報とに基づいて、前記複数の特徴部分のうち優先する特徴部分を決定することを特徴とする請求項１又は２に記載の撮影装置。
5. 前記撮影手段により撮影された画像の中心から特徴部分までの距離に応じた評価値を取得する第１の評価値取得手段と、
   前記特徴部分の大きさに応じた評価値を取得する第２の評価値取得手段と、
   前記ズーム情報に応じた評価値を取得する第３の評価値取得手段とを更に有し、
   前記優先決定手段は、前記第１の評価値取得手段、前記第２の評価値取得手段及び前記第３の評価値取得手段により算出された評価値に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する請求項４に記載の撮影装置。
6. 前記優先決定手段により決定された特徴部分に対してフォーカス及び露出の調整を行う調整手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の撮影装置。
7. 画像を撮影する撮影ステップと、
   前記撮影ステップにより撮影される画像から特徴部分を検出する特徴検出ステップと、
   前記撮影ステップにより撮影される画像のズーム倍率を制御するズーム制御ステップと、
   前記特徴検出ステップにより特徴部分が検出されたときの前記ズーム制御ステップによるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録ステップと、
   前記特徴検出ステップにより複数の特徴部分が検出された場合、前記登録ステップにより登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定ステップとを有することを特徴とする撮影方法。
8. 画像を撮影する撮影ステップと、
   前記撮影ステップにより撮影される画像から特徴部分を検出する特徴検出ステップと、
   前記撮影ステップにより撮影される画像のズーム倍率を制御するズーム制御ステップと、
   前記特徴検出ステップにより特徴部分が検出されたときの前記ズーム制御ステップによるズーム制御の状態に応じて、前記特徴部分に対するズーム情報を登録する登録ステップと、
   前記特徴検出ステップにより複数の特徴部分が検出された場合、前記登録ステップにより登録されたズーム情報に基づいて、前記複数の特徴部分のうち優先する特徴部分を決定する優先決定ステップとをコンピュータに実行させるためのプログラム。

Images