JP2017126915A - 撮像装置 - Google Patents

Abstract

【課題】特定の被写体を追尾して撮影を行う撮像装置において被写体を見失ってから追尾が解除されるまでの時間が限られているため、ユーザーが撮影したい被写体の追尾が解除されて撮影したい被写体にＡＦやＡＥが合わなくなってしまう。【解決手段】追尾対象が決定した時点で認証を行い追尾対象の認証状態に応じて被写体を見失ってから追尾を保持するまでの時間を決定する。ユーザーがあらかじめ登録している被写体や撮影頻度の多い被写体などユーザーが撮影し続けたいと判定された被写体であった場合は追尾を保持する時間を長くすることで追尾しやすくする。【選択図】図２

Description

本発明は、撮像装置及び撮像装置における制御方法に関する。

従来より、デジタルカメラや監視カメラなどの撮像装置において特定の被写体にＡＦを合わせたり露出やホワイトバランスを合わせるために被写体を追尾するシステムが知られている。

特許分文献１には、前後のフレームから相関性の高い領域を抽出することで被写体の追尾を行い、追尾を継続することが苦手なシーンにおいてシステムが一時的に追尾ができない状態になっても追尾を復帰できる可能性があるため追尾を一定時間保持することが示されている。追尾を保持する時間は撮像装置の焦点距離や手振れ防止の制御情報などの撮像装置の制御情報に応じて変更することが可能である。

特許第５４０９１８９号公報

しかしながら、従来の方法では、追尾が苦手なシーンにおいて追尾を保持するため撮像装置の制御情報や被写体との距離に応じて追尾保持時間が設けられている。例えば、撮影したい被写体が動いているために撮影画角内に頻繁に出入りを繰り返す場合など、特定の被写体を追尾を継続させたい状況であっても撮像装置の制御状態によっては追尾保持解除されてしまうため、撮影したい被写体の追尾を継続できず撮影したい被写体にＡＦや露出やホワイトバランスなどが合わないことがあった。

上記の課題を解決するために、本発明に係る撮像装置は、
追尾被写体の認証を実行して認証結果がユーザーが登録した被写体であるのかカメラが自動で登録した被写体かなどの認証状態を判定し、認証状態に応じて被写体を一時的に見失ったときに追尾を保持する時間を決定する。さらに、ユーザーが特定の被写体を撮影し続けることが多いイベント中かどうかに応じて追尾を保持する時間を変更する。

本発明に係る撮像装置によれば、被写体の認証結果から追尾保持時間を決定することで、ユーザーが追尾し続けたい被写体をは追尾させやすくする。さらに、特定の被写体を撮影するイベント中であると判定した場合は追尾保持時間を長くすることでユーザーの使い勝手が向上する。

本発明の構成の例を示すデジタルカメラを示す図である。 本実施例を示すフローチャートである。 本実施例のイベント判定の例を示すフローチャートである。

以下、本発明を実施するための形態を図面に基づいて説明する。

本発明をデジタルカメラを例に用いて説明をおこなう。

図１は本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。また、画像処理回路２０においては画像から顔領域を検出する顔検出処理や顔認証のための顔の特徴データの生成なども行う。その他にも、画像処理回路２０では、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理をするために撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をＷＢ（ホワイトバランス）評価値として算出したり、算出されたＷＢ評価値を基に画像データの色の変換なども行う。さらに、画像処理回路２０では、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行うための、ＡＦ評価値、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。得られたＡＦ評価値、ＡＥ評価値、ＥＦ評価値を基にシステム制御回路５０が、アルゴリズムに従って露光制御手段４０、測距制御手段４２に対して制御を行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は認証用の特徴データを一時記憶する領域やシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内には認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う、次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０はＧＰＳで位置情報を特定することが可能である。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

本発明による実施例を図２のフローを用いて説明する。

図２のフローは追尾保持期間となるタイムアウト時間を決定するフローであり、追尾開始時に追尾対となる被写体が決定した段階でスタートする。

追尾開始までに追尾する被写体を決定するタイミングはユーザーがシャッタースイッチを押す前に撮像素子１４から連続して画像データを取り込み画像表示部２８にライブビュー表示がされている間である。その間はカメラが追尾対象となる被写体を検索したりユーザーが追尾被写体を選択するまで待つなど追尾する被写体を決定する処理を行う。

追尾対象となる被写体が決まるとＳ１０１が開始され追尾の対象となる被写体をユーザーが選択したかどうかを判断する。ユーザーが被写体を選択する例として、２８の画像表示はタッチパネル機能を備えていてユーザーは画像表示部の領域をタッチすることで選択することができる。ユーザーが選択しない場合はカメラが自動的に主となる被写体を決定して追尾被写体とする。

カメラが自動的に追尾被写体を決定する方法として、画面内の顔検出を行った結果最も大きな顔を選択する方法や、カメラから最も近い距離にある顏を選択する方法や、検出した結果の顏らしさを示す顔信頼度が最も高い顔にする方法などがある。他にも画面内でエッジで囲まれた領域を被写体としたり、色を基に被写体を分離する方法などがあるが、どんな方法をとっても構わない。

Ｓ１０１で追尾被写体をユーザーが選択した場合はＳ１０２に遷移し、タイムアウト時間を６０秒と設定する。Ｓ１０１でユーザーが選択していない場合、つまりカメラが自動で追尾対象を決定した場合はＳ１０３に遷移する。

Ｓ１０３では追尾対象が顏かどうかを判定する。追尾対象が顔でない場合はＳ１０４に遷移してタイムアウト時間を１０秒に設定する。顔であった場合はＳ１０５に遷移する。

Ｓ１０５では顔認証を行い、追尾対象となった顔がユーザーが登録した顔と一致しているかどうかを判定する。顔認証をするためには不揮発性メモリ３１またはメモリ３０に記憶された顔の特徴データと追尾対象の顏の特徴データを比較することで特定の個人かどうかを認証する。認証の特徴データはあらかじめユーザーが登録したものとカメラが自動で追加したものがある。Ｓ１０５では追尾対象となった顔がユーザーが登録した認証の特徴データと一致した場合にＳ１０６に遷移し、ユーザーが登録た顔ではないと判定された場合はＳ１０９に遷移する。

Ｓ１０６ではイベント中かどうかを判定する。イベント中かどうかの判定の例については図３を用いて後述する。Ｓ１０６でイベント中だと判定された場合はＳ１０７に遷移してタイムアウト時間を６０秒に設定し、イベント中だと判定されなかった場合はＳ１０８に遷移してタイムアウト時間を３０秒に設定する。

Ｓ１０９では追尾対象の顔の特徴データがカメラが自動登録した顔の辞書データにある顔の特徴データと一致するかどうかを判定する。カメラが自動で顔の特徴データを追加するのは過去に撮影頻度の高かった顏など過去の認証結果において所定の条件に達したものである。Ｓ１０９でカメラが自動登録した顔の辞書データと一致する場合はＳ１１１に遷移し、一致しない場合は１１０に遷移しタイムアウト時間を１０秒に設定する。

Ｓ１１１ではイベント判定を行い、イベント中だと判定された場合はＳ１１２に遷移してタイムアウト時間を４０秒に設定し、イベント中だと判定されなかった場合はＳ１１３に遷移してタイムアウト時間を１０秒に設定する。

次に図３を用いて図２のＳ１０６およびＳ１１１で実施するイベント判定の例を説明する。

Ｓ２０１でユーザーが設定したイベント中かどうかを判定する。カメラのメニュー内にはイベント期間を日時で設定する手段があり、現在の日時がユーザーが設定したイベント期間中に含まれているかどうかを判定する。Ｓ２０１でユーザーが設定したイベント中であると判定した場合はＳ２０６に遷移しイベント中と判定して終了し、イベント中であると判定しなかった場合はＳ２０２に遷移する。

Ｓ２０２ではＧＰＳ１１０を使用して位置情報を特定する。カメラは、一定期間は位置情報を保持し続ける。取得した位置情報が過去に取得した位置情報から規定距離以上離れた場所にあった場合新規の場所とみなす。新規の場所から規定以内距離内にとどまっていた場合、場所情報は同じとみなす。Ｓ２０２新規の同じ場所に一定期間とどまっている場合はＳ２０６に遷移しイベント中と判定して終了し、それ以外の場合はＳ２０３に遷移する。

Ｓ２０３では連続して同一日被写体を追尾した回数が規定以上の場合はＳ２０６に遷移しイベント中と判定して終了する。追尾した回数のカウントは一定期間内などの期間を設けても構わない。Ｓ２０３で連続して同一日被写体を追尾した回数が規定以上に見満たなかった場合はＳ２０４に遷移して、所定時間内での撮影回数が規定以上であればＳ２０６に遷移しイベント中と判定して終了し、それ以外であればＳ２０５に遷移してイベント外と判定して終了する。

図２のフローに従ってタイムアウト時間が決まると被写体の追尾開始する。追尾処理は追尾対象となる被写体領域周辺の前フレームと相関をとったり、色情報や移動量の予測などから毎フレームもしくは定期的に被写体領域を決定して被写体領域を更新し続ける。被写体領域が更新されるごとに画像表示部２８にライブビュー表示に重ねて被写体領域示す枠を表示する。

画面内に被写体がいないと判定されたり、判定不明の場合は追尾被写体が無くなったとしてロスト状態とする。ロスト状態となったときにはタイムアウト時間まで定期的に画面内の顔検出を行い画面内の顏被写体を検索する。画面内の顔被写体すべて、もしくは一定の大きさなど条件をクリアした顔被写体に対して認証を実施する。

認証結果が追尾中の被写体であった場合はロスト状態を解除してその被写体の追尾を再開する。追尾の再開後に再び追尾被写体を見失ったときは、同じくタイムアウト時間まで顔検出と認証を実行して追尾対象の被写体を検索し続ける。

追尾被写体を保持し続けている期間中に追尾対象の被写体をが見つからないままタイムアウト時間を過ぎた場合は追尾を解除し、カメラが追尾対象となる被写体を検索したりユーザーが追尾被写体を選択するまで待つなど追尾開始前に追尾被写体を決定する状態に戻る。

図２のフローに従うと、追尾被写体がロスト状態になってから追尾被写体を保持し続ける時間が被写体によって異なる。ユーザーが登録した被写体やイベント中であれば追尾被写体を保持し続ける時間が長くなるためユーザーが追尾したい被写体の場合は一度被写体を見失っても被写体を追尾しやすくなり、カメラの使い勝手が向上する。

図２のフローでは追尾したい被写体の保持時間を具体的時間で挙げたが、別の時間にしても構わない。例えば、ユーザーが設定したイベント終了予定時刻までの時間を追尾保持時間としても構わない。さらに条件に応じて時間を決め打ちにする方法ではなく、条件に応じて基本の追尾保持時間に所定の倍数をかける方法をとっても構わない。また、図２および図３フローは一例であるので判定方法はこの限りではなく、図２においてイベント判定を先に実施してから認証条件を判定しても構わないし、ユーザーが被写体を選択した場合において認証状態やイベント判定に応じて追尾保持時間を変更するなどの方法をとっても構わない。

１０ 撮影レンズ、１１ 偏光フィルタ、１２ シャッター、１４ 撮像素子、
１６ Ａ／Ｄ変換器、１８ タイミング発生回路、２０ 画像処理回路、
２２ メモリ制御回路、２８ 画像表示部、３０ メモリ、３２ 画像圧縮・伸長回路、
４０ 露光制御手段、４１ フィルタ制御手段、４２ 測距制御手段、
４４ ズーム制御手段、４８ フラッシュ、５０ システム制御回路、
６０ モードダイアルスイッチ、６２ シャッタースイッチＳＷ１、
６４ シャッタースイッチＳＷ２、６６ 表示切替スイッチ、７０ 操作部、
７２ ズームスイッチ、９０ インタフェース、９２ コネクタ、
１００ 画像処理装置、１０２ 保護手段、１０４ 光学ファインダ、
１０６ ジャイロセンサ、１１０ ＧＰＳ、２００ 記録媒体、２０２ 記録部、
２０４ インタフェース、２０６ コネクタ

Claims (5)

1. 第１の撮影画像に含まれる特定の被写体の領域と相関の高い領域を前記第１の撮影画像より後に得られた第２の撮影画像から抽出することで前記特定の被写体の追尾を行う追尾手段と、被写体を見失ってから追尾を保持する時間を決定する手段と、撮像した画像データから被写体の特徴データを抽出しあらかじめ記憶された特徴データと比較することで被写体を認証する手段とを備える撮像装置において、追尾する被写体に対して認証処理を行い、認証状態に応じて追尾保持時間を変更することを特徴とする撮像装置。
2. 辞書データに記憶する特徴データをユーザーの指示により登録する手段と、辞書データに記憶する特徴データをユーザーの指示なしに登録する手段と、特徴データをユーザーの指示なしに一時的に保存する手段を備え、認証状態とは被写体がから抽出した特徴データがどの特徴データとも一致しない状態、ユーザーの指示により登録した特徴データと一致した状態、ユーザーの指示なしに登録した特徴データと一致した状態、ユーザーの指示なしに一時的に保存した特徴データち一致した状態のいずれかを含むことを特徴とする請求項１に記載の撮像装置。
3. イベント中であるかどうかを判定をする手段を備え、イベント中か否かに応じて追尾保持時間を変更することを特徴とする請求項１に記載の撮像装置。
4. ユーザーがイベント時期を指定できることを特徴とする請求項３に記載の撮像装置。
5. イベント中かどうかは位置情報、撮影頻度のいずれか１つの条件から判定することを特徴とする請求項３に記載の撮像装置。