JP2012124797A

JP2012124797A - 撮影装置

Info

Publication number: JP2012124797A
Application number: JP2010275263A
Authority: JP
Inventors: Keiji Yamada; 恵司山田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-10
Filing date: 2010-12-10
Publication date: 2012-06-28

Abstract

【課題】被写体の特徴を検出して画角を決定する撮像装置において、記録するフレームレートよりも高速なフレームレートで撮影する場合に、所望の画角で被写体を撮影可能とする。
【解決手段】記録するフレームレートより高速なフレームレートで撮影し、検出した特徴部分を含む検出枠と画像を合成し、撮影したフレームレートで表示を更新する。
【選択図】図１

Description

本発明は、ビデオカメラなどの撮影装置に関し、より具体的には、被写体を検出してカメラ制御を行う撮影装置に関する。

近年、記録するフレームレートよりも高速なフレームレートで画像を撮影し、物体や顔などの特徴部分の検出をより短い周期で行う撮影装置がある。またユーザーが被写体を所望の画角で撮影できるよう、検出した特徴部分に対して枠を表示する撮影装置もある。

特許文献１では、第１のフレームレートでセンサから画像を読み出している間に、より高速な第２のフレームレートでそのうちの一部領域を複数回読出すことが可能な撮影装置について記述されている。この撮影装置では第１のフレームレートで読み出した視認性（Ｓ／Ｎ）の高い画像をユーザーが視認できる画像作成に使用し、高速な第２のフレームレートで読み出した画像を物体検出に使用する。

特開２００７−２９５５２５号公報

しかしながら、従来の撮影装置では撮影時に記録されるフレームのみを表示して、ユーザーが動画としてどのように記録できているか確認できるようになっている。そのため記録するフレームレートより高速に特徴部分を検出していても、間引かれた検出結果は枠の表示には利用されない。特により低いフレームレートで記録している場合には、枠の表示の更新間隔が長くなるため、移動している被写体を所望の画角で撮影することは困難である。

前記の課題を解決するため、本発明の撮影装置は、
第１のフレームレートで画像を撮影する撮影手段と、
前記画像を格納する記憶手段と、
前記画像の特徴部分の位置を検出する特徴検出手段と、
第１のフレームレートより低速な第２のフレームレートで前記格納された画像を読出し記録媒体に記録する記録手段と、
前記格納された画像が前記記録手段により記録される画像か否かを判定する判定手段と、
前記特徴部分の位置を示す図形を描画する描画手段と、
前記格納された画像と前記図形とを合成する合成手段と、
前記合成手段により合成された画像を前記第２のフレームレートより高速な第３のフレームレートで表示する表示手段とを備え、
前記合成手段は合成する前記画像を第２のフレームレートで更新し、前記描画手段は前記図形を第１または第３のフレームレートで更新することを特徴とする。

本発明によれば、低速なフレームレートで記録した場合でも被写体を所望の画角で撮影することができる。

実施例１の撮影装置のブロック図ＲＡＭ１０２に格納された被写体リストの例従来システムでの撮影された画像が表示されるまでの処理を示したタイミングチャート実施例１のシステムでの画像の入力から出力までの処理を示したタイミングチャート実施例１の画像の入力から出力までの処理における入力画、検出画、表示画図５の表示画において実施例２の描画方法で描画を行った図

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

［実施例１］
図１は本発明の第１の実施形態における撮影装置の構成図である。以下、装置本体に内蔵された半導体メモリに動画を記録するデジタルビデオカメラとして説明する。

初めにビデオカメラ１００の構成について説明する。

ビデオカメラ１００は図中の１０１〜１０５に示す制御系ブロックを備える。ＣＰＵ１０１は内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３およびその他の各ブロックに接続され、ＣＰＵ１０１はＲＯＭ１０３に格納された制御プログラムを元に、各ブロックの制御を行う。ＣＰＵ１０１は動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザーによる各種の操作レバーやボタンなどの入力を伝え、ＣＰＵ１０１はユーザーの指示に応じて、各種処理を行うことができる。

また、ビデオカメラ１００は図中の１１０〜１１５に示すカメラ系ブロックを備える。フォーカスレンズ１１０を通過した光は、ＣＣＤイメージセンサ１１２の撮像面上に結像し、撮像面の光学像が電気信号に変換される。レンズドライバ１１３はＣＰＵ１０１の制御により、フォーカスレンズ１１０および絞り１１１を駆動して、フォーカス及び絞り量の調整を行う。ＡＦＥ１１４はＣＰＵ１０１に指示されたシャッター速度、撮影用のフレームレート（撮影レート）で、ＣＣＤイメージセンサ１１２を駆動し、画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。

また、ビデオカメラ１００は図中の１２０〜１２４に示す画像処理系ブロックを備える。ＣＰＵ１０１の制御により、画像処理部１２０はＡＦＥ１１４から撮影レートに基づき画像信号を入力し、色変換処理を行い、バッファメモリ１２３に画像信号を出力する。バッファメモリ１２３には記録媒体に記録される画像（有効フレーム）と記録されない画像（間引きフレーム）とを格納する領域がある。ＣＰＵ１０１は画像処理部１２０が処理した画像が有効フレームか否かを判定する。そして画像処理部１２０はＣＰＵ１０１の判定結果に応じて画像信号を前記いずれかの領域に格納する。露出評価部１２１およびフォーカス評価部１２２は、画像処理部１２０から得た画像信号に含まれる複数の領域に対して、露出およびフォーカスの状態をそれぞれ評価する。特徴検出部１２４はバッファメモリ１２３に格納された画像信号を読出し、画像に含まれる人物の顔の大きさと位置を検出する。また、ＣＰＵ１０１は特徴検出部１２４が検出した顔の大きさと位置をＲＡＭ１０２に被写体リストとして格納する。ここで顔がひとりでも検出されている場合、露出評価部１２１およびフォーカス評価部１２２は前記被写体リストより画像の顔部分に対して評価を行う。

また、記録部１３０は内部に半導体メモリを有しており、撮影画像の記録時、ＣＰＵ１０１が指示する記録用のフレームレート（記録レート）でバッファメモリ１２３より有効フレームのみを読出し、前記半導体メモリに記録する。

また、ビデオカメラ１００は図中の１４０〜１４２に表示系ブロックを備える。描画部１４０、合成部１４１、表示部１４２はいずれもＣＰＵ１０１に指示された表示用のフレームレート（表示レート）で処理を行う。また本実施例において表示レートは撮影レートと同じであるものとする。描画部１４０は、前記被写体リストより画像の顔の位置に合わせて枠の描画を行い、合成部１４１に出力する。合成部１４１はバッファメモリ１２３より有効フレームのみを読出しながら、描画部より出力される枠を合成する。表示部１４２は合成部１４１より出力された画像信号を表示する。

次に前記ＲＡＭ１０２に格納される被写体リストについて説明する。図２はＲＡＭ１０２に格納されている被写体リストの例である。被写体リストには特徴検出部１２４が検出した顔の位置（ｘ，ｙ）と、幅ｗが格納される。本実施例の特徴検出部１２４は顔の幅ｗを、顔の大きさとして検出する。ＣＰＵ１０１は特徴検出部１２４の検出結果が出る毎に被写体リストを更新する。検出された顔と被写体リストに格納されている顔の大きさと位置との相関関係より、同一人物と判定された顔は、その位置と大きさを更新する。同一人物と判定されなかった顔は新しい人物として、被写体リストに追加する。

次に有効フレームか否かの判定方法について説明する。ＣＰＵ１０１は撮影レートと記録レートより画像が有効フレームか間引きフレームか判定する。例えば、撮影レートが３０ｆｐｓ、記録レートが１０ｆｐｓである場合、ＣＰＵ１０１は３フレームに１フレームを有効フレームとし、それに続く２フレームを間引きフレームとする。

次に連続的に撮影した画像の各フレームに対する処理タイミングについて説明する。

図３は本発明のビデオカメラ１００ではなく、従来の撮影装置の処理タイミングを示したタイミングチャートである。

図中の同期信号とは、ＡＦＥ１１４によって１フレームの画像が読み出される毎にネゲートされる信号である。Ｖ０に続いてＶ１、Ｖ２・・・Ｖ８の順にネゲートされる。

また入力画とは、ＣＣＤイメージセンサ１１２から読み出され画像処理部１２０によりバッファメモリ１２３に格納された画像である。ここで図中の数字０〜７はフレームの番号を示す。Ｖ０〜Ｖ１の期間にフレーム０がバッファメモリ１２３に格納される。同様にしてＶ１〜Ｖ２の期間にフレーム１が、Ｖ２〜Ｖ３の期間にフレーム２が順次格納される。

また記録画とは、記録部１３０がバッファメモリ１２３から読出し記録する画像のことである。ＣＰＵ１０１は入力画のフレーム０、フレーム３、フレーム６を有効フレームと判定し、記録部１３０は有効フレームのみ記録レートで記録する。Ｖ１〜Ｖ４の期間にフレーム０が記録され、同様にＶ４〜Ｖ７の期間にフレーム３を記録される。

また検出画とは、特徴検出部１２４がバッファメモリ１２３から読出した検出処理を行う画像である。特徴検出部１２４はＶ１〜Ｖ２の期間にフレーム０に対して検出処理を行う。同様にＶ２〜Ｖ３の期間にフレーム１、Ｖ３〜Ｖ４の期間にフレーム２の検出処理を順次行う。

また検出枠とは、被写体リストより描画部１４０が画像の顔の位置に合わせて描画する枠である。描画部１４０は有効フレームの検出結果のみを用いて枠を描画する。描画部１４０はＶ２〜Ｖ３の期間でフレーム０の検出結果より枠を描画する。Ｖ３〜Ｖ４、Ｖ４〜Ｖ５の期間でも同じくフレーム０の検出結果より枠を描画する。同様にＶ５〜Ｖ６、Ｖ６〜Ｖ７、Ｖ７〜Ｖ８の期間でフレーム３の検出結果より枠を描画する。

また背景画とは、合成部１４１がバッファメモリ１２３から読出し検出枠を合成する画像である。合成部１４１は有効フレームのみ背景画として用いる。合成部１４１はＶ２〜Ｖ３の期間でフレーム０を検出枠と合成する。同様にＶ３〜Ｖ４、Ｖ４〜Ｖ５の期間でもフレーム０を検出枠と合成する。

次に図４は本発明のビデオカメラ１００の処理タイミングを示したタイミングチャートである。図４の処理は図３に示した従来の撮影装置に比べて検出枠の描画方法が異なる。

図４の検出枠では有効フレームに加えて、間引きフレームの検出結果も枠の描画に用いる。よって描画部１４０はＶ３〜Ｖ４の期間では間引きフレームであるフレーム１の検出結果より枠を描画する。同様にＶ４〜Ｖ５の期間ではフレーム２の検出結果より枠を描画する。

記録レートが低い場合、表示される画像の更新間隔が長くなることで、ユーザーが移動する被写体の動きを追いずらくなり、所望の画角での撮影が難しくなる。そのため検出枠は背景画より短い間隔で更新することで、被写体の動きが追いやすくなり、所望の画角での撮影が容易となる。

次に、ビデオカメラ１００で移動する被写体を撮影した場合の動作について説明する。

図５は図４で示したタイミングチャートにおいて入力画、検出画、背景画と検出枠を合成した表示画とを連続的に示した図である。

入力画５０２がＣＣＤイメージセンサ１１２から読み出され画像処理部１２０によりバッファメモリ１２３に格納される。同様に入力画５０３、５０４、５０５、５０６、５０７と撮影レートで順次格納される。ここでＣＰＵ１０１は入力画５０２、５０５を有効フレームと判定する。

次に、特徴検出部１２４は１フレーム前の入力画を検出画として、検出処理に用いる。例えば、入力画５０３が格納されると同時に、１フレーム前の入力画５０２を検出画５１２とする。ここで検出画５１２の実線枠２１２は画像の顔の位置を示した枠である。同様に入力画５０３は検出画５１３として、入力画５０４は検出画５１４として検出処理が順次行われる。各検出画における実線枠は実線枠２１２同様、画像の顔の位置を示した枠である。

次に、描画部１４０は１フレーム前の検出結果より検出枠を描画する。例えば、検出画５１３の検出処理を行うと同時に、１フレーム前の検出画５１２の検出結果より表示画５２２の実線枠４２２を描画する。同様に検出画５１３の検出結果は表示画５２３の実線枠４２３を、検出画５１４の検出結果は表示画５２４の実線枠４２４を描画する。

また、合成部１４１は２〜４フレーム前の有効フレームと判定された入力画を背景画として合成する。例えば、入力画５０４が格納されると同時に、２フレーム前の有効フレームである入力画５０２を表示画５２２の背景画とする。また、入力画５０３、５０４は間引きフレームであるため、入力画５０２を表示画５２３、５２４でも背景画とする。

こうした構成により、表示画が表示画５２４から表示画５２５に変わった際にも、被写体の移動に対して予め検出枠も移動しているため、被写体の動きが追いやすくなる。

以上述べたように本実施例のビデオカメラ１００では、低速なフレームレートでの記録中に被写体が移動した場合にも、より高速なフレームレートで撮影し、検出枠の更新を行うことで、ユーザーは被写体の移動を確認でき、被写体を所望の画角で撮影できる。

［実施例２］
次に、第２の実施形態のビデオカメラについて説明する。

第２の実施形態のビデオカメラは、第１の実施形態のビデオカメラに比べ、描画部１４０の描画方法が異なる。

実施例２において描画部１４０は、１フレーム前の検出画が有効フレームか否かで顔の位置に対する描画方法が異なる。

有効フレームであった場合には、1フレーム前の検出結果より画像の顔の位置に対して枠と矢印を描画する。間引きフレームであった場合には、1フレーム前の検出結果より、顔の位置に対して矢印を描画し、１〜３フレーム前の有効フレームの検出結果より顔の位置に対して枠を描画する。

すなわち枠は記録された画像での被写体の位置を示し、矢印は最新の検出結果に基づく被写体の位置を示す。

ここで図６は本実施例のビデオカメラで移動する被写体を撮影した場合の表示画を連続的に示した図である。なお入力画と検出画は図５と同様である。

描画部１４０は１フレーム前の検出結果より矢印を描画する。例えば、検出画５１３の検出処理を行うと同時に、１フレーム前の検出画５１２の検出結果より表示画６２２の矢印８２２を描画する。同様に検出画５１３の検出結果は表示画６２３の矢印８２３として、検出画５１４の検出結果は表示画６２４の矢印８２４として描画される。

また描画部１４０は１〜３フレーム前の有効フレームと判定された検出画の検出結果より、枠を描画する。例えば、検出画５１３の検出処理を行うと同時に、１フレーム前の有効フレームである検出画５１２の検出結果より表示画６２２の検出枠を描画する。また、検出画５１３、５１４は間引きフレームであるため、検出画５１２の検出結果より表示画６２３、６２４でも検出枠を描画する。

こうした構成によって、低速なフレームレートでの記録中に被写体が移動した場合にも、より高速なフレームレートで撮影し、矢印の更新を行うことで、ユーザーは被写体の移動を確認でき、被写体を所望の画角で撮影できる。また記録される画像での被写体の位置も検出枠で同時に確認できる。

１００ビデオカメラ
１０１ＣＰＵ

Claims

第１のフレームレートで画像を撮影する撮影手段と、
前記画像を格納する記憶手段と、
前記画像の特徴部分の位置を検出する特徴検出手段と、
第１のフレームレートより低速な第２のフレームレートで前記格納された画像を読出し記録媒体に記録する記録手段と、
前記格納された画像が前記記録手段により記録される画像か否かを判定する判定手段と、
前記特徴部分の位置を示す図形を描画する描画手段と、
前記格納された画像と前記図形とを合成する合成手段と、
前記合成手段により合成された画像を前記第２のフレームレートより高速な第３のフレームレートで表示する表示手段とを備え、
前記合成手段は合成する前記画像を前記第２のフレームレートで更新し、前記描画手段は前記図形を前記第１または第３のフレームレートで更新することを特徴とする撮影装置。（表示画像として、画像自体は記録レートに応じて更新されるが検出枠だけは撮影レートに応じてより早い周期で更新される）
前記描画手段は前記特徴部分の位置を示す第１の図形と第２の図形を描画し、前記第１の図形は前記第１または第３のフレームレートで更新し、前記第２の図形は前記第２のフレームレートで更新することを特徴とする請求項１に記載の画像撮影装置。（検出に用いた画像が間引き画像か否かで表示方法を変える)