JP2009038649A - 信号処理回路、及び撮影装置 - Google Patents

Abstract

【課題】静止画撮影の前後の動画を記録する場合に、所定の条件から保存する形式を判断し、記録媒体の消費を抑えるとともに、ユーザの所望する撮影モードを自動的に判断できるようにする
【解決手段】撮影した画像を一時的に保存するバッファメモリ１５４と、前記撮影した画像が動画像であるか否かを検出する動画像検出装置１５１とを設ける。そして、動画像検出装置１５１の検出結果に応じて、前記撮影した画像を動画としてバッファメモリ１５４に保存するか、静止画としてバッファメモリ１５４に保存するか、動画と静止画の両方をバッファメモリ１５４に保存するかを判断する。
【選択図】図１

Description

本発明は、静止画像及び動画像の双方の処理を行なう信号処理回路に関するものである。

近年、デジタルスチルカメラでもデジタルビデオカメラ並の高品質な動画の撮影が可能になってきている。また、動画の撮影中に静止画を撮影可能な画像処理装置も提案されている。例えば、静止画と動画の圧縮方法を変えてそれぞれ記憶媒体の別の領域に保存し、動画撮影中に撮影された静止画の解像度を高めることのできる画像処理装置が提案されている（例えば、特許文献１を参照）。

また、被写体の静止画撮影の前後の雰囲気を記録するために、静止画撮影前後の動画を自動的に行う電子カメラが提案されている（例えば、特許文献２を参照）。この電子カメラでは、２段階押圧構造のレリーズボタンを用い、半押し操作に応答して動画撮影を開始する。そして、全押し操作に応答して静止画撮影を行い、それから所定時間後に動画撮影を終了する。また、２段階押圧構造の押しボタンではなく、静止画撮影用のボタンと動画撮影用のボタンとを別途設ける構成例についても、特許文献２には記載されている。
特開平１０−２００８５９号公報 特開２００１−７８１３７号公報

しかしながら、静止画撮影の前後の動画を記録する場合、風景などの変化の少ない対象においては動画として保存する価値は低いにも係わらず、記録媒体を多く消費するという問題があった。

また、ユーザが動画として保存するか、静止画として保存するかを予め決定し、モードダイヤルなどでモードを指定する必要があった。

本発明は、上記問題を鑑みて考慮されたものであり、静止画撮影の前後の動画を記録する場合に、所定の条件から保存する形式を判断し、記録媒体の消費を抑えるとともに、ユーザの所望する撮影モードを自動的に判断できるようにすることを目的としている。

上記の課題を解決するため、本発明の一態様は、
撮影した画像を一時的に保存するバッファメモリと、
前記撮影した画像が動画像であるか否かを検出する動画像検出装置と、
を備え、
前記動画像検出装置の検出結果に応じて、前記撮影した画像を動画として前記バッファメモリに保存するか、静止画として前記バッファメモリに保存するか、動画と静止画の両方を前記バッファメモリに保存するかを判断することを特徴とする。

また、本発明の一態様は、
撮影した画像が動画像であるか否かを検出する動画像検出装置を備え、
前記動画像検出装置の検出結果に応じて、前記撮影した画像を動画として表示するか、静止画として表示するかを判断することを特徴とする。

本発明によれば、対象の静止画撮影の前後の動画を保存するかしないかを自動的に判断するので、記録媒体の消費を抑えることが可能になる。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係る撮影装置１００の基本構成を示した図である。撮影装置１００は、同図に示すように、カメラ撮像部１１０、ドライバ１２０、記録開始／停止スイッチ１３０、モード切替スイッチ１４０、信号処理回路１５０、表示装置１６０、及び外部記録媒体１７０を備えている。

また、図２は、撮影装置１００の外観を例示した図である。撮影装置１００は、記録開始／停止スイッチ１３０（シャッターボタン）、モード切替スイッチ１４０（モードダイヤル）及び表示装置１６０が図２に示すように配置されており、ユーザは、記録開始／停止スイッチ１３０、モード切替スイッチ１４０の操作や、表示装置１６０の表示内容の確認ができる。また、撮影装置１００には、メニュー操作用キースイッチ１８０が設けられている。

（撮影装置１００の各部の構成）
カメラ撮像部１１０は、被写体像を電気信号に変換して出力する。具体的には、カメラ撮像部１１０は、投影レンズ、絞り、ＣＣＤ撮像素子、相関二重サンプリング回路などから構成されている。

ドライバ１２０は、カメラ撮像部１１０の制御を行うようになっている。

記録開始／停止スイッチ１３０は、半押し（１ｓｔリレーズ）と押し込み（２ｎｄリレーズ）操作が可能な２段階構成となっている。本実施形態では、記録開始／停止スイッチ１３０は、信号処理回路１５０（詳しくは後述するＣＰＵ１５３）に対して、半押し操作がされたときに動画取り込み開始を指示し、押し込み操作がされたときに静止画の撮影開始を指示する。

モード切替スイッチ１４０は、静止画撮影モード、動画撮影モード、静止画・動画自動撮影モードを切り替えるためのスイッチである。ユーザは、モード切替スイッチ１４０を操作して、撮影モードを自由に選択することもできるし、静止画・動画自動撮影モードを用いて、動画と静止画の保存判定を撮影装置に任せることもできる。

なお、本実施形態では、静止画撮影モード、動画撮影モード、動画・静止画自動撮影モードの３つを備えるとしているが、必ずしもこの３つのモードである必要はない。例えば、動画・静止画自動判別モードだけでもよいし、他のモード（例えば風景撮影モード）を付け加えてもよい。本実施形態では、静止画・動画自動撮影モードについて特に詳細に説明する。

信号処理回路１５０は、カメラ撮像部１１０が出力した電気信号から、Ｙ（輝度）、Ｃｂ、Ｃｒ（色差）信号の生成などを行なう。この例では、信号処理回路１５０は、動画像検出装置１５１、ＤＳＰ１５２（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ１５３（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びバッファメモリ１５４を備えている。

動画像検出装置１５１は、撮影した画像が動画像であるか否かを検出するようになっている。本実施形態では、動画像検出装置１５１は、符号量や動き量、ブレ画像、顔の検出を行う検出装置である。

ＤＳＰ１５２は、Ａ／Ｄ変換、及び各種画像処理を行なうデジタル信号処理回路である。

ＣＰＵ１５３は、信号処理の結果を判断し、全体の制御を統括するようになっている。例えば、ＣＰＵ１５３は、動画像検出装置１５１の検出結果に基づいて、動画として保存するか、静止画として保存するか、動画と静止画の両方を保存するかを判断する。

バッファメモリ１５４は、撮影した画像を保存するようになっている。

表示装置１６０は、バッファメモリの内容を表示するようになっている。

外部記録媒体１７０は、撮影した画像を保存する外部記録媒体である。外部記録媒体１７０の一例としては、ＳＤカードやマルチメディアカードや、ハードディスクなどが挙げられる。

（撮影装置１００の動作）
撮影装置１００の基本的な動作は次の通りである。まず、カメラ撮像部１１０において、投影レンズから入力された被写体像は、撮像素子に入力されて電気信号に変換される。撮像素子からの出力信号は、相関二重サンプリング回路を通じて、ＤＳＰ１５２に出力される。

次に、ＤＳＰ１５２のＡ／Ｄ変換回路や信号処理回路において、最適なデジタル信号に変換される。デジタル信号に変換された信号は信号処理回路１５０において処理されて、Ｙ（輝度）、Ｃｂ、Ｃｒ（色差）信号が作成される。

これらの信号は、バッファメモリ１５４に一時的に格納され、画像データの圧縮が行われた後に、外部記録媒体１７０に保存される。バッファメモリ１５４に一時的に格納された画像データは、表示装置１６０によってその内容を表示することができる。

次に、動画の取り込みと静止画撮影動作について説明する。

図３は、撮影動作を簡単なフローチャートとして示したものである。撮影動作を行う前に、ユーザは、モード切替スイッチ１４０を動画・静止画自動撮影モードにする。そして、記録開始／停止スイッチ１３０を押すことにより撮影が開始される。

ステップＳ３０１では、記録開始／停止スイッチ１３０が半押しされた状態であるかどうかを判断する。半押しされた状態となれば、ステップＳ３０２（動画取り込み開始）に移行し、そうでなければ、半押し状態の判断の監視を続ける。

ステップＳ３０２では動画取り込みを開始させてステップＳ３０３に移行する。

ステップＳ３０３では、押し込み操作された状態かどうかを判断する。押し込み操作がされた状態であれば、ステップＳ３０４（静止画の撮影・記録処理）に進み、そうでなければ、動画の取り込み開始処理を続けるとともに、押し込み操作の判断の監視を続ける。

ステップＳ３０４では、静止画の撮影・記録処理を行い、次にステップＳ３０５において、静止画撮影の開始から一定時間経過したかどうかの判断がなされる。

判断の結果、所定の時間が経過したのであれば、ステップＳ３０６へ進んで動画取り込みを終了し、そうでなければ所定の時間が経過するまで動画記録を継続する。すなわち、一定時間の経過後、動画記録が終了する。

その後、ステップＳ３０７の保存形式判断処理に進み、保存形式を判断（判断の詳細については後述する）するとともに、判断結果に応じて画像の保存を行なう。ステップＳ３０７で画像が保存された後は、ステップＳ３０８でプレイリストの作成が行われる。なお、すでにプレイリストが作成されている場合は追加書き込みが行われる。プレイリストの作成（あるいは追記）が終了すると、ステップＳ３０９で動画記録終了処理が行われ、動画記録が終了する。

次に、保存形式を判断するタイミング等について説明する。図４はシャッターボタンが押されてから、画像が保存されるまでの動作の概要を示した図である。

１ｓｔリレーズ（半押し）によって動画記録が開始される。そして、２ｎｄリレーズ（押し込み）によって静止画が撮影され、所定の時間経過後動画取り込み終了となる。この時点において、バッファメモリ１５４には静止画データと動画データが保存されている。なお、バッファメモリ１５４の容量が不足している場合は、外部記録媒体１７０にデータを一時的に保存してもよい。

保存形式を判断するタイミングは、図４に示すとおり、動画取り込み終了後である。動画として保存するか、静止画として保存するか、動画と静止画の両方を保存するかを判断する。

両方を保存する場合は、動画ファイルと静止画ファイルがそれぞれ別々に保存される。また、保存された動画ファイルと静止画ファイルはプレイリストによって管理される。これにより、動画ファイルと静止画ファイルの対応を識別できる。プレイリストの一例を図５に示す。プレイリストは外部記録媒体１７０に保存され、画像保存ディレクトリと動画保存ディレクトリに格納されているファイルを管理する。

ステップＳ３０７における保存形式判断処理のフローチャートを図６に示す。

まず、ステップＳ６０１では符号量を検出する。検出の結果、符号量が所定の閾値よりも小さければ、ステップＳ６０６の処理（静止画保存の処理）に進む。一方、符合量が所定の閾値よりも大きければ、ステップＳ６０２の処理（動き量検出の処理）に進む。

ステップＳ６０２では、被写体の動き量を検出する。ステップＳ６０２で検出した動き量が所定の閾値よりも小さければ、ステップＳ６０６の処理（静止画保存の処理）に進む。一方、動き量が所定の閾値よりも大きければ、ステップＳ６０３の処理（ブレ画像検出の処理）に進む。

ステップＳ６０３ではブレ画像の検出を行なう。検出の結果、ブレ画像を検出した場合は、ステップＳ６０７の処理（動画保存の処理）に進む。一方、検出できなかった場合は、ステップＳ６０４の処理（顔検出の処理）に進む。

ステップＳ６０４では、顔の検出を行なう。検出の結果、顔を検出した場合は、ステップＳ６０５の処理（向き変化検出の処理）に進む。そうでなければ、ステップＳ６０８の処理（静止画及び動画保存の処理）に進む。

ステップＳ６０５では、向き変化検出を行なう。その結果、向き変化を検出すれば、ステップＳ６０７の処理（動画保存の処理）に進む。一方、向き変化を検出できなければ、ステップＳ６０６の処理（静止画保存の処理）に進む。保存する形式は、動画、静止画、動画と静止画の両方の３つがある。また、動画と静止画のファイルはそれぞれ独立である。動画と静止画の両方を保存する場合も、動画は動画ファイルとして保存し、静止画は静止画ファイルとして保存する。

上記のように、符号量に応じて保存形式を判断するのは、次の考えに基づくものである。すなわち、一般に風景などを撮影する場合、撮影対象の動きの変化は少ない。そのため、動画撮影中に静止画を撮影する撮影装置では、動画を保存する価値は低く、静止画のみ保存することで記憶媒体の容量を削減することができると考えられる。

動画の符号量は、図７に示すように、撮影時間とともに増加していくが、撮影対象に変化が少ない場合は、符号量の増加が少ない。この考えの下に、動画として保存するか、静止画として保存するかの判断をする符号量の閾値を予め設定しておく。符号量の閾値を所定の値に決定しておくこともできるし、時間と符号量の関係を式として定義することで閾値を決定することもできる。撮影した動画像の符号量が閾値を超えていれば、動画として保存し、閾値以下であれば静止画として保存する。

動き量についても、保存形式を判断する考え方は符号量と同様である。図８に動き量から保存形式を判断する方法を示す。撮影装置１００では動き量は、撮影中の所定の時間間隔（例えば１秒毎）で検出される。詳しくは、動き量は１秒ごとの動き量と、単位時間当たりの動き量（撮影時間における平均の動き量）の２つが計測される。１秒ごとの動き量、単位時間当たりの動き量が、所定の動き量（閾値）を超えていれば動画として保存し、閾値以下であれば静止画として保存する。

また、撮影開始の所定の期間と撮影終了の所定の期間については、動き量が少なければその部分の動画は削除するとよい。これにより、ビデオレターなどで動画を撮影する場合に、撮り始めと撮り終わりの、ユーザにとって不要なシーンを除去することができる。また、撮影中に動き量が急に増加した場合は、動画記録として保存するようにしてもよい。つまり、撮影対象の動きが急に多くなるということは、動画として残す価値が高くなったと考えられるので動画として保存する。その処理の詳細を図９のフローチャートに示す。

ステップＳ９０１では、動画記録時の動き量を解析する。これは単位時間当たりの動き量を計算するステップである。

ステップＳ９０２では、動き量が所定の閾値以下かどうかを判断する。動き量が所定の閾値以下（動き量の少ない動画）ならば、ステップＳ９０３に進み、動き量の少ない動画部分の時間情報を保存しておく。なお、時間情報に限らず、動画部分を確定できる情報であればよい。

ステップＳ９０３の次はステップＳ９０４進み、ステップＳ９０４では動画記録を終了させる。そして、ステップＳ９０５で、動き量の少ない動画部分を削除する。

次に、ブレ画像から保存形式を判断する方法を説明する。動画撮影中に静止画を撮影するときに、画像がブレ画像として記録された場合は、その静止画画像を保存する価値は低い。しかし、その撮影前後の様子が動画として記録されている場合は、動画として残す価値はある。静止画を削除し、動画のみ残すようにすれば、記録媒体の容量を削減することができる。ブレ画像かどうかの判断は画像処理によって行われる。ブレ画像は一般的に画像がぼやけており、高周波成分が少ない。

また、統計的手法を用いてブレ画像を補正する技術も開発されている。このような補正技術を実装した撮影装置では、ブレ画像を検出し、かつ符号量や動き量による判断で静止画として保存すると判断された場合は、静止画と動画を両方残す。

なお、ブレ画像ではなく、音や光による検出手段も考えられる。音や光を検出すれば動画として保存するという制御も可能である。例えば、音の激しい状況では、迫力のあるシーンであることから動画として保存するという制御を行う。

次に、顔検出から保存形式を判断する方法を説明する。顔を検出した場合は向きの変化を検出することで、動画として保存するか、静止画として保存するかを判断する。これは、顔の向きが変化した場合は動きが活発であり、動画として保存する価値があると考えられるためである。向きの変化を検出しない場合は、撮影対象は撮影装置を見て静止している場合であり、静止画として保存する価値の方が高いと考えられる。

また、顔検出においては、検出した時点で動画として記録するという制御や、検出した領域の動き量を測定することで動画記録への切替制御を行うことも可能である。詳しくは、図１０に示すように、顔のパターンとサイズから記録形式を決定するものである。また、パターンごとに優先度を予め設定しておき、優先度が高いパターンは動画として記録することも可能である。

次に、再生形式を判断する動作について説明する。再生については、基本的には記録時に作成したプレイリストを参照する。ただし、プレイリストを参照できない場合は、符号量や動き量の検出手段を用いて再生制御を行う。

図１１は、再生形式を判断する処理を示すフローチャートである。

ステップＳ１１０１では、符号量を判断する。符号量が所定の閾値よりも小さければステップＳ１１０６に進み、静止画として再生する。一方、符号量が所定の閾値よりも大きければ、ステップＳ１１０２に進み、動き量を判断する。

ステップＳ１１０２での判断の結果、動き量が所定の閾値よりも小さければ、ステップＳ１１０６に進み、静止画として再生する。動き量が所定の閾値よりも大きければ、ステップＳ１１０３に進み、ブレ画像を検出する。

ステップＳ１１０３での検出の結果、ブレ画像を検出した場合には、それに対応する動画が存在すれば、ステップＳ１１０７に進み、動画として再生する。一方、ブレ画像を検出しなかった場合は、ステップＳ１１０４に進み、顔検出を行う。

ステップＳ１１０４において顔を検出すると、ステップＳ１１０５に進み、向き変化を検出する。ステップＳ１１０５で向きの変化を検出すれば、動画として再生する。そうでなければ、静止画として再生する。また、ステップＳ１１０４において検出条件を満たさない場合は、ステップＳ１１０８に進み、動画ファイルであれば動画を再生し、静止画ファイルであれば静止画を再生する通常再生を行う。

なお、撮影装置１００では動画ファイルと静止画ファイルが対応して存在していることを想定しているが、動画再生で動画がない場合や、静止画再生で静止画がない場合は、通常再生を行う。

また、静止画の再生において、画像がブレ画像である場合や、光によって画としての価値が低い画像である場合には、再生しないようにすることも可能である。

以上のように、本実施形態によれば、静止画撮影の前後の動画を保存するかしないかを自動的に判断するので、記録媒体の消費を抑えることが可能になる。

なお、本発明は、上述した実施形態に限定されるものではない。例えば、上記の実施形態では、メモリ削減を目的としているが、余分に記録することで情報を追加するという考え方も可能である。

また、モードダイヤルとの連携も考えられる。例えば、風景撮影モードであれば、静止画を優先的に残し、動画を削除するという方法もある。

また、ユーザがファインダーを覘いて撮影する場合は、接地センサを用いて静止画として保存するといった設定を用意する必要がある。

本発明に係る信号処理回路は、対象の静止画撮影の前後の動画を保存するかしないかを自動的に判断するので、記録媒体の消費を抑えることが可能になるという効果を有し、静止画像及び動画像の双方の処理を行なう信号処理回路、撮影装置等として有用である。

本発明の実施形態に係る撮影装置１００の基本構成を示した図である。 撮影装置１００の外観を例示した図である。 撮影動作を簡単なフローチャートとして示したものである。 シャッターボタンが押されてから、画像が保存されるまでの動作の概要を示した図である。 プレイリストの一例を示す図である。 保存形式判断処理のフローチャートである。 動画の符号量と撮影時間との関係を示す図である。 動き量から保存形式を判断する方法を示す図である。 撮影開始の所定の期間と撮影終了の所定の期間の動画削除処理を説明するフローチャートである。 顔のパターンとサイズから記録形式を決定する方法を示す図である。 再生形式を判断する処理を示すフローチャートである。

符号の説明

１００ 撮影装置
１１０ カメラ撮像部
１２０ ドライバ
１３０ 記録開始／停止スイッチ
１４０ モード切替スイッチ
１５０ 信号処理回路
１５１ 動画像検出装置
１５２ ＤＳＰ
１５３ ＣＰＵ
１５４ バッファメモリ
１６０ 表示装置
１７０ 外部記録媒体
１８０ メニュー操作用キースイッチ

Claims (13)

1. 撮影した画像を一時的に保存するバッファメモリと、
   前記撮影した画像が動画像であるか否かを検出する動画像検出装置と、
   を備え、
   前記動画像検出装置の検出結果に応じて、前記撮影した画像を動画として前記バッファメモリに保存するか、静止画として前記バッファメモリに保存するか、動画と静止画の両方を前記バッファメモリに保存するかを判断することを特徴とする信号処理回路。
2. 請求項１の信号処理回路であって、
   前記動画像検出装置は、画像の符号量を検出するとともに、検出した符号量に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
3. 請求項１の信号処理回路であって、
   前記動画像検出装置は、画像の動き量を検出するとともに、検出した動き量に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
4. 請求項３の信号処理回路であって、
   前記動画像検出装置が検出した画像の動き量が、所定の閾値よりも小さい場合に動画の始端、及び終端の少なくとも一方を削除することを特徴とする信号処理回路。
5. 請求項１の信号処理回路であって、
   前記動画像検出装置は、画像のぶれ量を検出するとともに、検出したぶれ量に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
6. 請求項１の信号処理回路であって、
   前記動画像検出装置は、画像の顔部分と検出した顔の向きの変化を検出するとともに、検出した顔の向きの変化に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
7. 請求項１の信号処理回路であって、
   前記動画像検出装置は、所定のパターンを検出するとともに、パターンごとに予め設定した優先度に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
8. 請求項１の信号処理回路であって、
   前記動画像検出装置は、動画と静止画の混在した画像を表示するためのプレイリストを作成することを特徴とする信号処理回路。
9. 撮影した画像が動画像であるか否かを検出する動画像検出装置を備え、
   前記動画像検出装置の検出結果に応じて、前記撮影した画像を動画として表示するか、静止画として表示するかを判断することを特徴とする信号処理回路。
10. 請求項９の信号処理回路であって、
    前記動画像検出装置は、画像のぶれ量情報を検出するとともに、検出したぶれ量情報に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
11. 請求項９の信号処理回路であって、
    前記動画像検出装置は、画像の符号量情報を検出するとともに、検出した符号量情報に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
12. 請求項９の信号処理回路であって、
    前記動画像検出装置は、画像の動き量情報を検出するとともに、検出した動き量情報に応じ、前記撮影した画像が動画像であるか否かを検出することを特徴とする信号処理回路。
13. 請求項１の信号処理回路と、
    被写体像を電気信号に変換して出力するカメラ撮像部と、
    静止画撮影モード、動画撮影モード、静止画・動画自動撮影モードを切り替えるモード切替スイッチと、
    撮影開始を指示する撮影スイッチと、
    撮影した画像を表示する表示装置と、
    撮影した画像を保存する外部記録媒体と、
    を備えたことを特徴とする撮影装置。