JP2009089220A - 撮像装置 - Google Patents

Abstract

【課題】 動画撮影時により好ましい構図の静止画像を取得できる手段を提供する。
【解決手段】 撮像装置は、撮像素子と、メモリと、動画像データ生成部と、記録インターフェースと、入力部と、被写体認識部と、トリミング処理部とを備える。撮像素子は、所定間隔ごとに被写体を撮像して、各々の画像のデータを出力する。メモリは、画像のデータを一時的に保持する。動画像データ生成部は、複数の画像から動画像データを生成する。記録インターフェースは、動画像データを記憶媒体に記録する。入力部は、静止画記録の指示入力を受け付ける。被写体認識部は、画像から認識対象の被写体を検出する。トリミング処理部は、指示入力のときに撮像された画像から認識対象の被写体を含む部分領域をトリミングし、認識対象の被写体が所定の構図で配置されたトリミング画像のデータを生成する。
【選択図】 図１

Description

本発明は、動画撮影機能を備えた撮像装置に関する。

従来から、動画撮影機能を備えた電子カメラにおいて、動画撮影中に静止画のデータを生成できるものが知られている。一例として、特許文献１には、動画撮影中に静止画撮影指示があった場合には動画のフレームに識別情報を付加し、静止画の読み出し時には識別情報のあるフレームを出力する構成が開示されている。
特開２００６−４２２４１号公報

ところで、従来技術では動画の１フレームを静止画として出力するにすぎない。そのため、静止画として出力されるフレームでは主要被写体が好ましい構図で撮影されているとは限らず、静止画としての出来映えが劣ることが多い点で改善の余地があった。

本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、動画撮影時により好ましい構図の静止画像を取得できる手段を提供することである。

第１の発明に係る撮像装置は、撮像素子と、メモリと、動画像データ生成部と、記録インターフェースと、入力部と、被写体認識部と、トリミング処理部とを備える。撮像素子は、所定間隔ごとに被写体を撮像して、各々の画像のデータを出力する。メモリは、画像のデータを一時的に保持する。動画像データ生成部は、複数の画像から動画像データを生成する。記録インターフェースは、動画像データを記憶媒体に記録する。入力部は、静止画記録の指示入力を受け付ける。被写体認識部は、画像から認識対象の被写体を検出する。トリミング処理部は、指示入力のときに撮像された画像から認識対象の被写体を含む部分領域をトリミングし、認識対象の被写体が所定の構図で配置されたトリミング画像のデータを生成する。

第２の発明は、第１の発明において、画像の解像度は、動画像データの１フレームの解像度よりも高く設定される。

第３の発明は、第１または第２の発明において、トリミング処理部は、トリミング画像を黄金比で分割する縦横のラインの交点上に認識対象の被写体が位置するように、トリミングの位置を決定する。

第４の発明は、第１から第３のいずれかの発明において、トリミング処理部は、画像内での認識対象の被写体の大きさに基づいて、トリミングの範囲を決定する。

第５の発明は、第１から第４のいずれかの発明において、トリミング処理部は、画像の端から認識対象の被写体までの余白量に基づいて、画像を縦長にトリミングする第１処理と画像を横長にトリミングする第２処理とを切り替える。

本発明によれば、動画撮影中における静止画記録の指示入力に応じて認識対象の被写体を含む部分領域が画像からトリミングされ、認識対象が所定の構図で配置されたトリミング画像を取得できる。

図１は本実施形態の電子カメラの構成を示すブロック図である。本実施形態の電子カメラは、静止画撮影機能と動画撮影機能とを備えている。

電子カメラは、撮像光学系１１と、撮像素子１２と、撮像素子駆動回路１３と、信号処理回路１４と、第１フレームメモリ１５と、第２フレームメモリ１６と、動画像データ生成部１７と、ＲＡＭ１８と、静止画像データ生成部１９と、記録Ｉ／Ｆ２０と、モニタ２１と、入力部２２と、ＣＰＵ２３およびバス２４とを有している。ここで、動画像データ生成部１７、静止画像データ生成部１９、記録Ｉ／Ｆ２０、モニタ２１、ＣＰＵ２３はバス２４を介してそれぞれ接続されている。また、撮像素子駆動回路１３および入力部２２は、それぞれＣＰＵ２３に接続されている。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１２は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１２の出力は信号処理回路１４に接続されている。なお、本実施形態の撮像素子１２は、３２６４×２４４８画素の画像を６０ｆｐｓのフレームレートで読み出し可能なＣＭＯＳセンサで構成されている。

撮像素子駆動回路１３は、ＣＰＵ２３の指示に基づいて、撮像素子１２に対してタイミングパルスを供給する。なお、撮像素子１２の電荷蓄積時間や信号読み出しのタイミングは、撮像素子駆動回路１３のタイミングパルスで調整されることとなる。

信号処理回路１４は、撮像素子１２の出力に対してアナログ信号処理を施す前段のアナログフロントエンド回路（ＡＦＥ）と、デジタル信号処理を施す後段のデジタルフロントエンド回路（ＤＦＥ）とを内部に有している。信号処理回路１４のＡＦＥは、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。また、信号処理回路１４のＤＦＥは、ディジタルデータのクランプ補正や、暗電流成分のオフセット補正などを実行する。なお、信号処理回路１４の出力は、第１フレームメモリ１５および第２フレームメモリ１６にそれぞれ接続されている。

第１フレームメモリ１５および第２フレームメモリ１６は、動画撮影時に生成される画像のデータを一時的に保持するバッファメモリである。第１フレームメモリ１５は動画像データ生成部１７と接続されており、動画像データの生成に使用される。また、第２フレームメモリ１６は静止画像データ生成部１９と接続されており、後述のトリミング画像のデータの生成に使用される。

動画像データ生成部１７は、動画像に関する画像処理を行うＡＳＩＣである。この動画像データ生成部１７は、第１フレームメモリ１５の１フレーム分の画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を実行する。また、動画像データ生成部１７は、各フレームの解像度変換処理や、所定の画像フォーマットでの圧縮処理（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００、ＭＰＥＧ−２など）を実行し、動画像データを生成する。なお、動画像データ生成部１７は、モニタ２１の表示画像のデータも生成する。

ＲＡＭ１８は、被写体認識を行うときに用いる特徴情報を記憶した不揮発性の記憶媒体であって、静止画像データ生成部１９と接続されている。なお、本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物を認識対象の被写体として登録することが可能である。

ここで、上記の特徴情報は、一例として被写体の画像のデータで構成される。また、特徴情報は、撮像画像の輪郭成分、輝度、色差、コントラスト比などのパラメータを示すデータであってもよい。さらに、認識対象の被写体が人物の顔である場合には、顔の特徴点の位置、各特徴点の相対距離などを特徴情報とすることもできる。

静止画像データ生成部１９は、静止画像に関する画像処理を行うＡＳＩＣである。この静止画像データ生成部１９は、第１フレームメモリ１５の１フレーム分の画像のデータに対して、各種の画像処理や圧縮処理を実行する。また、静止画像データ生成部１９は、被写体認識部２５およびトリミング処理部２６として機能する。

被写体認識部２５は、ＲＡＭ１８に予め用意された特徴情報に基づいて、画像内に含まれる主要被写体を認識する。一例として、被写体認識部２５は、上記の特徴情報に基づいて、画像の被写体を解析するマッチング処理を実行する。このとき、被写体認識部２５は、例えば、画像の輝度成分、色差成分、輪郭成分、コントラスト比などのパターンの共通性に着目してマッチング処理を実行する。次に、被写体認識部２５は、上記のマッチング処理の結果に基づいて、画像の被写体と特徴情報との類似度を求める。そして、被写体認識部２５は、上記の類似度が閾値以上となる場合にはその特徴情報に対応する被写体が画像内に存在するものと判定する。ここで、被写体認識部２５は、各々の顔の特徴情報をＲＡＭ１８に予め登録することで、電子カメラで人物認証を行うこともできる。また、被写体認識部２５は、個人認証をすることなく人物の顔領域を検出する公知の顔検出処理を行うこともできる。

トリミング処理部２６は、被写体認識部２５の出力に基づいて、画像のうちから認識対象の被写体を含む部分領域を切り出すトリミング処理を実行する。なお、トリミング処理部２６は、画像を縦長にトリミングする第１処理と、画像を横長にトリミングする第２処理とを切り替えることが可能である。

記録Ｉ／Ｆ２０には、記憶媒体２７を接続するための２つのコネクタが形成されている。そして、記録Ｉ／Ｆ２０は、コネクタに接続された記憶媒体２７に対してデータの書き込み／読み込みを実行する。特に、本実施形態の記録Ｉ／Ｆ２０は、動画記録用の記憶媒体２７と、静止画記録用の記憶媒体２７とにそれぞれ同時に書き込み可能となっている。また、上記の記憶媒体２７は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２７の一例としてメモリカードを図示する。

モニタ２１は、ＣＰＵ２３の指示する画面を表示する。例えば、モニタ２１には、動画記録時に撮像した画像がリアルタイムに動画表示されて電子ファインダとして機能する。また、モニタ２１には、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面を表示することができる。ここで、上記のメニュー画面では、（１）認識対象とする被写体の指定、（２）静止画像の解像度の指定、（３）静止画の構図の指定、などの項目をユーザーがＣＰＵ２３に対して設定できる。なお、メニュー画面での入力および表示に関する処理は、いずれもＣＰＵ２３によって実行される。

入力部２２は、例えば、十字状のカーソルキー、決定釦、キャプチャ釦などで構成される。そして、入力部２２は電子カメラの各種入力をユーザーから受け付ける。例えば、入力部２２は、上記のメニュー画面での入力操作や、動作モードの切替操作などを受け付ける。特に、上記のキャプチャ釦は、動画撮影中に静止画の撮像タイミングの入力をユーザーから受け付ける。

ＣＰＵ２３は、電子カメラの各部を統括的に制御するプロセッサである。一例として、ＣＰＵ２３は、撮影時においてＡＦ演算およびＡＥ演算などを公知の手段で実行する。

以下、図２の流れ図を参照しつつ、本実施形態における電子カメラの動画撮影時の動作例を説明する。なお、図２の例では、画像を縦長にトリミングする第１処理が初期設定で選択されていることを前提として説明を行う。

ステップ１０１：ＣＰＵ２３は、動画撮影の開始指示入力をユーザーから受け付けると、撮像素子１２を駆動させて動画撮影を開始する。

具体的には、撮像素子１２は、動画撮影時において３２６４×２４４８画素の画像を６０ｆｐｓのフレームレートで出力する。撮像素子１２からの出力は、信号処理回路１４をパイプライン式に通過して第１フレームメモリ１５および第２フレームメモリ１６にそれぞれバッファリングされる。動画像データ生成部１７は、第１フレームメモリ１５の画像のデータから所定の動画像フォーマットに準拠した動画像データを生成する。このとき、動画像データ生成部１７は、画像の上下をカットしてアスペクト比を１６：９にするとともに、画像の解像度変換を行って動画像の１フレームの解像度を１９２０×１０８０画素に調整する。なお、最終的に動画像データは、記録Ｉ／Ｆ２０を介して動画用の記憶媒体２７に記録される。

また、動画撮影時には、ＣＰＵ２３の制御によって、撮像素子１２で撮影した画像がモニタ２１に表示される。図３は、動画撮影時におけるモニタ２１の表示画面の一例を示す図である。本実施形態のモニタ２１の表示画面では、撮像素子１２で撮像された全体画像（アスペクト比４：３）と、動画像データの画像の範囲（アスペクト比１６：９）とが示される。これにより、ユーザーは表示画面における動画像の範囲を確認しつつ、全体画像によって静止画の撮影タイミングを判断できる。

ステップ１０２：ＣＰＵ２３は、キャプチャ釦による静止画撮影の入力があったか否かを判定する。上記入力がある場合（ＹＥＳ側）にはＳ１０３に移行する。一方、上記入力がない場合（ＮＯ側）にはＳ１１２に移行する。

ステップ１０３：この場合、ＣＰＵ２３は静止画データの生成を開始する。そして、ＣＰＵ２３は、第２フレームメモリ１６に保存されている画像のうちで、キャプチャ釦の押圧のときに撮像されたフレーム（３２６４×２４４８画素）を処理対象の画像に指定する。

ステップ１０４：被写体認識部２５は、処理対象の画像（Ｓ１０３）に対する被写体認識処理を実行する。なお、本実施形態では、認識対象の被写体として、特定人物の顔を認証する場合を前提として以下の説明を行う。

ステップ１０５：ＣＰＵ２３は、Ｓ１０４において、処理対象の画像（Ｓ１０３）から認識対象の被写体が検出できたか否かを判定する。認識対象の被写体が検出できた場合（ＹＥＳ側）にはＳ１０６に移行する。一方、認識対象の被写体が検出できない場合（ＮＯ側）にはＳ１１１に移行する。

ステップ１０６：トリミング処理部２６は、認識対象の被写体のサイズに基づいて、処理対象の画像（Ｓ１０３）のトリミング範囲の大きさを決定する。このとき、トリミング処理部２６は、認識対象の被写体とトリミング範囲とのサイズの比が予め指定されている場合には、その比に従ってトリミング範囲の大きさを指定する。

一例として、人物が認識対象であって、画像を縦長にトリミングする第１処理のときには、トリミング処理部２６は以下のようにトリミング範囲の大きさを決定する。一般に、画面内の主要物を約１：１．６１８のいわゆる黄金比にしたがって配置すると、画面に安定感をもたらす構図となることが経験的に知られている。特に、人物のポートレートの場合には顔の大きさも構図決定の一要素となる。

そのため、本実施形態のトリミング処理部２６は、トリミング範囲の縦寸法（Ｙ）に対して被写体の顔の高さ（Ｙ_F）が３８．２％となるように上記のＹの値を決定する。すなわち、顔の高さ（Ｙ_F）を１とすると、トリミング範囲の縦寸法（Ｙ）は２．６１８倍（１／０．３８２）となる。その後、トリミング処理部２６は、所定のアスペクト比（４：３，３：２，１６：９など）に従ってトリミング範囲の横寸法（Ｘ）を上記のＹの値から求める（図４参照）。

ステップ１０７：トリミング処理部２６は、認識対象の被写体が所定の構図で収まるように、処理対象の画像（Ｓ１０３）のトリミング範囲を決定する。一例として、トリミング処理部２６は、トリミング画像を黄金比で分割する縦横のラインの交点上に認識対象の被写体が位置するように、トリミング範囲を決定する。

図４を参照しつつ、人物が認識対象であって、画像を縦長にトリミングする第１処理の場合を具体的に説明する。トリミング処理部２６は、顔の中心点（例えば眉間の位置や、顔領域の重心の位置）が、トリミング画像をそれぞれ約１：１．６１８の比率で縦横に分割するライン（すなわち、ＸおよびＹをそれぞれ３８．２％と６１．８％に分割するライン）の交点上に位置するようにトリミング範囲を決定する。なお、図４の例では、トリミング画像の左上を起点として座標（０．３８２Ｘ，０．３８２Ｙ）の位置に顔の中心がくるように構図を設定した。

ステップ１０８：トリミング処理部２６は、Ｓ１０７のトリミング範囲の構図において、処理対象の画像の端から認識対象の被写体までの余白量が確保できるか（すなわち、処理対象の画像内にトリミング範囲が収まるか）否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０９に移行する。

本実施形態の電子カメラでは、動画撮影を行いつつ必要に応じて静止画撮影を行うため、動画撮影の主要被写体が認証対象と異なる場合には、認証対象の被写体が画像の隅に位置する場合も多い。また、実際の撮影では、レンズの焦点距離と被写体までの距離との制限から、認識対象の被写体の周囲まで写し込まれていない場合も想定される。例えば、非広角のレンズでは、人物などの被写体の周囲を十分に写し込もうとすると被写体までの距離を数ｍ〜十数ｍ確保する必要があるが、実際の撮影では障害物の存在などによって被写体までの距離を十分確保できない場合も多い。

上記のような場合には、トリミング範囲が処理対象の画像からはみ出すこともあり、そのままトリミングを行うと画像の一部が切れて見映えが悪くなる。そのため、Ｓ１０８でのトリミング処理部２６は、処理対象の画像内にトリミング範囲が収まるか否かを判定している。

具体的には、トリミング処理部２６は、トリミング範囲の構図（認証対象の被写体の位置）と、認識対象の被写体の大きさとから、認識対象の被写体の周囲に確保すべき余白量を求める。次に、トリミング処理部２６は、処理対象の画像において、認識対象の被写体から画像の端までの長さ（画素数）を求める。そして、トリミング処理部２６は、上記の長さが余白量以上の場合には、処理対象の画像内にトリミング範囲が収まると判定する。

一例として、図４を参照しつつ、人物が認識対象であって、画像を縦長にトリミングする第１処理の場合を考える。この場合には、人物の顔の上端から画面上端までの余白量は、トリミング範囲の縦寸法（Ｙ）の１９．１％に相当する。そのため、トリミング処理部２６は、画面上端側の余白量として１９．１Ｙを閾値とし、処理対象の画像において人物の顔上端から画像上端までの長さが閾値以上となるか否かを判定する。勿論、画面の下側および画面の左右についても、トリミング処理部２６が同様の判定をそれぞれ実行する。

ステップ１０９：トリミング処理部２６は、画像を横長にトリミングする第２処理に切り替えてトリミング範囲の再設定を実行する。この場合にも、トリミング処理部２６は、横長のトリミング画像を黄金比で分割する縦横のラインの交点上に認識対象の被写体が位置するように、トリミング範囲を決定する（図５参照）。

なお、Ｓ１０９で第２処理に切り替えても認識対象の周囲に十分な余白を確保できない場合には、ＣＰＵ２３はＳ１１１に処理を移行するようにしてもよい（図２の流れ図ではこの場合の図示は省略する）。

ステップ１１０：トリミング処理部２６は、Ｓ１０７またはＳ１０９で決定されたトリミング範囲で処理対象の画像（Ｓ１０３）をトリミングして静止画像のデータを生成する。このとき、静止画像データ生成部１９は、上記のトリミング画像に解像度変換を施して所定の画素数に調整するようにしてもよい。その後、静止画像のデータは、記録Ｉ／Ｆ２０を介して静止画用の記憶媒体２７に記録される。なお、Ｓ１１０の処理後はＳ１１２に移行する。

ステップ１１１：静止画像データ生成部１９は、トリミングを行うことなく画像の解像度変換を実行して静止画像のデータを生成する。すなわち、この場合には、処理対象の画像（Ｓ１０３）と同じ構図の低解像度画像が静止画像のデータとなる。その後、静止画像のデータは、記録Ｉ／Ｆ２０を介して静止画用の記憶媒体２７に記録される。

ステップ１１２：ＣＰＵ２３は、動画撮影の終了入力をユーザーから受け付けたか否かを判定する。上記入力がある場合（ＹＥＳ側）には、ＣＰＵ２３は動画撮影を終了する。一方、上記入力がない場合（ＮＯ側）にはＳ１０２に戻ってＣＰＵ２３は上記動作を繰り返す。以上で図２の流れ図の説明を終了する。

以下、本実施形態の電子カメラの作用効果を述べる。本実施形態の電子カメラでは、動画撮影中にキャプチャ釦が押圧されると、認識対象の被写体を含む画像の部分領域をトリミングして、主要被写体が所定の構図で配置された静止画像を取得できる。特に、本実施形態では、黄金比に基づいて被写体の位置および大きさが自動的に決定される。そのため、ユーザーは煩雑な操作を行うことなく、好ましい構図の静止画像を容易に取得できる。

また、本実施形態の電子カメラでは、動画像データの１フレームよりも解像度の高い画像からトリミングを行って静止画像を生成する。そのため、動画像と比べて解像度が同等以上のトリミング画像を取得することも可能となる。

さらに、本実施形態の電子カメラでは、処理対象の画像内にトリミング範囲が収まらない場合にはトリミングの範囲を切り替えるため、好ましい構図の静止画像を取得できる可能性が大幅に向上する。

（実施形態の補足事項）
（１）上記実施形態では認識対象の被写体を人物とする例を説明したが、認識対象の被写体は人物に限定されることなく、動物、建築物、乗物などのあらゆる物を対象とすることができる。勿論、被写体認識として電子カメラで顔検出のみを行い、顔認証を行わないようにしてもよい。

（２）トリミング画像における主要被写体の位置は、上記実施形態の例に限定されることはない。例えば、図４において、トリミング画像の左上を起点として、座標（０．６１８Ｘ，０．３８２Ｙ）、（０．３８２Ｘ，０．６１８Ｙ）、（０．６１８Ｘ，０．６１８Ｙ）の交点のいずれかに認識対象の被写体を配置する構図としてもよい。

（３）また、上記実施形態において、画像を横長にトリミングする第２処理を初期設定で選択し、画像を横長にトリミングすると処理対象の画像内にトリミング範囲が収まらないときに第１処理に切り替えるようにしてもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を示すブロック図 本実施形態における電子カメラの動画撮影時の動作例を説明する流れ図 動画撮影時におけるモニタの表示画面の一例を示す図 トリミング画像における被写体の構図を示す説明図 トリミング範囲の切替を示す説明図

符号の説明

１２…撮像素子、１５，１６…フレームメモリ、１７…動画像データ生成部、１８…ＲＡＭ、１９…静止画像データ生成部、２０…記録Ｉ／Ｆ、２２…入力部、２３…ＣＰＵ、２５…被写体認識部、２６…トリミング処理部、２７…記憶媒体

Claims (5)

1. 所定間隔ごとに被写体を撮像して、各々の画像のデータを出力する撮像素子と、
   前記画像のデータを一時的に保持するメモリと、
   複数の前記画像から動画像データを生成する動画像データ生成部と、
   前記動画像データを記憶媒体に記録する記録インターフェースと、
   静止画記録の指示入力を受け付ける入力部と、
   前記画像から認識対象の被写体を検出する被写体認識部と、
   前記指示入力のときに撮像された前記画像から前記認識対象の被写体を含む部分領域をトリミングし、前記認識対象の被写体が所定の構図で配置されたトリミング画像のデータを生成するトリミング処理部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像の解像度は、前記動画像データの１フレームの解像度よりも高く設定されることを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記トリミング処理部は、前記トリミング画像を黄金比で分割する縦横のラインの交点上に前記認識対象の被写体が位置するように、前記トリミングの位置を決定することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記トリミング処理部は、前記画像内での前記認識対象の被写体の大きさに基づいて、前記トリミングの範囲を決定することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記トリミング処理部は、前記画像の端から前記認識対象の被写体までの余白量に基づいて、前記画像を縦長にトリミングする第１処理と前記画像を横長にトリミングする第２処理とを切り替えることを特徴とする撮像装置。
   
   

Images