JP2012256985A

JP2012256985A - 撮像装置及び再生装置

Info

Publication number: JP2012256985A
Application number: JP2011127589A
Authority: JP
Inventors: Takashi Nishi; 岳志西
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-06-07
Filing date: 2011-06-07
Publication date: 2012-12-27

Abstract

【課題】撮影した動画像をユーザが意図する明るさで再生することである。
【解決手段】被写体光を撮像する撮像素子部４と、前記撮像素子部からの撮像信号に基づく動画像を記録する動画記録部１４と、被写体光の輝度を検出する輝度センサ６と、前記輝度センサにより検出された輝度に基づいて撮影中の動画像を構成するフレーム画像を適正な露出にするためのゲイン値を算出する露出算出部１８と、前記露出算出部により算出されたゲイン値を用いてゲイン処理を行う画像処理部８と、前記露出算出部により算出されたゲイン値の変化が所定の閾値を超えた場合に、前記ゲイン値の更新を行わずフレーム画像の識別子に前記露出算出部により算出されたゲイン値を関連付けて記録する露出記録部２２とを備える。
【選択図】図１

Description

本発明は、撮像装置及び再生装置に関する。

従来、動画撮影中に被写体像の明るさを補正する撮像装置が知られている（例えば、特許文献１参照）。この撮像装置においては被写体像から顔画像を検出し、検出した顔画像の明るさに応じた明るさ補正パラメータを算出する。そして算出した明るさ補正パラメータを用いた露出制御により明るさを補正している。

特許第４４４２１８号公報

しかしながら、上述した特許文献１の撮像装置においては、画面全体もしくは特定のエリアの輝度の変化を検出し、それに応じた露出補正を実施していたため、特にシャッタ速度や絞りを固定にした場合、ユーザが意図する露出で動画像を撮影できず、撮影された動画像がユーザの意図する明るさで再生されないことがあった。

本発明の目的は、撮影した動画像をユーザが意図する明るさで再生することである。

本発明の撮像装置は、被写体光を撮像する撮像素子部と、前記撮像素子部からの撮像信号に基づく動画像を記録する動画記録部と、被写体光の輝度を検出する輝度センサと、前記輝度センサにより検出された輝度に基づいて撮影中の動画像を構成するフレーム画像を適正な露出にするためのゲイン値を算出する露出算出部と、前記露出算出部により算出されたゲイン値を用いてゲイン処理を行う画像処理部と、前記露出算出部により算出されたゲイン値の変化が所定の閾値を超えた場合に、前記ゲイン値の更新を行わずフレーム画像の識別子に前記露出算出部により算出されたゲイン値を関連付けて記録する露出記録部とを備えることを特徴とする。

本発明の再生装置は、動画像を再生するディスプレイ部と、前記動画像を記録する動画記録部と、前記動画像を構成するフレーム画像の内、該フレーム画像を適正な露出にするためのゲイン値の変化が所定の閾値を超えたフレーム画像の識別子に前記フレーム画像を適正な露出にするためのゲイン値を関連付けて記録する露出記録部と、前記動画像の再生時における露出応答速度を選択する選択部とを備え、前記選択部により、前記動画像を適正な露出で再生する前記露出応答速度が選択されている場合に、前記ディスプレイ部により前記動画像を再生する際に、前記画像処理部は前記露出記録部に記録された前記識別子のフレーム画像に対して、前記識別子に関連付けて記録されている前記ゲイン値を用いたゲイン処理を行なうことを特徴とする。

本発明によれば、撮影した動画像をユーザが意図する明るさで再生することができる。

第１の実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。第１の実施の形態に係る動画撮影処理を示すフローチャートである。第２の実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。

以下、図面を参照して、本発明の第１の実施の形態に係る撮像装置及び再生装置としてのデジタルカメラについて説明する。図１は、第１の実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。

図１に示すようにデジタルカメラ２は、メイン撮像素子部４、サブ撮像素子部６、画像処理部８、動画符号化処理部１０、動画復号化処理部１２、動画記録部１４、ディスプレイ部１６、露出算出部１８、露出制御部２０及び露出記録部２２を備えている。

メイン撮像素子部４は、ＣＣＤまたＣＭＯＳ等により構成されて被写体光を撮像し、画像処理部８に対して撮像信号を出力する。サブ撮像素子部６は、被写体光の輝度を測光し、露出算出部１８に測光結果を出力する。画像処理部８はメイン撮像素子部４から出力された撮像信号に対してホワイトバランス調整や解像度調整等の画像処理を施した動画像及びスルー画像等の画像データを生成する。また画像処理部８は後述するゲイン値を用い、動画像を構成するフレーム画像の露出制御を実施する。

動画符号化処理部１０は、動画像データを構成する各フレーム画像の圧縮等の符号化処理を行う。動画復号化処理部１２は、符号化処理された動画像データを元の状態へと伸張させる等の復号化処理を行う。動画記録部１４は、例えばデジタルカメラ２のカードスロットを介して装着されるメモリーカードであり動画像データ等を記憶する。

ディスプレイ部１６は、デジタルカメラ２の背面に設けられた液晶モニタであってメイン撮像素子部４からの撮像信号に基づくスルー画像、動画像等の画像を表示し、さらに各種設定を行う際のメニュー画面や撮影に関する情報等を表示する。

露出算出部１８は、動画撮影時にサブ撮像素子部６から出力された被写体光の輝度に基づいてその時点で生成されたフレーム画像を適正露出とするためのゲイン値を算出する。露出制御部２０は、画像処理部８に対して露出算出部１８において算出されたゲイン値を用いた露出制御の指示を行なう。

なお、デジタルカメラ２の図示しない記憶部には、ゲイン処理に用いるゲイン値を更新するか否かの判断に用いる適正範囲と、後述するフレーム画像のフレーム番号とゲイン値を記録するか否かの判断に用いる閾値とが記憶されている。

露出記録部２２は、動画撮影時の各フレーム画像の内、算出されたゲイン値の変化が閾値を超えたフレーム画像のフレーム番号と、そのフレーム画像の輝度に基づいて露出算出部１８により算出されたゲイン値とを関連付けて記録する。

次にデジタルカメラ２による動画撮影について説明する。図２は実施の形態に係る動画撮影処理を示すフローチャートである。先ずユーザはデジタルカメラ２の図示しない操作部材を操作し、撮影モードを動画撮影モードに設定し、動画撮影開始を指示する撮影開始ボタンを押下する。これによりメイン撮像素子部４からの撮像信号に基づいて画像処理部８はフレーム画像の生成を開始する（ステップＳ１）。

また、露出算出部１８は、画像処理部８によるフレーム画像の生成時に、サブ撮像素子部６からの出力信号に基づいてフレーム画像の輝度を検出し、そのフレーム画像の輝度に基づいてフレーム画像が適正露出となるためのゲイン値を算出する（ステップＳ２）。

露出制御部２０は、前のフレーム画像のゲイン処理に用いたゲイン値に対する、算出されたゲイン値の変化が所定の閾値を超えたか否かを判断する（ステップＳ３）。露出制御部２０は、ゲイン値の変化が閾値を超えたと判断した場合には（ステップＳ３、Ｙｅｓ）、このフレーム画像のフレーム番号と、ステップＳ２で算出されたゲイン値を関連付けて露出記録部２２に記録させる（ステップＳ４）。

露出制御部２０は、ゲイン値の変化が所定の閾値を超えていないと判断した場合には（ステップＳ３、Ｎｏ）、ゲイン値の更新を行うか否かを判断する（ステップＳ５）。露出制御部２０は、ゲイン値の変化が適正範囲に含まれている場合にはゲイン更新を行わない（ステップＳ５、Ｎｏ）。

一方、露出制御部２０は、ゲイン値の変化が適正範囲に含まれていない場合には（ステップＳ５、Ｙｅｓ）、画像処理部８において行うゲイン処理に用いるゲイン値をステップＳ２で算出されたゲイン値に更新する（ステップＳ６）。

画像処理部８はステップＳ４で露出記録部２２にフレーム番号とゲイン値を記録した場合及びステップＳ５でゲイン値の更新を行なわないと判断した場合には、前のフレーム画像に対するゲイン処理に用いたゲイン値をよるゲイン処理を実行し、ステップＳ６でゲイン値を更新する場合には、ステップＳ２で算出された新たなゲイン値によるゲイン処理を実行する（ステップＳ７）。

画像処理部８は、ゲイン処理を実行したフレーム画像の記録を行なう（ステップＳ８）。即ちゲイン処理が実行されたフレーム画像は、動画符号化処理部１０で符号化処理が行なわれて動画記録部１４に記録される。そしてユーザの撮影終了ボタンの押下による動画撮影の終了操作がなされない場合には（ステップＳ９、Ｎｏ）、ステップＳ１に戻って新たなフレーム画像の生成を行なう。またユーザにより終了操作がなされた場合には（ステップＳ９、Ｙｅｓ）、動画撮影処理を終了する。

次に、動画像再生処理について説明する。先ずユーザはデジタルカメラ２の操作部材を操作することによって露出変化の応答速度を示す露出応答速度を選択する。ここで露出応答速度には、動画像が常に適正な露出で再生されるように記録されているフレーム番号のフレーム画像に対して、記録されたゲイン値を用いたゲイン処理を行なう設定や、動画記録部１４に記録されている動画像データをそのままで再生させる設定がある。

ユーザが操作部材を操作して動画記録部１４に記録された動画像データに基づく動画像の再生指示を行なうと、動画記録部１４に記録された動画像データは、動画復号化処理部１２によって復号化処理が実施される。

このとき、露出制御部２０は、ユーザによる動画像の再生指示に基づき、露出記録部２２からフレーム番号及びゲイン値を読み出す。画像処理部８は、復号化処理が施された動画像データに基づく動画像を、ユーザにより設定された露出応答速度に基づく明るさでディスプレイ部１６に再生させる。例えば、露出応答速度の設定が常に適正露出にする設定の場合、画像処理部８は、露出制御部２０によって読み出されたフレーム番号に該当するフレーム画像に対し、フレーム番号に関連付けられたゲイン値によるゲイン処理を行ない、各フレーム画像を適正露出に変更する。そして適正露出に変更されたフレーム画像を含む動画像はディスプレイ部１６において再生される。

また、露出応答速度の設定が動画撮影時での露出を変化させない設定の場合、復号化処理が実施された動画像データに基づく動画像は、ゲイン処理が行なわれずにディスプレイ部１６において再生される。

この第１の実施の形態においては、動画撮影時にゲイン値の変化が所定の閾値を超えたフレーム画像のフレーム番号と、そのフレーム画像を適正露出にするゲイン値とを関連付けて記録し、動画再生時に適正露出にする設定がなされているときに記録されているフレーム番号のフレーム画像に対しゲイン処理を行なうので、ユーザの意図した明るさの動画像を再生することができる。

次に第２の実施の形態について説明する。図３は第２の実施の形態に係るデジタルカメラ２のシステム構成を示すブロック図である。なお第２の実施の形態の説明においては第１の実施の形態の構成と同一の構成には同一の符号を付して異なる部分について説明を行なう。

図３に示すようにデジタルカメラ２は、メイン撮像素子部４からの撮像信号及びサブ撮像素子部６から測光結果に基づいてフレーム画像に含まれるオブジェクトを認識するオブジェクト認識部２４を備える。

オブジェクト認識部２４は、動画撮影時に認識した各オブジェクトの位置等の情報を画像処理部８及び露出算出部１８に送る。これにより画像処理部８によって生成されたフレーム画像には、オブジェクト認識部２４により認識されたオブジェクトの情報が付加される。そしてフレーム画像は動画符号化処理部１０で符号化処理が行なわれて動画記録部１４に記録される。従って動画記録部１４には、各フレーム画像にオブジェクトの情報が関連付けられた動画像データが記録される。

また、露出算出部１８は、画像処理部８によるフレーム画像生成時に、サブ撮像素子部６からの出力信号に基づいてフレーム画像の輝度を検出し、そのフレーム画像の輝度に基づいてフレーム画像が適正露出となるためのゲイン値を算出する。また露出算出部１８は、オブジェクト認識部２４から受け取ったオブジェクトの情報に基づいて各オブジェクトの位置を認識し、サブ撮像素子部６からの出力信号に基づいてフレーム画像に含まれる各オブジェクトの輝度を検出し、オブジェクトごとに各オブジェクトが適正露出となるためのゲイン値を算出する。

露出制御部２０は、前のフレーム画像のゲイン処理に用いたゲイン値に対する、算出されたフレーム画像のゲイン値の変化が所定の閾値を超えたか否かを判断する。露出制御部２０は、フレーム画像のゲイン値の変化が閾値を超えたと判断した場合には、このフレーム画像のフレーム番号と、算出されたフレーム画像のゲイン値を関連付けて露出記録部２２に記録させる。また露出制御部２０はオブジェクトの情報にフレーム画像のフレーム番号及びオブジェクトごとの輝度に基づき算出されたゲイン値を関連付けて露出記録部２２に記録させる。

次に動画像を再生させる場合について説明する。ユーザが操作部材を操作して動画記録部１４に記録された動画像データに基づく動画像の再生指示を行なうと、ディスプレイ部１６に動画記録部１４から読み出され、動画復号化処理部１２で復号化された動画像データの先頭のフレーム画像、そのフレーム画像に関連付けられているオブジェクトの情報に基づくオブジェクトの位置を示す枠及びオブジェクトを選択するカーソルを含むオブジェクト選択画面が表示される。従ってユーザは操作部材を操作してカーソルを何れかの枠に重なるように移動させ、カーソル位置を決定するボタンを押下するこれにより、動画再生時に明るさの基準となるオブジェクトを選択する。

動画再生時に明るさの基準となるオブジェクトの選択が行なわれると、復号化処理が実行された動画像データに基づく動画像は、ユーザにより選択されたオブジェクトが常に適正な露出となるように、画像処理部８によってゲイン処理が行なわれ、ディスプレイ部１６において再生される。即ち画像処理部８は、受け取ったフレーム番号のフレーム画像に対し、選択されたオブジェクトに関連付けられて記録されているゲイン値を用いてゲイン処理を行なう。これにより各フレーム画像は、ユーザが選択したオブジェクトが適正露出になる明るさに変更されてディスプレイ部１６において再生される。

また、露出応答速度の設定が動画撮影時の露出を変化させない設定の場合、復号化処理が実行された動画像データに基づき動画像がディスプレイ部１６において再生される。

この第２の実施の形態においては、選択されたオブジェクトが適正露出となる動画像を再生させることができる。

なお、上述の第２の実施の形態においては、オブジェクト認識部は、メイン撮像素子部４からの撮像信号及びサブ撮像素子部６からの撮像信号に基づいてオブジェクトを認識するものとして説明したが、これに限らず赤外線センサや熱源センサを設け、そのセンサからの情報を更に用いてオブジェクトを認識してもよい。このようにすればより高い精度でオブジェクトを認識することができる。

また、上述の実施の形態においては、デジタルカメラによって動画像の再生を行ったが、ＰＣ等の再生装置によって動画像の再生を行なうようにしてもよい。この場合には上述の実施の形態における露出記録部２２と同様な情報、即ち動画像データを構成するフレーム画像を適正露出にするためのフレーム画像のフレーム番号に関連付けられたそのフレーム画像を適正露出にするゲイン値を記録しておき、フレーム画像ごとにこのゲイン値を用いたゲイン処理を行ないながら動画再生を行なう。また、ＰＣにフレーム画像に含まれるオブジェクトごとに、そのオブジェクトを適正露出にするためのゲイン値をフレーム番号に関連付けて記録しておき、選択したオブジェクトに関連付けて記録されているゲイン値を用いたゲイン処理を行ないながら動画再生を行なうようにしてもよい。

２…デジタルカメラ、４…メイン撮像素子部、６…サブ撮像素子部、８…画像処理部、１０…動画符号化処理部、１２…動画復号化処理部、１４…動画記録部、１６…ディスプレイ部、１８…露出算出部、２０…露出制御部、２２…露出記録部、２４…オブジェクト認識部。

Claims

被写体光を撮像する撮像素子部と、
前記撮像素子部からの撮像信号に基づく動画像を記録する動画記録部と、
被写体光の輝度を検出する輝度センサと、
前記輝度センサにより検出された輝度に基づいて撮影中の動画像を構成するフレーム画像を適正な露出にするためのゲイン値を算出する露出算出部と、
前記露出算出部により算出されたゲイン値を用いてゲイン処理を行う画像処理部と、
前記露出算出部により算出されたゲイン値の変化が所定の閾値を超えた場合に、前記ゲイン値の更新を行わずフレーム画像の識別子に前記露出算出部により算出されたゲイン値を関連付けて記録する露出記録部と、
を備えることを特徴とする撮像装置。
前記動画像を再生するディスプレイ部と、
前記動画像の再生時における露出応答速度を選択する選択部と、
を備え、
前記選択部により、前記動画像を適正な露出で再生する前記露出応答速度が選択されている場合に、
前記ディスプレイ部により前記動画像を再生する際に、前記画像処理部は前記露出記録部に記録された前記識別子のフレーム画像に対して、前記識別子に関連付けて記録されている前記ゲイン値を用いたゲイン処理を行なうことを特徴とする請求項１に記載の撮像装置。
前記動画像に含まれる複数のオブジェクトを認識するオブジェクト認識部を備え、
前記輝度センサにより検出された、前記オブジェクトごとの輝度に基づいて、前記露出算出部は、撮影中の動画像を構成するフレーム画像に含まれるオブジェクトごとに該オブジェクトを適正な露出にするためのゲイン値を算出し、
前記露出記録部は、前記オブジェクトの情報に、フレーム画像の識別子及び前記露出算出部により算出された該オブジェクトを適正な露出にするゲイン値を関連付けて記録する請求項１に記載の撮像装置。
動画像を再生するディスプレイ部と、
前記動画像の再生時における露出応答速度を選択する選択部と、
前記動画像の再生時に明るさの基準となるオブジェクトを選択する操作部と、
を備え、
前記選択部により、前記動画像を適正な露出で再生する前記露出応答速度が選択されている場合に、
前記ディスプレイ部により前記動画像を再生する際に、前記画像処理部は、前記操作部により選択された前記オブジェクトに関連付けられた前記識別子のフレーム画像に対して、その識別子と共に前記オブジェクトに関連付けられて記憶されている前記ゲイン値を用いたゲイン処理を行なうことを特徴とする請求項３に記載の撮像装置。
動画像を再生するディスプレイ部と、
前記動画像を記録する動画記録部と、
前記動画像を構成するフレーム画像の内、該フレーム画像を適正な露出にするためのゲイン値の変化が所定の閾値を超えたフレーム画像の識別子に前記フレーム画像を適正な露出にするためのゲイン値を関連付けて記録する露出記録部と、
前記動画像の再生時における露出応答速度を選択する選択部と、
を備え、
前記選択部により、前記動画像を適正な露出で再生する前記露出応答速度が選択されている場合に、
前記ディスプレイ部により前記動画像を再生する際に、前記画像処理部は前記露出記録部に記録された前記識別子のフレーム画像に対して、前記識別子に関連付けて記録されている前記ゲイン値を用いたゲイン処理を行なうことを特徴とする再生装置。
前記動画像に含まれる複数のオブジェクトから、明るさの基準となるオブジェクトを選択する操作部を備え、
前記露出記録部は、前記オブジェクトの情報に、前記フレーム画像の識別子及び前記オブジェクトを適正な露出にするゲイン値を関連付けて記録し、
前記選択部により、前記動画像を適正な露出で再生する前記露出応答速度が選択されている場合に、
前記ディスプレイ部により前記動画像を再生する際に、前記画像処理部は、前記操作部により選択された前記オブジェクトに関連付けられた前記識別子のフレーム画像に対して、前記識別子と共に前記オブジェクトに関連付けて記憶されているゲイン値を用いたゲイン処理を行なうことを特徴とする請求項５に記載の再生装置。