JP2015103119A - 撮像装置 - Google Patents

Abstract

【課題】光の軌跡が明確に表示された画像を容易に取得する。
【解決手段】被写体光を撮像する撮像素子１２と、前記撮像素子からの撮像信号に基づく動画像の動画ファイルを記憶する動画記憶部１３と、前記動画ファイルの中から合成の対象となる複数フレームの画像データを抽出する抽出部４と、前記抽出部により抽出された複数フレームの前記画像データに輝度の明暗を強調する画像処理を行う画像処理部１６と、前記画像処理部により前記画像処理が施された複数フレームの前記画像データを合成した静止画像データを生成する合成部１６とを備える。
【選択図】図１

Description

本発明は、画像処理が施された複数の画像データを合成する撮像装置に関するものである。

従来、長秒時露光中に懐中電灯で軌跡を描き光の残像で文字や絵を撮影する手法が存在する（非特許文献１参照）。

http://web.canon.jp/technology/kids/experiment/e_01_06.html

しかしながら、上述の方法を用いた撮影を行う場合、光の軌跡を描くのに必要な時間のシャッター秒時を確保する必要があることや、想定外に明るい画像に仕上がらないよう充分に暗い場所で撮影する必要があるなど、さまざまな制約があった。このため、光の軌跡が明確に表示された画像を容易に取得することは困難であった。

本発明の目的は、光の軌跡が明確に表示された画像を容易に取得することができる撮像装置を提供することである。

本発明の撮像装置は、被写体光を撮像する撮像素子と、前記撮像素子からの撮像信号に基づく動画像の動画ファイルを記憶する動画記憶部と、前記動画ファイルの中から合成の対象となる複数フレームの画像データを抽出する抽出部と、前記抽出部により抽出された複数フレームの前記画像データに輝度の明暗を強調する画像処理を行う画像処理部と、前記画像処理部により前記画像処理が施された複数フレームの前記画像データを合成した静止画像データを生成する合成部とを備えることを特徴とする。

本発明の撮像装置によれば、光の軌跡が明確に表示された画像を容易に取得することができる。

実施の形態に係るデジタルカメラの構成を示すブロック図である。 実施の形態に係るデジタルカメラの情報記憶部に記憶されているガンマ曲線を示す図である。 実施の形態に係るデジタルカメラの処理を示すフローチャートである。 実施の形態に係るデジタルカメラを用いて合成される画像データを示す図である。 実施の形態に係るデジタルカメラを用いて合成される画像データを示す図である。

以下、図面を参照して本発明の実施の形態に係るデジタルカメラについて説明する。図１は、実施の形態に係るデジタルカメラ２の構成を示すブロック図である。デジタルカメラ２は、ＣＰＵ４を備え、ＣＰＵ４には、操作部６、ＬＣＤ表示部８の表示を制御する表示制御部１０、被写体光を撮像する撮像素子１２、撮像素子１２により撮像された動画の動画ファイル等を記憶するメモリカード１３、動画ファイルに含まれる複数フレームの画像データにガンマ補正を行い加算合成して静止画像データを生成する画像処理部１６、画像データから人物の顔を認識する顔認識部１８、動画ファイルから抽出された複数フレームの画像データを一時的に記憶する画像記憶部１９、画像処理部１６が各フレームの画像データに対してガンマ補正を行う際に参照するガンマ曲線を記憶する情報記憶部２０が接続されている。

ここで、操作部６は、電源スイッチ（図示せず）、レリーズスイッチ（図示せず）、動画撮影ボタン（図示せず）、動画ファイルの選択等を行うマルチセレクタ（図示せず）等を備えている。

また、情報記憶部２０には、図２に示すように、画像信号の入力レベルと出力レベルが一致するガンマ曲線Ａ、及び画像信号の入力レベルに対して出力レベルの輝度の明暗が強調されるガンマ曲線Ｂ〜Ｅ等が記憶されている。ここで、画像信号の入力レベルに対する出力レベルの輝度の明暗の強調度合いは、ガンマ曲線Ｂ、ガンマ曲線Ｃ、ガンマ曲線Ｄ、ガンマ曲線Ｅの順に緩やかになる。

次に、図３に示すフローチャートを参照して、実施の形態に係るデジタルカメラ２の処理について説明する。まず、ユーザにより、動画ファイルを用いて光の軌跡が描かれた静止画像を作成する軌跡画像作成モードが設定されると（ステップＳ１）、ＣＰＵ４は、「動画ファイルを指定してください」等のメッセージをＬＣＤ表示部８に表示する。

次に、ユーザがマルチセレクタの操作により、メモリカード１３に記憶されている複数の動画ファイルの中から所望の動画ファイル（例えば、花火など光の移動を撮影した動画ファイル）が選択されると、ＣＰＵ４は、「抽出するフレームの範囲を指定してください」等のメッセージをＬＣＤ表示部８に表示する（ステップＳ２）。ユーザは、選択した動画ファイルに基づく動画を再生し、ＬＣＤ表示部８で再生された動画を見ながら、例えば、再生から２秒後〜４秒後のように動画の再生時間を指定する。

次に、ＣＰＵ４は、指定された再生時間の範囲内に含まれる複数フレームの画像データを合成の対象となる対象画像データとして動画ファイルから抽出し、一旦画像記憶部１９に記憶する（ステップＳ３）。

次に、ＣＰＵ４は、「画像の背景を残しますか？」等のメッセージに続けて、「背景を残さない／背景を残す」のような選択画面をＬＣＤ表示部８に表示する（ステップＳ４）。

「背景を残さない」が選択された場合（ステップＳ４：Ｎｏ）、ＣＰＵ４は、図２に示すように、情報記憶部２０に記憶されている複数のガンマ曲線の中から、入力レベルに対する出力レベルの明暗の強調度合いが最も強いガンマ曲線Ｂを選択する（ステップＳ５）。

次に、ＣＰＵ４は、画像記憶部１９から対象画像データを読み出し、画像処理部１６により、各々の対象画像データに対してガンマ曲線Ｂを用いたガンマ補正を行う（ステップＳ６）。次に、ＣＰＵ４は、画像処理部１６により、ガンマ補正がなされた対象画像データを加算合成することにより一枚の静止画像データを生成する（ステップＳ７）。

ここで、各々の対象画像データは、ガンマ曲線Ｂを用いたガンマ補正によって、高輝度部分（例えば、花火の光の部分）の輝度が更に明るく強調され、高輝度以外の部分（例えば、背景などの部分）の輝度が更に暗く強調される。このため、これらの対象画像データを加算合成した静止画像データに基づく画像では、光の軌跡が明確に表示され、光の軌跡以外の背景が黒く潰れて表示される。

一方、「背景を残す」が選択された場合（ステップＳ４：Ｙｅｓ）、ＣＰＵ４は、「適用するガンマ曲線を選択してください。」等のメッセージに続けて、例えば、図２に示す、ガンマ曲線Ｃ、ガンマ曲線Ｄ、ガンマ曲線Ｅを示す画像を並べてＬＣＤ表示部８に表示する（ステップＳ８）。

次に、ユーザにより、所望のガンマ曲線として、例えば、ガンマ曲線Ｃが選択されると、ＣＰＵ４は、対象画像データの枚数に応じてガンマ曲線Ｃの中間部分Ｃ１（図２参照）の傾きを修正する（ステップＳ９）。具体的には、対象画像データの枚数が多い程中間部分Ｃ１の傾斜を大きく、対象画像データの枚数が少ない程中間部分Ｃ１の傾斜を小さく修正する。これにより、多くの対象画像データを加算合成したことにより背景等の輝度が上昇し、静止画像の背景等が必要以上に明るくなることを防止することができる。

次に、ＣＰＵ４は、画像記憶部１９から対象画像データを読み出し、画像処理部１６により、各々の対象画像データに対して修正後のガンマ曲線Ｃを用いたガンマ補正を行う（ステップＳ１０）。次に、ＣＰＵ４は、画像処理部１６により、ガンマ補正がなされた対象画像データを加算合成することにより一枚の静止画像データを生成する（ステップＳ７）。

この実施の形態に係るデジタルカメラ２によれば、動画ファイルから複数フレームの対象画像データを抽出してガンマ補正を行った後に、それぞれの対象画像データを加算合成して一枚の静止画像データを生成するため、光の軌跡が明確に表示された静止画像を容易に取得することができる。例えば、ユーザは、花火大会の撮影時にシャッター秒時等の制約を気にすることなく動画撮影を行った後、軌跡画像作成モードを設定することにより、手軽に花火の描く軌跡が明確に表示された静止画像を取得することができる。

また、動画ファイルのどのフレームを採用するかをユーザ自身が選択できるので、光の軌跡と関係のないフレームが静止画像データに含まれる等の失敗を防止することができる。また、画像の背景を残す場合には、適用するガンマ曲線を選択することができるため、仕上がりの明るさをユーザの好みに応じて調整することができる。

また、上述の実施の形態において、ＣＰＵ４は、画像記憶部１９から対象画像データを読み出す際に、顔認識部１８により、対象画像データから人物の顔を認識してもよい。この場合、ＣＰＵ４は、画像処理部１６により、各々の対象画像データに対してガンマ補正を行うと共に、対象画像データから認識された人物の顔の部分の輝度値を上昇させる補正を行った後、これらの対象画像データを加算合成して静止画像データを生成する。これにより、ユーザは、光の軌跡と共に人物の顔が明確に表示された画像を取得することができる。

また、上述の実施の形態において、対象画像データに含まれる各画素の平均輝度値を算出し、平均輝度値に応じてガンマ曲線Ｃの中間部分Ｃ１の傾きを修正してもよい。例えば、対象画像データに含まれる各画素の平均輝度値が高くなる程中間部分Ｃ１の傾斜を大きく修正する。これにより、対象画像データを加算合成した場合に静止画像の背景等が必要以上に明るくなることを防止することができる。なお、平均輝度値に応じた修正は、対象画像データの枚数に応じた修正に代えて行ってもよく、対象画像データの枚数に応じた修正と共に行ってもよい。

また、上述の実施の形態においては、画像記憶部１９から読み出した対象画像データに対して、一律に同一のガンマ曲線を用いたガンマ補正を行っているが、各対象画像データに適用するガンマ曲線は必ずしも同一でなくてもよい。例えば、ＣＰＵ４は、１フレーム目の対象画像データには、通常のガンマ曲線Ａを用いたガンマ補正を行い、他のフレームの対象画像データには、入力レベルに対して出力レベルの明暗が強調されるガンマ曲線（ガンマ曲線Ｂ〜Ｅ等）を用いたガンマ補正を行う。この場合、１フレーム目の対象画像データに基づく画像は、背景が明示された全体的に明るい画像となり、他のフレームの対象画像データに基づく画像は、光の軌跡以外の背景が黒く潰れた画像となる。これらを加算合成して静止画像データを生成することにより、ユーザは、光の軌跡と共に背景が表示された画像を取得することができる。

また、上述の実施の形態において、ユーザがガンマ曲線を選択した時に、どのような画像が得られるかについてのシミュレーションを行ってもよい。例えば、ＣＰＵ４は、ガンマ曲線が選択されると、各々の対象画像データのサムネイル画像データを生成する。次に、ＣＰＵ４は、画像処理部１６により、各々のサムネイル画像データに対して選択されたガンマ曲線を用いたガンマ補正を行う。次に、ＣＰＵ４は、ガンマ補正がなされたサムネイル画像データを加算合成して得られた合成画像をＬＣＤ表示部８に表示する。これにより、ユーザは、例えば、「背景を残す」を選択し、複数のガンマ曲線が候補として表示された場合において、どのガンマ曲線を選択するとどのような静止画像が得られるかを予め予測することができ、ユーザの好みに応じた諧調の静止画像を取得することができる。

また、上述の実施の形態において、複数フレームの対象画像データの中から基準となるキーフレームの対象画像データを特定し、キーフレームの対象画像データに他のフレームの対象画像データの高輝度部分を合成してもよい。例えば、ＣＰＵ４は、対象画像データを動画ファイルから抽出した場合に、図４（ａ）に示すように、１フレーム目の対象画像データをキーフレームの対象画像データと特定する。

次に、ＣＰＵ４は、キーフレームの対象画像データと２フレーム目の対象画像データとの輝度値の差分を検出する。そして、２フレーム目の対象画像データにおいて、キーフレームの対象画像データよりも輝度値が高くなる領域６０をキーフレームの対象画像データの領域６０の位置に相当する領域に加算合成する。

同様にして、ＣＰＵ４は、３フレーム目の対象画像データにおいて、キーフレームの対象画像データよりも輝度値が高くなる領域６１をキーフレームの対象画像データに加算合成する（図４（ｂ）参照）。以下、ＣＰＵ４は、全てのフレームの対象画像データについて同様の処理を繰り返し、一枚の静止画像データを生成する。

なおこの場合、キーフレームの対象画像データに加算合成される領域同士が部分的に重複する場合がある。例えば、図４（ｂ）に示すように、キーフレームの対象画像データに加算合成された領域６０と領域６１との間には重複部分６２が生じる。

この場合、ＣＰＵ４は、領域６０、及び領域６１にガンマ曲線を用いたガンマ補正を行い、ガンマ補正後の領域６０、及び領域６１をキーフレームの対象画像データに加算合成してもよい。これにより、静止画像データにおいて重複部分６２が必要以上に明るくなり、不自然な仕上がりになることを防止することができる。

また、上述の実施の形態においては、複数の対象画像データを加算合成して静止画像データを生成する場合を例に説明しているが、複数の対象画像データを加算合成して新たな動画ファイルを生成してもよい。例えば、ＣＰＵ４は、動画ファイルから複数フレームの対象画像データを抽出し、まず、図５に示すように、１フレーム目の対象画像データを新たな動画ファイルを構成する１フレーム目の新動画像データとして画像記憶部１９に記憶する。

次に、ＣＰＵ４は、画像処理部１６により、１フレーム目の対象画像データ、及び２フレーム目の対象画像データに対して、ガンマ曲線Ｂ〜Ｅの何れかを用いたガンマ補正を行なった後、ガンマ補正後の１フレーム目の対象画像データ、及びガンマ補正後の２フレーム目の対象画像データを加算合成し、２フレーム目の新動画像データとして画像記憶部１９に記憶する。

同様に、ＣＰＵ４は、画像処理部１６により、１〜３フレーム目の対象画像データに対して、ガンマ補正を行なった後、ガンマ補正後の１〜３フレーム目の対象画像データを加算合成し、３フレーム目の新動画像データとして画像記憶部１９に記憶する。

以下、ＣＰＵ４は、全フレームの対象画像データが新動画像データに加算合成されるまで同様の処理を繰り返す。次に、ＣＰＵ４は、全フレームの新動画像データを画像記憶部１９から読み出し、新動画像データから構成された新たな動画ファイルを生成してメモリカード１３に記憶する。ユーザは、新たな動画ファイルをＬＣＤ表示部８に再生表示させることにより、徐々に光の軌跡が完成されてゆく様子を閲覧することができる。

２…デジタルカメラ、４…ＣＰＵ、６…操作部、８…ＬＣＤ表示部、１２…撮像素子、１３…メモリカード、１６…画像処理部、１８…顔認識部、１９…画像記憶部、２０…情報記憶部

Claims (6)

1. 被写体光を撮像する撮像素子と、
   前記撮像素子からの撮像信号に基づく動画像の動画ファイルを記憶する動画記憶部と、
   前記動画ファイルの中から合成の対象となる複数フレームの画像データを抽出する抽出部と、
   前記抽出部により抽出された複数フレームの前記画像データに輝度の明暗を強調する画像処理を行う画像処理部と、
   前記画像処理部により前記画像処理が施された複数フレームの前記画像データを合成した静止画像データを生成する合成部と
   を備えることを特徴とする撮像装置。
2. 前記画像データを構成する画像信号の入力レベルに対して出力レベルの輝度の明暗が強調されるガンマ曲線が記憶された情報記憶部を備え、
   前記画像処理部は、前記情報記憶部に記憶された前記ガンマ曲線を参照して前記画像データに前記画像処理を行うことを特徴とする請求項１記載の撮像装置。
3. 前記画像処理部は、前記抽出部により抽出された前記画像データのフレーム数、及び前記抽出部により抽出された前記画像データの輝度値の少なくとも一つに基づいて前記画像処理を行うことを特徴とする請求項２記載の撮像装置。
4. 前記画像データから人物の顔を認識する顔認識部を備え、
   前記画像処理部は、前記画像データに含まれる前記人物の顔に相当する部分の輝度を上昇させる処理を行うことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
5. 前記抽出部により抽出された複数フレームの前記画像データから、基準となるキーフレームの画像データを特定する特定部と、
   前記キーフレームの画像データと他のフレームの画像データとの輝度値の差分を検出する検出部とを備え、
   前記合成部は、前記検出部による検出の結果、前記キーフレームの画像データよりも輝度値が高くなると判定された領域を前記キーフレームの画像データに合成することを特徴とする請求項１または２記載の撮像装置。
6. 前記合成部は、合成される前記画像データのフレーム数を累積的に加算しながら複数の前記静止画像データを生成し、累積的に加算された複数の前記静止画像データによって構成される動画ファイルを生成することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。

Images