JP2018152699A - デジタルカメラ - Google Patents

Abstract

【課題】複数のＲａｗ動画を結合編集したＲａｗ動画の結合部分の急峻なシーンチェンジを抑え、動画としての品位の低下を防ぐことができる、デジタルカメラを提供する。
【解決手段】デジタルカメラは、所定のフレームを現像、再生する際に、フレーム以前の直近で記録されている第１の現像パラメータとその直後に結合されたＲａｗ動画に含まれる第２の現像パラメータを取得し、第１の現像パラメータと第２の現像パラメータの補完処理から第３の現像パラメータを生成し、あらかじめ関連付けて記録されていた現像パラメータと置き換えて、第３の現像パラメータを用いて、現像、再生する。
【選択図】図５

Description

本発明は、デジタルカメラに関する。

近年、デジタルカメラやデジタルビデオカメラが広く普及し、動画撮影を行う機会が増えている。それに伴い、動画サイズの高精細化や高画質化が求められている。その一方で、撮影した動画像を素材とした編集も一般的に行われるようになってきた。さらに、動画像の編集用の素材としてＲａｗ形式の動画を記録するカメラが登場している。

Ｒａｗ形式で記録された動画を記録するにあたっては、Ｒａｗ画像フレームとそれを再生するための現像パラメータを併せて記録することが求められる。そこで、Ｒａｗ画像フレームと現像パラメータの記録、再生方法に関する技術が提案されている（特許文献１、２参照）。

特開２００９−５５３３５号公報 特許第５６０３６４１

動画の編集では、複数の動画を結合し、シーンチェンジを伴う一連の動画として再生することが求められている。そのため、Ｒａｗ動画(=Ｒａｗ画像フレームと現像パラメータを含む動画)でも同様な編集が実現できることが望まれている。
しがしながら、結合されたＲａｗ動画を個別の現像パラメータに応じて単純に再生することを繰り返すだけでは、結合部分につながりがなく、唐突感から動画としての品位が低下してしまう恐れがある。

上記課題を解決する為に本発明のデジタルカメラは、複数のＲａｗ動画を結合して作成された結合Ｒａｗ動画を現像、再生するデジタルカメラにおいて、
所定のフレームを現像、再生する際に、当該フレーム以前の直近で記録されている第１の現像パラメータと
その直後に結合されたＲａｗ動画に含まれる第２の現像パラメータを取得し、
第1の現像パラメータと第2の現像パラメータの補完処理から第3の現像パラメータを生成し、あらかじめ関連付けて記録されていた現像パラメータと置き換えて、
第3の現像パラメータを用いて、現像、再生することを特徴としている。

本発明では、Ｒａｗ動画の結合など動画編集で作成されるＲａｗ動画を再生した際の品位の劣化を防ぐ。

本発明のデジタルカメラの構成を示す図である 本発明の実施例１のＲａｗ動画記録時のフローチャートである。 本発明の実施例１で記録されるＲａｗ動画の構成を示す図である。 本発明の実施例１で記録されたＲａｗ動画を再生する際の現像パラメータの補完処理を示す図である。 本発明の実施例１のＲａｗ動画再生時のフローチャートである。 本発明の実施例１の結合されたＲａｗ動画を再生する際の現像パラメータの補完処理を示す図である。 本発明の実施例１のＲａｗ動画再生時のフローチャートである。 本発明の実施例１の結合されたＲａｗ動画を再生する際の現像パラメータの補完処理を示す図である。

［実施例１］
図１は、本発明の実施例であるデジタルカメラ１００の構成を示す図である。１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１１は撮影レンズ、１２は絞り機能を備えるシャッター、１３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、１５は撮像素子１３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。ここで変換されたディジタル信号がＲａｗ画像データである。。併せて、撮影時の情報を基に各Ｒａｗ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータの内容としては、露光設定、ホワイトバランス、色空間、コントラストなどＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。

１４は撮像素子１３、 Ａ／Ｄ変換器１５、 Ｄ／Ａ変換器２１にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、 Ａ／Ｄ変換器１５からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４１に対して制御を行い、AF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

画像処理回路２０において、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB（オートホワイトバランス）処理も行っている。さらに、画像処理回路２０においては、メモリ２５に格納された画像を読み込んでＪＰＥＧ方式やMPEG-4 AVC/H.264方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１５、タイミング発生回路１４、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。
Ａ／Ｄ変換器１５を通して生成されたＲａｗ画像データは画像処理回路２０、メモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。

２４は画像表示メモリ、２１はＤ／Ａ変換器、２３はTFT LCD等から成る表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２１を介して表示部２３に表示される。

表示部２３を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。２５は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御回路５０の作業領域としても使用することが可能である。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段である。４１は撮影レンズ１１のフォーカシングを制御する測距制御手段、４２は撮影レンズ１１のズーミングを制御するズーム制御手段、４３はバリアである保護手段１０の動作を制御するバリア制御手段である。５０は本デジタルカメラ全体を制御するシステム制御回路である。

５１は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。プログラムだけでなく、地図情報等も記録されている。６０、６１及び６２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、電源スイッチ、モード切り替えスイッチ、メニューボタン、十字キー、さらに、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

６０はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６１はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、撮像素子１３から読み出した信号をＡ／Ｄ変換器１５、メモリ制御回路２２を介してメモリ２５に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ２５から画像データを読み出し、画像処理回路２０により圧縮を行い、メモリ２５に格納した後にカードコントローラ９０を介して、外部記録媒体９１に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６２は各種ボタンやタッチパネル等からなる操作部で、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等ある。

７０は動画撮影の開始、終了を指示するための操作部材である動画撮影ボタンである。８１は電源制御手段である。８０はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。

９０はメモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。９１はメモリカード等の外部記録媒体である。

図２を用いて、本発明の実施例であるデジタルカメラ１００のＲａｗ動画を記録方法について説明する。デジタルカメラ１００の操作部６２に含まれるカメラメニュー設定ボタン等でＲａｗ動画の記録が設定され、動画撮影ボタン７０でＲａｗ動画の撮影が指示されると、ステップＳ２０１において、システム制御部５０によって撮影処理を行い、撮像素子１３、Ａ／Ｄ変換器１５を通してＲａｗ画像データを生成する。

ステップＳ２０２において、ステップＳ２０１で生成されたＲａｗ画像データを外部記録媒体９１に記録する。ステップＳ２０３において、動画撮影ボタン７０での動画停止指示等によりＲａｗ動画の撮影停止が指示されたか確認する。指示がなければ、ステップＳ２０4に進む。ステップＳ２０４では、現在撮影しているフレームが、先頭フレームか所定フレーム目かを確認する。所定フレームは例えば、３フレーム毎などあらじめ決められたフレームとする。先頭フレーム、所定フレーム目でなければ、ステップＳ２０１に戻る。

先頭フレーム、所定フレーム目であれば、ステップＳ２０５において、Ｒａｗ画像フレーム撮影時の撮影設定情報等からなる現像パラメータを生成する。ステップＳ２０６において、生成された現像パラメータを外部記録媒体９１に記録する。ステップＳ２０３において、Ｒａｗ動画の記録停止が指示されると、ステップＳ２０７，Ｓ２０８において、最後に撮影されたＲａｗ画像データに対応する現像パラメータを生成、記録し、Ｒａｗ動画の撮影を終了する。

このようなＲａｗ動画記録方法によって、例えば、図３のような構成のＲａｗ動画が記録される。図３では、２つのＲａｗ動画を示しているが、Ｒａｗ動画を構成するＲａｗ画像フレームに対して、一定のフレーム間隔で現像パラメータ（本実施形態では、ホワイトバランスとする）が関連付けられて記録される。

図４を用いて、本発明のデジタルカメラ１００において記録されたＲａｗ動画を、再生（現像）する方法について説明する。Ｒａｗ動画を再生する場合、現像パラメータが記録されていないＲａｗ画像フレームについては、直近の前後のＲａｗ画像フレームの現像パラメータを用いて補間処理を行い、適切な現像パラメータを生成する。

図４のＲａｗ動画データ１を再生するにあたっては、Ｒａｗ画像フレームＦｔ_a１及びＦｔ_a２では、実線で示すそれぞれのフレームに対応する現像パラメータＰｔ_a１及びＰｔ_a２は、上述したようにＲａｗ動画像データに記録されているので、記録されている現像パラメータにて再生を行う。Ｒａｗ画像フレームＦｔ_a１からＦｔ_a２の間のフレームでは、破線で示すようにＲａｗ画像フレームに対応する現像パラメータを補間処理によって生成する。具体的には、現像パラメータＰｔ_a１及びＰｔ_a２との差分から補間処理によって、適切な現像パラメータを生成する。他のフレームに対しても同様な処理を行うことでＲａｗ動画データ１、２はそれぞれ再生することができる。

以上、記録されたＲａｗ動画をそれぞれ個別に再生する方法について述べてきた。次に、例えば、Ｒａｗ動画データ１、２を結合編集し、１つのＲａｗ動画(図６(a))として再生する場合の方法について、図５、図６を用いて説明する。複数のＲａｗ動画を結合編集して作成されたＲａｗ動画データに対して、構成しているそれぞれのＲａｗ動画をチャプタと呼ぶこととする。図６(a)において、Ｒａｗ動画データ１はチャプタ１、Ｒａｗ動画データ２はチャプタ２となる。

ステップＳ５０１において、外部記録媒体９１に記録されているＲａｗ動画をメモリ２５に読みだす。ステップＳ５０２において、現在再生するフレームが先頭のチャプタか否か、確認する。図６(a)でＦｔ_a１からＦｔ_a４に含まれていれば、ステップS５１１に、Ｆｔ_ｂ１からＦｔ_ｂ４に含まれていれば、ステップS５０３に進む。

ステップS５１１では、現在再生するフレームがチャプタ内で最終フレームから数えて所定フレーム以内に含まれているか確認する。例えば、所定フレームを３フレームとした場合、Ｆｔ_a３の次フレームからＦｔ_a４に含まれていれば、ステップS５１２に、Ｆｔ_a１からＦｔ_a３に含まれていれば、ステップS５１３に進む。

ステップS５１３において、現在再生するフレームに該当する現像パラメータが記録さているか確認する。Ｆｔ_a１、Ｆｔ_a２、Ｆｔ_a３の各フレームであれば、それぞれ記録されている現像パラメータPｔ_a１、Pｔ_a２、Pｔ_a３を使用する(ステップS５１４)。それ以外のフレームであれば、Pｔ_a１、Pｔ_a２、Pｔ_a３を用いて直近の現像パラメータから補完処理から現像パラメータを生成する(ステップS５１５)。

ステップS５１２において、直近の現像パラメータではなく、次のチャプタの現像パラメータを用いた補完処理から現像パラメータを生成する。該当するＦｔ_a３の次フレームからＦｔ_a４については、Ｐｔ_ａ３と次のチャプタに記録されているＰｔ_ｂ２を用いた補完処理をすることとする。

これは、図６(a)にあるように２つのファイルの結合部分であるＦｔ_a４とＦｔ_ｂ１では、連続して現像パラメータが記録されている。２つのファイルは、通常別のタイミングで撮影され、撮影されたシーンに関連性がない可能性も高く、記録されたものをそのまま使用してしまうと、図6(a)からも分かる通り、現像パラメータの値が大きく異なっており、再生時の見栄えが大きく損なわれてしまう恐れがある。それを防ぐためにチャプタの結合付近では、それぞれのチャプタに記録されている現像パラメータを用いて補完処理を行うことで急峻なシーンチェンジを抑え、再生時の見栄えの品質を損なわずに済む。同様な理由からＦｔ_ｂ１とＦｔ_ｂ２の前フレームまでは、前のチャプタに記録されるＰｔ_ａ３とＰｔ_ｂ２を用いた補完処理で現像パラメータを生成する(ステップS５０４)。

ステップS５０５において、それぞれのフレームに対して決定された現像パラメータを用いて、現像を行う。ステップS５０６において、現像されたフレームを表示部２３に表示する。

ステップS５０７、S５０８において、操作部６２に含まれる操作部材により再生停止の指示や最終フレームであれば、再生を終了する。再生終了でなければ、ステップS５０９において、再生フレーム番号を更新し、ステップS５０１に戻り、再生を続行する。

以上、説明した処理により、図６（ａ）に示すＲａｗ動画を再生する場合、図６（ｂ）のような現像パラメータの補完処理が行われる。これによって、シーンチェンジを含む異なる複数のＲａｗ動画を結合編集したＲａｗ動画を再生した場合においても、急峻なシーンチェンジを抑えた見栄えが劣化しない再生を可能とする。

また、図８(a)に示すようＲａｗ画像データ３とＲａｗ画像データ４を結合した場合に、結合部分の現像パラメータに差異があまり見られない場合、図８（ｂ）のように既存の現像パラメータをそのまま用いても急峻なシーンチェンジとならないため、チャプタを跨いだ現像パラメータの補完処理は必須ではないと考える。

図７は、そのようなＲａｗ動画の結合編集を考慮したフローチャートであり、図６のフローチャートに追加して、前後のチャプタの現像パラメータの差分を確認し、現像パラメータの差分が所定値以上か確認(ステップS７０１)する。例えば、図８の現像パラメータFt_c4と現像パラメータFt_d1の差分を確認し、所定値未満であれば、図８（ｂ）のように記録されている直近の前後の現像パラメータを使用することとしても構わない。所定値以上であれば、図６と同様にチャプタを跨いだ現像パラメータの補完処理を実施する。

１００ デジタルカメラ
１１ 撮影レンズ
１２ シャッター

Claims (5)

1. 複数のＲａｗ動画を結合して作成された結合Ｒａｗ動画を現像、再生するデジタルカメラにおいて、
   所定のフレームを現像、再生する際に、当該フレーム以前の直近で記録されている第１の現像パラメータと
   その直後に結合されたＲａｗ動画に含まれる第２の現像パラメータを取得し、
   第1の現像パラメータと第2の現像パラメータの補完処理から第3の現像パラメータを生成し、あらかじめ関連付けて記録されていた現像パラメータと置き換えて、
   第3の現像パラメータを用いて、現像、再生することを特徴とするデジタルカメラ。
2. 所定のフレームとは、結合前のＲａｗ動画において最終フレームから所定フレームの期間に記録されているフレームとする請求項1に記載のデジタルカメラ。
3. 複数のＲａｗ動画を結合して作成された結合Ｒａｗ動画を現像、再生するデジタルカメラにおいて、
   所定のフレームを現像、再生する際に、当該フレーム以後の直近で記録されている第１の現像パラメータと
   その直前に結合されたＲａｗ動画に含まれる第２の現像パラメータを取得し、
   第1の現像パラメータと第2の現像パラメータの補完処理から第3の現像パラメータを生成し、あらかじめ関連付けて記録されていた現像パラメータと置き換えて、
   第3の現像パラメータを用いて、現像、再生することを特徴とするデジタルカメラ。
4. 所定のフレームとは、結合前のＲａｗ動画において先頭フレームから所定フレームの期間に記録されているフレームとする請求項３に記載のデジタルカメラ。
5. 請求項１乃至３のいずれか１項において、Rａｗ動画の結合箇所に記録されている現像パラメータの差異が所定値未満であれば、第３の現像パラメータへの置き換えを行わないことを特徴とするデジタルカメラ。