JP2021072572A

JP2021072572A - 撮像装置、画像処理装置、及び、その制御方法

Info

Publication number: JP2021072572A
Application number: JP2019199106A
Authority: JP
Inventors: 将司上原; Masashi Uehara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2021-05-06
Anticipated expiration: 2039-10-31
Also published as: CN112752019B; EP3817369A3; CN112752019A; JP7410620B2; EP3817369A2; US20210136318A1

Abstract

【課題】応答性・利便性を損なうことなく画像処理パラメータを適用可能とする動画撮像装置、及び、画像処理装置を提供することを目的とする。【解決手段】撮像部と、撮像部により撮像して得られたＲＡＷ動画を記録する記録手段と、ＲＡＷ動画の画像処理パラメータを算出する算出手段と、を有し、算出手段は、ＲＡＷ動画の撮影設定に基づいて算出した第１のパラメータと、第１のパラメータに基づいて算出した第２のパラメータとを、ＲＡＷ動画の画像処理のパラメータとして算出し、記録手段は、ＲＡＷ動画と共に、第１のパラメータと第２のパラメータとを記録する、ことを特徴とする。【選択図】図１

Description

本発明は、撮像装置、画像処理装置に関するものであり、特にＲＡＷ動画を撮影する撮像装置、又は、ＲＡＷ動画を処理する画像処理装置に関するものである。

ＲＡＷ動画と呼ばれる動画を記録するＲＡＷ動画撮像装置と、撮影されたＲＡＷ動画を再生・編集するためのＲＡＷ動画再生装置が知られている。ＲＡＷ動画とは、ＣＭＯＳセンサなどで受光したデータで、画像処理を適用する前のＲＡＷと呼ばれるデータを各フレームのデータとして記録した動画である。ＭＰＥＧなどの予め画像処理が施されている動画データとは異なり、ＲＡＷ動画は各フレームに対して再生時や編集時に画像処理を適用することで、劣化の少ない編集や、再生出力に合わせた画像処理を適用することができ、より高画質なデータを取得することができる。その一方で、ＲＡＷ動画は再生時に各フレームに対して画像処理を適用する必要があるため、画像処理の設定の負荷や、画像処理負荷が大きく、また、高画質なデータで構成されているためファイルサイズも大きい。

動画に関する画像処理として一般的に、フレーム間の変化（例えば明るさなど）を抑制する処理が知られている。ＲＡＷ動画において、フレーム毎に最適な画像処理のパラメータを決定することができる。動画撮影中に撮影シーンが急激に変化し、最適な画像処理のパラメータも急激に変化した場合に、フレーム間の変化が大きい状態で再生してしまうと、ちらつきなど動画として不自然な表示となってしまう。そこで、フレーム間の画像処理パラメータの変化量が大きすぎる場合には、変化がなだらかになるような変化量を再計算した画像処理パラメータを適用することで、急激な変化を抑えた表示にすることができる。特許文献１では、動画を結合する際に、結合部分で急峻な変化となってしまう場合に、滑らかな変化となるようにパラメータを作成し、適用したうえで結合するようなことが提案されている。

特開２０１８−１５２６９９号公報

このように、動画撮像装置において撮影したＲＡＷ動画を再生する際には、ＲＡＷ動画の各フレームに対して変化量抑制処理で求めた画像処理パラメータを用いて画像処理を行うことが望ましい。しかし、ＲＡＷ動画の再生時には、処理の負荷が大きく画像処理パラメータを算出することにより処理負荷がさらに増加して応答性が低下してしまう。また、ＲＡＷ動画の途中から再生を開始する際に、再生開始する途中のフレームから変化量抑制処理を行うと、途中から再生する場合と最初から再生する場合とで、画像処理パラメータが変わってしまう。そのため、ＲＡＷ動画の途中から再生を開始する場合であっても、最初のフレームから変化量抑制処理で画像処理パラメータを算出しなければならず、さらに処理負荷が増加して応答性が低下してしまうといった課題がある。また、変化量抑制処理で算出した画像処理パラメータと、変化量抑制処理を行っていない画像処理パラメータのうち、ＲＡＷ動画の再生や切り出し処理の種類によって、必要とされる画像処理パラメータが異なる。

そこで、応答性・利便性を損なうことなく画像処理パラメータを適用可能とする動画撮像装置、及び、画像処理装置を提供することを目的とする。

上述の目的を達成するため、本発明の撮像装置は、
撮像部と、撮像部により撮像して得られたＲＡＷ動画を記録する記録手段と、
ＲＡＷ動画の画像処理パラメータを算出する算出手段と、を有し、算出手段は、ＲＡＷ動画の撮影設定に基づいて算出した第１のパラメータと、第１のパラメータに基づいて算出した第２のパラメータとを、ＲＡＷ動画の画像処理のパラメータとして算出し、記録手段は、ＲＡＷ動画と共に、第１のパラメータと第２のパラメータとを記録する、ことを特徴とする。

また、上述の目的を達成するため、本発明の画像処理装置は、
ＲＡＷ動画と、ＲＡＷ動画の撮影設定に基づいて算出される第１のパラメータと第１のパラメータに基づいて算出される第２のパラメータとを含むＲＡＷ動画の画像処理パラメータとを取得する取得手段と、第１のパラメータと第２のパラメータのうちのいずれかを選択する制御手段と、ＲＡＷ動画に対して、第１のパラメータと第２のパラメータのうち選択手段により選択されたパラメータを用いて処理を実行する処理手段と、を有することを特徴とする。

応答性・利便性を損なうことなく画像処理パラメータを適用可能とする動画撮像装置、及び、画像処理装置を提供することができる。

本発明の実施形態における画像処理システムのブロック図である。動画記録装置における理想補正量の算出処理を示すフローチャートである。動画記録装置における動画用補正量の算出処理を示すフローチャートである。動画記録装置における記録処理を示すフローチャートである。画像処理装置における再生処理を示すフローチャートである。画像処理装置における切り出し処理を示すフローチャートである。動画用補正量の算出結果の例である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる画像処理システム全体のブロック図である。

本発明の代表的な実施例について説明する。

図１は本発明の実施形態にかかわる画像処理システム全体のブロック図である。画像処理システムは動画撮像装置（１００）と、動画再生装置（２００）から構成されている。動画撮像装置（１００）は、補正量算出部（１０１）、変化量抑制処理部（１０２）、記録部（１０３）、出力部（１０４）、制御部（１０５）、撮像部（１０６）、操作部（１０７）を有している。

制御部（１０５）は、動画撮像装置１００全体を制御するための制御部で、１つ以上のプロセッサから構成される。制御部（１０５）は、不図示のプログラムメモリからプログラムを読み込み、プログラムに基づいて、各部の制御及び各種演算処理などを行う。撮像部（１０６）は、画像を撮像するための撮像素子などから構成される。操作部（１０７）は、ユーザからの操作を受け付けるためのボタンやタッチパネルなどであり、操作部（１０７）に入力されたユーザ操作は、制御部（１０５）に通知され、制御部（１０５）は、操作部（１０７）への入力に応じた処理を実行するように制御する。記録部（１０３）は、不図示のメモリカード等の記録媒体（不図示）に、各種データを記録する。出力部（１０４）は、記録部（１０３）により記録媒体に記録したデータや、撮像部（１０６）で撮影した画像データを、有線又は無線で外部装置に出力する。記録部（１０３）がデータを記録する記録媒体は、メモリカードではなく、動画撮像装置（１００）に内蔵された記録媒体であってもよい。

動画撮像装置１００は、操作部（１０７）に対して、ユーザによりＲＡＷ動画撮影開始指示が入力されたことに応じて、制御部（１０５）は、ＲＡＷ動画撮影処理を開始する。ＲＡＷ動画撮影処理では、撮像部（１０６）により撮像して得られたＲＡＷ動画について、不図示の画像処理部により圧縮処理等を施して、記録部（１０３）によりＲＡＷ動画ファイルとして記録媒体に記録する。操作部（１０７）にＲＡＷ動画撮影終了指示が入力されるまでに撮像部（１０６）により撮像されたＲＡＷ画像についてＲＡＷ動画撮影処理が実行される。つまり、ＲＡＷ動画撮影処理により、ＲＡＷ動画撮影開始指示からＲＡＷ動画撮影終了指示までに撮像部（１０６）により撮影されたＲＡＷ動画が、１つのＲＡＷ動画ファイルとして記録媒体に記録される。

本実施形態の動画撮像装置１００では、ＲＡＷ動画撮影処理において、記録部（１０３）は、ＲＡＷ動画を記録すると共に、ＲＡＷ動画を再生する際の画像処理において使用される画像処理用のパラメータを記録媒体に記録する。そのため、本実施形態の動画撮像装置１００は、さらに、画像処理用のパラメータを算出するための、補正量算出部（１０１）と、変化量抑制処理部（１０２）とを有している。なお、制御部（１０５）とは別に補正量算出部（１０１）と、変化量抑制処理部（１０２）を設けずに、制御部（１０５）内に、補正量算出部（１０１）、変化量抑制処理部（１０２）の機能を持たせるようにしてもよい。

補正量算出部（１０１）では、ＲＡＷ動画の各フレームに対する理想補正量を算出する。変化量抑制処理部（１０２）は、補正量算出部（１０１）で算出した理想補正量を用いて、フレーム間の変化量が滑らかになるような動画用補正量を算出する。ここで、また、理想補正量とは、ＲＡＷ動画のフレームに最適な補正量であり、動画用補正量とは、フレーム間の急激な変化を抑制した動画の再生に適した補正量である。そして、ＲＡＷ動画の各フレームに対して算出した理想補正量および動画用補正量を、ＲＡＷ動画の各フレームの情報としてＲＡＷ動画ファイル内に格納し、記録部（１０３）により記録媒体に記録する。なお、補正量算出部（１０１）による理想補正量の算出処理、及び、変化量抑制処理部（１０２）による動画用補正量の算出処理は、のちに詳しく説明する。

なお、上述の説明では、画像処理パラメータ（理想補正量、動画用補正量）を、ＲＡＷ動画ファイル内に記録するものとしたが、ＲＡＷ動画ファイルとは別のファイルとして記録するようにしてもよい。この場合、ＲＡＷ動画ファイルと画像処理用のパラメータのファイルとの対応関係がわかるように関連付け情報を記録し、ＲＡＷ動画ファイルを読み出す場合は、画像処理用のパラメータのファイルと共に読み出すようにするとよい。

動画再生装置（２００）は、入力部（２０１）、補正量選択部（２０２）、再生出力部（２０３）、制御部（２０４）、記憶部（２０５）、画像処理部（２０６）、操作部（２０７）を有している。

入力部（２０１）は、外部装置と有線又は無線で通信し、外部装置からデータを取得する。制御部（２０４）は、動画再生装置２００全体を制御するための制御部で、１つ以上のプロセッサから構成される。制御部（２０４）は、不図示のプログラムメモリからプログラムを読み込み、プログラムに基づいて、各部の制御及び各種演算処理などを行う。記憶部（２０５）は、入力部（２０１）を介して外部装置から取得したデータを記憶する記憶部である。画像処理部（２０６）は、記憶部２０５に記憶されている画像データ（ＲＡＷ動画）に対して各種画像処理を施す。画像処理部（２０６）が実行する画像処理は、ＲＡＷ動画の現像処理や、画像補正処理などを含む。操作部（２０７）は、ユーザからの操作を受け付けるための操作部であり、ボタン、キーボード、タッチパネル、マウス等により、ユーザ操作を受け付ける。操作部（２０７）に入力されたユーザ操作は、制御部（１０５）に通知され、制御部（２０４）は、操作部（２０７）への入力に応じた処理を実行するように制御する。再生出力部（２０３）は、ＲＡＷ動画を表示装置で再生するために、ＲＡＷ動画を表示装置に出力する。

動画再生装置（２００）での基本的な処理について説明する。まず、動画撮像装置１００で記録されたＲＡＷ動画ファイルを入力部（２０１）を介して取得し、記憶部（２０５）に記憶する。なお、動画撮像装置１００と通信することによりＲＡＷ動画ファイルを取得せずに、ＲＡＷ動画ファイルが記録された記録媒体からＲＡＷ動画ファイルを読み出すことにより、ＲＡＷ動画ファイルを取得し、記録部（２０５）に記憶するようにしてもよい。ここで、動画撮像装置１００から取得ＲＡＷ動画ファイルには、前述したように、画像処理パラメータとして各フレームの理想補正量と動画用補正量とが記録されている。記憶部（２０５）に記憶されているＲＡＷ動画の再生が、操作部（２０７）を介してユーザにより指示された場合には、制御部（２０４）は、記憶部（２０５）から処理対象のＲＡＷ動画ファイルを読み出す。画像処理部（２０６）は、再生対象のＲＡＷ動画ファイル内に含まれる画像処理用のパラメータに基づいて、ＲＡＷ動画ファイルのＲＡＷ動画の各フレームに対して画像処理を施す。そして、画像処理部（２０６）により画像処理を施したＲＡＷ動画を、再生出力部（２０３）により再生出力して、表示装置に表示させる。なお、ＲＡＷ動画を再生する際には、ユーザは操作部（２０７）への操作に応じて、ＲＡＷ動画の最初のフレームからの再生を指示することだけでなく、ＲＡＷ動画のうちのユーザが選択した任意のフレームから再生を開始させる指示を行うことも可能である。動画再生中に一時停止の指示を行ったり、選択したフレームのみを再生する指示を行ったりすることも可能である。

ここで、本実施形態においては、画像処理用のパラメータとして、理想補正量、動画用補正量という２つのパラメータを有している。そのため、本実施形態の動画再生装置（２００）は、さらに、ユーザの操作や出力形態などに応じて、理想補正量または動画用補正量のいずれを用いるかを決定する補正量選択部（２０２）を有している。なお、補正量選択部（２０２）を制御部（２０４）と別に設けずに、補正量選択部（２０２）の機能を制御部（２０４）内に設けるようにしてもよい。画像処理部（２０６）は、補正量選択部（２０２）により選択された補正量を用いて画像処理を行い、画像処理された画像が再生出力部（２０３）により再生出力される。また、ＲＡＷ動画の切り出し処理を行う場合等にも、補正量選択部（２０２）は、理想補正量または動画用補正量、あるいは、動画用補正量の再計算を行うことにより取得した補正量のうちのいずれを用いるかを選択する。そして、選択された補正量に基づいて画像処理部（２０６）により画像処理を施して画像処理を施した画像を記憶部（２０５）に記憶する、又は、選択された補正量を切り出したＲＡＷ画像に付加して記憶部（２０５）にする。

ここで、フレーム毎に算出される画像処理用のパラメータは、撮影中に変化するような様々な画像処理におけるパラメータが考えられるが、その一例として、光学的な収差である周辺光量補正の補正量がある。周辺光量補正とは、中心から周辺に向かって、レンズやセンサなどの光学的な要因により、光学的な中心から周辺にいくに従い、光量が落ちていく特性に対して、その逆特性をかけることで、光量を均一に保とうとする補正である。

次に、補正量算出部（１０１）における、理想補正量の算出処理について図２を参照して説明する。図２は、補正量算出部（１０１）が実行する理想補正量の算出処理のフローチャートである。なお、この理想補正量の算出処理は、補正量算出部（１０１）が不図示のプログラムメモリから読み出したプログラムを実行することにより実現される。また、理想補正量の算出処理は、ＲＡＷ動画撮影処理と並行して実行され、ＲＡＷ動画撮影処理において撮像部（１０６）により撮像され記録されるすべてのＲＡＷ動画のフレームに対して実行される。つまり、ＲＡＷ動画ファイルのＲＡＷ動画のすべてのフレームについて、理想補正量を算出する。

まず、補正量算出部（１０１）は、ＲＡＷ動画撮影処理において撮影された最初のフレームを、処理対象のフレームとして選択する（Ｓ２０１）、本実施形態では、ＲＡＷ動画の撮影と並行して理想補正量を算出するため、先頭フレームから順に、理想補正量の算出を行う。まず、補正量算出部（１０１）は、処理対象のフレーム、つまり、理想補正量の算出対象のとなるフレームの撮影時の撮影条件に関する撮影設定情報を取得する（Ｓ２０３）。次に、補正量算出部（１０１）は、動画撮像装置１００の撮像パラメータを取得する（Ｓ２０４）。そして、補正量算出部（１０１）は、Ｓ２０３で取得した撮影設定情報と、Ｓ２０４で取得した撮像パラメータとに基づいて、理想補正量を算出し、算出した理想補正量を処理対象のフレームとして決定する（Ｓ２０５）。処理対象のフレームの理想補正量の算出が完了すると、補正量算出部（１０１）は、記録対象となるすべてのＲＡＷ動画のフレームについて、理想補正量の算出が完了したかを判断する。全てのフレームの理想補正量の算出が完了した場合は処理を終了する。全てのフレームの理想補正量の算出が完了していない場合は、補正量算出部（１０１）は、処理対象のフレームを次のフレームに設定して（Ｓ２０２）、その後Ｓ２０３に戻り、全てのフレームの処理が完了するまで、Ｓ２０３〜Ｓ２０６の処理を繰り返す。補正量算出部（１０１）が算出してフレーム毎に設定した理想補正量は、不図示のメモリに一時記憶し、後の動画用補正量の算出処理や、画像処理用のパラメータを記録部（１０３）により記録する際に使用する。

ここで、理想補正量の算出において、周辺光量補正用の理想補正量を算出する場合は、Ｓ２０３においては、撮影時のＩＳＯ感度、撮影距離、焦点距離、絞り値等の撮影設定情報を取得し、Ｓ２０４においては、動画撮像装置１００の光学特性に関する情報、例えば、ＣＭＯＳセンサの特性、使用されたレンズの特性等を取得する。そして，Ｓ２０５では、取得した撮影設定情報、及び、光学特性に関する情報とから、周辺光量補正の理想補正量を算出する。

次に、変化量抑制処理部（１０２）における、動画用補正量の算出処理について図３を参照して説明する。図３は、変化量抑制処理部（１０２）が実行する動画用補正量の算出処理のフローチャートである。変化量抑制処理部（１０２）による動画用補正量の算出処理は、理想補正量に対してフレーム間の変化量の抑制を行った補正量を算出し、動画用補正量として設定するための処理である。なお、この動画用補正量の算出処理は、変化量抑制処理部（１０２）が不図示のプログラムメモリから読み出したプログラムを実行することにより実現される。また、動画用補正量の算出処理は、ＲＡＷ動画撮影処理と並行して実行され、ＲＡＷ動画撮影処理において撮像部（１０６）により撮像され記録されるすべてのＲＡＷ動画のフレームに対して実行される。つまり、ＲＡＷ動画ファイルのＲＡＷ動画のすべてのフレームについて、動画用補正量を算出する。本実施形態では、ＲＡＷ動画の撮影と並行して理想補正量を算出するため、先頭フレームから順に、動画用補正量の算出を行う。また、動画用補正量の算出処理では、理想補正量の算出処理で算出された理想補正量を使用するため、処理対象のフレームについての理想補正量の算出処理が完了して理想補正量が決定された後に、動画用補正量の算出処理が実行され動画用補正量が決定される。

まず、変化量抑制処理部（１０２）は、ＲＡＷ動画撮影処理において撮影された最初のフレームを処理対象（算出対象）のフレームとして選択する（Ｓ３０１）。最初のフレームが処理対象のフレームのときは前のフレームが存在しない。そのため、補正量算出部（１０１）が算出した最初のフレームの理想補正量をメモリ（不図示）から読み出し、最初のフレーム（先頭フレーム）の理想補正量を最初のフレームの動画用補正量に設定する（Ｓ３０２）。ここで設定した動画用補正量は次のフレームの動画用補正量を決定する際に使用するため、動画用補正量を保持してく。最初のフレームの処理が完了したら、次のフレームを処理対象のフレームとして選択する（Ｓ３０３）。２フレーム目以降については、まず、変化量抑制処理部（１０２）は、補正量算出部（１０１）により処理対象のフレームに設定された理想補正量をメモリから読み出して取得する（Ｓ３０４）。次に、変化量抑制処理部（１０２）は、保持しておいた前のフレームの動画用補正量と、Ｓ３０４で取得した処理対象のフレームの理想補正量の差を算出し、差が閾値（変化量抑制閾値）以上であるかを判定する（Ｓ３０５）。つまり、処理対象のフレームの理想補正量を処理対象のフレームの動画用補正量として仮に設定し、処理対象のフレームと前のフレームとの動画用補正量の差を、フレーム間の補正量の差として算出する。前のフレームの動画用補正量は、前のフレームが先頭フレームであれば先頭フレームの理想補正量となるが、それ以外であれば前のフレームにおいて算出した動画用補正量である。前のフレームにおいて算出した動画用補正量は、次のフレームの動画用補正量の算出処理に使用するため、次のフレームの動画用補正量の算出処理が完了するまで変化量抑制処理部（１０２）は保持しておく。

Ｓ３０５において、フレーム間の補正量の差が閾値（変化量抑制閾値）以上であると判定された場合には、変化量抑制処理部（１０２）は、補正量の差が小さくなるように動画用補正量を算出する（Ｓ３０６）。ここでは、前のフレームの動画用補正量と処理対象のフレームの理想補正量との差分の半分を、前のフレームの動画用補正量に加算した値を算出する。本実施形態では、前のフレームの動画用補正量と処理対象のフレームの理想補正量との差分の半分を前のフレームの動画用補正量に加算するものとしたが、半分ではなく、差分を所定の数（１以上）で割った値を用いてもよい。つまり、差分を所定の割合で減少させて前のフレームの動画用補正量に加算すればよく、差分をどの程度に減少させるかの割合については、これに限定されない。以下の説明では、この割合をゲイン係数と呼び、処理対象のフレームの動画用補正量は、以下の式で算出するものとする。
（処理対象のフレームの動画用補正量）＝（前のフレームの動画用補正量）＋（処理対象のフレームの理想補正量−前のフレームの動画用補正量）×（ゲイン係数）

また、本実施形態では、処理対象のフレームと前のフレームとの補正量の変化量を比較し、差が小さくなるように補正量を再演算する処理を行った。しかし、フレーム間の情報をもとに動画用補正量を求める処理であれば、これに限定されることはない。次に、変化量抑制処理部（１０２）は、Ｓ３０６で算出した動画用補正量を現在選択している処理対象のフレームの動画用補正量として設定する（Ｓ３０７）。

Ｓ３０５において、補正量の差が閾値（変化量抑制閾値）以上でないと判定された場合には、変化量抑制処理部（１０２）は、Ｓ３０４で取得した処理対象のフレームの理想補正量を、動画用補正量に設定する（Ｓ３０８）。

処理対象のフレームの動画用補正量を設定した後、変化量抑制処理部（１０２）は、記録対象となるすべてのＲＡＷ動画のフレームについて、動画用補正量の算出処理（動画用補正量の設定）が完了したかを判断する（Ｓ３０９）。全てのフレームの動画用補正量の算出処理が完了した場合は処理を終了する。全てのフレームの動画用補正量の算出処理が完了していない場合は、変化量抑制処理部（１０２）は、Ｓ３０３に戻って処理対象のフレームを次のフレームに設定し、全てのフレームの処理が完了するまで、Ｓ３０３〜Ｓ３０９の処理を繰り返す。変化量抑制処理部（１０２）が算出してフレーム毎に設定した動画用補正量は、不図示のメモリに一時記憶し、後に記録部（１０３）により画像処理用のパラメータを記録する際に使用する。

ここで、変化量抑制処理部における動画用補正量の算出結果の例を図７を参照して説明する。まず、先頭フレームを０とし、フレーム４まで５フレームのＲＡＷ動画があるとする。各フレームの理想補正量は、フレーム０からフレーム１までは０であり、フレーム２からフレーム４までは１００であるとする。これはフレーム１から２になるときに急激に理想補正量が変化するような撮影条件の変更があったと考えられる。また、Ｓ３０５において変化量の抑制処理を行うかを判定するための変化量抑制閾値を３０、ゲイン係数を１／２とする。まず先頭フレーム０を読み込み、理想補正量の０をそのまま動画用補正量とする（Ｓ３０１、Ｓ３０２）。次にフレーム１を読み込み、前のフレームの動画用補正量が０であり、フレーム１の理想補正量も０であり、フレーム間の補正量の差が３０（変化量抑制閾値）未満であるので、フレーム１の動画用補正量は０となる。次にフレーム２を読み込み、前のフレームの動画用補正量が０であり、フレーム２の理想補正量は１００である。フレーム間の補正量の差は１００となり、変化量抑制閾値である３０よりも大きいため、変化量を抑制した動画用補正量の算出を行う。ゲイン係数は１／２であるので、差の１００に対して１／２を乗算した５０を、前のフレームの動画用補正量の０に加算した５０が、フレーム２の動画用補正量となる。同様にフレーム３の理想補正量（１００）と、フレーム２の動画用補正量（５０）の差は５０であり、変化量抑制閾値である３０より大きいため、フレーム間の補正量の差の５０に１／２を乗算した２５をフレーム２の動画用補正量の５０に加算した７５がフレーム３の動画用補正量となる。フレーム４の理想補正量は１００であり、前のフレーム３との差分は２５であるため、変化量抑制閾値である３０よりも小さい差分となる。そのため、フレーム４の動画用補正量は、理想補正量と同じ１００を適用する。以上のように、変化量抑制処理部（１０２）における、動画用補正量の算出処理においては、各フレームの理想補正量が定まっている場合に、先頭フレームから順番に動画用補正量を算出し、各フレームに適用する動画用補正量を算出することができる。

次に、記録部（１０３）における記録処理について図４を参照して説明する。図４は、記録部（１０３）により実行される記録処理のフローチャートである。この記録処理は、制御部（１０５）が、プログラムメモリから読み出したプログラムに基づいて記録部（１０３）を制御することにより実行される。記録処理は、ＲＡＷ動画撮影処理の一部であり、ＲＡＷ動画撮影処理が開始されてことに応じて実行開始される。記録処理では、ＲＡＷ動画撮影処理において撮影したＲＡＷ動画を記録部（１０３）により記録媒体にＲＡＷ動画ファイルとして記録する処理を実行する。

まず、記録部（１０３）は、記録媒体に新規のＲＡＷ動画ファイルを作成するＲＡＷ動画ファイルの新規作成を行う（Ｓ４０１）。次に、ＲＡＷ動画撮影処理において撮影したＲＡＷ動画フレーム毎にＳ４０２〜Ｓ４０３の処理を実行する。ます、制御部（１０５）が、撮像部（１０６）により撮像して得られたＲＡＷ動画フレームを取得し、記録部（１１０３）により、Ｓ４０１で生成したＲＡＷ動画ファイルに記録する（Ｓ４０２）。なお、ＲＡＷ動画フレームについては、圧縮処理等の処理を施したものであってもよい。次に、制御部（１０５）は、Ｓ４０２で記録したＲＡＷ動画フレームに対して、補正量算出部（１０１）により設定された理想補正量と、変化量抑制処理部（１０２）で設定された動画用補正量とを取得し、記録部（１０３）により、Ｓ４０２で記録したＲＡＷ動画フレームの画像処理用のパラメータの情報として、ＲＡＷ動画ファイル内に記録する。本実施形態では、この画像処理用のパラメータは、ＲＡＷ動画ファイルのフォーマットの中のメタデータに含める形態で記録する。しかし、ＲＡＷ動画ファイルとは別のファイルに画像処理用のパラメータ（補正量）を記録するようにしてもよい。

制御部（１０５）は、ＲＡＷ動画撮影処理において撮影した全てのＲＡＷ動画のフレームについて、Ｓ４０２、Ｓ４０３の処理が完了したかを判断する（Ｓ４０４）。全てのフレームの処理が完了した場合は処理を終了する。全てのフレームの処理が完了していない場合は、Ｓ４０２に戻り、次のフレームについてＳ４０２、Ｓ４０３の処理を行い、全てのフレームの処理が完了するまで、Ｓ４０２〜Ｓ４０４の処理を繰り返す。

全フレームの記録処理が完了すると、Ｓ４０５で、記録部（１０３）は、Ｓ４０１で作成し、Ｓ４０２〜Ｓ４０４でフレームのデータを記録したＲＡＷ動画ファイルの記録完了処理を行い、ＲＡＷ動画の記録処理を終了する。

このように、本実施形態の動画撮像装置では、ＲＡＷ動画の撮影時に、ＲＡＷ動画フレームに対して、画像処理用パラメータを付加して、ＲＡＷ動画ファイルとして記録していく。そして、画像処理用パラメータとして、撮影条件、撮影パラメータに基づく理想補正量だけでなく、理想補正量に対してフレーム間の変化量の抑制を行った動画用補正量を、つまり、同じ画像処理に対して、２種類のパラメータを記録する。再生時に負荷が大きい画像処理が必要となるＲＡＷ動画において、画像処理パラメータを撮影時に予め算出し記録することで、再生時の画像処理パラメータの算出の負荷を減らすことができる。また、ＲＡＷ動画再生時に、画像処理パラメータの再演算をしなくても、理想補正量に基づいたより高画質となる画像処理と、動画用補正量に基づく滑らかに動画が再生可能な画像処理とを選択的に実行することができるようになる。

また、上記の実施形態では、理想補正量の算出処理、動画用補正量の算出処理、記録処理を個別に行うものとして説明した。しかし、フレーム毎に、理想補正量の算出処理、動画用補正量の算出処理、記録処理を一括して実行するようにしてもよい。

次に、動画再生装置（２００）におけるＲＡＷ動画ファイルの再生処理について図５を参照して説明する。動画再生装置（２００）は、前に説明したように、記憶部（２０５）にＲＡＷ動画ファイルが記憶されている。操作部（２０７）を介してユーザから記憶部（２０５）に記憶されているＲＡＷ動画の再生の指示を受け付けたことに応じて、再生処理が実行される。なお、この再生処理は、制御部（２０４）がプログラムメモリから読み出したプログラムに基づいて各部の制御や演算処理を行うことにより実現される。まず、Ｓ５０１において、制御部（２０４）は、ユーザからの再生指示が、動画の連続再生の指示ではなく、１フレームの再生の指示であるかを判定する。なお、動画再生中に停止指示があった場合には、停止指示により１フレーム分の画像が再生されるため、１フレームの再生の指示であると判定し、停止時に再生されるフレームを再生対象のフレームとする。１フレームの再生の指示であると判定された場合はＳ５０２に進み、１フレームの再生の指示でないと判定された場合はＳ５０４に進む。

Ｓ５０２では、補正量選択部（２０２）は、使用する補正量として、理想補正量を選択する。ここで、ＲＡＷ動画の複数のフレームを連続的に再生（つまり、ＲＡＷ動画を再生）せずに、１フレーム分のＲＡＷ画像を再生する場合は、変化量を抑制する必要がない。そのため、再生対象の１フレームに最適な画像処理を施すため、理想補正量を選択する。そして、Ｓ５０３において、画像処理部（２０６）では、再生対象として選択されたＲＡＷ動画のフレームに対して、現像処理、及び、選択された理想補正量を用いた画像処理を施し、処理が施された画像を、再生出力部（２０３）により再生出力する。つまり、再生対象として選択されたフレームは、理想補正量を用いた画像処理を施されて再生出力され、表示装置に表示される。

１フレームの再生指示ではない場合、Ｓ５０４において、制御部（２０４）は、ＲＡＷ動画再生指示であるかを判定する。動画再生指示であると判定した場合はＳ５０５に進み、動画再生指示でないと判定した場合はＳ５０７に進む。

Ｓ５０５では、補正量選択部（２０２）は、使用する補正量として、動画用補正量を選択する。複数のフレームを連続的に再生（つまり、ＲＡＷ動画を再生）する場合は、フレーム間における補正量の変化量が大きいと不自然な表示になってしまうため、フレーム間の補正量の変化量を抑制した動画用補正量を選択する。そして、Ｓ５０４において、画像処理部（２０６）では、再生対象となるＲＡＷ動画のフレームに対して順次、現像処理、及び、選択された動画用補正量を用いた画像処理を施し、再生出力部（２０３）により再生出力する。動画の最終フレームの再生出力を行うか、ユーザにより再生の一時停止の指示が入力するまで、各フレームに対して順次画像処理及び再生出力を施し、画像処理済みの動画が表示装置に再生表示される。

１フレーム再生指示でも動画再生指示でもない場合は、Ｓ５０７において、制御部（２０４）は、ユーザの指示に応じた他の再生処理を行う。

このように、本実施形態の動画再生装置２００では、ＲＡＷ動画ファイルを再生する場合に、ユーザからの再生指示の種類に応じて、動画再生装置２００が自動的に理想補正量を使用するか、動画用補正量を使用するかを決定する。そのため、ユーザは、複数ある画像処理パラメータのうちのいずれを使用するかの操作を行わなくても、動画再生装置２００は、再生方法に適したパラメータを自動的に選択し、再生方法に適したパラメータを用いて画像処理を行い再生することができる。

次に、動画再生装置２００において、記憶部（２０５）に記憶されているＲＡＷ動画ファイルの動画からフレームを切り出して新たなファイルとして記録する切り出し編集処理について、図６を参照して説明する。図６は、動画再生装置２００において実行される切り出し編集処理のフローチャートである。操作部（２０７）を介してユーザから記憶部（２０５）に記憶されているＲＡＷ動画の切り出し編集指示を受け付けたことに応じて、この編集処理が実行される。切り出し編集指示においては、静止画として切り出すか動画として切り出すかの設定、ＲＡＷファイルとして記録するか現像済み画像として記録するかの設定、切り出し対象のフレーム、又は、フレーム範囲の設定等の指示が含まれている。なお、この切り出し編集処理は、制御部（２０４）がプログラムメモリから読み出したプログラムに基づいて各部の制御や演算処理を行うことにより実現される。

まず、Ｓ６０１で、制御部（２０４）は、切り出し編集指示が、静止画としての切り出しであるか、動画としての切り出しであるかを判定する。静止画切り出しと判定された場合は、Ｓ６０２に進み、動画切り出しと判定された場合は、Ｓ６０８に進む。

静止画切り出しの場合、Ｓ６０２において、制御部（２０４）は、ＲＡＷ動画ファイルのＲＡＷ動画フレームの中から、ユーザにより切り出し対象として設定されたフレームを切り出す。次に、Ｓ６０３において、制御部（２０４）は、切り出したフレームを、ＲＡＷファイル（ＲＡＷ静止画ファイル）として記録するか、現像してＪＰＥＧファイルとして記録するかの設定を判定する。ＲＡＷファイルとして記録すると設定されている場合はＳ６０４に進み、現像してＪＰＥＧファイルとして記録することが設定されている場合はＳ６０６に進む。

Ｓ６０４では、制御部（２０４）は、切り出し対象のフレームのフレーム情報としてＲＡＷ動画ファイルに記録されていた画像処理パラメータのうち、理想補正量をＳ６０２で切り出したフレームの画像処理パラメータとして付加する。ここで、ＲＡＷ静止画ファイルとして記録する場合は、理想補正量を画像処理パラメータとして付加するが、動画用補正量は付加しない。Ｓ６０５では、制御部（２０４）は、Ｓ６０４で理想補正量をフレームの画像処理情報として付加したフレームを、ＲＡＷ静止画ファイルとして記憶部（２０５）に記憶する。この時、切り出したフレームや、メタデータについて、ＲＡＷ動画ファイル用の形式からＲＡＷ静止画ファイル用の形式に変換するための処理なども実行する。

Ｓ６０６では、制御部（２０４）は、Ｓ６０２で切り出したフレームに対して、そのフレームのフレーム情報としてＲＡＷ動画ファイルに記録されていた画像処理パラメータのうちの理想補正量を用いて、画像処理部（２０６）により画像処理を施す。ここでは、理想補正量を用いた画像処理だけでなく、ＲＡＷ動画フレームの現像処理も実行する。さらに、画像処理部（２０６）によりＪＰＥＧ圧縮処理を実行する。そして、Ｓ６０７において、制御部（２０４）は、Ｓ６０６において画像処理、ＪＰＥＧ圧縮処理を実行したＪＰＥＧ画像をＪＰＥＧファイルとして記憶部（２０５）に記憶する。

動画切り出しの場合、Ｓ６０８において、制御部（２０４）は、切り出し編集指示において設定された切り出し範囲のＲＡＷ動画フレームの動画用補正量の再計算を行う。Ｓ６０８における動画用補正量の再算出の処理では、図３の動画用補正量の算出処理と同様に行うが、ＲＡＷ動画フレームすべてではなく、切り出し範囲のＲＡＷ動画フレームについて図３の処理を行う。つまり、動画用補正量の再計算処理では、切り出し範囲の先頭フレームが最初のフレームとなり、切り出し範囲の先頭フレームでは、そのフレームに設定されている理想補正量が再計算による動画用補正量として設定される。そして、次のフレームから、フレーム間の補正量の差を抑制するように動画用補正量を再計算する。そのため、切り出し範囲の先頭フレームに設定されている理想補正量と動画用補正量の補正量が同じ場合は、切り出し範囲の動画用補正量の再計算結果は、ＲＡＷ動画ファイルにおいて設定されている（記録されている）動画用補正量と同じになる。そのため、切り出し範囲の先頭フレームに設定されている理想補正量と動画用補正量の補正量が同じ場合には、動画用補正量の再計算を行わず、ＲＡＷ動画ファイルに記録されている動画用補正量を、Ｓ６１１、Ｓ６１３において再計算結果の動画用補正量の代わりに用いるようにしてもよい。

次に、Ｓ６１０において、制御部（２０４）は、切り出したＲＡＷ動画フレームを、ＲＡＷファイル（ＲＡＷ動画ファイル）として記録するか、各フレームに現像処理を施してＭＰ４ファイルとして記録するかの設定を判定する。ＲＡＷファイルとして記録すると設定されている場合はＳ６１１に進み、現像してＭＰ４ファイルとして記録することが設定されている場合はＳ６１３に進む。

Ｓ６１１では、制御部（２０４）は、Ｓ６０９で切り出した切り出し範囲のＲＡＷ動画の各フレームについて、ＲＡＷ動画ファイルに記録されていた理想補正量と、Ｓ６０８で再計算した動画用補正量とを、画像処理パラメータとして付加する。このように、ＲＡＷ動画の一部の範囲を切り出してＲＡＷ動画ファイルとして記録する場合は、理想補正量および動画用補正量を付加する。ただし、動画用補正量については、ＲＡＷ動画ファイルに記録されているものではなく、切り出し範囲で新たに再計算して取得したものを付加する。Ｓ６１２では、制御部（２０４）は、Ｓ６１１で理想補正量及び動画用補正量を各フレームの画像処理パラメータとして付加した切り出し範囲のＲＡＷ動画を、ＲＡＷ動画ファイルとして記憶部（２０５）に記憶する。

Ｓ６１３では、制御部（２０４）は、Ｓ６０９で切り出した切り出し範囲のＲＡＷ動画の各フレームに対して、ＲＡＷ動画ファイルに記録されていた画像処理パラメータのうちの理想補正量を用いて、画像処理部（２０６）により画像処理を施す。ここでは、理想補正量を用いた画像処理だけでなく、ＲＡＷ動画フレームの現像処理、及び、動画用圧縮処理（ＭＰＥＧ、ＨＥＶＣ等）も実行する。そして、Ｓ６０７において、制御部（２０４）は、Ｓ６０６において現像処理、画像処理および動画用圧縮処理を実行した動画をＭＰ４ファイルとして記憶部（２０５）に記憶する。

このように、本実施形態の切り出し編集処理では、静止画切り出しか否かに応じて、画像と共に記録する、または、画像処理に用いる補正量を、理想補正量、動画用補正量（再計算した動画補正量）から選択するようにしている。そのため、静止画と動画とでそれぞれ適した補正量を選択するようにしている。本実施形態では、制御部（２０４）が、自動的に補正量を選択するようにしたが、ユーザが操作部（２０７）を介して補正量を選択した場合は、ユーザにより選択された補正量を適応するようにしてもよい。

このように、本実施形態の画像処理装置においては、ＲＡＷ動画の再生方式や、記録形式に応じて、理想補正量、動画用補正量あるいは再計算した動画補正量の中から、画像処理に使用する補正量、または、記録する補正量を自動的に選択するようにした。これにより、画像処理装置がＲＡＷ動画の使用状況に適した補正量を自動的に選択するため、ユーザは使用する（記録する）補正量を選択しなくても、ＲＡＷ動画の使用状況に適した補正量を適応させることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

上述の実施形態では、動画撮像装置と画像処理装置とか接続される画像処理システムで説明したが、この形態に限定されず、例えば、動画撮像装置に画像処理装置の機能を持たせて、動画撮像装置において再生処理、切り出し処理を実行するようにしてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims

撮像部と、
前記撮像部により撮像して得られたＲＡＷ動画を記録する記録手段と、
前記ＲＡＷ動画の画像処理パラメータを算出する算出手段と、を有し、
前記算出手段は、前記ＲＡＷ動画の撮影設定に基づいて算出した第１のパラメータと、前記第１のパラメータに基づいて算出した第２のパラメータとを、前記ＲＡＷ動画の画像処理のパラメータとして算出し、
前記記録手段は、前記ＲＡＷ動画と共に、前記第１のパラメータと前記第２のパラメータとを記録する、
ことを特徴とする撮像装置。
前記算出手段は、前記第１のパラメータに基づいて、前記ＲＡＷ動画のフレーム間におけるパラメータの変化量が小さくなるように前記第２のパラメータを算出することを特徴とする請求項１に記載の撮像装置。
前記算出手段は、前記ＲＡＷ動画のフレーム間におけるパラメータの変化量が所定の閾値よりも大きい場合には、前記フレーム間におけるパラメータの変化量が小さくなるように前記第２のパラメータを算出することを特徴とする請求項１または２に記載の撮像装置。
前記算出手段は、算出対象のフレームの前記第１のパラメータと、前記算出対象のフレームの前のフレームの前記第２のパラメータとの差を、所定の割合に減少させた値を、前記算出対象のフレームの前のフレームの前記第２のパラメータに加算することにより、前記算出対象のフレームの前記第２のパラメータを算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記記録手段は、前記ＲＡＷ動画と前記第１のパラメータ及び前記第２のパラメータとを、１つのファイルとして記録することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記記録手段は、前記第１のパラメータ及び前記第２のパラメータを、前記ＲＡＷ動画が記録されるファイルとは異なるファイルとして記録することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記算出手段は、前記ＲＡＷ動画の各フレームについて、前記第１のパラメータ及び前記第２のパラメータを算出し、
前記記録手段は、前記ＲＡＷ動画の各フレームの前記第１のパラメータ及び前記第２のパラメータを記録することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記画像処理パラメータは、周辺光量補正用のパラメータであることを特徴とする請求項請求項１乃至７のいずれか１項に記載の撮像装置。
前記算出手段は、前記ＲＡＷ動画を撮影する際のＩＳＯ感度の設定、及び、撮像装置の光学特性に関する情報に基づいて前記第１のパラメータを算出することを特徴とする請求項８に記載の撮像装置。
ＲＡＷ動画と、前記ＲＡＷ動画の撮影設定に基づいて算出される第１のパラメータと前記第１のパラメータに基づいて算出される第２のパラメータとを含む前記ＲＡＷ動画の画像処理パラメータとを取得する取得手段と、
前記第１のパラメータと前記第２のパラメータのうちのいずれかを選択する制御手段と、
前記ＲＡＷ動画に対して、前記第１のパラメータと前記第２のパラメータのうち前記選択手段により選択されたパラメータを用いて処理を実行する処理手段と、を有することを特徴とする画像処理装置。
ＲＡＷ動画を動画再生する場合には、
前記制御手段は、前記第２のパラメータを選択し、
前記処理手段は、前記ＲＡＷ動画に対して前記第２のパラメータを用いた画像処理を施す、
ことを特徴とする請求項１０に記載の画像処理装置。
前記動画再生とは、ＲＡＷ動画の複数のフレームの連続的な再生であることを特徴とする請求項１１に記載の画像処理装置。
ＲＡＷ動画のうちの１フレームを再生する場合には、
前記制御手段は、前記第１のパラメータを選択し、
前記処理手段は、前記ＲＡＷ動画のうちの１フレームに対して前記第１のパラメータを用いた画像処理を施す、
ことを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
前記ＲＡＷ動画から１つのフレームを切り出す場合には、
前記制御手段は、前記第１のパラメータを選択し、
前記処理手段は、前記ＲＡＷ動画から前記１つのフレームを切り出し、当該切り出したフレームに前記第１のパラメータを付加して記録する、
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
前記ＲＡＷ動画から複数の連続するフレームをＲＡＷ動画として切り出す場合には、
前記制御手段は、前記第１のパラメータ及び前記第２のパラメータを選択し、
前記処理手段は、前記ＲＡＷ動画から前記複数の連続するフレームを切り出し、当該切り出したフレームに前記第１のパラメータ及び前記第２のパラメータを付加して記録する、
ことを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理装置。
前記処理手段は、切り出されるフレームのうちの先頭フレームにおける前記第１のパラメータと前記第２のパラメータが異なる場合、前記第２のパラメータを再算出し、前記第１のパラメータ及び前記再算出された第２のパラメータを、前記切り出したフレームに付加して記録する、
ことを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理装置。
撮像部を有する撮像装置の制御方法であって、
前記撮像部により撮像して得られたＲＡＷ動画を記録する記録工程と、
前記ＲＡＷ動画の画像処理パラメータを算出する算出工程と、を有し、
前記算出工程では、前記ＲＡＷ動画の撮影設定に基づいて算出した第１のパラメータと、前記第１のパラメータに基づいて算出した第２のパラメータとを、前記ＲＡＷ動画の画像処理のパラメータとして算出し、
前記記録工程では、前記ＲＡＷ動画と共に、前記第１のパラメータと前記第２のパラメータとを記録する、
ことを特徴とする撮像装置の制御方法。
ＲＡＷ動画と、前記ＲＡＷ動画の撮影設定に基づいて算出される第１のパラメータと前記第１のパラメータに基づいて算出される第２のパラメータとを含む前記ＲＡＷ動画の画像処理パラメータとを取得する取得工程と、
前記第１のパラメータと前記第２のパラメータのうちのいずれかを選択する制御手段と、
前記ＲＡＷ動画に対して、前記第１のパラメータと前記第２のパラメータのうち前記選択手段により選択されたパラメータを用いて処理を実行する処理工程と、
を有することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１０乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。