JP2017126914A - 画像処理システム - Google Patents

Abstract

【課題】ＲＡＷ動画像の現像パラメータ調整を行う場合に、ユーザに適切なＲＡＷ画像を提示することで、通信負担、調整負担を減らすことができ、ＲＡＷ画像から効率よく動画像を作成することができる画像処理システムを提供する。【解決手段】撮像装置は通信手段を通じて代表ＲＡＷ画像を画像調整装置に送信し、画像調整装置は第二の算出手段において受信した代表ＲＡＷ画像の現像パラメータを算出して、撮像装置に現像パラメータを送信し、撮像装置は第一の算出手段において受信した現像パラメータからＲＡＷ動画像データの各フレームの現像パラメータを算出し、第一の現像手段において各フレームの現像パラメータを用いてＲＡＷ動画像データの現像処理を行うことを特徴とする。【選択図】図３

Description

本発明は、ＲＡＷ動画像データを現像する画像処理システムに関する。

デジタルカメラなどの撮像装置で撮影されたＲＡＷ画像データを、パーソナルコンピュータやネットワークなど撮像装置以外のＲＡＷ現像装置に転送し、ユーザが現像パラメータの調整を行いながらＲＡＷ現像処理をする機能がある。このようなＲＡＷ現像処理は撮影後にホワイトバランスや露光設定などの現像パラメータを調整できるため、ユーザはより自分の嗜好にあった画像を得ることができる。

近年はＲＡＷ現像処理を静止画だけでなく、動画像にも利用することが提案されている。動画像のＲＡＷ現像処理は、静止画と異なり、取り扱うＲＡＷ画像のフレーム数が非常に多くなる。そのため、全フレームのＲＡＷ画像に対して現像パラメータを調整することはユーザの負担が大きくなる。また、特に外部機器で現像パラメータ調整を行う場合は静止画よりも多くのＲＡＷ画像データを転送するため、転送量が非常に大きくなる。

このような課題を解決する技術として、特許文献１や特許文献２が開示されている。特許文献１には、ユーザがＲＡＷ動画像データを効率よく利用するための手法が提案されている。動画像の変化点にのみ現像パラメータを付加してＲＡＷ画像を記録することで直感的なパラメータ調整を可能にすることや、縮小したＲＡＷ画像や中間現像画像を用いることで高速な現像処理を行うことでユーザの負担を減らしている。

また、特許文献２は撮像装置で取得したＲＡＷ画像を外部現像装置に送信して、ＲＡＷ動画像を作成する。ＲＡＷ画像送信時の通信負荷を抑えるため、現像に必要な参照画像や参照情報を予め決められた検出条件を満たすフレームにのみ付加して記録する。

特許第４８３１０１７号公報 特開２０１１−２４４４２３号公報

しかしながら、特許文献１は、ユーザの負担を減らすことはできるが、通信負荷を抑えることができない。縮小ＲＡＷ画像を作成して通信負荷も多少抑えることも可能であるが、ＲＡＷ動画像において全てフレームのＲＡＷ画像を送信すると転送量は大きくなる。

また、特許文献２は、大量のＲＡＷ画像を転送する際の通信負荷を抑えることが可能である。しかし、ユーザがＲＡＷ動画像に対して追加調整を行う場合、どのフレームのＲＡＷ画像を調整すればよいのかがわからず、ユーザの負担が大きくなる。

そこで、本発明は、上記の問題点に鑑み、ＲＡＷ動画像データを効率よく現像するための通信負荷とユーザ負荷の両方を低減することを目的とする。

上述の目的を達成するために、本発明に係る画像処理システムは、
複数枚のＲＡＷ画像フレームから構成されるＲＡＷ動画像データを取得する取得手段と、
前記ＲＡＷ動画像データ中のシーン切り替わりフレームを判定するシーン判定手段と、
前記ＲＡＷ画像と前記シーン切り替わりフレームを関連付けてＲＡＷ動画像データ中の代表ＲＡＷ画像として記録する記録手段と、
前記ＲＡＷ画像を現像するための現像パラメータを算出する第一の算出手段と、
前記ＲＡＷ画像を現像する第一の現像手段と、
を有する撮像装置と、
前記代表ＲＡＷ画像を現像するための現像パラメータを算出する第二の算出手段、
を有する画像調整装置と
前記撮像装置と前記画像調整装置を通信する通信手段と、
を有し、
前記撮像装置は前記通信手段を通じて前記代表ＲＡＷ画像を前記画像調整装置に送信し、
前記画像調整装置は前記第二の算出手段において受信した前記代表ＲＡＷ画像の現像パラメータを算出して、前記撮像装置に現像パラメータを送信し、
前記撮像装置は前記第一の算出手段において受信した現像パラメータからＲＡＷ動画像データの各フレームの現像パラメータを算出し、前記第一の現像手段において各フレームの現像パラメータを用いてＲＡＷ動画像データの現像処理を行うことを特徴とする。

本発明に係る画像処理システムによれば、ＲＡＷ動画像の現像パラメータ調整を行う場合、ユーザに適切なＲＡＷ画像を提示することで、通信負担、調整負担を減らすことができ、ＲＡＷ画像から効率よく動画像を作成することができる。

撮像装置１００と画像調整装置１５０の構成について説明する図 実施例１における撮像装置１００のシーケンスを説明する図 実施例１における撮像装置１００と画像調整装置１５０の処理フローを説明する図 実施例１における撮像装置１００のシーン判定処理を説明する図 実施例１における画像調整装置１５０の表示処理を説明する図 実施例１における撮像装置１００の現像パラメータ算出処理を説明する図

以下、本発明を実施するための形態を図面に基づいて説明する。

図１は実施例１の画像処理システムの構成例を示す図である。

画像処理システムは撮像装置１００および画像調整装置１５０を備える。撮像装置１００および画像調整装置１５０は、ネットワークを介して互いに通信が可能である。

撮像装置１００は、内部バス１２０に対して、レンズユニット１０１、撮像素子１０２、ＡＦＥ１０３、補正信号処理部１０４、現像信号処理部１０５、シーン判定部１０６、現像パラメータ算出部１０７、表示部１０８、外部記録メモリ１０９、メモリ１１０、不揮発性メモリ１１１、システム制御部１１２、通信部１１３、操作部１１４が接続されている。内部バス１２０に接続される前記各ブロックは、内部バス１２０を介して互いにデータのやり取りを行うことが可能である。

レンズユニット１０１は、ＡＦ時のレンズ駆動や、レンズの焦点距離などの情報の取得を行う。

撮像素子１０２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。

ＡＦＥ１０３は、撮像素子１０２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

補正信号処理部１０４は、ＲＡＷ画像に対して、欠陥画素補正や、黒レベル補正などの補正処理を行う。

現像信号処理部１０５は、ＲＡＷ画像を撮像装置内でγ処理、ＹＣＣ現像、アパーチャ処理などの画質処理を行う。すなわち、現像信号処理部１０５は、撮像素子から出力されたＲＡＷ画像を現像する現像手段として機能する。現像信号処理部１０５は、高画質現像と簡易現像の機能を切り替えが可能であり、高画質現像と簡易現像を排他的に行うことができる。高画質現像は、簡易現像よりも各々の処理を高精度に行うため、簡易現像よりも高画質な現像画像の生成が可能である。また、簡易現像は、高画質現像よりも精度を落としているため、生成画像は高画質現像より低画質となるが高画質現像よりも高速かつ省電力の現像処理が可能である。そのため、簡易現像は撮影動作と並行した場合に用い、高画質現像は撮影動作中以外で高画質画像を生成する場合に用いる。

シーン判定部１０６は、後述する現像パラメータ算出部１０７で算出した評価値からシーンが切り替わるフレームを判定する。例えば、隣接フレーム間の評価値の差分が予め設定してある閾値以上になった場合、シーン切り替わりフレームであると判定することができる。また、シーン判定部１０６はシステム制御部１１２から撮像装置１００の撮影モードを取得して、取得した撮影モードが切り替わったフレームをシーン切り替わりフレームと判定してもよい。シーン判定部１０６は、シーン切り替わりフレームを特定した場合にシーン判定情報を作成する。シーン判定情報とは、判定されたフレーム番号や撮影モードなどを管理する情報である。

現像パラメータ算出部１０７は、補正信号処理部１０４の出力信号から評価値（第一の評価値）を算出する。また、現像信号処理部１０５の出力信号から評価値（第二の評価値）を算出する。第一の評価値は、露出、ホワイトバランスなどがあげられる。また、第二の評価値は、輝度、色、人物検出結果などがあげられる。現像パラメータは、前述の第一の評価値および第二の評価値に基づき算出され、ホワイトバランス、明度、露出、色相、コントラストなど画質を調整するために必要な情報である。また、現像パラメータ算出部１０７は、フレーム間の現像パラメータを補間して算出する機能も備える。

表示部１０８は、システム制御部１１２の制御に基づいて、画像やＧＵＩを構成するＧＵＩ画面などを表示する。

外部記録メモリ１０９は、メモリカードなどの記録媒体である。

メモリ１１０は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）で構成される。

不揮発性メモリ１１１は、例えばハードディスク（ＨＤＤ）やＲＯＭなどで構成される。不揮発性メモリ１１１には、画像データや音声データ、その他のデータ、システム制御部１１２が動作するための各種プログラムなどが格納される。

システム制御部１１２は、例えば不揮発性メモリ１１１に格納されるプログラムに従い、メモリ１１０をワークメモリとして用いて、内部バス１２０を介して撮像装置１００の各部を制御する。

通信部１１３は、外部機器と通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

操作部１１４は、ユーザ操作を受け付けるための入力デバイスである。

画像調整装置１５０は、内部バス１７０に対して、現像パラメータ算出部１５１、通信部１５２、表示部１５３、操作部１５４、現像信号処理部１５５が接続されている。内部バス１７０に接続される前記各ブロックは、内部バス１７０を介して互いにデータのやり取りを行うことが可能である。

現像パラメータ算出部１５１は、通信部１５２を通じて取得したＲＡＷ画像に対して、表示部１５３、操作部１５４で調整した結果の現像パラメータを算出する。現像パラメータの初期値設定方法としてはいくつかある。現像パラメータ算出部１０７で算出した現像パラメータを撮像装置１００から受信して初期値としてもよい。また、現像パラメータ算出１５１で受信したＲＡＷ画像から評価値を算出し、算出した評価値から初期現像パラメータを算出してもよい。

通信部１５２は、通信部１１３と同様に外部機器などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

本実施例では撮像装置１００と画像調整装置１５０間のデータ送受信は、通信部１１３と通信部１５２で行う。

表示部１５３は、画像やＧＵＩを構成するＧＵＩ画面などを表示する。

操作部１５４は、ユーザ操作を受け付けるための入力デバイスである。

表示部１５３と操作部１５４は、２つを組み合わせて画面表示とユーザ操作の受付を同時に行うようにしてもよい。例えば、タッチパネルのような仕組みである。タッチパネルは、表示部１５３に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

現像信号処理部１５５は、通信部１５２から受信したＲＡＷ画像を現像パラメータ算出部１５１の現像パラメータを現像する現像手段である。現像信号処理部１５５は、簡易現像機能を備える。簡易現像により、現像パラメータ算出部１５１の現像パラメータを反映した画像を表示部１５３に高速に表示させることができ、ユーザは調整した現像画像をすぐに確認することが可能である。

次に、図２と図４を用いて、撮像装置１００のＲＡＷ動画像記録時の処理フローについて説明する。

ステップＳ２０１で、システム制御部１１２は撮像素子１０２、ＡＦＥ１０３、補正信号処理部１０４を制御してＲＡＷ画像を取得する。

ステップＳ２０２で、システム制御部１１２はステップＳ２０１で取得したＲＡＷ画像を現像信号処理部１０５へ送る。図２の処理フローはＲＡＷ動画記録時で撮影動作中のため、現像信号処理部１０５は取得したＲＡＷ画像に対して簡易現像処理を行う。システム制御部１１２は補正信号処理部１０４の出力したＲＡＷ画像および現像信号処理部１０５の出力した簡易現像画像を現像パラメータ算出部１０７へ送る。現像パラメータ算出部１０７は、取得したＲＡＷ画像および簡易現像画像から評価値を算出し、算出した評価値に応じて現像パラメータを算出する。システム制御部１１２は、算出した評価値および現像パラメータをシーン判定部１０６へ送る。

ステップＳ２０３で、システム制御部１１２は、シーン判定部１０６を制御し、現フレームがシーン切り替わりフレームであるか否かを判定する。シーン切り替わりフレームであると判定された場合はステップＳ２０４へ進み、そうでない場合はステップＳ２０５へ進む。シーン判定部１０６は、受信した評価値および現像パラメータと前フレームの評価値および現像パラメータを比較し、いずれかが特定の閾値を超えている場合にシーン切り替わりフレームであると判定し、シーン判定情報を作成する。

ステップＳ２０４で、システム制御部１１２は、ステップＳ２０３で作成されたシーン判定情報とＲＡＷ画像を関連付けて、外部記録メモリ１０９に記録する。ステップＳ２０４で記録されたＲＡＷ画像を代表ＲＡＷ画像として定義する。

ステップＳ２０５で、システム制御部１１２は、ＲＡＷ画像を外部記録メモリ１０９に記録する。

ここで、ステップＳ２０３からＳ２０４またはＳ２０５に分岐する具体的な例について、図４を用いて説明する。

図４において撮影画像４０１、４０３、４０５のフレームはステップＳ２０４に進み、撮影画像４０２、４０４のフレームはステップＳ２０５に進む。撮影画像４０３は撮影画像４０２に比べて人物４０６が明確に映っており、輝度、色相、顔検出などの評価値が変化するため、シーン切り替わりフレームと判定される。また、撮影画像４０４と撮影画像４０５では、背景４０７が大きく変化しており、同様のことがいえる。一方、撮影画像４０２、４０４は前のフレームと比較しても撮影環境にあまり変化がないことから、シーン切り替わりフレームと判定されない。

ステップＳ２０６で、システム制御部１１２は、ＲＡＷ動画記録の終了指示を受けたか否かを判定する。ＲＡＷ動画記録終了指示を受けている場合はフローを終了し、終了指示を受けていない場合はステップＳ２０１へ戻る。

次に、図３、図５、図６を用いて、撮像装置１００と画像調整装置１５０のＲＡＷ動画像の現像処理フローについて説明する。

図５は図４で撮影画像４０１、４０３、４０５が代表ＲＡＷ画像として記録された場合の画像調整装置１５０の表示部１５３の表示例である。

図５の表示例は、代表ＲＡＷ画像表示領域５０１、５０２、５０３、画像調整領域５０４、画像調整用アイコン５０５、画像調整完了アイコン５０６、現像パラメータ送信アイコン５０７から構成される。

代表ＲＡＷ画像表示領域５０１、５０２、５０３は、画像調整装置１５０が受信した代表ＲＡＷ画像を現像した画像を表示する領域である。画像調整領域５０４は、代表ＲＡＷ画像表示領域５０１、５０２、５０３の中から画像調整用に選択された画像を表示する領域である。画像調整用アイコン５０５は、ホワイトバランス調整、レベル補正、露出補正、色相調整、コントラスト調整などを行うためのインターフェースである。画像調整完了アイコン５０６は、画像調整用アイコン５０５による画像調整が完了したことを通知するためのインターフェースである。現像パラメータ送信アイコン５０７は、現像パラメータ算出部１５１により算出した現像パラメータを撮像装置１００へ送信する指示をするためのインターフェースである。

ステップＳ３０１で、画像調整装置１５０は通信部１５２を介して、撮像装置１００へＲＡＷ動画像の調整開始を通知する。

ステップＳ３０２で、撮像装置１００のシステム制御部１１２は、外部記録メモリ１０９から代表ＲＡＷ画像を読み出し、通信部１１３を介して画像調整装置１５０へ送る。

ステップＳ３０３で、受信した代表ＲＡＷ画像に対して現像パラメータを調整する。ここで、具体的な方法を説明する。画像調整装置１５０は通信部１５２を介して、撮像装置１００から代表ＲＡＷ画像を受信する。画像調整装置１５０は、代表ＲＡＷ画像と現像パラメータ算出部１５１の算出した初期現像パラメータを現像信号処理部１５５へ送る。現像信号処理部１５５は、代表ＲＡＷ画像表示領域５０１〜５０３に表示されている画像のうち一つに対して初期現像パラメータで簡易現像処理を行い、画像調整領域５０４に表示する。例えば、時間軸を優先するのであれば、先頭の代表ＲＡＷ画像表示領域５０１に表示されている現像画像を画像調整領域５０４に表示する。また、ユーザは画像調整を行う画像を切り替えることも可能である。画像調整装置１５０は、ユーザ指示により代表ＲＡＷ画像表示領域５０１が選択された場合、画像調整領域５０４に代表ＲＡＷ画像表示領域５０１の画像を表示し、画像調整を行う画像を切り替える。また、代表ＲＡＷ画像表示領域５０３に対しても同様の操作で切り替えることができる。図５はユーザ指示により代表ＲＡＷ画像表示領域５０２の画像が画像調整画像として選択された状態である。

次に、画像調整装置１５０は、画像調整用アイコン５０５への指示内容を現像パラメータ算出部１５１へ送る。現像パラメータ算出部１５１は、画像調整指示に応じて現像パラメータを算出する。画像調整装置１５０は、現像パラメータ算出部１５１で算出された現像パラメータを現像信号処理部１５５へ送り、現像処理を行う。画像調整装置１５０は、現像信号処理部１５５により現像された画像を画像調整領域５０４に表示する。画像調整装置１５０は画像調整完了アイコン５０６により調整完了指示を受けた場合、現像パラメータ算出部１５１を制御し、現像パラメータを決定する。その後、画像調整装置１５０は、現像パラメータ送信アイコン５０７より現像パラメータ送信指示を受けた場合、通信部１５２を介して撮像装置１００へ現像パラメータを送信する。

ステップＳ３０４で、撮像装置１００は通信部１１３を介して、画像調整装置１５０から代表ＲＡＷ画像の現像パラメータを受信する。システム制御部１１２は、受信した代表ＲＡＷ画像の現像パラメータを現像パラメータ算出部１０７に送る。現像パラメータ算出部１０７は、図６における代表ＲＡＷ画像の現像パラメータ６０１、６０３、６０５からフレーム２、フレーム４の現像パラメータ６０２、６０４を補間処理によって算出する。図６に示す例では、現像パラメータ６０２、６０４は線形補間で算出している。なお、実際には、現像パラメータによって、適切な補間アルゴリズムで算出することが好ましい。

ステップＳ３０５で、システム制御部１１２は、受信した代表ＲＡＷ画像の現像パラメータ６０１、６０３、６０５と現像パラメータ算出部１０７で算出した現像パラメータ６０２、６０４を現像信号処理部１０５へ送る。現像信号処理部１０５は、受信した現像パラメータで各フレームのＲＡＷ画像の高画質現像処理を行う。

以上のように、本実施例によれば、通信負担を抑えながら調整に適したＲＡＷ画像をユーザに提供することで効率よくＲＡＷ動画像の現像パラメータを調整することができる。

１００ 撮像装置、１０１ レンズユニット、１０２ 撮像素子、１０３ ＡＦＥ、
１０４ 補正信号処理部、１０５ 現像信号処理部、１０６ シーン判定部、
１０７ 現像パラメータ算出部、１０８ 表示部、１０９ 外部記録メモリ、
１１０ メモリ、１１１ 不揮発性メモリ、１１２ システム制御部、１１３ 通信部、
１１４ 操作部、１２０ 内部バス、１５０ 画像調整装置、
１５１ 現像パラメータ算出部、１５２ 通信部、１５３ 表示部、１５４ 操作部、
１５５ 現像信号処理部、１７０ 内部バス

Claims (8)

1. 複数枚のＲＡＷ画像フレームから構成されるＲＡＷ動画像データを取得する取得手段と、
   前記ＲＡＷ動画像データ中のシーン切り替わりフレームを判定するシーン判定手段と、
   前記ＲＡＷ画像と前記シーン切り替わりフレームを関連付けてＲＡＷ動画像データ中の代表ＲＡＷ画像として記録する記録手段と、
   前記ＲＡＷ画像を現像するための現像パラメータを算出する第一の算出手段と、
   前記ＲＡＷ画像を現像する第一の現像手段、
   を有する撮像装置と、
   前記代表ＲＡＷ画像を現像するための現像パラメータを算出する第二の算出手段、
   を有する画像調整装置と
   前記撮像装置と前記画像調整装置を通信する通信手段と、
   を有し、
   前記撮像装置は前記通信手段を通じて前記代表ＲＡＷ画像を前記画像調整装置に送信し、
   前記画像調整装置は前記第二の算出手段において受信した前記代表ＲＡＷ画像の現像パラメータを算出して、前記撮像装置に現像パラメータを送信し、
   前記撮像装置は前記第一の算出手段において受信した現像パラメータからＲＡＷ動画像データの各フレームの現像パラメータを算出し、前記第一の現像手段において各フレームの現像パラメータを用いてＲＡＷ動画像データの現像処理を行うことを特徴とする画像処理システム。
2. 前記第一の算出手段は、前記画像調整装置より受信した現像パラメータからシーン切り替わりフレーム間の各フレームの現像パラメータを補間処理によって算出することを特徴とする請求項１に記載の画像処理システム。
3. 前記第一の現像手段は、前記ＲＡＷ画像に対して第一の現像と前記第一の現像よりも高画質な画像を生成可能な第二の現像を行うことを特徴とする請求項１に記載の画像処理システム。
4. 前記第一の現像は、前記第二の現像よりも処理負荷が低いことを特徴とする請求項３に記載の画像処理システム。
5. 前記シーン判定手段は、前記ＲＡＷ画像に基づいた評価値または前記ＲＡＷ画像を前記現像手段で現像をした画像に基づいた評価値を取得し、取得した評価値をフレーム間で比較し、評価値の差分が特定の閾値を超える場合にシーン切り替わりフレームと判定することを特徴とする請求項１に記載の画像処理システム。
6. 前記第一の現像手段は、前記シーン判定手段で評価値を取得する場合に前記ＲＡＷ画像を前記第一の現像で現像することを特徴とする請求項１、請求項３、請求項５の何れか一項に記載の画像処理システム。
7. 前記シーン判定手段は、前記撮像装置の撮影モードを取得し、撮影モードが前フレームから切り替わったフレームをシーン切り替わりフレームと判定することを特徴とする請求項１に記載の画像処理システム。
8. 前記画像調整装置は前記ＲＡＷ画像を現像する第二の現像手段を備え、前記第二の現像手段は前記第二の算出手段で算出された現像パラメータで前記ＲＡＷ画像を現像することを特徴とする請求項１に記載の画像処理システム。