JP2006080846A - ディジタルカメラ及び画像処理方法 - Google Patents

Abstract

【課題】 撮像後に設定される条件に基づいて、ＲＡＷデータが不揮発性記憶媒体に格納されていなくてもＲＡＷデータから出力用カラー画像を生成できるディジタルカメラ及び画像処理方法を提供する。
【解決手段】 揮発性記憶媒体と、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成し前記揮発性記憶媒体に格納する撮像手段と、前記ＲＡＷデータから出力用カラー画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定手段と、前記撮像手段によって前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記生成条件に基づいて前記出力用カラー画像を生成する画像生成手段と、前記出力用カラー画像を不揮発性記憶媒体に格納する出力手段と、を備えることを特徴とするディジタルカメラ。
【選択図】 図１

Description

本発明はディジタルカメラ及び画像処理方法に関する。

従来のディジタルカメラは、一般に次の各処理を実行してリムーバブルメモリ等の不揮発性記憶媒体にカラー画像を格納している。はじめに、カラーイメージセンサのアナログ出力信号をＡＤ変換することにより、カラーイメージセンサの各画素についてＲ、Ｇ、Ｂいずれか１チャネルの濃淡レベルを表すＲＡＷデータを生成し揮発性記憶媒体に格納する。一般にＲＡＷデータは、ディジタルカメラが対象物からディジタルデータとして取得し得る最大限の画像情報を有する。次に各画素について３チャネルの濃淡レベルを表す出力用カラー画像をＲＡＷデータから生成し揮発性記憶媒体に格納する。ＲＡＷデータから出力用カラー画像が生成される過程では、撮像前にユーザが設定する撮像条件に基づいて画素補間、濃度変換及び空間情報変換が施される。次に出力用カラー画像を圧縮し、所定のフォーマットで不揮発性記憶媒体に出力用カラー画像を格納する。このようにしてＲＡＷデータから圧縮された出力用カラー画像が生成される過程では各種の不可逆変換が施される。このため、いったん圧縮された出力用カラー画像からは、元のＲＡＷデータから生成するカラー画像と同一画質の出力用カラー画像を生成することができない。したがって、ユーザは撮像前に不適切な撮像条件を設定してしまうと、意図したとおりの画質でカラー画像を記録することができない。勿論、適切な撮像条件を設定し直してから再度撮像を行うこともできるが、完全な同一状態での再撮像は一般に不可能である。

特許文献１及び特許文献２に開示されているように、ＲＡＷデータを不揮発性記憶媒体に記録できるディジタルカメラと、パーソナルコンピュータ（ＰＣ）でＲＡＷデータからカラー画像を生成するためのアプリケーションプログラムとが知られている。しかし、ＲＡＷデータは情報量に対してデータサイズが大きいため、限られた容量の不揮発性記憶媒体にＲＡＷデータを多数記録することは非効率である。また、ＰＣを操作してＲＡＷデータからカラー画像を生成する必要があるため、ＲＡＷデータは取り扱いが煩雑である。

また、いったん不揮発性記憶媒体に格納したＲＡＷデータから撮像後に出力用カラー画像を生成するディジタルカメラも知られている。このようなディジタルカメラでは、撮像後に条件を設定してＲＡＷデータから出力用カラー画像を生成できる。しかし、いったんはＲＡＷデータを不揮発性記憶媒体に格納しなければならないため、不揮発性記憶媒体の容量が不足している状態では、このようなディジタルカメラの機能を利用することができない。

特開平１１−２６１９３３号公報 特開２０００−９６５００号公報

本発明は、上述の問題を解決するために創作されたものであって、撮像後に設定される条件に基づいて、ＲＡＷデータが不揮発性記憶媒体に格納されていなくてもＲＡＷデータから出力用カラー画像を生成できるディジタルカメラ及び画像処理方法を提供することを目的とする。

（１）上記目的を達成するためのディジタルカメラは、揮発性記憶媒体と、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成し前記揮発性記憶媒体に格納する撮像手段と、前記ＲＡＷデータから出力用カラー画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定手段と、前記撮像手段によって前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記生成条件に基づいて前記出力用カラー画像を生成する画像生成手段と、前記出力用カラー画像を不揮発性記憶媒体に格納する出力手段と、を備える。
本発明によると、撮像操作後に生成条件を設定することができる。また本発明によると、撮像操作後に設定された生成条件に基づいて、撮像手段が揮発性記憶媒体に格納したＲＡＷデータから出力用カラー画像を生成できる。このため本発明によると、撮像後に設定される条件に基づいて、ＲＡＷデータが不揮発性記憶媒体に格納されていなくてもＲＡＷデータから出力用カラー画像を生成することができる。

（２）前記ディジタルカメラは、前記生成条件の設定操作を受け付ける前に前記ＲＡＷデータから生成された表示用カラー画像を画面に表示させる表示制御手段をさらに備えてもよい。
本発明によると、ユーザは表示用カラー画像の画面表示結果に応じて生成条件を設定することができる。

（３）前記ディジタルカメラは、前記揮発性記憶媒体に格納された複数の前記ＲＡＷデータのうち、最古の前記ＲＡＷデータを削除する削除手段をさらに備えてもよい。前記表示制御手段は、前記表示用カラー画像に対応する前記ＲＡＷデータが前記揮発性記憶媒体に格納されている場合、前記設定手段が前記生成条件の設定操作を受付可能であることを示す案内表示を前記画面に表示させてもよい。
本発明によると、ユーザは不揮発性記憶媒体にＲＡＷデータが格納されていなくとも撮像操作の後にＲＡＷデータから出力用カラー画像を生成可能であるか否かを確実に判断することができる。

（４）前記ディジタルカメラは、前記揮発性記憶媒体に格納されている前記ＲＡＷデータを削除操作に応じて削除する削除手段をさらに備えてもよい。
削除操作とは、ＲＡＷデータを削除するきっかけとなるユーザの操作である。本発明によると、ＲＡＷデータを削除する時期をユーザが指定できるため、ユーザは生成条件を変更しながら満足できる結果が得られるまで繰り返し出力用カラー画像を生成することができる。

（５）前記出力手段は、前記出力用カラー画像を圧縮して前記不揮発性記憶媒体に格納してもよい。
本発明によると、不揮発性記憶媒体に格納される出力用カラー画像のデータ量を低減することができる。

（６）前記ディジタルカメラは、前記撮像操作に応じて前記ＲＡＷデータから前記出力用カラー画像を生成する第二画像生成手段と、前記第二画像生成手段が生成した前記出力用カラー画像を前記撮像操作に応じて前記不揮発性記憶媒体に圧縮して格納する第二出力手段と、をさらに備えてもよい。
本発明によると撮像操作に応じて出力用カラー画像が不揮発性記憶媒体に格納されるため、撮像操作が発生してから画像生成手段によって出力用カラー画像が生成されるまでの間の不測の事態、例えばＲＡＷデータが格納されている揮発性記憶媒体が電源ダウンによりデータを消失する事態等により、撮像した対象物を表す情報を完全に消失することを防止できる。また、本発明によると、撮像操作に応じて不揮発性記憶媒体に画像情報が格納される場合には圧縮された出力用カラー画像が格納されるため、撮像操作に応じて不揮発性記憶媒体にＲＡＷデータが格納される場合に比べて不揮発性記憶媒体の記憶容量の消費を低減することができる。

（７）前記第二画像生成手段は、前記画像生成手段より高速に前記ＲＡＷデータから前記出力用カラー画像を生成してもよい。
本発明によると、撮像操作が発生すれば短時間で出力用カラー画像が不揮発性記憶媒体に格納されるため、連続撮像間隔を短くすることができる。

（８）前記第二画像生成手段が前記生成条件を自動設定するために参照するデータに対応する前記撮像手段の画素数は、前記画像生成手段が前記生成条件を自動設定するために参照するデータに対応する前記撮像手段の画素数より少なくてもよい。
本発明によると、撮像操作に応じて出力用カラー画像を生成する場合には、生成条件を自動設定するために参照するデータに対応する撮像手段の画素数を少なくすることにより、高速で出力用カラー画像を生成することができる。また本発明によると、撮像操作の後に設定される生成条件に基づいて出力用カラー画像を生成する場合には、生成条件を自動設定するために参照するデータに対応する撮像手段の画素数を多くすることにより、より適切な生成条件を自動設定できるため、高品質な出力用カラー画像を生成することができる。

（９）前記第二画像生成手段が前記出力用カラー画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数は、前記画像生成手段が前記出力用カラー画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数より少なくてもよい。
本発明によると、撮像操作に応じて出力用カラー画像を生成する場合には、出力用カラー画像の一画素を生成するために参照するデータに対応する撮像手段の画素数を少なくすることにより、高速で出力用カラー画像を生成することができる。また本発明によると、撮像操作の後に設定される生成条件に基づいて出力用カラー画像を生成する場合には、出力用カラー画像の一画素を生成するために参照するデータに対応する撮像手段の画素数を多くすることにより、高品質な出力用カラー画像を生成することができる。

（１０）前記画像生成手段は、前記第二画像生成手段の少なくとも一部を構成する専用回路が実現する機能を実現する汎用回路を有してもよい。
本発明によると、撮像後に設定される生成条件に基づいて出力用カラー画像を生成する場合には、汎用ＭＰＵ等の汎用回路による処理が増えるため、撮像操作に応じて出力用カラー画像を生成する場合に比べ、ＲＡＷデータに応じた柔軟な画像処理が可能になる。この結果、本発明によると、撮像後に設定される生成条件に基づいて出力用カラー画像を生成する場合には、撮像操作に応じて出力用カラー画像を生成する場合に比べ、高品質な出力用カラー画像を生成することができる。

（１１）上記目的を達成するための画像処理方法は、ディジタルカメラにより出力用カラー画像を生成する画像処理方法であって、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成し揮発性記憶媒体に格納する撮像段階と、前記ＲＡＷデータから前記出力用カラー画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定段階と、前記撮像手段によって前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記生成条件に基づいて前記出力用カラー画像を生成する画像生成段階と、前記出力用カラー画像を不揮発性記憶媒体に格納する出力段階と、を含む。

尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明はプログラムの発明としても、そのプログラムを記録した記録媒体の発明としても特定することができる。

以下、複数の実施例に基づいて本発明の実施の形態を説明する。各実施例において同一の符号が付された構成要素は、その符号が付された他の実施例の構成要素と対応する。
（第一実施例）
図２は、本発明の第一実施例によるディジタルスチルカメラ（ＤＳＣ）１を示すブロック図である。図３は、ＤＳＣ１の背面図である。

イメージセンサ１４は、二次元空間に離散的に配置された光電変換素子とＣＣＤ（Charge Coupled Device）等の電荷転送素子を備えたカラー撮像素子であり、いわゆるＣＣＤカラーイメージセンサ、ＣＭＯＳカラーイメージセンサ等である。イメージセンサ１４は、レンズ１０及び絞り１２によって受光面に結像された光学像の濃淡に応じた電気信号を出力する。イメージセンサ１４は、光電変換素子毎にベイヤ配列の色フィルタを備えるため、画素毎にＲＧＢいずれか１チャネルの濃淡レベルを示す電気信号を出力する。レンズ１０はレンズコントローラ１１によって駆動され、光軸方向に往復移動する。絞り１２は、絞りコントローラ１３によって駆動され、イメージセンサ１４に入射する光量を調節する。イメージセンサ１４に電荷を蓄積する時間は、機械的なシャッタで制御してもよいし、イメージセンサ１４のゲート信号のオンオフにより電気的に制御してもよい。センサコントローラ１６は、所定のタイミングでゲート信号、シフト信号等のパルス信号をイメージセンサ１４に出力し、イメージセンサ１４を駆動する。

アナログフロントエンド（ＡＦＥ）１８は、イメージセンサ１４から出力されるアナログ電気信号に対してＡＤ変換を施してＲＡＷデータを生成する。ＲＡＷデータとは、一般に撮像素子から出力されたアナログ電気信号を単純にディジタル化したデータのことである。したがって、ＲＡＷデータは画素毎にＲＧＢいずれか１チャネルの濃淡レベルを表している。このため、ＲＡＷデータをそのまま表示してもカラー画像を表示することはできない。ただし、ＲＡＷデータは、露出補正、ホワイトバランス補正等、一般に画像形成時に施される濃度変換の一部が施されたデータであってもよい。また、ＲＡＷデータは、ガンマ補正が施されているデータであってもよいし、施されていないデータであってもよい。ＡＦＥ１８から出力されるＲＡＷデータは、ＲＡＭコントローラ３０によってＲＡＭ３２に格納される。
以上説明したレンズ１０、絞り１２、イメージセンサ１４、レンズコントローラ１１、絞りコントローラ１３、センサコントローラ１６及びＡＦＥ１８は、請求項に記載された撮像手段を構成する撮像部１５の構成要素である。

画像生成手段としての色処理部２４は、制御部３７と協働し、ＡＦＥ１８から出力されＲＡＭ３２に格納されたＲＡＷデータに対し、生成条件に基づいて画像形成処理を施す。生成条件とは、撮像操作後にＲＡＷデータから出力用カラー画像を生成するための条件である。画像形成処理は、各光電変換素子の蓄積電荷に対応するＲＡＷデータの各画素の濃淡レベルを近傍画素同士で補間し合うことによって、画素毎にＲＧＢの３チャネルの濃淡レベルを持つカラー画像を形成する処理である。一般に、注目画素を中心とするある程度広い範囲に位置する近傍画素を参照して注目画素の各チャネルの濃淡レベルを算出する方が、狭い範囲の近傍画素を参照する場合に比べて適正な濃淡レベルを算出することができる。また一般に、広い範囲の近傍画素を参照する場合、狭い範囲の近傍画素を参照する場合に比べて処理時間が長くなる。したがって、撮像直後の画像形成処理では、比較的狭い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、連続撮像間隔を短縮することができる。また、ユーザが次の撮像をする意思がない状態では、比較的広い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、高品質なカラー画像を形成することができる。

画像形成処理では、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、カラーバランス補正等の各種の濃度変換及び空間情報変換を施すことができる。例えば撮像時の手振れによりぼやけた画像に対してシャープネス補正を施せば、手振れによりぼやけた画像を鮮鋭な画像に補正することができる。風景が表された画像に対してシャープネス補正を施せば、広域に焦点が合った印象になる鮮鋭な画像に補正することができる。露出過多又は露出不足の画像に対して明るさ補正及びコントラスト補正を施せば、適正露出の画像に近づけることができる。ホワイトバランス補正は、対象物の照明環境に応じてＲＧＢのゲインを調整する処理である。人物や花が表された画像に対してカラーバランス補正を施せば、肌色を美しい色合いに補正したり、花弁をビビッドな色合いに補正することができる。

画像生成手段としての解像度変換部２６は、カラー画像の解像度を所定の解像度に変換する。具体的には例えば、解像度変換部２６は、ユーザが撮像前に設定する撮像条件やユーザが撮像後に設定する生成条件に応じた解像度にカラー画像を変換したり、ＬＣＤ３６の画面サイズに対応した解像度にカラー画像を変換する。

出力手段及び第二出力手段としての圧縮・伸張部２８は、カラー画像を圧縮し、また圧縮されたカラー画像を伸張する。圧縮方式は、可逆圧縮方式であってもよいし、不可逆圧縮方式であってもよい。具体的には例えば、ＤＣＴ、ウェーブレット変換、量子化、ハフマン符号化、ランレングス符号化等を組み合わせたＪＰＥＧ方式、ＪＰＥＧ２０００方式等を採用することができる。尚、カラー画像を圧縮せずにリムーバブルメモリ４８に格納することもできる。
以上説明した色処理部２４、解像度変換部２６及び圧縮・伸張部２８の機能は、ＡＳＩＣ、ＤＳＰ等の専用回路で実現してもよいし、制御部３７が特定のプログラムを実行することによって実現してもよい。

グラフィックコントローラ３４は、合成機能を有する表示制御回路等を備え、ＲＡＭ３２のフレームメモリ領域（後述）に格納されている表示用カラー画像を単体でＬＣＤ３６の画面に表示したり、表示用カラー画像とメニューを重ねてＬＣＤ３６の画面に表示する。
操作部４０は、レリーズボタン５０、メニュー操作等のための各種の押しボタン５２、５６、５８、６０、６２、６４、レバー５４、ジョグダイヤル６６等を備える。

外部インタフェースコントローラ４２は、ＤＳＣ１と図示しないパーソナルコンピュータ（ＰＣ）等の外部システムとを通信可能に接続する。ＰＣのハードディスクは請求項に記載の不揮発性記憶媒体に相当し得る。
出力手段としてのリムーバブルメモリコントローラ４４は、カードコネクタ４６に接続される不揮発性記憶媒体としてのリムーバブルメモリ４８にＲＡＭ３２に格納されているデータを転送する入出力機構である。

フラッシュメモリコントローラ３９は、フラッシュメモリ３８に格納されているデータをＲＡＭ３２に転送する。フラッシュメモリ３８はＣＰＵ２０が実行する画像処理プログラムを格納している不揮発性メモリである。ＤＳＣ１が作動するために必要な画像処理プログラムや各種のデータは、所定のサーバからのネットワークを介したダウンロード、リムーバブルメモリ４８からの読み出し等によってフラッシュメモリ３８に格納することもできる。

制御部３７は、ＣＰＵ２０、ＲＡＭ３２及びＲＡＭコントローラ３０を備える。ＣＰＵ２０はフラッシュメモリ３８に格納されている画像処理プログラムを実行することでＤＳＣ１の各部を制御する。ＲＡＭコントローラ３０は、ＡＦＥ１８、色処理部２４、解像度変換部２６、圧縮・伸張部２８、ＣＰＵ３０、グラフィックコントローラ３４、リムーバブルメモリコントローラ４４、フラッシュメモリコントローラ３９等と揮発性記憶媒体としてのＲＡＭ３２との間のデータ転送を制御する。

図４は、制御部３７が実行する画像処理プログラムの論理的な構成を示すブロック図である。
撮像制御モジュール７２は、レリーズボタン５０が押下されると撮像部１５と協働してＲＡＷデータを生成し、生成したＲＡＷデータをＲＡＭ３２のＲＡＷバッファ領域９０（図５参照）に格納する。

第二画像生成モジュール８０は、制御部３７を第二画像生成手段として機能させるプログラム部品であって、レリーズボタン５０が押下されてＲＡＷデータが生成された直後又は生成と平行して色処理部２４及び解像度変換部２６と協働してＲＡＷデータから出力用カラー画像を生成する。出力用カラー画像は、誤解のない文脈ではカラー画像というものとする。以後、ＲＡＷデータから出力用カラー画像を生成する処理を現像処理という。現像処理では、ＲＡＭ３２の第一ワークバッファ領域９２及び第二ワークバッファ領域９４が用いられる。具体的には例えば、画像形成後のカラー画像は第一ワークバッファ領域９２に格納される。ＲＧＢからＹＣｂＣｒ等の他の色空間に変換されたカラー画像は第二ワークバッファ領域９４に格納される。

出力モジュール８２は、制御部３７を出力手段として機能させるプログラム部品であって、圧縮・伸張部２８と協働してカラー画像を圧縮し、カラー画像を格納した所定フォーマットのファイルを生成し、生成したファイルをリムーバブルメモリコントローラ４４と協働してリムーバブルメモリ４８に格納する。不可逆圧縮方式によりカラー画像を圧縮することにより可逆圧縮方式によりカラー画像を圧縮する場合に比べて圧縮後のデータ量を低減することができる。

設定モジュール７６は、制御部３７を設定手段として機能させるプログラム部品であって、操作部４０と協働して生成条件及び撮像条件の設定操作を受け付け、設定操作に応じて生成条件及び撮像条件を設定する。第二画像生成モジュール８０及び画像生成モジュール７８は、設定モジュール７６が設定した生成条件及び撮像条件に基づいて現像処理を実行する。出力モジュール８２は、設定モジュール７６が設定した生成条件及び撮像条件の一部である圧縮条件に基づいてカラー画像を圧縮する。ＲＡＷデータに依存する生成条件及び撮像条件を設定する場合、例えばホワイトバランス補正における各チャネルのゲインを設定する場合、設定モジュール７６が生成条件を設定するアルゴリズムと撮像条件を設定するアルゴリズムは異なっていてもよい。例えば、ホワイトバランス補正における各チャネルのゲインを生成条件として設定する場合、撮像条件として設定する場合に比べてＲＡＷデータのより多くの画素をサンプリングしてもよい。

表示制御モジュール７４は、制御部３７を表示制御手段として機能させるプログラム部品であって、解像度変換部２６と協働してＬＣＤ３６の画面サイズに応じた解像度の表示用カラー画像を出力用画像データから生成し、ＲＡＭ３２のフレームメモリ領域９６に格納する。表示制御モジュール７４は、フレームメモリ領域９６に格納された表示用カラー画像をグラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示する。

画像生成モジュール７８は、制御部３７を画像生成手段として機能させるプログラム部品であって、生成条件の設定操作が受け付けられると、色処理部２４及び解像度変換部２６と協働してＲＡＷデータから出力用カラー画像を生成する。尚、画像生成モジュール７８は、第二画像生成モジュール８０とは異なるアルゴリズムでＲＡＷデータから出力用カラー画像を生成してもよい。例えば、画像生成時の画素補間を、第二画像生成モジュール８０より高品質なカラー画像を生成できるアルゴリズムで実行してもよい。また、画像生成モジュール７８は、画素補完、濃度変換、空間情報変換等の画像処理をそれ自体で完結させてもよい。すなわち、画像生成モジュール７８を実行する制御部３７単独でこれらの画像処理を実行してもよい。ＡＳＩＣ、ＤＳＰ等の専用回路で構成された色処理部２４で実行可能なこれらの画像処理をソフトウェアにより実行することにより、処理時間は増大するものの、より高い画質を低コストで達成することが可能である。逆に、撮像直後に第二画像生成モジュール８０と協働してＡＳＩＣ、ＤＳＰ等で構成された色処理部２４及び解像度変換部２６がＲＡＷデータを生成する場合には、撮像間隔を短縮することができる。
削除モジュール７０は、制御部３７を削除手段として機能させるプログラム部品であって、後述する削除操作が受け付けられると、ＲＡＭ３２のＲＡＷバッファ領域９０に格納されているＲＡＷデータを削除する。

図１は、上述した画像処理プログラムを制御部３７で実行するＤＳＣ１による画像処理方法を示すフローチャートである。図１に示す処理は、ＤＳＣ１が撮像モードに遷移すると起動し、ＤＳＣ１が撮像モードから再生モード等の他のモードに遷移するまで繰り返される。
ステップＳ１００では、制御部３７は、撮像条件に基づいてスルー画像をＬＣＤ３６の画面に表示する。撮像条件は、ユーザが予め行う設定操作に応じて設定される。スルー画像とは、イメージセンサ１４に結像される対象物を所定の時間間隔で撮像して得た動画系列である。

ステップＳ１０２、ステップＳ１０４では、制御部３７は、撮像制御モジュール７２を実行し、レリーズボタン５０が押されると、撮像部１５と協働し、撮像条件に基づいて対象物を撮像し、ＲＡＷデータを生成する。レリーズボタン５０を押す操作が請求項に記載の撮像操作に対応する。生成されたＲＡＷデータは、ＲＡＭ３２のＲＡＷバッファ領域９０に格納される。ＲＡＷデータが生成される際に使用される撮像条件は、例えば焦点位置、シャッタ速度、露出、シーンモード等である。焦点位置、露出及びシーンモードは、レンズコントローラ１１、絞りコントローラ１３等を制御する条件となる。シーンモードとは、例えば絞りを開ける人物撮像モード、絞りを絞る風景撮像モード等である。シャッタ速度は、機械的なシャッタ又は電気的なシャッタを制御する条件となる。前述したようにＲＡＷデータは、ホワイトバランス補正、ガンマ補正等が施されたデータであってもよい。

ステップＳ１０６では、制御部３７は、第二画像生成モジュール８０を実行し、色処理部２４及び解像度変換部２６と協働し、撮像条件に基づいてＲＡＷデータから表示用カラー画像及び出力用カラー画像を生成する。表示用カラー画像は、ＬＣＤ３６の画面サイズに対応した解像度の画像である。表示用カラー画像は、ＲＡＭ３２のフレームメモリ領域９６に格納される。出力用カラー画像は、第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。出力用カラー画像は撮像条件に応じた解像度の画像である。表示用カラー画像及び出力用カラー画像を生成する際に用いられる撮像条件は、例えばホワイトバランス補正、コントラスト補正、カラーバランス補正、解像度等である。

ステップＳ１０８では、制御部３７は、表示制御モジュール７４を実行し、ＬＣＤ３６の画面に表示用カラー画像を表示する。このとき、制御部３７は図６（Ａ）に示すように、所定のボタン操作で生成条件の設定を受け付けることを案内するための案内表示１１０を表示用カラー画像に重ねて表示する。ユーザは、生成条件を設定操作前に表示用カラー画像をＬＣＤ３６の画面で確認できるため、適切な生成条件を設定することができる。

ステップＳ１１０、ステップＳ１１２、ステップＳ１１４では、制御部３７は、予め決められた時間をタイマに設定し、タイマに設定した時間が経過するまでの間、案内表示１１０で案内したボタン、例えばメニューボタン５８を押す操作を待つ。その間に、メニューボタン５８が押されると、制御部３７はステップＳ１１６の処理に進み、押されなければ制御部３７はステップＳ１２４の処理に進む。

ステップＳ１１６では、制御部３７は、生成条件の設定操作を受け付けるための生成条件設定画面をＬＣＤ３６の画面に表示する。生成条件の設定操作の選択項目は、例えば、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、解像度変換、シーンモード補正、カラーバランス補正及び圧縮率に対応する生成条件を決定付ける項目である。制御部３７は、生成条件の設定操作の選択項目を階層構造のメニューで選択させてもよいし、一階層のメニューで選択させてもよい。階層構造の上位の選択項目をユーザに案内する生成条件設定画面は、例えば図６（Ｂ）に示すようなものである。

ステップＳ１１８、ステップＳ１２０では、制御部３７は、設定モジュール７６を実行し、生成条件の設定操作を待ち、設定操作が行われると設定操作に応じて生成条件を設定する。設定操作が行われなければ、制御部３７はステップＳ１２４の処理に進む。生成条件の設定操作は、例えば次のように受け付けられる。ユーザは、図６（Ｂ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、シャープネス、明るさ、コントラスト、ホワイトバランス、解像度、シーンモード、色調整及び圧縮率のいずれかの選択項目を選択する。これらの選択項目のいずれかを選択した状態で、ユーザは所定のボタン、例えば決定ボタン６２を押すことにより選択した選択項目について生成条件を決定付ける選択項目のメニューを画面に表示させる。

このメニューは、例えば図６（Ｃ）に示すようなものである。ユーザは、図６（Ｃ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、いずれかの選択項目を選択する。いずれかの選択項目を選択した状態で、ユーザが所定のボタン、例えば決定ボタン６２を押すと、制御部３７は選択された選択項目に応じた生成条件を設定し、図６（Ｂ）に示す画面を再び表示する。ただし、この段階では、ＲＡＷデータに依存する最終的な生成条件は設定されず、ただ最終的な生成条件を設定するためのパラメータが設定される。具体的には例えば、図６（Ｃ）に示す画面で「自動」が選択されている場合、ホワイトバランス補正における各チャネルのゲインがＲＡＷデータのサンプリング結果に応じて設定されることを決定付けるパラメータが設定される。そして実際にカラー画像を生成する段階で、このパラメータに基づいて各チャネルの最適なゲインが設定される。もちろん、このような場合であっても、制御部３７はこの段階でＲＡＷデータを参照して最終的な生成条件を設定してもよい。図６（Ｃ）に示した画面が表示された状態でユーザが例えばキャンセルボタン６０を押すと、制御部３７は生成条件を設定することなく、図６（Ｂ）に示す画面を再び表示する。図６（Ｂ）に示す画面が表示された状態でユーザが所定のボタン、例えば機能ボタン６４を押すと、制御部３７はステップＳ１２２の処理に進む。尚、生成条件の設定操作は、後続の処理でＲＡＷデータを削除するきっかけになるため、請求項に記載の削除操作にも相当する。

ステップＳ１２２では、制御部３７は、画像生成モジュール７８を実行し、色処理部２４及び解像度変換部２６と協働し、生成条件に基づいてＲＡＷデータから出力用カラー画像を生成する。出力用カラー画像は、第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。尚、生成条件に基づいてＲＡＷデータからカラー画像を生成する過程では、上述したとおり、撮像条件に基づいてカラー画像を生成する過程とは異なるアルゴリズムを適用してもよい。またこの過程では、撮像条件に基づいてカラー画像を生成する過程と異なる処理機構を用いてカラー画像を生成してもよい。具体的には制御部３７が単独でカラー画像を生成してもよい。

尚、制御部３７は生成条件に基づいて生成されたカラー画像をＬＣＤ３６の画面に表示し、その画面で生成条件の設定操作のやり直し操作及び設定内容の確認操作を受け付けてもよい。これにより、ユーザは満足できる画質が得られるまで繰り返し生成条件の設定操作を繰り返し、最適な生成条件に基づいてＲＡＷ画像からカラー画像を生成することができる。この場合、設定内容の確認操作が請求項に記載の削除操作に相当する。

ステップＳ１２４では、制御部３７は、出力モジュール８２を実行し、圧縮・伸張部２８と協働して撮像条件又は生成条件に基づいてカラー画像を圧縮し、リムーバブルメモリコントローラ４４と協働してリムーバブルメモリ４８にカラー画像を格納する。生成条件が設定されている場合、生成条件は撮像条件に優先して適用される。このとき制御部３７は、撮像条件又は生成条件を特定する情報等をヘッダ領域に格納し、圧縮したカラー画像をデータ領域に格納した所定フォーマットのファイル、例えばＪＰＥＧフォーマットのファイルを生成する。このようなファイルが生成されるとき、ＲＡＭ３２の第一ワークバッファ領域９２及び第二ワークバッファ領域９４が使用される。第一ワークバッファ領域９２又は第二ワークバッファ領域９４に格納されたファイルは、ＲＡＭコントローラ３０及びリムーバブルメモリコントローラ４４によってリムーバブルメモリ４８に転送される。

ステップＳ１２６では、制御部３７は、削除モジュール７０を実行し、ＲＡＭ３２のＲＡＷバッファ領域９０に格納されているＲＡＷデータを削除する。尚、制御部３７は、ＲＡＷデータを削除する前に、生成条件に基づいて圧縮されたカラー画像を伸張してＬＣＤ３６の画面に表示し、その画面で生成条件の設定操作のやり直し操作及び設定内容の確認操作を受け付けてもよい。これにより、ユーザは満足できる画質が得られるまで繰り返し生成条件の設定操作を繰り返し、最適な生成条件に基づいてＲＡＷ画像からカラー画像を生成することができる。この場合、設定内容の確認操作が請求項に記載の削除操作に相当する。

以上説明した本発明の第一実施例によると、撮像操作後にＲＡＷデータから出力用カラー画像を生成するための生成条件を設定することができるため、撮像前に設定した撮像条件が適切でなくとも、撮像をやり直さずにユーザが望む画質のカラー画像をリムーバブルメモリ４８に記録することができる。また、本発明の第一実施例によると、撮像後にＲＡＷデータからカラー画像を生成するためにＲＡＷデータをリムーバブルメモリ４８に格納しなくてもよいため、リムーバブルメモリ４８の空き容量が少ない場合であっても、撮像後にＲＡＷデータからカラー画像を生成することができる。また、不可逆圧縮されたカラー画像を伸張して画質調整する場合に比べ、本発明の第一実施例によると、ＲＡＷデータからカラー画像を生成する段階で画質調整してからカラー画像を圧縮できるため、画質劣化を防止できる。

（第二実施例）
図７及び図８は、本発明の第二実施例による画像処理方法を示すフローチャートである。図７及び図８に示す処理は、ＤＳＣ１の電源がオンになると起動し、ＤＳＣ１の電源がオフになるまで繰り返される。 ステップＳ２００、ステップＳ２０２、ステップＳ２０４では、制御部３７は、撮像条件に基づいてスルー画像をＬＣＤ３６の画面に表示しながらモード切換操作及び撮像操作を待つ。モード切換操作が受け付けられると、制御部３７は、ステップＳ２１４の処理に進み、ＤＳＣ１は再生モードに遷移する。レリーズボタン５０が押されて撮像操作を受け付けると、制御部３７はステップＳ２０６の処理に進む。

ステップＳ２０６では、制御部３７は、撮像制御モジュール７２を実行し、撮像部１５と協働し、撮像条件に基づいて対象物を撮像し、ＲＡＷデータを生成する。生成されたＲＡＷデータは、ＲＡＭ３２のＲＡＷバッファ領域９０に格納される。制御部３７は複数のＲＡＷデータを格納可能な領域をＲＡＷバッファ領域９０に割り当てる。このため、ユーザは直前の撮像操作で生成されたＲＡＷデータからのみではなく、前々回あるいはそれ以前の撮像操作で生成されたＲＡＷデータからも、撮像後の生成条件設定操作によりカラー画像を生成することができる。ＲＡＷバッファ領域９０の容量は、ＲＡＭ３２の全容量、カラー画像を生成するために必要な第一ワークバッファ領域９２、第二ワークバッファ領域９４、フレームメモリ領域９６、プログラム領域等を勘案してなるべく多くのＲＡＷデータを格納できるように設定すればよい。

ステップＳ２０７、ステップＳ２０８では、制御部３７は、削除モジュール７０を実行し、最新のＲＡＷデータを格納するのに十分な空き容量がＲＡＷバッファ領域９０にない場合、最古のＲＡＷデータをＲＡＷバッファ領域９０から削除する。すなわち、制御部３７はユーザの意思に関わらず、自律的にＲＡＷデータを削除する。尚、ＲＡＷデータを削除する時期は、この段階でなくともよく、制御部３７は削除により連続撮像間隔が長くならない時期にＲＡＷデータを削除してもよい。

ステップＳ２０９では、制御部３７は、ＲＡＭ３２のＲＡＷバッファ領域９０に最新のＲＡＷデータを格納する。
ステップＳ２１０では、制御部３７は、第二画像生成モジュール８０を実行し、色処理部２４及び解像度変換部２６と協働し、撮像条件に基づいてＲＡＷデータから出力用カラー画像を生成する。

ステップＳ２１２では、制御部３７は、出力モジュール８２を実行し、圧縮・伸張部２８と協働し、撮像条件に基づいてカラー画像を圧縮し、リムーバブルメモリコントローラ４４と協働してリムーバブルメモリ４８にカラー画像を格納する。制御部３７は、カラー画像をリムーバブルメモリ４８に格納するとステップＳ２００の処理に進む。
ステップＳ２１４では、制御部３７はリムーバブルメモリ４８に格納されているカラー画像を選択する。カラー画像を選択する順序は、例えば撮像順、ファイル名順等である。

ステップＳ２１６では、制御部３７は、圧縮・伸張部２８と協働し、選択したカラー画像を伸張しＲＡＭ３２に格納する。
ステップＳ２１８では、制御部３７は、表示制御モジュール７４を実行し、解像度変換部２６と協働してカラー画像から表示用カラー画像を生成し、表示用カラー画像をグラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示する。このとき、制御部３７は図６（Ａ）に示すように、所定のボタン操作で画像再生成要求操作を受け付けることを案内するための案内表示１１０を表示用カラー画像に重ねて表示する。

ステップＳ２１９、ステップＳ２２０、ステップＳ２２２では、制御部３７は、モード切換操作、次画像選択操作及び画像再生成要求操作を待つ。制御部３７はモード切換操作を受け付けるとステップＳ２００の処理に進み、その結果ＤＳＣ１は撮像モードに遷移する。制御部３７は次画像選択操作を受け付けるとステップＳ２１４の処理に進む。次画像選択操作は、例えばユーザがジョグダイヤル６６を回転させると受け付けられる。制御部３７は画像再生成要求操作を受け付けるとステップＳ２２４の処理に進む。画像再生成要求操作は、例えばユーザがメニューボタン５８を押すと受け付けられる。

ステップＳ２２４では、制御部３７は、選択しているカラー画像に対応するＲＡＷデータがＲＡＷバッファ領域９０に残っているか判定し、残っていればステップＳ２２６の処理に進み、残っていなければステップＳ２１９の処理に進む。制御部３７は、ＲＡＷバッファ領域９０に格納されている各ＲＡＷデータにリムーバブルメモリ４８に格納されているカラー画像のファイルのファイル名を対応付ける情報をＲＡＭ３２に格納するなどカラー画像とＲＡＷ画像とを関連付けることができる。

尚、制御部３７は、ステップＳ２１８の処理を実行する前にステップＳ２２４の処理を実行し、選択中のカラー画像に対応するＲＡＷデータがＲＡＷバッファ領域９０に残っていない場合には、図６（Ａ）に示す案内表示１１０をＬＣＤ３６に表示しないことが望ましい。この場合、表示制御モジュール７４は、再生モードで選択されているカラー画像に対応するＲＡＷデータがＲＡＭ３２のＲＡＷバッファ領域９０に格納されているか否かを判定し、格納されている場合にのみ案内表示１１０をＬＣＤ３６の画面に表示する。この結果、案内表示１１０が表示されていない状態では、制御部３７はステップＳ２２２における画像再生成要求操作を無効な操作として受け付けない。

ステップＳ２２６では、制御部３７は生成条件設定画面をＬＣＤ３６の画面に表示する。
ステップＳ２２８、ステップＳ２３０では、制御部３７は、生成条件の設定操作を待ち、設定操作が行われると設定モジュール７６を実行し、設定操作に応じて生成条件を設定する。設定操作が行われなければ、制御部３７はステップＳ２１９の処理に進む。

ステップＳ２３２では、制御部３７は、画像生成モジュール７８を実行し、色処理部２４及び解像度変換部２６と協働し、生成条件に基づいてＲＡＷデータから出力用カラー画像を生成する。
ステップＳ２３４では、制御部３７は、選択しているカラー画像のファイル、すなわち撮像条件に基づいて撮像モードで生成されたカラー画像のファイルをリムーバブルメモリ４８から削除する。

ステップＳ２３６では、制御部３７は、出力モジュール８２を実行し、生成条件に基づいて生成したカラー画像を圧縮・伸張部２８と協働して生成条件に基づいて圧縮し、リムーバブルメモリコントローラ４４と協働して圧縮したカラー画像をリムーバブルメモリ４８に格納する。このとき制御部３７は、生成条件を特定する情報等をヘッダ領域に格納し、圧縮したカラー画像をデータ領域に格納した所定フォーマットのファイルを生成しリムーバブルメモリ４８に格納する。尚、撮像条件に基づいて撮像モードで生成されたカラー画像のファイルは、必ずしも削除する必要はなく、生成条件に基づいて同一のＲＡＷデータから生成されたカラー画像のファイルとともにリムーバブルメモリ４８に残しておいてもよい。また、制御部３７は、撮像条件に基づいて生成されたカラー画像のファイルを編集し、撮像条件に基づいて生成されたカラー画像を生成条件に基づいて生成されたカラー画像に上書きしてもよい。

以上説明した本発明の第二実施例によると、再生モードにおいて生成条件を設定し、撮像モードで直前又はそれ以前に撮像して生成したＲＡＷデータから生成条件に基づいてカラー画像を生成することができる。また本発明の第二実施例によると、撮像直後にカラー画像が生成されて不揮発性のリムーバブルメモリ４８に格納されるため、カラー画像がリムーバブルメモリ４８に格納されるまでの間の不測の事態、例えば電源ダウンによりＲＡＭ３２に格納されていたＲＡＷデータを消失するなどの事態により、撮像した対象物を表す情報を完全に消失することを防止できる。また本発明の第二実施例によると、撮像操作に応じてリムーバブルメモリ４８に格納されるカラー画像は圧縮されているため、撮像操作に応じてリムーバブルメモリ４８にＲＡＷデータを格納する場合に比べてリムーバブルメモリ４８の記憶容量の消費を低減することができる。
以上、本発明をディジタルスチルカメラに適用した実施例について説明したが、本発明は、ディジタルビデオカメラ、通話機能を有するディジタルカメラ（所謂カメラ付携帯電話）など、ディジタルスチルカメラ以外のディジタルカメラにも適用することができる。

本発明の第一実施例による画像処理方法を示すフローチャート。 本発明の第一実施例によるディジタルカメラを示すブロック図。 本発明の第一実施例によるディジタルカメラを示す背面図。 本発明の第一実施例に係る画像処理プログラムを示すブロック図。 本発明の第一実施例に係るデータ構造図。 本発明の第一実施例に係る画面遷移図。 本発明の第二実施例に係る画像処理方法を示すフローチャート。 本発明の第二実施例に係る画像処理方法を示すフローチャート。

符号の説明

１５ 撮像部（撮像手段）、２４ 色処理部（画像生成手段）、２６ 解像度変換部（画像生成手段）、２８ 圧縮・伸張部（出力手段）、３２ ＲＡＭ（揮発性記憶媒体）、３７ 制御部（設定手段、画像生成手段）、４４ リムーバブルメモリコントローラ（出力手段）、４８ リムーバブルメモリ（不揮発性記憶媒体）

Claims (11)

1. 揮発性記憶媒体と、
   画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成し前記揮発性記憶媒体に格納する撮像手段と、
   前記ＲＡＷデータから出力用カラー画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定手段と、
   前記撮像手段によって前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記生成条件に基づいて前記出力用カラー画像を生成する画像生成手段と、
   前記出力用カラー画像を不揮発性記憶媒体に格納する出力手段と、
   を備えることを特徴とするディジタルカメラ。
2. 前記生成条件の設定操作を受け付ける前に前記ＲＡＷデータから生成された表示用カラー画像を画面に表示させる表示制御手段をさらに備えることを特徴とする請求項１に記載のディジタルカメラ。
3. 前記揮発性記憶媒体に格納された複数の前記ＲＡＷデータのうち、最古の前記ＲＡＷデータを削除する削除手段をさらに備え、
   前記表示制御手段は、前記表示用カラー画像に対応する前記ＲＡＷデータが前記揮発性記憶媒体に格納されている場合、前記設定手段が前記生成条件の設定操作を受付可能であることを示す案内表示を前記画面に表示させることを特徴とする請求項２に記載のディジタルカメラ。
4. 前記揮発性記憶媒体に格納されている前記ＲＡＷデータを削除操作に応じて削除する削除手段をさらに備えることを特徴とする請求項１又は２に記載のディジタルカメラ。
5. 前記出力手段は、前記出力用カラー画像を圧縮して前記不揮発性記憶媒体に格納することを特徴とする請求項１〜４のいずれか一項に記載のディジタルカメラ。
6. 前記撮像操作に応じて前記ＲＡＷデータから前記出力用カラー画像を生成する第二画像生成手段と、
   前記第二画像生成手段が生成した前記出力用カラー画像を前記撮像操作に応じて前記不揮発性記憶媒体に圧縮して格納する第二出力手段と、
   をさらに備えることを特徴とする請求項１〜５のいずれか一項に記載のディジタルカメラ。
7. 前記第二画像生成手段は、前記画像生成手段より高速に前記ＲＡＷデータから前記出力用カラー画像を生成することを特徴とする請求項６に記載のディジタルカメラ。
8. 前記第二画像生成手段が前記生成条件を自動設定するために参照するデータに対応する前記撮像手段の画素数は、前記画像生成手段が前記生成条件を自動設定するために参照するデータに対応する前記撮像手段の画素数より少ないことを特徴とする請求項７に記載のディジタルカメラ。
9. 前記第二画像生成手段が前記出力用カラー画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数は、前記画像生成手段が前記出力用カラー画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数より少ないことを特徴とする請求項７又は８に記載のディジタルカメラ。
10. 前記画像生成手段は、前記第二画像生成手段の少なくとも一部を構成する専用回路が実現する機能を実現する汎用回路を有することを特徴とする７、８又は９に記載のディジタルカメラ。
11. ディジタルカメラにより出力用カラー画像を生成する画像処理方法であって、
    画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成し揮発性記憶媒体に格納する撮像段階と、
    前記ＲＡＷデータから前記出力用カラー画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定段階と、
    前記撮像手段によって前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記生成条件に基づいて前記出力用カラー画像を生成する画像生成段階と、
    前記出力用カラー画像を不揮発性記憶媒体に格納する出力段階と、
    を含むことを特徴とする画像処理方法。
    
    
    
    
    

Images