JP2006115475A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 画像に添付された属性データを参考にしてユーザが不適切な撮像条件を設定することを防止できる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】 画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスするアクセスユニットと、前記ＲＡＷデータから画像を生成するための生成条件を設定する設定ユニットと、前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する画像生成ユニットと、を含む。
【選択図】 図１

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、撮影時に生成したＲＡＷデータとＲＡＷデータから生成した画像とを記憶媒体に格納するディジタルカメラが知られている（例えば特許文献１）。このディジタルカメラでは、撮像後にＲＡＷデータから画像を生成することができる。また、ＲＡＷデータを生成したシステムとは別のシステム（例えばパーソナルコンピュータ）でも、ＲＡＷデータから画像を生成したり、画像を修整することができる。撮像後にＲＡＷデータから画像を生成することができる環境では、ユーザは、不適切な撮像条件で撮像してしまっても、好ましい画像を得ることができる。
ところで一般に、ディジタルカメラは、シャッタスピード、Ｆナンバー、解像度等の属性データを添付してＲＡＷデータや画像を記憶媒体に格納している。そのためユーザは、画像とその画像に添付されている属性データを参考にすることによって、その画像を撮像した環境と同様の環境で撮像するときに適正な撮像条件を設定することができる。

しかしながら、例えば、ある撮像条件に応じて生成された画像を画像全体が明るくなるように修整すると、元の画像に添付されていたシャッタスピード及びＦナンバーは、修整後の出力画像の濃淡レベルと整合しなくなる。そのため、修整後の画像と同一の画像が生成されることを期待したユーザが、修整前の画像に添付されていたシャッタスピードとＦナンバーとを設定したディジタルカメラを用いて、修整前の画像が撮像された環境下で同一対象物を撮像しても、期待通りの画像は生成されないことになる。

特開平１１−２６１９３３号公報

本発明は、上記の問題に鑑みてなされたものであって、画像に添付された属性データを参考にしてユーザが不適切な撮像条件を設定することを防止できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

（１）上記目的を達成するための画像処理装置は、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスするアクセスユニットと、前記ＲＡＷデータから画像を生成するための生成条件を設定する設定ユニットと、前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する画像生成ユニットと、を含む。
画像処理装置がＲＡＷデータから出力画像を生成したときに、生成条件がＲＡＷデータに添付されていた属性データと整合する項目についてはその属性データを出力画像に添付することにより、ユーザは出力画像に添付された属性データを参考にして撮像条件を設定することができる。また画像処理装置がＲＡＷデータから出力画像を生成したときに、生成条件がＲＡＷデータに添付されていた属性データと整合しない項目については無効データを出力画像に添付することにより、ユーザが出力画像に添付された属性データを参考にして不適切な撮像条件を設定することが防止される。

（２）前記画像処理装置は、前記ＲＡＷデータから生成された表示用画像を画面に表示する表示ユニットをさらに備えてもよい。前記設定ユニットは、前記表示用画像が前記画面に表示された後に前記生成条件の設定要求を受け付け、前記設定要求に応じて前記生成条件を設定してもよい。
画像処理装置がＲＡＷデータから生成された表示用画像を画面に表示した後に生成条件の設定要求を受け付けることにより、ユーザは表示用画像から適正な生成条件を判断し、適正な生成条件を画像処理装置に設定することができる。具体的には例えば、表示用画像がぼけていればシャープネスを強める生成条件をユーザが設定することができる。

（３）前記表示ユニットは、前記アクセスユニットが前記表示用画像に対応する前記ＲＡＷデータにアクセスできる場合、前記表示用画像に対応する前記ＲＡＷデータから前記出力画像を生成できることを表す案内表示を前記画面に表示させてもよい。

（４）前記案内表示は、前記表示用画像に対応する前記ＲＡＷデータから前記出力画像を生成する処理をユーザが要求するための操作対象であってもよい。
画像処理装置が表示用画像に対応するＲＡＷデータにアクセスできるときにそのＲＡＷデータから出力画像を生成する処理をユーザが要求するための操作対象である案内表示を画面に表示することにより、ユーザビリティが向上する。

（５）上記目的を達成するための画像処理装置は、元画像と前記元画像に添付されている属性データとにアクセスするアクセスユニットと、前記元画像を修整するための修整条件を設定する設定ユニットと、前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する修整ユニットと、を含む。
画像処理装置が元画像を修整したときに、修整条件が元画像に添付されていた属性データと整合する項目についてはその属性データを出力画像に添付することにより、ユーザは出力画像に添付された属性データを参考にして撮像条件を設定することができる。また画像処理装置が元画像を修整したときに、修整条件が元画像に添付されていた属性データと整合しない項目については無効データを出力画像に添付することにより、ユーザが出力画像に添付された属性データを参考にして不適切な撮像条件を設定することが防止される。

（６）上記目的を達成するための画像処理方法は、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスし、前記ＲＡＷデータから画像を生成するための生成条件を設定し、前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する、ことを含む。

（７）上記目的を達成するための画像処理方法は、元画像と前記元画像に添付されている属性データとにアクセスし、前記元画像を修整するための修整条件を設定し、前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する、ことを含む。

（８）上記目的を達成するための画像処理プログラムは、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスするアクセスユニットと、前記ＲＡＷデータから画像を生成するための生成条件を設定する設定ユニットと、前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する画像生成ユニットと、としてコンピュータを機能させる。

（９）上記目的を達成するための画像処理プログラムは、元画像と前記元画像に添付されている属性データとにアクセスするアクセスユニットと、前記元画像を修整するための修整条件を設定する設定ユニットと、前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する修整ユニットと、としてコンピュータを機能させる。

尚、本発明に備わる複数のユニットの各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数のユニットの各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。

以下、本発明の実施の形態を複数の実施例に基づいて説明する。尚、各実施例で対応する構成要素及び処理には同一の符号を付し、各実施例で対応する構成要素及び処理について重複する説明は省略する。
（第一実施例）
図２は、本発明の第一実施例による画像処理装置としてのディジタルスチルカメラ（ＤＳＣ）１を示すブロック図である。図３はＤＳＣ１の背面図である。

イメージセンサ１４は、二次元空間に離散的に配置された光電変換素子とＣＣＤ（Charge Coupled Device）等の電荷転送素子を備えたカラー撮像素子であり、所謂ＣＣＤカラーイメージセンサ、ＣＭＯＳカラーイメージセンサ等である。イメージセンサ１４は、レンズ１０及び絞り１２によって受光面に結像された光学像の濃淡に応じた電気信号を出力する。イメージセンサ１４は、光電変換素子毎にベイヤ配列の色フィルタを備えるため、画素毎にＲＧＢいずれか１チャネルの濃淡レベルを示す電気信号を出力する。レンズ１０はレンズコントローラ１１によって駆動され、光軸方向に往復移動する。絞り１２は、絞りコントローラ１３によって駆動され、イメージセンサ１４に入射する光量を調節する。イメージセンサ１４に電荷を蓄積する時間は、機械的なシャッタで制御してもよいし、イメージセンサ１４のゲート信号のオンオフにより電気的に制御してもよい。センサコントローラ１６は、所定のタイミングでゲート信号、シフト信号等のパルス信号をイメージセンサ１４に出力し、イメージセンサ１４を駆動する。

アナログフロントエンド（ＡＦＥ）１８は、イメージセンサ１４から出力されるアナログ電気信号に対してＡＤ変換を施してＲＡＷデータを生成する。ＲＡＷデータとは、一般に撮像素子から出力されたアナログ電気信号を単純にディジタル化したデータのことである。したがって、ＲＡＷデータは画素毎にＲＧＢいずれか１チャネルの濃淡レベルを表している。このため、ＲＡＷデータをそのまま表示してもカラー画像を表示することはできない。ただし、ＲＡＷデータは、露出補正、ホワイトバランス補正等、一般に画像生成時に施される濃度変換の一部が施されたデータであってもよい。また、ＲＡＷデータは、ガンマ補正が施されているデータであってもよいし、施されていないデータであってもよい。ＡＦＥ１８から出力されるＲＡＷデータは、ＲＡＭコントローラ３０によってＲＡＭ３２に格納される。
以上説明したレンズ１０、絞り１２、イメージセンサ１４、レンズコントローラ１１、絞りコントローラ１３、センサコントローラ１６及びＡＦＥ１８は、撮像部１５の構成要素である。

画像生成ユニットとしての色処理部２４は、制御部３７と協働し、ＡＦＥ１８から出力されＲＡＭ３２に格納されたＲＡＷデータに対し、撮像条件または生成条件に基づいて画像生成処理を施す。ここで撮像条件は、例えば焦点位置、シャッタスピード、Ｆナンバ、シーンモード、ホワイトバランスモード、解像度、圧縮率などである。具体的には色処理部２４は、例えば撮像条件としてのホワイトバランスモードに基づいて、ＲＡＷデータから出力用カラー画像を生成する。生成条件とは出力用カラー画像が既に生成されたＲＡＷデータから再び別の出力用カラー画像を生成するための画像処理条件である。以降では、撮像条件に基づいてＲＡＷデータから初めて生成された出力用のカラー画像を第一出力画像という。また生成条件に基づいてＲＡＷデータから生成された出力用のカラー画像を第二出力画像という。画像生成処理とは、各光電変換素子の蓄積電荷に対応するＲＡＷデータの各画素の濃淡レベルを近傍画素同士で補間し合うことによって、画素毎にＲＧＢの３チャネルの濃淡レベルを持つカラー画像を生成する処理である。

画像生成処理では、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、カラーバランス補正等の各種の濃度変換及び空間情報変換を伴う修整処理を施すことができる。例えば撮像時の手振れによりぼやけた画像が中間的に生成される場合、中間的に生成される画像に対してシャープネス補正を施せば、最終的に鮮鋭な画像を生成することができる。風景が表された画像に対してシャープネス補正を施せば、広域に焦点が合った印象になる鮮鋭な画像に補正することができる。露出過多又は露出不足の画像又はＲＡＷデータに対して明るさ補正及びコントラスト調整を施せば、適正露出の画像に近づけることができる。画像又はＲＡＷデータに対して施されるホワイトバランス補正は、対象物の照明環境に応じてＲＧＢのゲインを調整する処理である。人物や花が表された画像に対してカラーバランス補正を施せば、肌色を美しい色合いに補正したり、花弁をビビッドな色合いに補正したりすることができる。

画像生成ユニットとしての解像度変換部２６は、カラー画像の解像度を所定の解像度に変換する。具体的には例えば、解像度変換部２６は、撮像条件または生成条件として設定された解像度にカラー画像を変換したり、ＬＣＤ３６の画面サイズに対応した解像度にカラー画像を変換したりする。以降では、ＬＣＤ３６の画面サイズに対応した解像度のカラー画像を表示用画像という。

画像生成ユニットとしての圧縮・伸張部２８は、カラー画像を圧縮し、また圧縮されたカラー画像を伸張する。圧縮方式は、可逆圧縮方式であってもよいし、不可逆圧縮方式であってもよい。具体的には例えば、圧縮方式は、ＤＣＴ、ウェーブレット変換、量子化、ハフマン符号化、ランレングス符号化等を組み合わせたＪＰＥＧ方式、ＪＰＥＧ２０００方式等である。尚、ＤＳＣ１では、カラー画像を圧縮することなく、記憶媒体としてのリムーバブルメモリ４８にカラー画像を格納してもよい。
以上説明した色処理部２４、解像度変換部２６及び圧縮・伸張部２８の機能は、ＡＳＩＣ等の専用回路で実現してもよいし、制御部３７が特定のプログラムを実行することによって実現してもよい。

表示ユニットとしてのグラフィックコントローラ３４は、合成機能を有する表示制御回路等を備え、ＲＡＭ３２のフレームメモリ領域９６（図４参照）に格納されている表示用画像を単体でＬＣＤ３６の画面に表示したり、表示用画像とメニューを重ねてＬＣＤ３６の画面に表示したりする。
設定ユニットとしての操作部４０は、レリーズボタン５０、メニュー操作等のための各種の押しボタン５２、５６、５８、６０、６２、６４、レバー５４、ジョグダイヤル６６等を備える。

外部インタフェースコントローラ４２は、ＤＳＣ１と図示しないＰＣ等の外部システムとを通信可能に接続する。外部インタフェースコントローラ４２は、アクセスユニットとしても機能し得る。
アクセスユニットとしてのリムーバブルメモリコントローラ４４は、ＲＡＭ３２に格納されているデータをカードコネクタ４６に接続されたリムーバブルメモリ４８に転送したり、リムーバブルメモリ４８に格納されているデータをＲＡＭ３２に転送する、入出力機構である。

フラッシュメモリコントローラ３９は、フラッシュメモリ３８に格納されているデータをＲＡＭ３２に転送する。フラッシュメモリ３８はＣＰＵ２０が実行する画像処理プログラムを格納している不揮発性メモリである。ＤＳＣ１が作動するために必要な画像処理プログラムや各種のデータは、所定のサーバからのネットワークを介したダウンロード、リムーバブルメモリ４８からの読み出し等によってフラッシュメモリ３８に格納することもできる。フラッシュメモリコントローラ３９はアクセスユニットとしても機能し得る。

アクセスユニット、設定ユニット、画像生成ユニット及び表示ユニットとしての制御部３７は、ＣＰＵ２０、ＲＡＭ３２及びＲＡＭコントローラ３０を備える。ＣＰＵ２０はフラッシュメモリ３８に格納されている画像処理プログラムを実行することでＤＳＣ１の各部を制御する。画像処理プログラムは、リムーバブルメモリ、通信等によりフラッシュメモリ３８に格納することができる。ＲＡＭコントローラ３０は、ＡＦＥ１８、色処理部２４、解像度変換部２６、圧縮・伸張部２８、ＣＰＵ３０、グラフィックコントローラ３４、リムーバブルメモリコントローラ４４、フラッシュメモリコントローラ３９等とＲＡＭ３２との間のデータ転送を制御する。

図１は、ＤＳＣ１における画像処理の流れを示すフローチャートである。図１に示す処理は、ＤＳＣ１が撮像モードに遷移すると起動し、ＤＳＣ１が撮像モードから再生モード等の他のモードに遷移するまで繰り返される。
ステップＳ１００、ステップＳ１０１では、制御部３７はユーザの設定操作に応じて撮像条件を設定する。制御部３７が撮像条件をハーフシャッタ時に自動設定してもよい。撮像条件は、例えば焦点位置、シャッタスピード、Ｆナンバ、シーンモード、ホワイトバランスモード、解像度、圧縮率などである。ホワイトバランスモードは制御部３７が色処理部２４と協働してホワイトバランス補正を実行するための条件である。焦点位置、シャッタスピード、Ｆナンバ及びシーンモードは、レンズコントローラ１１、絞りコントローラ１３等を制御する条件となる。具体的には例えば、絞りコントローラ１３は、シーンモードが人物撮像モードのとき絞りを開け、シーンモードが風景撮像モードのとき絞りを絞る。シャッタスピードは、機械的なシャッタ又は電気的なシャッタを制御する条件となる。解像度は制御部３７が解像度変換部２６と協働して解像度変換を実行するための条件である。圧縮率は制御部３７が圧縮・伸張部２８と協働して画像を圧縮するための条件である。

ステップＳ１０２、ステップＳ１０３では、レリーズボタン５０が押されるまで、制御部３７は、撮像条件に基づいてスルー画像をＬＣＤ３６の画面に表示する。スルー画像とは、イメージセンサ１４に結像される対象物を所定の時間間隔で撮像して得た動画系列である。
レリーズボタン５０が押されると、制御部３７は、撮像部１５と協働し、撮像条件に基づいてＲＡＷデータを生成する（ステップＳ１０４）。生成されたＲＡＷデータは、ＲＡＭ３２のＲＡＷバッファ領域９０（図４参照）に格納される。

ステップＳ１０６では、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、撮像条件に基づいてＲＡＷデータから第一出力画像としてのカラー画像およびＬＣＤ３６の画面サイズに応じた表示用画像としてのカラー画像を生成する。表示用画像はＲＡＭ３２のフレームメモリ領域９６に格納される。第一出力画像は、第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。

ステップＳ１０７では、制御部３７は、第一出力画像と、撮像条件、撮影日時等を表す複数の属性データとを格納した所定フォーマットのファイルを生成し、そのファイルをリムーバブルメモリ４８に格納する。このとき、ＲＡＭ３２の第一ワークバッファ領域９２及び第二ワークバッファ領域９４が用いられる。具体的には例えば、ＲＧＢの色空間で表されたカラー画像は第一ワークバッファ領域９２に格納される。ＲＧＢからＹＣｂＣｒ等の他の色空間に変換されたカラー画像は第二ワークバッファ領域９４に格納される。所定フォーマットのファイルとは、例えばＥｘｉｆ（Exchangeable Image File Format）形式のファイル（以下、Ｅｘｉｆファイルという。）である。第一出力画像としてのカラー画像はＥｘｉｆファイルのデータ領域１０２に格納され、属性データはヘッダ情報としてＥｘｉｆファイルのヘッダ領域１００に格納される（図５参照）。尚、属性データは第一出力画像としてのカラー画像に関連付けられてリムーバブルメモリ４８に格納されればよく、その格納方法は１ファイルに格納する方法に限定されない。具体的には例えば、制御部３７は、第一出力画像と、属性データと、第一出力画像および属性データを互いに関連付けるためのテーブルとをそれぞれ異なるファイルに格納し、それらのファイルをリムーバブルメモリ４８に格納してもよい。

ステップＳ１０８では、制御部３７は、ＬＣＤ３６の画面に表示用画像を表示する。具体的には例えば制御部３７は、フレームメモリ領域９６に格納された表示用画像をグラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示する。このとき、制御部３７は図６（Ａ）に示すように、所定のボタン操作で生成条件の設定を受け付けることを案内するための案内表示１１０を表示用画像に重ねて表示する。ユーザは、生成条件設定操作の前に表示用画像をＬＣＤ３６の画面で確認できるため、適切な生成条件を設定することができる。

ステップＳ１１０、ステップＳ１１２、ステップＳ１１４では、制御部３７は、予め決められた時間をタイマに設定し、タイマに設定した時間が経過するまでの間、案内表示１１０で案内したボタン、例えばメニューボタン５８を押す操作を待つ。その間、メニューボタン５８が押されると、制御部３７はステップＳ１１６の処理に進み、押されなければ制御部３７はステップＳ１００の処理に戻る。尚、案内表示１１０は、ＲＡＷデータから新たにカラー画像を生成する処理をユーザが要求するための操作対象、すなわちアイコンであるともいえる。

ステップＳ１１６では、制御部３７は、生成条件設定操作を受け付けるための生成条件設定画面をＬＣＤ３６の画面に表示する。生成条件は、例えば、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、解像度変換、シーンモード補正、カラーバランス補正及び圧縮などの各処理を実行するための条件であって、各処理にそれぞれ対応する複数の項目からなる。制御部３７は、生成条件の各項目を階層構造のメニューで設定させてもよいし、一階層のメニューで設定させてもよい。階層構造のメニューは、例えば図６（Ｂ）、図６（Ｃ）に示すようなものである。

ステップＳ１１８、ステップＳ１２０では、制御部３７は、生成条件設定操作を待ち、生成条件設定操作が行われるとその設定操作に応じて生成条件を設定する。生成条件設定操作が行われなければ、制御部３７はステップＳ１００の処理に戻る。生成条件設定操作は、例えば次のように受け付けられる。ユーザは、図６（Ｂ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、シャープネス、明るさ、コントラスト、ホワイトバランス、解像度、シーンモード、色調整及び圧縮率のいずれかの項目を選択する。いずれかの項目を選択した状態で、ユーザは所定のボタン、例えば決定ボタン６２を押すことにより図６（Ｃ）に示すメニューを呼び出す。ユーザは、図６（Ｃ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、いずれかの項目を選択する。いずれかの項目を選択した状態で、ユーザが所定のボタン、例えば決定ボタン６２を押すと、制御部３７は選択された項目に応じた生成条件を設定し、図６（Ｂ）に示す画面を再び表示する。ただし、この段階では、ＲＡＷデータに依存する最終的な生成条件は設定されず、ただ最終的な生成条件を設定するためのパラメータが設定される。図６（Ｃ）に示した画面が表示された状態でユーザが例えばキャンセルボタン６０を押すと、制御部３７は生成条件を設定することなく、図６（Ｂ）に示す画面を再び表示する。図６（Ｂ）に示す画面が表示された状態でユーザが所定のボタン、例えば機能ボタン６４を押すと、制御部３７はステップＳ１２２の処理に進む。尚、生成条件設定操作は、後続の処理でＲＡＷデータを削除するきっかけになる。

ステップＳ１２２では、制御部３７は、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、生成条件に基づいてＲＡＷデータから第二出力画像としてのカラー画像を生成する。このときＲＡＭ３２の第一ワークバッファ領域９２及び第二ワークバッファ領域９４が用いられる。具体的には例えば、ＲＧＢの色空間で表されたカラー画像は第一ワークバッファ領域９２に格納される。ＲＧＢからＹＣｂＣｒ等の他の色空間に変換されたカラー画像は第二ワークバッファ領域９４に格納される。第二出力画像としてのカラー画像は、ＲＡＭ３２の第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。

尚、制御部３７はＲＡＷデータから生成条件に基づいて生成された表示用画像をＬＣＤ３６の画面に表示し、その画面で生成条件の設定操作のやり直し操作及び設定内容の確認操作を受け付けてもよい。これにより、ユーザは満足できる画質が得られるまで繰り返し生成条件の設定操作を繰り返し、最適な生成条件に基づいてＲＡＷ画像から第二出力画像を生成することができる。

ステップＳ１２３では、制御部３７は、リムーバブルメモリコントローラ４４と協働して、第一画像としてのカラー画像が格納されているファイルにアクセスし、生成条件と整合しない属性データを特定する。具体的には例えば、制御部３７は、生成条件とその生成条件に整合しない属性データとを関連付けるテーブル１０３（図７参照）に基づいて、生成条件と整合しない属性データを特定する。このテーブル１０３は、例えばフラッシュメモリ３８等に格納されている。例えば、明るさ補正を施すための生成条件が設定されているとき、制御部３７は、シャッタスピード及び絞りの属性データを、生成条件と整合しない属性データとして特定する。尚、生成条件とその生成条件に整合しない属性データとの関係はＤＳＣ１の仕様に応じて設計すればよい。例えば制御部３７は、シーンモード補正を施すための生成条件に対して、絞り及びシャッタスピードの属性データを生成条件に整合しない属性データとして特定してもよいし、色調整補正を施すための生成条件に対して、絞り及びシャッタスピードの属性データを生成条件に整合しない属性データとして特定してもよい。

ステップＳ１２４では、制御部３７は、生成条件と整合しない属性データを不整合データに変更する。具体的には例えば、図８に示すように、明るさ補正を施すための生成条件が設定されているとき、シャッタスピード（例えば、「１／６０ｓ」）及びＦナンバー（例えば、「Ｆ２．８」）の属性データを無効データに変更する。無効データ（不整合データ）は元の属性データとそれが無効であること示すデータとの組み合わせ（例えば、シャッタスピードについて「１／６０ｓ：×」）でもよい。

ステップＳ１２５では、制御部３７は、リムーバブルメモリコントローラ４４と協働して、第一出力画像としてのカラー画像を第二出力画像としてのカラー画像に置換し、第二出力画像としてのカラー画像が格納されたファイルをリムーバブルメモリ４８に保存する。

ステップＳ１２６では、制御部３７は、ＲＡＭ３２のＲＡＷバッファ領域９０に格納されているＲＡＷデータを削除する。尚、制御部３７は、ＲＡＷデータを削除する前に、生成条件に基づいて生成された第二出力画像としてのカラー画像をＬＣＤ３６の画面に表示し、その画面で生成条件の設定操作のやり直し操作及び設定内容の確認操作を受け付けてもよい。これにより、ユーザは満足できる画質が得られるまで繰り返し生成条件設定操作を繰り返し、最適な生成条件に基づいてＲＡＷ画像からカラー画像を生成することができる。

以上説明した第一実施例によると、制御部３７は、第一出力画像としてのカラー画像が生成されたＲＡＷデータから第二出力画像としてのカラー画像を生成条件に基づいて生成する。そのためユーザは、撮像後に画質を劣化させることなく意図したとおりのカラー画像を生成することができる。また、制御部３７は、生成条件と属性データが整合しない項目については属性データを無効データに変更する。したがってユーザが画像に添付された属性データを参考にして不適切な撮像条件を設定することが防止される。また、第一実施例によると、生成条件設定操作を受け付ける前に表示用画像がＬＣＤ３６に表示されるため、ユーザは表示用画像の表示結果に応じて生成条件を再設定することができる。また、リムーバブルメモリ４８にはＲＡＷデータが保存されずに撮像後に画像が生成されるため、リムーバブルメモリ４８の記憶容量が効率よく使用される。

（第二実施例）
本発明の第二実施例による画像処理装置としてのＤＳＣの構成は、第一実施例に係るＤＳＣ１と実質的に同一である（図２参照）。
第二実施例では、複数のＲＡＷデータを格納可能な領域がＲＡＷバッファ領域９０に割り当てられる。このため、ユーザは直前の撮像操作で生成されたＲＡＷデータからのみではなく、前々回あるいはそれ以前の撮像操作で生成されたＲＡＷデータからも、撮像後の生成条件設定操作によりカラー画像を生成することができる。ＲＡＷバッファ領域９０の容量は、ＲＡＭ３２の全容量、カラー画像を生成するために必要な第一ワークバッファ領域９２、第二ワークバッファ領域９４、フレームメモリ領域９６、プログラム領域等を勘案してなるべく多くのＲＡＷデータを格納できるように設定すればよい。

図９及び図１０は、本発明の第二実施例による画像処理装置としてのＤＳＣ１における画像処理の流れを示すフローチャートである。モード切換操作によって図９に示す撮像モードの処理と図１０に示す再生モードの処理が切り換えられる。
（撮像モード）
第一実施例と同様にしてＥｘｉｆファイルがリムーバブルメモリ４８に格納されると、制御部３７は、新たにＲＡＷデータを格納するのに十分な空き容量がＲＡＷバッファ領域９０にない場合、最古のＲＡＷデータをＲＡＷバッファ領域９０から削除する（ステップＳ２０２、ステップＳ２０４）。すなわち、制御部３７はユーザの意思に関わらず、自律的にＲＡＷデータを削除する。尚、ＲＡＷデータを削除するタイミングは、この段階でなくともよく、制御部３７は削除により連続撮像間隔が長くならないタイミングでＲＡＷデータを削除してもよい。

（再生モード）
ステップＳ２１４では、制御部３７はリムーバブルメモリ４８に格納されている第一出力画像を選択する。第一出力画像を選択する順序は、例えば撮像順、ファイル名順等である。
ステップＳ２１６では、制御部３７は、圧縮・伸張部２８と協働し、選択した第一出力画像を伸張しＲＡＭ３２に格納する。

ステップＳ２１８では、制御部３７は、選択されているカラー画像に対応するＲＡＷデータがＲＡＭ３２のＲＡＷバッファ領域９０に格納されているか否かを判定する。制御部３７は、ＲＡＷバッファ領域９０に格納されている各ＲＡＷデータと第一出力画像としてのカラー画像が格納されているファイルのファイル名とを対応付ける情報をＲＡＭ３２に格納することにより、第一出力画像としてのカラー画像とＲＡＷ画像とを関連付けることができる。

選択されているカラー画像に対応するＲＡＷデータがＲＡＭ３２のＲＡＷバッファ領域９０に格納されていない場合、制御部３７は、解像度変換部２６と協働してカラー画像から表示用画像を生成し、グラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示用画像を表示する（ステップＳ２２０）。このとき図６（Ａ）に示す案内表示１１０はＬＣＤ３６に表示されない。

選択されているカラー画像に対応するＲＡＷデータがＲＡＭ３２のＲＡＷバッファ領域９０に格納されている場合、制御部３７は、解像度変換部２６と協働してカラー画像から表示用画像を生成し、グラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示用画像と案内表示１１０を図６（Ａ）に示すように表示する（ステップＳ２２０）。

制御部３７は次画像選択操作を受け付けるとステップＳ２１４の処理に戻る（ステップＳ２２２、ステップＳ２２６）。次画像選択操作は、例えばユーザがジョグダイヤル６６を回転させると受け付けられる。
ＬＣＤ３６の画面に案内表示１１０が表示されている状態で画像再生成要求操作を受け付けると制御部３７はステップＳ１１６の処理に進み、その後は第一実施例と同様の処理が実施される（ステップＳ２２８）。画像再生成要求操作は、例えばユーザがメニューボタン５８を押すと受け付けられる。

以上説明した第二実施例によると、撮像直後でなくともＲＡＷデータから生成条件に基づいて第二出力画像を生成することができる。
尚、生成条件に基づいて生成された第二出力画像を、ＤＳＣ１は第一出力画像が格納されているファイルとは別のファイルに格納して保存してもよい。また、ここまで本発明をＤＳＣに適用した例を説明したが、本発明はディジタルビデオカメラ、ディジタルカメラ付携帯電話に適用することもできる。

（第三実施例）
本発明の第三実施例による画像処理装置としてのＤＳＣの構成は、第一実施例に係るＤＳＣ１と実質的に同一である（図２参照）。第三実施例に係るＤＳＣ１では、制御部３７、色処理部２４、解像度変換部２６、及び圧縮・伸張部２８は修整ユニットとして機能する。

第三実施例によるＤＳＣ１では、以前の撮影で生成され圧縮されてリムーバブルメモリ４８に格納された元画像に対して、後から修整処理を施すことができる。本実施例では、元画像は、その撮像条件等を表す属性データ及びサムネイル画像とともにＥｘｉｆファイルにＪＰＥＧフォーマットで格納されているものとする。尚、修整処理の対象となる元画像は第三実施例に係るＤＳＣ１と別のＤＳＣで撮像された画像であってもよい。また元画像の格納場所は、第一実施例に係る第一出力画像と同様、リムーバブルメモリ４８に限定されない。第一画像は例えばフラッシュメモリ３８等に格納されてもよい。

図１１は、第三実施例のＤＳＣ１による画像処理の流れを示すフローチャートである。図１１に示す処理は、ＤＳＣ１が再生モードに遷移すると起動し、ＤＳＣ１が再生モードから撮像モード等の他のモードに遷移するまで繰り返される。
ステップＳ３１４では、制御部３７はリムーバブルメモリ４８に格納されている元画像を選択する。元画像を選択する順序は、例えば撮像順、ファイル名順等である。以下選択された元画像を格納しているＥｘｉｆファイルを対象ファイルという。

ステップＳ３１６では、制御部３７は、リムーバブルメモリコントローラ４４及び圧縮・伸張部２８と協働し、対象ファイルに格納されているサムネイル画像を伸張しＲＡＭ３２に格納する。
ステップＳ３１８では、制御部３７は、グラフィックコントローラ３４と協働してＬＣＤ３６の画面にサムネイル画像を表示する。

ステップＳ３２０、ステップＳ３２２では、制御部３７は、次画像選択操作及び修整要求を待つ。制御部３７は次画像選択操作を受け付けるとステップＳ３１４の処理に戻る。制御部３７は修整要求を受け付けるとステップＳ３２６の処理に進む。修正要求は、例えばメニューボタン５８が押されると受け付けられる。

ステップＳ３２６では、制御部３７は修整条件設定画面をＬＣＤ３６の画面に表示する。修整条件設定画面は、例えば図６（Ｂ）、図６（Ｃ）に示す画面である。
制御部３７は、修整条件設定操作が行われると（ステップＳ３２８）、修整条件設定操作に応じて修整条件を設定する（ステップＳ３３０）。画像処理条件設定操作が行われなければ、制御部３７はステップＳ３２０の処理に戻る。修整条件は、例えばシャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、カラーバランス補正、シーンモード補正、解像度変換、圧縮などの処理を実行するための条件である。

ステップＳ３３１では、制御部３７は、圧縮・伸張部２８と協働し、対象ファイルの主画像である元画像を伸張しＲＡＭ３２に格納する。
ステップＳ３３２では、制御部３７は、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、修整条件に基づいて元画像を修整することにより出力画像を生成する。

ステップＳ３３３では、制御部３７は、修整条件と整合しない属性条件データを特定する。具体的には例えば、制御部３７は、第一実施例と同様に修整条件とその修整条件に整合しない属性データとを関連付けるテーブル（図７参照）を参照することにより、修整条件と整合しない属性データを特定する。
ステップＳ３３４では、制御部３７は、第一実施例と同様にして修整条件と整合しない属性データを無効データに変更する（図８参照）。
ステップＳ３３６では、制御部３７は、リムーバブルメモリコントローラ４４と協働して、元画像を出力画像で置換し、修整条件と整合しない属性データを無効データに変更してから、対象ファイルをリムーバブルメモリ４８に保存する。

尚、第三実施例は、リムーバブルメモリ、ハードディスク等の記憶媒体にアクセス可能なＰＣ、マルチファンクションプリンタ等に適用することもできる。

（第四実施例）
図１２は、第四実施例による画像処理装置としてのＰＣ２を示すブロック図である。
ＣＰＵ１５８は、ハードディスク装置（ＨＤＤ）１６４に格納されている画像処理プログラムを実行することにより、ＰＣ２を画像処理装置として機能させる。アクセスユニットととしてのハードディスクコントローラ１６３は、ＨＤＤ１６４とＲＡＭ１６０との間のデータ転送を制御する。ＲＯＭ１６２には、ＰＣ２の起動プログラムが格納されている。表示ユニットとしてのグラフィックコントローラ１５２は、ＲＡＭ１６０に格納されている画像及びテキストをディスプレイ１５０の画面に表示する。リムーバブルメモリコントローラ１６６は、カード型フラッシュメモリ、ＣＤ等のリムーバブルメモリとＲＡＭ１６０との間のデータ転送を制御する。外部インタフェースコントローラ１５６は、ＰＣ２と外部のシステムとを通信可能に接続する。ＰＣ２と外部のシステムとの通信は、有線通信でも無線通信でもよい。リムーバブルメモリコントローラ１６６と外部インタフェースコントローラ１５６は、アクセスユニットとしても機能し得る。設定ユニットとしての操作部１５２は、キーボード等の入出力装置から構成されている。

図１３は、ＰＣ２による画像処理の流れを示すフローチャートである。図１３に示す処理は、ＲＡＷデータが格納されているファイルを現像の対象ファイルとして選択すると開始される。
ステップＳ４００では、ＰＣ２は対象ファイルを開く。具体的には例えばＣＰＵ５８は、ＨＤＤ１６４や、リムーバブルメモリコントローラ１６６に接続されているリムーバブルメモリや、ディジタルカメラに接続されているリムーバブルメモリ等に格納されているファイルを開き、ＲＡＷデータと、属性データと、ＲＡＷデータからＤＳＣ等によって生成された低解像度の画像をＲＡＭ１６０に格納する。

ステップＳ４０２では、ＰＣ２は表示用画像をディスプレイ１５０の画面に表示する。具体的には例えば、外部のシステムによって生成された低解像度の画像は表示サイズに応じてＣＰＵ１５８によって拡大縮小される。拡大縮小された画像はグラフィックコントローラ１５２によってディスプレイ１５０の画面に表示される。具体的には例えばＣＰＵ１５８は、図１４に示すダイアログウィンドウに表示用画像１６８を表示する。表示用画像は、対象ファイルのＲＡＷデータをデモザイク処理して生成してもよい。ＣＰＵ１５８は、表示用画像をデモザイク処理により生成する場合、例えば対象ファイルに格納されている属性データに基づいて生成条件を自動設定する。

ステップＳ４０４では、ＰＣ２はユーザの設定要求に応じて生成条件を設定する。具体的には例えば、シーン補正、露出補正、ホワイトバランス補正の条件を設定するためのドロップダウンメニュー１７０、１７２、１７４が操作されると、ＣＰＵ１５８はドロップダウンメニュー１７０、１７２、１７４によって選択された各項目の値に応じて生成条件を設定する。
ステップＳ４０６では、ＰＣ２は生成条件に基づいて対象ファイルのＲＡＷデータから出力画像を生成する。具体的にはＣＰＵ１５８はプレゲイン補正、ホワイトバランス補正、オプティカルブラック補償処理、デモザイク処理、疑色抑制処理、露出補正、解像度変換、及び圧縮を実行することにより出力画像を生成する。

生成条件が補正無しである項目については、ＣＰＵ１５８は対象ファイルの属性データによって一義的に決まる生成条件をプレゲイン補正、ホワイトバランス補正、オプティカルブラック補償処理、デモザイク処理等に適用する。具体的には例えば、ホワイトバランスの項目において属性データが「晴れ」であったとすれば、晴れの日の太陽光下でＤＳＣによって撮像された白を表す画素の値が白になるようにＲＧＢのゲインを調整する。

生成条件が補正無しでない項目については、ＣＰＵ１５８は、設定された生成条件をホワイトバランス補正、露出補正、シャープネス補正、カラーバランス補正等に適用する。具体的には例えば、シーンの項目で「ランドスケープ」が選択された場合、ＣＰＵ１５８は、ＲＡＷデータに対してデモザイク処理等を施して中間画像を生成し、中間画像に対して鮮鋭化処理を施す。また例えば、露出の項目で「＋１」が選択された場合、ＣＰＵ１５８は、ＲＡＷデータに対してデモザイク処理等を施して中間画像を生成し、中間画像に対して明度を上げるトーンカーブ補正を施す。

ステップＳ４０８では、ＰＣ２は出力画像を画面に表示する。具体的には例えば、ＣＰＵ１５８は出力画像を伸張し、表示サイズに応じて出力画像を拡大縮小することにより表示用画像を生成し、図１４に示すダイアログウィンドウに表示されている表示用画像を、新たに生成された表示用画像に更新する。

ステップＳ４０４、４０６、４０８の処理は、ユーザがやり直しを要求するたびに繰り返される（ステップＳ４１０）。具体的には例えば、図１４に示す現像ボタン７６がクリックされるまで、ドロップダウンメニュー１７０、１７２、１７４が操作される度にステップＳ４０４、４０６、４０８の処理が繰り返される。

ステップＳ４１２では、ＰＣ２は生成条件と整合しない属性データを特定する。具体的には例えば、シーンのドロップダウンメニュー１７０で「ランドスケープ」が選択され、その結果、画像を鮮鋭化する生成条件が設定された場合、絞りの属性データは生成条件と整合しなくなる。また例えば露出補正条件を設定するためのドロップダウンメニュー１７２で「＋１」が選択され、その結果、画像の明度を上げる生成条件が設定された場合、シャッタスピード及び絞りの属性データは生成条件と整合しなくなる。また例えば、ホワイトバランスの属性データが「晴れ」で、ホワイトバランス補正条件を設定するためのドロップダウンメニュー１７４によって「蛍光灯」が選択された場合、晴れの日の太陽光下でＤＳＣによって撮像された白を表す画素の値が白になるような条件ではＲＧＢのゲインが調整されないため、ホワイトバランスの属性データは生成条件と整合しなくなる。どのような生成条件がユーザの設定要求に応じて設定された場合にどの項目において属性データと生成条件とが整合しなくなるかを、ＣＰＵ１５８は第一実施例と同様にテーブルを参照することによって特定する。

ステップＳ４１４では、ＰＣ２は生成条件と整合しない属性データを無効データに変更する。具体的には例えば、ＣＰＵ１５８は、ＲＡＭ１６０に格納されている属性データのうち、ステップＳ４１２で特定した項目の属性データを無効データに変更する。
ステップＳ４１６では、ＰＣ２は属性データ及び無効データを添付した出力画像を記憶媒体に保存する。具体的にはＣＰＵ１５８はＲＡＭ１６０に格納されている属性データ及び無効データをヘッダ領域に格納し、出力画像をデータ領域に格納したファイルをリムーバブルメモリコントローラ１６６、ＨＤＤ１６４等によってリムーバブルメモリやハードディスクに保存する。

第四実施例によると、ＲＡＷデータを生成したシステムとは別のシステムでＲＡＷデータから画像を生成する場合に、生成された画像に撮像条件等を表す属性データを添付することができる。また、属性データと生成条件とが整合しない項目については無効データが画像に添付されるため、画像に添付された属性データを参考にして不適切な撮像条件をユーザが設定することが防止される。

本発明の第一実施例に係るフローチャート。 本発明の第一実施例に係るブロック図。 本発明の第一実施例に係る背面図。 本発明の第一実施例に係るデータ構造図。 本発明の第一実施例に係るファイル構造図。 本発明の第一実施例に係る画面遷移図。 本発明の第一実施例に係る模式図。 本発明の第一実施例に係る模式図。 本発明の第二実施例に係るフローチャート。 本発明の第二実施例に係るフローチャート。 本発明の第三実施例に係るフローチャート。 本発明の第四実施例に係るブロック図。 本発明の第四実施例に係るフローチャート。 本発明の第四実施例に係る模式図。

符号の説明

１：ＤＣＳ（画像処理装置）、２：ＰＣ（画像処理装置）、１５：撮像部（撮像ユニット）、２４：色処理部（生成ユニット）、２６：解像度変換部（生成ユニット）、２８：圧縮・伸張部（生成ユニット）、３４：グラフィックコントローラ（表示ユニット）、３７：制御部（設定ユニット、生成ユニット、表示ユニット、アクセスユニット）、４０：操作部（設定ユニット）、４４：リムーバブルメモリコントローラ（アクセスユニット）、１６３：ＨＤＤコントローラ（アクセスユニット）、１５４：操作部（設定ユニット）

Claims (9)

1. 画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスするアクセスユニットと、
   前記ＲＡＷデータから画像を生成するための生成条件を設定する設定ユニットと、
   前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する画像生成ユニットと、
   を含む画像処理装置。
2. 前記ＲＡＷデータから生成された表示用画像を画面に表示する表示ユニットをさらに備え、
   前記設定ユニットは、前記表示用画像が前記画面に表示された後に前記生成条件の設定要求を受け付け、前記設定要求に応じて前記生成条件を設定する、
   請求項１に記載の画像処理装置。
3. 前記表示ユニットは、前記アクセスユニットが前記表示用画像に対応する前記ＲＡＷデータにアクセスできる場合、前記表示用画像に対応する前記ＲＡＷデータから前記出力画像を生成できることを表す案内表示を前記画面に表示させる、
   請求項２に記載の画像処理装置。
4. 前記案内表示は、前記表示用画像に対応する前記ＲＡＷデータから前記出力画像を生成する処理をユーザが要求するための操作対象である、
   請求項３に記載の画像処理装置。
5. 元画像と前記元画像に添付されている属性データとにアクセスするアクセスユニットと、
   前記元画像を修整するための修整条件を設定する設定ユニットと、
   前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する修整ユニットと、
   を含む画像処理装置。
6. 画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスし、
   前記ＲＡＷデータから画像を生成するための生成条件を設定し、
   前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、
   前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、
   前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する、
   ことを含む画像処理方法。
7. 元画像と前記元画像に添付されている属性データとにアクセスし、
   前記元画像を修整するための修整条件を設定し、
   前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、
   前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、
   前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する、
   ことを含む画像処理方法。
8. 画素毎に１チャネルの濃淡レベルを表すＲＡＷデータと前記ＲＡＷデータに添付されている属性データとにアクセスするアクセスユニットと、
   前記ＲＡＷデータから画像を生成するための生成条件を設定する設定ユニットと、
   前記ＲＡＷデータから前記生成条件に基づいて出力画像を生成し、前記生成条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記生成条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する画像生成ユニットと、
   としてコンピュータを機能させる画像処理プログラム。
9. 元画像と前記元画像に添付されている属性データとにアクセスするアクセスユニットと、
   前記元画像を修整するための修整条件を設定する設定ユニットと、
   前記修整条件に基づいて前記元画像を修整することにより出力画像を生成し、前記修整条件と前記属性データとが整合する項目については前記属性データを前記出力画像に添付し、前記修整条件と前記属性データとが整合しない項目については無効データを前記出力画像に添付する修整ユニットと、
   としてコンピュータを機能させる画像処理プログラム。

Images