以下、添付の図面を参照して本発明の好適な実施形態について説明する。
<第1実施形態>
図1は、本実施形態による撮像装置100(本例ではデジタルカメラとする)の構成例を示す図である。実空間の像は撮影レンズ101と、絞り機能を備えるシャッター102とを経て、光学像を電気信号に変換する撮像素子103上に結像される。A/D変換部105は撮像素子103から出力されるアナログ信号をデジタル信号に変換する。タイミング発生部106は、メモリ制御部108及びシステム制御部109により制御され、撮像素子103、A/D変換部105及びD/A変換部107にクロック信号や制御信号を供給する。
画像処理部110は、A/D変換部105からのデータ或いはメモリ制御部108からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部110は、撮像した画像データを用いて所定の演算処理を行う。システム制御部109は画像処理部110の演算結果に基づいて露光制御部111や測距制御部112を制御し、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。さらに、画像処理部110は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
メモリ制御部108は、A/D変換部105、タイミング発生部106、D/A変換部107、画像処理部110、画像表示メモリ113、メモリ114、圧縮・伸長部115を制御する。A/D変換部105から出力されたデータは画像処理部110とメモリ制御部108を介して、或いはメモリ制御部108のみを介して、画像表示メモリ113或いはメモリ114に書き込まれる。なお、画像表示メモリ113に画像データを書き込む際には、画像表示部116が備える表示器の解像度に応じて間引きされて書き込まれる。画像表示メモリ113に書き込まれた表示用の画像データはD/A変換部107を介して画像表示用のアナログ信号となり、画像表示部116により表示される。画像表示部116はTFTLCD等で構成される。なお、画像表示部116を用いて撮像した画像データを逐次表示すれば、所謂電子ビューファインダ機能を実現することが可能である。画像表示部116は、システム制御部109の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置100の電力消費を大幅に低減することが出来る。
メモリ114は撮影した静止画像や動画像を格納するためのメモリである。メモリ114は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ114に対して行うことが可能となる。また、メモリ114はシステム制御部109の作業領域としても使用することが可能である。
圧縮・伸長部115は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する。圧縮・伸長部115はメモリ114に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ114に書き込む。
露光制御部111は、絞り機能を備えるシャッター102を制御し、フラッシュ117と連携することによりフラッシュ調光機能も有する。測距制御部112は、撮影レンズ101のフォーカシングを制御する。ズーム制御部118は撮影レンズ101のズーミングを制御する。バリア制御部119は、保護部151の動作を制御する。保護部151は、撮像装置100のレンズ101、シャッター102、撮像素子103を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。一般には、保護部151はレンズ101の保護を主たる目的とする。フラッシュ117は、AF補助光の投光機能、フラッシュ調光機能を有する。露光制御部111、測距制御部112はTTL方式を用いて制御されている。すなわち、撮像により得られた画像データを画像処理部110によって演算した演算結果に基づき、システム制御部109が露光制御部111と測距制御部112に対して制御を行っている。システム制御部109は撮像装置100の全体の制御を司る。メモリ120は、システム制御部109の動作用の定数、変数、プログラム等を記憶する。
表示部121は、システム制御部109でのプログラムの実行に応じて、文字や画像により動作状態やメッセージ等を提示する液晶表示装置(LDC)やLED等である。なお、表示部121は、動作上体やメッセージの一部を提示するための音声やブザー音等を出力可能なスピーカ或いは圧電ブザー(発音素子)等を含んでもよい。表示部121は、撮像装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置されてもよい。また、表示部121は、その一部の機能が光学ファインダ104内に設置されている。
表示部121の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体122及び123の着脱状態表示、通信I/F動作表示、日付・時刻表示、等がある。また、表示部121の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
不揮発性メモリ124は電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。125、126、127、128、129及び130は、システム制御部109の各種の動作指示を入力するための操作部を示している。これらの操作部はスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等のいずれか或いはそれらのうちの複数の組み合わせで構成される。これらの操作部について、以下に具体的に説明する。
モードダイアルスイッチ125は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定するためのスイッチである。シャッタースイッチ126は、シャッターボタン(図2の203)の操作途中(シャッターボタンの半押し)で信号SW1を出力し、シャッターボタンの操作完了(シャッターボタンの全押し)で信号SW2を出力する。信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始が指示される。また、信号SW2により、一連の撮影処理の動作開始が指示される。撮影処理では、撮像素子102から読み出した信号をA/D変換部105でデジタル変換し(露光処理)、メモリ制御部108を介してメモリ114に画像データ(RAWデータ)として書き込む、露光処理された信号を画像処理部110やメモリ制御部108で演算処理(現像処理)してメモリ114に書き込む、メモリ114から画像データを読み出して圧縮・伸長部115で圧縮を行い、記録媒体122或いは123に書き込む(記録処理)という一連の処理が行なわれる。
画像表示ON/OFFスイッチ128は、画像表示部116のON/OFFを設定する。この機能により、光学ファインダ104を用いて撮影を行う際に、TFTLCD等から成る画像表示部116への電源供給を遮断することができ、省電力を図ることが可能となる。クイックレビューON/OFFスイッチ129は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のON/OFFを設定する。なお画像表示部116をOFFとした場合におけるクイックレビュー機能(画像表示をOFFにした場合においても撮像された画像をレビュー可能とする)の設定をする機能を備えるものとする。
操作部130は各種ボタンやタッチパネル等を含み、1つのスイッチまたは複数のスイッチの組み合わせにより各種操作指示ボタンとして機能する。このような操作指示としては、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、画像削除ボタン、画像削除取消しボタン等があげられる。
電源制御部131は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部131は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部109の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源部134は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプタ等から構成される。電源部134は、コネクタ132、133を介して電源制御部131に接続される。
インタフェース135、136はメモリカードやハードディスク等の記録媒体と撮像装置100内のバスとを接続する。メモリカードやハードディスク等の記録媒体とインタフェース135、136との接続はコネクタ137、138を介してなされる。記録媒体着脱検知部139はコネクタ137及び/またはコネクタ138に記録媒体122及び/またはコネクタ123が装着されているか否かを検知する。
なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。このようなインタフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。
さらに、インタフェース135及び136、そしてコネクタ137及び138をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことを可能とすることが出来る。
光学ファインダ104は、画像表示部116による電子ビューファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことを可能とする。また、上述したように、光学ファインダ104内には表示部121の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
通信部110は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。接続部112は通信部110により撮像装置100を他の機器と接続するためのコネクタである。或いは無線通信の場合は、接続部112はアンテナである。
記録媒体122、123は、半導体メモリや磁気ディスク等から構成される記録部139、142と、撮像装置100とのインタフェース140、143、撮像装置100と接続を行うコネクタ141、144を備えている。
図2は、撮像装置100(デジタルカメラ)の斜視図である。電源スイッチ201は電源をON/OFFするためのボタンである。参照番号202、205〜209は上述した操作部130の一部を構成している。モード切り替えレバー202は、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定する。シャッターボタン203は上述のシャッタースイッチ126として機能する。LCD204は上述した画像表示部116の一部を構成し、電子ビューファインダとして機能するほか、静止画像及び/または動画像を再生して得られる画面を表示する。メニューボタン205は、撮影パラメータやカメラの設定を変更するためのメニュー画面をON、OFFさせるスイッチである。セットボタン206は、メニューボタン205の操作により表示されたメニュー画面でのメニューの選択・決定等に使用する。削除ボタン207は画像の削除を指定する。ディスプレイボタン208は上述の画像表示ON/OFFスイッチ128を構成し、LCD204における表示の有無を切り替えるためのボタンである。十字ボタン209は、この上下左右ボタンを使ってメニュー画面での項目の移動などを行ったり、再生モードでは左右ボタンを押して画像送りを行ったりするのに使用され得る。
図3は本実施形態によるデジタルカメラ100内の画像処理部110の処理を説明するブロック図である。なお、以下で説明する各処理に用いられるパラメータ値(マトリクス演算のためのパラメータや3次元ルックアップテーブルのパラメータ)はメモリ120に格納されており、画像処理部110により適宜読み出される。A/D変換部105によりA/D変換されたCCDデジタル信号に対して、まずホワイトバランス処理部301にてホワイトバランス処理が行われる。ホワイトバランス処理についてはここでは説明しないが、例えば特開2003−244723号公報に記載されている方法を用いて行うことができる。ホワイトバランス処理が行われたCCDデジタル信号は補間処理部302に供給される。本実施形態の撮像素子103は図5に示すようなベイヤー配列のカラーフィルタを有するものとする。従って、補間処理部302では、図5に示されたCCDのベイヤー配列データを図6に示されるようなR、G1、G2、Bの補間データに変換する処理が行なわれる。補間されたCCDデジタル信号はマトリクス演算処理部303に入力され、式(1)に示される4×3のマトリクス演算が行われ、Rm、Gm、Bmが求められる。
マトリクス演算処理されたCCDデジタル信号は色差ゲイン演算処理部304において色差信号にゲインがかけられる。即ち、Rm、Gm、Bm信号は式(2)に従ってY、Cr、Cb信号へと変換される。そして、得られたCr、Cb信号に式(3)に従ってゲインがかけられる。その後、式(4)(式(2)の逆行列演算)により、Rg、Gg、Bg信号へと変換される。
色差ゲイン演算処理されたCCDデジタル信号はガンマ処理部305へ送られる。ガンマ処理部305では以下の式(5)〜(7)を用いてCCDデジタル信号のガンマ変換を行う。ここで、GammaTableは1次元ルックアップテーブルである。
Rt=GammaTable[Rg] …式(5)
Gt=GammaTable[Gg] …式(6)
Bt=GammaTable[Bg] …式(7)
上記ガンマ処理が施されたCCDデジタル信号は色相補正演算処理部306へ送られる。色相補正演算処理部306は、以下の式(8)によりRt、Gt、Bt信号をY、Cr、Cb信号へ変換し、さらに式(9)によりCr、Cb、信号を補正し、その後、式(10)(式(9)の逆行列演算)により、Rh、Gh、Bh信号へ変換する。
色相補正演算処理部306で処理されたCCDデジタル信号は色差信号変換処理部307へと送られる。色差信号変換処理部307は、式(11)を用いてRh、Gh、Bh信号よりUV信号を作成する。
一方、ホワイトバランス処理部301でホワイトバランス処理が施されたCCDデジタル信号は、輝度信号作成部308にも供給される。輝度信号作成選択部308は、CCDデジタル信号を輝度信号へと変換する。例えば、図5に示すような原色フィルタの場合の輝度信号は、R、Bの信号をすべて0にして、図7に示す係数を持つ2次元フィルタ処理を施したものを輝度信号とする。なお、補色フィルタの場合の輝度信号はそのまま図7に示す係数を持つ2次元フィルタ処理を施したものを輝度信号とする。補色輝度信号処理部308で作成された輝度信号は高域強調処理部309にてエッジ強調処理され、さらにガンマ処理部310にてガンマ変換処理されてY信号が作成される。
ガンマ処理部310から出力されるY信号および、色差信号変換処理部307から出力されるU、V信号は色変換処理部311にて、Y’、U’、V’信号へと変換される。色変換処理部311では、3次元ルックアップテーブルを用いた変換処理がなされるが、詳細は後述する。
本実施形態のデジタルカメラ(撮像装置100)は、ユーザが指定した任意の色をだけを残した色変換が可能な撮影モード(以下、色残しモードという)を有する。この色残しモードでは、LCD204上に図8に示す電子ビューファインダ(EVF)画面801を表示し、リアルタイムに表示される撮像画像中の色取り込み枠802内に所望の色が入るようにして所定の操作を行うことにより、色取り込み枠802内の画像の色を指定色として決定する。具体的には例えば、図12に示されるようにユーザが取り込み枠802で中央部の物体Aを指定するとAの色が指定色として決定される。この時、物体Aと物体Bは同じ色である。そして決定された指定色だけが残り、それ以外の色成分が消去されるように色変換処理部311のルックアップテーブルが設定される。この結果、その後のEVF画面801における表示画像、及びシャッターボタン203の操作により記録される撮影画像は、図13に示されるように上記指定色を有する物体AとBの色だけが残り、それ以外の物体は色成分が除去された、無彩色(グレースケール)になるように変換されたものとなる。以下、本実施形態の色残しモードについて詳細に説明する。
まず、色残しモードにおける色残し処理について説明する。色変換処理部311では、3次元ルックアップテーブルによりYUVをY’U’V’へ変換する。本実施形態においては、3次元ルックアップテーブルの容量を減らすため、Y信号、U信号、及びV信号の最小値から最大値までを8分割した、9×9×9=729個の3次元代表格子点におけるYUV値のリスト(ルックアップテーブル)を用意し、代表格子点以外のYUV信号は補間により求めるものとする。図9は本実施形態の3次元ルックアップテーブルを概念的に示す図である。各格子点には変換後のYUV値が入ることになる。例えば、格子点1101は、(32,255,32)の点であり、変換前と変換後に変化がなければ格子点1101には(32,255,32)が割り当てられることになる。また、格子点1101が変換後では(32,230,28)のようになるのであれば、その値が当該格子点1101に入ることになる。
例えば、図9の立方格子1102内における点1103のYUV値は、立方格子1102の頂点に対応する各格子点(a〜h)のYUV値からの補間演算により求める。補間演算は以下の式(12)〜式(14)により行われる。ただし、式(12)〜式(14)において、入力YUV信号をY、U、V、そのときの出力YUV信号をYout(Y,U,V)、Uout(Y,U,V)、Vout(Y,U,V)とする。また、入力YUV信号のY、U、Vそれぞれの信号値より小さく、かつ一番近い値の代表格子点(図11ではa)の信号をYi、Ui、Viとする。さらに、代表格子点出力信号をYout(Yi,Ui,Vi)、Uout(Yi,Ui,Vi)、Vout(Yi,Ui,Vi)とし、代表格子点のステップ幅をStep(本実施形態においては32)とする。従って、例えば格子点bの信号はYi+step、Ui、Vi、格子点cの信号はYi、Ui+step、Viのようになる。
Y=Yi+Yf
U=Ui+Uf
V=Vi+Vf
Yout(Y,U,V)=Yout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Yout(Yi,Ui,Vi)×(Step−Yf)×(Step−Uf)×(Step−Vf)
+Yout(Yi+Step,Ui,Vi)×(Yf)×(Step−Uf)×(Step−Vf)
+Yout(Yi,Ui+Step,Vi)×(Step−Yf)×(Uf)×(Step−Vf)
+Yout(Yi,Ui,Vi+Step)×(Step−Yf)×(Step−Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step−Vf)
+Yout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step−Uf)×(Vf)
+Yout(Yi,Ui+Step,Vi+Step)×(Step−Yf)×(Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(12)
Uout(Y,U,V)=Uout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Uout(Yi,Ui,Vi)×(Step−Yf)×(Step−Uf)×(Step−Vf)
+Uout(Yi+Step,Ui,Vi)×(Yf)×(Step−Uf)×(Step−Vf)
+Uout(Yi,Ui+Step,Vi)×(Step−Yf)×(Uf)×(Step−Vf)
+Uout(Yi,Ui,Vi+Step)×(Step−Yf)×(Step−Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step−Vf)
+Uout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step−Uf)×(Vf)
+Uout(Yi,Ui+Step,Vi+Step)×(Step−Yf)×(Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(13)
Vout(Y,U,V)=Vout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Vout(Yi,Ui,Vi)×(Step−Yf)×(Step−Uf)×(Step−Vf)
+Vout(Yi+Step,Ui,Vi)×(Yf)×(Step−Uf)×(Step−Vf)
+Vout(Yi,Ui+Step,Vi)×(Step−Yf)×(Uf)×(Step−Vf)
+Vout(Yi,Ui,Vi+Step)×(Step−Yf)×(Step−Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step−Vf)
+Vout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step−Uf)×(Vf)
+Vout(Yi,Ui+Step,Vi+Step)×(Step−Yf)×(Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(14)
以下、上記式(12)、式(13)、及び式(14)のルックアップテーブル変換及び補間演算式を簡易的に以下のような式(15)で表すことにする。ただし、式(15)において、Y、U、Vは入力信号値を示し、LUTは図9に示すような9×9×9のルックアップテーブルを示し、Yout、Uout、Voutはルックアップテーブル変換及び補間演算した結果(図3のY’,U’,V’)を示す。即ち、色変換処理部311は以下の式(15)に示される変換処理を実行する。
(Yout,Uout,Vout)=LUT[(Y,U,V)] …式(15)
上述したように、色残しモードで指定色が決定されると、指定色を内包する立方格子が決定され、指定色の座標位置のYUV信号値はそのまま変更せずに、それ以外の座標位置のU,V信号が0となるようにその立方格子を形成する各格子点の値を変更する。例えば、図9において決定された指定色が点1103のYUV値であった場合、立方格子1102の格子点a〜hの値はそのままに、それ以外の代表格子点の値は、Y信号はそのままに、U、V信号値が無彩色を示す0となるように変更される。すなわち、指定色以外の色が全てグレースケールに変更される。そして、色変換処理部311では変更後の3次元ルックアップテーブルを用いて色変換処理を実行する。なお、以下の説明では、このような格子点の値の変更をパラメータの設定と称する。
以上のように、指定された色により3次元ルックアップテーブルの格子点データを決定して色変換を行うので、ユーザの好みの色設定を、再生する画像に対して容易に与えることができる。また、上記の色変換処理では、3次元ルックアップテーブルにおいて、変更したい色の近傍の代表格子点のみが変更される。このため、画像中の一部の色のみを残し、他の色の色信号を消す変換を容易且つ高速に実現することができる。即ち、マトリクス演算部303、色差ゲイン演算処理部304、ガンマ処理部305、色相補正演算処理部306等で利用されるパラメータを変更するものではないので、所望の色(指定色を含む色の領域)だけを残すことができる。
図4は、色残しモード撮影時における本実施形態のデジタルカメラの処理を説明するフローチャートである。なお、色残しモード以外の通常の撮影モードは一般的なデジタルカメラにおける動作と違いがない為、ここでは色残しモードについての説明に限定する。
ユーザがデジタルカメラの撮影モードを色残しモードに設定すると、ステップS401において前回の色残しモードにて設定された前回の設定パラメータが色変換処理部311のパラメータとして設定される。ステップS402においてシステム制御部109は露出制御開始タイミングか否かを判定する。露出制御開始タイミングであればステップS403において露光制御部111により露出処理を行う。この露出処理はEVFに表示するための露出設定である。この露出処理を頻繁に実行すると画面のちらつきの原因となるため、その実行間隔は時定数により設定されている。例えば、2秒に1回の割合で露出処理が行われるように設定されている。従って、この間隔でステップS402における判定が肯定となり、ステップS403で露出制御が行なわれることになる。
次に、ステップS404においてシステム制御部109はホワイトバランス制御の開始タイミングか否かを判定する。ホワイトバランス制御の開始タイミングであればステップS405へ進み、ホワイトバランス制御処理が行われる。ホワイトバランス制御処理も露出処理と同様に頻繁に実行すると画面のちらつきとなるため、例えば5秒に1回の割合で実行するように時定数が設定されている。ホワイトバランス制御処理では、ホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理部110が用いるホワイトバランス係数を更新する。
ステップS406では、ステップS403の露出制御で設定された絞り、で撮像が実行され、撮像素子からのリアルタイム出力であるスルー画像に対して画像処理部110はステップS405で設定されたホワイトバランス係数を用いて画像処理を行う。そして、ステップS407において、ステップS406で画像処理された画像データをEVFとして機能するLCD204(画像表示部116)上に表示する。
LCD204上には図8に示すEVF画面801が表示される。図8に示すように、色残しモードにおいては、LCD204上には、EVF画面801、EVF画面801内の色取り込み枠802、指定色表示枠803が表示されている。操作部130の所定操作による指定色の設定(ステップS408〜S410)および、シャッターボタン203の操作による画像の撮影(ステップS412、S413)を行うことが可能である。
まず、指定色の設定の仕方について説明する。ユーザは指定色を指定するために、カメラの方向および光学ズームを動作させ、色取り込み枠802一杯に所望の色が入るように画角を設定する。十字ボタン209の左ボタンが押されると、指定色の取り込み指示が入力されたとしてステップS408からステップS409へ進む。ステップS409では、その時点における色取り込み枠802内の画像の画素データが取得され、ステップS410ではその平均値が算出され指定色として決定される。指定色が決定されると指定色を表すパッチが指定表示枠803に表示される。
なお、上記ステップS410において色取り込み枠802内の画素値の平均が算出されるが、その際に用いる画素データは電子ビューファインダの表示用に間引かれた画像データ(画像表示メモリ113に格納されている画像データ)であってもよいし、メモリ114に格納されている画像データであってもよい。
ステップS410にて指定色が決定されると、処理はステップS411進む。ステップS411では、指定色だけ残しそれ以外の色信号を消す変換パラメータが決定される。本実施形態では、図9等により上述したように、3次元ルックアップテーブルの指定色を内包する立方格子を形成する格子点の変更値はそのままに、それ以外の格子点のUV信号が全て0となるように決定される。すなわち、指定色及び指定色を内包する立方格子に含まれる格子点値の色以外は、図14(b)のように輝度のYはそのままなのでモノクロ階調で表現される。そして、ステップS409において、色変換処理部311の3次元ルックアップテーブルを更新する。以降のEVFのための画像表示(ステップS406,S407)や撮影実行時(ステップS416,S417)における画像処理部110の画像処理では、色変換処理部311において更新された3次元ルックアップテーブルが用いられることになる。なお、上述したように撮影実行時においては、シャッターボタン203の半押し状態で信号SW1が発生して撮影のためのAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等が実行され、ユーザがシャッターボタンを押して、全押し状態で信号SW2が発生して一連の撮影処理が実行される。こうした一連の撮影処理により、画像処理部110で画像処理された指定色を残し、指定色以外の色がグレースケールに変更された画像データが、圧縮・伸張部115で圧縮処理されて記録媒体122或いは123に記録される。
また、指定色を内包する単位立方格子の値をそのままにするとしたが、指定色を含める。
なお、上記実施形態においては、指定色を1色しか設定しない例について説明したが、これに限られるものではなく、残したい指定色を複数設定可能にしてもよい。
また、本実施形態において、指定の取り込みを行うにあたり十字ボタン209の左右ボタンを用いたが、これに限られるものではない。他の操作ボタンに割り当ててもよいし、もしくは専用のボタンを設けてもよいことは明らかである。
また、本実施形態において指定色取り込み時のEVF画面中の色取り込み枠は中央付近に固定されているが、ユーザの指定により色取り込み枠をEVF画面中の任意の場所に移動することが可能なようにすることも可能である。また同様に色取り込み枠の大きさもユーザの指定により変化可能なようにすることも可能である。
また、本実施形態にける色変換処理部311の演算処理に3次元ルックアップテーブル処理と補間演算処理を用いているが、これに限られるものではない。3次元ルックアップテーブルは必要な信号値を全て持ったものであれば補間演算処理は不要である。また、指定色以外の色信号を0にすることが可能な処理であれば、例えば色空間ごとにマトリクス演算の係数を変化させるマトリクス演算処理を用いて行うことも可能である。
ここで、簡単にマトリクス演算処理を用いた処理について説明する。上記実施形態において、図9の各格子点上に変換後のYUV信号の値が設定されているが、マトリクス演算処理を用いた処理においては各格子点上に下に示す式(16)のM11〜M33の係数が格納されており、Yin、Uin、Vinに応じて、M11〜M33の係数が決定され、さらに式(16)の演算が行われYout、Uout、Voutが求められるようにしてもよい。ただし、M11〜M33の決定はYin、Uin、Vinに一番近い格子点に格納されている係数、または、上記実施形態のように、各格子点からの補間演算により求められるようにしてもよい。
<第2実施形態>
第1実施形態では、露光処理とホワイトバランス処理がそれぞれ所定の時定数で決定される時間間隔で実行されるのみである(ステップS402〜S405)。第2実施形態では、指定色を決定するための画像取り込み時(ステップS408)に通常撮影とは異なるホワイトバランス処理や露光制御処理を実行する。これにより、指定色の取り込み時の露出やホワイトバランスをより適正にして、より正確な指定色の取り込みを実現する。
以下に第2実施形態について、第1実施形態とは異なる部分について説明する。第2実施形態では、第1実施形態で説明したステップS408の色取り込み処理において、露出制御処理及びホワイトバランス処理が実行される。図10は、取り込み枠802内の画像情報を取得する際の第2実施形態による動作を説明するフローチャートであり、図4のステップS408に置き換わるものである。以下、図10を用いて第2実施形態を説明する。
十字ボタン209の左ボタンが押されると、指定色の取り込み指示が入力されたと判定され、処理はステップS408からS409へ進む。ステップS409では図10のステップS501〜S504に示される処理が実行される。
まず、ステップS501においてステップS403と同様の露出制御処理が、ステップS502においてステップS405と同様のホワイトバランス制御処理が実行される。露出制御処理では、露出が決定され、決定された露出に基づいて絞りおよびシャッタースピードが決定される(S501)。撮像装置は決定された絞りおよびシャッタースピードで撮影を行い、撮影されたデータを基にホワイトバランス制御処理を行う(S502)。
その後、ステップS503へ進み、上記露出設定で撮像を実行し、画像処理部110はホワイトバランス制御処理で決定されたホワイトバランス係数を用いたホワイトバランス処理を含む画像処理を実行し、その結果をEVFに表示する。そして、ステップS504において、ステップS503のEVF表示に用いられた画像(画像表示メモリ113或いはメモリ114に格納されている画像)より、色取り込み枠802内の画素データを取得する。ステップS410、S413では上記ステップS501〜S504の手順で取得された画素データを用いてそれぞれ指定色を決定する。
以上のように、第2実施形態では、指定色の決定時において露出処理とホワイトバランス処理を実行する点が第1実施形態と相違する。すなわち、第1実施形態では十字ボタン209の左ボタンが押された時にEVFに表示されている画像データを用いて色取り込み枠802内の画素を平均して指定色の決定が行われる。これに対して、第2実施形態においては、十字ボタン209の左ボタンが押されると、さらに露出制御やホワイトバランス制御が行われ、それらの設定に従って撮像及び画像処理された画像を用いて色取り込み枠802の画素の平均値が求められる。
また、第2実施形態によれば、指定色を決定する際に、適正露出に制御してから撮像した画像が用いられる。このため、適正な明るさで取り込まれた画像を用いて指定色を決定でき、ユーザは指定色をより正確に取り込むことが可能となる。
また、上記第2実施形態によれば、指定色を決定する際に、ホワイトバランス処理部301のパラメータを適正化してから、画像処理部110によって処理された画像が用いられる。このため、適正な色で指定色を取り込むことが可能となり、ユーザが指定色をより正確に取り込むことが可能となる。
<第3実施形態>
以下に第3実施形態を説明する。上述したように、撮像装置は通常撮影モードと、指定色を設定し、指定色以外の色信号を消す色残し撮影モードの2つのモードを有する。第3実施形態では、色残しモードと通常撮影モードとにおいて露出制御処理の実行間隔とホワイトバランス制御処理の実行間隔を変更する。すなわち、色残しモード時における露出制御処理の実行間隔とホワイトバランス制御処理のそれぞれの実行間隔を、通常撮影モード時よりも短くする。
なお、通常撮影モードにおける処理は、図4に示した処理から色変換に関わる処理、即ちステップS408〜S411を除いたものとなる。すなわち、通常撮影モードが設定されると、はじめに露出の決定が行われる。露出の決定が行われると決定された露出に基づいて絞りおよびシャッタースピードが決定され、これが当該撮像装置の絞りおよびシャッタースピードとして設定される。ここでの露出制御はEVFに表示するための画像の露出制御であり、頻繁に変更すると画面のちらつきとなるため、時定数が設定されており、例えば2秒に1回の割合で露出の制御を行うように設定されている(ステップS402,S403)。次に、設定された絞りおよびシャッタースピードで撮影されたデータを基にホワイトバランス処理が行われる。この処理も露出制御と同様に頻繁に変更すると画面のちらつきとなるため、例えば5秒に1回の割合でホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理に用いるホワイトバランス係数を更新する(ステップS404,S405)。次に、撮像が実行され、画像処理部110による画像処理を経て画像がEVFの画面上に表示される(ステップS406,S407)。ユーザがシャッターをレリーズすれば撮影動作(ステップS416,S417)を実行する。またレリーズが行われなければ、S402に戻る。
一方、色残し撮影モード時においては、指定色をより正確な色で取り込む必要があるため、図4中のステップS402,S403による露出制御処理の時定数は通常撮影モードより短く設定される。例えば、1秒に1回の割合で露出制御が行われるように設定されている。また、ステップS404,S405のホワイトバランス制御処理においても同様に通常撮影モードより短い、例えば1秒に1回の割合で実行されるように設定されている。ホワイトバランス係数を求め、ホワイトバランス係数の更新を行うように設定されている。これにより、色変換撮影モードのEVF表示のちらつきは大きくなるが、常に露出およびホワイトバランスが正しい状態に保たれるため、より正確な指定色を設定可能となる。
以上の動作を実現するために、システム制御部109では図11に示す処理が実行される。まず、ステップS601において色残しモードへ移行したか否かが検出される。色残しモードへ移行した場合はステップS602へ進み、露出制御の実行間隔を単位時間当たりMa回(上記の例では1秒に1回)に設定する。更に、ステップS603へ進み、ホワイトバランス制御処理の実行間隔を単位時間当たりMw回に設定する(上記の例では1秒に1回)。一方、色残しモードが終了した場合、例えば通常撮影モードに戻った場合は、ステップS604からステップS605へ進む。ステップS605では、露出制御の実行間隔を単位時間当たりNa回(上記の例では1秒に1/2回)に設定する。更に、ステップS606へ進み、ホワイトバランス制御処理の実行間隔を単位時間当たりNw回に設定する(上記の例では1秒に1/6回)。
以上のように、通常撮影モードにおけるEVF表示中の露出制御動作が行われる単位時間当たりの回数をNa、色残しモードにおけるEVF表示中の露出制御動作が行われる単位時間当たりの回数をMaとした場合、Na<Maとなるように設定することにより、色残しモードにおける色取り込み時の画像をより適正な露出でプレビューすることが可能となる。従って、ユーザが指定色をより正確に取り込みやすくすることができる。
すなわち、通常撮影モードにおけるホワイトバランス制御動作にかかる時間よりも色残しモードにおける色撮り込み時の露出制御動作にかかる時間を短くすることによって、撮影場所や時間、環境照度の変化に対応した適正露出での取り込みを行うことが出来る。
また、通常撮影モードにおけるEVF表示中のホワイトバランス制御動作が行われる単位時間当たりの回数をNw、色残しモードにおける色取り込み時のEVF表示中のホワイトバランス制御動作が行われる単位時間当たりの回数をMwとした場合、Nw<Mwとなるように設定することにより、色取り込み時の画像をより適正な露出でプレビューすることが可能となる。従って、ユーザが指定色をより正確に取り込みやすくすることができる。
なお、上記第2実施形態において、色残しモードを決定するための画像取り込み時における露出制御のAE測光は通常の撮影モードと同じ画像全体を用いた評価測光により行われているが、画像の色取り込み枠以外の領域が極端に暗かったり、もしくは明るかった場合においては、画面全体を考慮した評価測光では、色取り込み枠の色が適正な明るさで指定色を取り込むことができない場合がある。このような問題を解決するため、図10中のS501の露出制御処理を行う場合に、取り込み枠内の輝度が適正になるように測光方式をスポット測光に変更して、露出制御を行うようにしてもよい。このようにすれば、色取り込み枠802内の輝度をより適正になるように制御できる。
なお、上記第2実施形態において、色残しモードの指定色取り込み時に露出制御処理およびホワイトバランス制御処理を実行する実施形態について述べたが、同様に色取り込み時にオートフォーカス処理を実行するようにしてもよい。ただし、色残しモードの指定色取り込み時においては、色取り込みを高速に行うためにオートフォーカスの精度を下げるようにしてもよい。オートフォーカスの精度を下げるのは、フォーカス位置を決定するための評価信号を得るためのフォーカスレンズの駆動ステップ幅を通常撮影時の駆動ステップ幅より大きく設定することで実現することが可能である。
また、指定色の色取り込み時と本露光撮影時の露出およびホワイトバランスが大きく異なる場合に、ユーザが意図した指定色を残した撮影ができなくなる場合があるため、図14に示したようにしてAEロック(S704)及びWBロック(S707)された状態でステップS416以降の撮影動作を行うようにしてもよい。
また、WBロックは、予め白色等の無彩色の被写体(白紙画像)を取り込むことによってそこから算出されたホワイトバランス制御値を用いる白紙ホワイトバランスを設定した場合は、白紙ホワイトバランス制御値でロック(固定)して、指定色を取り込むようにしてもよい。また、上記問題を解決するために指定色の色取り込み時と本露光の露出が異ならないように、露出補正を禁止するようにしてもよい。
以上説明したように、上記各実施形態によれば、指定色をカメラで実際に取り込むことにより、決定することが可能となるため、撮像操作に伴い、容易にユーザの指定した色を残し、指定された色以外の色成分が特定の色成分値に変換される色変換が行われた特殊効果を施した画像を簡易な操作で得ることが可能となる。
(本発明に係る他の実施の形態)
なお、上述の本発明の実施形態では、指定色以外の色成分値を無彩色を示す値へ変換するパラメータを決定したが、無彩色に限らず、他の1つの有彩色に変換されるようにしても良い。すなわち、Yは変更せずにそのままの階調性を保ったまま、指定色以外がある1つの有彩色で表されるようにしても良い。
上述した本発明の実施の形態における撮像装置を構成する各手段、並びに撮像方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム(実施の形態では図3に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
さらに、以上のように得られたプログラムを記録媒体を介して、あるいはコンピュータと接続した状態で、撮像装置内のメモリに書き込まれた後、そのプログラムの指示に基づき、実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される。