JP2005198016A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】 撮影した画像における所望色の部分の検出を、より適切に行えるようにすること。
【解決手段】 投光手段による投光を行わずに被写体を撮影して第１の画像を取得し（Ｓ５０１）、前記投光手段により投光を行って前記被写体を撮像して第２の画像を取得し（Ｓ５０４、Ｓ５０５）、前記第１の画像と前記第２の画像に基づいて、前記第１の画像中の特定色の画素を抽出する（Ｓ５０５〜Ｓ５０７）。
【選択図】 図７

Description

本発明は、画像処理方法及び画像処理装置に関する。

従来、固体メモリ素子を有するメモリカードを記録媒体として、静止画像や動画像を記録する電子カメラ等の撮像装置は既に市販されており、撮影時にオートホワイトバランス補正機能を備える電子カメラも販売されている。

これらの電子カメラによれば、撮影した場所の光源が異なるために撮影した画像のカラーバランスが崩れていても、自動で光源色を特定して、カラーバランス補正を行うようになっており、撮影者は光源色を意識せずとも適正色での撮影ができるようになっている（例えば、特許文献１参照）。

特開２０００−３５０２３２号公報

このような従来の電子カメラ等の撮像装置におけるオートホワイトバランス補正方法では、撮影した画像から白と思われる部分を抽出し、抽出した白部分のカラーバランスを整えることで画像全体のカラーバランスを補正していた。しかし、撮影した画像から白部分を抽出するときに誤って有彩色を白と誤検出してしまい、補正処理した画像のカラーバランスが不適正となる場合があるという問題があった。

本発明は上記問題点を鑑みてなされたものであり、撮影した画像における所望色の部分の検出を、より適切に行えるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の画素を含む撮像手段と、投光手段と、同じ被写体に対して、前記投光手段による投光を行わずに前記撮像手段により撮像した第１の画像と、前記投光手段により投光を行って撮像した第２の画像とに基づいて、前記第１の画像中の特定色の画素を抽出する抽出手段とを有する。

また、本発明の画像処理方法は、投光手段による投光を行わずに被写体を撮影し、第１の画像を取得する第１の撮像工程と、前記投光手段により投光を行って前記被写体を撮像し、第２の画像を取得する第２の撮像工程と、前記第１の画像と前記第２の画像に基づいて、前記第１の画像中の特定色の画素を抽出する抽出工程とを有する。

上記構成によれば、撮影した画像における所望色の部分の検出を、より適切に行うことが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態における画像処理装置の構成を示す図である。

図１において、１００は本実施の形態における画像処理装置である。画像処理装置１００は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）の何れであってもよい。実施の形態では、画像処理装置１００がデジタルカメラである場合を説明する。

画像処理装置１００内において、１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及び測距制御部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＬＣＤ（Liquid Crystal Display）等を有する画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８に表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。なお、画像表示部２８は、システム制御部５０の指示により表示のＯＮ又はＯＦＦが可能である。画像表示部２８の表示をＯＦＦにした場合、画像処理装置１００の電力消費を大幅に低減することができる。また、画像表示部２８は、合焦、手振れ、フラッシュ充電、シャッタースピード、絞り値、露出補正等に関する情報をシステム制御部５０からの指示に従って表示する。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに充分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ３０に書き込むことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２はメモリ３０から読み出した画像データを所定の画像圧縮方法（適応離散コサイン変換（ＡＤＣＴ）等）に従って画像圧縮し、画像圧縮された画像データをメモリ３０に書き込む機能及びメモリ３０から読み出した画像データを伸長し、伸長した画像データをメモリ３０に書き込む機能を有する圧縮伸長部である。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はレンズを保護するためのバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び測距制御部４２はＴＴＬ方式を用いて制御されており、上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び測距制御部４２を制御する。

５０は画像処理装置１００全体を制御するシステム制御部であり、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等をユーザに報知する、表示装置やスピーカー等の通知部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置される。例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮伸長部３２で画像圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロ／非マクロ切り替えボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

６６は、後述する白画素の検出時に用いられ、被写体に光を投光する投光装置である。

８０は電源制御部で、電池検出回路、ＤＣ−ＣＤコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体検知部である。

尚、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。勿論、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としてもよい。

インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）（登録商標）カード等の規格に準拠したものを用いて構成することが可能である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護装置であるバリアである。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。

１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００及び２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００及び２１０は、それぞれ半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２と、画像処理装置１００とのインタフェース２０４及び２１４と、画像処理装置１００と接続を行うコネクタ２０６及び２１６とを備えている。

次に、図２〜図６を参照して、本実施の形態における上記構成を有する画像処理装置１００の動作を説明する。

図２及び図３は本実施の形態の画像処理装置１００の主ルーチンを説明するフローチャートである。

図２において、電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。

次にステップＳ１０３でシステム制御部５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば、各表示部の表示を終了状態に変更し、バリア１０２を閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０５）、ステップＳ１０３に戻る。

また、ステップＳ１０３でモードダイアル６０がその他のモードに設定されていたならば、システム制御部５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならばステップＳ１０３に戻る。

また、ステップＳ１０３でモードダイアル６０が撮影モードに設定されていたならば、ステップＳ１０６に進む。

ステップＳ１０６において、システム制御部５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し、問題があるならば（ステップＳ１０６でＮＯ）通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

一方、電源８６に問題が無いならば（ステップＳ１０６でＹＥＳ）、システム制御部５０は記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体２００或いは２１０に対する画像データの記録再生動作に問題があるか否かを判断し、問題があるならば（ステップＳ１０７でＮＯ）通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（ステップＳ１０７でＹＥＳ）、通知部５４を用いて画像や音声により画像処理装置１００の各種設定状態をユーザーに知らせる（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮの場合には、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態をユーザーに知らせるようにしてもよい。

次にステップＳ１１６でシステム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する。

スルー表示状態に於いては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に逐次表示することにより、電子ファインダ機能を実現している。

ただし、上述したように、システム制御部５０の指示により画像表示部２８がＯＦＦに設定されている場合には、スルー表示は行わない。

ステップＳ１１９において、シャッタースイッチＳＷ１の状態をチェックし、シャッタースイッチＳＷ１がＯＦＦならば、ステップＳ１０３に戻る。シャッタースイッチＳＷ１がＯＮならば、Ｓ１２０に進む。ステップＳ１２０では、システム制御部５０は、測距処理を行ってレンズ１０の焦点を被写体に合わせると共に、測光処理を行って絞り値及びシャッター時間を決定する。測光の結果、必要であればフラッシュ・フラグをセットし、フラッシュの設定も行う。このステップＳ１２０で行う測距・測光・測色処理の詳細は図４を用いて後述する。

測距・測光・測色処理（ステップＳ１２０）を終えると、ステップＳ１２１に進む。

次のステップＳ１２１でシャッタースイッチＳＷ２が押されずに、さらにシャッタースイッチＳＷ１も解除されたならば（ステップＳ１２２でＯＦＦ）、ステップＳ１０３に戻る。シャッタースイッチＳＷ２が押されずに（ステップＳ１２１でＯＦＦ）、シャッタースイッチＳＷ１がＯＮのままである場合には（ステップＳ１２２でＯＮ）、ステップＳ１２１に戻る。また、シャッタースイッチＳＷ２が押されたならば（ステップＳ１２１でＯＮ）、ステップＳ１２３に進む。

ステップＳ１２３において、システム制御部５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御部２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する。なお、ステップＳ１２３で行われる撮影処理の詳細は、図５を参照して詳細に後述する。

ステップＳ１２３の撮影処理終了後、ステップＳ１２４に進み、システム制御部５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御部２２そして必要に応じて画像処理部２０を用いて各種画像処理を、また、圧縮伸長部３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ１２４）。このステップＳ１２４における記録処理の詳細は図６を用いて後述する。

ステップＳ１２４の記録処理が終了したならば、ステップＳ１２５でシャッタースイッチＳＷ２の状態を調べ、ＯＦＦであればステップＳ１０３に戻り、ＯＮであれば、ステップＳ１２６に進んで連写モードが設定されているかどうかを確認する。連写モードが設定されていなければステップＳ１２５に戻ってシャッタースイッチＳＷ２が解除されるのを待ってステップＳ１０３に戻り、設定されていれば、ステップＳ１２３に戻って、次の撮影を行う。

図４は、図３のステップＳ１２０における測距・測光・測色処理の詳細なフローチャートを示す。

ステップＳ２０１において、システム制御部５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理部２０に画像データを逐次読み込む。この逐次読み込まれた画像データを用いて、画像処理部２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。

なお、上述したように、ここでの各処理は撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出して、演算に用いる。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央及び左右方向の被写体でのそれぞれの合焦位置を検出する評価モードの異なるモード毎に最適な演算を行うことが可能となる。

システム制御部５０は、画像処理部２０での演算結果を用いて露出（ＡＥ）が適正と判断されるまで（ステップＳ２０２でＹＥＳとなるまで）、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。ステップＳ２０４では、ステップＳ２０３のＡＥ制御で得られた測定データを用いて、システム制御部５０はフラッシュが必要か否かを判断し、フラッシュが必要ならばフラッシュ・フラグをセットし、フラッシュ４８を充電してから（ステップＳ２０５）、ステップＳ２０１に戻る。フラッシュが必要無ければ、そのままステップＳ２０１に戻る。

露出（ＡＥ）が適正と判断したならば（ステップＳ２０２でＹＥＳ）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

次に、画像処理部２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御部５０はホワイトバランスが適正と判断されるまで（ステップＳ２０６でＮＯの間）、画像処理部２０を用いて色処理のパラメータを調節してＡＷＢ制御（ステップＳ２０７）を行う。このＡＷＢ制御については、図７を参照して詳しく後述する。

ホワイトバランスが適正と判断したならば（ステップＳ２０６でＹＥＳ）、ホワイトバランス補正データ（ホワイトバランスゲイン）をシステム制御部５０の内部メモリ或いはメモリ５２に記憶し、ステップＳ２０８に進む。

ステップＳ２０８では、例えば、ホワイトバランス補正データのＲＧＢの各ゲインから輝度色差を求め、求めた輝度を用いるように、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御部５０は測距（ＡＦ）が合焦と判断されるまで（ステップＳ２０８でＮＯの間）、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。

測距（ＡＦ）が合焦と判断したならば（ステップＳ２０８でＹＥＳ）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光・測色処理ルーチンＳ１２０を終了する。

図５は、図３のステップＳ１２３における撮影処理の詳細なフローチャートを示す。

システム制御部５０は、図４で説明したようにしてシステム制御部５０の内部メモリ或いはメモリ５２に記憶された測光データに従い、露光制御部４０を制御して、絞り機能を有するシャッター１２を絞り値に応じて開放して（ステップＳ３０１）、撮像素子１４の露光を開始する（ステップＳ３０２）。

次に、フラッシュ・フラグによりフラッシュ４８が必要か否かを判断し（ステップＳ３０３）、必要な場合はステップＳ３０４に進んでフラッシュ４８を発光させる。必要でなければ、フラッシュ４８を発光させずにステップＳ３０６に進む。

システム制御部５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ３０５）、露光時間が終了すると、ステップＳ３０６に進んでシャッター１２を閉じて、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御部２２を介して、メモリ３０に画像データを書き込む（ステップＳ３０７）。

ステップＳ３１０において、設定された撮影モードに応じて、色処理を順次行った後、メモリ３０に処理を終えた画像データを書き込む。

一連の処理を終えたならば、撮影処理ルーチン（ステップＳ１２０）を終了する。

図６は、図３のステップＳ１２４における記録処理の詳細なフローチャートを示す。

システム制御部５０は、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮伸長部３２で行った後（ステップＳ４０２）、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ画像圧縮した画像データの書き込みを行う（ステップＳ４０３）。記録媒体への書き込みが終わったならば、記録処理ルーチン（ステップＳ１２４）を終了する。

図７は、図４のステップＳ２０７におけるＡＷＢ制御処理の詳細なフローチャートを示す。

ステップＳ５０１において、システム制御部５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理部２０に撮影画像データを読み込む。この読み込まれた画像データを用いて、画像処理回路２０での演算結果とステップＳ２０３で得られた絞りとシャッター速度の情報を用いて被写体輝度を算出する。被写体輝度が所定値以下であれば（ステップＳ５０２でＹＥＳ）、投光装置６６により被写体に光を投光して（ステップＳ５０３）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理部２０に撮影画像データを読み込む（ステップＳ５０４）。

次に、ステップＳ５０５において、ステップＳ５０１で取り込んだ投光前画像と、ステップＳ５０４で取り込んだ投光後画像間の差分を求める。ここでは、各画素について
投光後画像の画素値−投光前画像の画素値

の減算を行う。
撮像素子１４が原色フィルターにより覆われている場合に、この減算で求められる各色毎の差分をΔＲ、ΔＧ、ΔＢとすると、この差分がそれぞれ所定範囲に入るかどうかにより特定色を抽出することができるが、ここではホワイトバランス制御であるため、白色の画素（以下、「白画素」と呼ぶ。）を検出する場合について説明する。

白色を特定するために、予め工場出荷時に基準白色の物体に投光装置を発光させてその画像を取り込み、Ｒ、Ｇ、Ｂ各色の基準レベルＲｗ、Ｇｗ、Ｂｗを不揮発メモリ５６に記憶しておく。ステップＳ５０６では、基準レベルＲｗ、Ｇｗ、Ｂｗを不揮発メモリ５６から読み出し、ステップＳ５０７において、ステップＳ５０５で求めた差分ΔＲ、ΔＧ、ΔＢが、以下の式（１）により規定される基準レベルＲｗ、Ｇｗ、Ｂｗに基づく所定範囲内に収まっていたら、その画素の色を白色と判定し、白画素として抽出する。
０．９ x Ｒｗ ＜ ΔＲ ＜ １．１ x Ｒｗ
０．９ x Ｇｗ ＜ ΔＧ ＜ １．１ x Ｇｗ
０．９ x Ｂｗ ＜ ΔＢ ＜ １．１ x Ｂｗ …（１）

上記ステップＳ５０５からステップＳ５０７までの処理の概念を図８及び図９に示す。

図８及び図９は、不揮発メモリ５６に記憶された基準レベルＲｗ、Ｇｗ、Ｂｗが均等（１：１：１）である場合を示している。

図８は白色被写体の場合を示し、（ａ）は投光前画像の画素信号、（ｂ）は投光後画像の画素信号、（ｃ）は、投光後画像と投光前画像の画素信号の差分、即ち、（ｂ）の画素信号の内、投光装置６６の反射光成分を示す。このように、（ｃ）に示す画素信号の差分が不揮発メモリ５６に記憶された白色被写体に発光したときの反射光レベルＲｗ、Ｇｗ、Ｂｗとほぼ一致しているので（それぞれ、上記式（１）を満たす範囲内にある）、対象としている画素は白と判定することができる。

一方、図９は有彩色被写体の場合を示す。図８と同様に、（ａ）は投光前画像の画素信号、（ｂ）は投光後画像の画素信号、（ｃ）は、投光後画像と投光前画像の画素信号の差分、即ち、（ｂ）の画素信号の内、投光装置６６の反射光成分を示す。この場合、（ｃ）に示す画素信号の差分が発光前と発光後の差分が不揮発メモリ５６に記憶された白色被写体に発光したときの反射光レベルＲｗ、Ｇｗ、Ｂｗに一致していないので（ΔＧは式（１）の範囲内にあるが、ΔＲとΔＢは範囲外）、対象としている画素は白でないと判定される。

システム制御回路５０は、上述した白判定処理を画像中の全画素に対して行い、白画素を抽出し、ステップＳ５０９に進む。

なお、撮像素子１４が例えば図１０に示すようなベイヤー配列の原色カラーフィルタに覆われている場合、各画素毎ではなく、太枠で囲われたようなＲ、Ｇ、Ｇ、Ｂの４画素毎に判断を行うようにしてもよい。また、４画素毎に限るものでは無く、画素の組み合わせはカラーフィルタの配列によって適宜変更すればよい。また、色補間を行って各画素がＲ、Ｇ、Ｂデータを全て持つようにした後に、上述した白画素抽出を行うことも勿論可能である。

一方、ステップＳ５０２において、被写体輝度が所定値以上であると判定されたときは（ステップＳ５０２でＮＯ）、外光の影響が大きく、投光装置６６の反射光を十分得られない可能性があるので、ステップＳ５０８において、投光を行わずに従来どおりの方法で白画素を抽出し、ステップＳ５０９に進む。

ステップＳ５０９では、ステップＳ５０７またはＳ５０８で抽出された白画素を各色毎に全て加算した積分値Ｒsum、Ｇsum、Ｂsumを求める。ついでステップＳ５１０で白画素の積分値からホワイトバランスゲインＲgain、Ｇgain、Ｂgainを以下の式（２）により求める。
Ｒgain ＝Ｒsum／（（Ｒsum＋Ｇsum＋Ｂsum）／３）
Ｇgain ＝Ｇsum／（（Ｒsum＋Ｇsum＋Ｂsum）／３）
Ｂgain ＝Ｂsum／（（Ｒsum＋Ｇsum＋Ｂsum）／３） …（２）

ステップＳ５１０でホワイトバランスゲインを求めた後、図４のステップＳ２０７へリターンする。ステップＳ５１０で求めたホワイトバランスゲインを用いてＲＧＢ信号を以下の式（３）にてＹＣｒＣｂ信号に変換する。

なお、上記式（３）において、a〜lはＣＣＤの分光感度によって決定される定数である。ステップＳ５０７やＳ５０８において抽出された白画素のＣｒＣｂ信号が共に０であると、白画素が正しく白に再現されていると言えるため、ホワイトバランス処理が適正であると判断する。
ステップＳ２０６においてホワイトバランスが適正と判断されると、システム制御部５０の内部メモリ或いはメモリ５２に記憶され、撮影時に、図５のステップＳ３１０における色処理で用いられる。

このように、この３色のホワイトバランスゲインを基に画像処理（ホワイトバランス補正）を行うことで、適切なカラーバランスの画像を得ることができる。

なお、ホワイトバランス補正値の求め方は上記に限るものではなく、別の方法を用いても良い。例えば、光源の色温度に応じたホワイトバランス補正値を予め不揮発性メモリ５６などに記憶しておき、ステップＳ５０７またはＳ５０８で抽出した白画素の、投光装置６６による投光をせずに得られた画素信号（例えば、図８（ａ）に示す信号）を用いて公知の方法で光源の色温度を検出し、検出した色温度に応じてホワイトバランス補正値を選択する方法が考えられる。

また、上記実施の形態の説明に於いては、輝度が所定値未満と以上で白画素抽出処理方法を変えたが、投光装置６６の発光量が十分得られるような時は、常に投光装置６６を発光させて白画素の抽出を行っても良い。

また、上記実施の形態では、ホワイトバランス用に所定色の画素を抽出するために白画素を抽出したが、抽出するのは白画素に限るものではなく、Ｒｗ、Ｇｗ、Ｂｗを所望の値に設定することで所望の有彩色の画素を抽出して、有彩色のカラーバランスを整えるようにしてもでも構わない。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２乃至図７に示すフローチャートに対応するプログラムコードが格納されることになる。

本発明の一実施の形態における画像処理装置の構成を示すブロック図である。 本発明の一実施の形態における画像処理装置の主ルーチンのフローチャートである。 本発明の一実施の形態における画像処理装置の主ルーチンのフローチャートである。 本発明の一実施の形態における測距・測光・測色処理のフローチャートである。 本発明の一実施の形態における撮影処理のフローチャートである。 本発明の一実施の形態における記録処理のフローチャートである。 本発明の一実施の形態におけるＡＷＢ制御処理のフローチャートである。 本発明の一実施の形態における白抽出処理の概要を示す図である。 本発明の一実施の形態における白抽出処理の概要を示す図である。 原色カラーフィルタの配列例及び本発明の一実施の形態における白抽出処理の処理単位の一例を示す図である。

符号の説明

１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理部、２２：メモリ制御部、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮伸長部、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御部、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：投光装置、７０：操作部、８０：電源制御部、８２、８４：コネクタ、８６：電源、９０、９４：インタフェース、９２、９６：コネクタ、９８：記録媒体検知部、１００：画像処理装置、１０２：バリア、１０４：光学ファインダ、１１０：通信部、１１２：コネクタ（またはアンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ

Claims (12)

1. 投光手段による投光を行わずに被写体を撮影し、第１の画像を取得する第１の撮像工程と、
   前記投光手段により投光を行って前記被写体を撮像し、第２の画像を取得する第２の撮像工程と、
   前記第１の画像と前記第２の画像に基づいて、前記第１の画像中の特定色の画素を抽出する抽出工程と
   を有することを特徴とする画像処理方法。
2. 前記抽出工程は、
   前記第１の画像と前記第２の画像の画素値の差を画素毎に求める工程と、
   当該差が予め決められた所定範囲内にある場合に、対応する画素を前記特定色の画素として抽出する工程と
   を有することを特徴とする請求項１に記載の画像処理方法。
3. 前記所定範囲は、前記投光手段により抽出する特定色の被写体に対して投光を行って予め撮像した画像中の被写体の画素値に基づいて設定されることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記画素値は記憶手段に記憶されており、前記抽出工程は、前記記憶手段から前記画素値を読み出す工程を有することを特徴とする請求項３に記載の画像処理方法。
5. 前記第１の画像に基づいて、前記被写体の輝度を求める輝度検出工程と、
   当該輝度が所定輝度よりも低い場合に、前記抽出工程を駆動するように制御する制御工程と
   を更に有することを特徴とする請求項１乃至４のいずれかに記載の画像処理方法。
6. 複数の画素を含む撮像手段と、
   投光手段と、
   同じ被写体に対して、前記投光手段による投光を行わずに前記撮像手段により撮像した第１の画像と、前記投光手段により投光を行って撮像した第２の画像とに基づいて、前記第１の画像中の特定色の画素を抽出する抽出手段と
   を有することを特徴とする画像処理装置。
7. 前記抽出手段は、前記第１の画像と前記第２の画像の画素値の差を画素毎に求め、当該差が予め決められた所定範囲内にある場合に、対応する画素を前記特定色の画素として抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記所定範囲は、前記投光手段により抽出する特定色の被写体に対して投光を行って予め撮像した画像中の被写体の画素値に基づいて設定されることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記画素値を記憶した記憶手段を更に有することを特徴とする請求項８に記載の画像処理装置。
10. 前記第１の画像に基づいて、前記被写体の輝度を求める輝度検出手段と、
    当該輝度が所定輝度よりも低い場合に、前記抽出手段を駆動するように制御する制御手段と
    を更に有することを特徴とする請求項６乃至９のいずれかに記載の画像処理装置。
11. 請求項１乃至５のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images