JP2004229154A

JP2004229154A - ホワイトバランス制御方法及び撮像装置

Info

Publication number: JP2004229154A
Application number: JP2003016928A
Authority: JP
Inventors: Genta Sato; 玄太佐藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-01-27
Filing date: 2003-01-27
Publication date: 2004-08-12

Abstract

【課題】ホワイトバランス制御上、物体色のカラーフェリア防止を優先させるか、或いは光源色の補正を優先させるかをユーザに選択させる機能を実現し、ユーザ好みのホワイトバランス設定を可能にする。
【解決手段】光源種に対応する色分布の範囲を示す検出枠の設定に関して、複数の設定パターンを選択できる構成とし、緑などを緑らしく物体色についてカラーフェリアを防ぐことを優先させるように検出枠を規定した自然モードと、水銀灯やメタルハライド光源などの光源色の補正を優先させるように検出枠を規定した光源モードとをユーザに選択させ、選択に応じて検出枠の設定パターンを変更する。光源モード時には、葉緑シーン、低色温度シーン、高色温度シーンなどに影響する検出枠を追加することにより、自然モードの検出枠から外れたような高彩度の物体色に対しても適切なホワイトバランス補正が可能となる。
【選択図】図１３

Description

【０００１】
【発明の属する技術分野】
本発明はホワイトバランス制御方法及び撮像装置に係り、特にデジタルカメラやビデオカメラなどに好適なホワイトバランス制御技術に関する。
【０００２】
【従来の技術】
特許文献１及び特許文献２には、デジタルカメラに適用されるオートホワイトバランス（ＡＷＢ）制御方法が開示されている。これら文献に示されたデジタルカメラにおいては、撮像画面を複数のエリアに分割した各エリアごとに色情報（Ｒ／Ｇ，Ｂ／Ｇ）を求め、予め設定されている検出枠に入るエリアの個数に基づいてシーンの光源種を自動判別し、光源種に応じたホワイトバランス補正を行っている。
【０００３】
また、特許文献３には、芝生や木の葉など本来の物体色が緑色である被写体を撮影した場合に起こり得るホワイトバランスのずれ（カラーフェリア）を防止する方法が提案されている。
【０００４】
【特許文献１】
特開２０００−２２４６０８号公報
【０００５】
【特許文献２】
特開２００１−２１１４５７号公報
【０００６】
【特許文献３】
特開平８−７９７８６号公報
【０００７】
【発明が解決しようとする課題】
特許文献１及び特許文献２では、予め設定されている検出枠から外れた場合にはホワイトバランス補正をしない（デーライトに適したホワイトバランス制御を行う）システムであった。これは、低彩度色の光源色と高彩度ぎみの物体そのものの色とを分離し、光源色のみを補正するような検出枠にするためであった。
【０００８】
しかし、こうして設定された検出枠においては、葉緑のＲ／Ｇ，Ｂ／Ｇと、水銀灯光源などの位置が重なっており、緑のカラーフェリアを防ぐために水銀灯光源の位置には検出枠を設置しない場合がある。したがって、水銀灯などのシーンは光源に適したホワイトバランス補正を行わないので破綻した画像になってしまう。
【０００９】
また、色温度が低いシーン（約１８００Ｋ以下）では、木目などの物体色が光源色と間違えて補正されてしまう恐れがあるために、それ以下の色温度では検出枠を拡大せずに、低色温度では補正できない問題があった。
【００１０】
逆に高色温度のシーン（約７０００Ｋ以上）においては、青空などの自然色が補正されないように検出枠を設定したために、水中シーンなどでのホワイトバランスが補正されず、青すぎて人の顔などで破綻することがあった。
【００１１】
このように、ホワイトバランス制御においては、物体色のカラーフェリアを防ぐメリットと、光源色に対して補正しないデメリットとはトレードオフの関係にある。特許文献１では、物体色のカラーフェリア防止を優先してこのようなシーンに対して補正をかけない設定にしていた。
【００１２】
本発明はこのような事情に鑑みてなされたもので、特許文献１で提案されているＡＷＢアルゴリズムを利用しつつ、上述のトレードオフの関係においてどちらのシーンを救うかをユーザに判断させる機能を実現し、ユーザ好みのホワイトバランス設定を可能とするホワイトバランス制御方法及び撮像装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記目的を達成するために本発明に係るホワイトバランス制御方法は、所定の表色座標上で光源種に対応する色分布の範囲を示す検出枠を第１のパターンに設定する第１モードと、前記検出枠を第２のパターンに設定する第２モードとが用意され、ユーザ操作に応じて前記第１モード又は第２モードを選択的に切り替える工程と、前記選択されたモードに応じて前記検出枠を設定する工程と、被写体が撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する工程と、前記取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める工程と、前記検出枠に対する前記エリアの分布に基づいて光源種を判別する工程と、前記判別した光源種に適したホワイトバランスを行う工程と、を含むことを特徴とする。
【００１４】
本発明によれば、光源種に対応する色分布の範囲を示す検出枠を設定し、画面分割されたエリアの色情報の分布から光源種を判別して光源種に応じたホワイトバランスゲインを決定している。本発明では検出枠の設定に関して複数の設定パターンを選択できる構成になっている。検出枠の設定によって光源種の判定やその判定光源に応じたホワイトバランス補正の内容が異なる。
【００１５】
例えば、葉緑などの物体色についてカラーフェリアを防ぐように検出枠を規定した第１モードと、水銀灯やメタルハライド光源などの光源色の補正を優先させるように検出枠を規定した第２モードとユーザに選択させ、選択に応じて検出枠の設定パターンを変更する。これにより、撮影意図に応じて適切なホワイトバランスを実現することができる。
【００１６】
本発明の一態様によれば、前記第２モードに対応した検出枠には、前記第１モードにおける検出枠の前記第１のパターンに含まれていない緑色の色分布の範囲を示す緑検出枠、低色温度の色分布の範囲を示す低色温度検出枠、高色温度の色分布の範囲を示す高色温度検出枠のうち少なくとも１つの検出枠が追加されていることを特徴とする。
【００１７】
葉緑シーン、低色温度シーン、高色温度シーンなどに影響する検出枠を付加することにより、第１モードにおける検出枠から外れたような高彩度の物体色に対しても適切なホワイトバランス補正が可能となる。
【００１８】
本発明の他の態様によれば、前記検出枠に対する前記エリアの分布情報と前記判別した光源種を表す情報のうち少なくとも一方の情報を表示部に表示する工程を含むことを特徴とする。
【００１９】
分布情報や光源種の判定結果の情報をユーザに提示することにより、ホワイトバランスモードの選択の判断に利用することができる。
【００２０】
上記方法発明を具現化する撮像装置を提供するため、本発明に係る撮像装置は、被写体を撮像し、被写体像を示すカラー画像信号を出力する撮像手段と、所定の表色座標上で光源種に対応する色分布の範囲を示す検出枠を第１のパターンに設定する第１モード又は前記検出枠を第２のパターンに設定する第２モードを選択的に切り替える操作を行うためのモード選択手段と、前記モード選択手段で選択されたモードに応じて前記検出枠を設定する検出枠設定手段と、前記撮像手段により撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する色情報取得手段と、前記取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、前記判別した光源種に従ってホワイトバランスゲイン値を算出するゲイン値算出手段と、前記ゲイン値算出手段で決定されたゲイン値を用いてホワイトバランス調整を行うホワイトバランス処理手段と、を備えたことを特徴とする。
【００２１】
本発明の一態様に係る撮像装置においては、前記第２モードに対応した検出枠には、前記第１モードにおける検出枠の前記第１のパターンに含まれていない緑色の色分布の範囲を示す緑検出枠、低色温度の色分布の範囲を示す低色温度検出枠、高色温度の色分布の範囲を示す高色温度検出枠のうち少なくとも１つの検出枠が追加されていることを特徴とする。
【００２２】
また、本発明の他の態様に係る撮像装置は、上記構成に加えて、前記検出枠に対する前記エリアの分布情報と前記判別した光源種を表す情報のうち少なくとも一方の情報を表示する表示手段を備えたことを特徴とする。
【００２３】
本発明の更に他の態様によれば、記録用画像を撮影するための撮影準備の指示を入力する操作手段と、前記操作手段からの指示入力を受けて前記表示手段に前記エリアの分布情報を表示させる制御を行う制御手段と、を備えたことを特徴とする。
【００２４】
撮影者によって操作手段が操作され、撮影準備の指示が入力されると、ＡＥ処理やオートフォーカス（ＡＦ）処理など撮影の準備動作が実行される。本態様においては、操作手段から撮影準備の指示の入力を受け付け、該指示が入力されたら、これに応動して被写体像を取り込み、撮像画像の分析を行う。画面分割されたエリアから求めた色情報の分布情報が表示手段に表示される。この表示を見て、ユーザは好ましいホワイトバランスモードを容易に判断することができる。
【００２５】
その後、記録用画像の撮影実行の指示を入力する操作手段が操作され、撮影実行の指示が入力されると、記録用の撮影動作（撮像素子の露光と信号の読み出し）が実行される。
【００２６】
なお、撮影準備の指令信号を発生させるＳ１スイッチと、撮影実行の指令信号を発生させるＳ２スイッチとを備えた撮影ボタン（シャッターボタン）を用いる場合、Ｓ１スイッチの作動を検出して画像を取り込み、該撮像シーンの色分布検出結果を提示する。ユーザはこの検出結果を見てホワイトバランスモードを変更することができる。
【００２７】
【発明の実施の形態】
以下添付図面に従って本発明に係るホワイトバランス制御方法及び撮像装置の好ましい実施の形態について詳説する。
【００２８】
図１は本発明の実施形態に係るデジタルカメラの背面図である。同図に示したように、カメラ１の背面には、ファインダー２、多機能の十字キー３、メニュー／実行キー４、キャンセルキー５、表示キー６、モード切替レバー７及び液晶モニタ５２が設けられている。
【００２９】
十字キー３は、上下左右の４方向の指示を入力し得る操作キーであり、液晶モニタ５２に表示されるメニュー画面における各種設定項目の選択や設定内容の変更を指示する手段（カーソル移動手段）として使用されるとともに、電子ズームの倍率調整や再生コマの送り／戻しを指示する手段として用いられる。
【００３０】
メニュー／実行キー４は、メニュー画面の表示を指示するメニューボタンとしての機能と、選択内容の確定及び実行など指令するＯＫボタンとしての機能とを兼備した操作キーである。例えば、セットアップモードが選択されると、液晶モニタ５２上にセットアップ画面が表示される。セットアップ画面においては、記録画素数（画像サイズ）、記録画質（圧縮率）、立ち上げ時の液晶モニタ５２のＯＮ／ＯＦＦ選択、オートパワーオフ時間、オープニング画面の表示設定、日時設定、ホワイトバランスモードの設定などの各種設定項目が表示される。ユーザは十字キー３を操作して、セットアップ画面から変更したい項目を選択したり、設定内容を変更したりしてから、メニュー／実行キー４を押して指示の確定を行う。
【００３１】
キャンセルキー５は、メニューから選んだ項目の取消（キャンセル）や一つ前の操作状態に戻る時などに使用される。表示キー６は、液晶モニタ５２をＯＮ／ＯＦＦ操作したり、再生方法や再生中のコマ番号等の表示／非表示を切り替えるための操作手段である。
【００３２】
モード切替レバー７は、「撮影モード」と「再生モード」とを切り替えるための操作部である。また、カメラ上面に配設されているモードダイヤル８を回転させることにより、セットアップモード、連写／ブラケティングモード、マニュアル撮影モード、オート撮影モード、人物撮影モード、風景撮影モード、及び夜景撮影モードのうち何れか１のモードを選択できるようになっている。
【００３３】
モードダイヤル８の中央部には、シャッターボタン９が設けられている。シャッターボタン９は、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。シャッターボタン９の「半押し」によって自動ピント合わせ（ＡＦ）及び自動露出制御（ＡＥ）が作動してＡＦとＡＥをロックし、「半押し」から更に押し込む「全押し」の状態で撮影（記録用の撮影動作）が実行される。
【００３４】
液晶モニタ５２は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、撮影した画像のプレビュー画やカメラ１に装填されたメモリカード（図２中符号５６として記載）から読み出した再生画像等を表示することができる。また、液晶モニタ５２には、撮影可能コマ数（動画については撮影可能時間）や再生コマ番号の表示、ストロボ発光の有無、マクロモード表示、記録画質（クオリティー）表示、画素数表示等の情報も表示される。液晶モニタ５２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶モニタ５２に代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３５】
撮影者は、ファインダー２又は液晶モニタ５２に映し出されるリアルタイム画像（スルー画）を確認しながら、構図（画角）を決定し、シャッターボタン９を押下して撮影を行う。なお、図１中符号１１はグリップ部、符号１３は電源スイッチである。
【００３６】
図２は本実施形態に係るデジタルカメラのブロック図である。カメラ１の撮影レンズ１０は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。撮影レンズ１０及び絞り１２を通過した光はＣＣＤ固体撮像素子（以下、ＣＣＤという。）１４に入射する。ＣＣＤの受光面には多数のフォトセンサ（受光素子）が二次元的に配列され、各フォトセンサに対応して赤（Ｒ），緑（Ｇ），青（Ｂ）の原色カラーフィルタが所定の配列形態で配置されている。
【００３７】
ＣＣＤ１４の受光面に結像された被写体像は、ＣＣＤ１４上の各センサで光の入射光量に応じた量の信号電荷に変換される。
【００３８】
このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。このＣＣＤ１４は、蓄積した信号電荷をシャッターゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッター機能を有している。
【００３９】
ＣＣＤ１４から順次読み出された電圧信号（画像信号）は、相関二重サンプリング回路（ＣＤＳ回路）１８に加えられ、ここで各受光素子（画素）ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、Ａ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、ＣＤＳ回路１８から順次加えられるＲ、Ｇ、Ｂ信号をデジタル信号に変換して出力する。ＣＣＤ駆動回路１６、ＣＤＳ回路１８及びＡ／Ｄ変換器２０は、タイミング発生回路２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００４０】
Ａ／Ｄ変換器２０から出力されたＲ、Ｇ、Ｂ信号は、一旦メモリ２４に格納され、その後、メモリ２４に格納されたＲ、Ｇ、Ｂ信号は、デジタル信号処理回路２６に加えられる。デジタル信号処理回路２６は、同時化回路２８、ホワイトバランス調整回路３０、ガンマ補正回路３２、輝度・色差信号（ＹＣ信号）作成回路３４、及びメモリ３６から構成されている。
【００４１】
同時化回路２８は、メモリ２４から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換し、Ｒ、Ｇ、Ｂ信号を同時にホワイトバランス調整回路３０に出力する。ホワイトバランス調整回路３０は、Ｒ、Ｇ、Ｂ信号のデジタル値をそれぞれ増減するための乗算器３０Ｒ、３０Ｇ、３０Ｂから構成されており、Ｒ、Ｇ、Ｂ信号は、それぞれ乗算器３０Ｒ、３０Ｇ、３０Ｂに加えられる。
【００４２】
乗算器３０Ｒ、３０Ｇ、３０Ｂの他の入力には、中央処理装置（ＣＰＵ）３８からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）Ｒｇ、Ｇｇ、Ｂｇが加えられており、乗算器３０Ｒ、３０Ｇ、３０Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号をガンマ補正回路３２に出力する。ＣＰＵ３８からホワイトバランス調整回路３０に加えられるホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇの詳細については後述する。
【００４３】
ガンマ補正回路３２は、ホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路３４に出力する。ＹＣ信号作成回路３４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、メモリ２４と同じメモリ空間のメモリ３６に格納される。
【００４４】
ここで、メモリ３６内のＹＣ信号を読み出し、液晶モニタ５２に出力することにより、動画又は静止画を液晶モニタ５２に表示させることができる。また、シャッターボタン９のＳ２スイッチＯＮに応動して撮影され、メモリ３６に格納されたＹＣ信号は、圧縮／伸張回路５４によってＪＰＥＧなど所定のフォーマットに従って圧縮された後、メモリカード５６その他の記録媒体に記録される。
【００４５】
画像データを保存する手段（記録部）としての記録媒体としては、スマートメディア（Ｓｏｌｉｄ−ＳｔａｔｅＦｌｏｐｐｙＤｉｓｋＣａｒｄ）、ＰＣカード、コンパクトフラッシュ、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどを適用でき、電子的、磁気的、若しくは光学的、又はこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。異種、同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像を保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラ１に内蔵された記録媒体（内部メモリ）であってもよい。
【００４６】
再生モード時には、メモリカード５６に記録されている画像データが読み出され、圧縮／伸張回路５４によって伸張処理された後、液晶モニタ５２に出力される。こうして、液晶モニタ５２に再生画像が表示される。
【００４７】
ＣＰＵ３８は、モードダイヤル８、シャッターボタン９等を含むカメラ操作部４０からの入力に基づいて各回路を統括制御するとともに、オートフォーカス（ＡＦ）、自動露出制御（ＡＥ）、オートホワイトバランス（ＡＷＢ）等の制御を行う。
【００４８】
また、本例のカメラ１は図２に示したように、ストロボ装置４６を有し、図示せぬストロボキーの操作に応じて、低輝度時にストロボ装置４６を自動的に発光させる自動発光モード、被写体輝度にかかわらずストロボ装置４６を発光させる強制発光モード、又はストロボ装置４６の発光を禁止させる発光禁止モード等に設定される。
【００４９】
ＣＰＵ３８はユーザが選択したストロボモードに応じて図示しないメインコンデンサの充電制御や発光管（例えば、キセノン管）への放電（発光）タイミング等を制御する。また、ＣＰＵ３８はストロボモードの設定に応じたホワイトバランス制御を行うようになっている。
【００５０】
ＥＥＰＲＯＭ５８にはホワイトバランス制御に必要な調整値データが格納されており、ＣＰＵ３８は必要に応じてこれらデータを活用する。
【００５１】
カメラ１のＡＦ制御は、例えばＧ信号の高周波成分が最大になるように撮影レンズ１０を移動させるコントラストＡＦであり、シャッターボタン９の半押し時にＧ信号の高周波成分が最大になるようにレンズ駆動部４２を介して撮影レンズ１０を合焦位置に移動させる。
【００５２】
ＡＥ制御は、図３に示すように予め決めた露出▲１▼〜▲４▼にて複数回（最大４回）Ｒ、Ｇ、Ｂ信号を取り込み、これらのＲ、Ｇ、Ｂ信号を積算した積算値に基づいて被写体輝度（撮影ＥＶ値）を求める。
【００５３】
次に、上記撮影ＥＶ値の測定の詳細について説明する。
【００５４】
図４に示すように、１画面を複数のエリア（例えば、８×８）に分割し、各分割エリアごとにＲ、Ｇ、Ｂ信号から求めた輝度信号を積算し、その積算値に基づいて各分割エリアのＥＶ値（ＥＶｉ）を求める。続いて、図４に示すように撮影モードに対応して各分割エリアのＥＶ値に重み付けを行い、画面全体のＥＶ′値を次式によって算出する。
【００５５】
【数１】
ＥＶ′＝ｌｏｇ_２｛Σ（Ｗ_ｉ×２^ＥＶｉ）／ΣＷ_ｉ｝
ただし、ｉ：０〜６３（８×８の分割エリアを示す添え字）
Ｗ_ｉ：撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート撮影モード又は人物撮影モードの場合には、図４（Ａ）の重み付け係数に示すように中央重点測光方式となり、風景撮影モードの場合には、図４（Ｂ）に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景撮影モードの場合には、図４（Ｃ）に示すように平均測光方式となる。
【００５６】
上記のように算出したＥＶ′に対し、更に、次式に示すように撮影モードに応じた露出補正ΔＥＶを行って撮影ＥＶ値を求める。
【００５７】
【数２】
ＥＶ＝ＥＶ′−ΔＥＶ
なお、ΔＥＶは、例えば、人物撮影モードの場合にはΔＥＶ＝０、風景撮影モード、夜景撮影モードの場合にはΔＥＶ＝０．３とする。
【００５８】
上記のようにして求めた撮影ＥＶ値に基づいて撮影時の絞り値とシャッタースピードを最終的に決定する。
【００５９】
そして、シャッターボタン９の全押し時に決定した絞り値になるように絞り駆動部４４を介して絞り１２を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【００６０】
次に、図５に示すフローチャートを参照しながらオートホワイトバランス制御方法について説明する。ストロボ装置４６を発光させる場合には、ストロボ光に対して良好なホワイトバランスを行うためのホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇがホワイトバランス調整回路３０に加えられるため、以下、ストロボが発光しない場合のホワイトバランス制御について説明する。
【００６１】
図５は撮影モードとしてオート撮影モード又は人物撮影モードが選択された場合のオートホワイトバランス制御方法を示す。
【００６２】
まず、シャッターボタン９の半押し時に求めた撮影ＥＶ値を取得する（ステップＳ１０）。
【００６３】
続いて、シャッターボタン９の全押し時にＡ／Ｄ変換器２０から出力された１画面分のＲ、Ｇ、Ｂ信号は一旦メモリ２４に格納されているが、この１画面を複数のエリア（例えば、８×８）に分割し、各分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を求め、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、及びＢ信号の積算値とＧ信号の積算値との比Ｂ／Ｇを求める（ステップＳ１２）。
【００６４】
上記のようにして各分割エリアごとに求められる色情報Ｒ／Ｇ、Ｂ／Ｇは、それぞれの分割エリアが図６の表色座標上に表された検出枠のうちの何れの検出枠内に入るかを判別するために使用される。なお、図６上における日陰−曇り検出枠、昼光色検出枠等の検出枠は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする表色座標上に表された枠であり、各検出枠ごとに光源種などの色分布の範囲を規定するものである。
【００６５】
各分割エリアごとのＲ、Ｇ、Ｂ信号の平均積算値は、図２の積算回路４８によって算出され、ＣＰＵ３８に加えられている。また、積算回路４８とＣＰＵ３８との間には乗算器５０Ｒ、５０Ｇ、５０Ｂが設けられており、乗算器５０Ｒ、５０Ｇ、５０Ｂには、機器のバラツキを調整するための調整ゲイン値が加えられるようになっている。
【００６６】
次に、日陰−曇りの評価値、蛍光灯（昼光色、昼白色−白色、温白色）の評価値、及びタングステン電球の評価値を、次式、
【００６７】
【数３】
日陰−曇りの評価値＝Ｆ（屋外らしさ）×Ｆ（日陰−曇りらしさ）×Ｆ（青空）
【００６８】
【数４】
昼光色の評価値＝Ｆ_１（屋内らしさ）×Ｆ（昼光色蛍光灯らしさ）
【００６９】
【数５】
昼白色−白色の評価値＝Ｆ_１（屋内らしさ）×Ｆ（昼白色−白色蛍光灯らしさ）
【００７０】
【数６】
温白色の評価値＝Ｆ_１（屋内らしさ）×Ｆ（温白色蛍光灯らしさ）×Ｆ（肌）
【００７１】
【数７】
電球の評価値＝Ｆ_２（屋内らしさ）×Ｆ（電球らしさ）×Ｆ（肌）
に基づいて算出する。
【００７２】
上記〔数３〕式において、Ｆ（屋外らしさ）は、図７に示すようにＥＶ値を変数とする屋外らしさを表すメンバシップ関数の値であり、図５のステップＳ１０で取得したＥＶ値に基づいて求めることができる。
【００７３】
〔数３〕式におけるＦ（日陰−曇りらしさ）は、分割エリアのＥＶ値Ｅｖｉが１２以下の分割エリアであって、図８に示すように日陰−曇り検出枠内に入る分割エリアの個数を変数とする日陰−曇りらしさを表すメンバシップ関数の値である。Ｆ（青空）は、分割エリアのＥＶ値Ｅｖｉが１２．５を越えるエリアであって、図９に示すように青空検出枠内に入る分割エリアの個数を変数とする青空を表すメンバシップ関数の値である。なお、Ｆ（青空）は、青空検出枠に入るエリアの個数が多い程、日陰らしさの評価値を下げる方向に作用する値をとる。
【００７４】
ここで、上記各分割エリアの輝度（ＥＶ値Ｅｖｉ）は、次式、
【００７５】
【数８】
Ｅｖｉ＝Ｅｖ＋ｌｏｇ_２（Ｇｉ／４５）
ただし、Ｅｖ：撮影ＥＶ値
Ｇｉ：各エリアのＧの平均積算値
に基づいて計算する。上記式中の４５は、Ａ／Ｄ変換後の値の中での適正値である（ただし、８ビットのデジタル値（０〜２５５）で表した場合とする）。
【００７６】
また、〔数４〕式乃至〔数６〕式におけるＦ_１（屋内らしさ）は、図１０に示すようにＥＶ値を変数とする屋内（蛍光灯）らしさを表すメンバシップ関数の値であり、〔数７〕式におけるＦ_２（屋内らしさ）は、図１０に示すようにＥＶ値（カッコ内の数値）を変数とする屋内（タングステン電球）らしさを表すメンバシップ関数の値である。なお、図７及び図１０に示したＥＶ値は、撮影モードにかかわらず、オート／人物撮影モードにおける中央重点測光モードで測定した値を使用する。
【００７７】
また、同様に、〔数４〕式乃至〔数７〕式におけるＦ（昼光色蛍光灯らしさ）、Ｆ（昼白色−白色蛍光灯らしさ）、Ｆ（温白色蛍光灯らしさ）及びＦ（電球らしさ）は、それぞれ図６に示した昼光色検出枠、昼白色−白色検出枠、温白色検出枠、及びタングステン電球検出枠内に入るエリアの個数を変数とする、図１１に示す電球・蛍光灯らしさを表すメンバシップ関数の値である。
【００７８】
また、〔数６〕式及び〔数７〕式におけるＦ（肌）は、図６に示した肌色検出枠内に入るエリアの個数を変数とする、図１２に示す肌色を表すメンバシップ関数の値である。なお、Ｆ（肌）は、肌色検出枠内のエリア数が多くなるにしたがって電球らしさの評価値を下げるように作用する。これは、肌色があるシーンで、タングステン電球色に対するホワイトバランス制御を強くかけると、赤味が飛んで白っぽくなり顔色が悪くなるからである。
【００７９】
さて、日陰−曇りの評価値、及び昼光色の評価値、昼白色−白色の評価値、温白色の評価値、電球の評価値が算出されると、これらの５つの評価値のうちの最大値が、所定の基準値（この例では０．４）以上か否かを判別する（図５のステップＳ１６）。そして、最大値が０．４以上の場合には、その最大値をとる評価値の光源色に適したホワイトバランス補正値に基づくホワイトバランス制御を行う（ステップＳ１８）。
【００８０】
一方、最大値が、０．４未満の場合には、デーライト（晴れ）と判別し、デーライトに適したホワイトバランス補正値に基づくホワイトバランス制御を行う（ステップＳ２０）。
【００８１】
ここで、上記ホワイトバランス補正値は、次式、
【００８２】
【数９】
ホワイトバランス補正値＝（オート設定値−晴れ）×評価値＋晴れ
だたし、晴れは、１．０である。また、オート設定値は、各光源色ごとに予めＥＥＰＲＯＭ５８に準備されている。予め設定される光源種別のオート設定値（ＲＧＢ色別のゲイン値）は、光源色の雰囲気を残すようなゲインバランスで経験的に設定される。
【００８３】
なお、本例において、日陰−曇り、昼白色−白色、及びタングステン電球のオート設定値は、次のようにして選択される。
【００８４】
（１）日陰−曇りが選択された場合
図８に示す曇り検出枠内に入る分割エリアの個数と、日陰検出枠内に入る分割エリアの個数とを比べ、個数の多い方のオート設定値を採用する。または、２つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【００８５】
（２）昼白色−白色が選択された場合
図８に示す６領域に分割された昼白色−白色検出枠内に入る分割エリアの個数を比べ、一番個数の多い領域のオート設定値を採用する。または、６つのオート設定値に対し、個数の多い順に重みを大きくしてオート設定値を算出する。
【００８６】
（３）タングステン電球が選択された場合
図８に示す２領域に分割されたタングステン検出枠内に入る分割エリアの個数を比べ、個数の多い方のオート設定値を採用する。または、２つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【００８７】
〔数９〕式によって求めたホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する信号をＲ、Ｇ、Ｂとすると、前記ホワイトバランス調整回路３０での補正結果をＲ’、Ｇ’、Ｂ’とすると、Ｒ’、Ｇ’、Ｂ’は、次式、
【００８８】
【数１０】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
によって表される。
【００８９】
なお、ホワイトバランス補正値の算出に際して、上記の例では検出枠ごとに予め設定されているオート設定値を用いたが、検出枠内に入る分割エリアの（Ｒ／Ｇ、Ｂ／Ｇ）の分布の平均値を基に、ホワイトバランス補正値を算出する態様も可能である。
【００９０】
次に、カメラ１におけるホワイトバランスモードの選択機能について説明する。本例のカメラ１は、物体色の再現を重視した第１のＷＢモード（以下、「自然モード」という。）と、光源色の補正を重視した第２のＷＢモード（以下、「光源モード」という。）とを備えており、セットアップ画面や撮影モード時のメニューからユーザが好みに応じてモードを選択することができるようになっている。
【００９１】
「自然モード」が選択されると、図６で説明した検出枠が使用され、上述の通り、規定された検出枠内においてのみＷＢゲイン補正がかかる設定のＡＷＢアルゴリズムが働く。
【００９２】
これに対し、「光源モード」が選択されると、図１３に示すように検出枠の設定が変更される。「光源モード」の場合には、緑枠、タングステン枠（低色温度光源色枠）、日陰曇り枠（高色温度光源色枠）の検出枠が追加又は拡大される。葉緑シーン、低色温度シーン、高色温度シーンなどに影響するこれら検出枠を拡大することにより、図６に示した自然モードの検出枠から外れたような高彩度の物体についても補正がかかるようになる。
【００９３】
これにより、低色温度シーンや、水中シーン、水銀灯光源などのシーンにおいても適切なホワイトバランス補正が可能となる。
【００９４】
また、セットアップ画面等から「光源モード」と「自然モード」の何れかを予め設定しておく態様の他に、撮影ごとにその都度、ホワイトバランスモードを選択できるモード（以下、「選択モード」という。）も設けられている。
【００９５】
「選択モード」は、撮像した画像の情報からシーンの特徴を確認し、随時ホワイトバランスモードを指定することができるモードである。セットアップ画面等において「選択モード」が選択されている場合、ユーザがシャッターボタン９を半押しした時に、Ｓ１状態におけるＲＧＢの積算値が算出され、分割エリアごとの積算色情報（Ｒ／Ｇ，Ｂ／Ｇ）が取得される。
【００９６】
その後、図６や図１３で説明したように、分割エリアのＲ／Ｇ，Ｂ／Ｇの分布が検出枠上でどこにきているかを判断する。
【００９７】
もし、葉緑や水銀灯、或いは水中シーンなどに相当する領域に積算色情報が分布している場合には、その分布情報を液晶モニタ５２上に表示してユーザに「光源モード」又は「自然モード」のどちらのモードを選択するかをその都度判断させる。
【００９８】
このとき、液晶モニタ５２上にはモード選択用の操作画面又は必要に応じて操作案内が表示される。ユーザは十字キー３やメニュー／実行キー４などを用い、撮影意図に応じて「光源モード」又は「自然モード」の何れかのモードを選択する操作を行う。ユーザによって選ばれたホワイトバランスモードに従ってＷＢゲインが算出され、ホワイトバランスの処理が行われる。
【００９９】
その際に分割エリアの積算色情報の分布から照明光源を割り出して、その光源情報を液晶モニタ５２上に表示する態様も好ましい（図１参照）。照明光源を割り出す方法は、例えば、図６や図１３に示した検出枠上で各分割エリアの積算色情報（Ｒ／Ｇ，Ｂ／Ｇ）の分布数が最大となる枠に対応する光源を最も照明光源らしいものと判定する。
【０１００】
こうして、検出枠内に入る分割エリアの個数が最大となる検出枠に対応する光源種を表す情報が液晶モニタ５２上に表示される。光源種の情報としては、太陽光、日陰、昼光色、昼白色、白色、温白色、高タングステン、低タングステン、その他、などの種類がある。「その他」というのは、分割エリアの積算色情報が検出枠上に分布していなかったとき光源を特定できないので「その他」と設定する。
【０１０１】
次に、上記の如く構成されたカメラ１の動作について説明する。
【０１０２】
図１４は、カメラ１の制御手順を示したフローチャートである。撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は再生モードから撮影モードに切り替えられたときに、図１４の制御フローがスタートする。
【０１０３】
撮影開始の制御がスタートすると（ステップＳ１００）、カメラ１のＣＰＵ３８は、ホワイトバランスモードに関するモード判別を行い、選択モードに設定されているか否かを判定する（ステップＳ１１０）。「選択モード」に設定されていない場合には、ステップＳ１１４に進み、光源モードに設定されているか否かを判定する。
【０１０４】
ステップＳ１１４においてＮＯ判定時、すなわち自然モードが選択されている場合には、ステップＳ１４０に進み、シーン分析（光源種分析）に用いる検出枠を図６で説明した自然モード用の検出枠に設定する処理を行う。
【０１０５】
その一方、ステップＳ１１４においてＹＥＳ判定を得た場合には、シーン分析（光源種分析）に用いる検出枠を図１３で説明した光源モード用の検出枠に設定する処理を行う（ステップＳ１４４）。
【０１０６】
その後、シャッターボタン９からの入力信号を待機し、Ｓ１＝ＯＮに続いて、Ｓ２＝ＯＮの信号が入力されたか否かを判断する（ステップＳ１５０）。シャッターボタン９からの入力がない場合には、ステップＳ１５０の処理をループして、指示の入力を待つ。
【０１０７】
ステップＳ１５０においてＳ２＝ＯＮを検出したら、記録用の露光と信号読み出しを行い（ステップＳ１５２）、得られた画像信号に基づいてホワイトバランスの調整処理が行われる（ステップＳ１５４）。このとき、選択されているホワイトバランスモード（「自然モード」又は「光源モード」）に対応した検出枠を用いて光源種の判定とホワイトバランスゲイン値の算出が行われ、得られＷＢゲイン値によってホワイトバランス補正が行われる。
【０１０８】
ステップＳ１５４においてホワイトバランス補正が施された画像データは、その後、ガンマ補正、ＹＣ変換など所要の信号処理が施され、所定のファイルフォーマットに従ってメモリカード５６に記録される。画像の記録処理が完了したら、次の撮影処理を行うか否かを判定する（ステップＳ１５６）。
【０１０９】
撮影モードの解除操作が行われた場合には、ステップＳ１５６においてＮＯ判定となり、本撮影モードの処理を終了する（ステップＳ１６０）。また、ステップＳ１５６において撮影モードの状態が維持され、次の撮影が行われると判断した場合には、先頭のステップＳ１００に戻ることになる。
【０１１０】
ステップＳ１１０における選択モードの判定処理においてＹＥＳ判定を得た場合には、ステップＳ１２０に進み、シャッターボタン９のＳ１スイッチからの信号入力を待機する。
【０１１１】
ＣＰＵ３８がＳ１＝ＯＮの信号を検出したら、ＣＣＤ１４から画像信号を取り込み、画面分割された各エリアの色情報（Ｒ／Ｇ，Ｂ／Ｇ）を求める（ステップＳ１２２）。そして、図６で説明した表色座標上に設定されている検出枠との関係で各エリアの分布を算出し、検出枠に入る個数を基に光源種の判定を行う（ステップＳ１２４）。
【０１１２】
ステップＳ１２４の処理結果を基に、図１３で説明した緑検出枠や低色温度光源色検出枠、或いは高色温度光源色検出枠に相当する領域（光源モード時に検出枠の拡大が可能な領域）に分布しているか否かを判断する（ステップＳ１２６）。
【０１１３】
これら領域に分布がなく、図６で説明した検出枠の中で光源種の特定が可能な場合にはステップＳ１４０に移行し、自動的に自然モードが選択され、自然モード用の検出枠が設定される。以後の処理ステップＳ１５０〜Ｓ１５６は既に説明したとおりである。
【０１１４】
その一方、ステップＳ１２６において、緑検出枠など光源モード時に拡張可能な領域に分布していると判断した場合には、図６又は図１３で説明した検出枠の設定パターンとともに、撮像シーンから得られた各エリアの色情報（Ｒ／Ｇ，Ｂ／Ｇ）の分布を液晶モニタ５２上に表示させる（ステップＳ１２８）。また、このとき、自然モードの検出枠に基づいて判定された光源種の情報も併せて表示されることが好ましい。
【０１１５】
分布情報及び光源種判定の情報を表示した状態において、カメラ１はユーザからのホワイトバランスモードの選択操作を受け付ける。
【０１１６】
ユーザは液晶モニタ５２に表示される情報を参考にして「自然モード」又は「光源モード」の何れのモードが好ましいかを判断し、所望のモードを指定する操作を行う。液晶モニタ５２の表示画面を見ながら所望のモードを指定できるユーザインターフェースが用いられる。
【０１１７】
ＣＰＵ３８はユーザから指定されたモードを判定し（ステップＳ１３０）、その判定結果に従って検出枠の設定を切り替える処理を行う。すなわち、ステップＳ１３０において「自然モード」が選択された場合にはステップＳ１４０に進む。また、ステップＳ１３０において「光源モード」が選択された場合にはステップＳ１３２に進み、ステップＳ１４４と同様に、光源モード用の検出枠に変更する。ステップＳ１３２の後は、ステップＳ１５０に進む。以後の処理は、既に説明したので省略する。
【０１１８】
なお、図１４のフローチャートでは、ステップＳ１２６の判断においてＮＯ判定を得た場合に、自動的に「自然モード」が選択される構成にしたが、ステップＳ１２６の判断処理を省略し、常にユーザの選択に委ねるように構成してもよい。
【０１１９】
図１５に上記実施形態に係るカメラの要部構成をまとめた概念図を示す。シャッターボタン９の押下によってＣＣＤ１４から画像信号が取り出される。ＣＣＤ１４から出力された信号はＡ／Ｄ変換器２０によってデジタル信号に変換される。ＣＰＵ３８に含まれるモード判別機能部６２によってホワイトバランスモードの設定が判別され、設定されているホワイトバランスモード（「自然モード」であるか「光源モード」であるか）によって、ＷＢ調整回路で使用する検出枠の設定を切り替える。
【０１２０】
「自然モード」が選択されているときには、図６で説明した検出枠のパターンを使用し、検出枠内演算処理部６４において光源種を判別するための演算を行い、その判別結果に基づいてホワイトバランスゲイン値が決定される。
【０１２１】
その一方、「光源モード」が選択されているときは、図１３で説明した検出枠のパターンを使用し、検出枠拡大領域演算処理部６６において光源種を判別するための演算を行い、その判別結果に基づいてホワイトバランスゲイン値が決定される。
【０１２２】
ＷＢ調整回路でホワイトバランス調整が施された画像信号は、ガンマ変換部６８においてガンマ変換が施されるなど所要の処理を経て最終画像として表示部（液晶モニタ５２）や記録部（メモリカード５６）などの出力部７０に出力される。
【０１２３】
また、撮影の都度、ユーザがホワイトバランスモードを選択できる「選択モード」が選択されている場合には、モード判別機能部６２においてそのモード状態が検出される。「選択モード」時においては、シャッターボタン９のＳ１＝ＯＮ時に取り込んだ画像データについて、Ｓ１積算算出部７２がＲＧＢの積算値を算出し、これを基に検出枠判定機能部７４において検出枠上でどこに分布しているかを判断するするとともに、光源判定機能部７６において光源種（照明光源）を割り出す処理を行う。
【０１２４】
検出枠判定機能部７４で得られた分布情報や光源判定機能部７６で割り出した光源の情報を液晶モニタ５２に表示させて、ユーザに提供する。
【０１２５】
ユーザはこの情報を参照して、自然モード又は光源モードを選択することが可能である。
【０１２６】
こうしてホワイトバランスモードを指定した後、シャッターボタン９のＳ２＝ＯＮ時に取り込んだ画像データについて、指定されたモードに対応する検出枠が使用されてホワイトバランス調整が行われ、最終画像が作成される。
【０１２７】
上記実施形態においては、（Ｒ／Ｇ，Ｂ／Ｇ）の表色座標系を用いたが、本発明の実施に際しては、表色空間は特に限定されず、ＲＧＢ系、ＣＩＥＬ＊ａ＊ｂ、ＣＩＥＬ＊ｕ＊ｖその他の色空間を使用してもよい。
【０１２８】
上述の実施形態では、主に静止画を記録するデジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、動画記録可能なデジタルカメラ、ビデオカメラ、ＤＶＤカメラなどの電子カメラ、或いは、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮像装置についても本発明を適用できる。
【０１２９】
【発明の効果】
以上説明したように本発明によれば、光源種に対応する色分布の範囲を示す検出枠の設定に関して複数の設定パターンを選択できる構成としたので、物体色の補正を優先するモードと、光源色の補正を優先するモードとを、ユーザが必要に応じて選択的に切り替えることが可能となり、撮影意図に応じて適切なホワイトバランスを実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るデジタルカメラの背面図
【図２】本発明の実施形態に係るデジタルカメラのブロック図
【図３】撮影ＥＶ値の求め方を説明するために用いた図
【図４】撮影モード別の測光方式を説明するために用いた図
【図５】オートホワイトバランス制御方法を説明するために用いたフローチャート
【図６】光源種などの色分布の範囲を示す検出枠を示すグラフ
【図７】屋外らしさを表すメンバシップ関数を示すグラフ
【図８】日陰−曇りらしさを表すメンバシップ関数を示すグラフ
【図９】青空を表すメンバシップ関数を示すグラフ
【図１０】屋内らしさを表すメンバシップ関数を示すグラフ
【図１１】電球・蛍光灯らしさを表すメンバシップ関数を示すグラフ
【図１２】肌色を表すメンバシップ関数を示すグラフ
【図１３】光源モード時に使用される検出枠のパターンを示したグラフ
【図１４】カメラの制御手順を示したフローチャート
【図１５】本実施形態に係るカメラの要部構成をまとめた概念図
【符号の説明】
１…カメラ、３…十字キー、４…メニュー／実行キー、１４…ＣＣＤ、２６…デジタル信号処理回路、３０…ホワイトバランス調整回路、３８…ＣＰＵ、４８…積算回路、５２…液晶モニタ、５６…メモリカード

Claims

所定の表色座標上で光源種に対応する色分布の範囲を示す検出枠を第１のパターンに設定する第１モードと、前記検出枠を第２のパターンに設定する第２モードとが用意され、ユーザ操作に応じて前記第１モード又は第２モードを選択的に切り替える工程と、
前記選択されたモードに応じて前記検出枠を設定する工程と、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する工程と、
前記取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める工程と、
前記検出枠に対する前記エリアの分布に基づいて光源種を判別する工程と、
前記判別した光源種に適したホワイトバランスを行う工程と、
を含むホワイトバランス制御方法。
前記第２モードに対応した検出枠には、前記第１モードにおける検出枠の前記第１のパターンに含まれていない緑色の色分布の範囲を示す緑検出枠、低色温度の色分布の範囲を示す低色温度検出枠、高色温度の色分布の範囲を示す高色温度検出枠のうち少なくとも１つの検出枠が追加されていることを特徴とする請求項１記載のホワイトバランス制御方法。
前記検出枠に対する前記エリアの分布情報と前記判別した光源種を表す情報のうち少なくとも一方の情報を表示部に表示する工程を含むことを特徴とする請求項１又は２記載のホワイトバランス制御方法。
被写体を撮像し、被写体像を示すカラー画像信号を出力する撮像手段と、
所定の表色座標上で光源種に対応する色分布の範囲を示す検出枠を第１のパターンに設定する第１モード又は前記検出枠を第２のパターンに設定する第２モードを選択的に切り替える操作を行うためのモード選択手段と、
前記モード選択手段で選択されたモードに応じて前記検出枠を設定する検出枠設定手段と、
前記撮像手段により撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する色情報取得手段と、
前記取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、
前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、
前記判別した光源種に従ってホワイトバランスゲイン値を算出するゲイン値算出手段と、
前記ゲイン値算出手段で決定されたゲイン値を用いてホワイトバランス調整を行うホワイトバランス処理手段と、
を備えたことを特徴とする撮像装置。
前記第２モードに対応した検出枠には、前記第１モードにおける検出枠の前記第１のパターンに含まれていない緑色の色分布の範囲を示す緑検出枠、低色温度の色分布の範囲を示す低色温度検出枠、高色温度の色分布の範囲を示す高色温度検出枠のうち少なくとも１つの検出枠が追加されていることを特徴とする請求項４記載の撮像装置。
前記検出枠に対する前記エリアの分布情報と前記判別した光源種を表す情報のうち少なくとも一方の情報を表示する表示手段を備えたことを特徴とする請求項４又は５記載の撮像装置。
記録用画像を撮影するための撮影準備の指示を入力する操作手段と、
前記操作手段からの指示入力を受けて前記表示手段に前記エリアの分布情報を表示させる制御を行う制御手段と、を備えたことを特徴とする請求項６記載の撮像装置。