JP2006279708A - 画像処理装置、画像処理方法、画像処理装置つき携帯端末及び画像処理プログラム - Google Patents

Abstract

【課題】
デジタルカメラ等の撮像装置は、撮影画像のホワイトバランスを調整するために種々の調整モードを搭載している。ホワイトバランス調整モードとして、オートモードを有するものもある。オートモードとは万能な調整モードではなく、照明光の特性によっては不適切な場合もある。ユーザはデフォルトでオートモードが選択されている場合には、不適切な環境下であっても使用し続けることが多い。
【解決】
照明光の色温度が、オートモードの調整範囲外である場合には、自動的に最適な調整モードを検索し、ユーザに切り替えをうながすメッセージを表示する。
【選択図】図１

Description

本発明は、画像を撮影する技術に関する。例えば、画像を撮影する、デジタルビデオカメラ、デジタルカメラ等の撮像装置の画像処理技術、また、携帯端末等に搭載した撮像装置の画像処理の技術に関する。

近年のデジタル技術の進歩により、従来のカメラやビデオカメラがデジタルカメラやデジタルビデオカメラに置き換わりつつある。デジタルカメラ、デジタルビデオは、ＣＣＤやＣＭＯＳなどの光に反応する半導体素子を使って被写体からの反射光を電気信号に変換し、デジタルデータとしてフラッシュメモリなどの記憶媒体に記憶する装置である。

デジタルカメラ、デジタルビデオカメラ等の撮像装置は、単体の機器として販売、使用されることもあれば、携帯電話やＰＨＳ、ＰＤＣ、ノートＰＣ等の携帯端末の一部に搭載された形で販売、使用されることもある。

ところで、照明光には色温度という特性がある。色温度は、照明光の色の特性を温度として表現したものである。色温度は、完全黒体がその色を放つ時の黒体の温度として定義される。図５は、代表的な照明光の色温度を示すグラフである。白熱灯は晴天下に比べて赤味がかっており、曇天時の太陽光は晴天下に比べて青味がかっている。

蛍光灯は、現在様々な種類のものが販売されており、一概に蛍光灯というカテゴリで色温度の範囲を特定することは難しい。また、晴天、曇天、白熱灯のカテゴリも、温度範囲を明確にすることは困難である。図５の数値はあくまで一例であり、他の数値設定を排除するものではない。

撮像装置は、被写体からの反射光を正確に記録するため、照明光の色温度の影響を受けた被写体をそのまま記録する。一方、人間は照明光の色温度に関わらず、白いものを白と認識する傾向がある。この結果、撮像装置が認識した色と、人間が認識した色が異なる場合がある。

撮像装置が認識した色と、人間が認識した色を同じにするためには、撮像装置に照明光の色温度に基づいて撮影画像の調整を行う機能を付加する必要がある。一般に、撮影画像に含まれる色成分の調整を照明光の色温度に基づいて行うことは、ホワイトバランス調整やホワイトバランス補正、又は単にホワイトバランスと呼ばれている。

ホワイトバランス調整とは、被写体の撮影画像の色成分を、被写体の色温度に基づいて補正し、撮像装置が記録した撮像画像を人間が認識した色に近づける機能である。一般に、補正される撮影画像の色成分に、Ｒ（赤）成分とＢ（青）成分を用いることが多い。

次に、ホワイトバランス調整に関する従来技術を開示する。特許文献１には、ホワイトバランス調整装置が開示されている。特許文献１の従来技術のホワイトバランス調整装置は、照明光の種類に応じた固定ホワイトバランスモードを有している。１つの固定ホワイトバランスモードに割り当てられた照明光の色温度範囲が広いため、適切なホワイトバランス調整ができなかった。

特許文献１の発明のホワイトバランス調整装置は、固定ホワイトバランスモードに割り当てられた色温度の範囲をさらに細分することで、より適切なホワイトバランス調整が可能となる。

特許文献２にも、ホワイトバランス調整装置が開示されている。特許文献２の従来技術では、撮影画像のＲ（赤）成分とＢ（青）成分の利得を調整することで、ホワイトバランス調整を実現する。また、被写体の輝度に基づいて、上記利得の範囲、すなわちホワイトバランス調整の調整可能な範囲が制限される。被写体の輝度が十分高い場合には、ホワイトバランスの調整範囲が狭く設定され、逆に被写体の輝度が低い場合には、ホワイトバランスの調整範囲が広く設定される。この従来技術では、被写体の輝度が低いとき、被写体領域が無彩色となってしまうことがあった。

特許文献２の発明のホワイトバランス調整装置は、外光を測定する手段を設けて、外光の測定結果に基づいてより適切にホワイトバランスの調整範囲を制御することで、被写体の輝度が低い場合の上記問題を解決する。

特許文献３にも、ホワイトバランス調整装置が開示されている。特許文献３の従来技術では、蛍光灯使用環境下におけるホワイトバランス調整モードとして蛍光灯モード使用される。しかし、蛍光灯には種々のものがあり、それらは種々の発光色を有するにも関わらず、蛍光灯モードの調整値は１種類だったので、被写体の色を正確に再現できなかった。

刊行物３の発明のホワイトバランス調整装置は、蛍光灯モードが選択された場合、被写体の色温度に基づいて、蛍光灯の種類に応じたさらに細分化したホワイトバランス調整を行うことで、被写体の色をより正確に再現する。

特開２００１−２６８５８９ 特開２００３−１３４５３１ 特開平０６−１６５１８９ ホワイトバランス調整装置の従来技術は以上の通りである。撮像装置に、照明光に応じた種々のホワイトバランス調整のための調整モードを設けることは可能である。しかし、撮像装置に多くの調整モードを設ければ設けるほど、ユーザはわずらわしい設定を強いられる。

わずらわしい設定からユーザを解放するため、ホワイトバランス調整の調整モードとして、自動調整モードなるものを備える撮像装置もある。

自動調整モードとは、標準的な照明光に対応した調整モードである。標準的な照明光の環境下でしようする限り適切に機能する。照明光の色温度の範囲は３０００Ｋから５５００Ｋ程度に設定されることが一般的である。もっとも、機種によっては、自動調整モードの対応色温度範囲が上記範囲と異なる場合もある。

自動調整モードで調整可能な照明光の色温度の範囲を広くすればするほど、自動調整モードで対応できる環境が増えるため、ユーザの使い勝手は向上する。

しかしながら、自動調整モードの調整可能な色温度の範囲をいたずらに広くすることは好ましくない。広く設定した場合、照明光の色温度測定と被写体の撮影とを同一カメラで行う撮像装置では、以下のような問題点を生ずる。

例えば、晴天下の環境において、真っ赤な被写体を撮影した場合、撮影画像のＲ成分が多いため、照明光の色温度は低い（赤い）と判断する。被写体が大きく撮影されればされるほど、撮像装置は照明光の色温度を低いと判断する傾向が大きくなる。照明光の色温度が低いため、被写体の色を青くする方向に補正がかかり、本来の色を再現できなくなる。

特許文献２及び３では、外光の色温度を測定する手段を、被写体を撮影するカメラとは別に設けているため、このような問題は生じにくい。しかし、特許文献２及び３では、別途外光の色温度を測定する手段を設けるために、回路が大きくなり、製造コスト、開発コストが増大するという問題がある。

照明光の色温度測定と被写体の撮影とを同一カメラで行う撮像装置では、ユーザの使い勝手の向上と、被写体の正確な色の再現とのバランスを考慮し、自動調整モードは、一般に３０００Ｋから５５００Ｋ程度の色温度範囲を調整可能と設定することが多い。

ユーザは、操作のわずらわしさのため、撮像装置を自動補正モードに設定したまま使用し続けることが多い。しかしながら、上述の通り、自動補正モードは調整可能な色温度の範囲が制限されているため、例えば、白熱灯（約２６００Ｋ）を使用した環境下では被写体の正確な色を再現できない。

本願発明は、撮像装置の使い勝手を向上させることにある。

また、複数のホワイトバランスの調整モードを有する撮像装置を、簡易な操作で適切に調整モードの選択ができることも、本願発明が解決しようとする課題である。

また、ホワイトバランスの調整モードとして自動調整モードを有する撮像装置において、不適切な環境下で自動調整モードを選択してしまうことを防止することも、本願発明が解決しようとする課題である。

また、ホワイトバランスの調整モードの調整可能範囲を広げすぎることなく、簡易な付加機能により、より適切な調整モードを選択できるようにすることも、本願発明が解決しようとする課題である。

上記課題を解決するために、請求項１に記載の画像処理装置は、
被写体の撮影画像を生成する撮像部と、
前記撮影画像の色温度を判断する色温度判定部と、
２以上の撮影画像のホワイトバランスの調整モードを保持するメモリと、
前記色温度判定部の判断結果及び選択された調整モードに基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する表示部と、
前記色温度判定部の判断結果及び選択された調整モードに基づいて、所定のメッセージを前記表示部に表示させる画像処理制御部とを有することを特徴とする。

また、好ましい態様として、前記所定のメッセージとは、前記選択された調整モードの切り替えをうながすメッセージであってもよい。

また、好ましい態様として、前記画像処理制御部は、前記色温度判定部により判定された撮影画像の色温度が、前記選択された調整モードの所定範囲外である場合に、前記所定のメッセージを前記表示部に表示させてもよい。

また、好ましい態様として、前記画像処理制御部は、前記選択された調整モードが特定の調整モードである場合に、前記所定のメッセージを前記表示部に表示させてもよい。

上記課題を解決するために、請求項５に記載の画像処理装置は、
２以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示することを特徴とする。

上記課題を解決するために、請求項６に記載の携帯端末は、
２以上のホワイトバランスの調整モードを有し、
被写体の撮影画像から色温度を判定し、
判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示することを特徴とする。

上記課題を解決するために、請求項７に記載の画像処理の方法は、
２以上のホワイトバランスの調整モードから１の調整モードを選択し、
被写体の撮影画像から色温度を判定し、
判定された撮影画像の色温度と前記調整モードに基づいて所定のメッセージを表示することを特徴とする。

上記課題を解決するために、請求項８に記載の画像処理プログラムは、
演算処理装置を、
撮影画像の色温度を判断する色温度判定部と、
２以上の撮影画像のホワイトバランスの調整モードを保持するメモリから選択された調整モード及び前記色温度判定部の判断結果に基づいて前記撮影画像の補正をする画像補正部と、
前記補正された撮像画像を表示する外部の表示部に表示させ、前記色温度判定部の判断結果及び選択された調整モードに基づいて所定のメッセージを前記表示部に表示させる画像処理制御部、
として機能させることを特徴とする。

本願発明により、撮像装置のホワイトバランス調整の使い勝手が向上する。

また、本願発明により、複数のホワイトバランスの調整モードを有する撮像装置を、簡易な操作で適切に調整モードの選択ができる。

また、本願発明により、ホワイトバランスの調整モードとして自動調整モードを有する撮像装置において、不適切な環境下で自動調整モードを選択してしまうことを防止することができる。

また、本願発明により、ホワイトバランスの調整モードの調整可能範囲を広げすぎることなく、簡易な付加機能により、より適切な調整モードを選択できるようにすることができる。

本発明を実施するための最良の形態について説明する。しかしながら、この実施形態は、本願発明の技術的範囲を制限するものではない。

本実施例に係る画像処理装置について説明する。画像処理装置は、少なくとも撮像部３と、ＤＳＰ６と、画像処理用メモリ７と、表示部１０を有しており、撮像装置１に内蔵される。図１は、本実施例に係る撮像装置１の構成を示した図である。

撮像装置１は、カメラモジュール８、ＣＰＵ９、表示部１０、入力部１１、メモリ１２を備えている。カメラモジュール８はカメラ部４、ＡＤコンバータ５、ＤＳＰ６、画像処理用メモリ７を備える。

カメラ部４は、撮影レンズ２と撮像部３を備える。撮影レンズ２は、被写体からの反射光を撮像部３に集光する。撮像部３は、ＣＣＤやＣＭＯＳセンサ等から構成され、光信号を電気信号に変換する機能を有する。

ＡＤコンバータ５は、アナログ信号をデジタル信号に変換する回路である。撮像部３からの信号をデジタル信号に変換しＤＳＰ６に入力する。ＤＳＰ６は種々の信号処理を行うことができる演算装置であり、例えばホワイトバランス調整に用いられる。

画像処理用メモリ７は、ホワイトバランス調整に用いられる種々のデータを保存するメモリである。ホワイトバランス調整には種々の調整モードが存在し、画像処理用メモリ７にはそれぞれの調整モードに関する制御データが格納されている。調整モードとしては、本実施例では、固有の照明光に対応した固有値調整モードと、汎用的にある程度幅のある色温度（３０００Ｋから５５００Ｋ）の照明光に対応した自動調整モードの２種類の調整モードを有している。本実施例において、撮像装置１は固有値調整モードを複数有しており、白熱灯に対応した白熱灯モードと、曇天に対応した曇天モードを有している。これらの調整モードは例示であり、本発明をこれらのモードに限定するものではない。

ＣＰＵ９は中央演算処理装置であり、撮像装置全体の動作を制御する。ＣＰＵ９は、バスを介してカメラモジュール８、表示部１０、入力部１１、メモリ１２を制御する。表示部１０は、ＬＣＤまたは有機ＥＬで作られたディスプレイであり、撮影画像の表示や各種メッセージ、制御用のアイコンの表示を行う。

入力部１１は、ボタンやキーパッド、キーボード等の入力装置である。ユーザは、入力部１１を用いてＣＰＵ９を操作することにより、撮像装置１の操作を行う。メモリ１２は、ＣＰＵ９の動作プログラムや、撮影画像、種々のデータの保存に用いられる。撮像装置が携帯電話等に内蔵される場合には、電話番号などの情報の保存にも用いられる。

ＣＰＵ９は、表示部１０に撮影画像データや、アイコン、所定のメッセージなどのデータを、バスを介して伝達し、表示部１０に表示させることができる。ＣＰＵ９は、入力部１１からの入力信号に基づいて、メモリ１２、表示部１０、カメラモジュール８の制御を、バスを介して行うことができる。ＣＰＵ９は、撮影画像データや、各種制御に関連するデータをメモリ１２から読み出し、または書き込むことができる。

次に、図１の撮像装置１の動作について説明する。被写体からの反射光は、撮影レンズ２を介して、撮像部３に入射される。入射された反射光は撮像部３にて、電気信号に変換され、ＡＤコンバータ５に出力される。ＡＤコンバータ５は、撮影画像の電気信号（アナログ信号）をデジタル信号に変換する。デジタル化された撮影画像のデータはＤＳＰ６に入力され、ホワイトバランス調整等の信号処理に供される。ＤＳＰ６は、画像処理用メモリ７に保存された制御用データを用いて、デジタル化された撮影画像データのホワイトバランス調整を行う。ＤＳＰ６が行う処理の詳細は、後述する。

ホワイトバランス調整された撮影画像のデータは、ＣＰＵ９の制御のもと、バスを介して表示部１０に伝送される。表示部１０は、撮影画像のデータを表示する。

ＡＤコンバータ５は、図示しないクロック源から出力されたクロックに基づいて、一定周期毎に撮影画像をデジタル化し、デジタル化された撮影画像データをＤＳＰ６へ出力する。ＤＳＰ６が、表示部１０に表示された撮影画像を一定周期毎に書き換えることで、後述するプレビュー表示が行われる。プレビュー表示状態において、表示部１０は、被写体の動きに追従した動画を再生する。

ＤＳＰ６は、ＣＰＵ９から所定の指示がなされると、ホワイトバランス調整に用いられる調整モードを切り替える。ＣＰＵ９から調整モードが切り替え指示されるのは、ユーザが入力部１１に調整モードの切り替えを指示する所定の入力を行った場合である。なお、ＤＳＰ６は、所定の制御信号をＣＰＵ９に出力することで、ユーザに調整モードの切り替えをうながすメッセージを、表示部１０に表示させることもできる。

図２は、ＤＳＰ６の内部機能を説明するための図である。以下、機能ブロック毎に説明する。

ＤＳＰ６は、色温度判定機能、画像調整機能、画像処理制御機能を有し、各々色温度判定部１００、画像調整部１０１、画像処理制御部１０２と表す。これらの機能はソフトウェアで実現される。

撮影画像データは図１のＡＤコンバータ５からＤＳＰ６に入力される。画像処理用メモリ７、ＣＰＵ９、表示部１０、入力部１１、メモリ１２は、図１に示したものと同じ構成である。

色温度判定部１００は、撮影画像データから照明光の色温度を判定する。判定は、撮影画像のＲＧＢ成分の比率に基づいて行う。ＲＧＢ成分の比率と温度との関係に関する情報は、画像処理用メモリ７から、画像処理制御部１０２を介して受け取る。

画像調整部１０１は、撮影画像データのＲＧＢ成分に補正をかけることにより、撮影画像データのホワイトバランス調整を行う。補正の際に撮影画像データのＲＧＢ成分にかける補正利得は、画像処理制御部１０２により設定される。

画像処理制御部１０２は、色温度判定部１００により判定された撮影画像の色温度と、画像処理用メモリ７に格納された現在設定されている調整モードに応じた制御データとに基づいて、画像調整部１０１が行うＲＧＢ成分の補正利得を伝達する。また、画像処理制御部１０２は、撮影画像データから得られた色温度が、現在設定されている調整モードの調整範囲外であるか否かを判断する。さらに、調整モードの調整範囲外である場合には、調整モードの切り替えをユーザにうながすメッセージを表示部１０に表示させる。また、ＣＰＵ９から調整モードの切り替えを指示された場合には、画像処理用メモリ７から、支持された調整モードに対応する制御データを用いて、画像調整部１０１にＲＧＢ成分の補正利得を伝達する。

画像処理用メモリ７は、前述のとおり、種々の調整モードに対応する制御データを格納しており、画像処理制御部１０２によって制御される。

ＣＰＵ９は、画像調整部１０１から、ホワイトバランス調整後の画像データを入力され、また画像処理制御部１０２から信号を受け、また、画像処理制御部１０２に信号を送信する。

表示部１０、入力部１１、メモリ１２は、ＤＳＰ６とバスを介して接続されている。撮像装置１は、ＣＰＵ９をマスタとするバス構成なので、ＤＳＰ６は、直接それらのデバイスを制御することはできない。よって、ＤＳＰ６は必ずＣＰＵ９を介して、表示部１０等と情報をやり取りする。

図２に示した機能図の動作を説明する前に、ホワイトバランス調整について説明する。

図３は、画像処理用メモリ７に保存された調整モードのうち、一つの調整モードの制御用データを模式的に示したものである。ここでは、調整モードとして自動調整モードを例に説明する。調整用メモリ７には、このような調整モードの制御用データが複数保存されている。図３において、横軸は撮影画像の色温度、縦軸は補正利得を示している。横軸は、右に行くほど色温度が高く、縦軸は、上に行くほど補正利得が大きい。

線２０３は、Ｒ成分の補正利得を示しており、線２０４はＢ成分の補正利得を示している。色温度が高いほど、Ｒ成分の補正利得は高く、Ｂ成分の補正利得は低い。例えば、色温度の高い撮影画像が入力された場合、撮影画像は、赤味がかる方向に調整される。色温度が高いとは、青味がかっていることを意味するので、撮影画像のＲＢ成分を赤味がかる方向に補正をかけることで、適切に撮影画像のホワイトバランスが調整される。

線２０２は、自動調整モードで調整可能な色温度の上限値である。撮影画像の色温度が線２０２で示す色温度より高くても、当該調整モードではＲ成分について、線２０５で示す補正利得より大きい利得はかけられず、Ｂ成分について線２０６で示す補正利得より小さい利得はかけられない。

線２０１は、自動調整モードで調整可能な色温度の下限値である。線２０２と同様、補正利得の制限値として機能する。

図３では、制御用データを２次元グラフとして模式的に示したが、画像処理用メモリ７への保存形式は、表形式でも、数式形式でも構わない。

図３では、Ｒ成分は色温度に対して増加関数、Ｂ成分は減少関数として表現したが、自動調整モードの設計次第では、これと異なる特性にしてもよい。例えば、自動調整モードが調整可能な色温度範囲の中心付近では、Ｒ成分、Ｂ成分ともに補正利得をかけないという特性でもよい。要するに、Ｒ成分、Ｂ成分の補正利得と、調整可能な色温度の範囲がわかるようなデータであればよく、また、ホワイトバランス調整が適切に行われればよい。また、上述のことは他の固定値調整モードでも同様である。

次に、図２の各機能のブロックの動作について説明する。図１のＡＤコンバータ５にてデジタル化された撮影画像データは、色温度判定部１００と画像調整部１０１に入力される。

色温度判定部１００は、撮影画像データのＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分を抽出し、ＲＧＢの各成分の比率に基づいて、撮影画像の色温度を判定する。色温度とＲＧＢの各成分の比率との対応関係は、予め画像処理用メモリ７に保存されている。色温度判定部１００は、画像処理制御部１０２を介して、画像処理用メモリ７からＲＧＢの各成分の比率と色温度の対応関係の情報を取得する。色温度判定部１００は、判定した撮影画像の色温度情報を画像処理制御部１０２に伝達する。

画像調整部１０１は、撮影画像データの色成分を調整することにより、撮影画像データのホワイトバランス調整を行う。具体的には、画像処理制御部１０２から設定されたＲ成分、Ｂ成分の補正利得にしたがって、撮影画像データのＲ成分、Ｂ成分の値を演算する。例えば、画像処理部１０２から設定された補正利得が、Ｒ成分は２、Ｂ成分は１／２である場合、撮影画像データのＲ成分を２倍にし、Ｂ成分を半分にする演算を行う。ホワイトバランス調整された撮影画像データは、ＣＰＵ９に出力され、表示部１０に表示される。

画像処理制御部１０２は、ＣＰＵ９から設定された調整モードにて、撮影画像データのホワイトバランス調整を実行する。入力部１１からの入力にしたがって、ＣＰＵ９が調整モードの変更を画像処理制御部１０２に指示すれば、画像処理制御部１０２は、変更された調整モードにてホワイトバランス調整を行う。

具体的には以下のように行う。画像処理制御部１０２は、設定された調整モードに対応する制御用データを画像処理用メモリ７から読み込む。制御用データは、ＲＢ成分の補正利得と、調整可能な色温度の制限範囲である。画像処理制御部１０２は、色温度判定部１００から得た色温度情報が当該調整モードの色温度の調整範囲内（線２０１で示す色温度以上、線２０２で示す色温度以下）であれば、当該調整モードにてホワイトバランス調整の制御を行う。一方、色温度判定部１００から得た色温度情報が、調整範囲外であれば、ＣＰＵ９に、表示部１０に所定のメッセージを表示させるよう指示する。

また、ＣＰＵ９からホワイトバランスの調整モードの変更が指示された場合には、画像処理制御部１０２は、画像処理用メモリ７から、指示された調整モードの制御用データを読み込み、色温度判定部１００が判定した色温度と制御用データに基づいて、画像調整部１０１にＲ成分、Ｂ成分の補正利得を伝達する。

画像調整部１０１は、再度設定されたＲ成分、Ｂ成分の補正利得を用いて、上述の通り、撮影画像データのホワイトバランス調整を行う。なお、調整モードの変更は、入力部１１にて入力された信号をトリガとして行われる。

次に、撮像装置１全体の動作について図４を用いて説明する。撮像装置１のカメラ機能が起動される（３００）。カメラ機能の起動は、入力部１１からの入力信号、または他のプロセスからの呼び出しなどをトリガとして行われる。ＣＰＵ９はメモリ１２から、カメラの起動に関するプログラムを読み出し、プログラムの実行を開始する。

次に、調整モードの読み込みが行われる（３０１）。ＣＰＵ９は、予めカメラ機能起動時に動作すると設定された調整モードを、メモリ１２から読み出す。予め設定されていなければ自動調整モードが読み込まれる。以下では、カメラ機能起動直後に自動調整モードが読み込まれたとして説明する。

調整モードの読み込み（３０１）に続き、色温度の判定が行われる（３０２）。これは、３０１で読み込んだ自動調整モードにて行われる。画像処理用メモリ７から撮影画像のＲＧＢ成分と色温度の対応関係を示すデータが、画像処理制御部１０２にて読み込まれ、色温度判定部１００に伝達される。色温度判定部１００は、その制御データに基づいて、撮影画像データから色温度を判定する。判定された色温度情報は画像処理制御部１０２に伝達される。画像処理制御部１０２は、画像処理用メモリ７から読み出した自動調整モードの調整可能範囲と、撮影画像の色温度とを比較する。

撮影画像の色温度が自動調整モードの調整範囲内であれば、プレビュー表示（３１３）の動作へ移行し、調整範囲外であれば、代替調整モードの検索（３１０）の動作に移行する。

プレビュー表示（３１３）について説明する。プレビュー表示の動作は、その内部動作としてホワイトバランス調整（３０３）と、画像表示（３０４）の２つの動作を備えている。後述するように、２つの動作は交互に繰り返し実行される。プレビュー表示（３１３）動作が開始する際は、ホワイトバランス調整（３０３）が先に実行される。逆に、プレビュー表示（３１３）動作を終了する際は、画像表示（３０４）動作が終了した後、他の動作に移行する。

ホワイトバランス調整（３０３）の動作について説明する。画像処理制御部１０２は、色温度判定部１００で判定された色温度と、画像処理用メモリ７の制御用データから、ＲＢ成分の補正利得を決定し、画像調整部１０１に伝達する。画像調整部１０１では、撮影画像データのＲＢ成分に対して、補正利得をかけ、ホワイトバランス調整を行う。

画像表示（３０４）では、ホワイトバランス調整された撮影画像データが画像調整部１０１からＣＰＵ９に伝達される。ＣＰＵ９は表示部１０に、ホワイトバランス調整された撮影画像データを表示する。

ＡＤコンバータ５は、一定周期で撮影画像データをＤＳＰ６に入力する。ホワイトバランス調整（３０３）と、プレビュー表示（３０４）は、その周期毎に繰り返し行われる。この動作により、被写体が動いた場合でも、撮影画像の表示をＡＤコンバータ５の動作周期にて更新することで、リアルタイムに被写体をプレビュー表示することができる。

プレビュー表示（３１３）動作の際、ユーザは、入力部１１の操作にて、調整モードの変更（３０５）またはプレビューで表示された画像の撮影（３０６）を行うことができる。

画像撮影（３０６）は、プレビュー表示（３１３）動作中に、入力部１１にて所定の操作が実行されたことをトリガとして動作を開始する。入力部１１の操作されたときに表示部１０に画像表示されていた撮影画像をメモリ１２または図示しないバッファメモリに一時的に保存する。

撮影画像表示（３０７）は、一時的に保存された撮影画像を表示部１０に表示する動作である。ＣＰＵ９が表示部１０を制御することで実現する。撮影画像が表示（３０７）された際、入力部１１で所定の操作が行われると、ＣＰＵ９は、その撮影画像をメモリ１２に保存する（３０８）。一方、撮影画像が表示（３０７）された際、入力部１１で別の所定の操作が行われると、プレビュー表示（３１３）に戻る。

画像保存（３０８）では、ＣＰＵ９は、メモリ１２または図示しないバッファメモリに一時的に記憶された撮影画像を、メモリ１２の所定の画像保存領域に保存する。画像保存（３０８）が行われると、撮像装置１は、プレビュー表示（３１３）の動作に戻る。

次に、代替調整モードの検索（３１０）について説明する。画像処理制御部１０２は、色温度判定（３０２）で得られた撮影画像の色温度に適合した固定値モードがあるか否か、画像処理制御部１０２が画像処理用メモリ７内を検索する。

適合した固定値モードがない場合は、プレビュー表示（３１３）の動作へ移行する。適合した固定一モードがある場合は、所定のメッセージを表示する（３１１）。所定のメッセージは、画像処理制御部１０２がＣＰＵ９に表示部１０へ表示させることで実現する。

所定のメッセージとは、検索された調整モードが対応する照明光であるか否かをユーザに確認させるものである。例えば、検索の結果固定値モードとして蛍光灯モードが適合すると判断された場合には、「照明は蛍光灯ですか？」というメッセージを表示部１０に表示する。また、例えば、検索の結果固有値モードとして曇天モードが適合すると判断された場合には、「曇天又は日陰ですか？」というメッセージを表示する。以下では、蛍光灯モードが検索されたとして説明する。

ユーザは、入力部１１にて、所定のメッセージに対しＹＥＳを意味する所定の操作をする。入力部１１から信号を受けたＣＰＵ９は、画像処理制御部１０２に、蛍光灯モードへの変更を指示する。

調整モードの変更（３１２）では、画像処理制御部１０２は、ＣＰＵ９から指示された固定値モードの制御用データを画像処理用メモリ７から読み出す。その後、プレビュー表示（３１３）の動作に移行する。

一方、所定のメッセージが表示部１０に表示された際（３１１）、ユーザが、入力部１１にて、ＮＯを意味する所定の操作をすると、自動調整モードのまま、プレビュー表示（３１３）動作に移行する。

上述の動作によって、例えば、白熱灯下の環境で撮影をしている際、被写体固有の色が真っ青であるがために、所定のメッセージとして「曇天又は日陰ですか？」と表示された場合、ユーザは、ＮＯを意味する所定の操作を入力部１１にて行い、誤った固定値モードが設定されることを防止することができる。また、メッセージを表示内容と実際の照明光が一致するかどうかを、ＹＥＳ、ＮＯを選択するだけで、より適切な調整モードが選択されることで、ユーザの使い勝手が向上する。

プレビュー表示（３１３）の動作にて、ユーザが、ホワイトバランス調整された撮影画像が気に入らない場合、入力部１１にて所定の操作を行うことで、調整モードの変更（３０５）をすることができる。

調整モードの変更（３０５）の動作では、画像処理用メモリ７に格納された調整モードが選択できるよう、表示部１１に所定の表示がされる。入力部１１に所定の入力がされることで、ＣＰＵ９は画像処理部１０２に対し、調整モードの変更を指示する。画像処理制御部１０２は、ＣＰＵ９から指示された固定値モードの制御用データを画像処理用メモリ７から読み出す。その後、プレビュー表示（３１３）の動作に移行する。

図４のすべての状態において、入力部１１にて所定の終了操作がされると、カメラ動作は終了する（３０９）。ＣＰＵ９は、ＤＳＰ６に対してカメラモジュール８の動作の終了を指示し、自らも実行中のカメラ機能のプログラムを終了する。

上述の実施例では、所定のメッセージ表示として「照明は蛍光灯ですか？」、「曇天又は日陰ですか？」を例示し、撮影画像の色温度から検索した照明光であるか否かの確認をする内容のメッセージであるとしたが、他の態様でもよい。例えば、単に「ホワイトバランス設定をより適切な調整モードに変更しますか？」と表示するだけでもよいし、「蛍光灯？」とだけ表示してもよい。

上述の実施例では、ＤＳＰ６とＣＰＵ９で機能の切り分けが行われているが、本願発明は他の態様でも構わない。例えば、上述の実施例のＤＳＰ６とＣＰＵ９で実現する機能が、同一の演算処理装置で実現されてもよい。また、ＤＳＰ６がＤＳＰではなく、他の種類のプロセッサでも構わないし、ＤＳＰ６の実現する機能が、ＦＰＧＡのようなプログラマブルなハードウェアで実現されてもよい。

上述の実施例では、撮像装置１で説明したが、撮像装置１を備えた携帯端末でも同様に本発明は適用可能である。上述の実施例では、ユーザが予め設定していない場合には、カメラ起動時に実行される調整モードとして自動調整モードが設定されるとしたが、他の固定値モードが設定されてもよい。

上述の実施例では、図４にあるように、一度調整モードが設定されると、カメラ機能を再起動しない限り、色温度判定（３０２）の動作は実行されないが、本願発明はこの態様に制限されない。例えば、プレビュー表示（３１３）中において、照明環境が変わり、撮影画像データの色温度がその時点で選択されている調整モードの調整範囲を逸脱する場合には、より適切な代替調整モードの検索を行い（３１０）、メッセージ表示（３１１）、調整モード変更（３１２）と同様な処理を行ってもよい。

そうすることで、撮像装置１をユーザが持ち歩いて撮影する場合など、リアルタイムに照明環境が変化する場合において、常に適切なホワイトバランス調整の調整モードを選択することができる。

上述の実施例では、メモリ１２と、画像処理用メモリ７の二つのメモリを使用したが、一つのメモリにまとめてＤＳＰ６とＣＰＵ９からアクセス可能に配置してもよい。

本願発明の撮像装置１は、図４で説明した動作を行うことで、自動調整モードの調整範囲外の色温度の場合には、ユーザに調整モードの切り替えをうながす表示をすることができる。専門的なユーザを対象とした撮像装置ではなく、専門的でないユーザを対象にした撮像装置では、可能な限りユーザが自ら設定する手間を省く設計になっている。

自動調整モードを有する撮像装置において、自動調整モードは、「オートホワイトバランスモード」や「スタンダード」などと表現されることが多い。それらの名称から、ユーザはあらゆる環境に対応する調整モードであると誤解することが多い。自動調整モードでは調整しきれない環境下において、所定のメッセージによりユーザに適切な調整モードの選択をうながすことができる。

本願実施例に係る画像処理装置の構成を表した図である。 本願実施例に係る画像処理装置の機能の関連を表した図である。 本願実施例に係る画像調整部１０１における補正ゲインを示したグラフである。 本願実施例に係る画像処理装置の動作状態の関連を示す図である。 代表的な照明光の色温度を示した図である。

符号の説明

１ 撮像装置
２ 撮影レンズ
３ 撮像部
４ カメラ部
５ ＡＤコンバータ
６ ＤＳＰ
７ 画像処理用メモリ
８ カメラモジュール
９ ＣＰＵ
１０ 表示部
１１ 入力部
１２ メモリ
１００ 色温度判定部
１０１ 画像調整部
１０２ 画像処理制御部

Claims (8)

1. 被写体の撮影画像を生成する撮像部と、
   前記撮影画像の色温度を判断する色温度判定部と、
   ２以上の撮影画像のホワイトバランスの調整モードを保持するメモリと、
   前記色温度判定部の判断結果及び選択された調整モードに基づいて前記撮影画像の補正をする画像補正部と、
   前記補正された撮像画像を表示する表示部と、
   前記色温度判定部の判断結果及び選択された調整モードに基づいて、所定のメッセージを前記表示部に表示させる画像処理制御部と
   を有する画像処理装置。
2. 前記所定のメッセージとは、前記選択された調整モードの切り替えをうながすメッセージである請求項１記載の画像処理装置。
3. 前記画像処理制御部は、前記色温度判定部により判定された撮影画像の色温度が、前記選択された調整モードの所定範囲外である場合に、前記所定のメッセージを前記表示部に表示させる請求項１記載の画像処理装置。
4. 前記画像処理制御部は、前記選択された調整モードが特定の調整モードである場合に、前記所定のメッセージを前記表示部に表示させる請求項１記載の画像処理装置。
5. ２以上のホワイトバランスの調整モードを有し、
   被写体の撮影画像から色温度を判定し、
   判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示する画像処理装置。
6. ２以上のホワイトバランスの調整モードを有し、
   被写体の撮影画像から色温度を判定し、
   判定した色温度及び選択された調整モードに基づいて所定のメッセージを表示する携帯端末。
7. ２以上のホワイトバランスの調整モードから１の調整モードを選択し、
   被写体の撮影画像から色温度を判定し、
   判定された撮影画像の色温度と前記調整モードに基づいて所定のメッセージを表示する
   画像処理の方法。
8. 演算処理装置を、
   撮影画像の色温度を判断する色温度判定部と、
   ２以上の撮影画像のホワイトバランスの調整モードを保持するメモリから選択された調整モード及び前記色温度判定部の判断結果に基づいて前記撮影画像の補正をする画像補正部と、
   前記補正された撮像画像を表示する外部の表示部に表示させ、前記色温度判定部の判断結果及び選択された調整モードに基づいて所定のメッセージを前記表示部に表示させる画像処理制御部、
   として機能させるための画像処理プログラム。
   

Images