JP2007336128A

JP2007336128A - 撮像システム

Info

Publication number: JP2007336128A
Application number: JP2006164255A
Authority: JP
Inventors: Kazuhisa Tatsuta; 和久立田; Yoshihiro Obata; 義広小畑
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-06-14
Filing date: 2006-06-14
Publication date: 2007-12-27

Abstract

【課題】２つの撮像部の撮像動作を切替制御する場合に、各撮像部においてホワイトバランス等の画質の調整に掛かる時間を短縮できる撮像システムを提供する。
【解決手段】この撮像システム１は、各撮像部３，４と、各撮像部３，４を制御する制御部５とを備え、各撮像部３，４は、画質調整に関するパラメータ値を保持する保持部と、前記保持部に保持された前記パラメータ値に基づき画像信号の画質を調整する処理を行う信号処理部３ｄ，４ｄとを備え、制御部５は、一方の撮像部（例えば３）から他方の撮像部（例えば４）に切替制御する際に、撮像部３の前記保持部から前記パラメータ値を読み出し、そのパラメータ値に基づき撮像部４の画質調整に関するパラメータ値を計算し、そのパラメータ値で、撮像部４の前記保持部に保持された前記パラメータ値を更新し、撮像部４の信号処理部４ｄは、前記更新されたパラメータ値に基づき画質調整を行う。
【選択図】図１

Description

本発明は、２つの撮像部の撮像動作を切替制御する撮像システムに関する。

一般に被写体を照明する光源（撮影光源）の色温度は、撮影場所により異なる。画像として再現される色には、被写体自体の色と撮影光源の色とが反映される。このため、デジタル撮像部では、白い被写体を白く再現するためにホワイトバランスの調整を行う。ホワイトバランス調整を自動で行う（ＡＷＢ）方式については種々提案されているが（例えば特許文１）、簡易な方法としては全画素値の平均値がグレーであるということを前提として、画像全体の平均が無彩色となるように、各画素の信号のＲＧＢ成分（赤、緑、青の三原色成分）のバランスを調整する方式がよく知られている。一般的にはＧ成分を基準として固定し、画像全体の平均が無彩色となるようにＲ、Ｂ成分のゲイン調整が行われている（第１の背景技術）。

また、携帯電話機などの２系統の撮像部を有する携帯端末（特許文献２）では、一方の撮像部から他方の撮像部に切り替える操作を行う場合、次に起動する撮像部は一からＡＷＢによるホワイトバランス調整が行われている（第２の背景技術）。

また、特許文献３には、２系統の撮像部を備えたビデオカメラにおいて、２系統の撮像部と1系統の信号処理部と、信号処理部からの色信号に基づきそれぞれの撮像部に対応した２系統のホワイトバランス制御信号を常時生成する制御部とからなり、撮像部と信号処理部との接続切り替えに合わせて、対応するホワイトバランス制御信号に切り替えることにより、撮像部の切り替え直後から安定したホワイトバランスが得られる構成が提示されている（第３の背景技術）。

特開２０００−９２５０９号公報特開２００３−６０７６５号公報特開平５−８３６２０号公報（第３−４項、図１）

上記の第１の背景技術では、ＡＷＢ方式では同じ撮影光源下（色温度）でも、被写体自体の色の変化に反応してしまうため、ホワイトバランスが適度に調整された状態から画像の色合いが大きく変わることがないように、一定割合以上、Ｒ成分およびＢ成分のゲインを変化させない制限を設けることがあり、カメラ起動からホワイトバランスの収束までに時間が掛かる場合があるという欠点があった。

また上記の第２の背景技術では、次に起動する撮像部は一からＡＷＢ方式によるホワイトバランス調整が行われているので、上述の通りホワイトバランスの収束に時間が掛かり、撮像部の切り替え直後、適正な画質で撮影を行えない場合があるという欠点があった。

また上記の第３の背景技術では、信号処理部を１系統としているため、２系統ある撮像部の分光感度特性やカラーフィルタの配列などが異なる場合、各撮像部の特性に合わせた制御、信号処理を行うのには適さないという欠点（即ち、いわゆる自分撮り用のインカメラと高解像度のアウトカメラという特性の異なる２系統の撮像部を有する携帯電話機には適さないという欠点）があった。

そこで、この発明の課題は、２つの撮像部の撮像動作を切替制御する場合に、各撮像部においてホワイトバランス等の画質の調整に掛かる時間を短縮できる撮像システムを提供すること、および各撮像部の特性に合わせた信号処理を行える撮像システムを提供することにある。

上記課題を解決する為に、請求項１に記載の発明は、２つの撮像部と、前記２つの撮像部の撮像動作を切替制御する制御部と、を備え、前記２つの撮像部はそれぞれ、撮像素子と、画質調整に関するパラメータ値を保持する保持部と、前記保持部に保持されている前記パラメータ値に基づき前記撮像素子からの画像信号の画質を調整する処理を含む信号処理部と、を備え、前記制御部は、撮像動作を一方の撮像部から他方の撮像部に切替制御する際に、前記一方の撮像部の前記保持部から前記パラメータ値を読み出し、そのパラメータ値に基づき前記他方の撮像部の画質調整に関するパラメータ値を計算し、その計算したパラメータ値で、前記他方の撮像部の前記保持部に保持されている前記パラメータ値を更新するものである。

請求項１に記載の発明によれば、撮像動作を一方の撮像部から他方の撮像部に切替制御する際に、前記一方の撮像部の保持部からパラメータ値を読み出し、そのパラメータ値に基づき前記他方の撮像部の画質調整に関するパラメータ値を求め、その求めたパラメータ値で、前記他方の撮像部の保持部に保持されているパラメータ値を更新することで、前記一方の撮像部の画質調整の結果を前記他方の撮像部の画質調整に反映させるので、前記他方の撮像部の画質の調整に掛かる時間を短縮できる。また各撮像部毎に信号処理部を備えるので、各撮像部の特性に合わせた信号処理を行える。

この実施の形態に係る撮像システムは、例えば、インカメラおよびアウトカメラといった２つの撮像部を備えた携帯端末機（例えば携帯電話機）に搭載され、それら２つの撮像部の撮像動作を制御するものである。

この撮像システム１は、図１および図２の様に、２つの撮像部（インカメラおよびアウトカメラ）３，４と、２つの撮像部３，４の撮像動作を切替制御すると共に、その切替制御の際に、各撮像部３，４のうち、撮像動作している一方の撮像部から得られる画質調整（ここではホワイトバランス調整）に関する調整情報を次に撮像動作させる他方の撮像部の画質調整にフィードバックする制御部（例えばＭＰＵ）５と、上記のフィードバックの処理に必要なデータを記憶する記憶部（例えば不揮発性メモリ）７とを備えている。

各撮像部３，４は、撮像レンズ３ａ，４ａと、撮像レンズ３ａ，４ａの後方に配置された撮像素子３ｂ，４ｂと、撮像素子３ｂ，４ｂからの画像信号にＡ／Ｄ変換処理等を施してデジタルの画像データを生成するアナログ処理部３ｃ，４ｃと、アナログ処理部３ｃ，４ｃで生成された画像データにデジタル信号処理を施すデジタル信号処理部（信号処理部）３ｄ，４ｄとを備えている。

撮像素子３ｂ，４ｂは、赤画素信号Ｒ、緑画素信号Ｇおよび青画素信号Ｂを出力する原色配列のものである。

デジタル信号処理部３ｄ，４ｄは、アナログ処理部３ｃ，４ｃからの画像データに基づき赤画素信号Ｒに対するゲイン（略してＲｇ）および青画素信号Ｂに対するゲイン（略してＢｇ）（以後、これらを総称してホワイトバランスゲイン（略してＷＢｇ）と呼ぶ）を計算するホワイトバランス制御部３ｅ，４ｅと、ホワイトバランスゲイン制御部３ｅ，４ｅで計算されたホワイトバランスゲインに基づきアナログ処理部３ｃ，４ｃからの画像データにホワイトバランス調整を施すホワイトバランス調整部３ｆ，４ｆと、ホワイトバランス調整部３ｆ，４ｆでホワイトバランス調整された画像データにガンマ補正等の画像補正を施す画像補正部３ｇ，４ｇと、画像補正部３ｇ，４ｇで補正された画像データを所望のフォーマット（ＹＵＶ，ＲＧＢ）に変換して後段の処理部に出力するＲＧＢマトリクス部３ｈ，４ｈとを備えている。

ホワイトバランス制御部３ｅ，４ｅは、積分回路３ｉ，４ｉと、ホワイトバランスゲイン計算部３ｊ，４ｊと、ホワイトバランスゲイン保持部（保持部）３ｋ，４ｋとを備えている。

積分回路３ｉ，４ｉは、アナログ処理部３ｃ，４ｃからの各ＲＧＢの画像データをそれぞれ例えば一画面分ずつ積分して、Ｒ積分値、Ｇ積分値およびＢ積分値を計算する。

ホワイトバランスゲイン計算部３ｊ，４ｊは、積分回路３ｉ，４ｉの計算結果に基づき、下記の式１および式２に従ってＲｇおよびＢｇを計算する。

Ｒｇ＝（Ｇ積分値）／（Ｒ積分値）・・・式１
Ｂｇ＝（Ｇ積分値）／（Ｂ積分値）・・・式２

そしてホワイトバランスゲイン計算部３ｊ，４ｊは、ホワイトバランスの急激な変化を避けるため、式１および式２に従って計算した上記のＲｇおよびＢｇの値でそのまま、ホワイトバランスゲイン保持部３ｋ，４ｋに既に保持されているＲｇおよびＢｇ（以後、説明都合上、Ｒｇ＿ｏｌｄおよびＢｇ＿ｏｌｄと呼ぶ）の設定値を更新するのではなく、下記の式３および式４に従って、式１および式２に従って計算した上記のＲｇおよびＢｇと、ホワイトバランスゲイン保持部３ｋ，４ｋに既に保持されているＲｇ＿ｏｌｄおよびＢｇ＿ｏｌｄの設定値との平均値を計算し、その平均値を新たなＲｇおよびＢｇ（以後、説明都合上、Ｒｇ＿ｎｅｗおよびＢｇ＿ｎｅｗと称す）とし、それらＲｇ＿ｎｅｗおよびＢｇ＿ｎｅｗの値で、ホワイトバランスゲイン保持部３ｋ，４ｋに既に保持されているＲｇ＿ｏｌｄおよびＢｇ＿ｏｌｄの設定値を更新する。

Ｒｇ＿ｎｅｗ＝ａ＊Ｒｇ＋ｂ＊Ｒｇ＿ｏｌｄ・・・式３
Ｂｇ＿ｎｅｗ＝ａ＊Ｂｇ＋ｂ＊Ｂｇ＿ｏｌｄ・・・式４
尚、式３および式４において、ａおよびｂは、ａ＋ｂ＝１を満足する様に適宜値に設定される定数であり、＊は、掛け算を意味する演算子である。

即ちホワイトバランスゲイン計算部３ｊ，４ｊは、積分回路３ｉ，４ｉにより例えば１画面分のＲ積分値、Ｇ積分値およびＢ積分値が計算される度に、式１〜式４の計算を行ってホワイトバランスゲイン（Ｒｇ＿ｎｅｗおよびＢｇ＿ｎｅｗ）の値を求め、そのホワイトバランスゲインの値で、保持部３ｋ，４ｋに既に保持されるホワイトバランスゲイン（Ｒｇ＿ｏｌｄおよびＢｇ＿ｏｌｄ）の設定値を更新する様になっている。そして、この更新されたホワイトバランスゲイン（Ｒｇ＿ｎｅｗおよびＢｇ＿ｎｅｗ）の設定値に基づき、ホワイトバランス調整部３ｆ，４ｆによりホワイトバランス調整が行われる。

記憶部７には、各撮像部３，４における撮影光源の色温度とホワイトバランスゲインとの対応を示すテーブルＴ１，Ｔ２が格納されている。これらのテーブルＴ１，Ｔ２は、予め撮像部３，４の各色温度の撮影光源に応じたホワイトバランスゲインを測定した結果に基づき構成したものであり、各撮像部３，４の分光感度特性等を反映したものである。

制御部５は、所定の操作部を介して入力されるユーザからの切替指示に応じて撮像部３，４の撮像動作を切替制御する。その際（即ち、撮像動作を一方の撮像部（例えば撮像部３）から他方の撮像部（例えば撮像部４）に切替制御する際）、制御部５は、前記一方の撮像部３のホワイトバランスゲイン保持部３ｋからそれに保持されているホワイトバランスゲインの設定値（画質調整に関するパラメータ値）を読み出し、記憶部７に格納されているテーブルＴ１を例えばルックアップ方式で参照して、その読み出したホワイトバランスゲインの値から撮影光源の色温度を推定する（色温度推定処理）。そして制御部５は、記憶部７に格納されているテーブルＴ２を例えばルックアップ方式で参照して、その推定した色温度から、前記他方の撮像部４におけるその色温度に対応するホワイトバランスゲインの値を求め、その求めたホワイトバランスゲインの値で、撮像部４のホワイトバランスゲイン保持部４ｋに保持されているホワイトバランスゲインの設定値を更新する（ホワイトバランスゲイン設定処理）。

この発明では、ホワイトバランスゲイン保持部３ｋ，４ｋに保持されるホワイトバランスゲインの設定値は、ホワイトバランス調整部３ｆ，４ｆに入力されると共に、制御部５からの読み書きが可能な状態に置かれており、ホワイトバランスゲイン計算部３ｊ，４ｊからだけでなく、必要に応じて制御部５からも、更新可能になっている。そしてホワイトバランスゲイン計算部３ｊ，４ｊは、上記のホワイトバランスゲイン設定処理で設定されたホワイトバランスを上記のＲｇ＿ｏｌｄおよびＢｇ＿ｏｌｄと見なして、新たなホワイトバランスゲイン（Ｒｇ＿ｎｅｗおよびＢｇ＿ｎｅｗ）を計算する様になっている。

次に図３〜図５に基づきこの撮像システム１の動作（即ち撮像部３，４の撮像動作の切替制御に関する動作）を説明する。以下では、撮像動作を撮像部３から撮像部４に切り替える場合で説明する。

まずステップＳ１で、所定の操作部を介してユーザーからの撮像部３，４の切替指示を受けると、ステップＳ２に進み、制御部５により色温度推定処理が行われる。より詳細には、まずステップＳ２−１で、制御部５により、撮像動作中の撮像部３のホワイトバランスゲイン保持部３ｋに保持されているホワイトバランスゲインの設定値が読み出される。そしてステップＳ２−２で、制御部５により、記憶部７に格納されているテーブルＴ１が例えばルックアップ方式で参照されて、その読み出されたホワイトバランスゲインの値から撮影光源の色温度が推定される。この様にして色温度推定処理が行われる。そしてステップＳ３に進む。

そしてステップＳ３で、制御部５により、撮像動作中の撮像部３が停止された後、ステップＳ４で、制御部５により、停止していた撮像部４が起動される。

そしてステップＳ５で、制御部５によりホワイトバランスゲイン設定処理が行われる。より詳細には、まずステップＳ５−１で、制御部５により、記憶部７に格納されているテーブルＴ２が例えばルックアップ方式で参照されて、ステップＳ２で推定した色温度から、撮像部４におけるその推定された色温度に対応するホワイトバランスゲインの値が求められる。そしてステップＳ５−２で、制御部５により、その求められたホワイトバランスゲインの値で、撮像部４のホワイトバランスゲイン保持部４ｋに保持されているホワイトバランスゲインの設定値が更新される。

そして撮像部４のデジタル信号処理部４ｄ内において、ホワイトバランスゲイン計算部４ｊにより、ホワイトバランスゲイン保持部４ｋに保持された当該更新されたホワイトバランスゲインの設定値を初期値（この初期値が上述のＲｇ＿ｏｌｄ，Ｂｇ＿ｏｌｄとなる。）として、上記の式１〜式４を用いて、その初期値と、積分回路４ｉにより計算された積分値（Ｇ積分値，Ｂ積分値，Ｒ積分値）とから新たなホワイトバランスゲイン（Ｒｇ＿ｎｅｗ，Ｂｇ＿ｎｅｗ）が計算され、その計算された新たなホワイトバランスゲインの値で、ホワイトバランスゲイン保持部４ｋに保持されているホワイトゲインの設定値（即ちステップＳ５−２で更新されたホワイトバランスゲインの設定値）が更に更新される。そして、その更新されたホワイトバランスゲイン（Ｒｇ＿ｎｅｗ，Ｂｇ＿ｎｅｗ）の設定値に基づき、ホワイトバランス調整部４ｆによりホワイトバランス調整が行われる。

このような処理により、撮像部３から撮像部４ヘの撮像動作の切り替えの際に、切り替え前に動作していた撮像部３のホワイトバランスゲインを基にして撮影光源の色温度が把握できるため、その把握した色温度によって、次に動作させる撮像部４のホワイトバランスゲインの初期値を適切な値に設定することが可能となる。

このため、上記のホワイトバランスゲイン設定処理において、ホワイトバランスゲイン保持部４ｋに保持されるホワイトバランスゲインの設定値を、式３および式４の様に更新前のホワイトバランスゲインの設定値を用いて平均化しその平均化したもので更新するような、ホワイトバランスの収束までに時間を要す処理方式を使用していても、短いサイクルで撮像部４のホワイトバランスが収束するようになり、撮像部の切り替え直後から適正な画質で撮影を行えるようになる。

尚、この説明では、撮像部３から撮像部４に撮像動作を切り替える場合で説明したが、撮像部４から撮像部３に撮像動作を切り替える場合も、同様の手順で行われ、同様の効果が得られる。

以上の様に構成された撮像システム１によれば、撮像動作を一方の撮像部（例えば撮像部３）から他方の撮像部（例えば撮像部４）に切替制御する際に、前記一方の撮像部３の保持部３ｋから画質調整に関するパラメータ値（ここではホワイトバランスゲインの設定値）を読み出し、そのパラメータ値に基づき他方の撮像部４の画質調整に関するパラメータ値（ここではホワイトバランスゲインの値）を求め、その求めたパラメータ値で、前記他方の撮像部４の保持部４ｋに保持されているパラメータ値を更新することで、前記一方の撮像部３の画質調整（ここではホワイトバランス調整）の結果を前記他方の撮像部４の画質調整（ここではホワイトバランス調整）に反映させるので、前記他方の撮像部４の画質の調整に掛かる時間を短縮できる。

また、前記他方の撮像部４の信号処理部４ｄは、撮像素子４ｃからの画像信号に基づきホワイトバランスゲインを計算し、その計算したホワイトバランスゲインの値でそのまま、当該他方の撮像部４の保持部４ｋに保持されているホワイトバランスゲインの設定値を更新するのではなく、その計算したホワイトバランスゲインの値と、当該他方の撮像部４の保持部４ｋに保持されているホワイトバランスゲインの値との平均値を計算し、その平均値で、当該他方の撮像部４の保持部４ｋに保持されているホワイトバランスゲインの設定値を更新するので、ホワイトバランスの調整の際に、ホワイトバランスの急激な変化を避ける事ができる。

また各撮像部３，４毎にデジタル信号処理部３ｄ，４ｄを備えるので、各撮像部３，４の特性に合わせた信号処理を行える。

また、上記の画質調整はホワイトバランス調整であるので、ホワイトバランスの調整に掛かる時間を短縮できる。

本発明の実施の形態に係る撮像システムの構成概略図である。図１のホワイトバランス制御部の構成概略図である。図１の制御部の動作を説明する図である。図３のステップＳ２の動作を詳説する図である。図３のステップＳ５の動作を詳説する図である。

符号の説明

１撮像システム、３，４撮像部、３ａ，４ａ撮像レンズ、３ｂ，４ｂ撮像素子、３ｃ，４ｃアナログ処理部、３ｄ，４ｄデジタル信号処理部、３ｅ，４ｅホワイトバランス制御部、３ｆ，４ｆホワイトバランス調整部、３ｇ，４ｇ画像補正部、３ｈ，４ｈＲＧＢマトリクス部、３ｉ，４ｉ積分回路、３ｊ，４ｊホワイトバランスゲイン計算部、３ｋ，４ｋホワイトバランスゲイン保持部、５制御部、７記憶部。

Claims

２つの撮像部と、
前記２つの撮像部の撮像動作を切替制御する制御部と、
を備え、
前記２つの撮像部はそれぞれ、
撮像素子と、
画質調整に関するパラメータ値を保持する保持部と、
前記保持部に保持されている前記パラメータ値に基づき前記撮像素子からの画像信号の画質を調整する処理を行う信号処理部と、
を備え、
前記制御部は、
撮像動作を一方の撮像部から他方の撮像部に切替制御する際に、前記一方の撮像部の前記保持部から前記パラメータ値を読み出し、そのパラメータ値に基づき前記他方の撮像部の画質調整に関するパラメータ値を計算し、その計算したパラメータ値で、前記他方の撮像部の前記保持部に保持されている前記パラメータ値を更新することを特徴とする撮像システム。
前記画質調整は、ホワイトバランス調整であることを特徴とする請求項１に記載の撮像システム。
前記パラメータ値がホワイトバランスゲインである場合であって、
前記他方の撮像部の前記信号処理部は、前記撮像素子からの画像信号に基づきホワイトバランスゲインを計算し、その計算したホワイトバランスゲインの値と、当該他方の撮像部の前記保持部に保持されている前記更新されたパラメータ値との平均値を計算し、その平均値で、当該他方の撮像部の前記保持部に保持されている前記更新されたパラメータ値を更に更新することを特徴とする請求項１に記載の撮像システム。