JP2005045558A

JP2005045558A - 撮像装置

Info

Publication number: JP2005045558A
Application number: JP2003277837A
Authority: JP
Inventors: Kiyotaka Nakabayashi; 清隆中林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-22
Filing date: 2003-07-22
Publication date: 2005-02-17
Also published as: CN1332566C; CN1592424A; TWI241846B; KR20050011722A; TW200509685A; US20050046712A1

Abstract

【課題】画像中の最暗点が無彩軸からずれている場合にも、人間の黒の順応効果を考慮することによって、見えを同等にして黒バランス制御を行うことができる撮像装置を提供する。
【解決手段】撮像装置は、撮像素子で撮像された撮像信号が供給され、その撮像信号の黒レベルをクランプするクランプ回路と、撮像信号の最暗点を検出する最暗点検出回路と、クランプ回路で黒レベルがクランプされた撮像信号が供給され、その撮像信号のホワイトバランス補正をするホワイトバランス回路と、ホワイトバランス回路でホワイトバランス補正された撮像信号が供給され、これより映像信号を生成する信号処理部と、を備え、最暗点検出回路は、撮像信号の最暗点を検波し、この検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正を行い、クランプ回路を制御することである。
【選択図】図１

Description

本発明は撮像装置に関し、詳しくは、画像中の最暗部が無彩軸からずれている場合にも、人間の黒への順応効果を考慮することによって、見えを同等にして黒バランス制御を行う撮像装置に関する。

従来技術において、黒順応補正については、特開平２０００−１７５０６２号公報に開示されているように、ここではメディア（画像表示装置、紙等の記録媒体）の出力可能な最暗点についての黒順応補正を行っている。
又、従来のクランプ制御回路については、図７に示すように、被写体からの映像光を収束するレンズ系１１、レンズ系１１で収束した映像を電気信号に変換するＣＣＤ１２、ＣＣＤ１２で変換された電気信号をサンプリング及びゲインコントロールするＳ／Ｈ＆ＡＧＣ１３、Ｓ／Ｈ＆ＡＧＣ１３でサンプリング及びゲインコントロールされた信号をデジタル信号に変換するＡ／Ｄ変換器１４、このデジタル信号の黒バランス補正をするクランプ回路１５、ホワイトバランス補正をするホワイトバランス回路１６、色差信号を得るガンマ補正回路１７、映像信号を生成する信号処理回路１８、撮像信号から最暗点を検波する特定色抽出回路１９、とから大略構成されている。

このような構成からなる撮像装置の動作について、図８に示すフローチャートに基づいて以下説明する。

先ず、被写体の画像情報を用いず、信号レベルで、ＯＰＢ；オプティカルブラック（撮像素子に物理的に光を遮断した黒の信号レベル；出力可能な最暗点）の分を差し引いて、クランプする計算を行う（ステップＳＴ２１）。
そして、この計算されたもので、クランプ回路の制御を行う（ステップＳＴ２２）。

この制御方法は、他の技術として特開２００２−１１８８５８号公報にも開示されている。この開示されているものは、ＣＣＤ等の撮像素子の有効画面外から黒レベル調整用の撮像信号を得る目的で、この撮像素子に光学的黒領域を設け、この光学的黒領域から得られる撮像信号に対して黒バランスさせるというものである。
特開２０００−１７５０６２号公報（第３頁第１図）特開２００２−１１８８５８号公報（第４頁〜５頁第６図）

しかしながら、従来技術で説明した撮像装置において、例えば、カメラ画像について被写体を撮像した場合に画像のダイナミックレンジがカメラの出力可能な最暗点を使い切っていないとき、つまりカメラのダイナミックレンジを使い切っていないときに、被写体の中に黒があるとしても、撮像状態によって最暗点は黒の浮いたものとなって撮像されていた。又、このようなときには暗部でノイズが目立つという問題点もあった。
従って、このような点を鑑みて、人間の黒への順応を考慮した、黒バランス補正によるクランプ制御回路を有する撮像装置に解決しなければならない課題を有する。

上記課題を解決するために、本願発明の撮像装置は、次に示す構成にすることである。

（１）撮像装置は、撮像素子で撮像された撮像信号が供給され、該撮像信号に対して所定の画像処理が施されて映像信号を出力する撮像装置であって、前記撮像信号の最暗点が無彩軸からずれている場合に、人間の黒への順応効果を考慮した黒順応率を考慮して無彩軸方向に補正する黒バランス制御を行うことである。

（２）撮像装置は、撮像素子で撮像された撮像信号が供給され、その撮像信号の黒レベルをクランプするクランプ回路と、前記撮像信号の最暗点を検出する最暗点検出回路と、前記クランプ回路で黒レベルがクランプされた撮像信号が供給され、その撮像信号のホワイトバランス補正をするホワイトバランス回路と、前記ホワイトバランス回路でホワイトバランス補正された撮像信号が供給され、これより映像信号を生成する信号処理部と、を備え、前記最暗点検出回路は、前記撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正を行い、前記クランプ回路を制御することである。
（３）前記撮像素子は、ＣＣＤなどの固体撮像素子であって、Ｒ、Ｇ、Ｂの各原色に対応して設けられたことを特徴とする（２）に記載の撮像装置。
（４）前記クランプ回路の黒順応率をＧＵＩを介して入力できるようにしたことを特徴とする（２）に記載の撮像装置。

本発明により、画像中の最暗点が無彩軸からずれている場合にも、人間の黒の順応効果を考慮することによって、見えを同等にして黒バランス制御を行うことができる。
又、少なくとも半導体撮像素子と三原色信号検波回路と最暗点検出回路とクランプ制御回路とホワイトバランス制御回路を有し、検波した撮像画像の最暗点を検波して黒順応を考慮した黒バランス補正を行い、クランプ回路を制御することができる。
また、クランプ制御回路においては、黒への順応率をＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）で入力することも可能になり、黒バランス制御によって、撮像装置のダイナミックレンジを拡大することを可能にする。
また、黒バランス制御によって、最暗点のノイズを減らすことができる。

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。

本発明の撮像装置は、図１に示すように、被写体からの映像光を収束するレンズ系１１と、このレンズ系１１を通した映像光を光電変換によって電気信号に変換するＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ；電荷転送素子）１２と、この変換された電気信号がサンプルホールド及びゲインコントロールするＳ／Ｈ＆ＡＧＣ１３と、ブラックバランス補正をするクランプ回路１５と、ホワイトバランス補正をするホワイトバランス補正回路１６と、色差信号を得るガンマ補正回路１７と、映像信号を生成する信号処理回路１８と、特定色抽出回路１９とから大略構成されている。

このような構成からなる撮像装置における動作について説明すると、先ず、被写体からの映像光を収束するレンズ系１１を通して、半導体撮像素子としてのＣＣＤ１２に入射される。
このＣＣＤ１２に入射された映像光は光電変換によって電気信号に変換される。この変換された電気信号がＳ／Ｈ＆ＡＧＣ１３に入力され、このＳ／Ｈ＆ＡＧＣ１３でサンプリング及びゲインコントロールされた信号が、Ａ／Ｄ変換器１４に入力される。
このＡ／Ｄ変換器１４に入力された信号はデジタル信号に変換されて、クランプ回路１５によって黒バランス補正がされる。
この黒バランス補正とは、撮影状態により黒が浮き、無彩軸からずれてしまうのを補正するための処理である。
例えば、図３に示すような被写体において、黒髪（Ａ点）や服装の黒い部分（Ｂ点）や、光源が当たらない暗い部分（Ｃ点）等の最暗点を検波する。そして、図４に示すように、その検波した最暗点を原点（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）＝（０、０、０）方向、すなわち無彩軸方向に、人間の目の黒への順応率である黒順応率を考慮して補正することである。

次に、具体的な信号の処理について、以下説明する。
先ず、Ａ／Ｄ変換器１４後のＲＧＢの信号を人間の視覚特性が考慮された値であるＸＹＺ値に変換する。
例えば、ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ；国際電気標準会議）が定める色空間の国際規格であるｓＲＧＢ変換を用いて次の（１）式のように８ビットのＲＧＢ値をべき乗の補正をかけたＲＧＢ値に変換する。他のＧ、Ｂについても同様の式で変換する。

次に、（２）式に示すように、非線形変換されたＲＧＢ値をＸＹＺ値に変換する。

ここで、このマトリックスとして、例えば（３）式のような値がｓＲＧＢ変換で使用されている。

尚、これらのＲＧＢ値からＸＹＺ値への変換はルックアップテーブルを用いても良い。

次に、黒順応率をＫａｄｐとして、（４）式のようにして黒順応を考慮した黒を定義する。ここで、ＸＳ,ＩＮ,ＭＫＹＳ,ＩＮ,ＭＫＺＳ,ＩＮ,ＭＫは、検波された最暗点のＸＹＺ値である。又、黒順応率を加味した最暗点のＸＹＺ値を、ＸＳ,ＩＮ,ＫＹＳ,ＩＮ,ＫＺＳ,ＩＮ,Ｋとする。
ここで、Ｋａｄｐ＝１．０としたときには、黒順応率１００％を表わしており、検波した被写体の最暗点に完全に黒順応していると考えて黒バランス補正がされる。
又、Ｋａｄｐ＝０．０としたときには黒順応率０％を表わしており、このときは黒順応がないとして、黒バランス補正が行われなくなる。
この黒順応率は、人間の目の黒への順応率を表わしており、これは、「Ｋ.Ｎａｋａｂａｙａｓｈｉ、Ｍ．Ｄ．Ｆａｉｒｃｈｉｌｄ“Ａｐｐｅａｒａｎｃｅｍａｔｃｈｂｅｔｗｅｅｎｈａｒｄｃｏｐｙａｎｄｓｏｆｔｃｏｐｙｕｓｉｎｇｌｉｇｈｔｎｅｓｓｒｅｓｃａｌｉｎｇｗｉｔｈｂｌａｃｋｐｏｉｎｔａｄａｐｔａｔｉｏｎ、”ＳＰＩＥ／ＩＳ＆ＴＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ２００２：Ｐｒｏｃ．ＳＰＩＥＶｏｌ．４６６３、ｐ．２１７−２２８」の視覚実験の結果から、最適な値は被写体にもよるが、ほぼ中央値である０．４〜０．６を与えることとする。

尚、ここでＫａｄｐは、図５に示すように、ＧＵＩでユーザーが黒順応率を自由に入力できるようにしても良い。
なお、１/３乗を用いているのは、人間の色知覚空間を近似する空間で計算するためのものであって、これに限るわけではない。

次に、（４）式で定義された、黒順応を考慮した最暗点を元にして（５）式に示すような黒バランス補正変換を行う。
ここで、ＸＳ,ＩＮＹＳ,ＩＮＺＳ,ＩＮは、補正前の画像データのＸＹＺ値を表わし、又、ＸＳ,ＯＵＴＹＳ,ＯＵＴＺＳ,ＯＵＴは、黒バランス補正後の画像データのＸＹＺ値である。

尚、γｘ、γｙ、γｚについては（６）式のような式で定義し、例えば、図６に示すような単調増加の関数で定義するものとする。

このようにして得られた、黒順応後のＸＳ,ＯＵＴＹＳ,ＯＵＴＺＳ,ＯＵＴを（１）式、（２）式、（３）式の逆変換を行って、ＲＧＢ値に戻すこととする。

次に、黒バランス補正後の信号は白バランス補正手段及びホワイトバランス回路１６に入力される。
更に、このホワイトバランス回路１６では、例えば、Ｒ、Ｇ、Ｂ信号が検波され、この検波信号がＣＰＵに入力される。そして、このＣＰＵでは、例えば、入力されたＲ、Ｇ、Ｂ信号から現在撮影されている被写体の色温度を判断し、その色温度に合ったホワイトバランス補正手段の制御値が設定される。

以上により、人間の黒への順応が考慮された黒バランス補正を行うことができ、補正後は画像中の最暗点が、図４に示すように、「原点（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）＝（０、０、０）の無彩軸方向に補正されることによって、結果的にダイナミックレンジが広がり、また黒レベルのノイズも減らす効果がある。

画像中の最暗点が無彩軸からずれている場合にも、人間の黒の順応効果を考慮することによって、見えを同等にして黒バランス制御を行うことができる。

本発明の撮像装置を構成するブロック図である。同、動作を示すフローチャートである。同、最暗点を検出した様子を示す説明図である。同、黒バランス補正の概略図である。同、黒順応率の入力画面である。同、関数γｒの具体例である。従来技術における撮像装置のブック図である。従来技術における動作を示すフローチャートである。

符号の説明

１１；レンズ系、１２；ＣＣＤ、１３；Ｓ／Ｈ＆ＡＧＣ、１４；Ａ／Ｄ変換器、１５；クランプ回路、１６；ホワイトバランス回路、１７；ガンマ補正回路、１８；信号処理部、１９；特定色検出回路。

Claims

撮像素子で撮像された撮像信号が供給され、該撮像信号に対して所定の画像処理が施されて映像信号を出力する撮像装置であって、
前記撮像信号の最暗点が無彩軸からずれている場合に、人間の黒への順応効果を考慮した黒順応率を考慮して無彩軸方向に補正する黒バランス制御を行うことを特徴とする撮像装置。
撮像素子で撮像された撮像信号が供給され、その撮像信号の黒レベルをクランプするクランプ回路と、
前記撮像信号の最暗点を検出する最暗点検出回路と、
前記クランプ回路で黒レベルがクランプされた撮像信号が供給され、その撮像信号のホワイトバランス補正をするホワイトバランス回路と、
前記ホワイトバランス回路でホワイトバランス補正された撮像信号が供給され、これより映像信号を生成する信号処理部と、を備え、
前記最暗点検出回路は、前記撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正を行い、前記クランプ回路を制御することを特徴とする撮像装置。
前記撮像素子は、ＣＣＤなどの固体撮像素子であって、Ｒ、Ｇ、Ｂの各原色に対応して設けられたことを特徴とする請求項２に記載の撮像装置。
前記クランプ回路の黒順応率をＧＵＩを介して入力できるようにしたことを特徴とする請求項２に記載の撮像装置。