JP2009055596A - 高速度カメラ - Google Patents

Abstract

【課題】光学、電気的水平シェーディングが存在した場合でも各チャンネルのを均一に補正する。
【解決手段】水平方向に１６チャンネルの並列出力を持つ撮像素子を有する撮像装置において、入力光量に対する各並列出力の特性を補正する手段を有し、小光量から順に細かく光量を可変した後に順に光量を粗く可変する複数の入射光量において、画面中央の並列出力の信号を規準として各並列出力の特性を補正し、前記補正後の各並列出力信号から合成処理で映像信号を生成する撮像装置。
【選択図】図８

Description

本発明は、高速度カメラの改良に関するものである。

近年は、画素周辺記録ＣＣＤ撮像素子による高速撮影が可能になった（特許文献１参考）。さらに、画素周辺記録ＣＣＤを斜行直線状にして並列読み出しとして、１００万枚／秒で連続撮影が可能になった（特許文献２参考）。

さらに、並列読み出し数を増加したり、複数の撮像素子を貼り合わせて、より高速読み出しを試みられている。
特開平９−５５８８９ 特開２０００−１６７５０

画素周辺記録ＣＣＤ撮像素子による高速撮影を計測に用いるには、各並列出力の全ての諧調を補正する必要がある。

本発明は、上記の目的を達成するために、複数の並列出力を持つ撮像素子を有する撮像装置において、各並列出力中の所定信号を規準として、入力光量に対する各並列出力の特性が規則的な曲線となるように補正する手段を有し、前記補正後の各並列出力信号から合成処理で映像信号を生成する手段を有することを特徴とした撮像装置である。

また上記において、水平方向に複数の並列出力を持つ撮像素子を有し、小光量から順に細かく光量を可変した後に順に光量を粗く可変し、複数の入射光量において画面中心の前記並列出力を基準に補正し、前記補正後の各並列出力信号から映像信号を生成する手段を有することを特徴とした撮像装置である。

さらに上記において、水平方向に複数の並列出力を持つ撮像素子を有し、各並列出力の両端のレベルを同一に補正する手段、または各並列出力内の信号レベルが近似直線になるようにシェーディング補正する手段の少なくとも一方を有することを特徴とした撮像装置である。

以上のように本発明によれば、光学、電気的水平シェーディングが存在した場合でも画面中心の前記並列出力を基準に隣の並列出力の境界に合わせるので均一な補正が可能である。

また、並列出力の小光量の非線形が強くても、小光量から順に細かく光量を可変して補正した後に順に光量を粗く可変して補正することにより、滑らかな補正が可能である。

さらに、各並列出力内の信号レベルが近似直線になるようにシェーディング補正するのでさらに滑らかな補正が可能である。

まず本発明の補正の概要を、並列出力ＣＣＤの構造を示す模式図の図１と、補正前映像画面を示す模式図の図２と、理想補正後映像画面を示す模式図の図３と、入力光量に対する各並列出力の特性を示す模式図の図４と、補正入出力特性（５折れ点カーブ）を示す模式図の図５と、入力光量に対する補正後の各並列出力の特性を示す模式図の図６とを用いて説明する。

その後に、本発明の一実施例を、補正係数を算出する全体構成を示すブロック図の図７と本発明の一実施例の高速度カメラの全体構成を示すブロック図の図８と、本発明の一実施例のＰ１レベルでの各並列出力を示す模式図の図９とを用いて説明する。

次に本発明の一実施例の各並列出力の調整方法を、本発明の一実施例の各並列出力の調整方法を示す模式図の図１０と図１１と、本発明の一実施例の各並列出力両端のシェーディング補正方法を示す模式図の図１２とを用いて説明する。

並列出力ＣＣＤの構造を示す模式図の図１のように、出力が並列で複数のチャンネル（以下ＣＨ）に分けて出力するため、入力光量に対する各並列出力の特性を示す模式図の図４のようにＣＨ間で特性がばらつき、画面としては、補正前映像画面を示す模式図の図２のようにＣＨ間の特性差が発生する。以下１６ＣＨの例で説明するが、他の数のＣＨでも同様である。

各並列出力に対する補正係数特性（５折線）を示す模式図の図５の５折線を各１６ヶの並列出力ごとに変更して１６パターンの補正係数を生成し、入力光量に対する補正後の各並列出力の特性を示す模式図の図６のように補正し、画面としては、理想補正後映像画面を示す模式図の図３のように補正する事を目標とする。

具体的には、補正係数を算出する全体構成を示すブロック図の図７のように、積分球等の均一な光源３０をレンズ２で撮像し、０から１００％出力までの入射光量の映像信号を取得し、画面中央のＣＨ出力を規準として他のＣＨ出力を補正する補正係数を算出する。

補正係数は、まず、入力レベル閾値をＰ１からＰ５まで選定する。画素周辺記録ＣＣＤ撮像素子は主に立ち上がり特性に問題が多く、立ち上がりに重みを置いた設定となる。つまり各閾値は小光量から順に細かく光量を可変した後に順に光量を粗く可変する。そして、各閾値に対するゲインＧ１からＧ５まで選定する。Ｇ１からＧ５まで選定する過程で各閾値に対する切片Ｓ２からＳ５を自動計算し選定する。

補正式は入力をＸとし、出力をＹとすると
Ｘ＜Ｐ１なら Ｙ＝Ｇ１×Ｘ
Ｘ＜Ｐ２なら Ｙ＝Ｇ２×（Ｘ−Ｐ１）＋Ｓ２
Ｘ＜Ｐ３なら Ｙ＝Ｇ３×（Ｘ−Ｐ２）＋Ｓ３
Ｘ＜Ｐ４なら Ｙ＝Ｇ４×（Ｘ−Ｐ３）＋Ｓ４
Ｘ≧Ｐ４なら Ｙ＝Ｇ５×（Ｘ−Ｐ４）＋Ｓ５
Ｓ２＝Ｇ１×Ｐ１
Ｓ３＝Ｇ２×（Ｐ２−Ｐ１）＋Ｓ２
Ｓ４＝Ｇ３×（Ｐ３−Ｐ２）＋Ｓ３
Ｓ５＝Ｇ４×（Ｐ４−Ｐ３）＋Ｓ４
となる。
この式を１６ｃｈ個別に設定可能とする。

次にゲイン特性を求める方法について具体的に説明する。

Ｐ１を映像レベル５％とした場合は、補正係数を算出する全体構成を示すブロック図の図７で映像出力が最大５％以下になるように、レンズ３のアイリスを絞るか、または、ＮＤフィルタで入射光を減衰する。

画面中心のチャンネルｃｈ８を基準とし、隣のチャンネルのｃｈ７がｃｈ８と同一レベルになるようｃｈ７のＧ１のＧ１-７を可変し、本発明の一実施例のＰ１レベルでの各並列出力を示す模式図の図９の（ｂ）のｃｈ７補正後のようにｃｈ７とｃｈ８とのチャンネル境界を連続にする。次に、隣のチャンネルｃｈ６がｃｈ７と同一レベルになるようＧ１−６を可変し、本発明の一実施例のＰ１レベルでの各並列出力を示す模式図の図９の（ｃ）ch6,ch7補正後のようにｃｈ６とｃｈ７とのチャンネル境界を連続にする。同様にすべてのチャネルのＧ１を可変し、本発明の一実施例のＰ１レベルでの各並列出力を示す模式図の図９の（ｄ）全ｃｈ補正後の様に全チャンネル境界を連続にし、各チャンネルのＧ１が決定する。Ｇ１が決定されれば自動的にＳ２（＝Ｇ１×Ｐ１）が決定される。
この方式の利点としては。光学、電気的水平シェーディングが存在した場合でも隣のチャンネルの境界に合わせるので均一な補正が可能である。つまり、補正係数を算出する全体構成を示すブロック図の図７の光源３０が均一でなくともレンズ２の周辺光量が不足していても補正が可能である。

次にＰ２を映像レベル１０％とした場合、補正係数を算出する全体構成を示すブロック図の図７で映像出力の最大が５％から１０％になるように、レンズ３のアイリスを少し開くか、または、ＮＤフィルタで入射光を調整し、ｃｈ８を基準に全チャンネルが均一となるように、Ｇ２を決定する。Ｇ２が決定されれば自動的にＳ３（＝Ｇ２×（Ｐ２−Ｐ１）＋Ｓ２）が決定される。

次にＰ３を映像レベル１５％とした場合、補正係数を算出する全体構成を示すブロック図の図７で映像出力の最大が１０％から１５％になるように、レンズ３のアイリスを少し開くか、または、ＮＤフィルタで入射光を調整し、ｃｈ８を基準に全チャンネルが均一となるように、Ｇ３を決定する。同時に切片Ｓ４を算出する。

同様に、Ｇ４と切片Ｓ５、Ｇ５を求める。

この様に並列出力の小光量の非線形が強くても、小光量から順に細かく光量を可変して補正した後に順に光量を粗く可変して補正することにより、滑らかな補正が可能である。

以上の説明は、５折線であるが、６折線以上にすればより補正精度は向上する。

本発明の一実施例の高速度カメラの全体構成を示すブロック図の図８において、撮像素子１の映像は、雑音を除去するＣＤＳ（Correlated Double Sampling）と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号に変換するＡＤＣ（Analog Digital Converter）とを内蔵したフロントエンドプロセッサ（Front End Processor：ＦＥＰ）１４〜２９を介し、多重器（Multiplexer：ＭＰＸ）６で、補正前映像となり、レベル判定部７と係数マトリクス１０と補正部１１とにより補正される。補正された映像信号は、画像処理部１３で、出力映像信号となり映像モニタ５で表示される。また、パソコン４とインターフェース（Interface：ＩＦ）１２を介して、映像信号と制御信号を通信し、パソコン４からＩＦ１２を介して送られた係数設定に応じて、ＣＰＵ９は、係数マトリクス１０を制御する。

次に本発明の一実施例の各並列出力の調整方法を、本発明の一実施例の各並列出力の調整方法を示す模式図の図１０と図１１と、本発明の一実施例の各並列出力両端のシェーディング補正方法を示す模式図の図１２とを用いて説明する。

各並列出力の列の不均一によって水平シェーディングが発生するので、単純に各並列出力の平均値を同一にしてしまうと、短冊模様は消えない。

そこで、本発明の一実施例の各並列出力の調整方法を示す模式図の図１０は、各並列出力（ｃｈ）の1列目と45列目（両端）のレベルを同一にする調整方法である。ここで６ｃｈ、７ｃｈ、８ｃｈを例に、ゲイン調整動作を説明する。
（１）中心の８ｃｈの1列目（左端）のレベルを求める。
（２）７ｃｈの45列目（右端）のレベルを求める。
（３）７ｃｈのゲインを調整して８ｃｈの1列目（左端）レベルに７ｃｈの45列目（右端）レベルを近づける。
（４）７ｃｈの1列目（左端）のレベルを求める。
（５）６ｃｈの45列目（右端）のレベルを求める。
（５）６ｃｈのゲインを調整して７ｃｈの1列目（左端）レベルに６ｃｈの45列目（右端）レベルを近づける。

以下、同じ方法で基準chである８ｃｈ以外の全ｃｈのゲインを調整する。この方法によりシェーディングを考慮しつつ、ｃｈ間でバラツキのない映像を得ることができる。

また、本発明の一実施例の各並列出力の調整方法を示す模式図の図１１は、各並列出力（ｃｈ）の直線近似値のレベルを同一にする調整方法である。ここで６ｃｈ、７ｃｈ、８ｃｈを例に、ゲイン調整動作を説明する。
（１）各ｃｈの1列目と45列目（両端）レベルを求める。
（２）８ｃｈの1列目と45列目（両端）レベルを元に、７ｃｈの45列目（右端）レベルの値を直線近似で求める。
（３）７ｃｈの45列目（右端）レベルが直線近似レベルに近づくよう７ｃｈレベルを調整する。
（４）７ｃｈの1列目と45列目（両端）レベルを元に、６ｃｈの45列目（右端）レベルの値を直線近似で求める。
（５）６ｃｈの45列目（右端）レベルが直線近似レベルに近づくよう６ｃｈレベルを調整する。

以下、同じ方法で基準chである８ｃｈ以外の全ｃｈのゲインを調整する。この方法によりレベルそのものをターゲットとする場合に比べて、より細かく調整できる。

さらに、本発明の一実施例の各並列出力両端のシェーディング補正方法を示す模式図の図１２は、各並列出力（ｃｈ）内シェーディング補正の調整方法である。超高速度カメラの各ｃｈ内のシェーディングは主に、ｃｈの両端に発生し、両端のシェーディングによる異常な値をサンプル値としてゲイン調整を行うと、正確にゲイン調整できない可能性がある。そのため、ｃｈ内のシェーディングを補正した後に、ゲイン調整のための両端レベルを取得する。

本発明の一実施例の各並列出力内部両端のシェーディングの調整方法を示す模式図の図１２において、
（１）各ｃｈの１１、１２列目のG平均値と３４、３５列目のG平均値を算出する。
（２）次に算出した平均値２点を元にしたレベル近似直線を求める。
（３）次に１〜５列目、４１〜４５列目の両端レベルに注目し、近似直線との差を求める。
（４）この差が１％以上ある列は、近似直線のレベルになるように、両端のシェーディング補正をかける。

特に複数の撮像素子を貼り合わせた撮像素子では貼り合わせ部分のレベル変動が大きいので、各並列出力内部両端のシェーディング補正を行った後で、貼り合わせ部分の並列出力が滑らかにつながるようにゲインを調整する。

並列出力ＣＣＤの構造を示す模式図 補正前映像画面を示す模式図 理想補正後映像画面を示す模式図 入力光量に対する各並列出力の特性を示す模式図 補正入出力特性（５折線）を示す模式図 入力光量に対する補正後の各並列出力の特性を示す模式図 補正係数を算出する全体構成を示すブロック図 本発明の一実施例の高速度カメラの全体構成を示すブロック図 本発明の一実施例のＰ１レベルでの各並列出力を示す模式図 本発明の一実施例の各並列出力のレベル調整方法を示す模式図 本発明の一実施例の各並列出力のレベル調整方法を示す模式図 本発明の一実施例の各並列出力両端のシェーディング補正方法を示す模式図（ａ）補正前、（ｂ）ch7補正後、（ｃ）ch6,ch7補正後、（ｄ）全ch7補正後

符号の説明

１：撮像素子、２：レンズ、３：撮像部、４：パソコン、５：映像モニタ、
６：多重器（Multiplexer：ＭＰＸ）、７：レベル判定部
８：タイミング発生器（Timing Generator:ＴＧ）、
９：ＣＰＵ、１０：係数マトリクス、１１：補正部、
１２：インターフェース（Interface：ＩＦ）
１３：画像処理部、
１４〜２９：雑音を除去するＣＤＳ（Correlated Double Sampling）と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）とを内蔵したフロントエンドプロセッサ（Front End Processor：ＦＥＰ）、
３０：光源、

Claims (3)

1. 複数の並列出力を持つ撮像素子を有する撮像装置において、各並列出力中の所定信号を規準として、入力光量に対する各並列出力の特性が規則的な曲線となるように補正する手段を有し、前記補正後の各並列出力信号から合成処理で映像信号を生成する手段を有することを特徴とした撮像装置。
2. 請求項１の撮像装置において、水平方向に複数の並列出力を持つ撮像素子を有し、小光量から順に細かく光量を可変した後に順に光量を粗く可変し、複数の入射光量において画面中心の前記並列出力を基準に補正し、前記補正後の各並列出力信号から映像信号を生成する手段を有することを特徴とした撮像装置。
3. 請求項１乃至請求項２の撮像装置において、水平方向に複数の並列出力を持つ撮像素子を有し、各並列出力の両端のレベルを同一に補正する手段、または各並列出力内の信号レベルが近似直線になるようにシェーディング補正する手段の少なくとも一方を有することを特徴とした撮像装置。

Images