JP2011114760A - カメラモジュールの検査方法 - Google Patents

Abstract

【課題】簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供すること。
【解決手段】カメラモジュールで基準被写体を撮像して画素データを生成する撮像工程と、画素データに基づいて、撮像光学系によるシェーディングの影響を補正してシェーディング補正画素データを生成するシェーディング補正工程と、シェーディング補正画素データに基づいて、２値化画像データを生成する２値化画像生成工程と、２値化画像データに基づいて、ゴミの有無を検出するゴミ検出工程とを備えたことで、簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供することができる。
【選択図】図１

Description

本発明は、カメラモジュールの検査方法に関し、特に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法に関する。

デジタルカメラや携帯電話用のカメラ等に用いられるカメラモジュールでは、撮像素子チップや撮像素子パッケージのカバーガラス、あるいは光学的ローパスフィルタ等にゴミが付着すると、画像に黒い陰が出る等の影響がある。そのために、カメラモジュールの製造工程では、ゴミを排除するために多くの努力が払われているが、ゴミを完全に除去するには至っていない。

そこで、カメラの完成組立工程にゴミの付着したカメラモジュールを持ち込まないように、カメラモジュールの組立段階で、ゴミの検査を行って、ゴミの付着したカメラモジュールを排除している。

例えば特許文献１には、カメラモジュールで基準被写体を撮像して得られた画像生データから、所定方向の１ライン分のデータを抽出し、輝度曲線の２次微分値を算出し、２次微分値と、輝度曲線と、輝度曲線の落ち込みを補間する補間曲線とからゴミの位置を算出し、ゴミの位置の輝度曲線と補間曲線との差からカメラモジュールの良否判定を行う方法が提示されている。

特開２００６−１９１２３１号公報

しかしながら、特許文献１の方法では、所定方向（例えば水平方向）のライン毎に、上述した複雑な演算を経てゴミの良否判定を行っており、水平方向の全ラインでの良否判定には膨大な作業時間が必要である。また、所定方向と垂直な方向（例えば垂直方向）のゴミの良否判定を行う場合には、垂直方向での再演算を必要とするので、良否判定にさらに多くの時間を費やすことになる。

本発明は、上記事情に鑑みてなされたもので、簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供することを目的とする。

本発明の目的は、下記構成により達成することができる。

１．被写体像を結像させる撮像光学系と、
前記撮像光学系の結像位置に配置され、被写体像を撮像する撮像素子とを備えたカメラモジュールの検査方法であって、
前記カメラモジュールで基準被写体を撮像して画素データを生成する撮像工程と、
前記画素データに基づいて、前記撮像光学系によるシェーディングの影響を補正してシェーディング補正画素データを生成するシェーディング補正工程と、
前記シェーディング補正画素データに基づいて、白データと黒データとで構成される２値化画像データを生成する２値化画像生成工程と、
前記２値化画像データに基づいてゴミの有無を検出し、前記カメラモジュールの良否判定を行うゴミ検出工程とを備えたことを特徴とするカメラモジュールの検査方法。

２．前記シェーディング補正工程は、
前記画素データから輝度情報を抽出して輝度データを生成する輝度情報抽出工程と、
前記輝度データから２次曲線式を演算する２次曲線式演算工程と、
前記２次曲線式を用いて前記輝度データを補正して前記シェーディング補正画素データを生成するフラット化演算工程とを備えたことを特徴とする前記１に記載のカメラモジュールの検査方法。

３．前記２値化画像生成工程は、
前記シェーディング補正画素データに基づいて、各画素データを平均化して平均化画素データを生成する平均化処理工程と、
前記平均化画素データから２値化のための閾値を決定する閾値決定工程と、
前記閾値に基づいて、前記平均化画素データを２値化して、前記２値化画像データを生成する２値化処理工程とを備えたことを特徴とする前記１または２に記載のカメラモジュールの検査方法。

４．前記ゴミ検出工程は、
前記２値化画像データ中の隣接した前記黒データの画素数をカウントして黒画素数データを生成する黒画素数カウント工程と、
前記黒画素数データがゴミ判定値以上の場合に、ゴミと判定するゴミ判定工程とを備えたことを特徴とする前記１から３の何れか１項に記載のカメラモジュールの検査方法。

５．前記基準被写体は、均一輝度面を有する光源であることを特徴とする前記１から４の何れか１項に記載のカメラモジュールの検査方法。

本発明によれば、カメラモジュールで基準被写体を撮像して画素データを生成する撮像工程と、画素データに基づいて、撮像光学系によるシェーディングの影響を補正してシェーディング補正画素データを生成するシェーディング補正工程と、シェーディング補正画素データに基づいて、２値化画像データを生成する２値化画像生成工程と、２値化画像データに基づいて、ゴミの有無を検出するゴミ検出工程とを備えたことで、簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供することができる。

カメラモジュールの検査装置の１例を示すブロック図である。 カメラモジュールの検査方法の実施の形態を示すメイン工程図である。 図２のサブ工程図（１／４）である。 図２のサブ工程図（２／４）である。 図２のサブ工程図（３／４）である。 図２のサブ工程図（４／４）である。 図２の各工程におけるデータの例を示す図（１／２）である。 図２の各工程におけるデータの例を示す図（２／２）である。

以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限らない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略することがある。

最初に、本発明の検査方法が適用されるカメラモジュールの検査装置の１例について、図１を用いて説明する、図１は、カメラモジュールの検査装置の１例を示すブロック図である。

図１において、カメラモジュール１は、撮像光学系１２と絞り１３とが組み込まれた鏡胴１０に、撮像素子１４が取り付けられたユニットである。撮像光学系１２および鏡胴１０は、ピント調節機能およびズーム機能を有していてもよい。

検査装置２は、ゴミ検査器２０と光源２９等とで構成される。ゴミ検査器２０は、例えばパーソナルコンピュータとそのプログラム等で構成され、必要に応じて、レンズ制御部２１、撮像制御部２２およびゴミ検出部２３等の各機能を果たす。光源２９は、例えば輝度箱等で構成され、均一な輝度の均一輝度面２９ａを有している。均一輝度面２９ａは本発明における基準被写体として機能する。

光源２９の均一輝度面２９ａに対向してカメラモジュール１が配置され、撮像光学系１２によって集光され、絞り１３によって光量調整された均一輝度面２９ａの像が、撮像素子１４の撮像面１４ａ上に結像され、撮像素子１４によって光電変換されることで撮像が行われる。

撮像光学系１２のズーム、ピントおよび絞り１３の絞り値は、ゴミ検査器２０のレンズ制御部２１のレンズ制御信号２１ａによって制御され、撮像素子１４の撮像動作は、ゴミ検査器２０の撮像制御部２２の撮像制御信号２２ａによって制御される。

撮像された均一輝度面２９ａの撮像出力２２ｂに基づいて、ゴミ検査器２０のゴミ検出部２３でゴミの検出が行われ、カメラモジュールの良否判別が行われる。

次に、カメラモジュールの検査方法の実施の形態について、図２から図８を用いて説明する。図２は、カメラモジュールの検査方法の実施の形態を示すメイン工程図であり、図３から図６は、図２のサブ工程図である。

なお、本実施の形態においては、撮像素子１４は、水平ｍ画素、垂直ｎ画素で構成され、原色のカラーフィルタ（赤（Ｒ）、緑（Ｇ）、青（Ｂ））を備えたＣＣＤ型撮像素子であることを前提に説明するが、本発明はこれに限るものではなく、補色のカラーフィルタ（イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ））を備えていても、ＣＭＯＳ型撮像素子であっても適用可能である。

図２において、最初に、図３に詳細を示すステップＳ１０「撮像工程」が実行され、撮像素子１４の全画素の撮像出力２２ｂがデジタルデータに変換された、画素データＰＤが得られる。続いて、図４に詳細を示すステップＳ２０「シェーディング補正工程」が実行され、光学系の影響によるシェーディングの補正が施された、シェーディング補正画素データＳＤが得られる。

次に、図５に詳細を示すステップＳ３０「２値化画像生成工程」が実行され、シェーディング補正画素データＳＤが２値化された、２値化画像データＢＩＤが得られる。続いて、図６に詳細を示すステップＳ４０「ゴミ検出工程」が実行され、２値化画像データＢＩＤからゴミの有無が判定されて、全ての動作が終了される。

以下に、各工程の詳細な動作を、図３から図８を用いて説明する。

ステップＳ１０「撮像工程」
図３において、ステップＳ１１（ズーム調節工程）で、ゴミ検査器２０のレンズ制御部２１によって、カメラモジュール１の撮像光学系１２のズーム値が所定の値に調節される。続いて、ステップＳ１２（ピント調節工程）で、光源２９の均一輝度面２９ａの像が撮像素子１４の撮像面１４ａ上に結像されるように、ゴミ検査器２０のレンズ制御部２１によって、カメラモジュール１の撮像光学系１２のピントが調節される。

ステップＳ１３（絞り調節工程）で、撮像素子１４の全画素の撮像出力２２ｂが飽和しない範囲で出来るだけ高くなるように、ゴミ検査器２０のレンズ制御部２１によって、カメラモジュール１の絞り１３の絞り値が調節される。

ステップＳ１４（均一輝度面撮像工程）で、ゴミ検査器２０の撮像制御部２２によって撮像素子１２が駆動されて、光源２９の均一輝度面２９ａが撮像されて、撮像出力２２ｂが得られる。ステップＳ１５（画素データ生成工程）で、撮像素子１４の全画素の撮像出力２２ｂが、ゴミ検査器２０の撮像制御部２２に読み出されてアナログ／デジタル変換され、撮像素子１４の全画素の画素データＰＤが生成される。

なお、ステップＳ１４の前後で、絞り１３を閉じた状態で撮像を行って、全画素の暗出力を求めておき、ステップＳ１５で、撮像素子１４の全画素の撮像出力２２ｂと暗出力との差分を求める、所謂相関２重サンプリング（ＣＤＳ）を行って暗ノイズを低減した上で、アナログ／デジタル変換を行って、撮像素子１４の全画素の画素データＰＤを生成してもよい。

ステップＳ２０「シェーディング補正工程」
図４において、ステップＳ２１（輝度情報抽出工程）で、撮像素子１４の全画素の画素データＰＤから、輝度情報を示す緑（Ｇ）フィルタを備えた画素（以下Ｇ画素と言う）の画素データが抽出されて、輝度データＢＤが生成される。図７（ａ）に、輝度データＢＤの１例を示す。

図７（ａ）において、実線で示したグラフは、輝度データＢＤの水平１行分のデータであり、横軸がＧ画素の水平行中の位置を示し、縦軸が８ビットのデジタル値（最大２５５）である。グラフから分かるように、各Ｇ画素の値はノイズ等によりばらついており、かつ、中心から周辺に行くに従って、コサイン４乗則その他の要因による撮像光学系１２の周辺光量落ち、即ちシェーディングにより、Ｇ画素の値が低くなっている。グラフ中の太い破線で示した曲線は、ステップＳ２２で後述する輝度データＢＤを近似する２次曲線式ＳＥである。

なお、補色のカラーフィルタを備えた撮像素子の場合には、Ｇ画素が１水平行おきにしか配置されていない場合があるので、その場合には、輝度データＢＤを１水平行おきに生成してもよい。

また、原色、補色のカラーフィルタを問わず、緑（Ｇ）画素の画素データを抽出する代わりに、例えばビデオ信号処理で周知の変換式を用いて、輝度（Ｙ）信号を生成して用いてもよい。

同様に、原色、補色のカラーフィルタを問わず、緑（Ｇ）以外のフィルタを備えた画素の画素データを用いて輝度データＢＤを生成してもよい。

さらに、例えばＣＭＯＳ型撮像素子で、アドレス指定をして各画素の撮像出力２２ｂを読み出すことのできる素子の場合には、ステップＳ１５で必ずしも撮像素子１４の全画素の撮像出力２２ｂを読み出す必要はなく、Ｇ画素の撮像出力２２ｂのみをアドレス指定して読み出してアナログ／デジタル変換することで、輝度データＢＤを直接生成することも可能である。

ステップＳ２２（２次曲線式演算工程）で、輝度データＢＤ中の所定の間隔毎のＧ画素の値から、ラグランジュの補間式を用いて、輝度データＢＤを近似する２次曲線式ＳＥが求められる。図７（ａ）に太い破線で示した曲線がそれである。なお、Ｇ画素の所定の間隔は、補間の精度と演算時間とのバランス等から適宜決定されればよい。因みに、図７（ａ）の例では、Ｇ画素の５０画素毎の値を用いている。

ステップＳ２３（フラット化演算工程）で、ステップＳ２２で演算された２次曲線式ＳＥのピーク値Ｐと各Ｇ画素の位置での２次曲線式ＳＥの演算値Ｇｘとの比（＝Ｐ／Ｇｘ）の逆数を求めて補正係数ｋとし（ｋ＝Ｇｘ／Ｐ）、輝度データＢＤの各Ｇ画素の値に補正係数ｋを乗算することで、シェーディングを補正したフラットなシェーディング補正画素データＳＤが得られる。図７（ｂ）にシェーディング補正画素データＳＤの１例を示す。

図７（ｂ）において、実線で示したグラフは、図７（ａ）の輝度データＢＤにシェーディング補正を施したシェーディング補正画素データＳＤの水平１行分のデータであり、横軸がＧ画素の水平行中の位置を示し、縦軸が８ビットのデジタル値（最大２５５）である。グラフから分かるように、シェーディングが補正されて、フラットなデータとなっている。

なお、２次曲線式ＳＥは、輝度データＢＤの全水平行について求める必要はなく、例えば数行とばしで２次曲線式ＳＥを求め、とばした水平行については、その前後の２次曲線式ＳＥを適用することであってもよい。

また、シェーディング補正のための補正式は２次曲線式に限定されるものではなく、輝度データＢＤをよりよく近似する近似式を得ることができれば、それでもよい。例えば、光源２９の輝度面が均一の輝度ではなく輝度ムラを有していても、撮像光学系１２の周辺光量落ちと光源２９の輝度面の輝度ムラとを合わせた特性としての輝度データＢＤを測定し、それを近似する近似式を得ることができれば、補正によって、フラットなシェーディング補正画素データＳＤを得ることができる。

ステップＳ３０「２値化画像生成工程」
図５において、ステップＳ３１（平均化処理工程）で、各Ｇ画素が持つノイズを除去するために、シェーディング補正画素データＳＤ中の１つのＧ画素に対して、当該Ｇ画素の値と隣接する８個のＧ画素の値とを平均する平均化処理が施される。全Ｇ画素に対して平均化処理が行われ、平均化画素データＡＤが求められる。図７（ｃ）に平均化画素データＡＤの１例を示す。

図７（ｃ）において、実線で示したグラフは、図７（ｂ）のシェーディング補正画素データＳＤに平均化処理を施した平均化画素データＡＤの水平１行分のデータであり、横軸がＧ画素の水平行中の位置を示し、縦軸が８ビットのデジタル値（最大２５５）である。グラフから分かるように、平均化処理により、ノイズが低減されている。

なお、平均化処理の方法は、９画素の値を加算して９で割る単純平均や、画素によって重み付けを行って平均する加重平均等の種々の方法から、適宜選択されればよい。

ステップＳ３２（閾値決定工程）で、平均化画素データＡＤのヒストグラムを作成して、ヒストグラムのピーク値ＰＡＤから所定値ΔＡＤだけ低い値を２値化の閾値ＴＨとする（ＴＨ＝ＰＡＤ−ΔＡＤ）。図８（ａ）に平均化画素データＡＤのヒストグラムの１例を示す。

図８（ａ）のグラフは、図７（ｃ）の平均化画素データＡＤのヒストグラムで、横軸が度数Ｎ、縦軸が平均化画素データＡＤの値である。この例では、所定値ΔＡＤとして「１」をとっている。所定値ΔＡＤは、平均化によるノイズの低減の程度と、ゴミの判別精度等から適宜決定されればよい。

ステップＳ３３（２値化処理工程）で、平均化画素データＡＤが、２値化の閾値ＴＨを用いて２値化処理されて、２値化画像データＢＩＤが生成される。図８（ｂ）に２値化画像データＢＩＤの１例を示す。

図８（ｂ）は、２値化画像データＢＩＤの１例を模式的に示した図で、水平ｍ＝２０画素、垂直ｎ＝１５画素の撮像素子１４で撮像された均一輝度面２９ａの２値化画像ＢＩＤである。この例では、２値化の結果として、閾値ＴＨ以上の画素を白画素（１）、閾値ＴＨ未満の画素を黒画素（０：ゼロ）として表示しており、撮像素子１４の右上と左上とにそれぞれ１個の黒画素があり、左中央に７個の黒画素が纏まってある。その他は全て白画素である。

ステップＳ４０「ゴミ検出工程」
図６において、ステップＳ４１（黒画素数カウント工程）で、２値化画像データＢＩＤから、隣接した黒画素の数がカウントされ、黒画素数データＢＰＤが生成される。図８（ｂ）に示した例では、撮像素子１４の左中央に７個の黒画素が隣接してあるので、黒画素数データＢＰＤ＝７である。

ステップＳ４２（ゴミ判定工程）で、黒画素数データＢＰＤと所定値ΔＢＰＤとが比較されて、カメラモジュールのゴミに関する良否判定が行われる。例えば、黒画素数データＢＰＤが所定値ΔＢＰＤ以上の場合は不良品、所定値ΔＢＰＤ未満の場合は良品である。所定値ΔＢＰＤは、ゴミが画像に及ぼす影響等に基づいて適宜決定されればよいが、例えば数百万画素クラスのデジタルカメラの場合では、ΔＢＰＤ＝１００程度が用いられる。

図８（ｂ）の例では、画素数ｍ×ｎ＝３００に対して黒画素数データＢＰＤ＝７であるので、例えば３００万画素のデジタルカメラと考えれば、黒画素数データＢＰＤ＝７万となり、ΔＢＰＤ＝１００をはるかに超えており、完全に不良品ということになる。

上述したように、本実施の形態によれば、カメラモジュールで均一輝度面を撮像して、輝度データを抽出し、シェーディング補正を施した後に、２値化を行って２値化画像を生成し、２値化画像中の隣接した黒画素数をカウントすることで、エリア画像を用いて、画像に影響のあるゴミの有無を検出して良否の判断を行うことができるので、簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供することができる。

以上に述べたように、本発明によれば、カメラモジュールで基準被写体を撮像して画素データを生成する撮像工程と、画素データに基づいて、撮像光学系によるシェーディングの影響を補正してシェーディング補正画素データを生成するシェーディング補正工程と、シェーディング補正画素データに基づいて、２値化画像データを生成する２値化画像生成工程と、２値化画像データに基づいて、ゴミの有無を検出するゴミ検出工程とを備えたことで、簡単かつ確実に、画像に影響を及ぼすゴミを検出することのできるカメラモジュールの検査方法を提供することができる。

なお、本発明に係るカメラモジュールの検査方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

１ カメラモジュール
１０ 鏡胴
１１ 光軸
１２ 撮像光学系
１３ 絞り
１４ 撮像素子
１４ａ 撮像面
２ 検査装置
２０ ゴミ検査器
２１ レンズ制御機能
２１ａ レンズ制御信号
２２ 撮像制御機能
２２ａ 撮像制御信号
２２ｂ （撮像素子１４の）撮像出力
２３ ゴミ検出機能
２９ 光源
２９ａ 均一輝度面（基準被写体）
ＰＤ 画素データ
ＢＤ 輝度データ
ＳＥ ２次曲線式
ＳＤ シェーディング補正画素データ
ＡＤ 平均化画素データ
ＴＨ 閾値
ＢＩＤ ２値化画像データ
ＢＰＤ 黒画素数データ

Claims (5)

1. 被写体像を結像させる撮像光学系と、
   前記撮像光学系の結像位置に配置され、被写体像を撮像する撮像素子とを備えたカメラモジュールの検査方法であって、
   前記カメラモジュールで基準被写体を撮像して画素データを生成する撮像工程と、
   前記画素データに基づいて、前記撮像光学系によるシェーディングの影響を補正してシェーディング補正画素データを生成するシェーディング補正工程と、
   前記シェーディング補正画素データに基づいて、白データと黒データとで構成される２値化画像データを生成する２値化画像生成工程と、
   前記２値化画像データに基づいてゴミの有無を検出し、前記カメラモジュールの良否判定を行うゴミ検出工程とを備えたことを特徴とするカメラモジュールの検査方法。
2. 前記シェーディング補正工程は、
   前記画素データから輝度情報を抽出して輝度データを生成する輝度情報抽出工程と、
   前記輝度データから２次曲線式を演算する２次曲線式演算工程と、
   前記２次曲線式を用いて前記輝度データを補正して前記シェーディング補正画素データを生成するフラット化演算工程とを備えたことを特徴とする請求項１に記載のカメラモジュールの検査方法。
3. 前記２値化画像生成工程は、
   前記シェーディング補正画素データに基づいて、各画素データを平均化して平均化画素データを生成する平均化処理工程と、
   前記平均化画素データから２値化のための閾値を決定する閾値決定工程と、
   前記閾値に基づいて、前記平均化画素データを２値化して、前記２値化画像データを生成する２値化処理工程とを備えたことを特徴とする請求項１または２に記載のカメラモジュールの検査方法。
4. 前記ゴミ検出工程は、
   前記２値化画像データ中の隣接した前記黒データの画素数をカウントして黒画素数データを生成する黒画素数カウント工程と、
   前記黒画素数データがゴミ判定値以上の場合に、ゴミと判定するゴミ判定工程とを備えたことを特徴とする請求項１から３の何れか１項に記載のカメラモジュールの検査方法。
5. 前記基準被写体は、均一輝度面を有する光源であることを特徴とする請求項１から４の何れか１項に記載のカメラモジュールの検査方法。

Images