JP2022533848A - カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法 - Google Patents

Abstract

カメラ部品が損傷しているかどうかを判定するシステムおよび方法カメラのカメラ部品が損傷しているかどうかを判定するコンピュータ実施方法を記載する。本方法は、１以上の損傷指標に関する情報を取得し、光源からの光がカメラ部品に入射したときに撮られた少なくとも１枚の画像をカメラから取得し、画像を１以上の領域に分割し、各領域を解析して、各領域が１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定し、上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供する。【選択図】図１

Description

本発明は、レンズまたはウィンドウなどのカメラ部品が損傷しているかどうかを判定するシステムおよびコンピュータ実施方法に関する。

カメラレンズは完全に機能していて欠陥がなければ、光を比較的均一に反射または通過させる。しかしながら、カメラレンズが損傷している場合（例えば、傷がある場合）、カメラレンズを通過する光が何らかの形で歪んだり相殺されたりし、このことが、結果として生じる画像の品質に影響を与える。

また、キャプチャ画像を撮影されたものとは異なるものにしてしまう可能性のある光学的効果が幾つか知られている。例えば、ほとんどのレンズには少なくとも若干の口径食があり、これは写真の隅が写真の中央よりも光度が低くなることを意味する。しかしながら、一般的に、このエラーによって生じる隅と中央の間の光度差は１露出値（ＥＶ）未満なので、光度差は通常は目立たない。その他のよく知られた一般的なレンズエラーとしては、樽型歪曲やピンクッション型歪曲があり、これらの歪曲もキャプチャ画像を変えてしまうが、これらのエラーもやはり一般的には、カメラで撮られた写真で強くは見えない。このように、これらの種類の光学的効果は、結果的に得られる写真に影響を与え得るが、一般的には、レンズの欠陥による歪みを隠すことはない。

一般に、カメラレンズの表面欠陥や構造的欠陥は、写真に結果的に生じる影響が僅か過ぎて気付かないことが多いため、既存のソリューションでは確実に検出することができない。重度に損傷しているレンズであっても、結果として生じる写真は、肉眼で許容可能なレベルを超えていることがある。

モバイルデバイスの内蔵カメラモジュールを診断する現行の方法は、ユーザーがカメラを使って任意の写真を撮り、その写真を目視で点検することを促す。この方法は、診断システムでの自動化が難しく、レンズの表面欠陥や構造的欠陥を確実に検出するために使用することはできない。

ユーザーがレンズ自体を見たとしても、表面欠陥や構造的欠陥は肉眼では見えないかもしれない。

米国特許出願公開第２０１８／００８９８２２号には、モバイルデバイスのカメラやディスプレイの欠陥を診断するためのシステムが開示されており、デバイスディスプレイが、一連のミラーを使用してカメラに向けられた光源として配置されている。しかしながら、ディスプレイや一部のミラーの欠陥も撮られた写真の品質に影響を与える可能性があるため、この方法を使用してカメラ部品を個別に診断することはできない。さらに、この方法では、複数のミラーを備え、ディスプレイとカメラの正確な位置合わせを必要とする複雑な試験治具を使用する必要がある。

したがって、本発明の目的は、上記の問題に対処することを目的とした、カメラ部品が損傷しているかどうかを判定するシステムおよび方法を提供することである。

おおまかに言って、本開示は、カメラのカメラ部品が損傷している（すなわち、欠陥がある）かまたは損傷していない（すなわち、傷がない）かを判定するためのシステムおよびコンピュータ実施方法を提案する。

本発明の第１の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
１以上の損傷指標に関する情報を取得し、
光源からの光がカメラ部品に入射したときに撮られた少なくとも１枚の画像をカメラから取得し、
画像を１以上の領域に分割し、
各領域を解析して、各領域が１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定し、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたことを示す表示を提供する、
方法を提供する。

従って、本発明の実施形態は、カメラと光源との間のレンズまたは他の透明な層などのカメラ部品の表面欠陥または構造的欠陥の自動診断を可能にする方法を提供する。有利には、本方法を、モバイルデバイスのカメラ部品を検査するための診断システムに採用してもよい。例えば、デジタルカメラのレンズの割れや傷、またはレンズの位置ずれは、例えば、カメラ部品に入射したときの光源からの光の内部反射の結果として撮られた、画像内のアーチファクトに基づいて検出することができる。注目すべきは、レンズ（または他のカメラ部品）を診断中のカメラを使用して画像が撮られることである。さらに、本方法では、複数のミラーを含み、カメラの正確な位置合わせを必要とする複雑な試験治具を使用する必要がない。

光源からの光は、カメラ部品に直接（すなわち、ミラーなどの中間光学部品に遭遇することなく）入射してもよい。

幾つかの実施形態では、１以上の損傷指標に関する情報は、１以上の損傷指標が画像内の対応する形状の欠如に対応するような、光源の既知形状を具備し、画像は、光源から結果として生じる撮像形状を具備し、各領域を解析するステップは、撮像形状が、カメラ部品が損傷していない場合および／またはカメラ部品が損傷している場合に予想通りのものかどうかを、光源の既知形状に基づいて判定する。

別の表現をすれば、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
カメラから、既知形状を有する光源の少なくとも１枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得し、
画像を解析し、
撮像形状が、カメラ部品が損傷していない場合および／またはカメラ部品が損傷している場合に予想通りのものかどうかを判定し、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供する、
方法が提供される。

このように、本発明の諸実施形態は、既知形状を有する光源を撮った写真のアーチファクトに基づいて、レンズの割れや傷、またはカメラのレンズの位置ずれなどの欠陥を検出することができる方法を提供する。幾つかの実施形態では、光源は、カメラで観察されるような本質的に半球状または円形の光の領域を生じさせる発光ダイオード（ＬＥＤ）であってもよい。

画像を解析するステップは、撮像形状と既知形状とをデジタル的に比較してもよい。

画像を解析するステップは、訓練された機械学習アルゴリズムを使用して、撮像された形状を、損傷したカメラ部品から結果的に生じたものか、または損傷していないカメラ部品から結果的に生じたものかものかに分類してもよい。

機械学習アルゴリズムは、ニューラルネットワークを含んでもよい。

機械学習アルゴリズムは、深層学習アルゴリズムを含んでもよい。

本方法は、
撮像された形状から情報を抽出し、
抽出された情報を１以上の所定の確率ベクトルと比較し、撮像された形状が損傷していると分類されるべきかまたは損傷していないと分類されるべきかを確定し、
撮像された形状が正確に分類される確率を算出してもよい。

本方法は、さらに、損傷しているカメラ部品および損傷していないカメラ部品からの撮像された形状の複数の例を提供することによって、機械学習アルゴリズムを訓練してもよい。

訓練中に、機械学習アルゴリズムは、
複数例から情報を抽出する処理と、
抽出された情報を情報行列に変換する処理と、
情報行列を結合行列に操作する処理と、
結合行列を使用して各分類ついて確率ベクトルを確定する処理と、
を行ってもよい。

画像を解析するステップは、空間数学を使用して、撮像形状と既知形状を比較してもよい。

本方法は、撮像形状の上に既知形状の輪郭を生成し、輪郭内に収まる、撮像形状からの明画素の割合を算出してもよい。

撮像形状の上に既知形状の輪郭を生成するステップは、画像内の最も明るい領域の中心を検出し、中心の周りに既知形状の輪郭を描き、最も明るい領域が輪郭を超えて広がっているかどうかを検査するか、または最も明るい領域が輪郭まで広がっていないかどうかを検査して最も明るい領域が少なくとも１つの方向において輪郭まで広がるように輪郭のサイズを調整してもよい。

輪郭内に収まる、撮像形状からの明画素の割合を算出するステップは、撮像形状の最大光度を判定し、最大光度の所定の閾値内の光度を有する輪郭内の明画素の数を判定し、明画素の数を輪郭内の画素の総数で割ってもよい。

幾つかの実施形態では、所定の閾値は、ユーザーによって決められるか、または機械学習アルゴリズムによって決められてもよい。所定の閾値は最大光度の９０％であってもよい。

一実施形態に係れば、輪郭内に収まる撮像形状からの明画素の割合が９０％未満である場合に、カメラ部品は損傷していると判定されてもよい。

既知形状は、円形または本質的に円形もしくは楕円形の領域であってもよい。

損傷しているカメラ部品からの画像は、さらに、欠陥がある部品から結果的に生じたものかまたは破壊されている部品から結果的に生じたものかに分類されてもよい。

欠陥がある部品は、さらに、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類されてもよい。

カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであってもよい。

本発明の第２の態様は、第１の態様の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。

本発明の第３の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって
カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、請求項１９に記載の非一時的コンピュータ可読媒体と、
既知形状を有する少なくとも１つの光源と、
を具備するシステムを提供する。

システムは、さらに、光源の方が光度がかなり高くなるような無彩色の背景を具備してもよい。一実施形態に係れば、光源は背景よりも少なくとも１０倍、光度が高い。

背景はその上に、カメラが画像を撮るときに焦点を合わせるための、対比用の焦点機能を具備してもよい。

システムは、さらに、光源の画像を撮るためのカメラを位置決めするように構成されたホルダーおよび／またはロボットアームを具備してもよい。

カメラは、モバイルデバイスに設けられてもよい。

システムは、さらに、診断プロセッサと、カメラと通信するための通信手段とを具備してもよい。

システムは、カメラの視野内に設けられた、それぞれが既知形状を有する複数の光源と、画像を撮るときに複数の光源のうちの１つだけが作動するように個々の光源をそれぞれオンオフするように構成されたコントローラーとを具備してもよい。

画像が撮られるときに、本発明の第１の態様の幾つかの実施形態では、光源はカメラの視野内に存在しており、他の諸実施形態では、光源は視野の近傍に存在している。

本方法は、さらに、画像を撮ってもよい。

１以上の損傷指標は、１以上のアーチファクト、パターン、コントラスト変化、飽和範囲、ぼけた領域、色効果、光筋、またはその他の症状を含んでもよい。

各領域を解析するステップは、統計解析を使用して、１つ以上の損傷指標のうち少なくとも１つが存在するかどうかを判定してもよい。

各領域を解析するステップは、各領域について光学パラメータを算出し、各光学パラメータが１つ以上の損傷指標のうちの少なくとも１つを示すかどうかを判定してもよい。

光学的パラメータは、色、波長、光度、強度、輝度、またはコントラストのうちの１つ以上を含んでもよい。

本方法は、各領域について平均光学パラメータを算出し、各平均光学パラメータが１つ以上の損傷指標のうちの少なくとも１つを示すかどうかを判定してもよい。

本方法は、光学的パラメータが所定の範囲内にある、各領域内の画素総数の割合を判定してもよい。

所定の範囲は、予想される光学パラメータの９０％以上であってもよい。

各領域を解析するステップは、訓練された機械学習アルゴリズムを使用して、各領域を、１つ以上の損傷指標のいずれも具備していないか、または１つ以上の損傷指標のうちの少なくとも１つを具備していると分類してもよい。

機械学習アルゴリズムは、ニューラルネットワークまたは深層学習アルゴリズムを含んでもよい。

本方法は、各領域から情報を抽出し、
抽出された情報を１以上の所定の確率ベクトルと比較し、領域が１以上の損傷指標のいずれも具備していないと分類されるべきか、または１以上の損傷指標のうちの少なくとも１つを具備していると分類されるべきかを確定し、領域が正確に分類される確率を算出してもよい。

本方法は、さらに、損傷しているカメラ部品および損傷していないカメラ部品からの画像の複数例を提供することによって機械学習アルゴリズムを訓練してもよい。

訓練中に、機械学習アルゴリズムは、複数例から情報を抽出する処理と、抽出された情報を情報行列に変換する処理と、情報行列を結合行列に操作する処理と、結合行列を使用して各分類ついて確率ベクトルを確定する処理と、を行ってもよい。

本方法は、さらに、画像内の最大強度の領域と、最大強度の予め決められた範囲内の強度を有する全ての隣接領域とに対応する最も明るい範囲を判定することと、最も明るい範囲を、各領域を解析するステップから除外することとによって、画像内の光源を無効にしてもよい。

画像は無彩色の背景を具備してもよい。

本方法は、単一画像の全ての領域と比較した、１つ以上の損傷指標のうちの少なくとも１つを含むと判定された領域の割合を算出し、割合が少なくとも１％、２％、５％、または１０％である場合に、カメラ部品が損傷していると分類してもよい。

本方法は、さらに、損傷しているカメラ部品を、欠陥があるかまたは破壊されていると分類してもよい。

本方法は、さらに、欠陥のある部品を、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であると分類してもよい。

カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであってもよい。

本発明の第４の態様は、上記に記載したいずれかの方法を実行するために、プロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。

本発明の第５の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、第４の態様に記載の非一時的コンピュータ可読媒体を具備するシステムを提供する。

システムは、さらに、カメラ部品に入射する光を提供するように配置された光源を具備してもよい。

システムは、光源から光をカメラ部品に向けるように配置された光学ファイバーケーブルを具備してもよい。

光源はカメラの視野の外側に配置されてもよい。

異なる画像を異なる照明角度で撮ることができるように光源および／またはカメラは移動可能であってもよい。

光源は白色光源であってもよい。一実施形態に係れば、異なる画像を異なる照明条件で撮ることができるように、光源の色または波長は調整可能であってもよい。

システムは、画像を撮るときに光源を作動させるように構成されたコントローラーを具備してもよい。

システムは、さらに、カメラが画像を撮るときに焦点を合わせるための焦点機能を具備してもよい。

システムは、さらに、画像を撮るためのカメラを位置決めするように構成されたホルダーおよび／またはロボットアームを具備してもよい。

カメラはモバイルデバイスに設けられてもよい。

システムは、さらに、診断プロセッサと、カメラと通信するための通信手段とを具備してもよい。

カメラ部品に光を提供するために複数の光源が配置されてもよく、画像を撮るときに複数の光源の１つ以上が作動するようにコントローラーが個々の光源をオンオフするように構成されてもよい。一実施形態に係れば、複数の光源のそれぞれまたは幾つかの色または波長は、複数の光源の残りまたは幾つかと異なっていてもよい。

本発明の第６の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
１以上の損傷指標に関する情報を取得するステップと、
光源からの光がカメラ部品に入射したときに撮られた少なくとも１枚の画像をカメラから取得するステップと、
画像を１以上の領域に分割するステップと、
各領域を解析して、各領域が１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定するステップと、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行う、および／または、
カメラから、既知形状を有する光源の少なくとも１枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得するステップと、
画像を解析するステップと、
撮像形状が、カメラ部品が損傷していない場合および／またはカメラ部品が損傷している場合に予想通りのものかどうかを判定するステップと、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供するステップと、
を行う方法を提供する。

本発明の第７の態様は、本発明の第６の態様に記載の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。

本発明の第８の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、本発明の第７の態様に記載の非一時的コンピュータ可読媒体を具備するシステムを提供する。

第１から第５の態様のいずれかに関連して上記に記載したいずれかの特徴を、本発明の第６から第８の態様のいずれかと組み合わせてもよい。

請求項の主題は、開示された主題を実施するためにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせを作るための標準的なプログラミングおよび／またはエンジニアリング技術を使用して、方法、装置、または製造品として実施してもよい。
例えば、請求項の主題は、任意のコンピュータ可読記憶デバイスまたは記憶媒体からアクセス可能なコンピュータプログラムを包含する、コンピュータ実行可能プログラムが埋め込まれたコンピュータ可読媒体として実施してもよい。例えば、コンピュータ可読媒体は、磁気記憶デバイス（例えば、ハードディスク、フロッピーディスク、磁気ストリップ…）、光学ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）…）、スマートカード、およびフラッシュメモリーデバイス（例えば、カード、スティック、キードライブ…）を含むことができるが、これらに限定されるものではない。

次に、以下の図面を参照して、本発明の非限定的な実施形態を例としてのみ記載する。

図１は、本発明の一実施形態に係る、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムの側面図を示す。 図２は、図１のシステムで使用される基板および光源の正面図を示す。 図３は、本発明の一実施形態に係る、且つ、図１のデバイスによって行われてもよい、カメラのカメラ部品が損傷しているかどうかを判定するための方法のステップを示す。 図４Ａは、本発明の一実施形態に係る、損傷していないカメラ部品を使用してキャプチャされた、図２の基板の画像を示す。 図４Ｂは、本発明の一実施形態に係る、損傷しているカメラ部品を使用してキャプチャされた、図２の基板の画像を示す。 図５Ａ、図５Ｂおよび図５Ｃは、損傷していないカメラ部品の場合にキャプチャされた光源画像の例を示す。 図６Ａ、図６Ｂおよび図６Ｃは、傷があるカメラ部品の場合にキャプチャされた光源画像の例を示す。 図７Ａ、図７Ｂおよび図７Ｃは、破壊されているカメラ部品の場合にキャプチャされた光源画像の例を示す。 図８Ａは、本発明の一実施形態に係る、損傷していないカメラ部品の場合にキャプチャされた光源画像の幾何学的解析を模式的に表したものを示す。 図８Ｂは、本発明の一実施形態に係る、傷があるカメラ部品の場合にキャプチャされた光源画像の幾何学的解析を模式的に表したものを示す。 図９は、本発明の一実施形態に係る、傷がないカメラ部品、傷があるカメラ部品、および破壊されているカメラ部品の機械学習解析のための混同行列を示す。 図１０は、本発明の一実施形態に係る、カメラのカメラ部品が損傷しているかどうかを判定するための方法のステップを示す。 図１１Ａ、図１１Ｂおよび図１１Ｃは、図１０の方法に係る画像の解析を示す。 図１２は、本発明の諸実施形態に係る、複数のモバイルデバイスのカメラを試験するための試験セットアップの模式図を示す。 図１３は、光学ファイバー光源を使用して試験中の、単一のモバイルデバイスカメラの側面図を示す。 図１４は、光学ファイバー光源を使用して試験中の、傷があるレンズの拡大模式図を示す。 図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ、図１５Ｅおよび図１５Ｆは、本発明の諸実施形態に係る試験セットアップを使用した画像を示す。 図１６Ａおよび図１６Ｂは、損傷していないレンズおよび損傷しているレンズの場合の光線追跡シミュレーションの結果を示す。 図１７Ａ、図１７Ｂ、図１７Ｃ、図１７Ｄおよび図１７Ｅは、本発明の諸実施形態に係る、カメラのカメラ部品が損傷しているかどうかを判定するように構成された装置を模式的に示す。 図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｄ、図１８Ｅ、図１８Ｆ、図１８Ｇおよび１８Ｈは、カメラのカメラ部品が損傷しているかどうかを判定するために本発明の諸実施形態で使用することができる様々な異なるアーチファクトを示す。 図１９は、太陽がカメラの視野の外側にある状態で撮られた画像例だが、アーチファクトが画像内に存在し、カメラ部品の損傷を示している画像例である。

本発明の諸実施形態は、全体として、幾何学的参照付けによるカメラレンズの傷の自動診断に関する。

カメラのレンズやウィンドウなどの平坦で透明な表面の表面欠陥や構造的欠陥は、本発明の諸実施形態を使用して、光源から診断対象であるカメラ部品を介してカメラに光が伝わるように既知形状の光源（例えば、円形の発光ダイオード（ＬＥＤ））の写真を撮ることによって診断できる。ＬＥＤなどの小さな光源は、撮られた写真の中で円形の発光領域のように見えるはずであり、特に、ＬＥＤが写真の中で唯一の高輝度源である場合にはそうである。しかしながら、カメラ部品が変形していたり、損傷していたり、または破損していると、ＬＥＤ光源は、写真の中で、そのような発光する円形としては現れず、異なる／歪んだ形状として現れる。したがって、本発明の諸実施形態は、この現象を巧みに利用して、カメラ部品が損傷しているか否かを判定するシステムおよび方法を提供する。

図１は、本発明の一実施形態に係る、カメラ１０４のカメラ部品１０２（例えば、レンズ、ウィンドウ、または透明なフロントエレメント）が損傷しているかどうかを判定するためのシステム１００を示す。システム１００は、ホルダー１１２に取り付けられ、カメラ部品１０２が損傷しているかどうかを判定するためのコンピュータ実施方法を実行するように構成された診断プロセッサ１１４と通信している試験対象デバイス１０６（これは、この場合はモバイルデバイスだが、他の諸実施形態では専用カメラまたはカメラを含む他のデバイスであってもよい）を備えている。システム１００は、試験対象デバイス１０６（これは、この場合はモバイルデバイスだが、他の諸実施形態では専用カメラまたはカメラを含む他のデバイスであってもよい）を備えており、試験対象デバイスは、ホルダー１１２に取り付けられ、カメラ部品１０２が損傷しているかどうかを判定するためのコンピュータ実施方法を実行するように構成された診断プロセッサ１１４と通信している。コンピュータ実施方法については、以下でより詳細に記載する。しかしながら、コンピュータ実施方法を非一時的なコンピュータ可読媒体にエンコードして、診断プロセッサ１１４が方法を実行するか、または試験対象デバイス１０６内のプロセッサが方法を実行するかのいずれかであるようにしてもよいことに留意すべきである。例えば、コンピュータ実施方法を実行するための命令は、別個の診断プロセッサ１１４が必要とならないように、試験対象デバイス１０６のメモリにダウンロードされてもよい。このように、本発明の諸実施形態は、診断ハードウェア（すなわち、診断プロセッサ１１４の形態）と、コンピュータ実施方法を実行するように構成された診断ソフトウェアとの両方に関する。

幾つかの実施形態では、システム１００は、画像を撮るために、試験対象デバイス１０６をホルダー１１２内に位置決めするか、または試験対象デバイス１０６を直接保持するかのいずれかを行うように構成されたロボットアーム（図示せず）を含んでもよい。他の諸実施形態では、ユーザーは、ホルダー１１２を必要とすることなく、試験対象デバイス１０６を保持してもよい。

システム１００は、既知形状を有する少なくとも１つの光源も具備する。この実施形態では、光源は、カメラ１０４から見たときに円形輝度領域１０８を生じさせるように構成された円形のＬＥＤである。ＬＥＤは、図２により詳細に示すように、基板１１０に取り付けられている。しかしながら、幾つかの実施形態では、基板１１０は必要ではない。

図２に示すように、基板１１０は４つのＬＥＤ２０４を備え、各ＬＥＤが黒マーカー「Ｘ」２０２で形成された空間に設けられてダイヤモンドパターンを形成している。図示しないが、基板１１０は、均一な色と輝度との無彩色の鈍いグレー背景２００を備えていることによって、いわゆる「グレーカード」を形成している。グレー背景２００は、個々のＬＥＤ２０４の撮像形状が明確に識別できるように、試験対象デバイス１０６によって撮られた画像内でＬＥＤ２０４（作動時）が唯一の輝度源であることを確実にするために役立つ。幾つかの実施形態では、ＬＥＤ２０４は、グレー背景２００の少なくとも１０倍、少なくとも１００倍、または少なくとも１０００倍、光度が高くてもよい。幾つかの実施形態では、ＬＥＤ２０４の光度は調整可能であってもよい。さらに、背景２００の色は、比較的均一でＬＥＤ２０４よりも光度が低い限り、灰色である必要はない。

黒マーカー「Ｘ」２０２は、カメラ１０４が画像を撮るときに焦点を合わせるための、基板１１０上の対比用の焦点機能を構成する。他の諸実施形態では、異なる焦点機能を設けてもよい。

本実施形態では、４つのＬＥＤ２０４を単純なブレッド基板に取り付け、画像を撮るときに４つの光源のうちの１つだけが作動するように個々の各ＬＥＤ２０４をオンオフするように構成されたマイクロコントローラー（図示せず）によって駆動した。例えば、１つのＬＥＤ２０４を３秒間オンにして１秒間オフにした後、次のＬＥＤ２０４を３秒間オンにして１秒間オフにするなどし、これを電源のスイッチをオフにするまで続けた。他の諸実施形態では、異なる数の光源を採用してもよく、および／または、異なる制御シーケンスを使用してもよい。

図３は、本発明の一実施形態に係る、カメラ１０４のカメラ部品１０２が損傷しているかどうかを判定するためのコンピュータ実施方法３００（上記を参照）のステップを示す。上記に説明したように、方法３００は、図１の試験対象デバイス１０６または診断プロセッサ１１４によって行われてもよい。

方法３００は、既知形状１０８を有する光源２０４の少なくとも１枚の画像であって、光源２０４から結果的に生じた撮像形状を含む画像を、カメラ１０４から取得する第１のステップ３０２と、画像を解析する第２のステップ３０４とを含む。第３のステップ３０６は、撮像形状が、カメラ部品１０２が損傷していない場合および／またはカメラ部品１０２が損傷している場合に予想通りのものかどうかを判定することを含む。第４のステップ３０８では、方法３００は、カメラ部品１０２が損傷している判定されたかまたは損傷していないと判定されたかを示す表示を行う。特定の実施形態の詳細については、以下でより詳しく記載する。

動作時において、試験対象デバイス１０６のカメラ部品１０２における一部の表面欠陥、構造的欠陥、取付不良または位置ずれなどの欠陥は、以下のプロセスによって識別することができる。図１のシステム１００の配置は、既知形状の光源（すなわち、基板１１０上で、黒マーカー「Ｘ」２０２を備えるグレー背景２００内に埋め込まれているか、またはグレー背景２００の正面に位置づけられている、円形ＬＥＤ２０４）を設け、試験対象デバイス１０６（検査される内蔵デジタルカメラ１０４のカメラ部品１０２を含む）を光源２０４および基板１１０がカメラの視野に入るように配置することによって行われる。理想的には、基板１１０は、カメラ部品１０２の前面に実質的に平行で、カメラ１０４の光軸に直交する平面に方向付けられる。

試験対象デバイス１０６は、オペレーターによってまたはロボットアームによってホルダー１１２内に置かれてもよく、ホルダー１１２自体またはクランプやファスナーなどの１以上の機械部品によって適切な位置に固定されてもよい。

次に、試験対象デバイス１０６は、図３の方法３００を実行するように構成された診断ソフトウェアに接続される。これは、試験対象デバイス１０６がそのメモリに診断ソフトウェアをダウンロードすること、または（有線接続または無線接続のいずれかによって）試験対象デバイス１０６を診断プロセッサ１１４に接続することを伴ってもよい。試験対象デバイス１０６を診断プロセッサ１１４に接続するステップは、試験対象デバイス１０６がホルダー１１２に置かれると、診断プロセッサ１１４が試験対象デバイス１０６の存在を自動的に検出するように、自動的に行われてもよい。別の一実施形態に係れば、このステップは、オペレーターが、例えばＵＳＢケーブルを使用して必要な接続を行ったり、および／または、診断プロセッサ１１４または試験対象デバイス１０６に接続されたユーザーインタフェースから接続を開始するように、手動で行われてもよい。

同様に、診断ソフトウェアと試験対象デバイス１０６のカメラ１０４との間で接続が行われる。この接続は、診断ソフトウェアが試験対象デバイス１０６がカメラ１０４を含んでいるかどうかを自動的に検出し、次いで、試験対象デバイス１０６のオペレーティングシステム（ＯＳ）に組み込まれたインターフェースを使用してカメラ１０４に接続するように、自動的に行われてもよい。

診断ソフトウェアは次にカメラ１０４を操作して、光源２０４の写真を１枚以上撮ってもよい。これは、カメラ１０４が黒マーカー「Ｘ」２０２に焦点を合わせ、光源２０４を含む画像をキャプチャすることを伴う。幾つかの実施形態では、必要な写真は、診断ソフトウェアによって自動的に撮られてもよいが、他の諸実施形態では、診断ソフトウェアが、試験対象デバイス１０６や診断プロセッサ１１４へのユーザーインタフェースを介して、必要な写真を撮るようにオペレーターを案内してもよい。したがって、既知形状１０８を有する光源２０４の少なくとも１枚の画像をカメラ１０４から取得するステップ３０２は、診断ソフトウェアがカメラ１０４を使用して画像を直接撮ることによっても、試験対象デバイス１０６がカメラ１０４によって撮られた画像を診断ソフトウェアまたは診断プロセッサ１１４に転送することによっても、満たすことができる。

次に、画像が解析される。これは、試験対象デバイス１０６内の診断ソフトウェアによって行われるか、または画像を解析のために診断プロセッサ１１４に転送することによって行われてもよい。いずれの場合も、撮像形状が解析され、カメラ部品１０２が損傷していない場合および／またはカメラ部品１０２が損傷している場合に予想通りのものかどうかが判定される。言い換えれば、診断ソフトウェアは、円形ＬＥＤ２０４の画像が、本質的に円形か、または歪んでレンダリングされているかを検査する。もちろん、他の諸実施形態では、異なる既知形状の光源が採用されてもよく（例えば、楕円形、三角形、正方形、長方形など）、解析では、レンダリングされた画像がそのような形状に対して予想通りのものかどうかが検査される。解析は、以下に更に詳細に説明するように、例えば、空間数学や機械学習を使用して行ってもよい。

最後に、カメラ部品１０２が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示が提供される。この表示つまり診断判断は、特にカメラ部品１０２が損傷していると判定された場合には、可聴アラートおよび／または可視アラートの形態をとってもよい。

幾つかの実施形態では、診断判断は、オペレーターに表示されてもよく、単純な総合等級、詳細度が低い等級、詳細度が高い等級、または等級付けに影響を与えるパラメータの完全なレポートを含んでもよい。例えば、カメラ部品１０２は、傷なし、傷あり、破壊されている、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類されてもよい。これらの結果を、試験対象デバイス１０６の画面に示してもよいし、診断プロセッサ１１４のユーザーインタフェースを介して示してもよいし、診断ソフトウェアが提供する別のレポートに示してもよい。

画像の解析結果または画像自体は、オペレーターからの助力つまり入力を受けて、または診断ソフトウェアによって自動的に、試験対象デバイス１０６から（例えば、診断プロセッサ１１４が設けられている）リモートサーバに転送されてもよい。

参考までに、図４Ａは、本発明の一実施形態に係る、損傷していないカメラ部品１０２（傷がないレンズ）を使用してキャプチャされた、図２の基板１１０および１つのＬＥＤ２０４光源の画像を示す。このように、ＬＥＤ２０４からの撮像形状４００ａは、本質的に円形であることがわかる。

図４Ｂは、本発明の一実施形態に係る、損傷しているカメラ部品１０２（傷があるレンズ）を使用してキャプチャされた、図２の基板１１０および同じＬＥＤ２０４光源の画像を示す。このように、ＬＥＤ２０４からの撮像形状４００ｂは円形ではなく、むしろ細長いことがわかる。

以下の例は、本発明の諸実施形態に係る、上記の画像を自動的に解析してカメラ部品１０２が損傷しているかまたは損傷していないかを判定することができる方法を詳述する。

例

傷がないレンズ、傷があるレンズ、および破壊されているレンズからの円形ＬＥＤ２０４の潜在的なキャプチャ画像を示す幾つか画像を、グラフィック作成ソフトウェアを使用して生成した。このように、図５Ａ、図５Ｂおよび図５Ｃは、損傷していないカメラ部品１０２の場合にキャプチャされた光源画像５００ａ，５００ｂおよび５００ｃの各々の例を示す。これらの画像５００ａ，５００ｂ，５００ｃの各々は、本質的に円形である。この例の目的のために、図５Ａ、図５Ｂおよび図５Ｃに示す種類の画像を２３２枚生成した。これらの画像は全て丸みを帯びた形状を備えているが、全て僅かに異なっている。

図６Ａ、図６Ｂおよび図６Ｃは、傷があるカメラ部品１０２の場合にキャプチャされた光源画像６００ａ，６００ｂおよび６００ｃの各々の例を示す。これらの画像６００ａ，６００ｂおよび６００ｃの各々は、何らかの形で引き伸ばされたり変形されたりした円形形状を有している。この例の目的のために、図６Ａ、図６Ｂおよび図６Ｃに示す種類の画像を３５枚生成した。これらの画像は全て、異なる形で引き伸ばされたり変形されたりした円形形状を具備している。

図７Ａ、図７Ｂおよび図７Ｃは、破壊されているカメラ部品１０２の場合にキャプチャされた光源画像７００ａ，７００ｂおよび７００ｃの例を示す。これらの画像７００ａ，７００ｂおよび７００ｃの各々は、非常にひどく変形して破損した形状を有している。この例の目的のために、図７Ａ、図７Ｂおよび図７Ｃに示す種類の画像を６枚生成した。これらの画像は全て、ひどく変形して破損した形状を備えている。

上記の画像の使用については、異なる解析技術について以下に記載する。

空間数学的アプローチ

試験対象デバイス１０６のカメラ部品１０２を通して撮られた写真を解析するステップは、例えば、円形の光源（例えば、ＬＥＤ２０４）を方程式で近似する数学的な算出法を使用して行われてもよい。カメラ部品１０２を通して撮られた写真から抽出されたパラメータで方程式を解くことによって得られる結果を、既知の基準値と比較してもよい。基準値との一致は、カメラ部品１０２（例えば、レンズ）が傷なしであることを示す一方、基準値からの逸脱は、カメラ部品１０２（例えば、レンズ）が故障していることを示す。

より具体的には、空間数学的アプローチを使用して写真を解析するステップは、以下のステップを備えていてもよい。
１）キャプチャ画像の中で最も明るい領域の中心を検出する。
２）上記中心に（数学的）マーカーを置く（例えば、中心画素のｘおよびｙ座標を記録する）。
３）上記中心画素の周りにリングを描き、明るい領域がリングを超えて少なくとも一方向に広がっているかどうかを検査する。
４）明るい領域がリングの境界からはみ出さなくなるまで、リングのサイズを大きくする。
５）リング内側の非常に明るい画素の割合を算出する（例えば、最大光度の少なくとも９０％の明るさの光度を有する画素など、予め決められた値よりも大きい光度を有する画素の割合）。試験対象デバイス１０６が傷なしであれば、その割合は１００％に近いはずである。試験対象デバイス１０６が損傷している場合、その割合ははるかに低くなるはずである。
６）レンズが損傷しているか否かを決定するためのルールを適用する。例えば、リング内の明画素の割合が９０％未満であれば、レンズは傷があると見なされてもよく、リング内の明画素の割合が４０％未満であれば、レンズは破壊されていると見なされてもよい。

図８Ａは、本発明の一実施形態に係る、損傷していないカメラ部品１０２の場合にキャプチャされた光源画像８００ａの幾何学的解析を模式的に表したものを示す。図８Ａでは、図５Ａのキャプチャ画像は実線の輪郭８００ａで示されている。このキャプチャ画像８００ａは、ＬＥＤ２０４から予想される形状１０８を示す、完全な円形の破線で囲まれている。キャプチャ画像８００ａ内の画素量と破線１０８内の画素量を比較すると、およそ５％の差しかない。したがって、破線１０８の内側の領域のほぼ１００％が、キャプチャ画像８００ａの明画素によって占められている。これは、決められた許容範囲内であり、したがって、キャプチャ画像８００ａは、傷がないカメラ部品１０２からのものであると判定される。

図８Ｂは、本発明の一実施形態に係る、傷があるカメラ部品１０２の場合にキャプチャされた光源画像８００ｂの幾何学的解析を模式的に表したものを示す。この場合、図６Ｃのキャプチャ画像は上記と同じように処理され、実線の輪郭８００ｂで示されているが、この輪郭は非円形であり、傷があるレンズから結果的に生じたものである。このキャプチャ画像８００ｂは、ＬＥＤ２０４から予想される形状１０８を示す、完全な円形である破線で囲まれている。キャプチャ画像８００ｂ内の画素量と破線１０８内の画素量を比較すると、約５０％の差がある。こうして、予め設定されたルールに従って、この例のカメラ部品１０２を傷があると判定することができる。

現実のケースでは、実線８００ａおよび８００ｂ内の画素は、予め決められた値よりも大きい光度（例えば、最大光度の少なくとも９０％の明るさ）を有するキャプチャ画像で観察される、明画素であろう。

要約すると、このアプローチでは、予想される形状の内側の画素のうち、明画素の比を測定するだけでよい。言い換えれば、以下の式が適用される。
測定値＝明るい領域の画素数／予想される領域の画素数

機械学習的アプローチ

他の諸実施形態では、試験対象デバイス１０６のカメラ部品１０２を通して撮られた写真を解析するステップは、例えば、コンピュータビジョンを介した機械学習によって行われてもよい。この場合、アルゴリズムに、画像内の欠陥を識別するために十分な写真セットを教え、これは次に、カメラ部品１０２の欠陥を等級付けする際に使用される。上記に説明したように、この解析は、例えば、試験対象デバイス１０６上で実行される診断ソフトウェアによっても、リモートサーバまたは診断プロセッサ１１４によっても行うことができる。

機械学習アルゴリズムは、例えば、ニューラルネットワークまたは深層学習アルゴリズムを含んでもよい。ニューラルネットワークの場合、アルゴリズムがある程度の効率で類似のピクチャーを分類できるようになる前に、最初に、図５Ａから図７Ｃに関連して上記に記載したようなピクチャーの例を使用してアルゴリズムに教える。

一般に、機械学習アルゴリズムの使用は、以下を含んでもよい。
１．訓練用ピクチャーに含まれる情報を情報行列に変換する。
２．情報行列を結合行列に操作する。
３．結合行列を使用して確率ベクトルを形成する。
４．キャプチャ画像からの情報と確率ベクトルとを比較する。
５．キャプチャ画像を、確率情報が付随する結果クラスに分類する。

機械学習アプローチの例を教えるために、図５Ａから図７Ｃに関連して上記に記載した訓練用ピクチャーの７０％をランダムに選択したものを訓練材料として使用し、次に残りの３０％のピクチャーをキャプチャ画像の例として使用して、本方法の分類効率を試験した。

図９は、キャプチャ画像が、カメラレンズの形態の、傷がないカメラ部品２０４、傷があるカメラ部品２０４、および破壊されているカメラ部品２０４を使用して取得されたものとして分類された機械学習解析の結果に対する混同行列を示す。

見てわかるように、全ての「傷がない」レンズは正確に分類された。「傷がある」レンズの分類は、この試験ケースではやや信頼性が低く、１１枚のうち４枚が「傷がない」と不正確に分類された。このケースでは、破壊されているピクチャーはサンプル内に１枚しかなく、これは正確に分類された。

このケースで使用した分類器は、既知の「ランダムフォレスト分類器」である。全体として、分類は９５．１２％の精度であり、現実世界でのユースケースにおいても同様の数値を予想することができる。

一般的な方法

本発明の諸態様は、全体として、レンズ系（対物）などのカメラ部品の内部反射を引き起こして、内部反射の均一性を検査する諸方法に関する。したがって、画像の被写体には実際の重要性はなく、むしろ、画像の背景はできるだけ単調で均一にして、反射のイメージを強調するようにすべきである。このような反射を傷がないレンズ系と損傷しているレンズ系の両方で観察することによって、反射の違いを識別し、損傷しているレンズ系と傷がないレンズ系とを判定することが可能になる。十分なサンプルが取得されれば、この決定を適切なアルゴリズムによって自動化してもよい。

従って、本発明の諸態様は、高品質の光源および任意選択で光学ファイバーを使用することによって、スマートフォンのレンズなどのカメラ部品を診断する新規な方法を提供する。どんなレンズの欠陥が引き起こすエラーでも、統計空間解析または機械学習を使用して検出することができる。

図１０は、本発明の諸実施形態に係る、カメラ１０４のカメラ部品１０２が損傷しているかどうかを判定するためのコンピュータ実施方法１０００のステップを示す。上記に説明した方法と同様に、この方法１０００は、試験対象デバイス１０６または診断プロセッサ１１４によって行われてもよい。

方法１０００は、１以上の損傷指標に関する情報を取得する第１のステップ１００２と、光源からの光がカメラ部品に入射したときに撮られた少なくとも１枚の画像をカメラから取得する第２のステップ１００４とを含む。第３のステップ１００６は、画像を１以上の領域に分割することを要し、第４のステップ１００８は、各領域を解析して、各領域が１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定することを含む。第５のステップ１０１０は、上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供することを含む。

以下に記載する特定の実施形態では、カメラ部品は光源からの光に直接晒されるが、光源の形状は既知である必要はない。したがって、本技術は、既知の光源が利用できない場合に使用することができる。しかしながら、幾つかの実施形態では、本技術を、既知の光源を使用した上記の技術と併用して、撮像された光源が予想される形状であっても他のアーチファクトを識別できるようにしてもよい。

図１１Ａ、図１１Ｂおよび図１１Ｃに示す実施形態では、光源１１００は、カメラの視野（ＦＯＶ）（すなわち、カメラ内のセンサーまたは検出器のＦＯＶ）内に設けられる。しかしながら、他の諸実施形態では、光源は、カメラのＦＯＶの外側（すなわち、センサーまたは検出器のＦＯＶの外側）にありながらも、以下で更に説明するように、試験中のカメラ部品に光を直接提供するように配置されてもよい。幾つかの実施形態では、オペレーターは、光源をＦＯＶに含めるか否かを選択してもよい。

理想的には、光源１１００は、異なる波長を含む（すなわち、色効果をより容易に識別できるように、できるだけ自然光／白色光に近い）。光源１１００は、周囲光よりも明るくすべきであり（例えば、少なくとも１０倍、光度が高い）、太陽またはＬＥＤもしくは光学ファイバーケーブルなどの明るい光の他の光源でもよい。

図１１Ａに示すように、第１のステップでは、ピクチャーの背景が好ましくは実質的に均一な色になるように、試験中のカメラでピクチャー／画像が撮られる。加えて、上記のように、例えば「Ｘ」などのカメラ用の焦点機能が均一な背景上に印刷されていてもよい。この実施形態では、画像内に１つの非常に明るい小光源１１００もある。カメラ部品が損傷している場合（図１１Ａの通り）、画像は１以上の損傷指標１１０２も示すが、この指標は、光筋、色（すなわち、虹）効果、ぼけなどの形態であってよい。

図１１Ｂに示すように、第２のステップでは、画像を複数の領域に分割するが、この場合、これらの領域は小さな正方形１１０４である。他の諸実施形態では、画像は、正方形または他の形状を使用した１以上の領域に分割されてもよい。その後、各領域について光学パラメータが判定される。この実施形態では、各正方形１１０４についてＲＧＢ平均色値が判定される。他の諸実施形態では、各領域の強度が判定されてもよい。

図１１Ｃに示すように、第３のステップでは、画像内の最大のおよび／または最も明るい連続した領域が判定され、この領域がＦＯＶ内に存在する場合、さらなる解析から無視するために、光源を画像からマスクアウトする。このケースでは、画像内の光源１１００をマスクアウトするために円が使用されているが、光源をマスクするために任意の形状を使用することができる。

図示されていない第４のステップでは、統計解析方法および／または機械学習技術が採用されて、領域１１０４の各々を「予想通り」または「予想外」のいずれかに分類する。言い換えれば、各領域１１０４は、少なくとも１つの損傷指標１１０２を備えているかどうかを判定するために解析される。損傷指標は、パターン、アーチファクト、色エラー（すなわち虹効果）、飽和（すなわち焼き付き）領域、または損傷しているカメラ部品を通して撮られた画像に現れる可能性のある他の症状（例えば、画素間の急激なコントラスト変化つまり「ぼけ」）の形態をとってもよい。例えば、領域の平均強度、光度、色または波長などの光学パラメータを判定し、基準値または閾値と比較して、領域が少なくとも１つの損傷指標１１０２を備えているかどうかを判定してもよい。幾つかの実施形態では、領域が１以上の損傷指標１１０２を備えているかどうかを判定するために、１以上の光学パラメータが取得されてもよい。したがって、１以上の損傷指標１１０２に関する情報を得るために（すなわち、参照用の値の正常なまたは予想される範囲を確立するために）、較正手順またはセットアップ手順を採用してもよい。

幾つかの実施形態では、そのような損傷指標が存在するかどうかを識別し、それによって、カメラ部品が損傷しているかまたは損傷していないかを判定することを機械学習アルゴリズムに教えるために、潜在的な損傷指標の大きなデータセットが提供されるであろう。

光源の外側の領域１１０４の全てが予想通りである（すなわち、損傷指標を１つも含まない）場合、カメラが完全に機能しているという信号がオペレーターに通信される。しかしながら、領域１１０４のうちの１つ以上が予想通りでない（すなわち、損傷指標を含んでいる）場合、カメラが損傷しているという信号がオペレーターに通信される。

カメラが損傷していない（すなわち、機能している）と分類された場合、人の介在を必要とせずにプロセスを終了することができる。

カメラが損傷している（例えば、破損している）と分類された場合、オペレーターは、カメラが本来の機能を果たしていないことを確認することができる。

本発明のそのような実施形態の利点は、ほとんどの場合（例えば、試験されたカメラの９０％から９５％の場合）、カメラが傷なしかまたは破損しているかを評価するために人間の介在が必要ないことである。カメラが破損している稀なケースでは、オペレーターはカメラに破損しているとラベル付けし、修理に送るか（修理に価値があると思われる場合、すなわち、デバイスが比較的新しく高価なモデルである場合）、または価格を下げることができる（カメラが安すぎて修理が意味をなさない場合）。

上記に記載した最初の実施形態と比較して、この実施形態はより広範囲のエラーを検出することができる。例えば、レンズアレイ内の埃やセンサー内の汚れは、この方法を使用して自動的に検出できるアーチファクトを作り出すはずである。

これまで、スマートフォンのカメラレンズ診断システムのほとんどは、人間による目視点検に頼っていた。この実施形態は、その目視点検を容易にすることができるか、もしくは上記に記載したように画像のアーチファクトが現れたことを検出するアルゴリズムを使用して、点検を完全に自動化することができる。

本発明の幾つかの態様では、完璧なレンズはないので、この方法は確率算出の練習と見なすことできる。つまり、許容可能な欠陥確率に閾値を設定してもよい。よって、カメラ部品が損傷しているかまたは損傷していないと分類されたことを示す表示を提供するステップは、損傷指標に関して取得された情報と比較した場合のカメラ部品の欠陥の確率を、例えば、観察された損傷指標の数に基づいて、算出することを含んでもよい。情報は、観察された損傷指標の数に基づく欠陥確率分布を具備してもよい。さらに、確率分布は、損傷指標の種類に固有のものであってもよく、その場合には、複数の確率分布が取得されてもよい。幾つかの実施形態では、この種の確率算出を、機械学習アルゴリズムを採用することによって実行して、損傷指標に関するより多くの情報が蓄積されるにつれて推定値がより正確になるようにしてもよい。

図１２は、本発明の諸実施形態に係る、一連のモバイルデバイス１２０４のカメラ１２０２を試験するための試験セットアップ１２００の模式図である。試験セットアップ１２００は高品質の光源１２０６を具備しており、この光源は、レンズシステム１２０８を通過して、各モバイルデバイス１２０４の各カメラ１２０２に光を向けるように配置された複数の光学ファイバー１２１０の中に入る。

図１３は、光源１２０６から光学ファイバー１２１０によって伝えられた光を使用して試験中の単一のモバイルデバイス１２０４のカメラ１２０２の側面図である。一般的に、光は試験中のカメラ部品（例えば、レンズ）の中心に向かってまっすぐに向けられてもよいが、幾つかの実施形態では、光は他の角度から来てもよいし、または、どんな画像アーチファクトでも捕らえるのを助けるために、光は（例えば、光源またはカメラを移動することによって）幾つかの角度からカメラ部品に向けられてもよい。

図１４は、光学ファイバー１２１０光源を使用して試験中の、傷があるレンズ１２０２の拡大模式図である。光がレンズ１２０２内の傷１２１２などのエラーに遭遇すると、光は一般にアーチファクト１２１４つまり損傷指標を作り出すが、これは、作り出された画像内のプリズム効果または輝点もしくはストリークの形態をとることがあり、これらがＦＯＶ内に存在する場合は、明らかに、撮像された光源に対応する輝度領域の外側にある。こうして、システムが図１０の方法に係り損傷指標の存在を検出して、カメラが損傷しているかまたは損傷していないかを判定できるようにする。

上記に記載したような比較的単純なセットアップであっても、高品質の光源を備えていれば、高品質の光源を備えていない場合には気付きにくいレンズエラーをオペレーターが発見するのに役立つことができる。幾つかの実施形態では、そのようなレンズエラーの検出は、出来る限りロボットアームと人工知能システムを使用して、半自動的に行われてもよい。これによって、完全に手動で行うカメラの光学試験よりも速くなり、必要な作業量もより少なくなる。

図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ、図１５Ｅおよび図１５Ｆは、本発明の諸実施形態に係る別の試験セットアップを使用して撮られた画像を示す。図１５Ａでは、非常に損傷しているレンズを有するカメラによって、穴１５０２の開いた箱１５００の画像が周囲光の中で撮られている。しかしながら、エラーは全く見えない。

図１５Ｂは、損傷していないレンズを有するカメラによって撮られた、明るい光源１５０４が正面にある箱１５００の画像を示す。この画像は、光源１５０４からの光の明るく、実質的円形の領域１５０６を示している。

図１５Ｃは、損傷している（傷がある）レンズを有するカメラによって撮られた、明るい光源１５０４が正面にある箱１５００の画像を示す。この画像は、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域１５０８と光筋１５１０とを示している。

図１５Ｄは、より損傷しているレンズを有するカメラによって撮られた、明るい光源１５０４が正面にある箱１５００の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域１５０８と、より強い光筋１５１０（そのうちの幾つかは虹色効果を示している）とを示している。

図１５Ｅは、非常に損傷しているレンズを含む図１５Ｄに使用されたのと同じカメラで撮られた、明るい光源１５１２が正面にある箱１５００の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域１５０８と強い光筋１５１０（そのうちの幾つかは虹色効果を示している）とを示している。

図１５Ｆは、非常に損傷しているレンズを含む図１５Ｄおよび図１５Ｅに使用されたのと同じカメラによって撮られた、より小さい光源１５１４が正面にある箱１５００の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域１５０８および強い光筋１５１０（そのうちの幾つかは虹色効果を示す）を示している。

なお、非常に損傷しているレンズであっても、肉眼でカメラを見て損傷に気づくことはほとんど不可能であることに留意されたい。したがって、本発明の諸実施形態に係り記載した諸方法は、損傷しているカメラ部品を容易に識別するための有用で信頼性の高いツールを提供する。

図１６Ａおよび図１６Ｂは、損傷していないレンズおよび損傷しているレンズのそれぞれの場合の光線追跡シミュレーション１６００の結果を示す。このシミュレーションでは、レンズの３Ｄモデルを光線追跡ソフトウェアと組み合わせて利用し、傷がない場合と損傷している場合との両方でレンズがどのように作用するかをシミュレーションした。この例では、非常に小さな１つの光源と、試験中のレンズと、レンズの背後の壁とを備えるシーンをシミュレーションした。光源からの光子は、外部からレンズを照射し、レンズの中を進む。シミュレーションされた画像の各画素について、画像が完成したと見なされる前に１００，０００個のサンプルが採取された。

シミュレーションでは、レンズの背後の壁は、レンズの影になっている円形の領域を除いて、真っ白に焼けた。その領域には光源の像が見え、更に幾つかの迷子光子を見ることができる。

図１６Ａに示すように、レンズが傷なしである場合、光子はほとんどレンズの背後の１つの輝点１６０２に集中する。

しかしながら、レンズが損傷している（すなわち、画像センサーに最も近いレンズのジオメトリが変わった）場合、輝点１６０４の形状が変わり、迷子光子もより多くなった。現実の世界では、これらの光子は画像内の色エラーを引き起こすであろう。

図３において記載した方法で輝点の形状が変わることを検出できるが、図１０に関連して記載した方法は、明るい領域の形状を著しく変化させる可能性がないような色エラーおよびその他の類似の欠陥を検出するにはより優れている。

さらに、図３に関連して上記に記載した諸実施形態と比較して、本実施形態は、既知の光源を使用することに依存しない。それどころか、光源がキャプチャ画像内にある場合、光源を除外つまりマスクアウトすることが有利な場合がある。

加えて、画像が撮られるシーンは既知である必要はなく、ある条件、例えば、試験中のカメラ部品に光源から光が伝わるように光源がシーンまたはその周辺にある必要性を満たすだけでよい。

図１７Ａ、図１７Ｂ、図１７Ｃ、図１７Ｄおよび図１７Ｅは、本発明の諸実施形態に係る、カメラのカメラ部品が損傷しているかどうかを判定するために構成された装置を模式的に示す。

図１７Ａは、無彩色の背景カード１７００を示しており、小さな明るい光源１７０２が背景１７００の正面に設けられている。幾つかの実施形態では、光源１７０２は、カメラ部品に入る光が部品内のいかなるエラーによっても影響を受ける可能性がより高くなるように、一連の画像が撮られる間、背景１７００の正面の任意の方向（例えば、水平、垂直、または斜め）に移動されてもよい。これは、レンズの欠陥により、ある角度（つまり、レンズの欠陥部分を介して反射された光がカメラのセンサーに当たるとき）でしかアーチファクトが発生しない可能性があるからである。追加としてまたは代替として、カメラ部品（またはカメラ部品が設けられるデバイス）は、同じ理由で、光源１７０２に対して移動されてもよい。

図１７Ｂおよび図１７Ｃは、光源１７０２が、スマートフォン１７０６のカメラ部品１７０４の視野（ＦＯＶ）１７０８内において、背景１７００の正面に設けられている試験セットアップを示す。この場合、スマートフォン１７０６は、スマートフォンホルダー１７１０に設けられており、このホルダーは、本発明に係る解析のために光源１７０２を含む画像を撮るために、スマートフォン１７０６を３つの運動度（すなわち、垂直と水平と垂直軸周り）の周りに移動させるように配置されている。

図１７Ｄは、光源１７０２が背景１７００の正面に設けられているが、スマートフォン１７０６のカメラ部品１７０４の視野（ＦＯＶ）１７０８の外側にある、別の試験セットアップを示している。上記のように、スマートフォン１７０６は、スマートフォンホルダー１７１０に設けられており、このホルダーは、スマートフォン１７０６を３つの運動度の周りに移動させるように配置されている。

図１７Ｅは、図１７Ｄのセットアップを使用して試験中の、損傷しているレンズカメラ部品１７０４の近接図である。このように、光源１７０２はＦＯＶ１７０８の外側にあるが、光源１７０２からの光が依然としてスマートフォン１７０６のカメラ部品１７０４に入射していることが明らかである。光源１７０２からの光がカメラ部品１７０４の欠陥つまりエラー１７１２に遭遇すると、光の少なくとも一部が、カメラ内の画像センサー１７１４に向けられ得る。したがって、画像は、損傷しているカメラ部品を示すアーチファクトつまり損傷指標を含むことになる。

幾つかの実施形態では、レンズ内のエラー１７１２は、元の光源１７０２の歪んだレンダリング、および／または、光筋もしくは色エラーにつながり得る。

図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｄ、図１８Ｅ、図１８Ｆ、図１８Ｇおよび図１８Ｈは、カメラのカメラ部品が損傷しているかどうかを判定するために本発明の諸実施形態において損傷指標として識別することができる様々な異なるアーチファクトを示す。

図１８Ａは、光源１８００、光筋１８０２、および不鮮明な光のスミアリングつまりぼけの領域１８０４を含む画像を示す。図１８Ｂは、図１８Ａの画像を白黒線画で表現したものであり、光源１８００、光筋１８０２、および不鮮明な光のスミアリングつまりぼけの領域１８０４の位置を示す。

図１８Ｃは、光源が視野の外側にある状態で撮られたが、それでも光筋１８０２を示す画像である。図１８Ｄは、図１８Ｃの画像を白黒線画で表現したものであり、光筋１８０２の位置を示す。

図１８Ｅは、光源が視野の外側にある状態で撮られたが、光筋１８０２および明るい（飽和した）領域１８０６を示す画像である。図１８Ｆは、図１８Ｅの画像を白黒線画で表現したものであり、光筋１８０２および明るい（飽和した）領域１８０６の位置を示す。

図１８Ｇは、光源が視野の上端にある状態で撮られた画像であり、異なる種類の光筋１８０２および明るい（飽和した）領域１８０６を示す画像である。図１８Ｈは、図１８Ｇの画像を白黒線画で表現したものであり、光筋１８０２と明るい（飽和した）領域１８０６の位置を示す。

図１９は、太陽がカメラの視野の外側にある状態で撮られた画像例だが、ぼけた光ストリーム１９００の形態をしたアーチファクトが画像内に存在し、カメラ部品の損傷を示している画像の画像例である。

本発明の諸実施形態では、上述の各図の画像を解析して損傷指標を識別し、それによってカメラ部品が損傷しているかまたは損傷していないかを判定できることが理解されるであろう。

上述の記載では例示的な実施形態を記載したが、特許請求の範囲によって定義される本発明の範囲内で、諸実施形態の多くの変形を行うことができることが、当業者には理解されるであろう。さらに、１以上の実施形態の特徴を、１以上の他の実施形態の特徴と混合し調和させてもよい。

Claims (50)

1. カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
   １以上の損傷指標に関する情報を取得し、
   光源からの光が前記カメラ部品に入射したときに撮られた少なくとも１枚の画像を前記カメラから取得し、
   前記画像を１以上の領域に分割し、
   各領域を解析して、前記各領域が前記１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定し、
   該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供する、
   方法。
2. 前記１以上の損傷指標に関する情報は、前記１以上の損傷指標が前記画像内の対応する形状の欠如に対応するような、前記光源の既知形状を具備し、
   前記画像は、前記光源から結果として生じる撮像形状を具備し、
   各領域を解析する前記ステップは、前記撮像形状が、前記カメラ部品が損傷していない場合および／または前記カメラ部品が損傷している場合に予想通りのものかどうかを、前記光源の前記既知形状に基づいて判定する、
   請求項１に記載の方法。
3. 前記各領域を解析するステップは、前記撮像形状と前記既知形状とをデジタル的に比較する、請求項２に記載の方法。
4. 各領域を解析する前記ステップは、空間数学を使用して、前記撮像形状と前記既知形状を比較する、請求項２または３に記載の方法。
5. 前記撮像形状の上に前記既知形状の輪郭を生成し、前記輪郭内に収まる、前記撮像形状からの明画素の割合を算出する、請求項４に記載の方法。
6. 前記撮像形状の上に前記既知形状の輪郭を生成する前記ステップは、
   前記画像内の最も明るい領域の中心を検出し、
   前記中心の周りに前記既知形状の前記輪郭を描き、
   前記最も明るい領域が前記輪郭を超えて広がっているかどうかを検査するか、または前記最も明るい領域が前記輪郭まで広がっていないかどうかを検査して前記最も明るい領域が少なくとも１つの方向において前記輪郭まで広がるように前記輪郭のサイズを調整する、請求項５に記載の方法。
7. 前記輪郭内に収まる、前記撮像形状からの明画素の割合を算出する前記ステップは、前記撮像形状の最大光度を判定し、前記最大光度の所定の閾値内の光度を有する前記輪郭内の明画素の数を判定し、該明画素の数を前記輪郭内の画素の総数で割る、請求項５または６に記載の方法。
8. 前記所定の閾値は前記最大光度の９０％である、請求項７に記載の方法。
9. 前記輪郭内に収まる前記撮像形状からの明画素の前記割合が９０％未満である場合に、前記カメラ部品は損傷していると判定される、請求項５から８のいずれか１項に記載の方法。
10. 前記既知形状は、円形または本質的に円形もしくは楕円形の領域である、請求項２から９のいずれか１項に記載の方法。
11. 前記画像が撮られるときに、前記光源は前記カメラの視野内に存在しているか、または前記光源は前記視野の近傍に存在している、上記請求項のいずれかに記載の方法。
12. さらに前記画像を撮る、上記請求項のいずれかに記載の方法。
13. 前記１以上の損傷指標は、１以上のアーチファクト、パターン、コントラスト変化、飽和範囲、ぼけた領域、色効果、光筋、またはその他の症状を含む、上記請求項のいずれかに記載の方法。
14. 各領域を解析する前記ステップは、統計解析を使用して、前記１つ以上の損傷指標のうち少なくとも１つが存在するかどうかを判定する、上記請求項のいずれかに記載の方法。
15. 各領域を解析する前記ステップは、各領域について光学パラメータを算出し、各光学パラメータが前記１つ以上の損傷指標のうちの少なくとも１つを示すかどうかを判定する、上記請求項のいずれかに記載の方法。
16. 前記光学的パラメータは、色、波長、光度、強度、またはコントラストのうちの１つ以上を含む、請求項１５に記載の方法。
17. 各領域について平均光学パラメータを算出し、各平均光学パラメータが前記１つ以上の損傷指標のうちの少なくとも１つを示すかどうかを判定する、請求項１５または１６に記載の方法。
18. 前記光学的パラメータが所定の範囲内にある、各領域内の画素総数の割合を判定する、請求項１５から１７のいずれか１項に記載の方法。
19. 前記所定の範囲は、予想される光学パラメータの９０％以上である、請求項１８に記載の方法。
20. 前記画像内の最大強度の領域と、前記最大強度の予め決められた範囲内の強度を有する全ての隣接領域と、に対応する最も明るい範囲を判定することと、
    前記最も明るい範囲を、各領域を解析する前記ステップから除外することと、
    によって、さらに前記画像内の光源を無効にする、請求項１に記載の方法。
21. 各領域を解析する前記ステップは、訓練された機械学習アルゴリズムを使用して、各領域を、前記１つ以上の損傷指標のいずれも具備していないか、または前記１つ以上の損傷指標のうちの少なくとも１つを具備していると分類する、上記請求項のいずれかに記載の方法。
22. 各領域を解析する前記ステップは、訓練された機械学習アルゴリズムを使用して、各領域を、損傷しているカメラ部品から結果的に生じたものか、または損傷していないカメラ部品から結果的に生じたものかを分類する、上記請求項のいずれかに記載の方法。
23. 前記機械学習アルゴリズムはニューラルネットワークを含む、請求項２０または２１に記載の方法。
24. 前記機械学習アルゴリズムは深層学習アルゴリズムを含む、請求項２０または２１に記載の方法。
25. 各領域から情報を抽出し、
    前記抽出された情報を１以上の所定の確率ベクトルと比較し、前記領域が、前記１以上の損傷指標のいずれも具備していないと分類されるべきか、または前記１以上の損傷指標のうちの少なくとも１つを具備していると分類されるべきかを確定し、
    前記領域が正確に分類される確率を算出する、
    請求項２０から２３のいずれか１項に記載の方法。
26. さらに、損傷しているカメラ部品および損傷していないカメラ部品からの画像の複数例を提供することによって前記機械学習アルゴリズムを訓練する、請求項２０から２４のいずれか１項に記載の方法。
27. 訓練中に、前記機械学習アルゴリズムは、
    前記複数例から情報を抽出する処理と、
    前記抽出された情報を情報行列に変換する処理と、
    前記情報行列を結合行列に操作する処理と、
    前記結合行列を使用して各分類ついて確率ベクトルを確定する処理と、
    を行う、請求項２５に記載の方法。
28. 前記画像は無彩色の背景を含む、上記請求項のいずれかに記載の方法。
29. 単一画像の全ての領域と比較した、前記１つ以上の損傷指標のうちの少なくとも１つを含むと判定された前記領域の割合を算出し、前記割合が少なくとも１％、２％、５％、または１０％である場合に、前記カメラ部品が損傷していると分類する、上記請求項のいずれかに記載の方法。
30. 損傷しているカメラ部品からの画像は、さらに、欠陥がある部品または破壊されている部品から結果として生じるものとして分類される、上記請求項のいずれかに記載の方法。
31. 欠陥がある部品は、さらに、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類される、請求項３０に記載の方法。
32. 前記カメラ部品が、カメラレンズ、ウィンドウ、または透明なフロントエレメントであることを特徴とする、上記請求項のいずれかに記載の方法。
33. 上記請求項のいずれかに記載の方法を実行するために、プロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体。
34. カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、
    前記カメラに関連付けられたプロセッサ、または前記カメラと通信しているときの診断プロセッサによって動作可能な、請求項３３に記載の前記非一時的コンピュータ可読媒体を具備するシステム。
35. さらに、前記カメラ部品に入射する光を提供するように配置された光源を具備する、請求項３４に記載のシステム。
36. 前記光源から光を前記カメラ部品に向けるように配置された光学ファイバーケーブルを具備する、請求項３４に記載のシステム。
37. 前記光源は既知形状を有する、請求項３５または３６に記載のシステム。
38. 前記光源は前記カメラの視野の外側に配置されている、請求項３５から３７のいずれか１項に記載のシステム。
39. 異なる画像を異なる照明角度で撮ることができるように前記光源および／または前記カメラは移動可能である、請求項３４から３８のいずれか１項に記載のシステム。
40. 前記光源は白色光源である、請求項３４から３９のいずれか１項に記載のシステム。
41. 画像を撮るときに該光源を作動させるように構成されたコントローラーを具備する、請求項３４から４０のいずれか１項に記載のシステム。
42. さらに、前記光源の方が少なくとも１０倍、光度が高くなるような無彩色の背景を具備する、請求項３４から４１のいずれか１項に記載のシステム。
43. さらに、前記カメラが前記画像を撮るときに焦点を合わせるための焦点機能を具備する、請求項３３から４２のいずれか１項に記載のシステム。
44. さらに、前記画像を撮るための前記カメラを位置決めするように構成されたホルダーおよび／またはロボットアームを具備する、請求項３３から４３のいずれか１項に記載のシステム。
45. 前記カメラはモバイルデバイスに設けられている、請求項３３から４４のいずれか１項に記載のシステム。
46. さらに、前記診断プロセッサと、前記カメラと通信するための通信手段とを具備する、請求項３３から４５のいずれか１項に記載のシステム。
47. 前記カメラ部品に光を提供するために複数の光源が配置され、画像を撮るときに前記複数の光源の１つ以上が作動するようにコントローラーが個々の光源をオンオフするように構成されている、請求項３３から４６のいずれか１項に記載のシステム。
48. カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
    １以上の損傷指標に関する情報を取得するステップと、
    光源からの光が前記カメラ部品に入射したときに撮られた少なくとも１枚の画像を前記カメラから取得するステップと、
    前記画像を１以上の領域に分割するステップと、
    各領域を解析して、前記各領域が前記１以上の損傷指標のうち少なくとも１つを含んでいるかどうかを判定するステップと、
    該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
    を行う、および／または、
    前記カメラから、既知形状を有する光源の少なくとも１枚の画像であって、前記光源から結果として生じる撮像形状を具備する画像を取得するステップと、
    前記画像を解析するステップと、
    前記撮像形状が、前記カメラ部品が損傷していない場合および／または前記カメラ部品が損傷している場合に予想通りのものかどうかを判定するステップと、
    前記カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供するステップと、
    を行う方法。
49. 請求項４８に記載の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体。
50. カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、
    前記カメラに関連付けられたプロセッサ、または前記カメラと通信しているときの診断プロセッサによって動作可能な、請求項４９に記載の前記非一時的コンピュータ可読媒体を具備するシステム。

Images