JP2021152886A - 眼科用レンズにおけるエッジ欠陥検出および他の欠陥を強化するためのコンピュータ実装プロセス - Google Patents

Abstract

【課題】コンタクトレンズにおけるエッジ検査の分類精度及び信頼性を高めるコンピュータ実装プロセスを提供する。【解決手段】プロセスは、高解像度画像を取得するステップと、レンズの円形エッジを抽出するステップと、円形エッジを水平エッジに変換するステップと、水平エッジ周囲の無関係な画素データを除去して画像サイズを減らすステップと、レンズのエッジを表す水平線を等しいサイズの重なり合う領域に分割するステップと、分割された領域を垂直に積み重ねて、深層学習モジュールに合うようにエッジの単一の積み重ねられた画像を形成するステップと、を有する。【選択図】図１

Description

本発明は特定の関連画素データを抽出し、無関係なデータを除去することによって、正確さおよび速度の点で画像分類プロセスの効率を高めることによって、コンタクトレンズの高解像度画像を達成および維持することに関連する。ニューラルネットワークを用いた検査システムの迅速な訓練を助け、自動化システムにおけるコンタクトレンズの検査中に訓練された意思決定モデルを適用する再配置および再構築画像を通して、効率の増加を達成した。

コンタクトレンズ欠陥検査システムおよび方法は、コストを下げながら効率を高める方向に進化し続けている。パターン認識、画像相関、ヒストグラム等化、ディザリングなどは、検査方法で一般的に使用される一般的な画像処理アルゴリズムのいくつかである。欠陥検査基準がより厳しくなるにつれて、時間を犠牲にして検査効率を改善するために、追加のアルゴリズムが実施される。全ての追加のアルゴリズムは、検査時間を増加させ、生産性を低下させる。ＣＰＵ速度、高度ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、高速メモリ等における技術的改善は画像処理速度の改善に役立ってきたが、高解像度カメラから取得される画像のサイズはますます大きくなり、生産性が低下するだけである。したがって、高精度および再現性を達成する検査プロセスを支援するために高解像度画像を再構成するソフトウェア方法を真剣に検討することが最も重要である。

ニューラルネットワークは、検査システムの品質および生産性を犠牲にすることなく、検査品質を改善するための新しい手段を提供する。しかしながら、画像サイズが著しく増大したので、重要な欠陥データの劣化につながる画素データを最小化するために、画像圧縮アルゴリズムが導入される。したがって、検査の品質が影響を受け、次のプロセスの効率が損なわれる。ニューラルネットワークは、中程度のサイズの画像に対してより効率的である。画像サイズの増大は、ニューラルネットワーク及び深層学習方法の性能に悪影響を及ぼす。

現在の技術は特に、高解像度画像を処理する際に、微小欠陥識別および特徴抽出が検査システムの基本的な要件である場合に、検査品質を損なうことなくソフトウェア方法を使用することに欠ける。

本発明は高性能ＣＰＵによってサポートされる高解像度カメラ、重要でない画素データを識別し廃棄し、欠陥（すなわち、エッジ）を検出するために重要な領域のみを保持することによって最適化された画像を分析し処理するためにＧＰＵによって補完される高速アクセスメモリを組み込むことによって、コンピュータ実装プロセスの使用を提唱する。コンピュータ実装プロセスは圧縮されないが、冗長画素データを最小限に抑えるために前処理され、非圧縮画像に平滑化技法を適用して欠陥候補を強調し、したがってより良好な検出を可能にする最適化画像を提供する。レンズ内の欠陥を識別する場合、高解像度画像は、特徴抽出および分類のためのいくつかのニューラルネットワークモジュールからなる深層学習モジュールによって、高速処理により適したいくつかの最適かつ所定のサイズの画像に分割される。レンズ内の欠陥識別の場合であっても、元の画像から画像を再配置または抽出するときに画像圧縮が適用されないことに留意することが重要である。

画像を縮小または再配置する利点の１つは、レンズのエッジを囲む冗長な画素を排除することである。続いて、速度及び精度の点で増強された欠陥検出のために、深層学習モジュールによって容易に処理される画像の所定のサイズに、同時に画像を分割する。

本発明の目的の１つは、画素データを圧縮または歪ませることなく、コンタクトレンズの円形エッジの高解像度かつ最適化された前処理画像を提供することである。

本発明の別の態様はコンタクトレンズの円形エッジを、画像のより高速な処理を補助する方法で再構成し、再配置することである。これは、円形コンタクトレンズのエッジを検出し、エッジをアンラップし、水平エッジに変換することによって達成される。画像は画像のサイズを最小限に抑えるために、エッジの周りの冗長画素データを削除することによって、さらに最適化される。

画素を水平および垂直エッジとして配置することの利点の１つは処理を改善し、これは画像をより高速に処理するためのアルゴリズムを助ける。すなわち、処理速度が大幅に向上する。アルゴリズムは、エッジ検出アルゴリズムであってもよい。

正方形画像を形成するように所定のサイズの画像（画像領域セグメント）を垂直に積み重ねることの別の利点は、正方形画像の長さおよび幅が同じであることである。例えば、正方形の画像をスキャンする場合、画素毎に、長方形の画像をスキャンするよりも少ない計算しか必要としないであろう。利点は計算の速度であり、計算の数を下回らないことである。例えば、矩形画像と比較して、正方形画像を処理する方が著しく高速である。

本発明の別の目的は互いに重なり合うより短い長さに分割される水平エッジをさらに再配置し、それらを互いに積み重ねて、任意のニューラルネットワークの入力層の要件に適合するすべてのエッジデータを有する正方形画像を生成し、正方形サイズを達成するために冗長な黒画素データで画像に当てることを回避することである。

本発明の別の目的は、機械学習のための検査システムの構成中にコンピュータ実装プロセスの訓練を支援するための分析モジュールのグループを作成することである。

本発明の別の目的は元の欠陥に類似したいくつかの新しい現実的な欠陥特徴を生成するために、分割された画像をさらに変換するために、生成敵対ネットワークアルゴリズムを適用することである。新たに生成された画像は機械学習のための検査システムの構成中に、コンピュータ実装プロセスの訓練をさらに強化するために利用される。

本発明の他の態様は、本発明の前述の態様のうちの１つまたは複数の様々な組合せ、ならびに以下の詳細な説明に見られるような、またはそれから導き出され得るような、本発明の様々な実施形態のうちの１つまたは複数の組合せを含む。本発明の前述の態様は、本発明の態様でもある対応するコンピュータ実装プロセスも有することを理解されたい。本発明の他の実施形態は本発明の特定の実施形態の以下の詳細な説明、および本発明によるシステムの説明および特定の実施形態の両方から、当業者によって導出され得ることも理解されるべきである。

本発明の特定の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および添付の図面に関してより良く理解されるのであろう。
本発明の実施形態のうちの１つを実施するために、コンタクトレンズ検査システムを訓練してコンタクトレンズのエッジの周りの欠陥を識別し、異なる基準でそれらを分類するステップを示すフローチャートである。 本発明の別の実施形態を実施するための、コンタクトレンズ検査システムを訓練し、コンタクトレンズ内の欠陥を識別し、異なる基準でそれらを分類するステップを示すフローチャートである。 コンタクトレンズエッジの画像の説明図である。 極座標変換後のコンタクトレンズエッジの画像の説明図である。 特定の順序で積み重ねられた、図２ａのエッジの抽出された領域の画像の図である。 レンズ内の欠陥検査に適したコンタクトレンズの高解像度画像のイメージ図である。 抽出される領域を識別した後の図４の画像の図である。 次のプロセスへの入力として使用される個々の重複領域を抽出した後の図５の画像の図である。

本発明の好ましい実施形態の以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定の実施形態を例示として示す添付の図面を参照する。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、構造的変更を行うことができることを理解されたい。

本発明によるシステムおよび方法の一般的なフローチャートを図１に示す。システム１０は、取得プロセス動作１２においてコンタクトレンズの高解像度画像を取得することによって始まる。次に、抽出プロセス動作１４において、取得された画像を処理してレンズ円形エッジを抽出する。抽出された円形エッジは次に、転置プロセス動作１６において水平画像に転置される。除去プロセス動作１８では、画像のサイズを最小化するために、水平エッジの周りの無関係な画素データが除去される。次に、分割プロセス動作２０において、水平エッジ画像は、いくつかの重なり合う画像に分割される。分割された一組の画像は他方の上方に順次積み重ねられて、積み重ねプロセスステップ２２での解析を容易にするために、コンタクトレンズエッジの高解像度画像を形成する。積み重ねプロセスステップ２２において再構成され再配置された画像は、その後、訓練および分析のための深層学習モジュールへの入力として使用できる。プロセスフローはステップ２４で終了する。

本発明によるシステムおよび方法の別の実施形態の一般的なフローチャートを図１ａに示す。システム３０は、取得プロセス動作３２においてコンタクトレンズの高解像度画像を取得することによって始まる。次いで、画像を処理して、位置決めプロセス動作３３においてレンズ円形エッジを位置決めする。正方形が描画プロセスステップ３４においてコンタクトレンズの円形エッジを密接に囲むように描かれる。レンズの円形エッジの所定領域外の画素データは、充填プロセスステップ３５で暗色画素で充填される。所定領域は、１６×１６〜１２８×１２８画素であってもよい。次いで、コンタクトレンズ画像は、プログラム可能な分割プロセス動作３６において、所定のサイズに分割され、重なり合う。所定のサイズは、等しいサイズであってもよい。代替的に、所定のサイズは、異なるサイズであってもよい。深層学習抽出プロセス動作３８では、画像内のマーキングされた領域が抽出され、別々に記憶され、訓練および分析のために深層学習モジュールへの入力として適用される。プロセスフローはステップ４０で終了する。

以上、本発明による一般的なシステムおよび方法について説明したが、次の段落では前述のプロセス動作の詳細を提供する。

図２は、図１のプロセスフローチャートの絵画的表現である。図２において、レンズ５０は、コンタクトレンズの高解像度画像を表す。図２において、欠陥５１は引裂き欠陥を表し、当業者が、以下に説明するレンズの円形エッジのアンラッピングの概念を理解できるように戦略的に配置されている。レンズ５０は図２ａに示すように、Ａ１−Ａ２から始まる水平画像にアンラップまたは転置される。この画像は、レンズ５０と、図２の黒色５１０に網掛けされた内側円との間の領域である。図２の外側円は図２ａの画素領域セグメント５００、５０２、５０４、５０６、および５０８によって示されるように、水平方向に転置される。画素領域は等しいサイズであってもよいし、異なる（しかし等しい）サイズを有していてもよい。図２ａの画像領域セグメント５００は図２ａに示すように、位置Ａ１〜Ａ２の前に始まり、画像領域セグメント５０２に重なる位置５２の後に終わる。図２ａの画像領域セグメント５０２は画像領域セグメント５００の位置５２の前で開始し、画像領域セグメント５０４に重なる位置５３の後で終了する。図２ａの画像領域セグメント５０４は画像領域セグメント５０２の位置５３の前で開始し、画像領域セグメント５０６に重なる位置５４の後で終了する。図２ａの画像領域セグメント５０６は画像領域セグメント５０４内の位置５４の前に始まり、画像領域セグメント５０８内に重なった位置５５の後に終わる。図２ａの画像領域セグメント５０８は画像領域セグメント５０６の位置５５の前で開始し、画像領域セグメント５００に重なり合う位置Ａ１〜Ａ２の後で終了する。隣接するセグメントにオーバーラップするこの方法の１つの利点は、画像のエッジの周りの領域が失われたり省略されたりしないことを保証する。図２ａに示すアンラップ画像における欠陥５１の位置に注目することが重要である。図３において、画像５８は画像領域セグメント５００、５０２、５０４、５０６、及び５０８を含み、画像領域セグメント５００、５０２、５０４、５０６、及び５０８は、オーバーラップのために垂直方向により大きな領域を包含する。画像領域セグメント５００、５０２、５０４、５０６、５０８は、図３に示すように順次上下に積み重ねられ、正方形の画像５８を形成する。各セグメントのセグメント数及び幅は、積み重ねられたときに正方形画像を生成するように自動的に計算される。画像５８の正方形の形状は、後続のプロセスステップによって決定されることに留意することが重要である。次のプロセスステップが異なる構成の画像形状またはサイズを必要とする場合、画像の配置中に、同じことが考慮される。図３の画像は、コンタクトレンズエッジの再構成された高解像度画像である。図３の画像は、入力画像として、迅速な訓練および分析を支援するニューラルネットワークからなる深層学習モジュールに適用されてもよい。再び、図３に示される積み重ねられた画像５８における引裂き欠陥５１の位置に注目することが重要である。

コンタクトレンズの画像を図４に示す。図４は、図１ａのプロセスフローチャートの絵表示である。図４において、６６は、正方形の画像６５内に封入されたコンタクトレンズの高解像度画像を表す。コンタクトレンズの外側のエッジをまず検出し、次に外側の境界を描き、続いて、外側の境界とレンズの外側のエッジとの間に暗い画素を埋める。レンズ６６の円形エッジおよび正方形６５によって囲まれる領域は、検査に重要ではないので、充填された暗色画素である。レンズエッジがエッジ検出アルゴリズムによって識別されると、図５のサイズＸ１、Ｙ１の図４におけるコンタクトレンズの高解像度画像は、互いに重なり合う複数の画像セグメントに分割される。画像は等しいサイズであってもよいし、異なるサイズであってもよい。画像セグメンテーションは、いくつかの方法で達成することができる。１つの方法は画像の境界を定義し、描画することであり、一旦境界が描画されると、画像全体のサイズを計算することができる。説明のために、サイズＸ１、Ｙ１の図５における高解像度画像は、６００、６０２、６０４、６０６、６０８、６１０、６１２、６１４、６１６の９つの等しい部分に分割される。分割された各画像は、好ましくはグラフィックス処理ユニットおよび深層学習ソフトウェアモジュールによる高速処理に適した特定のサイズである。分割された画像サイズＸ´、Ｙ´はニューラルネットワークを訓練する前に、欠陥特徴のより良好な分析および効率の向上に対応するように予め決定される。サイズＸ´、Ｙ´の典型的な分割画像を図６の７０に示す。

本発明のいくつかの実施形態をここで説明してきたが、上記は単に例示的なものであり、限定的なものではなく、単に例として提示されたものであることが当業者には明らかであろう。多数の修正および他の実施形態は当業者の範囲内であり、添付の特許請求の範囲およびそれと同等のものによって定義される本発明の範囲内に入ると考えられる。

Claims (10)

1. 少なくとも１つの高性能プロセッサと、高速アクセスメモリと、いくつかの並列グラフィック処理ユニットとを備え、ニューラルネットワークを用いてオブジェクト検出モデルを作成して検査能率を向上させるためのコンピュータ実装プロセスであって、
   オブジェクトの圧縮されていない高解像度画像と、
   画素データを圧縮することなく欠陥情報を強調するために平滑化アルゴリズムを適用することによって画像を前処理することと、
   前処理された画像をセグメント化し、グラフィック処理ユニットへの入力に最も適した正方形領域に再構成することによって次元正規化を実行することと、
   最適化された画像に深層学習アルゴリズムを適用して、各画像内の特徴情報を抽出し、機械学習および訓練を支援することと、
   ニューラルネットワークの適用によるいくつかのカテゴリの下で抽出され較正された特徴情報を分類することと、
   最適化されおよび圧縮されていない画像への生成敵対ネットワークの適用を通じて生成された新しい画像から抽出された特徴のカテゴリを再分類することと、
   非圧縮画像における微小欠陥検査のために画像内で検出され抽出された特徴の広範なデータベースを作成することと、
   ドメイン知識データベースと組み合わせたニューラルネットワークを活用し、新しいデバイスを高速かつ効率的に検査することと、を備える、コンピュータ実装プロセス。
2. 検査される欠陥に関連しない冗長データの除去をさらに含む、請求項１に記載のコンピュータ実装プロセス。
3. 前記ニューラルネットワークの精度を向上させるために、冗長データを除去し、それを暗色画素で置き換えることをさらに含む、請求項１に記載のコンピュータ実装プロセス。
4. 円形オブジェクトのエッジを抽出し、それをオーバーラップ領域で水平に転置して、円形オブジェクトのエッジを抽出して水平線にアンラップし、次に、２つの隣接するエッジを結合するときに画素情報を失わないように、オーバーラップ領域を有する複数のセグメントにこの線を分割することをさらに含む、請求項１に記載のコンピュータ実装プロセス。
5. さらなる分析のため正規化された正方形画像を作成するために、各水平領域を上下に積み重ねるプロセスをさらに含む、請求項４に記載のコンピュータ実装プロセス。
6. 前記画像は、任意の所与の時間におけるプロセスステップに応じて、前記オブジェクトの訓練、分析、または検査のための深層学習モジュールを使用して処理される、請求項５に記載のコンピュータ実装プロセス。
7. 円形オブジェクトの輪郭をトレースし、円形領域を、グラフィック処理ユニットへの入力のために最適化されたいくつかの重なり合う正方形に分割することをさらに含む、請求項１に記載のコンピュータ実装プロセス。
8. 重なり合う前記正方形領域を抽出し、前記円形エッジの外側の全ての冗長画素をブラック画素で埋める処理が、精度を向上させるために実行される、請求項７に記載のコンピュータ実現プロセス。
9. 前記抽出された特徴および欠陥の特性を分析し、分類する処理は、蓄積された領域知識データベースの効率をさらに向上させるために実行される、請求項８に記載のコンピュータ実装プロセス。
10. 新しいオブジェクトの欠陥検査は高精度および再現性を高速で達成するために、深層学習モジュールを介して構築された領域知識を使用して製造中に実行される、請求項９に記載のコンピュータ実装プロセス。

Images