JP2022539912A - 電子デバイスバックプレーン外観瑕疵検査方法及び装置 - Google Patents

Abstract

【課題】例えば携帯電話のような中古電子デバイスのバックプレーン外観の瑕疵差異を正確に識別することができる電子デバイスバックプレーン外観瑕疵検査方法及び装置を提供する。【解決手段】電子デバイスの外観画像を取得し、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことにより、例えば携帯電話である中古電子デバイスのような電子デバイスのバックプレーン外観の瑕疵差異を正確に識別する。【選択図】図１

Description

本発明は、コンピューター分野に関し、特に、電子デバイスバックプレーン外観瑕疵検査方法及び装置に関する。

現在、例えば、携帯電話等のような中古の電子デバイスのバックプレーン外観の欠陥検査において、伝統的な画像アルゴリズムに基づき、色空間変換、ろ波、特徴点抽出、パターンマッチングにより検査を行い、伝統的な検査方法によれば、あるエリアに欠陥を検査することができるが、欠陥の定義に対して区別することができない。

本発明が解決しようとする課題は、上述したように例えば、携帯電話等のような中古の電子デバイスのバックプレーン外観の欠陥検査において、伝統的な画像アルゴリズムに基づき、色空間変換、ろ波、特徴点抽出、パターンマッチングにより検査を行い、伝統的な検査方法によれば、あるエリアに欠陥を検査することができるが、欠陥の定義に対して区別することができないことを解決するする方法及び装置を提供する。

本発明の一目的は、電子デバイスバックプレーン外観瑕疵検査方法及び装置を提供することにある。

本発明の一方によれば、電子デバイスバックプレーン外観瑕疵検査方法を提供する。この方法は、
電子デバイスの外観画像を取得するステップと、
前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整するステップと、
調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップと、を含む。

さらに、上述した方法において、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出するステップは、
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することを含む。
さらに、上述した方法において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
さらに、上述した方法において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信された後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力することとを含む。
さらに、上述した方法において、前記バックプレーン外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、

ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果の間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、
前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、を含む。

さらに、上述した方法において、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整するステップは、
前記バックプレーン外観エリア画像の長さ方向を拡大縮小することを含む。
本発明の他方によれば、電子デバイスバックプレーン外観瑕疵検査装置がさらに提供される。この装置は、
電子デバイスの外観画像を取得することに用いられる第１の装置と、
前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整する第２の装置と、
調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する第３の装置と、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信することに用いられ、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第４の装置と、を含む。

さらに、上述した装置において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することに用いられる。
さらに、上述した装置において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
さらに、上述した装置において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力することに用いられる。

さらに、上述した装置において、さらに第５の装置を含み、前記第５の装置は、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる第５１の装置と、
サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得することに用いられ、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第５２の装置と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる第５３の装置と、
第５４の装置であって、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改め第５２の装置から実行することに用いられる第５４の装置と、
第５５の装置であって、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いることに用いられる第５５の装置と、を含む。
さらに、上述した装置において、前記第２の装置は、前記バックプレーン外観エリア画像の長さ方向を拡大縮小することに用いられる。
本発明により、算出に基づく装置がさらに提供される。前記装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、
調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

本発明により、コンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体がさらに提供される。このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、
調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

従来の技術に比べて、本発明は、電子デバイスの外観画像を取得し、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことにより、例えば携帯電話である中古電子デバイスのような電子デバイスのバックプレーン外観の瑕疵差異を正確に識別することができる。

以下の図面を参照して作成した非制限的実施例に対する詳細な記述を閲読することにより、本発明のその他の特徴、目的及びメリットは明らかになる。
本発明の一実施例による電子デバイスバックプレーン外観瑕疵検査方法を示すフローチャートである。 本発明の一実施例による瑕疵検査結果を示す図である。 本発明の一実施例によるＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを示す図である。

図面において、同じまたは類似する図面符号は同じまたは類似する部品を示す。

以下、図面を参照しながら、本発明を詳細に説明する。
本願の典型的な機器構成において、端末、サーバー及び信頼できる第３の者機関はいずれも１つまたは複数のプロセッサー（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース及びメモリを含む。

メモリは、コンピューター可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は例えば、リードオンリメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）のような不揮発性メモリ等を含む。メモリはコンピューター可読媒体の一例である。

コンピューター可読媒体は不揮発性と揮発性、可搬型と据え置き型媒体を含み、あらゆる方法や技術により情報格納を実現することができる。情報は、コンピューター可読コマンド、データ構造、プログラムのモジュールまたはその他のデータである。コンピューターの記憶媒体の例として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）またはその他の光学記憶装置、カセットテープ、磁気ディスクまたはその他の磁気記憶装置または、演算装置がアクセスする情報を格納することに用いられるあらゆるその他の非伝送媒体を含むが、これらに限られない。本明細書の限定によれば、例えば、変調のデータ信号及び搬送波のようなコンピューター可読媒体は一時的記憶コンピューター可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。

本発明により提供される電子デバイスバックプレーン外観瑕疵検査方法は下記のステップＳ１～Ｓ４を含む。
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整する。

ここで、電子デバイスのバックプレーン外観エリアは、電子デバイスにおける前面スクリーンエリアと側面エリアを除いた背面エリアを含む。この背面エリアは、一般的には、カメラなどの部品が取り付けられる。

バックプレーン外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、バックプレーン外観エリア画像のアスペクト比を１：１に調整する。
ステップＳ３において、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルは図３に示す。
ここで、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、図２に示すように、それぞれの瑕疵検査結果はｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はバックプレーン外観エリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。

本発明は主に、改進した特徴ピラミッド（ＦＰＮ）ネットワーク結合ｂａｃｋｂｏｎｅネットワークのディープラーニングモデルを利用し、例えば、携帯電話のような中古電子デバイスのバックプレーン外観の瑕疵差異を正確に識別でき、瑕疵種類を正確に区別できる。
本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、ステップＳ２では、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出する。

ここで、Ｕｎｅｔ実例分割により、バックプレーン外観エリア画像を素早く取得できる。
本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、ステップＳ４では、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信した後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、
前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力する。

ここで、電子デバイスバックプレーンの瑕疵種類は、割れ目、バックプレーンとスクリーン分離、変形、断裂欠落、大面積ペンキ剥がれ、小面積ペンキ剥がれ（変形、凹みに色が露出）、凹んで色が不変、傷跡が深くて色が周りと異なること、小点であって色が周りと異なること、断裂などを含む。

本実施例は前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、ステップＳ３では、前記バックプレーン外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、以下のステップ１～５を含む。
ステップ１において、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定する。

ステップ２において、サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

ステップ３において、予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別する。
前記差は第２の予め設定された閾値より大きい場合、ステップ４において、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行する。
前記差は第２の予め設定された閾値の以下である場合、ステップ５において、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。

ここで、前記差は第２の予め設定された閾値より大きいかを識別することにより、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを循環してトレーニングし、信頼できるモデルを取得することができる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記バックプレーン外観エリア画像を長さと幅が同じ画像に調整し、
前記バックプレーン外観エリア画像の長さ方向を拡大縮小する。

ここで、２０４８×２０４８のピクセルサイズとなるようにバックプレーン外観エリア画像を拡大縮小することで、前記バックプレーン外観エリア画像を長さと幅が同じの画像にする。
本発明により提供される電子デバイスバックプレーン外観瑕疵検査装置は、以下の第１～第４の装置を含む。

第１の装置は、電子デバイスの外観画像を取得することに用いられる。
第２の装置は、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整することに用いられる。
ここで、電子デバイスのバックプレーン外観エリアは、電子デバイスにおける前面スクリーンエリアと背面エリアを除いた側面エリアを含む。この側面エリアは、一般的には、イヤホンジャック、スピーカー、充電差込口などの部品が取り付けられる。

バックプレーン外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、バックプレーン外観エリア画像のアスペクト比を１：１に調整する。

第３の装置は、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することに用いられる。

第４の装置は、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信することに用いられる。前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

ここで、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、それぞれの瑕疵検査結果はｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はバックプレーン外観エリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。

本発明は主に、改進した特徴ピラミッド（ＦＰＮ）ネットワーク結合ｂａｃｋｂｏｎｅネットワークのディープラーニングモデルを利用し、例えば、携帯電話のような中古電子デバイスのバックプレーン外観差異を正確に識別できる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することに用いられる。

ここで、Ｕｎｅｔ実例分割により、バックプレーン外観エリア画像を素早く取得できる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することに用いられる。前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力する。
ここで、電子デバイスバックプレーンの瑕疵種類はレベルが上がる浅い傷、深い傷及び断裂を含む。

本実施例は、前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。
本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、さらに第５の装置を含む。前記第５の装置は以下の第５１～５５の装置を含む。

第５１の装置は、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる。

第５２の装置は、サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

第５３の装置は、予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる。

第５４の装置は、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めて第５２の装置から実行する。

第５５の装置は、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。
ここで、前記差は第２の予め設定された閾値より大きいかを識別することにより、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを循環してトレーニングし、信頼できるモデルを取得することができる。

本発明の電子デバイスバックプレーン外観瑕疵検査方法による一実施例において、前記第２の装置は、前記バックプレーン外観エリア画像の長さ方向を拡大縮小することに用いられる。
ここで、２０４８×２０４８のピクセルサイズとなるようにバックプレーン外観エリア画像を拡大縮小することで、前記バックプレーン外観エリア画像を長さと幅が同じの画像にする。

本発明は算出に基づく装置をさらに提供する。この装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含む。前記実行できるコマンドが実行されるとき、前記プロセッサーは以下のステップＳ１～Ｓ４を実行する。
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

本発明はコンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体をさらに提供する。このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、以下のステップＳ１～Ｓ４を実行する。

ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
本発明の各装置及び記憶媒体実施例の詳細内容は、具体的には、各方法実施例の対応部分を参照し、ここで、重複の記述は不要である。

明らかに、当業者は、本願の精神及び範囲から逸脱しない限り、本願に対して様々な変更や変形を行うことができる。このため、本願のこれらの変更や変形は本願の特許請求の範囲及びその同等技術の範囲内に属し、本願はこれらの変更や変形を含む。

本発明はソフトウェア及び／又はソフトウェアとハードウェアの組み合わせで実施され、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用コンピューターまたはあらゆるその他の類似ハードウェア装置により実現されてもよい。一実施例において、本発明のソフトウェアプログラムはプロセッサーにより実行され、前記ステップまたは機能を実現する。同様に、本発明のソフトウェアプログラム（関連するデータ構造を含む）は、例えば、ＲＡＭメモリ、磁気または光学ドライバまたはフロッピーディスク及び類似装置のようなコンピューター可読記録媒体に格納される。また、本発明のあるステップまたは機能は、例えば、プロセッサーと組み合わせてそれぞれのステップまたは機能を実現する回路のようなハードウェアにより実現されてもよい。

また、本発明の一部は、例えばコンピュータープログラムコマンドのようなコンピュータープログラム製品として応用されることができる。コンピューターにより実行されるとき、このコンピューターの操作により、本発明による方法及び／又は技術的方案を呼出または提供してもよい。本発明の方法によるプログラムを呼出するコマンドは、据え置き型または可搬型の記録媒体に格納され、及び／又は放送またはその他の信号搬送媒体におけるデータフローにより伝送され、及び／又は前記プログラムコマンドにより実行されるコンピューター装置の作業メモリに格納されてもよい。ここで、本発明による実施例は、装置を含む。この装置は、コンピュータープログラムコマンドを格納するためのメモリ及びプログラムコマンドを実行するためのプロセッサーを含む。このコンピュータープログラムコマンドがこのプロセッサーにより実行されるとき、この装置に本発明による複数の実施例の方法及び／又は技術的方案を実行させる。

当業者にとって、本発明は例示的実施例の細部に限られなく、本発明の精神または基本特徴から逸脱しない限り、その他の具体的な形態により本発明を実現する。このため、いずれかの点から見ても、実施例を例示的なものと見なし、非制限的なものと見なす。本発明の範囲は特許請求の範囲により制限されるが、上記記述により制限されるものではないので、特許請求の範囲の同等要素の定義及び範囲内に落ちるすべての変化は本発明内に含まれる。特許請求の範囲におけるいずれかの図面符号は特許請求の範囲を制限するものではない。また、「含む」はその他のユニットまたはステップを排除しなく、単数は複数を排除しない。装置の特許請求の範囲に記述される複数のユニットまたは装置は１つのユニットまたは装置で、ソフトウェアまたはハードウェアにより実現される。「第１の」、「第２の」などの用語は、名称を示すが、特定の順序を示すものではない。

Claims (14)

1. 電子デバイスの外観画像を取得することと、
   前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整することと、
   調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することと、
   前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことと、
   を含むことを特徴とする電子デバイスバックプレーン外観瑕疵検査方法。
2. 前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することは、
   Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することを含むことを特徴とする請求項１に記載の方法。
3. 前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いることを特徴とする請求項１に記載の方法。
4. 前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果が受信された後、さらに、
   前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
   前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力することと、
   を含むことを特徴とする請求項１に記載の方法。
5. 前記バックプレーン外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、
   ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
   サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
   予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果の間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、
   前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
   前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、
   を含むことを特徴とする請求項１に記載の方法。
6. 前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整することは、
   前記バックプレーン外観エリア画像の長さ方向を拡大縮小することを含むことを特徴とする請求項１に記載の方法。
7. 電子デバイスの外観画像を取得することに用いられる第１の装置と、
   前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整する第２の装置と、
   調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する第３の装置と、
   前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信することに用いられ、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第４の装置と、
   を含むことを特徴とする電子デバイスバックプレーン外観瑕疵検査装置。
8. 前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出することに用いられることを特徴とする請求項７に記載の装置。
9. 前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いることを特徴とする請求項７に記載の装置。
10. 前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、前記第１の予め設定された閾値より大きい場合、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置を含む結果情報を出力することに用いられることを特徴とする請求項７に記載の装置。
11. さらに第５の装置を含み、前記第５の装置は、
    ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる第５１の装置と、
    サンプル電子デバイスのバックプレーン外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのバックプレーンの瑕疵予測結果を取得することに用いられ、前記瑕疵予測結果は、サンプル電子デバイスのバックプレーンの瑕疵種類、サンプル電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第５２の装置と、
    予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる第５３の装置と、
    第５４の装置であって、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改め第５２の装置から実行することに用いられる第５４の装置と、
    第５５の装置であって、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いることに用いられる第５５の装置と、
    を含むことを特徴とする請求項７に記載の装置。
12. 前記第２の装置は、前記バックプレーン外観エリア画像の長さ方向を拡大縮小することに用いられることを特徴とする請求項７に記載の装置。
13. 算出に基づく装置であって、
    プロセッサーと、
    コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、
    電子デバイスの外観画像を取得し、
    前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、
    調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
    前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む
    ことを特徴とする装置。
14. コンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体であって、このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、
    電子デバイスの外観画像を取得し、
    前記電子デバイスの外観画像からこの電子デバイスのバックプレーン外観エリア画像を抽出し、前記バックプレーン外観エリア画像を長さと幅が同じの画像に調整し、
    調整後のバックプレーン外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
    前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのバックプレーン外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのバックプレーンの瑕疵種類、電子デバイスのバックプレーンにおける瑕疵位置及び瑕疵検査結果の信頼度を含む
    ことを特徴とするコンピューター可読記憶媒体。

Images