JP2021501330A - Ｃｐｕ＋ｇｐｕ＋ｆｐｇａアーキテクチャに基づく自動光学検査システム - Google Patents

Ｃｐｕ＋ｇｐｕ＋ｆｐｇａアーキテクチャに基づく自動光学検査システム Download PDF

Info

Publication number
JP2021501330A
JP2021501330A JP2020540625A JP2020540625A JP2021501330A JP 2021501330 A JP2021501330 A JP 2021501330A JP 2020540625 A JP2020540625 A JP 2020540625A JP 2020540625 A JP2020540625 A JP 2020540625A JP 2021501330 A JP2021501330 A JP 2021501330A
Authority
JP
Japan
Prior art keywords
image
data
module
camera
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020540625A
Other languages
English (en)
Other versions
JP6867555B2 (ja
Inventor
沈亜非
欧昌東
▲どん▼標華
汪舟
梅林海
董文忠
唐文天
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Publication of JP2021501330A publication Critical patent/JP2021501330A/ja
Application granted granted Critical
Publication of JP6867555B2 publication Critical patent/JP6867555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2656—Instrumentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】 CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。【解決手段】 本システムは、画像記憶ユニット(1)と、画像演算ユニット(2)と、画像収集ユニット(3)を含む。画像記憶ユニット(1)は、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニット(2)は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニット(3)は、第３通信インタフェースおよびカメラインタフェースを含む。画像演算ユニット(2)は、第１光ファイバインタフェースによって、画像記憶ユニット(1)により送信された構成パラメータおよびテストコマンドを受信し、テスト結果を画像記憶ユニット（1）に送信し、第２光ファイバインタフェースによって画像収集ユニット（3）のデータを受信するとともに、構成パラメータとテストコマンドを画像収集ユニット（3）に送信し、第３光ファイバインタフェースによって画面照明信号の生成を制御し、第４光ファイバインタフェースによってIO光源を制御する。本システムには、シンプルな構造、低コスト、優れた安定性、優れた調整能力、高い演算処理能力といった利点を有する。【選択図】図１

Description

本発明は、自動光学検査の技術分野に関し、より詳細には、CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システムに関する。
自動光学検査(AOI)は、光学システム、機構制御システム、画面照明制御システム、ソフトウェア制御システム、画像処理システムなどを含む。従来のAOI機器は、画像収集カード＋PCに基づくものである。収集カードとPCには多くの種類があり、コストがかかり、調整が難しいため、システムの安定性が低く、拡張が不便であり、AOI装置を大規模モジュールの検査に使用することは困難であった。さらに、各TFT-LCD AOI機器メーカーは、１または２の分野での技術の蓄積と研究開発能力しか持っていない。そのため、AOI自動光学検査システムは、２〜３の供給先からの部品で構築されることが多く、通常、機器の画像処理アルゴリズムを習得するユニットが、装置全体の責任を負っている。一般的には、コンピュータネットワークによる分散制御方式を採用しており、すべての機器はLANでまとめられている。例えば、満足のいく生産ラインの検査TT（タクトタイム、検査される各ピースのタクトタイム）とするには、複数のコンピューターアレイが動作処理に加わり、コンピュータの数は通常10以上に達する。システム統合スキームは粗く、複雑で、コストが高く、不安定で、効率が悪く、期待した効果が得られず、拡張性がほとんどないため、パネル製造業者の間でますます不評になっている。
従来技術では、画面照明信号と画像収集および処理ユニットは、２つの異なる系統的スキームを含み、主制御ユニットは、画面照明信号と画像収集および処理ユニットを制御する必要があり、それにより、システムの操作効率が低下する。従来は、各画像収集カードに接続できるカメラは１台のみであった。現在、ほとんどの画像収集カードは、PCIEインタフェースを介してPCと通信する。１台のPCで同時にサポートできる収集カードの数は限られているため、多数の画像収集カードとPCが必要であり、マスターPCを配置してその操作を調整する。これにより、システムの複雑さと不安定さが増し、各PCの画像処理能力が低下する。さらに、現在のAOI検査装置では、画面照明信号、光源、AOI検査システムはすべて互いに独立している。画面照明信号の生成、光源、およびAOI検査システムの画像収集と処理の制御を調整するには、主制御ユニットが必要である。そのため、制御工程が複雑でタクトタイムが長い。
本発明の目的は、上述の課題を解決し、複数のカメラと同時に通信することができ、画面照明信号の生成、光源の制御、画像の演算と処理を包括的に調整することができるCPU＋GPU＋FPGAアーキテクチャに基づく自動光学検査装置を提供することである。
本発明は、画像記憶ユニット、画像演算ユニットおよび画像収集ユニットを含む、CPU＋GPU＋FPGAアーキテクチャに基づく自動光学検査デバイスを提供する。画像記憶ユニットは、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニットは、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニットは、第３通信インタフェースおよびカメラインタフェースを含む。
画像記憶ユニットは、第１通信インタフェースを介して構成パラメータおよびテストコマンドを画像演算ユニットに送信し、画像演算ユニットから送信されたテスト結果を受信し、第２通信インタフェースを介してデータを画像収集ユニットから受信するように構成される。
画像演算ユニットは、第１光ファイバインタフェースを介して、構成パラメータおよびテストコマンドを画像記憶ユニットから受信し、テスト結果を画像記憶ユニットに送信し、第２光ファイバインタフェースを介して、データを画像収集ユニットから受信し、構成パラメータおよびテストコマンドを画像収集ユニットへ送信し、第３光ファイバインタフェースを介して画面照明信号の生成を制御し、第４光ファイバインタフェースを介してIO光源を制御する。
画像収集ユニットは、第３通信インタフェースを介して、画像データを出力し、構成パラメータおよびテストコマンドを受信し、またカメラインタフェースを介して、カメラデータを受信し、構成パラメータおよびテストコマンドをカメラに送信するように構成される。
さらに、画像記憶ユニットは以下を含む。
ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、構成パラメータおよびテストコマンドを出力し、FPGA記憶プラットフォームからテスト結果を受信し報告するように構成されるマスターPC。
画像収集ユニットからのデータを受信し、可逆圧縮した後にディスクアレイに送信し、画像演算ユニットから送信されたテスト結果を受信および出力し、受信した構成パラメータを画像収集ユニットに出力し、記憶されたデータ内の画像データを検索するように構成されるFPGA記憶プラットフォーム。
データ記憶用のディスクアレイ。
また、FPGA記憶プラットフォームは、以下を含む。
マスターPCから構成パラメータを受信し、画像演算ユニットから受信したテスト結果をマスターPCにフィードバックするように構成されたデータインタラクションモジュール。
画像収集ユニットからの画像データを受信し、データ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集モジュールに送信し、画像演算ユニットから送信された結果テストを受信するように構成される画像データ受信／送信モジュール。
可逆圧縮後、ディスク記憶管理ユニットを介して、ディスクアレイに受信データを記憶するように構成されるデータ可逆圧縮モジュール。
ディスクアレイの記憶および読み出しを管理するように構成されるデータディスク記憶管理モジュール。
また、FPGA記憶プラットフォームは、以下を含む。
ディスクアレイの読み出しを制御するように構成される画像検索管理モジュール。
外部サーバと通信することにより検索データ交換およびデータ通信制御を行うように構成される第４通信インタフェースを含む画像データ交換制御モジュール。
さらに、画像演算ユニットは、FPGA演算プラットフォームおよび演算PCを含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォームに配置される。FPGA演算プラットフォームは、演算PCに接続された第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。
一態様において、FPGA演算プラットフォームは、中央コントローラ、画像処理アクセラレータ、データ収集送信モジュール、およびDDRメモリを含む。
中央コントローラは、設定された指示に従い、制御コマンドを演算PCおよび画像処理アクセラレータに送信するように構成される。
演算PCは、制御コマンドに従い、DDRメモリから画像データの一部を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
画像処理アクセラレータは、制御コマンドに従い、DDRメモリからの画像データの別の部分を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
データ収集送信モジュールは、演算PCおよび画像処理アクセラレータから演算結果を収集して最終テスト結果を形成し、テスト結果を画像記憶モジュールに送信するように構成される。
DDRメモリは、処理される画像データおよびテスト結果を記憶するように構成される。
一態様において、FPGA演算プラットフォームは、構成パラメータ受信モジュール、データ受信／パラメータ構成モジュール、信号拡張モジュール、およびIO制御モジュールをさらに含む。
構成パラメータ受信モジュールは、構成パラメータおよびテストコマンドを受信して中央コントローラに送信するように構成される。
中央コントローラは、受信した構成パラメータをデータ受信／パラメータ構成モジュールに送信し、受信したテストコマンドをデータ受信／パラメータ構成モジュール、IO制御モジュール、および信号拡張モジュールに割り当てるように構成される。
データ受信／パラメータ構成モジュールは、画像収集ユニットの画像データを受信してDDRメモリに記憶し、受信した構成パラメータおよびテストコマンドを画像収集ユニットに送信するように構成される。
信号拡張モジュールは、テストコマンドに従い、画面照明信号の生成を制御するように構成される。
IO制御モジュールは、テストコマンドに従い、IO光源を制御するように構成される。
一態様において、画像収集ユニットは、以下を含む。
カメラデータを受信し、プロトコルに従い有効画像データに解析し、有効画像データをRAW画像データとしてDDR物理メモリに記憶するように構成されるプロトコル解析モジュール。
RAW画像データおよび処理済画像データを記憶するように構成されるDDR物理メモリ。
主制御ユニットからの制御コマンドに従い、DDR物理メモリからRAW画像データを読み出し、RAW画像データを前処理し、前処理されたRAW画像データをDDR物理メモリに送信し、処理済画像データとして記憶するように構成される画質評価および前処理モジュール。
設定された指示に従い、画質評価および前処理モジュールおよび読み出しDDRデータ形式変換モジュールに制御コマンドを送信するように構成される主制御ユニット。
RAW画像データおよび／または処理済画像データを、主制御ユニットからの構成コマンドに従い、DDR物理メモリから読み出し高速インタフェースデータパケットモジュールに送信するように構成される読み出しDDRデータ形式変換モジュール。
受信したRAW画像データおよび／または処理済画像データを画像記憶ユニットおよび画像演算ユニットに送信するように構成される高速インタフェースデータパケットモジュール。
一態様において、画像収集ユニットは、自動位置焦点露出調整モジュールおよびカメラ構成モジュールをさらに含む。
高速インタフェースデータパケットモジュールは、主制御ユニットへの構成パラメータおよびテストコマンドを受信するように構成される。
プロトコル解析モジュールはまた、カメラデータを受信して、プロトコルに従い、有効画像データに解析し、有効画像データをDDR物理メモリに記憶し、カメラパラメータをカメラに送信するように構成される。
画質評価および前処理モジュールはまた、主制御ユニットからの制御コマンドに従い、カメラデータの画質を評価し、評価結果を主制御ユニットに送信するように構成される。
主制御ユニットはさらに、構成パラメータ、テストコマンド、および画質評価結果を自動位置焦点露出調整モジュールに送信するように構成される。
自動位置焦点露出調整モジュールは、構成パラメータおよび画質評価結果に従い、カメラパラメータをセットアップし、構成パラメータおよびテストコマンドをカメラ構成モジュールに送信するように構成される。
カメラ構成モジュールは、構成パラメータおよびテストコマンドをプロトコル解析モジュールに送信するように構成される。
一態様において、プロトコル解析モジュールは、Camera linkプロトコル解析モジュール、Gige Visionプロトコル解析モジュールおよびCLHSプロトコル解析モジュールを含む。カメラインタフェースは、複数のCamera linkインタフェース、複数のGigeインタフェース、および複数のCLHSインタフェースを含む。複数のCamera linkインタフェースはCamera linkプロトコル解析モジュールに接続され、複数のGigeインタフェースはGige Visionプロトコル解析モジュールに接続され、複数のCLHSインタフェースはCLHSプロトコル解析モジュールに接続される。
本発明の効果は次のとおりである。画像記憶ユニット、画像演算ユニット、画像収集ユニットが連携して、画像の記憶と検索、ヒューマンコンピュータインタラクション、主制御と表示、処理結果の分析と報告の機能を実現し、画面照明信号の生成、信号拡張、光源、画像収集、およびカメラパラメータ構成を包括的に制御する。タクトタイムが短い。ユニットは光ファイバによって互いに通信し、データ伝送速度が速い。画像演算ユニットは、カスケードすることにより演算能力を拡張することもできる。また、画像演算ユニットは、CPU+GPU+FPGAアーキテクチャを使用して、CPU+GPUユニットを十分に拡張し、GPUの処理能力を強化する。中央コントローラとしてFPGAを使用すると、処理されるデータは異なるGPU処理ユニットに分散され、分散処理アーキテクチャを形成する。さらに、FPGA自体が画像アクセラレーションプロセッサとして機能し、並列処理特性を最大限に活用して、画像分割とGPU+FPGAを調整し、画像処理の演算能力を効果的に向上させる。本装置は、さまざまなカメラインタフェースをサポートし、自動的な位置合わせ、焦点調整、露出パラメータ設定をサポートし、画質評価や画像前処理などの機能を備える。システム構成全体には、シンプルな構造、低コスト、優れた安定性、優れた調整能力、強力な演算処理能力という利点がある。
本発明の機能ブロック図である。 本発明のカメラ調整のフローチャートである。 本発明のテストのフローチャートである。 本発明の画像記憶ユニットの機能ブロック図である。 本発明の画像記憶ユニットのフローチャートである。 本発明の画像演算ユニットの機能ブロック図である。 本発明の画像演算ユニットのフローチャートである。 本発明の画像収集ユニットの機能ブロック図である。 本発明の画像収集ユニットのフローチャートである。
本発明を詳述する実施形態を、図面と合わせて以下に詳細に説明する。以下の実施形態は、本発明を説明することを意図するものであり、本発明を限定することを意図していないことに留意されたい。
図１に示すように、本発明は、画像記憶ユニット1、画像演算ユニット2および画像収集ユニット3を含む。画像記憶ユニット1は、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニット2は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニット3は、第３通信インタフェースおよびカメラインタフェースを含む。
画像記憶ユニット1は、ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、第１通信インタフェースを介して、構成パラメータおよびテストコマンドを画像演算ユニットに送信し、画像演算ユニットから送信されたテスト結果を受信し、報告するように構成される。画像記憶ユニットによって送信される構成パラメータには、パターン(Pattern)リスト、画面照明パラメータ、カメラパラメータ、検査パラメータなどが含まれる。また、第２通信インタフェースを介して画像収集ユニットからデータを受信するように構成される。
画像演算ユニット2は、第１光ファイバインタフェースを介して、画像記憶ユニットから構成パラメータおよびテストコマンドを受信し、テスト結果を画像記憶ユニットに送信し、第２光ファイバインタフェースを介して、画像収集ユニットからデータを受信し、構成パラメータとテストコマンドを画像収集ユニットに送信し、第３光ファイバインタフェースを介して画面照明信号の生成（信号拡張ユニット7を制御してモジュールを点灯）を制御し、第４光ファイバインタフェースを介してIO光源（対応する光源9（バックライトおよびサイドライト））を制御するように構成される。
画像収集ユニットは、第３通信インタフェースを介して画像データを出力し、構成パラメータおよびテストコマンドを受信し、カメラインタフェースを介してカメラデータを受信し、構成パラメータおよびテストコマンドをカメラに送信するように構成される。
本発明のシステムの動作中、図２に示すように、カメラの作動距離、焦点調整パラメータ、露出パラメータ、ゲインパラメータ、ホワイトバランスパラメータ、バックライト輝度が最初に調整され、以下を含む。
１）カメラおよびレンズパラメータ、パネル（Panel）パラメータ、パネル透過率パラメータ、バックライトパラメータなどを含む機器の初期化。
２）ヒューマンマシンインタフェースが開始するようコマンドを送信する。
３）画面パターンを白に設定する。
４）画面照明信号の生成およびモジュールが照明される。
５）カメラを作動させて写真を撮影する。
６）輝度、鮮明度、明瞭度、有効領域のサイズ、モアレパターンなどの画質を評価する。
７）画像がテスト基準を満たす場合、調整を終了させる。
８）画像がテスト基準を満たさない場合、評価結果に従い、カメラの作動距離、焦点調整パラメータ、およびバックライト輝度が調整される。
９）満足のいく画像が得られるまで、５）〜８）の操作を繰り返す。
本自動調整装置および構成では、カメラの調整を完了するのに数分しかかからない。従来の調整方法では通常、数時間または数日を要する。また、本発明の自動調整装置では、より一貫した画像を生成する。
調整に続いて、図３に示すように、テスト工程が実施される。
１）機器の初期化。
２）主制御ユニットがワンキー開始コマンドを設定する。
３）設定されたパターンシーケンスに従い、画面照明信号を生成し、画像を分割する。
４）設定された光源シーケンスに従い、異なる光源信号がIO制御端子を介して点灯される。
５）カメラの露出、ゲインおよびホワイトバランスパラメータを設定する。
６）カメラを作動させる。
７）カメラデータを受信する。
８）輝度補正、暗角補正、ROI領域の抽出および切り取り、背景抑制、モアレ除去、グレースケールストレッチなどを含む画像の前処理。
９）欠陥の検出、識別および判断を含む画像の後処理。
１０）ユーザのMCMQシステムへのデータ記憶部分の送信、およびPLC５を介するユーザのCIM6システムへの適時表示部分の送信を含む、テスト結果の報告。
１１）RAW画像データの圧縮および記憶。
上記において、図４に示すように、画像記憶ユニット1は、マスターパーソナルコンピュータ（PC）1.1、FPGA記憶プラットフォーム（FPGAに基づくメモリ処理ボード）1.2、およびディスクアレイ1.3を含む。FPGA記憶プラットフォーム1.3は、データインタラクションモジュール1.4、画像データ受信/送信モジュール1.6、データ可逆圧縮モジュール1.6、データディスク記憶管理モジュール1.7、画像検索管理モジュール1.8、および画像データ交換制御モジュール1.9を含む。画像記憶ユニットは画像の記憶と検索を担当する一方で、ヒューマンコンピュータインタラクション、主制御および表示、分析結果の処理と報告などの機能を備える。マスターPCとFPGA記憶プラットフォーム間のデータ通信およびインタラクションは、PCIEx8モードを介して実行される。第１通信インタフェースと第２通信インタフェースはどちらもFPGA記憶プラットフォームに配置される。つまり、FPGA記憶プラットフォームと画像演算ユニットおよび画像収集ユニットの間のデータ通信およびインタラクションは、光ファイバを介して行われ、ネットワーク接続に光ファイバを使用するので、画像の記憶や検索に便利である。
記憶ユニットは、主に、画像収集ユニットにより送信されたRAW画像データおよび／または処理済画像データを記憶するために使用される。画像演算ユニットの処理結果データはローカルサーバに記憶されず、ユーザのMCMQ4システムに直接アップロードされる。ローカル領域に記憶された画像が、後続のデータ分析および検索に使用されると、記憶スペース、記憶や検索の効率に対する要件がより高くなる。
画像記憶ユニットの各モジュールの機能は以下の通りである。
マスターPC1.1は、ヒューマンコンピュータインタラクションを通じてパラメータ構成を実行し、構成パラメータとテストコマンドを出力し、FPGA記憶プラットフォーム1.2からテスト結果を受信して報告し、ユーザのMCMQに接続し、テスト結果の欠陥データ、欠陥写真および検査結果XMLデータを報告する。
ディスクアレイ1.3は、データの記憶に使用される。
データインタラクションモジュール1.4は、マスターPCから構成パラメータを受信し、画像演算ユニットから受信したテスト結果をマスターPCにフィードバックするように構成される。
画像データ受信／送信モジュール1.5は、画像データを画像収集ユニットから受信してデータ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集モジュールに送信し、画像演算ユニットから送信された結果テストを受信するように構成される。
データ可逆圧縮モジュール1.6は、可逆圧縮後、ディスク記憶管理ユニットを介してディスクアレイに受信データを記憶するように構成される。データの可逆圧縮は、記憶スペースの使用率を大幅に改善し、検索帯域幅への圧力を軽減する。
データディスク記憶管理モジュール1.7は、ディスクアレイの記憶および読み出しを管理するように構成される。
画像検索管理モジュール1.8は、ディスクアレイの読み出しを制御するように構成される。
画像データ交換制御モジュール1.9は、第４通信インタフェースを含み、外部サーバと通信するように構成され、それにより、外部サーバからのコマンドの下で、検索データ交換およびデータ通信制御を達成する。検索時には、必要な画像データがローカルエリアから読み出され、光ファイバ交換ネットワークを通じて検索サーバに送信される。検索サーバは、可逆圧縮解除後の画像を使用できる。
図５に示すように、画像記憶ユニットのデータ処理手順は以下の通りである。
１）初期化
２）パラメータ構成。
３）ワンキーテストコマンドを送信する。
４）RAW画像データの受信を待つ。
５）RAW画像データを圧縮する。
６）圧縮されたRAW画像データを記憶する。
７）テスト結果の受信を待つ。
８）テスト結果を分析し、報告する。
９）終了。
上記において、図６に示すように、画像演算ユニット2は、FPGA演算プラットフォーム2.1（FPGAに基づく演算処理ボード）および演算PC2.2を含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォーム上に配置される。FPGA演算プラットフォームは、演算PCに接続される第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。FPGA演算プラットフォーム2.1は、データ受信/パラメータ構成モジュール2.3、書き込みDDRデータ形式変換モジュール2.4、信号拡張モジュール2.5、IO制御モジュール2.6、中央コントローラ2.7、画像処理アクセラレータ2.8、構成パラメータ受信モジュール2.9、構成レジスタ2.10、データ収集送信モジュール2.11、データ送信モジュール2.13、AXIバス相互接続モジュール2.14、DDRコントローラ2.15、およびDDRメモリ2.16を含む。演算PC2.2はCPUとGPUを含む。FPGA演算プラットフォームは、画像演算ユニットによる画像演算の高速化だけでなく、画面照明信号の生成、信号拡張、および光源の統合制御の機能も備える。FPGA演算プラットフォームは、12個のQSFP+光ファイバインタフェースと最大6台の演算PCを含む。複数の演算PCは、16個のインタフェースを持つKVM8機器を介して切り替え制御される。FPGA演算プラットフォーム、演算PC、画像記憶ユニット、画像収集ユニット、信号拡張ユニット7、IO制御ユニットはすべて、光ファイバを介して相互に通信、インタラクションを実行する。FPGA演算プラットフォームは、ファイバインタフェースを介したカスケード拡張をサポートし、演算処理能力を拡張する。FPGA演算プラットフォームと演算PC2.2のCPUおよびGPUは、CPU+GPU+FPGAアーキテクチャを形成し、画像データフローモードに従い、パイプライン(Pipeline)構造処理、FPGA画像前処理、CPU+GPU画像後処理を実行することにより、演算速度を大きく改善する。
画像演算ユニットの各モジュールの機能は以下の通りである。
演算PC2.2は、制御コマンドに従いDDRメモリから画像データの一部を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
データ受信／パラメータ構成モジュール2.3は、画像収集ユニットの画像データを受信して、書き込みDDRデータ形式変換モジュールにおいて変換後にDDRメモリに記憶し、受信した構成パラメータおよびテストコマンドを画像収集ユニットに送信するように構成される。
書き込みDDRデータ形式変換モジュール2.4は、受信したデータの形式を変換するように構成される。
信号拡張モジュール2.5は、テストコマンドに従い、画面照明信号を生成および制御するように構成される。
IO制御モジュール2.6は、テストコマンドに従いIO光源を制御するように構成される。
中央コントローラ2.7は、制御コマンドを演算PCおよび画像処理アクセラレータそれぞれに送信し、受信した構成パラメータをデータ受信／パラメータ構成モジュールに送信し、受信したテストコマンドをデータ受信／パラメータ構成モジュール、IO制御モジュールおよび信号拡張モジュールに割り当てるように構成される。
画像処理アクセラレータ2.8は、制御コマンドに従い、DDRメモリから画像データの別の部分を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
構成パラメータ受信モジュール2.9は、画像記憶ユニットの構成パラメータおよびテストコマンドを受信して中央コントローラに送信するように構成される。
構成レジスタ2.10は、レジスタを構成するように構成される。
データ収集送信モジュール2.11は、演算PCおよび画像処理アクセラレータから演算結果を収集して最終的なテスト結果を形成し、テスト結果を画像記憶ユニットに送信するように構成される。
読み出しDDRデータ形式変換モジュール2.12は、受信されたデータの形式を変換するように構成される。
データ送信モジュール2.13は、演算されるデータを演算PCに送信するように構成される。
AXIバス相互接続モジュール2.14は、中央コントローラの制御下で、画像データをDDRメモリに読み出しおよび書き込みするように構成される。
DDRコントローラ2.15は、画像データおよびテスト結果の読み出しおよび書き込みを制御するように構成される。
DDRメモリ2.16は、処理される画像データおよびテスト結果を記憶するように構成される。
図７に示すように、画像演算ユニットのデータ処理プロセスは以下の通りである。
１）初期化。
２）ワンキーテストコマンドを受信する。
３）処理されたパターンの数が、設定されたパターンの総数と等しいかどうかを判定する。等しい場合には、ワンキー処理テストが完了したと判断し、プロセスを終了する。
４）ワンキーテストが完了していない場合、パターンリストに従いモジュールを点灯させる。
５）パターンリストに従い光源を点灯させる。
６）カメラを作動させて画像を取り込む。
７）画像収集ユニットの画像データを受信し、トリガーの回数を判定するために戻る。
８）受信したデータを処理し、テストされたモジュールに欠陥があるかどうかを判定し、欠陥レベルを判断する。
９）テスト結果を報告する。
上記において、図８に示すように、画像収集ユニット3は、プロトコル解析モジュール3.1、有効データ抽出モジュール3.2、書き込みDDRデータ形式変換モジュール3.3、AXIバス相互接続3.4、DDR制御モジュール3.5、DDR物理メモリ3.6、画質評価および前処理モジュール3.7、主制御ユニット3.8、レジスタ構成モジュール3.9、読み出しDDRデータ形式変換モジュール3.10、高速インタフェースデータパケットモジュール3.11、自動位置焦点露出調整モジュール3.12およびカメラ構成モジュール3.13を含む。画像収集ユニットは、主制御ユニットとしてザイリンクス(Xilinx)SOCチップを使用し、8個のCameralinkインタフェース、8個のGigeインタフェース、4個のCLHSインタフェースと互換性があり、光ファイバインタフェースを介してFPGA演算プラットフォームと通信し、自己カスタマイズされたプロトコルに従いデータ通信を実行する。画像収集ユニットは、複数のカメラインタフェースや様々なカメラと互換性があり、自動位置合わせ、焦点調整、露出パラメータの自動設定、画質の評価、画像の一貫性の向上、（バックライトの輝度、パネルの透過率およびレンズの歪みに応じて）露出時間およびゲインの自動調整、輝度と暗角の修正を行うことにより、画質と一貫性を向上させる。画像収集ユニットは、輝度補正、暗角補正、ROI領域の抽出と切り取り、背景抑制、モアレ除去、グレースケールストレッチなどを含む、画像の前処理も実行する。
画像収集ユニット3の各モジュールの機能は以下の通りである。
プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールおよび書き込みDDRデータ形式変換モジュールによって処理され、RAW画像データとしてDDR物理メモリに送信される。プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールと書き込みDDRデータ形式変換モジュールにより処理されてDDR物理メモリに送信され、解析された画像データは、24ビット画像データとフレーム制御信号VS/HS/DEを含む。プロトコル解析モジュール3.1は、カメラ構成パラメータをカメラに送信するように構成される。
プロトコル解析モジュールは、Camera Linkプロトコル解析モジュール、Gige Visionプロトコル解析モジュールおよびCLHSプロトコル解析モジュールを含む。カメラインタフェースは、複数のCamera linkインタフェース、複数のGigeインタフェース、および複数のCLHSインタフェースを含む。複数のCamera linkインタフェースはCamera linkプロトコル解析モジュールに接続され、複数のGigeインタフェースはGige Visionプロトコル解析モジュールに接続され、複数のCLHSインタフェースはCLHSプロトコル解析モジュールに接続される。
有効データ抽出モジュール3.2は、主制御ユニットの構成パラメータに従い、有効画像データを抽出するように構成される。プロトコル解析モジュールから収集したデータは24ビットデータであり、有効データ抽出モジュール3.2は、主制御ユニットの構成に従い、有効データビットを抽出するように構成される。
書き込みDDRデータ形式変換モジュール3.3は、受信したデータを物理メモリに記憶し、カメラの有効画像データの形式をメモリのAXI4書き込みデータに変換するように構成される。
AXIバス相互接続3.4は、主制御ユニットの制御下で、画像データをDDR物理メモリに読み出し書き込むように構成される。
DDR制御モジュール3.5は、画像データの読み出しおよび書き込みを制御するように構成される。
DDR物理メモリ3.6は、RAW画像データおよび処理済画像データを記憶するように構成される。
画質評価および前処理モジュール3.7は、CPU制御コマンドに従いDDR物理メモリからRAW画像データを読み出し、RAW画像データを前処理し、前処理されたデータを処理済画像としてDDR物理メモリに送信する。画像の前処理には、暗角補正、輝度補正、AOI領域の抽出と切り取り、背景抑制、モアレ除去、グレースケールストレッチなどが含まれる。また、主制御ユニットの制御コマンドに従い、カメラデータの画質を評価し、評価結果を主制御ユニットに送信するように構成される。
主制御ユニット3.8は、設定された指示に従い、制御コマンドを画質評価および前処理モジュールおよび読み出しDDRデータ形式変換モジュールに送信し、構成パラメータ、テストコマンド、および評価結果を自動位置焦点露出調整モジュールに送信するように構成される。
レジスタ構成モジュール3.9は、対応するレジスタの構成を実行するように構成される。
読み出しDDRデータ形式変換モジュール3.10は、主制御ユニットの構成コマンドに従い、RAW画像データおよび／または処理済画像データをDDR物理メモリから読み出し、高速インタフェースデータパケットモジュールに送信するように構成される。
高速インタフェースデータパケットモジュール3.11は、受信したRAW画像データおよび／または処理済画像データを画像記憶ユニットおよび画像演算ユニットに送信し、構成パラメータおよびテストコマンドを受信して主制御ユニットに送信するように構成される。
自動位置焦点露出調整モジュール3.12は、構成パラメータおよび画質評価結果に従い、カメラパラメータをセットアップし、構成パラメータおよびテストコマンドをカメラ構成モジュールに送信するように構成される。
カメラ構成モジュール3.13は、構成パラメータおよびテストコマンドをプロトコル解析モジュールに送信するように構成される。
図９に示すように、画像演算ユニットのデータ処理手順は以下の通りである。
１）通電および初期化：機器の初期化、カメラの初期化、カメラの焦点調整など。
２）主制御ユニットの構成パラメータを受信する。パラメータは、カメラパラメータ、パネルサイズ、解像度、透過率情報、バックライト輝度、作業モードなどを含む。
３）主制御ユニットのトリガーコマンドを受信する。コマンドは、機器調整コマンドおよび写真撮影コマンドを含む。機器調整コマンドを受信すると、機器調整モードが機能し、写真撮影コマンドを受信すると、写真撮影モードが機能する。
４）カメラの作動距離、焦点調整パラメータ、露出パラメータ、ゲインパラメータ、ホワイトバランスパラメータ、バックライト輝度などの調整を含む機器調整モード。
ａ）写真撮影をするようにカメラを作動させる。
ｂ）画像評価して、特定の検査基準を満たすかどうかを判断する。
ｃ）検査基準を満たす場合、現在の調整パラメータを記録して終了する。
ｄ）検査基準を満たさない場合、構成パラメータに従って、カメラの作動距離、焦点距離、露出時間、ゲイン、およびホワイトバランスを調整する。撮影した画像が基準を満たすまで、上記の操作を繰り返す。
５）撮影モード
ａ）露出時間、ゲインおよびホワイトバランスを含むカメラパラメータを構成する。
ｂ）カメラを作動させる。
ｃ）カメラがデータを受信する。
ｄ）輝度補正、暗角補正、AOI領域の抽出および切り取り、背景抑制、モアレ除去などを含む画像前処理。
ｅ）DDRメモリからデータを読み出し、次の処理のために、光ファイバを介してデータをフロントエンドに送信する。
本発明の自動光学検査装置は、データの収集および処理のために最大20台のカメラを同時に管理でき、高解像度および大型パネルの自動検査システムの複雑さや圧縮画像の収集のタクトタイムを大幅に最適化するとともに、システムの安定性を向上させる。さらに、カメラは自動的な位置合わせ、焦点調整、画質検査の包括的な性質を備えており、カメラのオンサイト調整に非常に便利な画質管理を自動的に行う。独自に開発した画質評価システムは、カメラの調整を迅速に実現でき、画像の一貫性が良好となる。FPGA画像記憶管理システムは、画像記憶効率を向上させ、画像検索を容易にし、機械学習とインテリジェント検査に必要なソース画像を提供する。
CPU+GPU+FPGAのスター型ネットワーク並列高速演算システムは、GPUおよびFPGAの並列処理特性を十分に発揮し、システムの全体的な演算能力を改善する。データフローの方向に従い、画像の前処理はパイプライン(Pipeline)構造を使用してFPGA側で高速化され、画像の後処理はCPUおよびGPU側で実現される。高速システムにより、画像演算処理能力は50％以上向上する。
本明細書で詳述されていない内容は、当業者に既知の先行技術に属する。
1 画像記憶ユニット
1.1 マスターPC
1.2 FPGA記憶プラットフォーム
1.3 ディスクアレイ
1.4 データインタラクションモジュール
1.5 画像データ受信／送信モジュール
1.6 データ可逆圧縮モジュール
1.7 データディスク記憶管理モジュール
1.8 画像検索管理モジュール
1.9 画像データ交換制御モジュール
2 画像演算ユニット
2.1 FPGA演算プラットフォーム
2.2 演算PC
2.3 データ受信/パラメータ構成モジュール
2.4 書き込みDDRデータ形式変換モジュール
2.5 信号拡張モジュール
2.6 IO制御モジュール
2.7 中央コントローラ
2.8 画像処理アクセラレータ
2.9 構成パラメータ受信モジュール
2.10 構成レジスタ
2.11 データ収集送信モジュール
2.12 読み出しDDRデータ形式変換モジュール
2.13 データ送信モジュール
2.14 AXIバス相互接続モジュール
2.15 DDRコントローラ
2.16 DDRメモリ
3 画像収集ユニット
3.1 プロトコル解析モジュール
3.2 有効データ抽出モジュール
3.3 書き込みDDRデータ形式変換モジュール
3.4 AXIバス相互接続
3.5 DDR制御モジュール
3.6 DDR物理メモリ
3.7 画質評価および前処理モジュール
3.8 主制御ユニット
3.9 レジスタ構成モジュール
3.10 読み出しDDRデータ形式変換モジュール
3.11 高速インタフェースデータパケットモジュール
3.12 自動位置焦点露出調整モジュール
3.13 カメラ構成モジュール
4 ユーザのMCMQ
5 PLC
6 CIM
7 信号拡張ユニット
8 16ポートKVM
9 光源
画像収集ユニットからの画像データを受信し、データ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集ユニットに送信し、画像演算ユニットから送信された結果テストを受信するように構成される画像データ受信／送信モジュール。
データ収集送信モジュールは、演算PCおよび画像処理アクセラレータから演算結果を収集して最終テスト結果を形成し、テスト結果を画像記憶ユニットに送信するように構成される。
上記において、図４に示すように、画像記憶ユニット1は、マスターパーソナルコンピュータ（PC）1.1、FPGA記憶プラットフォーム（FPGAに基づくメモリ処理ボード）1.2、およびディスクアレイ1.3を含む。FPGA記憶プラットフォーム1.2は、データインタラクションモジュール1.4、画像データ受信/送信モジュール1.5、データ可逆圧縮モジュール1.6、データディスク記憶管理モジュール1.7、画像検索管理モジュール1.8、および画像データ交換制御モジュール1.9を含む。画像記憶ユニットは画像の記憶と検索を担当する一方で、ヒューマンコンピュータインタラクション、主制御および表示、分析結果の処理と報告などの機能を備える。マスターPCとFPGA記憶プラットフォーム間のデータ通信およびインタラクションは、PCIEx8モードを介して実行される。第１通信インタフェースと第２通信インタフェースはどちらもFPGA記憶プラットフォームに配置される。つまり、FPGA記憶プラットフォームと画像演算ユニットおよび画像収集ユニットの間のデータ通信およびインタラクションは、光ファイバを介して行われ、ネットワーク接続に光ファイバを使用するので、画像の記憶や検索に便利である。
上記において、図６に示すように、画像演算ユニット2は、FPGA演算プラットフォーム2.1（FPGAに基づく演算処理ボード）および演算PC2.2を含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォーム上に配置される。FPGA演算プラットフォームは、演算PCに接続される第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。FPGA演算プラットフォーム2.1は、データ受信/パラメータ構成モジュール2.3、書き込みDDRデータ形式変換モジュール2.4、信号拡張モジュール2.5、IO制御モジュール2.6、中央コントローラ2.7、画像処理アクセラレータ2.8、構成パラメータ受信モジュール2.9、構成レジスタ2.10、データ収集送信モジュール2.11、データ送信モジュール2.13、AXIバス相互接続モジュール2.14、DDRコントローラ2.15、およびDDRメモリ2.16を含む。演算PCはCPUとGPUを含む。FPGA演算プラットフォームは、画像演算ユニットによる画像演算の高速化だけでなく、画面照明信号の生成、信号拡張、および光源の統合制御の機能も備える。FPGA演算プラットフォームは、12個のQSFP+光ファイバインタフェースと最大6台の演算PCを含む。複数の演算PCは、16個のインタフェースを持つKVM8機器を介して切り替え制御される。FPGA演算プラットフォーム、演算PC、画像記憶ユニット、画像収集ユニット、信号拡張ユニット7、IO制御モジュールはすべて、光ファイバを介して相互に通信、インタラクションを実行する。FPGA演算プラットフォームは、ファイバインタフェースを介したカスケード拡張をサポートし、演算処理能力を拡張する。FPGA演算プラットフォームと演算PC2.2のCPUおよびGPUは、CPU+GPU+FPGAアーキテクチャを形成し、画像データフローモードに従い、パイプライン(Pipeline)構造処理、FPGA画像前処理、CPU+GPU画像後処理を実行することにより、演算速度を大きく改善する。
プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールおよび書き込みDDRデータ形式変換モジュールによって処理され、RAW画像データとしてDDR物理メモリに送信される。解析された画像データは、24ビット画像データとフレーム制御信号VS/HS/DEを含む。プロトコル解析モジュール3.1は、カメラ構成パラメータをカメラに送信するように構成される。

Claims (10)

  1. CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システムであって、前記システムは、画像記憶ユニットと、画像演算ユニットと、画像収集ユニットとを含み、前記画像記憶ユニットは、第１通信インタフェースと第２通信インタフェースを含み、前記画像演算ユニットは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースとを含み、前記画像収集ユニットは、第３通信インタフェースとカメラインタフェースとを含み、
    前記画像記憶ユニットは、前記第１通信インタフェースを介して、構成パラメータおよびテストコマンドを前記画像演算ユニットに送信し、前記画像演算ユニットから送信されたテスト結果を受信し、前記第２通信インタフェースを介して前記画像収集ユニットからデータを受信するように構成され、
    前記画像演算ユニットは、前記第１光ファイバインタフェースを介して、前記画像記憶ユニットから前記構成パラメータおよびテストコマンドを受信し、テスト結果を前記画像記憶ユニットに送信し、前記第２光ファイバインタフェースを介して前記画像収集ユニットからデータを受信し、前記構成パラメータおよびテストコマンドを前記画像収集ユニットへ送信し、前記第３光ファイバインタフェースを介して画面照明信号の生成を制御し、前記第４光ファイバインタフェースを介してIO光源を制御するように構成され、
    前記画像収集ユニットは、前記第３通信インタフェースを介して画像データを出力し、前記構成パラメータおよびテストコマンドを受信し、前記カメラインタフェースを介してカメラデータを受信し、前記構成パラメータおよびテストコマンドをカメラに送信するように構成される
    ことを特徴とするCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム
  2. 前記画像記憶ユニットは、
    ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、前記構成パラメータおよびテストコマンドを出力し、FPGA記憶プラットフォームからテスト結果を受信して報告するように設定されるマスターPCと、
    前記画像収集ユニットからデータを受信し、該受信データに可逆圧縮を行った後、該受信データをディスクアレイに送信し、前記画像演算ユニットから送信されたテスト結果を受信して出力し、受信した前記構成パラメータを前記画像収集ユニットに出力し、記憶されたデータ内で画像データを検索するように構成される前記FPGA記憶プラットフォームと、
    データ記憶用に構成される前記ディスクアレイと
    を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  3. 前記FPGA記憶プラットフォームは、
    前記マスターPCから前記構成パラメータを受信し、前記画像演算ユニットから受信したテスト結果を前記マスターPCにフィードバックするように構成されるデータインタラクションモジュールと、
    前記画像収集ユニットから前記画像データを受信してデータ可逆圧縮モジュールに出力し、前記構成パラメータを受信して前記画像収集モジュールに送信し、前記画像演算ユニットから送信されたテスト結果を受信するように構成される画像データ受信/送信モジュールと、
    前記受信したデータに可逆圧縮を実行した後、ディスク記憶管理ユニットを介して前記ディスクアレイに受信したデータを記憶するように構成されるデータ可逆圧縮モジュールと、
    前記ディスクアレイの記憶と読み出しを管理するように構成されるデータディスク記憶管理モジュールと
    を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  4. 前記FPGA記憶プラットフォームはさらに、
    ディスクアレイの読み出しを制御するように構成される画像検索管理モジュールと、
    外部サーバと通信するように構成されて、検索データ交換およびデータ通信制御を行うように構成される第４通信インタフェースを含む画像データ交換制御モジュールと
    を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  5. 前記画像演算ユニットは、FPGA演算プラットフォームおよび演算PCを含み、前記第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて前記FPGA演算プラットフォームに配置され、前記FPGA演算プラットフォームは、前記演算PCに接続された第５光ファイバインタフェースと、前記FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む
    請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  6. 前記FPGA演算プラットフォームは、中央コントローラと、画像処理アクセラレータと、データ収集送信モジュールと、DDRメモリとを含み、
    前記中央コントローラは、設定された指示に従い、制御コマンドを前記演算PCおよび画像処理アクセラレータに送信するように構成され、
    前記演算PCは、前記制御コマンドに従い、前記DDRメモリから画像データの一部を読み出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
    前記画像処理アクセラレータは、前記制御コマンドに従い、前記DDRメモリから前記画像データの別の部分を読み取出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
    前記データ収集送信モジュールは、前記演算PCおよび画像処理アクセラレータからの演算結果を収集して最終テスト結果を形成し、該テスト結果を前記画像記憶モジュールに送信するように構成され、
    前記DDRメモリは、処理される画像データおよび前記テスト結果を記憶するように構成される
    請求項１または５に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  7. 前記FPGA演算プラットフォームは、構成パラメータ受信モジュールと、データ受信／パラメータ構成モジュールと、信号拡張モジュールと、IO制御モジュールとをさらに含み、
    前記構成パラメータ受信モジュールは、前記構成パラメータおよびテストコマンドを受信して前記中央コントローラに送信するように構成され、
    前記中央コントローラは、受信した前記構成パラメータを前記データ受信/パラメータ構成モジュールに送信し、受信した前記テストコマンドを前記データ受信/パラメータ構成モジュールと、前記IO制御モジュールと、前記信号拡張モジュールに割り当てるように構成され、
    前記データ受信／パラメータ構成モジュールは、前記画像収集ユニットの画像データを受信して前記DDRメモリに記憶し、受信した前記構成パラメータおよびテストコマンドを前記画像収集ユニットに送信するように構成され、
    前記信号拡張モジュールは、前記テストコマンドに従い、前記画面照明信号の生成を制御するように構成され、
    前記IO制御モジュールは、前記テストコマンドに従い、前記IO光源を制御するように構成される
    請求項６に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  8. 前記画像収集ユニットは、
    前記カメラデータを受信し、プロトコルに従い、該カメラデータを有効画像データに解析し、該有効画像データをRAW画像データとしてDDR物理メモリに記憶するように構成されるプロトコル解析モジュールと、
    前記RAW画像データおよび処理済画像データを記憶するように構成されるDDR物理メモリと、
    主制御ユニットからの制御コマンドに従い、前記DDR物理メモリからRAW画像データを読み出し、該RAW画像データを前処理し、該前処理されたデータを処理済画像データとして前記DDR物理メモリに送信して記憶するように構成される画質評価および前処理モジュールと、
    設定された指示に従い、前記画質評価および前処理モジュールと読み出しDDRデータ形式変換モジュールに制御コマンドを送信するように構成される前記主制御ユニットと、
    前記主制御ユニットからの構成コマンドに従い、前記RAW画像データおよび/または処理済画像データを前記DDR物理メモリから読み出して高速インタフェースデータパケットモジュールに送信するように構成される読み出しDDRデータ形式変換モジュールと、
    受信した前記RAW画像データおよび／または処理済画像データを前記画像記憶ユニットおよび画像演算ユニットに送信するように構成される高速インタフェースデータパケットモジュールと
    を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  9. 前記画像収集ユニットは、自動位置焦点露出調整モジュールとカメラ構成モジュールをさらに含み、
    前記高速インタフェースデータパケットモジュールは、前記主制御ユニットへの構成パラメータおよびテストコマンドを受信するように構成され、
    前記プロトコル解析モジュールは、前記カメラデータを受信し、該カメラデータをプロトコルに基づき有効画像データに解析し、該有効画像データを前記DDR物理メモリに記憶し、カメラパラメータを前記カメラに送信するように構成され、
    前記画質評価および前処理モジュールは、前記主制御ユニットからの制御コマンドに従い、前記カメラデータの画質を評価し、評価結果を前記主制御ユニットに送信するように構成され、
    前記主制御ユニットはさらに、前記構成パラメータ、テストコマンド、および評価結果を前記自動位置焦点露出調整モジュールに送信するように構成され、
    前記自動位置焦点露出調整モジュールは、前記構成パラメータおよび評価結果に従い、カメラパラメータを設定し、前記構成パラメータおよび評価結果を前記カメラ構成モジュールに送信するように構成され、
    前記カメラ構成モジュールは、カメラ構成パラメータおよびテストコマンドを前記プロトコル解析モジュールに送信するように構成される
    請求項８に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
  10. 前記プロトコル解析モジュールは、Camera linkプロトコル解析モジュールと、Gige Visionプロトコル解析モジュールと、CLHSプロトコル解析モジュールとを含み、前記カメラインタフェースは、複数のCamera Linkインタフェースと、複数のGigeインタフェースと、複数のCLHSインタフェースを含み、前記複数のCamera Linkインタフェースは前記Camera linkプロトコル解析モジュールに接続され、前記複数のGigeインタフェースは前記Gige Visionプロトコル解析モジュールに接続され、前記複数のCLHSインタフェースは前記CLHSプロトコル解析モジュールに接続される、請求項８または９に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
JP2020540625A 2017-10-31 2018-08-24 Ｃｐｕ＋ｇｐｕ＋ｆｐｇａアーキテクチャに基づく自動光学検査システム Active JP6867555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711049462.2 2017-10-31
CN201711049462.2A CN107817216B (zh) 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统
PCT/CN2018/102154 WO2019085605A1 (zh) 2017-10-31 2018-08-24 一种基于cpu+gpu+fpga架构的自动光学检测系统

Publications (2)

Publication Number Publication Date
JP2021501330A true JP2021501330A (ja) 2021-01-14
JP6867555B2 JP6867555B2 (ja) 2021-04-28

Family

ID=61603472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540625A Active JP6867555B2 (ja) 2017-10-31 2018-08-24 Ｃｐｕ＋ｇｐｕ＋ｆｐｇａアーキテクチャに基づく自動光学検査システム

Country Status (6)

Country Link
US (1) US11080840B2 (ja)
JP (1) JP6867555B2 (ja)
KR (1) KR102243499B1 (ja)
CN (1) CN107817216B (ja)
TW (1) TWI713907B (ja)
WO (1) WO2019085605A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817216B (zh) 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN108804376B (zh) * 2018-06-14 2021-11-19 山东航天电子技术研究所 一种基于gpu和fpga的小型异构处理系统
CN109286749B (zh) * 2018-09-18 2020-12-08 中国科学院自动化研究所 高带宽图像采集、预处理和分发系统及图像处理系统
CN111402190B (zh) * 2018-12-28 2023-06-09 上海尤图智能科技有限公司 一种用于线材在线检测的图像处理装置和系统
TWI693386B (zh) * 2019-05-09 2020-05-11 聯策科技股份有限公司 取像參數最佳化調整系統與方法
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
CN112148470B (zh) * 2019-06-28 2022-11-04 富联精密电子(天津)有限公司 参数同步方法、计算机装置及可读存储介质
CN110766600B (zh) * 2019-12-26 2020-05-22 武汉精立电子技术有限公司 一种分布式架构的图像处理系统
TWI825289B (zh) * 2020-03-13 2023-12-11 竑騰科技股份有限公司 自動光學檢測設備的控制系統
CN111787315A (zh) * 2020-08-05 2020-10-16 昆山软龙格自动化技术有限公司 一种基于fpga的嵌入式高速运算网卡装置
CN112148670B (zh) * 2020-10-19 2023-12-19 北京大地信合信息技术有限公司 多功能业务板卡以及数据处理方法
CN112506720A (zh) * 2020-11-20 2021-03-16 苏州华兴源创科技股份有限公司 一种基于fpga的显示模组测试的驱动装置、系统及方法
CN112672142B (zh) * 2020-12-16 2022-04-15 长光卫星技术股份有限公司 一种反馈式图像质量补偿校正自动化判定系统及方法
CN112804443A (zh) * 2020-12-29 2021-05-14 中国科学院半导体研究所 图像处理方法及应用其的高速智能相机
CN113156855A (zh) * 2021-04-07 2021-07-23 杭州永谐科技有限公司成都分公司 一种微型数据采集处理系统
CN113472964B (zh) * 2021-06-05 2024-04-16 山东英信计算机技术有限公司 一种图像处理装置和系统
CN113865826B (zh) * 2021-08-31 2024-04-09 广东省威汇智能科技有限公司 一种显示屏模组检测装置以及检测系统
CN114363541B (zh) * 2021-11-15 2024-02-02 中国科学院西安光学精密机械研究所 一种用于立方体卫星的小型化cmos成像系统及方法
CN114726927B (zh) * 2021-11-30 2024-09-20 武汉卓目科技股份有限公司 一种Coaxpress高速图像接口与光纤传输接口的转换系统及方法
CN115509974B (zh) * 2022-08-03 2023-06-20 中勍科技股份有限公司 一种基于fpga光纤数据收发处理的方法
CN115942072B (zh) * 2022-11-21 2024-07-16 北京航空航天大学 一种双处理器架构下的任意曝光时长图像采集装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7385694B2 (en) * 2002-06-04 2008-06-10 Lockheed Martin Corporation Tribological debris analysis system
JP4616864B2 (ja) * 2007-06-20 2011-01-19 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置および画像処理評価システム
US8670031B2 (en) * 2009-09-22 2014-03-11 Cyberoptics Corporation High speed optical inspection system with camera array and compact, integrated illuminator
US8872912B2 (en) * 2009-09-22 2014-10-28 Cyberoptics Corporation High speed distributed optical sensor inspection system
US20120133920A1 (en) * 2009-09-22 2012-05-31 Skunes Timothy A High speed, high resolution, three dimensional printed circuit board inspection system
KR101597024B1 (ko) * 2014-03-25 2016-02-23 구충열 액정디스플레이 검사용 이미지패턴 업로딩장치와 그 방법
JP6543070B2 (ja) * 2015-04-01 2019-07-10 株式会社ニューフレアテクノロジー 検査方法および検査装置
CN105260339A (zh) * 2015-08-17 2016-01-20 中南大学 一种基于Xilinx Zynq技术的大规模PLC系统
CN105607312A (zh) * 2016-01-22 2016-05-25 武汉精测电子技术股份有限公司 用于lcd液晶模组缺陷检测的光学自动检测装置及方法
US10429321B2 (en) * 2016-08-29 2019-10-01 Kla-Tencor Corporation Apparatus for high-speed imaging sensor data transfer
CN107144992B (zh) * 2017-06-23 2020-07-10 武汉精测电子集团股份有限公司 基于aoi技术的全自动化lcd检测控制系统及方法
CN107273331A (zh) * 2017-06-30 2017-10-20 山东超越数控电子有限公司 一种基于cpu+gpu+fpga架构的异构计算系统和方法
CN107817216B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统

Also Published As

Publication number Publication date
TW201919000A (zh) 2019-05-16
JP6867555B2 (ja) 2021-04-28
KR102243499B1 (ko) 2021-04-21
KR20200080295A (ko) 2020-07-06
TWI713907B (zh) 2020-12-21
US20200258210A1 (en) 2020-08-13
CN107817216B (zh) 2020-06-02
CN107817216A (zh) 2018-03-20
WO2019085605A1 (zh) 2019-05-09
US11080840B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6867555B2 (ja) Ｃｐｕ＋ｇｐｕ＋ｆｐｇａアーキテクチャに基づく自動光学検査システム
KR102488410B1 (ko) 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법
CN102202171A (zh) 一种嵌入式高速多通道图像采集与存储系统
CN113034341B (zh) 一种用于Cameralink高速工业相机的数据采集处理电路
CN107830990A (zh) 一种基于fpga平台的自动光学检测系统
WO2022017197A1 (zh) 一种智能化的产品质量检测方法及装置
CN110958411A (zh) 一种基于fpga的图像采集控制方法及装置
CN111866500B (zh) 一种基于fpga和cpu、wifi 6的影像测试装置
CN111193873B (zh) 一种图像快速调光系统及方法
CN105959528B (zh) 工作场景切换方法、装置及测试设备
CN102223475A (zh) 身份证拍照终端设备
CN115766901A (zh) 一种图像传感器的数据传输设备及方法
CN212230036U (zh) 显示面板检测装置及系统
CN101697571B (zh) 一种小尺寸大视角的多边形成像方法及新型摄像装置
CN111787315A (zh) 一种基于fpga的嵌入式高速运算网卡装置
CN112184537A (zh) 异构计算架构摄像系统及图像处理方法
CN111986309A (zh) 基于三维扫描生成特种影片Pre-vis的系统和方法
CN104048968A (zh) 一种工业加工零件自动缺陷识别系统
CN113947721B (zh) 娱乐系统测试的图像校验方法及系统
CN211979381U (zh) 一种天文仪摄像光学系统
CN115396634A (zh) 一种基于FPGA的camerlink采集装置
CN210807463U (zh) 摄像机
CN107262393A (zh) 图像采集检测一体机及其图像采集检测方法、装置
CN104660853A (zh) 扫描仪及其成像方法
CN116634074A (zh) 对多路图像进行同步的方法、装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200721

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210408

R150 Certificate of patent or registration of utility model

Ref document number: 6867555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250