DE102012219401A1 - System, Vorrichtung und Verfahren zum Unterstützen eines Vorgangs zur Sichtkontrolle eines Prüfergebnisses - Google Patents

System, Vorrichtung und Verfahren zum Unterstützen eines Vorgangs zur Sichtkontrolle eines Prüfergebnisses Download PDF

Info

Publication number
DE102012219401A1
DE102012219401A1 DE102012219401A DE102012219401A DE102012219401A1 DE 102012219401 A1 DE102012219401 A1 DE 102012219401A1 DE 102012219401 A DE102012219401 A DE 102012219401A DE 102012219401 A DE102012219401 A DE 102012219401A DE 102012219401 A1 DE102012219401 A1 DE 102012219401A1
Authority
DE
Germany
Prior art keywords
image
area
data
inspection
control object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102012219401A
Other languages
English (en)
Inventor
Akihiro Kawata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE102012219401A1 publication Critical patent/DE102012219401A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Abstract

AUFGABE: Eine Unterstützung durchzuführen, die in der Lage ist auf einfache Weise einen Kontrollobjektbereich zu spezifizieren. LÖSUNG: Bezüglich eines Objekts (einer Leiterplatte), an der eine automatische Prüfung eines Erscheinungsbildes durchgeführt wird, wird ein bei der Prüfung benutztes Bild gespeichert; Messdaten, die durch die Messverarbeitung bei der Prüfung erhalten werden, werden verknüpft mit Positionsdaten eines Messobjektbereichs gespeichert, und unter Verwendung dieser gespeicherten Daten wird ein Bild zum Unterstützen eines Vorgangs zur Sichtkontrolle eines realen Zustands eines spezifischen Prüfobjektbereichs (Bauelement 100) angezeigt. Dieses Bild entspricht einem Gebiet, das äquivalent zu einem Teil der Leiterplatte ist und das Kontrollobjekt-Bauelement 100 umfasst. Für das Kontrollobjekt-Bauelement 100 im Bild wird eine Markierung durch einen Rahmen UW und Linien L1 und L2 implementiert. Weiterhin werden Merkmalbereiche (Bauelemente 101, 102, 103 und dergleichen), die visuell erkennbar sind und intrinsische Merkmale aufweisen, derart extrahiert, dass sie einen Randbereich des Kontrollobjekt-Bauelements 100 umgeben, und derart markiert (roter Rahmen RW), dass sie sich von dem Kontrollobjekt-Bauelement 100 unterscheiden.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft ein System zum Unterstützen eines Vorgangs zum Kontrollieren eines Prüfergebnisses, das durch eine automatische Prüfung eines Erscheinungsbildes anhand eines Bildes erlangt wurde, durch visuelles Erkennen eines realen Prüfobjekts, und sie betrifft eine Vorrichtung für die Unterstützung sowie ein Verfahren für die Unterstützung.
  • TECHNISCHER HINTERGRUND
  • An Produktionsstätten für mit Bauelementen bestückte Leiterplatten wird das Vorhandensein der Bauelemente, ein Zustand der Lotfüllungen und dergleichen von einer Vorrichtung zur automatischen Prüfung des Erscheinungsbilds geprüft; anschließend führt ein Bediener eine abschließende Sichtprüfung der als defekt ermittelten Bauelemente durch. Außerdem kann der Bediener unter den als defekt definierten Bauelementen Bauelemente, die als korrigierbar ermittelt wurden, korrigieren, während er ihren Zustand prüft.
  • Ein herkömmliches Beispiel für eine Vorrichtung, die einen solchen Vorgang des visuellen Erkennens defekter Stellen durchführt, ist eine Vorrichtung, bei welcher oberhalb eines Tisches, der die einzelnen Leiterplatten als Prüfobjekte trägt, ein Vergrößerungsglas angeordnet ist. Im Hinblick auf diese Vorrichtung beschreibt beispielsweise in Patentdokument Nr. 1, dass durch Erfassen von Positionsdaten der als defekt ermittelten Stelle von der Erscheinungsbildprüfvorrichtung und Steuern einer Bewegung des Tischs auf Grundlage dieser Positionsdaten eine als defekt ermittelte Stelle in der Mitte eines Sichtfelds des Vergrößerungsglases angeordnet wird.
  • Patentdokument Nr. 2 offenbart eine Vorrichtung für einen Vorgang zur Korrektur einer fehlerhaften Lötstelle, wobei die Vorrichtung ein Vergrößerungsglas, einen XY-Tisch, eine Laserlichtquelle und dergleichen aufweist. Bei dieser Vorrichtung wird das Sichtfeld des Vergrößerungsglases mit einem Laserstrahl bestrahlt, und die defekte Stelle wird auf Grundlage von Positionsdaten der defekten Stelle, die von einer Lötprüfvorrichtung bezogen werden, mit einer durch den Laserstrahl bestrahlten Position ausgerichtet, wodurch explizit auf eine defekte Stelle hingewiesen wird.
  • STAND DER TECHNIK
  • PATENTDOKUMENTE
    • Patentdokument 1: Japanische Patentanmeldung JP 2001-165860A
    • Patentdokument 2: Japanische Patentanmeldung JP H08-195554A
  • ÜBERBLICK ÜBER DIE ERFINDUNG VON DER ERFINDUNG ZU LÖSENDES PROBLEM
  • An einer Leiterplattenproduktionsstätte, von der die Sicherstellung hoher Qualität gefordert wird, wird ein solches System gewählt, bei dem ein Prüfungsstandard für die automatische Prüfung des Erscheinungsbilds strikt vorgegeben ist und der Bediener eine sorgfältige Sichtkontrolle der als defekt ermittelten Bauelemente vornimmt, die defekten Stellen manuell korrigiert und sorgfältig kontrolliert, dass die Defekte eliminiert werden. In den letzten Jahren ist bei den bestückten Leiterplatten die Bestückungsdichte der Bauelemente hoch, und dementsprechend hat auch die Anzahl der Bauelemente zugenommen, für die die Sichtkontrolle und ggf. eine Korrektur erforderlich ist, und der Aufwand für den Bediener, der die Sichtkontrolle durchführt, ist enorm. Da es außerdem viele Leiterplatten gibt, die an mehreren Stellen mit derselben Bauelementart bestückt sind, sowie Leiterplatten, bei denen mehrere einzelne Leiterplatten mit derselben Konfiguration aneinander gekoppelt sind, wird eine extrem hohe Belastung benötigt, um einen Bereich als Kontrollobjekt zu finden. Ferner kann eine nicht mit dem Vorgang vertraute Person beim Lokalisieren eines solchen Kontrollobjektbereichs einen Fehler begehen.
  • Gemäß Vorrichtungen mit solchen Konfigurationen, wie sie in den Patentdokumenten Nr. 1 und 2 beschrieben werden, werden defekte Stellen realer Objekte bei der Anzeige vergrößert oder gekennzeichnet, und dementsprechend können die Arbeitsbelastung verringert und Fehler vermieden werden. Beide Geräte sind jedoch groß und teuer. Außerdem wird ihre Einführung dadurch behindert, dass zu ihrer Installation viel Raum erforderlich ist.
  • Außerdem bekannt ist ein Verfahren zum Avisieren des Kontrollobjektbereichs auf solche Weise, dass ein Teilbereich, in dessen Mitte sich eine defekte Stelle befindet, aus einem für die automatische Prüfung des Erscheinungsbilds verwendeten Bild der Prüfobjekt-Leiterplatte ausgeschnitten wird und daraufhin ein vergrößertes Bild dieses Bereichs angezeigt wird. Jedoch weist, wie vorstehend beschrieben wurde, jede der Leiterplatten mehrere Stellen mit gleichartiger Konfiguration auf. Dementsprechend ist es zum sofortigen Spezifizieren, welche Stelle der realen Leiterplatte der defekten Stelle entspricht, nicht ausreichend, nur das Bild des Bereichs mit der defekten Stelle in der Mitte anzuzeigen. Infolgedessen kann die Arbeitseffizienz des Bedieners sinken, was auch die Produktionseffizienz insgesamt wesentlich beeinträchtigen kann.
  • Angesichts dieser Probleme liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Unterstützung durchzuführen, die in der Lage ist, unter Verwendung eines Bildes zur Verwendung bei einer automatischen Prüfung des Erscheinungsbilds und eines Prüfergebnisses auf einfache Weise einen Kontrollobjektbereich zu spezifizieren.
  • MITTEL ZUM LÖSEN DES PROBLEMS
  • Ein erfindungsgemäßes System zum Unterstützen eines Sichtkontrollvorgangs ist ein System zum Unterstützen eines Vorgangs zum Kontrollieren eines Zustandes mindestens eines Prüfobjektbereichs eines Prüfobjekts mit mehreren Bereichen, an denen anhand eines Bildes eine automatische Prüfung des Erscheinungsbildes durchgeführt wird, wobei der Vorgang durch ein Verfahren zum visuellen Erkennen eines realen Prüfobjekts erfolgt. Das System weist eine Bildspeichereinrichtung, eine Messdatenspeichereinrichtung, eine Bildleseeinrichtung, eine Merkmalbereich-Extraktionseinrichtung, eine Bildbearbeitungseinrichtung und eine Anzeigeeinrichtung auf, die nachstehend beschrieben werden.
  • Die Bildspeichereinrichtung speichert ein Bild des Prüfobjekts, das durch Bildgebung für die automatische Prüfung des Erscheinungsbilds erzeugt wird, und die Messdatenspeichereinrichtung speichert Messdaten, die durch die Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds erhalten wurden, verknüpft mit Positionsdaten eines von der Messverarbeitung gemessenen Objektbereichs. Die Bildleseeinrichtung liest ein Bild eines Gebiets, das einen Kontrollobjektbereich umfasst und einem Teil des Prüfobjekts entspricht, basierend auf Positionsdaten oder Kennzeichnungsdaten des Kontrollobjektbereichs aus der Bildspeichereinrichtung aus.
  • Die Merkmalbereich-Extraktionseinrichtung analysiert die Messdaten, die verknüpft mit den in dem Gebiet, das dem von der Bildleseeinrichtung ausgelesenen Bild entspricht, enthaltenen Positionsdaten in der Messdatenspeichereinrichtung gespeichert sind, und extrahiert einen oder mehrere Merkmalbereiche, die intrinsische Merkmale aufweisen, welche einzeln visuell erkennbar sind und in der Nähe des Kontrollobjektbereichs verteilt sind. Die Bildbearbeitungseinrichtung bearbeitet das von der Bildleseeinrichtung ausgelesene Bild in einen Zustand, in welchem die jeweiligen Merkmalbereiche und der Kontrollobjektbereich im Bild in unterschiedlicher Weise (z. B. in unterschiedlichen Darstellungsmodi) markiert sind, und die Anzeigeeinrichtung zeigt das von der Bildbearbeitungseinrichtung bearbeitete Bild an.
  • Gemäß der vorstehend beschriebenen Konfiguration kann ein Bediener anhand einer Markierung auf einer Bildschirmanzeige kontrollieren, welcher Bereich das Kontrollobjekt ist, und er kann außerdem basierend auf Merkmalen der mehreren Merkmalbereiche, die in der Nähe des Kontrollobjektbereichs verteilt sind, sowie einer relativen Positionsbeziehung zwischen diesen einen Kontrollobjektbereich des realen Prüfobjekts spezifizieren. Jeder der Merkmalbereiche weist ein intrinsisches Merkmal auf, das visuell erkennbar ist, und dementsprechend kann selbst bei Vorliegen anderer Stellen mit ähnlichen Konfigurationen eine falsche Identifizierung des Kontrollobjektbereichs vermieden werden.
  • Bei einer ersten Ausführungsform des vorstehend beschriebenen Systems verwendet die Merkmalbereich-Extraktionseinrichtung einen Grad einer Abweichung eines Messwerts, der bei der Messverarbeitung der automatischen Prüfung des Erscheinungsbilds erhalten wurde, vom optimalen Messwert als Schlüssel und extrahiert anhand des Schlüssels unter den nicht mit dem Kontrollobjektbereich identischen Prüfobjektbereichen, die in einem Gebiet eines Verarbeitungsobjekts enthalten sind, einen Bereich mit einem relativ großen Grad der Abweichung. Wenn beispielsweise ein Bereich, der bei der automatischen Prüfung des Erscheinungsbilds als nicht defekt ermittelt wurde, in dem jedoch ein für diese Ermittlung verwendeter Messwert wesentlich von einem optimalen Wert abweicht, als Merkmalbereich extrahiert wird, wird es möglich, den extrahierten Merkmalbereich anhand seines Erscheinungsbildes zu unterscheiden, selbst wenn es andere Stellen gibt, an denen dem Kontrollobjektbereich und den jeweiligen Merkmalbereichen gleichende Bereiche in ähnlicher Positionsbeziehung angeordnet sind.
  • Bei einem System einer zweiten Ausführungsform umfasst die Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds Messungen zum Erkennen eines Fremdkörpers, der sich an einem anderen Ort als dem Prüfobjektbereich befindet, und die Merkmalbereich-Extraktionseinrichtung extrahiert als Merkmalbereich eine Stelle, an der in der Nähe des Kontrollobjektbereichs in dem Gebiet Messdaten erhalten werden, die auf den Fremdkörper hinweisen, als Verarbeitungsobjekt. Auf diese Weise kann der Bediener unter Verwendung des Fremdkörpers als Markierung auf einfache Weise den Kontrollobjektbereich spezifizieren. Es sei darauf hingewiesen, dass es auch möglich ist, ein System anzuordnen, in dem sowohl die erste Ausführungsform als auch die zweite Ausführungsform verkörpert sind.
  • Ein System einer dritten Ausführungsform weist weiterhin eine Markierungsmuster-Speichereinrichtung auf, die Daten zum Spezifizieren eines Markierungsmusters speichert, das als Markierung bei der automatischen Prüfung des Erscheinungsbilds festgelegt und bei einem identischen Typ des Prüfobjekts gleich ist. Die Bildbearbeitungseinrichtung spezifiziert auf der Grundlage der in der Markierungsmuster-Speichereinrichtung gespeicherten Daten einen in dem Gebiet liegenden Ort des Markierungsmusters als Verarbeitungsobjekt und bearbeitet das Bild derart, dass der spezifizierte Ort in einer Weise markiert wird, der sich mindestens von der Markierungsweise des Kontrollobjektbereichs unterscheidet.
  • Gemäß der vorstehenden Ausführungsform wird sowohl der Ort des Markierungsmusters als und auch der Merkmalbereich markiert, und dementsprechend lässt sich der Kontrollobjektbereich einfacher spezifizieren. Es sei angemerkt, dass für das Markierungsmuster vorzugsweise eine Markierung gemäß einer dritten Weise implementiert wird, dies sich von den Markierungsweisen sowohl für den Kontrollobjektbereich als auch für die Merkmalbereiche unterscheidet; allerdings kann auch eine Markierung gemäß derselben Weise wie der Markierungsweise für die Merkmalbereiche implementiert werden.
  • Das vorstehend beschriebene System kann einen Server aufweisen, der durch Kommunikation mit einer Erscheinungsbildprüfvorrichtung Prüfergebnisdaten empfängt, zu denen das bei der Prüfung des Erscheinungsbilds verwendete Bild und die Messdaten gehören, sowie ein Datenendgerät mit einer Anzeigeeinrichtung für den Kontrollvorgang. In diesem Falle sind mindestens die Bildspeichereinrichtung und die Messdatenspeichereinrichtung in dem Server vorgesehen, und die Anzeigeeinrichtung des Datenendgeräts fungiert als Anzeigeeinrichtung. Die anderen Einrichtungen können entweder in dem Server oder dem Datenendgerät vorgesehen sein, oder ein Teil der Einrichtungen kann in dem Server und der Rest in dem Datenendgerät vorgesehen sein. Alternativ hierzu können Server und Datenendgerät gemeinsam als eine Einrichtung funktionieren.
  • Die Bildspeichereinrichtung und die Messdatenspeichereinrichtung können nicht nur im Server, sondern auch in der Erscheinungsbildprüfvorrichtung vorgesehen sein. Darüber hinaus kann die Unterscheidung zwischen Server und Datenendgerät eliminiert werden, und die jeweiligen Einrichtungen, d. h. die Bildspeichereinrichtung, die Messdatenspeichereinrichtung, die Bildleseeinrichtung, die Merkmalbereich-Extraktionseinrichtung, die Bildbearbeitungseinrichtung und die Anzeigeeinrichtung, können in einem einzigen Computer vorgesehen sein.
  • Eine Vorrichtung zum Unterstützen eines Sichtkontrollvorgangs gemäß der vorliegenden Erfindung weist von den zuvor beschriebenen jeweiligen Einrichtungen mindestens die Bildleseeinrichtung, die Merkmalbereich-Extraktionseinrichtung und die Bildbearbeitungseinrichtung auf, und sie weist weiterhin eine Ausgabeeinrichtung auf, die Bilddaten des von der Bildbearbeitungseinrichtung bearbeiteten Bildes derart ausgibt, dass die Bilddaten angezeigt werden. Darüber hinaus können in solch einer Unterstützungsvorrichtung die Bildspeichereinrichtung und die Messdatenspeichereinrichtung vorgesehen sein; jedoch können diese Speichereinrichtungen auch in einem externen Computer oder der Erscheinungsbildprüfvorrichtung vorgesehen sein.
  • Ein Verfahren zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses gemäß der vorliegenden Erfindung umfasst die folgenden Schritte Speichern eines Bildes eines Prüfobjekts in einer Bildspeichereinrichtung als Reaktion auf die automatische Prüfung des Erscheinungsbilds, wobei das Bild durch Bildgebung für die automatische Prüfung des Erscheinungsbilds erzeugt wird, und Speichern von Messdaten, die durch Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds erhalten werden, verknüpft mit Positionsdaten eines von der Messverarbeitung gemessenen Objektbereichs in einer Messdatenspeichereinrichtung; Auslesen eines Bildes eines Gebiets aus der Bildspeichereinrichtung basierend auf Positionsdaten oder Kennzeichnungsdaten eines Kontrollobjektbereichs, wobei das Gebiet den Kontrollobjektbereich umfasst und einem Teil des Prüfobjekts entspricht; Analysieren von Messdaten, die verknüpft mit den in dem Gebiet, das dem aus der Bildleseeinrichtung ausgelesenen Bild entspricht, enthaltenen Positionsdaten in der Messdatenspeichereinrichtung gespeichert sind, und Extrahieren eines oder mehrerer Merkmalbereiche, die intrinsische Merkmale aufweisen, welche einzeln visuell erkennbar sind und in der Nähe des Kontrollobjektbereichs verteilt sind; und Bearbeiten des aus der Bildspeichereinrichtung ausgelesenen Bildes in einen Zustand, in welchem die jeweiligen Merkmalbereiche und der Kontrollobjektbereich im Bild in unterschiedlicher Weise markiert sind, die sich voneinander unterscheiden, und Anzeigen des bearbeiteten Bildes.
  • Das vorstehende Verfahren kann durch die Kombination aus Server und Datenendgerät oder durch den einzelnen Computer, wie vorstehend beschrieben, implementiert werden. Darüber hinaus kann das vorstehende Verfahren in der Erscheinungsbildprüfvorrichtung implementiert werden, sofern die Bildspeichereinrichtung und die Messdatenspeichereinrichtung in der Erscheinungsbildprüfvorrichtung vorgesehen sind und ferner die Anzeigeeinrichtung in die Erscheinungsbildprüfvorrichtung integriert ist.
  • Darüber hinaus kann unter den jeweiligen Schritten in Bezug auf den Schritt des Auslesens eines Bildes und des Extrahierens von Merkmalbereichen jeder der obigen Schritte als erster ausgeführt werden, und beide Schritte können parallel zueinander ausgeführt werden.
  • Der Objektbereich der Sichtprüfung ist nicht auf den bei der Prüfung des Erscheinungsbilds als defekt ermittelten Bereich beschränkt. Zum Beispiel kann auch ein Bereich, der bei der Prüfung des Erscheinungsbilds als nicht defekt ermittelt wurde, aber bei dem ein Grad der Abweichung des Messwerts von seinem optimalen Wert groß ist, als Kontrollobjektbereich behandelt werden. Darüber hinaus kann zum Zwecke der Gegenprüfung ein Bereich, der eine wichtige Funktion erfüllt, immer als Objektbereich für die Sichtprüfung gewählt werden.
  • Darüber hinaus kann in Bezug darauf, welcher Bereich zu kontrollieren ist, der Kontrollobjektbereich beispielsweise durch Analyse des Prüfergebnisses und des Messergebnisses automatisch gewählt werden, oder es kann eine Liste der Bereiche angezeigt werden, für welche die Prüfung als notwendig angenommen wird, und dem Bediener kann erlaubt werden, daraus den Bereich auszuwählen.
  • EFFEKT DER ERFINDUNG
  • Gemäß der vorliegenden Erfindung kann auf Grundlage der Markierungsmerkmale auf der Bildschirmanzeige die Stelle auf dem realen Prüfobjekt, die der markierten Stelle entspricht, leicht identifiziert werden, wodurch sich der Kontrollobjektbereich spezifizieren lässt. Somit wird es möglich, den Sichtkontrollvorgang effizient durchzuführen, ohne beim Auffinden des Kontrollobjektbereichs Fehler zu begehen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein funktionales Blockdiagramm, das eine Konfiguration eines Systems zum Prüfen einer mit Bauelementen bestückten Leiterplatte zeigt.
  • 2 ist ein Layoutdiagramm einer Kontrollbildschirmanzeige zum Kontrollieren von Daten eines defekten Bauelements.
  • 3 ist eine Ansicht, die ein Beispiel für ein auf einem Gebiet 300 in 2 anzuzeigendes Bild zeigt.
  • 4 ist ein Ablaufdiagramm, das einen Ablauf eines Kontrollvorgangs zeigt.
  • 5 ist eine Tabelle, die ein Datenkonfigurationsbeispiel für eine Analysedatentabelle zeigt.
  • 6 ist ein Ablaufdiagramm, das einen Ablauf der Verarbeitung zum Erstellen der Analysedatentabelle zeigt.
  • 7 ist ein Ablaufdiagramm, das einen Ablauf der auf einem Kontrollendgerät auszuführenden Verarbeitung zeigt.
  • AUSFÜHRUNGSFORMEN DER ERFINDUNG
  • 1 ist ein funktionales Blockdiagramm, das ein Konfigurationsbeispiel für ein System zum Prüfen einer mit Bauelementen bestückten Leiterplatte zeigt.
  • Diese Ausführungsform ist eine Ausführungsform, bei der eine automatische Prüfung des Erscheinungsbilds für ein Objekt durchgeführt wird, bei dem es sich um eine mit Bauelementen bestückte Leiterplatte handelt (im Nachfolgenden einfach als „Leiterplatte” bezeichnet), das durch jeweilige Schritte fertiggestellt wird, und zwar einen Lotpastendruckschritt, einen Schritt des Bestückens mit Bauelementen und einen Schritt des Aufschmelzens, und bei der anschließend einem Bediener ermöglicht wird, an einem von der Prüfung als defekt ermittelten Bereich eine Sichtkontrolle durchzuführen. Diese Ausführungsform weist eine Erscheinungsbildprüfvorrichtung 1, einen Verwaltungsserver 2 und ein Datenendgerät 3 für den Kontrollbetrieb (im Folgenden als „Kontrollendgerät 3” bezeichnet) auf. Die einzelnen Vorrichtungen 1, 2 und 3 sind über eine LAN-Leitung 4 miteinander verbunden; allerdings kommunizieren das Kontrollendgerät 3 und die Erscheinungsbildprüfvorrichtung 1 nicht direkt miteinander; vielmehr tauschen nur jeweils die Erscheinungsbildprüfvorrichtung 1 und der Verwaltungsserver 2 sowie das Kontrollendgerät 3 und der Verwaltungsserver 2 untereinander Daten aus. Ein Netzwerksystem, das den Verwaltungsserver 2, das Kontrollendgerät 3 und die LAN-Leitung 4 umfasst, fungiert als System zum Unterstützen eines solchen Sichtkontrollvorgangs.
  • Die Erscheinungsbildprüfvorrichtung 1 (bzw. optische Prüfvorrichtung) weist eine Bildgebungseinheit 11, eine Prüfungsausführungseinheit 12, eine Kommunikationsverarbeitungseinheit 13 und dergleichen auf. Gemäß einer vorbestimmten Prüfnorm betätigt die Prüfungsausführungseinheit 12 die Bildgebungseinheit 11, um ein Bild zu erzeugen, und prüft unter Verwendung des erzeugten Bildes für jedes der Bauelemente, ob die Leiterplatte mit dem jeweiligen Bauelement bestückt ist, ob das Bauelement verschoben oder verdreht ist, ob Form und Größe einer Lotfüllung angemessen sind usw. Darüber hinaus kann die Prüfungsausführungseinheit 12 Fremdkörper wie Brücken und Lotperlen an Orten auf dem Bild erkennen, die nicht mit dem Bauelement bestückt sind. Bilder, die bei einer Vielfalt von Prüfungen benutzt wurden, und Prüfergebnisdaten werden von der Kommunikationsverarbeitungseinheit 13 an den Verwaltungsserver 2 übermittelt.
  • In dem Verwaltungsserver 2 sind folgende Funktionen vorgesehen: eine Speichereinheit, die eine Prüfergebnisdatenbank 21, eine Bilddatenbank 22 und eine Prüfnormendatenbank 23 und dergleichen aufweist; eine Speicherverarbeitungseinheit 24; eine Kommunikationsverarbeitungseinheit 25 und eine auf das Datenendgerät ausgerichtete Verarbeitungseinheit 26. Daten, die von der Erscheinungsbildprüfvorrichtung 1 übermittelt werden, werden von der Kommunikationsverarbeitungseinheit 25 empfangen und daraufhin von der Speicherverarbeitungseinheit 24 in der Prüfergebnisdatenbank 21 und der Bilddatenbank 22 gespeichert.
  • In der Prüfnormendatenbank 23 werden für jeden Leiterplattentyp Prüfnormen für Erscheinungsbildprüfungen registriert. Als Bauelementeinheiten-Prüfnormen werden beispielsweise Konfigurationsdaten zu Prüfgebieten, Schwellwerte zur Binarisierung und dergleichen registriert, und ferner werden für jede für die Bauelemente zu implementierende Messgröße Messwertbereiche registriert, die auf „nicht defekt” hinweisen. Außerdem werden in Bezug auf die Erkennung der Fremdkörper Binarisierungsschwellwerte zur Verwendung bei der Erkennung, Schwellwerte zum Vergleich mit Messwerten im Bezug auf erkannte Merkmale und dergleichen als Prüfnormen registriert.
  • Darüber hinaus wird bei dieser Ausführungsform eine Leiterplatte mehrfach abgebildet, und ein Bild der gesamten Platte wird durch Zusammenfügen der bei der mehrfachen Bildgebung entstandenen Bilder erzeugt. Auch eine Gruppe Daten zur Verwendung bei der Steuerung zur Ausrichtung eines Sichtfelds der Bildgebungseinheit 11 an den jeweiligen Bildgebungs-Objektbereichen sowie eine Gruppe Daten zur Verwendung bei der Verarbeitung zum Zusammenfügen der Bilder werden in der Prüfnormendatenbank 23 gespeichert. Die Gruppe Daten zur Verwendung bei der Verarbeitung umfasst Daten zum Spezifizieren eines Musters, das als Markierung auf der Leiterplatte dient (im Weiteren als „Markierungsmuster” bezeichnet).
  • Die von der Erscheinungsbildprüfvorrichtung 1 zu übermittelnden Prüfergebnisdaten sind geschichtet, so dass die Messwerte und Ergebnisse der Defekt/Nicht-defekt-Ermittlung für jede der Leiterplatten und für jedes der Bauelemente auf den Leiterplatten ausgelesen werden können. In dem Fall, dass derartige Daten zu den Defekten in derartigen Leiterplatteneinheiten-Prüfergebnisdaten enthalten sind, analysiert die Speicherverarbeitungseinheit 24 die Prüfergebnisdaten und erstellt eine Analysedatentabelle, die später noch beschrieben wird. Die Analysedatentabelle ist derart konfiguriert, dass sie für eine Einheit der Leiterplatten auslesbar ist, und wird verknüpft mit den Prüfergebnisdaten als Originaldaten in der Prüfergebnisdatenbank 21 gespeichert.
  • Die auf das Datenendgerät ausgerichtete Verarbeitungseinheit 26 empfängt über die Kommunikationsverarbeitungseinheit 25 eine Übermittlungsanfrage von dem Kontrollendgerät 3, liest Daten gemäß der Anfrage aus der entsprechenden Datenbank aus und übermittelt die Daten an das Kontrollendgerät 3. Nachdem außerdem die auf das Datenendgerät ausgerichtete Verarbeitungseinheit 26 von dem Kontrollendgerät 3 solche Prüfergebnisdaten erfasst hat, die Daten über das Ergebnis der Ermittlung enthalten, die von dem Bediener eingegeben wurden, der den Vorgang am Datenendgerät 3 ausgeführt hat, aktualisiert sie die vorhandenen Prüfergebnisdaten in der Prüfergebnisdatenbank 21 mit den erfassten Daten.
  • Außerdem werden die Prüfnormen in der Prüfnormendatenbank 23 nach Bedarf an die Erscheinungsbildprüfvorrichtung 1 übermittelt.
  • Das Kontrollendgerät 3 weist eine Eingabeeinheit 31, eine Anzeigeeinheit 32, eine Analyseverarbeitungseinheit 33, eine Anzeigeverarbeitungseinheit 34, eine Kommunikationsverarbeitungseinheit 35 und dergleichen auf. Die Eingabeeinheit 31 und die Anzeigeeinheit 32 weisen Hardware auf, und die übrigen Verarbeitungseinheiten sind Funktionen, die in einer CPU durch Software einzustellen sind.
  • Bei der Eingabeeinheit 31 handelt es sich um eine Einheit zum Entgegennehmen von Eingaben von Kennzeichnungscodes der Leiterplatten-Prüfobjekte (im Weiteren „Leiterplattencodes”), Kontrollergebnissen und dergleichen, und sie kann eine Lesevorrichtung (einen Strichcodeleser oder dergleichen) für die Leiterplattencodes sowie eine Tastatur und eine Maus aufweisen. Die Anzeigeeinheit 32 weist eine Konfiguration wie etwa einen Flüssigkristallmonitor auf, die dazu in der Lage ist, ein Bild anzuzeigen. Es sei darauf hingewiesen, dass die Anzeigeeinheit 32 in manchen Fällen als externe Vorrichtung des Kontrollendgeräts 3 angeordnet ist.
  • Die Analyseverarbeitungseinheit 33 wird als Reaktion auf die Eingabe der einzelnen Leiterplattencodes aktiviert und kommuniziert daraufhin über die Kommunikationsverarbeitungseinheit 35 mit dem Verwaltungsserver 2 und erfasst für die dem eingegebenen Leiterplattencode entsprechende Leiterplatte die jeweiligen Daten, d. h. das Bild, die Prüfergebnisdaten und die Prüfnorm. Auf Basis eines Verarbeitungsergebnisses der Analyseverarbeitungseinheit 33 erstellt die Anzeigeverarbeitungseinheit 34 Daten einer Kontrollbildschirmanzeige zum Kontrollieren von Daten bezüglich des in den Erscheinungsbilddaten als defekt ermittelten Bauelements (im Weiteren „defektes Bauelement”) und zeigt diese Kontrollbildschirmanzeige auf der Anzeigeeinheit 32 an.
  • 2 zeigt ein Beispiel für ein Layout der Kontrollbildschirmanzeige.
  • Auf der Kontrollbildschirmanzeige dieses Beispiels werden auf der linken bzw. rechten Seite ein Bild bzw. weitere Daten angezeigt. Erstens ist in einem Gebiet auf der linken Seite, welches das Bild anzeigt, ein großes Gebiet 300 vorgesehen, und links und rechts unter dem Gebiet 300 sind nebeneinander zwei kleine Gebiete 301 und 302 angeordnet.
  • In dem Gebiet 300 wird ein vergrößertes Bild eines Teilstücks (eines Teils der Leiterplatte) angezeigt, in dem die einzelnen Bauelemente als Kontrollziele zentriert werden. In einer oberen linken Ecke dieses vergrößerten Bildes G wird in überlappender Weise ein Kartenbild MP der gesamten Leiterplatte angezeigt. In dem Gebiet 301 wird ein Bild eines Teilstücks, das lediglich ein solches Kontrollobjekt-Bauelement bzw. zu kontrollierendes Bauelement umfasst, noch weiter vergrößert angezeigt, und im Gebiet 302 wird ein Beispielbild (das einen idealen Bestückungszustand zeigt) des Kontrollobjekt-Bauelements angezeigt.
  • Wie vorstehend erwähnt wurde, erfolgt bei der Prüfung des Erscheinungsbilds dieser Ausführungsform die Bildgebung bezüglich einer Leiterplatte, nachdem diese in mehrere Gebiete unterteilt wurde, und Bilder der mehreren Gebiete (im Weiteren „Teilbilder”) werden zusammengefügt, wodurch das Bild der gesamten Leiterplatte entsteht. Das vergrößerte Bild G auf einer solchen Kontrollbildanzeige 30 wird außerdem durch Zusammenfügen eines Teilbilds g0 mit dem Bauelement als Kontrollobjekt mit acht Teilbildern g1 bis g8 in dessen Umgebung erstellt.
  • Unterdessen handelt es sich bei dem Kartenbild MP um ein Bild, das nicht durch Abbildung der Leiterplatte während der Verarbeitung, sondern durch Vorab-Abbildung eines Leiterplattenmodells gewonnen wurde, oder auch um eine aus CAD-Daten oder dergleichen gewonnene schematische Ansicht. Das Kartenbild MP ist ein Bild, das dem Bediener ermöglicht, auf der gesamten Leiterplatte eine ungefähre Position des Kontrollobjekt-Bauelements zu ermitteln, und das vergrößerte Bild G ist ein Bild, das den Bediener über Detailkonfigurationen des Kontrollobjekt-Bauelements und dessen Umgebung informiert.
  • Auf der rechten Seite des Bildschirms sind in der Vertikalen drei Gebiete 311, 312 und 313 angeordnet. Im obersten Gebiet 311 werden allgemeine Daten (Leiterplattencode, ein Programmname, der auf die Prüfnorm hinweist, die Anzahl defekter Bauelemente und dergleichen) bezüglich der Leiterplatte als Kontrollobjekt angezeigt. Im mittleren Gebiet 312 wird eine Liste der zu kontrollierenden defekten Bauelemente angezeigt. Im untersten Gebiet 313 werden Prüfergebnisse bezüglich Bauelementen, die aktuelle Kontrollobjekte sind, zusammen mit Messwerten für die einzelnen Messgrößen angezeigt.
  • 3 zeigt ein spezifisches Beispiel für das vergrößerte Bild G und das Kartenbild MP im Gebiet 300. Bei einem in einem zentralen Abschnitt des vergrößerten Bildes G angeordneten Bauelement 100 handelt es sich um das Kontrollobjekt-Bauelement aus diesem Beispiel.
  • Das Kartenbild MP umfasst Hintergrundabschnitte (graue Abschnitte, die tatsächlich in einer Farbe einer Oberfläche eines Tisches eingefärbt sind, von dem die Leiterplatte getragen wird) sowie das gesamte Bild (weißer Abschnitt) der Leiterplatte. Dies ist in 3 nicht gezeigt, aber die Vielzahl der Bauelemente auf der Leiterplatte werden auf der Leiterplatte im Kartenbild MP auf reduzierte Weise angezeigt. Darüber hinaus werden auf dem Kartenbild MP dieser Ausführungsform zwei Linien m1 und m2, die eine x-Koordinate und eine y-Koordinate einer Mitte des Kontrollobjekt-Bauelements angeben, jeweils mit einer Farbe von hoher Helligkeit wie gelb oder weiß angezeigt.
  • Außerdem ist auf dem vergrößerten Bild G für zwei Linien L1 und L2, die die x- bzw. y-Koordinaten des Kontrollobjekt-Bauelements 100 angeben, dieselbe Farbe wie für die Linien m1 und m2 gewählt. Diese Linien L1 und L2 sind jedoch nicht in einem Bestückungs-Teilstück des Kontrollobjekt-Bauelements 100 gesetzt, und das Kontrollobjekt-Bauelement 100 ist von einem rechteckigen Rahmen UW umgeben, der dieselbe Farbe wie die Linien L1 und L2 aufweist.
  • Darüber hinaus sind in dem vergrößerten Bild G mehrere rote Rahmen RW und mehrere blaue Rahmen BW gesetzt (in 3 wird die rote Farbe durch lang-kurz-gestrichelte Linien und die blaue Farbe durch gepunktete Linien ausgedrückt). Diese farbigen Rahmen RW und BW werden im Folgenden als „rote Rahmen RW” bzw. „blaue Rahmen BW” bezeichnet.
  • Die roten Rahmen RW werden für ausgewählte Strukturen wie Bauelemente und Elektrodenpins gesetzt, an denen die Prüfung des Erscheinungsbildes ausgeführt wird. Bei dem Beispiel aus 3 werden die roten Rahmen RW einzeln für ein relativ großes Chip-Bauelement 101 gesetzt, das sich oberhalb des Kontrollobjekt-Bauelements 100 befindet, für ein relativ kleines Chip-Bauelement 102, das sich rechts unten davon befindet, und für ein IC-Bauelement 103, das sich links unten davon befindet. Jedes dieser Bauelemente wird bei der Prüfung des Erscheinungsbilds als „nicht defekt” ermittelt. Jedoch ist bei dem Chip-Bauelement 101 ein Lötgebiet für eine der Elektroden ein wenig größer, und das Chip-Bauelement 102 ist geringfügig geneigt montiert. Darüber hinaus ist ein Elektrodenpin des IC-Bauelements 103, der von dem roten Rahmen umgeben ist, geringfügig verformt.
  • Die blauen Rahmen BW werden für Muster gesetzt, die als Markierungen benutzt werden, wenn bei der Prüfung des Erscheinungsbildes eine Verarbeitung wie etwa eine Korrektur der Positionsverschiebung des Bildes oder eine Positionsausrichtung der jeweiligen Teilbilder erfolgt. Diese Markierungsmuster sind Muster, die über die Positionsdaten und Formen der Muster spezifiziert werden, und die jeweiligen spezifizierenden Daten werden in der Prüfnormendatenbank 23 des Verwaltungsservers 2 registriert. Bei dem Beispiel in 3 sind die blauen Rahmen BW so eingerichtet, dass sie einzeln einen erhabenen Abschnitt a eines Seidendruckmusters auf der Leiterplatte, ein Via-Loch-Feld b und ein Via-Loch c eines Eckabschnitts des Seidendruckmusters sowie Zeichenmuster umgeben, die Bauelementcodes dieser montierten Bauelemente anzeigen.
  • Eine solche Leiterplatte, für die die Prüfung durch die Erscheinungsbildprüfvorrichtung 1 das defekte Bauelement ermittelt hat, wird in einem Stapler untergebracht, von einem Band befördert usw. und dadurch dem Bediener zugeführt, der vor dem Kontrollendgerät 3 sitzt. Der Bediener führt den Kontrollvorgang in einem in 4 gezeigten Ablauf aus und sieht dabei auf die Kontrollbildschirmanzeige, die das vorstehend beschriebene vergrößerte Bild G und das Kartenbild MP umfasst.
  • Zunächst nimmt der Bediener eine Leiterplatte auf und gibt einen Leiterplattencode davon in das Kontrollendgerät 3 ein (Schritt S1). Auf die Leiterplatte dieser Ausführungsform ist an einem Rand oder dergleichen einer Seitenkante der Leiterplatte ein Strichcode aufgedruckt, der den Leiterplattencode angibt, und demgemäß kann der Leiterplattencode durch eine Ausleseverarbeitung mit dem Strichcodeleser eingegeben werden.
  • Das Kontrollendgerät 3 kommuniziert als Reaktion auf die Eingabe des Strichcodes mit dem Verwaltungsserver 2, erfasst die Prüfergebnisdaten und die Prüfnorm der Objektleiterplatte und schaltet auf dieser Grundlage eine Anfangs-Kontrollbildschirm anzeige ein (Schritt S202 aus 7, die später beschrieben wird). In diesem Stadium wird das vergrößerte Bild G nicht im Gebiet 300 angezeigt, sondern dort wird nur das Kartenbild MP angezeigt, das keine Linien m1 und m2 aufweist. Weiter nehmen zwar auch die Gebiete 301, 302 und 313, die das Bild und Daten des Kontrollobjekt-Bauelements anzeigen, einen leeren Zustand an, jedoch werden in den Gebieten 311 und 312 die Leiterplattendaten und die Liste der defekten Bauelemente angezeigt.
  • Der Bediener prüft die angezeigte Liste defekter Bauelemente und wählt ein defektes Bauelement aus der Liste aus (Schritt S2). Als Reaktion auf diese Auswahl werden in dem Kontrollendgerät 3 die Schritte S203 bis S212 aus 7 implementiert, das vergrößerte Bild G wird wie in 3 gezeigt auf dem linken Gebiet 300 der Kontrollbildschirmanzeige angezeigt, und auf dem Kartenbild MP in der oberen linken Ecke des Gebiets 300 werden die Linien m1 und m2 gesetzt, die eine Position des gewählten Bauelements angeben. Das vergrößerte Bild und das Beispielbild des gewählten Bauelements werden in den beiden Gebieten 301 bzw. 302 unterhalb des Gebiets 300 angezeigt, und das Prüfergebnis für das gewählte Bauelement wird in dem rechten unteren Gebiet 313 angezeigt.
  • Der Bediener ermittelt die ungefähre Position des Kontrollobjekt-Bauelements anhand der Linien m1 und m2 in dem Kartenbild MP (Schritt S3). Als Nächstes ermittelt der Bediener unter Bezugnahme auf die Merkmale und Verteilungen der verschiedenartig markierten Bauelemente und Markierungsmuster des vergrößerten Bildes G ein Teilstück der realen Leiterplatte, das dem vergrößerten Bild G entspricht (Schritt S4). Darüber hinaus spezifiziert der Bediener das Kontrollobjekt-Bauelement auf der Grundlage einer Positionsbeziehung zwischen den jeweiligen markierten Stellen und dergleichen (Schritt S5).
  • Danach führt der Bediener eine Sichtprüfung des realen Kontrollobjekt-Bauelements durch, ermittelt dessen Qualität und gibt Daten über das Ergebnis der Ermittlung („OK” oder „NG”) ein (Schritt S6).
  • Falls die defekten Bauelemente in einer ersten Liste defekter Bauelemente verbleiben („NEIN” in Schritt S7), wählt der Bediener das nächste Bauelement aus (kehrt zu Schritt S2 zurück) und fährt daraufhin auf gleichartige Weise mit der Bedienung fort. Falls alle der defekten Bauelemente kontrolliert worden sind und es eine weitere Leiterplatte als Kontrollobjekt gibt („NEIN” in Schritt S8), nimmt der Bediener die nächste Leiterplatte auf und führt einen Vorgang ähnlich dem vorstehenden aus.
  • Wie vorstehend erwähnt wurde, sind die Daten zum Spezifizieren der Markierungsmuster, die von den blauen Rahmen BW umgeben sind, in der Prüfnormendatenbank 23 des Verwaltungsservers 2 gespeichert. Dagegen werden die Bauelemente und Elektroden, die von den roten Rahmen RW umgeben sind, unter Verwendung der Analysedatentabelle aus der Prüfergebnisdatenbank 21 spezifiziert. Bei der Analysedatentabelle handelt es sich um eine Tabelle, in welcher Bauelemente mit einfach auf der Leiterplatte zu identifizierenden Merkmalen aufgelistet sind, und sie wird für jede der Leiterplatten erstellt, auf der defekte Bauelemente erkannt werden.
  • 5 zeigt ein Konfigurationsbeispiel für die Analysedatentabelle.
  • Die Analysedatentabelle dieses Beispiels speichert Daten der als „nicht defekt” ermittelten Bauelemente, für welche der Grad der Abweichung der bei der Qualitätsermittlung für alle Messgrößen zu verwendenden Messwerte gegenüber optimalen Messwerten 10% oder mehr beträgt. Bei dem veranschaulichten Beispiel werden gespeichert: die Kennzeichnungscodes (Bauelementcodes) der Objekt-Bauelemente; die x- und y-Koordinaten der zentralen Abschnitte der Objekt-Bauelemente; Messgrößen, bei welchen der Grad der Abweichung 10% oder mehr beträgt; Messwerte und Grade der Abweichung, die sich bei Messungen bezüglich der Messgrößen ergeben; und dergleichen.
  • Obwohl die x- und y-Koordinaten, die die zentralen Positionen der Bauelemente angeben, Messwerte sind, können Standard-Positionsdaten aus den Prüfnormen extrahiert werden. Darüber hinaus werden den für die einzelnen Elektroden der Bauelemente auszuführenden Messgrößen Zweignummern verliehen, die die jeweilige Elektrode angeben, auf welche sich die Messgröße bezieht (siehe Messgröße „Füllung-1” von „IC006” in 5). Anhand der einzelnen Zweignummern lässt sich eine relative Position der zu dem Messwert gehörenden Elektrode des Bauelements spezifizieren.
  • Die vorstehend beschriebene Analysedatentabelle wird im Managementserver 2 erstellt, in der Prüfergebnisdatenbank 21 gespeichert und anschließend als Reaktion auf eine Übermittlungsanforderung von dem Kontrollendgerät 3 gemeinsam mit den entsprechenden Prüfergebnisdaten ausgelesen und an das Kontrollendgerät 3 übermittelt.
  • 6 zeigt einen Ablauf der Verarbeitung zum Erstellen der Analysedatentabelle durch den Verwaltungsserver 2.
  • Diese Verarbeitung wird von der Speicherverarbeitungseinheit 24 des Verwaltungsservers 2 jedes Mal ausgeführt, wenn die Übermittlung der Prüfergebnisdaten für die Einheit der Leiterplatte von der Erscheinungsbildprüfvorrichtung 1 empfangen wird. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt, und die Verarbeitung kann auch ausgeführt werden, wenn seit dem letzten Speichern der Prüfergebnisdaten in der Prüfergebnisdatenbank 21 eine vorbestimmte Zeit verstrichen ist.
  • Zunächst werden in Schritt S101 die Prüfergebnisdaten von der Erscheinungsbildprüfvorrichtung 1 erfasst, und es wird geprüft, ob in diesen Daten die Daten bezüglich des defekten Bauelements enthalten sind. Falls das defekte Bauelement nicht enthalten ist („NEIN” in Schritt S102), werden die nachfolgenden Schritte übersprungen und die Verarbeitung endet.
  • Falls das defekte Bauelement vorhandenen ist („JA” in Schritt S102), werden nacheinander andere, von dem defekten Bauelement verschiedene Bauelemente, d. h. die als „nicht defekt” ermittelten Bauelemente, fokussiert, und es wird eine Schleife LP ausgeführt.
  • In der Schleife LP wird unter Verwendung der Prüfergebnisdaten, die sich auf das fokussierte Bauelement beziehen, anhand der nachstehenden arithmetischen Operation für jede der für das Objekt-Bauelement implementierten Messgrößen der Grad der Abweichung des tatsächlichen Messwerts vom optimalen Wert aus dem als nicht defekt bestimmten Messwertebereich ermittelt (Schritt S103). [Ausdruck 1]
    Figure 00230001
  • Bei der Berechnung des Grads der Abweichung für die einzelnen Messwerte wird geprüft, ob der größte der Grade der Abweichung 10% oder mehr beträgt. Falls der maximale Grad der Abweichung 10% oder mehr beträgt („JA” in Schritt S104), werden die Messgröße, für die der Grad der Abweichung erhalten wurde, der Messwert und der Grad der Abweichung zusammen mit dem Bauelementcode und Positionsdaten des fokussierten Bauelements in der Analysedatentabelle gespeichert (Schritt S105). Falls die Messgröße in Bezug auf die Prüfung, wie etwa eine Flussprüfung und eine Füllungsprüfung der Elektrode, die für jede Elektrode implementiert wird, zu einem Objekt dieser Speicherung wird, wird auch die Zweignummer, die die betreffende Elektrode bezeichnet, gespeichert.
  • Mit der vorstehend beschriebenen Verarbeitung werden unter den als „nicht defekt” ermittelten Bauelementen die Objekte auf diejenigen Komponenten eingeschränkt, bei denen die Grade der Abweichung der Messwerte von den optimalen Werten hoch sind, und es wird die Analysedatentabelle erstellt, in welcher die Grade der Abweichungen und die Positionsdaten der jeweiligen Objekt-Bauelemente miteinander verknüpft registriert werden.
  • Als Nächstes zeigt 7 einen Ablauf der im Kontrollendgerät 3 als Reaktion auf die Eingabe des Leiterplattencodes auszuführenden Verarbeitung (siehe Schritt S1 in 4).
  • Zunächst wird in Schritt S201 die Übermittlungsanforderung unter Verwendung des eingegebenen Leiterplattencodes an den Verwaltungsserver 2 ausgegeben, was bewirkt, dass die Prüfergebnisdaten, die Analysedatentabelle und die Prüfnorm der Objekt-Leiterplatte erfasst werden. Zwar werden bezüglich der Prüfnorm nicht notwendigerweise alle Daten erfasst, es ist jedoch notwendig, alle zum Erstellen und Bearbeiten des vergrößerten Bildes G des Anzeigeobjekts benötigten Daten zu erfassen, wie etwa Daten zur Spezifikation des Markierungsmusters, Definitionsdaten bezüglich der Positionsausrichtung der Teilbilder und Daten, die eine Relation zwischen den jeweiligen Bauelementen und den Teilbildern angeben (eine Relation, die angibt, welche Bauelemente in welchen Teilbildern enthalten sind).
  • In Schritt S202 wird auf Basis der Prüfergebnisdaten die Anfangs-Kontrollbildschirmanzeige auf der Anzeigeeinheit 32 angezeigt. Anschließend wird jedes Mal, wenn der Bediener ein defektes Bauelement auswählt, eine Schleife LP1 ausgeführt, mittels derer die Eingabe des Ermittlungsergebnisses vom Bediener entgegengenommen und die Kontrollbildschirmanzeige aktualisiert wird.
  • Die Verarbeitung der Schleife LP1 wird nun im Detail beschrieben.
  • Zunächst werden in Schritt S203 die Prüfergebnisdaten für das gewählte defekte Bauelement (das Kontrollobjekt-Bauelement) ausgelesen. Im anschließenden Schritt S204 wird auf der Grundlage der Positionsdaten in den ausgelesenen Daten spezifiziert, in welchem Teilbild das gewählte defekte Bauteil enthalten ist, und über Kommunikation mit dem Verwaltungsserver 2 werden das spezifizierte Teilbild g0 und die acht Teilbilder g1 bis b8 in dessen Umgebung erfasst. Weiterhin werden in Schritt S205 die jeweiligen auf diese Weise erfassten Teilbilder zusammengefügt, wodurch das im Gebiet 300 anzuzeigende vergrößerte Bild G erzeugt wird.
  • In dem Fall, dass sich das gewählte defekte Bauelement über mehrere Teilbilder erstreckt, wird dasjenige Teilbild, dessen größter Anteil von dem Bauelement eingenommen wird, als das in der Mitte anzuordnende Bild g0 definiert. Darüber hinaus kann in dem Fall, dass die jeweiligen Bauelemente auf der Leiterplatte über ihre individuelle Bauelementcodes mit den Teilbildern verknüpft sind, in Schritt S204 das in der Mitte anzuordnende Teilbild g0 auf der Grundlage des Bauelementcodes des gewählten defekten Bauelements spezifiziert werden.
  • Daraufhin werden für das vergrößerte Bild die Schritte S206 bis 211 ausgeführt.
  • In Schritt S206 wird ausgehend von einem Startpunkt, bei dem es sich um die Position des gewählten defekten Bauelements handelt, ein Suchbereich eingestellt, der eine vorbestimmte konkrete Richtung als Referenz nimmt. Beispielsweise kann als Suchbereich ein Bereich gewählt werden, der in einem vorbestimmten Winkel θ um eine konkrete mittige Richtung ausgedehnt ist.
  • In Schritt S207 wird aus den in der Analysedatentabelle registrierten Bauelementen ein Bauelement extrahiert, das in dem eingestellten Suchbereich enthalten ist. Falls mehrere Bauelemente extrahiert werden, wird dasjenige Bauelement extrahiert, für das der Grad der Abweichung am höchsten ist.
  • Die Schritte S206 und S207 werden für mehrere vorbestimmte Richtungen ausgeführt, was dazu führt, dass mehrere der Bauelemente mit relativ hohen Graden der Abweichung extrahiert werden.
  • Wenn diese Extraktionsverarbeitung für alle Richtungen abgeschlossen ist („JA” in Schritt S208) wird in Schritt S209 anhand der Prüfnorm das Markierungsmuster in dem vergrößerten Bild G extrahiert.
  • In Schritt S210 wird das auf der Grundlage des Grads der Abweichung in Schritt S207 extrahierte Bauelement mit dem roten Rahmen RW markiert, und das in Schritt S209 extrahierte Markierungsmuster wird mit dem blauen Rahmen BW markiert. In Schritt S211 werden für das defekte Bauelement in dem vergrößerten Bild der Rahmen UW zur Identifizierung und die Linien L1 und L2, die die x- bzw. y-Koordinaten angeben, gesetzt.
  • Beim Markieren mit dem roten Rahmen RW wird prinzipiell ein Bereich markiert, der die Bauelemente als Einstellungsobjekte vollständig umschließt; wenn allerdings beim Messwert in der Einheit der Elektrode ein großer Grad der Abweichung auftritt, kann auf Grundlage der Zweignummer der entsprechenden Messgröße nur die Elektrode, von der der Messwert mit dem großen Grad der Abweichung erhalten wurde, mit dem roten Rahmen RW umschlossen werden. In diesem Verfahren wird der rote Rahmen RW für eine Elektrode des IC-Bauelements 103 in 3 gesetzt.
  • Durch die Verarbeitung der Schritte S210 und S211 wird das vergrößerte Bild zu einem Bild in einem Zustand bearbeitet, in dem die gewählten defekten Bauelemente und die Bauelemente mit den großen Graden der Abweichung und die Markierungsmuster, die in der Umgebung des defekten Bauelements angeordnet sind, mit unterschiedlichen Farben markiert sind. In Schritt S212 wird die Kontrollbildschirmanzeige mit diesem bearbeiteten vergrößerten Bild aktualisiert. Der detaillierte Ablauf hierfür wird nicht beschrieben, jedoch werden bei dieser Aktualisierung der Anzeige auch die Linien m1 und m2 zur Positionsidentifizierung auf dem Kartenbild MP gesetzt, und in den in 2 gezeigten Gebieten 301, 302 und 313 werden das Bild bzw. die Prüfergebnisdaten angezeigt.
  • Ferner wird in Schritt S213 die Eingabe (Schritt S6 in 4) der Daten über das Ergebnis der Ermittlung („OK” oder „NG”) des Bedieners entgegengenommen, und die eingegebenen Daten über das Ergebnis der Ermittlung werden zu den Prüfergebnisdaten für das gewählte defekte Bauelement hinzufügt.
  • Die Schleife LP1 wird für alle als defekt ermittelten Bauelemente ausgeführt, so dass die Daten über das Ergebnis der Ermittlung, die auf den Prüfergebnisdaten für die bei der automatischen Prüfung des Erscheinungsbilds als defekt ermittelten Bauteile beruhen, hinzugefügt werden. Wenn alle defekten Bauelemente abgearbeitet sind, wird im letzten Schritt S214 eine Prüfergebnisdatendatei, in die die Daten über das Ergebnis der Ermittlung vollständig aufgenommen sind, an den Verwaltungsserver übermittelt. Auf diese Weise wird die Verarbeitung abgeschlossen.
  • Bei dem vorstehend beschriebenen Beispiel erfolgt stets die Eingabe über das Ergebnis der Ermittlung der Qualität durch den Bediener, und die eingegebenen Daten über das Ergebnis der Ermittlung werden den Prüfergebnisdaten hinzugefügt. Stattdessen kann jedoch das Prüfergebnis im Gebiet 313 der Kontrollbildschirmanzeige auch nur dann zurückgeschrieben werden, wenn der Bediener ermittelt, dass das gewählte Bauelement nicht defekt ist.
  • In vielen Fällen ist eine Fertigungslinie für die mit Bauelementen bestückten Leiterplatten auf ähnliche Weise automatisiert wie die Prüfung des Erscheinungsbildes. Eine Menge aufgetragener Lotpaste und eine Heiztemperatur bei einem Aufschmelzschritt sind jedoch nicht gleichmäßig, und auch die Bestückung mit den Bauelementen durch den Bestücker erfolgt nicht gleichmäßig. Daher kommt es selbst bei gleichartigen Komponenten zu Schwankungen der Positionen und Lagen der Bauelemente, der Formen und Größen der Füllungen und dergleichen. Ähnliche Schwankungen lassen sich auch bei den Zuständen der an identischen Orten identischer Leiterplattentypen zu montierenden Bauelemente beobachten.
  • Jeder Abschnitt der Messverarbeitung bei der Prüfung des Erscheinungsbilds erfolgt an dem visuell erkennbaren Bereich. Dementsprechend ist es sehr wahrscheinlich, dass sich in einem Bereich, in dem sich ein Messwert in hohem Maße von dem optimalen Messwert unterscheidet, in dem Erscheinungsbild, das Objekt der Messung ist, ein Merkmal vorliegt, das sich merklich von dem der anderen Bereiche desselben Typs unterscheidet. Auf diesen Punkt wird bei der vorstehenden Ausführungsform das Augenmerk gelegt, und das Bauteil, bei welchem der Grad der Abweichung des tatsächlichen Messwerts vom optimalen Messwert hoch ist, wird als durch den roten Rahmen RW zu markierendes Objekt extrahiert, und dementsprechend wird es möglich, das Bauelement mit einem solchen Merkmal für das bloße Auge unterscheidbar zu markieren.
  • Darüber hinaus wird in Übereinstimmung mit den Verarbeitungsschritten aus 7 die Markierung mit den roten Rahmen RW in mehreren Orientierungen gesetzt, wobei das defekte Bauelement als Kontrollobjekt als Referenz dient, und außerdem werden die Markierungsmuster an den mehreren Stellen in der Umgebung des defekten Bauelements explizit durch die blauen Rahmen BW illustriert. Dementsprechend kann der Bediener auf Grundlage der Erscheinungsbildmerkmale und der Verteilung der markierten Stellen die entsprechenden Stellen auf der realen Leiterplatte leicht auffinden. Daher lässt sich das defekte Bauelement als Kontrollobjekt fehlerfrei spezifizieren und dessen Qualität ermitteln.
  • Es sei darauf hingewiesen, dass die Suchrichtungen beim Extrahieren der Bauelemente mit großen Graden der Abweichung nicht speziell eingeschränkt sind. Vorzugsweise werden die Suchrichtungen jedoch so gewählt, dass das Kontrollobjekt-Bauteil von den extrahierten Bauelementen umgeben sein kann. Beispielsweise wird im Falle des Beispiels aus 3 die Suche in drei Richtungen bezüglich des defekten Bauelements ausgeführt direkt nach oben, diagonal nach unten rechts und diagonal nach unten links. Darüber hinaus kann die Suche auch in vier Richtungen, d. h. vom Kontrollobjekt-Bauelement aus nach oben, unten, links und rechts erfolgen, und ferner kann sie auch in insgesamt acht Richtungen erfolgen, die sich ergeben, wenn man die vier Richtungen um die diagonalen Richtungen nach oben und unten ergänzt.
  • Darüber hinaus wird bei dem in 7 gezeigten Ablauf für jeden der Suchbereiche ein Bauelement aus dem Bereich mit dem maximalen Grad der Abweichung extrahiert. Die vorliegende Erfindung ist jedoch nicht hierauf eingeschränkt, und es können auch alle Bauelemente extrahiert werden, bei denen der Grad der Abweichung einen vorbestimmten Wert überschreitet. Darüber hinaus können die Bauelemente, denen die roten Rahmen RW hinzugefügt werden, auch so gewählt werden, dass die Bauelemente, bei denen die Grade der Abweichung den vorbestimmten Wert überschreiten, aus dem gesamten vergrößerten Bild als Objekt ausgewählt werden, ohne Suchrichtungen einzustellen, und einige der daraus extrahierten Bauelemente sind so verteilt, dass sie das Kontrollobjekt-Bauelement umgeben. Außerdem kann in dem Fall, dass die Grade der Abweichung der extrahierten Bauelemente den als Bedingung für die Extraktion gewählten Mindestwert (10%) deutlich übersteigen, die Anzahl der von der Suche extrahierten Bauelemente eins werden.
  • Das Verfahren zum Markieren ist nicht auf die Rahmen beschränkt; jedoch müssen Markierungsweisen vermieden werden, bei denen die Merkmale der Markierungsobjekte im Bild nicht kontrolliert werden können.
  • Darüber hinaus sind die durch die roten Rahmen RW zu markierenden Objekte nicht auf die Bauelemente beschränkt, und beispielsweise können auch Lotperlen, die bei einer Fremdkörperprüfung erkannt werden, und Brücken, die bei einer Brückenprüfung erkannt werden, als Markierungsobjekte herangezogen werden. Beispielsweise lassen sich Lotperlen und Brücken, bei denen die bei den Prüfungen gemessenen Größen vorbestimmte Werte übersteigen, einfach vom bloßen Auge erkennen, und eignen sich daher als Markierungsobjekte für die roten Rahmen RW.
  • Es werden weitere Beispiele für Modifikationen an dem vorstehenden System beschrieben.
  • Bei der vorstehenden Ausführungsform werden zunächst die Leiterplattencodes der Leiterplatten als Kontrollobjekte eingegeben, woraufhin die verschiedenen Daten einschließlich der für die Prüfung benutzten Bilder ausgelesen werden und die Kontrollbildschirmanzeige eingestellt wird. Falls die in der Erscheinungsbildprüfvorrichtung 1 geprüften Leiterplatten dem Kontrollendgerät 3 sequenziell in der Reihenfolge ihrer Prüfung zugeführt werden und die zu kontrollierenden Leiterplatten eindeutig spezifiziert werden können, können die Daten gemäß der Prüfreihenfolge an das Kontrollendgerät übermittelt werden, ohne dass die Leiterplattencodes eingegeben werden müssen. In diesem Falle können die Daten direkt von der Erscheinungsbildprüfvorrichtung 1 an das Kontrollendgerät 3 übermittelt werden, ohne den Verwaltungsserver 2 durchlaufen zu müssen.
  • Weiterhin sind die Kontrollobjekte nicht auf die defekten Bauelemente beschränkt, und Bauelemente, bei denen die Grade der Abweichung der Messwerte groß sind, obwohl die betreffenden Bauelemente als nicht defekt ermittelt wurden, können in die Kontrollobjekte aufgenommen werden.
  • Die Funktion zum Auslesen des Bildes in dem Gebiet, welches das Kontrollobjekt-Bauelement umfasst, aus der Bilddatenbank 22 und zum Bearbeiten des Bildes zu dem vergrößerten Bild G, an welchem die Markierung erfolgt, kann auch im Verwaltungsserver 2 bereitgestellt sein und ist nicht auf das Kontrollendgerät 3 beschränkt. In diesem Falle sind im Kontrollendgerät 3 folgende Funktionen vorgesehen eine Funktion zum Empfangen von Daten für die Kontrollbildschirmanzeige 30 einschließlich des vergrößerten Bildes G vom Verwaltungsserver 2 und zum Anzeigen der Daten auf der Anzeigeeinheit 32; und eine Funktion zum Entgegennehmen der Eingabe der Daten über das Ermittlungsergebnis des Bedieners und zum Übermitteln der Daten über das Ermittlungsergebnis an den Verwaltungsserver 2.
  • Bei der vorstehenden Ausführungsform wird das Bild aus der Bilddatenbank 22 ausgelesen, das vergrößerte Bild G wird erstellt, und anschließend werden die Stellen spezifiziert, an denen die roten Rahmen RW und die blauen Rahmen BW hinzugefügt werden. Die Reihenfolge dieser Verarbeitungsabschnitte kann jedoch umgekehrt werden, und die jeweiligen Verarbeitungsabschnitte können auch parallel implementiert werden.
  • Bei der vorstehenden Ausführungsform wird das Teilbild spezifiziert, welches das Kontrollobjekt-Bauelement enthält, und das vergrößerte Bild G wird aus diesem Bild und den Bildern in dessen Umgebung 8 erstellt. Allerdings ist die vorliegende Erfindung nicht hierauf eingeschränkt, und basierend auf den Positionsdaten des Kontrollobjekt-Bauelements kann ein Gebiet mit vorbestimmter Größe spezifiziert werden, in welchem das Bauelement zentriert wird, und ein Bild des spezifizierten Gebiets kann aus dem gesamten Bild der Leiterplatte ausgeschnitten werden.
  • Ferner ist ein Skalierungsfaktor des vergrößerten Bildes G nicht darauf eingeschränkt, konstant zu sein. Falls das Bauelement mit einem großen Grad der Abweichung, dem der rote Rahmen RW hinzugefügt wird, in der Nähe des Kontrollobjekt-Bauelements angeordnet ist, kann der Skalierungsfaktor erhöht werden, und falls das Bauelement, dem der rote Rahmen RW hinzugefügt wird, weit von dem Kontrollobjekt-Bauelement entfernt angeordnet ist, kann der Skalierungsfaktor verringert werden. Es wird beispielsweise in Betracht gezogen, dass ein Abstand zwischen dem Kontrollobjekt-Bauelement und einem Bauelement aus den extrahierten Bauelementen mit großem Grad der Abweichung, das sich am nächsten zu dem Kontrollobjekt-Bauelement befindet, bestimmt wird und der Skalierungsfaktor des vergrößerten Bildes G so gewählt wird, dass der Skalierungsfaktor des vergrößerten Bildes G umgekehrt proportional zu diesem Abstand sein kann.
  • Alternativ hierzu können zwei Skalierungsfaktoren eingestellt werden, d. h. ein Standard-Skalierungsfaktor, bei welchem das gesamte aus den neun Teilbildern gebildete Bild angezeigt wird, und ein Vergrößerungs-Skalierungsfaktor, der größer als der Standard-Skalierungsfaktor ist. Falls eine vorbestimmte Anzahl oder mehr der Bauelemente mit großen Graden der Abweichung in einem Anzeigebereich des Vergrößerungs-Skalierungsfaktors enthalten sind, kann der Vergrößerungs-Skalierungsfaktor angewendet werden; andernfalls kann der Standard-Skalierungsfaktor angewendet werden. Darüber hinaus ist ein solches Wechseln der Skalierungsfaktoren nicht auf zwei Stufen beschränkt; es können auch drei oder mehr Stufen genutzt werden.
  • Bei der vorstehenden Ausführungsform werden die durch den finalen Schritt komplettierten Leiterplatten als Objekte der Sichtkontrolle gewählt. Jedoch kann in einem Stadium, in dem ein Zwischenschritt geendet hat, die Sichtkontrolle an den Leiterplatten erfolgen, an denen die automatische Prüfung des Erscheinungsbildes in dem betreffenden Schritt abgeschlossen ist, und außerdem werden ähnliche Markierungsbilder angezeigt, wodurch der Kontrollvorgang unterstützt werden kann.
  • Schließlich sind die Prüfobjekte, auf welche die vorliegende Erfindung angewendet wird, nicht auf bestückte Leiterplatten beschränkt, und die vorliegende Erfindung kann auch auf andere Strukturen angewendet werden, die jeweils mehrere Objektbereiche zur Prüfung durch die automatische Prüfung des Erscheinungsbildes aufweisen und bei denen im Erscheinungsbild dieser Bereiche visuell erkennbare intrinsische Merkmale auftreten können.
  • Bezugszeichenliste
  • 1
    Erscheinungsbildprüfvorrichtung
    2
    Verwaltungsserver
    3
    Kontrollendgerät
    4
    LAN-Leitung
    21
    Prüfergebnisdatenbank
    22
    Bilddatenbank
    23
    Prüfnormendatenbank
    24
    Speicherverarbeitungseinheit
    32
    Anzeigeeinheit
    33
    Analyseverarbeitungseinheit
    34
    Anzeigeverarbeitungseinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2001-165860 A [0005]
    • JP 195554 A [0005]

Claims (7)

  1. System zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses, wobei es sich bei dem System um ein System zum Unterstützen eines Vorgangs zum Kontrollieren eines Zustandes mindestens eines Prüfobjektbereichs eines Prüfobjekts mit mehreren Bereichen handelt, an denen anhand eines Bildes eine automatische Prüfung des Erscheinungsbildes durchgeführt wird, wobei der Vorgang durch ein Verfahren zum visuellen Erkennen eines realen Prüfobjekts erfolgt und das System Folgendes aufweist: eine Bildspeichereinrichtung, die zum Speichern eines Bildes des Prüfobjekts konfiguriert ist, wobei das Bild durch Bildgebung für die automatische Prüfung eines Erscheinungsbilds erzeugt wird, eine Messdatenspeichereinrichtung, die dazu konfiguriert ist, Messdaten, die durch Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds erhalten werden, verknüpft mit Positionsdaten eines Objektbereichs, der durch die Messverarbeitung gemessen wird, zu speichern; eine Bildleseeinrichtung, die dazu konfiguriert ist, ein Bild eines Gebiets basierend auf Positionsdaten oder Kennzeichnungsdaten eines Kontrollobjektbereichs aus der Bildspeichereinrichtung auszulesen, wobei das Gebiet den Kontrollobjektbereich umfasst und einem Teil des Prüfobjekts entspricht; eine Merkmalbereich-Extraktionseinrichtung, die dazu konfiguriert ist, die Messdaten zu analysieren, die verknüpft mit den in dem Gebiet, das dem von der Bildleseeinrichtung ausgelesenen Bild entspricht, enthaltenen Positionsdaten in der Messdatenspeichereinrichtung gespeichert sind, und einen oder mehrere Merkmalbereiche zu extrahieren, die intrinsische Merkmale aufweisen, welche einzeln visuell erkennbar sind und in der Nähe des Kontrollobjektbereichs verteilt sind; eine Bildbearbeitungseinrichtung, die dazu konfiguriert ist, das von der Bildleseeinrichtung ausgelesene Bild in einen Zustand zu bearbeiten, in welchem die jeweiligen Merkmalbereiche und der Kontrollobjektbereich im Bild in unterschiedlicher Weise markiert sind; und eine Anzeigeeinrichtung, die dazu konfiguriert ist, das von der Bildbearbeitungseinrichtung bearbeitete Bild anzuzeigen.
  2. System zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses nach Anspruch 1, wobei die Merkmalbereich-Extraktionseinrichtung einen Grad einer Abweichung eines Messwerts, der bei der Messverarbeitung der automatischen Prüfung des Erscheinungsbilds erhalten wurde, vom optimalen Messwert als Schlüssel verwendet und anhand des Schlüssels unter den nicht mit dem Kontrollobjektbereich identischen Prüfobjektbereichen, die in dem Gebiet enthalten sind, einen Bereich mit einem relativ großen Grad der Abweichung extrahiert.
  3. System zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses nach Anspruch 1 oder 2, wobei die Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds Messungen zum Erkennen eines Fremdkörpers umfasst, der sich an einem anderen Ort als dem Prüfobjektbereich befindet, und die Merkmalbereich-Extraktionseinrichtung als Merkmalbereich eine Stelle extrahiert, an der in der Nähe des Kontrollobjektbereichs in dem Gebiet Messdaten erhalten werden, die auf den Fremdkörper hinweisen.
  4. System zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses nach Anspruch 1, das ferner Folgendes aufweist: eine Markierungsmuster-Speichereinrichtung, die Daten zum Spezifizieren eines Markierungsmusters speichert, das als Markierung bei der automatischen Prüfung des Erscheinungsbilds festgelegt und für ähnliche Typen des Prüfobjekts gleich ist, wobei die Bildbearbeitungseinrichtung auf der Grundlage der in der Markierungsmuster-Speichereinrichtung gespeicherten Daten einen in dem Gebiet liegenden Ort des Markierungsmusters spezifiziert und das Bild derart bearbeitet, dass der spezifizierte Ort in einer Weise markiert ist, die sich mindestens von der Markierungsweise des Kontrollobjektbereichs unterscheidet.
  5. System zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses nach Anspruch 1, wobei das System einen Server aufweist, der durch Kommunikation mit einer Erscheinungsbildprüfvorrichtung Prüfergebnisdaten empfängt, darunter das bei der Prüfung des Erscheinungsbilds verwendete Bild und die Messdaten, sowie ein Datenendgerät mit einer Anzeigeeinrichtung für den Kontrollvorgang aufweist, und mindestens die Bildspeichereinrichtung und die Messdatenspeichereinrichtung in dem Server vorgesehen sind und die Anzeigeeinrichtung des Datenendgeräts als Anzeigeeinrichtung fungiert.
  6. Vorrichtung zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses, wobei es sich bei der Vorrichtung um eine Vorrichtung zum Unterstützen eines Vorgangs zum Kontrollieren eines Zustandes mindestens eines Prüfobjektbereichs eines Prüfobjekts mit mehreren Bereichen handelt, an denen anhand eines Bildes eine automatische Prüfung des Erscheinungsbildes durchgeführt wird, wobei der Vorgang durch ein Verfahren zum visuellen Erkennen eines realen Prüfobjekts erfolgt und die Vorrichtung Folgendes aufweist: eine Bildleseeinrichtung, die dazu konfiguriert ist, ein Bild eines Gebiets basierend auf Positionsdaten oder Kennzeichnungsdaten eines Kontrollobjektbereichs aus einer Bildspeichereinrichtung, in welcher ein Bild des Prüfobjekts gespeichert ist, auszulesen, wobei das Gebiet den Kontrollobjektbereich umfasst und einem Teil des Prüfobjekts entspricht; eine Merkmalbereich-Extraktionseinrichtung, die dazu konfiguriert ist, Messdaten, die mit den in dem Gebiet, das dem von der Bildleseeinrichtung ausgelesenen Bild entspricht, enthaltenen Positionsdaten verknüpft sind, aus einer Messdaten-Speichereinrichtung auszulesen und zu analysieren, die dazu konfiguriert ist, Messdaten, die durch Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds erhalten werden, verknüpft mit Positionsdaten eines Objektbereichs, der durch die Messverarbeitung gemessen wird, zu speichern und einen oder mehrere Merkmalbereiche zu extrahieren, die intrinsische Merkmale aufweisen, welche einzeln visuell erkennbar sind und in der Nähe des Kontrollobjektbereichs verteilt sind; eine Bildbearbeitungseinrichtung, die dazu konfiguriert ist, das von der Bildleseeinrichtung ausgelesene Bild in einen Zustand zu bearbeiten, in welchem die jeweiligen Merkmalbereiche und der Kontrollobjektbereich im Bild in unterschiedlicher Weise markiert sind; und eine Ausgabeeinrichtung, die dazu konfiguriert ist, Bilddaten des von der Bildbearbeitungseinrichtung bearbeiteten Bildes derart auszugeben, dass die Bilddaten angezeigt werden.
  7. Verfahren zum Unterstützen eines Sichtkontrollvorgangs eines Prüfergebnisses, wobei es sich bei dem Verfahren um ein Verfahren zum Unterstützen eines Vorgangs zum Kontrollieren eines Zustandes mindestens eines Prüfobjektbereichs eines Prüfobjekts mit mehreren Bereichen, an denen anhand eines Bildes eine automatische Prüfung des Erscheinungsbildes durchgeführt wird, handelt, wobei der Vorgang durch ein Verfahren zum visuellen Erkennen eines realen Prüfobjekts erfolgt und das Verfahren folgende Schritte umfasst Speichern eines Bildes des Prüfobjekts in einer Bildspeichereinrichtung als Reaktion auf die automatische Prüfung des Erscheinungsbilds, wobei das Bild durch Bildgebung für die automatische Prüfung des Erscheinungsbilds erzeugt wird, und Speichern von Messdaten, die durch Messverarbeitung bei der automatischen Prüfung des Erscheinungsbilds erhalten werden, verknüpft mit Positionsdaten eines von der Messverarbeitung gemessenen Objektbereichs in einer Messdatenspeichereinrichtung; Auslesen eines Bildes eines Gebiets aus der Bildspeichereinrichtung basierend auf Positionsdaten oder Kennzeichnungsdaten eines Kontrollobjektbereichs, wobei das Gebiet den Kontrollobjektbereich umfasst und einem Teil des Prüfobjekts entspricht; Analysieren von Messdaten, die verknüpft mit den in dem Gebiet, das dem aus der Bildleseeinrichtung ausgelesenen Bild entspricht, enthaltenen Positionsdaten in der Messdatenspeichereinrichtung gespeichert sind, und Extrahieren eines oder mehrerer Merkmalbereiche, die intrinsische Merkmale aufweisen, welche einzeln visuell erkennbar sind und in der Nähe des Kontrollobjektbereichs verteilt sind; und Bearbeiten des aus der Bildspeichereinrichtung ausgelesenen Bildes in einen Zustand, in welchem die jeweiligen Merkmalbereiche und der Kontrollobjektbereich im Bild in unterschiedlicher Weise markiert sind, und Anzeigen des bearbeiteten Bildes.
DE102012219401A 2011-11-07 2012-10-24 System, Vorrichtung und Verfahren zum Unterstützen eines Vorgangs zur Sichtkontrolle eines Prüfergebnisses Pending DE102012219401A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011243589A JP5948797B2 (ja) 2011-11-07 2011-11-07 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法
JP2011-243589 2011-11-07

Publications (1)

Publication Number Publication Date
DE102012219401A1 true DE102012219401A1 (de) 2013-05-08

Family

ID=48129103

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012219401A Pending DE102012219401A1 (de) 2011-11-07 2012-10-24 System, Vorrichtung und Verfahren zum Unterstützen eines Vorgangs zur Sichtkontrolle eines Prüfergebnisses

Country Status (6)

Country Link
US (1) US20130114882A1 (de)
JP (1) JP5948797B2 (de)
KR (1) KR20130050236A (de)
CN (1) CN103091328B (de)
DE (1) DE102012219401A1 (de)
TW (1) TW201331572A (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017005469A1 (de) * 2015-07-07 2017-01-12 Robert Bosch Gmbh Anlage und verfahren zur lötstellenüberprüfung
CN111079482A (zh) * 2019-03-29 2020-04-28 新华三技术有限公司 一种信息获取方法及装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130022240A1 (en) * 2011-07-19 2013-01-24 Wolters William C Remote Automated Planning and Tracking of Recorded Data
JP5930405B2 (ja) * 2013-06-24 2016-06-08 Necフィールディング株式会社 検査システム、検査方法及び端末
KR101522312B1 (ko) * 2013-10-30 2015-05-21 비케이전자 주식회사 Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법
JP6505376B2 (ja) * 2014-05-19 2019-04-24 石田プラスチック株式会社 製品検査システム、検査端末およびプログラム
KR102099112B1 (ko) * 2015-02-26 2020-04-09 한화정밀기계 주식회사 부품 정보 티칭 방법
CN105404900B (zh) * 2015-12-22 2017-12-19 广州视源电子科技股份有限公司 一种并排二极管的定位方法及装置
CN106404793B (zh) * 2016-09-06 2020-02-28 中国科学院自动化研究所 基于视觉的轴承密封件缺陷检测方法
CN106815343B (zh) * 2017-01-16 2020-06-05 上海小海龟科技有限公司 一种数据处理方法及数据处理装置
JP6936577B2 (ja) * 2017-01-20 2021-09-15 株式会社Screenホールディングス 位置ずれ量取得装置、検査装置、位置ずれ量取得方法および検査方法
CN111684268B (zh) * 2018-01-31 2023-10-20 株式会社日冷食品 食品检验辅助系统、食品检验辅助装置和计算机程序
US11386546B2 (en) 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
KR102130837B1 (ko) * 2018-11-15 2020-07-06 심상헌 디지털 프로젝터 검사기 및 이를 이용한 검사방법
EP3709006A1 (de) * 2019-03-15 2020-09-16 Primetals Technologies France SAS Sichtkontrollsystem für ein ausgebreitetes produkt
JP2020165800A (ja) * 2019-03-29 2020-10-08 日置電機株式会社 情報表示装置、測定システムおよび情報表示用プログラム
JP7349717B2 (ja) * 2019-09-30 2023-09-25 シライ電子工業株式会社 基板情報提供システム及びサーバ装置
JP2021140524A (ja) * 2020-03-06 2021-09-16 株式会社東芝 検査端末装置、検査装置、検査システム、及び、検査プログラム
CN111562267B (zh) * 2020-05-29 2023-07-21 重庆施鲁逊智能科技有限公司 用于汽车保险盒装配的视觉检测系统
CN113008521A (zh) * 2021-03-03 2021-06-22 深圳凯视通科技有限公司 显示屏光学检查装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0195554A (ja) 1987-10-07 1989-04-13 Seiko Epson Corp トンネル効果素子
JP2001165860A (ja) 2000-10-05 2001-06-22 Fujitsu Ltd 拡大視認装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68929481T2 (de) * 1988-05-09 2004-06-09 Omron Corp. Vorrichtung und Verfahren zur Anzeige der Ergebnisse einer Leiterplattenprüfung
GB2271683B (en) * 1992-03-04 1996-09-18 Tani Denki Kogyo Kk Visual inspection support system for printed-circuit board
JP2867704B2 (ja) * 1993-04-21 1999-03-10 オムロン株式会社 目視検査支援装置および基板検査装置ならびにこれらを用いたはんだ付け検査方法および修正方法
JP3806461B2 (ja) * 1996-03-29 2006-08-09 ジェネシス・テクノロジー株式会社 物品外観検査装置
JPH09281057A (ja) * 1996-04-15 1997-10-31 Hitachi Ltd 被検査物の欠陥情報収集方法
US6477266B1 (en) * 1998-12-11 2002-11-05 Lucent Technologies Inc. Vision comparison inspection system graphical user interface
JP2002005852A (ja) * 2000-06-22 2002-01-09 Shigeki Kobayashi 半自動はんだ検査装置
JP2004085436A (ja) * 2002-08-28 2004-03-18 Hitachi Giken Co Ltd 工業製品の目視検査支援装置
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2006349540A (ja) * 2005-06-17 2006-12-28 Matsushita Electric Ind Co Ltd 目視検査支援システム
JP4970901B2 (ja) * 2006-10-30 2012-07-11 株式会社メガトレード 目視検査装置、および、当該目視検査装置のレビュー機を動作させるためのコンピュータープログラム
JP5207820B2 (ja) * 2008-05-13 2013-06-12 株式会社Pfu 図面情報管理装置および照合検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0195554A (ja) 1987-10-07 1989-04-13 Seiko Epson Corp トンネル効果素子
JP2001165860A (ja) 2000-10-05 2001-06-22 Fujitsu Ltd 拡大視認装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017005469A1 (de) * 2015-07-07 2017-01-12 Robert Bosch Gmbh Anlage und verfahren zur lötstellenüberprüfung
CN111079482A (zh) * 2019-03-29 2020-04-28 新华三技术有限公司 一种信息获取方法及装置

Also Published As

Publication number Publication date
JP5948797B2 (ja) 2016-07-06
US20130114882A1 (en) 2013-05-09
CN103091328B (zh) 2015-11-18
KR20130050236A (ko) 2013-05-15
CN103091328A (zh) 2013-05-08
JP2013100996A (ja) 2013-05-23
TW201331572A (zh) 2013-08-01

Similar Documents

Publication Publication Date Title
DE102012219401A1 (de) System, Vorrichtung und Verfahren zum Unterstützen eines Vorgangs zur Sichtkontrolle eines Prüfergebnisses
DE102010003376B4 (de) Untersuchungsverfahren
DE68929481T2 (de) Vorrichtung und Verfahren zur Anzeige der Ergebnisse einer Leiterplattenprüfung
EP0095517B1 (de) Verfahren und Einrichtung zur automatischen optischen Inspektion
DE112011104725B9 (de) Lötstelleninspektionsverfahren, Leiterplatteninspektionssystem und Lötstelleninspektionsgerät
DE102015113068B4 (de) Qualitätskontrollvorrichtung und Steuerverfahren für eine Qualitätskontrollvorrichtung
DE10157958B4 (de) Bildverarbeitungsverfahren und-vorrichtung
DE112011104727B4 (de) Leiterplatteninspektionsvorrichtung, Leiterplatteninspektionssystem und Verfahren zur Anzeige eines Bildschirms zum Prüfen eines Leiterplatteninspektionsergebnisses
DE102013203344A1 (de) Informationsanzeigesystem und Verfahren zur Unterstützung der Analyse von Inspektionsergebnissen von Leiterplatten
DE4201943A1 (de) Verfahren und vorrichtung zum pruefen einer verbindung eines elektronischen bauelements
DE102015109843B4 (de) Leiterplattenprüfvorrichtung und Verfahren zu deren Steuerung
DE102011086417B4 (de) Verfahren zum Erkennen eines Brückenverbindungsfehlers
DE102011086469A1 (de) Prüfverfahren
DE102011086642A1 (de) Prüfverfahren
DE102015201382A1 (de) Qualitätssicherungssystem und Vorrichtung zur Innenprüfung
EP0980520B1 (de) Verfahren und schaltungsanordnung zur prüfung von lötstellen
DE102009017695B3 (de) Verfahren zur Inspektion von Lötstellen an elektrischen und elektronischen Bauteilen
DE102021100496A1 (de) Intelligentes Produktionslinienüberwachungssystem und Überwachungsverfahren
WO2022135787A1 (de) Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten
EP0859953B1 (de) Verfahren und anordnung zur prüfung von lötstellen
DE60202831T2 (de) Methode zur Prüfung einer gekrümmten Oberfläche und Vorrichtung zur Prüfung einer Leiterplatte
DE102017215946A1 (de) Prüfsystem, programm und steuerverfahren für prüfvorrichtung
DE102015225018A1 (de) Verfahren zur Prüfung einer Mehrzahl von in gleicher Weise mit Bauteilen bestückten Bauteilträgern, Computerprogrammprodukt zur Durchführung eines solchen Verfahrens, und Prüfsystem zur Durchführung eines solchen Verfahrens
DE19708003A1 (de) Verfahren, Vorrichtung und System zur Fehleranalyse einer Halbleitervorrichtung
DE69532848T2 (de) Verfahren und Vorrichtung zum Feststellen von Betrachtungszonen und deren Anwendung zur Inspektion von Produkten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01N0021840000

Ipc: G01M0011000000

R016 Response to examination communication