JP2014174701A - 制御システム、制御装置、画像処理装置、および、制御方法 - Google Patents

制御システム、制御装置、画像処理装置、および、制御方法 Download PDF

Info

Publication number
JP2014174701A
JP2014174701A JP2013046013A JP2013046013A JP2014174701A JP 2014174701 A JP2014174701 A JP 2014174701A JP 2013046013 A JP2013046013 A JP 2013046013A JP 2013046013 A JP2013046013 A JP 2013046013A JP 2014174701 A JP2014174701 A JP 2014174701A
Authority
JP
Japan
Prior art keywords
image data
data
image processing
information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013046013A
Other languages
English (en)
Other versions
JP6205757B2 (ja
Inventor
Minoru Oka
実 岡
Shinya Sawa
伸也 澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51491448&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2014174701(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2013046013A priority Critical patent/JP6205757B2/ja
Priority to CN201480012028.5A priority patent/CN105009010B/zh
Priority to PCT/JP2014/055992 priority patent/WO2014136941A1/ja
Priority to EP14761004.2A priority patent/EP2952992B1/en
Publication of JP2014174701A publication Critical patent/JP2014174701A/ja
Priority to US14/845,605 priority patent/US10319087B2/en
Application granted granted Critical
Publication of JP6205757B2 publication Critical patent/JP6205757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4188Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by CIM planning or realisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31323Database for CIM
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32186Teaching inspection data, pictures and criteria and apply them for inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37028Detail, extended range, discrimination, switch from one range to other
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】管理する各種情報と対応する対象物の画像データとの解析をより効率的に行うため制御システム、制御装置、画像処理装置、及び、制御方法を提供する。
【解決手段】制御システムは、対象物4に対して実行される処理を制御する制御装置100と、制御装置と関連付けて配置され、対象物を撮像して得られる画像データに対する処理を実行する画像処理装置200とを含む。取得した画像データは、データ記憶領域360へ格納されるように構成され、制御装置および画像処理装置は、単独でまたは互いに協働して、同一の対象物についての、データベース350に定義されているいずれかの属性に対応する制御装置が管理する属性値、および、画像処理装置による処理結果を示す結果情報のうち少なくとも一方と、当該対象物を撮像して得られた画像データのデータ記憶領域における格納先を特定するための特定情報とを、関連付けできるようにデータベースへ送信する。
【選択図】図1

Description

本発明は、データベースおよびデータ記憶領域を利用可能に構成された制御システム、それに向けられた制御装置および画像処理装置、ならびに、その制御システムにおける制御方法に関する。
多くの製造現場で使用される機械や設備といった制御対象は、プログラマブルコントローラ(Programmable Logic Controller;以下「PLC」とも称す。)といった制御装置によって制御される。このような制御装置を含む制御システムが管理する情報は、より上位のコンピュータによって収集および解析されることも多い。
より具体的には、製造工程における不良要因分析や製造工程に対する状態分析といったニーズが存在する。このようなニーズに関して、特開2011−253469号公報(特許文献1)は、製品に対して複数の検査項目がある場合でも、製品に対する問題の把握を、迅速かつ容易に行い得る製品検査情報記録システムを開示する。この製品検査情報記録システムは、検査結果データに製品の重量データおよび異物の混入の有無データを含ませるように構成されている。
特開2011−253469号公報
制御システムが管理する情報としては、例えば、制御対象に関する識別情報や各種の検査結果などが挙げられる。このような検査結果としては、制御対象の対象物(ワークなど)を撮像して得られる画像データを含み得る。不良率の低減などを目的として製造管理の観点から見れば、このような対象物を撮像した画像データも管理項目とすることが好ましい。
一般的なデータベースは、テキストベースの情報を保持および管理するように構成されており、画像データを取り扱うことはそれほど容易ではない。多数のワークを製造および検査するような制御システムにおいては、解析対象となる情報量が膨大になる。また、一般的な製造現場においては、加工工程や検査工程といった複数の工程が存在し、これらの製造工程の全体を管理する場合には、それぞれの工程において取得される情報を互いに関連付ける必要もある。
そのため、制御システムが管理する各種情報と対応する対象物の画像データとの解析をより効率的に行うための構成が要望されている。
本発明のある局面によれば、データベースおよびデータ記憶領域を利用可能に構成された制御システムが提供される。制御システムは、対象物に対して実行される処理を制御する制御装置と、制御装置と関連付けて配置され、対象物を撮像して得られる画像データに対する処理を実行する画像処理装置とを含む。画像処理装置が取得した画像データは、データ記憶領域へ格納されるように構成されている。制御装置および画像処理装置は、いずれか単独でまたは互いに協働して、同一の対象物についての、データベースに定義されているいずれかの属性に対応する制御装置が管理する属性値、および、画像処理装置による処理結果を示す結果情報のうち少なくとも一方と、当該対象物を撮像して得られた画像データのデータ記憶領域における格納先を特定するための特定情報とを、互いに関連付けできるようにデータベースへ送信する。
好ましくは、制御装置は、画像処理装置が取得する各画像データについてのデータ記憶領域に格納される際の識別情報および格納される位置を示す位置情報のうち少なくとも一方を、特定情報として画像処理装置へ提供し、画像処理装置は、取得した各画像データを、制御装置からの対応する特定情報に従ってデータ記憶領域へ格納する。
あるいは好ましくは、画像処理装置は、取得した各画像データを、予め定められた規則に従って、データ記憶領域へ格納するとともに、格納した画像データ毎に対応する特定情報を制御装置へ提供する。
さらに好ましくは、制御装置は、制御装置が管理する情報および画像処理装置が管理する情報の少なくとも一方と、データ記憶領域に格納される画像データを特定するための特定情報とを併せてデータベースへ送信する。
あるいは好ましくは、画像処理装置は、取得した各画像データをデータ記憶領域へ格納するとともに、当該画像データを格納したタイミングを示す時刻情報を制御装置へ提供する。
さらに好ましくは、制御装置は、制御装置が管理する情報および画像処理装置が管理する情報の少なくとも一方と、時刻情報とを併せてデータベースへ送信し、データベースにおいて、制御装置からの時刻情報に基づいて、対応する画像データとの関連付け処理が実行される。
本発明の別の局面によれば、外部記憶装置および画像処理装置と通信可能に構成された制御装置が提供される。制御装置は、制御部と、ユーザプログラムの格納に用いられる記憶部とを含む。制御部は、ユーザプログラムを実行することで対象物に対して実行する処理を制御する。制御部は、対象物に対応付けた制御についての加工データを記憶部に格納する処理と、画像処理装置が画像データを外部記憶装置に格納先を特定する特定情報を、画像処理装置に送信する処理と、加工データおよび当該加工データに対応する対象物についての特定情報を外部記憶装置に送信する処理とを実行可能に構成される。
本発明のさらに別の局面によれば、外部記憶装置および制御装置と通信可能に構成された画像処理装置が提供される。画像処理装置は、制御部と、対象物を撮像して得られる画像データを取得するインターフェイスと、画像データの格納に用いられる記憶部とを含む。制御部は、画像データに対する画像処理を実行する処理と、画像処理によって生成される結果を制御装置へ送信する処理と、制御装置からの、画像データを外部記憶装置に格納先を特定する特定情報に従って、取得した画像データを外部記憶装置に送信する処理とを実行可能に構成される。
好ましくは、画像処理装置は、取得した各画像データを外部記憶装置へ格納するとともに、当該画像データを格納したタイミングを示す時刻情報を制御装置へ提供する。
本発明のさらに別の局面によれば、データベースおよびデータ記憶領域を利用可能に構成された制御システムにおける制御方法が提供される。制御方法は、制御装置が対象物に対して実行される処理を制御するステップと、制御装置と関連付けて配置された画像処理装置が対象物を撮像して得られる画像データに対する処理を実行するステップと、画像処理装置が取得した画像データをデータ記憶領域へ格納するステップと、制御装置および画像処理装置は、いずれか単独でまたは互いに協働して、同一の対象物についての、データベースに定義されているいずれかの属性に対応する制御装置が管理する属性値、および、画像処理装置による処理結果を示す結果情報のうち少なくとも一方と、当該対象物を撮像して得られた画像データのデータ記憶領域における格納先を特定するための特定情報とを、互いに関連付けできるようにデータベースへ送信ステップとを含む。
本発明によれば、制御システムが管理する各種情報と対応する対象物の画像データとの解析をより効率的に行うことができる。
本実施の形態に係る制御システムを含む製造システムの構成を示す模式図である。 本実施の形態に係る製造システムの解析装置が出力する解析結果の一例を示す図である。 本実施の形態に係る製造システムのデータベースにおけるデータ構造の一例を示す図である。 本実施の形態に係るPLCの構成を示す模式図である。 本実施の形態に係る視覚センサの構成を示す模式図である。 本実施の形態に係る情報収集装置の構成を示す模式図である。 実施の形態1に係る製造システムにおける処理手順を示すシーケンス図である。 実施の形態2に係る製造システムにおける処理手順を示すシーケンス図である。 実施の形態3に係る製造システムにおける処理手順を示すシーケンス図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
<A.全体構成>
まず、本実施の形態に係る制御システムの全体構成について説明する。図1は、本実施の形態に係る制御システム1を含む製造システムSYSの構成を示す模式図である。
図1を参照して、製造システムSYSは、制御システム1と、情報収集装置300と、解析装置400とを含む。制御システム1は、プログラマブルコントローラ(以下「PLC」とも称す。)100と視覚センサ200とを含む。これらの装置は、ネットワーク30を介して接続されているとする。
PLC100は、制御対象のワークなど(以下、「対象物」とも称す。)に対して実行される処理を制御する制御装置の典型的な具現化例である。このような制御装置としては、PLCに限らず、汎用コンピュータによって実現してもよいし、専用のハードウエアによって実現される装置であってもよい。
図1に示す製造システムSYSでは、コンベア2で連続的に搬送されるワーク4に対して、ロボット10が加工工程(以下、「加工工程1」とも称す。)を実行し、その加工後のワーク4に対して、ロボット20がさらなる加工工程(以下、「加工工程2」とも称す。)を実行する例を示す。PLC100は、ロボット10および20によるそれぞれの加工工程、ならびに、コンベア2の搬送を制御する。
視覚センサ200は、ロボット10および20による加工後のワーク4に対してその加工の適否を判断する。この視覚センサ200による判断を行う工程を、以下「検査工程」とも称す。つまり、視覚センサ200は、PLC100(制御装置)と関連付けて配置され、対象物であるワーク4を撮像して得られる画像データ50に対する処理を実行する画像処理装置の典型的な具現化例である。視覚センサ200における画像処理としては、ワーク4自体の位置検出、ワーク4の良否判定、ワーク4の特定部分の抽出といった、検査やトラッキングに係る処理を含む。
情報収集装置300および解析装置400は、制御システム1に対する製造管理を行うための構成であり、制御システム1が管理する情報を収集するとともに、必要に応じて、収集した情報を解析して、その結果をユーザなどへ出力する。
情報収集装置300は、データベース350およびデータ記憶領域360を含む。データベース350は、制御システム1から送信される各種情報を保持および管理する。データベース350におけるデータの更新処理などは、データベースエンジン(DBエンジン)352によって実行される。制御システム1からの情報は、典型的には、処理要求を示す文字列からなるクエリ(Query)40として送信される。
データ記憶領域360は、ファイルサーバなどとして提供され、制御システム1から送信される画像データ50を受信して保持する。制御システム1において、視覚センサ200がワーク4を撮像して得られる画像データ50は、視覚センサ200から直接的または間接的に情報収集装置300へ送信される。すなわち、視覚センサ200(画像処理装置)が取得した画像データ50は、データ記憶領域360へ格納されるように構成されている。つまり、情報収集装置300は、外部記憶装置として機能する。
このように、制御システム1は、データベースおよびデータ記憶領域を利用可能に構成されている。
図1には、典型例として、情報収集装置300がデータベース350およびデータ記憶領域360を含む構成を示すがこの構成に限られることはない。すなわち、データベース350およびデータ記憶領域360はそれぞれ別の装置に実装されてもよいし、単一の装置に実装されてもよい。さらに、データベース350は、複数の装置がそれぞれ保持するデータベース機能を仮想的に統合することで提供されてもよい。データ記憶領域360についても同様に、複数の装置で実現してもよい。あるいは、データベース350およびデータ記憶領域360の少なくとも一方をPLC100または視覚センサ200に実装してもよい。
解析装置400は、情報収集装置300に格納された情報とデータ記憶領域360に格納された画像データ50とを関連付けて解析した結果を出力することで、製造工程における不良要因分析や製造工程に対する状態分析を支援する。
<B.解析処理>
次に、本実施の形態に係る製造システムSYSによって提供される解析処理の概要について説明する。図2は、本実施の形態に係る製造システムSYSの解析装置400が出力する解析結果の一例を示す図である。
図2を参照して、解析装置400は、データ記憶領域360に格納された画像データ50をそれに関連付けられる情報(複数の属性別に定義される属性値)に基づいて分類するとともに、分類された画像データ50をその分類に用いられた属性値に関連付けて表示する。例えば、各画像データ50に関連付けて、「シリアルNo」、「装置No」、「部品No」、「加工日時」、「検査日時」、「検査工程における検査結果(OK/NG)」などの属性名が付与された複数の属性が定義されている。図2に示す解析結果では、検査工程における結果(属性値)が「NG」である画像データ50について、その「部品No」の別にグループ分けされた上で、それぞれのグループに属する画像データ50が表示されている。表示される画像データ50を選択すると、その選択された画像データ50を拡大表示することもできる。
さらに、各画像データ50に関連付けられている属性(属性名)を任意に選択し、グルーピングおよび表示が可能になっている。図2に示す例では、「検査工程における検査結果(OK/NG)」と「部品No」とによってグルーピングされている例を示すが、さらにグルーピングに用いる属性を追加してもよい。例えば、図2に示す解析結果をさらに「加工日時」の別にグルーピングすることで、製造工程に対する状態の時間的な変化などを解析することもできる。この場合には、「部品No」および「加工日時」によって定義される二次元座標上に、対応する画像データ50が表示されることになる。
このように、本実施の形態に係る製造システムSYSによれば、製造現場から多数の画像データ50に対して任意の属性の観点から解析を行うことができ、これによって、製造現場における状況の傾向などを容易に把握することができる。また、図2に示すように、分析結果として画像データ50が表示されるので、多角的な分析を行うことができる。さらに、データマイニング技術を適用することで、多数の画像データ50から製造工程における不良要因分析を容易に行うことができる。
<C.データベース>
次に、上述のような解析処理を実現するためのデータベースにおけるデータ構造について説明する。
本実施の形態に係る制御システム1は、上述のような多数の画像データ50を用いた解析を容易に行うための基盤となる構成を提供する。すなわち、制御システム1からの情報(クエリ40)と画像データ50とを用いて分析を行うために、情報収集装置300での情報間の関連付けを自動的に行う必要がある。そこで、本実施の形態に係る制御システム1では、PLC100(制御装置)および視覚センサ200(画像処理装置)は、いずれか単独でまたは互いに協働して、同一のワーク4(対象物)についての、データベース350に定義されているいずれかの属性に対応するPLC100が管理する属性情報、および、視覚センサ200による処理結果を示す結果情報のうち少なくとも一方と、当該ワーク4を撮像して得られた画像データ50のデータ記憶領域360における格納先を特定するための特定情報とを、互いに関連付けできるようにデータベース350へ送信する。視覚センサ200から直接的または間接的に情報収集装置300へ送信されて格納される。一方、データベース350には、この視覚センサ200からの画像データ50がいずれの位置に格納されたのかを示す情報がワーク4の別に格納される。これによって、データベース350を参照すれば、ワーク4の各々に対応する画像データ50がデータ記憶領域360のいずれの位置にあるかを一意に特定できる。
図3は、本実施の形態に係る製造システムSYSのデータベース350におけるデータ構造の一例を示す図である。図3に示すデータ構造においては、1つのレコードが1つのワーク4に関連付けられている。なお、図3には、1つのレコードに複数のカラムが設けられている単一のテーブル構造を示すが、リレーショナルデータベースを採用する場合には、複数のテーブルを互いに関連付けてもよい。
図3を参照してデータベース350のテーブルには、「シリアルNo」、「装置No」、「部品No」、「加工日時」、「検査日時」、「検査工程における検査結果(OK/NG)」にそれぞれ対応するカラム3501,3502,3503,3504,3505,3506が定義されている。これらのカラムは、PLC100および視覚センサ200の少なくとも一方が保持している情報に対応する。カラム3507には、各ワーク4を視覚センサ200で撮像して得られた画像データ50の位置を示す文字列が格納される。このようなテーブルを参照することで、各レコード(つまり、各ワーク4)についての情報と対応する画像データ50とを一意に関連付けることができる。
以下、製造システムSYSに含まれる装置の構成について説明した後、図3に示すような画像データ50との関連付けを実現するためのいくつかの実装例について説明する。
<D.PLC100の構成>
次に、本実施の形態に係るPLC100の構成について説明する。図4は、本実施の形態に係るPLC100の構成を示す模式図である。
図4を参照して、PLC100は、制御演算を実行するCPUユニット110と、1つ以上のIO(Input Output)ユニット130とを含む。これらのユニットは、内部バス102を介して互いにデータを遣り取りできるように構成される。これらのユニットには、図示しない電源ユニットによって適切な電圧の電源が供給される。
CPUユニット110は、チップセット112と、プロセッサ114と、記憶部としての主メモリ116および不揮発性メモリ118と、ネットワークインターフェイス120と、内部バスコントローラ122と、メモリカードインターフェイス124とを含む。チップセット112と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
チップセット112およびプロセッサ114は、典型的には、汎用的なコンピュータアーキテクチャに準じて構成される。より具体的には、チップセット112は、接続されている各コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ114に必要な命令コードを生成する。チップセット112は、プロセッサ114での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。プロセッサ114は、チップセット112から内部クロックに従って順次供給される命令コードを解釈して実行する。プロセッサ114としては、単一のコアを含む1つのプロセッサを用いる構成に代えて任意の構成を採用してもよい。例えば、単一のコアを含むプロセッサを複数含む構成や、単一のプロセッサを複数含む構成、複数のコアを含むプロセッサを複数含む構成などを採用してもよい。
CPUユニット110は、記憶手段として、揮発性の主メモリ116および不揮発性メモリ118を有する。主メモリ116は、プロセッサ114で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。さらに、主メモリ116は、対象物に対して実行される処理などに関連した加工条件データやパラメータを格納する記憶領域として用いられる。より具体的には、主メモリ116は、加工データ116aを保持している。加工データ116aの詳細については、後述する。
不揮発性メモリ118は、OS(Operating System)、システムプログラム、ユーザプログラム、データ定義情報、ログ情報などを不揮発的に格納する。より具体的には、不揮発性メモリ118は、ユーザプログラム118a、シーケンス命令ライブラリ118b、DBアクセス処理ライブラリ118c、および設定情報118dを格納している。ユーザプログラム118aは、制御対象を制御するために必要な命令を含み、プロセッサ114によって周期的またはイベント的に実行される。シーケンス命令ライブラリ118bは、ユーザプログラム118aの実行によって呼出され、定義されたシーケンス命令に従う処理を実現する。また、ユーザプログラム118aは、情報収集装置300のデータベース350へアクセスするための命令を含み、プロセッサ114がこのアクセスするための命令が実行されることで、DBアクセス処理ライブラリ118cが呼出され、ネットワークインターフェイス120などを利用して、データベース350へ必要なデータを送信し、あるいは、データベース350から必要なデータを取得する。
また、不揮発性メモリ118に格納される設定情報118dは、情報収集装置300(データベース350およびデータ記憶領域360)へアクセスするために必要な情報(ネットワーク設定値など)を含む。
CPUユニット110は、通信手段として、ネットワークインターフェイス120および内部バスコントローラ122を有する。ネットワークインターフェイス120は、視覚センサ200および/または情報収集装置300との間でデータの遣り取りを提供する。内部バスコントローラ122は、内部バス102を介して、IOユニット130との間でデータの遣り取りを提供する。
メモリカードインターフェイス124は、CPUユニット110に対して着脱可能なメモリカード126に対してデータの書込およびメモリカード126からのデータの読出などを行う。
IOユニット130は、入出力処理に関する処理を行う。より具体的には、IOユニット130は、IOモジュール134および内部バスコントローラ132を含む。IOモジュール134は、フィールドからの信号を収集して、その信号値を示すデータをCPUユニット110へ向けて出力し、および/または、CPUユニット110からのデータに従って信号値をフィールドへ出力する。IOモジュール134の種別としては、アナログ信号の入出力に係るモジュール、デジタル信号の入出力に係るモジュール、温度調節機能に係るモジュール、位置決め機能に係るモジュールなどがある。
内部バスコントローラ132は、内部バス102を介して内部バスコントローラ122と通信することで、CPUユニット110とIOモジュール134との間のデータの遣り取りを実現する。
<E.視覚センサ200の構成>
次に、本実施の形態に係る視覚センサ200の構成について説明する。図5は、本実施の形態に係る視覚センサ200の構成を示す模式図である。
図5を参照して、視覚センサ200は、カメラ202に接続されており、カメラ202が対象物を撮像することで生成した画像データ50に対して、予め定められた画像処理を実行する。具体的には、視覚センサ200は、IOコントローラ210と、システムコントローラ212と、プロセッサ214と、主メモリ216と、表示部220と、ハードディスク218と、カメラインターフェイス222と、メモリカードインターフェイス224と、入力部228と、PLCインターフェイス230と、ネットワークインターフェイス232とを含む。これらの各コンポーネントは、システムコントローラ212を中心として、互いにデータ通信可能に結合される。
システムコントローラ212は、プロセッサ214、主メモリ216、表示部220、およびIOコントローラ210とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに視覚センサ200における処理全体を制御する。
プロセッサ214は、システムコントローラ212との間でハードディスク218に格納されたプログラムなどを遣り取りして、これらを所定順序で実行することで、画像処理を実現する。
主メモリ216は、揮発性の記憶装置であり、ハードディスク218から読出されたプログラムに加えて、カメラ202によって取得された画像データ、画像処理によって生成される検査結果を示すデータ、およびワークデータなどを保持する。
ハードディスク218は、不揮発性の磁気記憶装置であり、プロセッサ214で実行されるプログラムに加えて、各種設定値などが格納される。このハードディスク218にインストールされるプログラムは、後述するように、メモリカード226などに格納された状態で流通する。ハードディスク218には、画像データが格納されてもよい。
表示部220は、システムコントローラ212からの内部コマンドに従って、各種の画像を表示する。
IOコントローラ210は、視覚センサ200に接続される各種装置との間のデータ交換を制御する。より具体的には、IOコントローラ210は、ハードディスク218と、カメラインターフェイス222と、入力部228と、PLCインターフェイス230と、ネットワークインターフェイス232と、メモリカードインターフェイス224と接続される。
カメラインターフェイス222は、カメラ202とプロセッサ214との間のデータ伝送を仲介する。より具体的には、カメラインターフェイス222は、1つ以上のカメラ202と接続が可能であり、カメラ202からの画像データを一時的に蓄積するための画像バッファ222aを含む。
入力部228は、典型的には、キーボード、マウス、タッチパネル、専用コンソールといった入力装置である。PLCインターフェイス230は、プロセッサ214とPLC100との間のデータ伝送を仲介する。ネットワークインターフェイス232は、プロセッサ214と図示しない他のパーソナルコンピュータやサーバ装置などと間のデータ伝送を仲介する。ネットワークインターフェイス232は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス224は、視覚センサ200に対して着脱可能なメモリカード226に対してデータの書込およびメモリカード226からのデータの読出などを行う。
<F.情報収集装置300の構成>
次に、本実施の形態に係る情報収集装置300の構成について説明する。図6は、本実施の形態に係る情報収集装置300の構成を示す模式図である。
図6を参照して、情報収集装置300は、汎用的なコンピュータアーキテクチャに準じて構成されるコンピュータである。より具体的には、情報収集装置300は、OSを含む各種プログラムを実行するCPU302と、BIOSや各種データを格納するROM(Read Only Memory)304と、CPU302でのプログラムの実行に必要なデータを格納するための作業領域を提供するメモリRAM306と、CPU302で実行されるプログラムなどを不揮発的に格納するハードディスク(HDD)308とを含む。ハードディスク308は、図1に示すデータベース350およびデータ記憶領域360を提供する。
情報収集装置300は、さらに、ユーザからの操作を受付けるキーボード310およびマウス312と、各種の情報をユーザへ提示するためのモニタ314とを含む。さらに、情報収集装置300は、PLC100や視覚センサ200などと通信するためのネットワークインターフェイス318を含む。
情報収集装置300で実行される各種処理プログラムは、光学記録媒体332に格納されて流通する。光学記録媒体332に格納された各種処理プログラムは、光学ディスク読取装置316によって読取られ、ハードディスク308などへ格納される。あるいは、上位のホストコンピュータなどからネットワークを通じて各種処理プログラムをダウンロードするように構成してもよい。
<G.解析装置400の構成>
本実施の形態に係る解析装置400の構成については、図6に示す情報収集装置300の構成と同様であるので、詳細な説明は繰返さない。
<H.実施の形態1>
実施の形態1として、PLC100が主体的に機能し、対象物であるワーク4を撮像して得られる画像データ50の格納位置を視覚センサ200へ指示する構成について説明する。実施の形態1において、PLC100は、加工工程1および加工工程2での情報を管理しており、この情報を以下の説明では「加工データ」とも称す。一方、視覚センサ200は、検査工程における結果の情報を管理しており、この情報を以下の説明では「検査データ」とも称す。上述したように、視覚センサ200は、ワーク4を撮像して画像データ50を生成する。
加工データ116a(図4)としては、「シリアルNo」、「装置No」、「部品No」、「加工日時」、「加工装置における設定データ」などの情報を含む。検査データとしては、「シリアルNo」、「装置No」、「検査日時」、「検査工程における検査結果(OK/NG)」、「計測値」などの情報を含む。なお、「計測値」としては、例えば、モデル画像との一致度を示す相関値などを含む。
実施の形態1においては、PLC100が保持する加工データおよび視覚センサ200が出力する検査データを含むクエリがPLC100において生成され、データベース350へ送信される。また、視覚センサ200が生成する画像データ50は、データ記憶領域360へ格納される。上述の図3に示すような画像データ50との関連付けを容易に行えるように、PLC100から視覚センサ200に対して、画像データ50の格納先を予め指示しておき、PLC100は、この予め指示した格納先の情報をクエリに含ませる。
すなわち、PLC100(制御装置)は、視覚センサ200(画像処理装置)が取得する各画像データ50についてのデータ記憶領域360に格納される際の識別情報および格納される位置を示す位置情報のうち少なくとも一方を、特定情報として視覚センサ200(画像処理装置)へ提供する。視覚センサ200(画像処理装置)は、取得した各画像データ50を、PLC100(制御装置)からの対応する特定情報に従ってデータ記憶領域360へ格納する。
特定情報(格納先)を視覚センサ200に対して指示するために、PLC100は、視覚センサ200がデータベース350およびデータ記憶領域360へアクセスするための設定情報(図4に示す設定情報118d)を少なくとも保持しているものとする。このような設定情報としては、情報収集装置300のIP(Internet Protocol)アドレス、ネットワークドメイン、格納先のフォルダ名などを含む。このような設定情報は、情報収集装置300の管理者などからの情報に基づいてPLC100に予め設定しておいてもよい。あるいは、PLC100がネットワーク30上に問い合わせメッセージを送信し、情報収集装置300などからの応答に基づいて、必要な設定情報を取得するようにしてもよい。
一方、PLC100(制御装置)は、PLC100が管理する情報(典型的には、加工データ)および視覚センサ200が管理する情報(典型的には、検査データ)の少なくとも一方と、データ記憶領域360に格納される画像データ50を特定するための特定情報とを併せてデータベース350へ送信する。
このような処理によって、画像データ50と加工データおよび検査データとを一意に関連付けることができる。具体的な手順について、シーケンス図を参照して説明する。
図7は、実施の形態1に係る製造システムSYSにおける処理手順を示すシーケンス図である。図7には、PLC100、視覚センサ200および情報収集装置300(データベース350およびデータ記憶領域360)の間の具体的な遣り取りの手順が示されている。
図7を参照して、まず、PLC100と視覚センサ200との間でトラッキング合わせが実行される(シーケンスSQ100)。このトラッキング合わせは、PLC100と視覚センサ200との間の位置関係(相対的なずれなど)を特定するための処理であり、例えば、コンベア2上に基準ワークを配置し、当該基準ワークの到着をPLC100が検出したタイミングと、当該基準ワークの到着を視覚センサ200が検出したタイミングとのずれ量(あるいや、ずれ時間やコンベア2の移動量などであってもよい)を算出し、これをトラッキングのオフセット値として設定する。このオフセット値を用いることで、PLC100が保持する加工データおよび視覚センサ200が保持する検査データのうち、同一のワーク4に係るデータを特定することができる。このようなトラッキング合わせが終了すると、実稼働に入る。
まず、PLC100は、ワーク4の到着を検出すると(シーケンスSQ102)、当該ワーク4に対して加工工程1を実行する(シーケンスSQ104)。この加工工程1の実行に伴って、関連する加工データが生成および更新される。続いて、PLC100は、加工工程1が実行されたワーク4に対して、加工工程2を実行する(シーケンスSQ106)。この加工工程2の実行に伴って、関連する加工データが生成および更新される。
その後、PLC100は、当該加工工程を実行したワーク4についての特定情報(識別情報および/または位置情報)を視覚センサ200へ送信する(シーケンスSQ108)。特定情報は、データ記憶領域360に格納される画像データ50を特定するための情報であり、識別情報としては、典型的にはファイル名などを含む。位置情報としては、画像データ50が格納されるディレクトリ名やフォルダ名を含む。例えば、ワーク4の別に異なるファイル名をもつ画像データ50を同一のフォルダに格納する場合(例えば、図3に示すカラム3507に格納されるファイル名のようにその中に含まれる数字をインクリメントするような場合)には、フォルダ名などの位置情報は不要となり、ファイル名などの識別情報のみを送信すればよい。一方、ファイル名(例えば、image.jpg)を同一にしつつ、格納されるフォルダをワーク4毎に異ならせる場合には、識別情報は不要となり、位置情報のみを送信すればよい。さらに、データ記憶領域360に格納された画像データ50をURL(Uniform Resource Locator)などを用いて特定する場合には、位置情報および識別情報の両方を送信することになる。視覚センサ200は、このPLC100からの特定情報を順次保持する。
続いて、視覚センサ200は、ワーク4の到着を検出すると(シーケンスSQ110)、当該ワーク4に対して画像処理を実行する(シーケンスSQ112)。この画像処理は、対象のワーク4に対する良否判定などの検査工程を含む。この検査工程によって、視覚センサ200は、ワーク4を撮像した画像データ50および検査データを取得する。
視覚センサ200は、予めPLC100から通知されている特定情報に従って、取得した画像データ50をデータ記憶領域360へ送信する(シーケンスSQ114)。データ記憶領域360は、この視覚センサ200からの画像データ50を格納する(シーケンスSQ116)。併せて、視覚センサ200は、検査工程によって取得した検査データをPLC100へ送信する(シーケンスSQ118)。
視覚センサ200から検査データを受信したPLC100は、加工工程1および加工工程2において取得された加工データと、視覚センサ200からの検査データと、視覚センサ200に対して予め送信した特定情報とを用いて、クエリを生成し(シーケンスSQ120)、データベース350へ送信する(シーケンスSQ122)。なお、単一のクエリで、すべての情報を送信する必要はなく、これらの情報を複数のクエリに分けて送信してもよい。
データベース350(DBエンジン352)は、PLC100から送信されたクエリに基づいて、データベースを更新する(シーケンスSQ124)。
以下、シーケンスSQ102〜SQ124までの処理がワーク4の各々について繰返し実行される。このような処理によって、図3に示すようなデータベースが生成され、各ワーク4について、加工データおよび検査データと対応する画像データ50とを一意に関連付けできる。
<I.実施の形態2>
実施の形態2として、格納した画像データ50を特定する情報を視覚センサ200がPLC100へ通知することで、PLC100が送信する情報との関連付けを実現する構成について説明する。実施の形態2においても、PLC100は「加工データ」を管理しており、視覚センサ200は「検査データ」を管理しているとする。
視覚センサ200が生成する画像データ50は、データ記憶領域360へ格納される。また、PLC100が保持する加工データおよび視覚センサ200が出力する検査データを含むクエリがPLC100において生成され、データベース350へ送信される。このPLC100からデータベース350へ送信されるクエリに視覚センサ200が格納した画像データ50を特定するための特定情報が含められる。
すなわち、視覚センサ200(画像処理装置)は、取得した各画像データ50を、予め定められた規則に従って、データ記憶領域360へ格納するとともに、格納した画像データ50毎に対応する特定情報をPLC100(制御装置)へ提供する。
一方、PLC100(制御装置)は、PLC100が管理する情報(典型的には、加工データ)および視覚センサ200が管理する情報(典型的には、検査データ)の少なくと
も一方と、データ記憶領域360に格納される画像データ50を特定するための特定情報とを併せてデータベース350へ送信する。
このような処理によって、画像データ50と加工データおよび検査データとを一意に関連付けることができる。具体的な手順について、シーケンス図を参照して説明する。
図8は、実施の形態2に係る製造システムSYSにおける処理手順を示すシーケンス図である。図8には、PLC100、視覚センサ200および情報収集装置300(データベース350およびデータ記憶領域360)の間の具体的な遣り取りの手順が示されている。
図8を参照して、まず、PLC100と視覚センサ200との間でトラッキング合わせが実行される(シーケンスSQ200)。このトラッキング合わせは、上述の実施の形態1におけるトラッキング合わせと同様である(図7のシーケンスSQ100)。このようなトラッキング合わせが終了すると、実稼働に入る。
まず、PLC100は、ワーク4の到着を検出すると(シーケンスSQ202)、当該ワーク4に対して加工工程1を実行する(シーケンスSQ204)。この加工工程1の実行に伴って、関連する加工データが生成および更新される。続いて、PLC100は、加工工程1が実行されたワーク4に対して、加工工程2を実行する(シーケンスSQ206)。この加工工程2の実行に伴って、関連する加工データが生成および更新される。
一方、視覚センサ200は、ワーク4の到着を検出すると(シーケンスSQ208)、当該ワーク4に対して画像処理を実行する(シーケンスSQ210)。この画像処理は、対象のワーク4に対する良否判定などの検査工程を含む。この検査工程によって、視覚センサ200は、ワーク4を撮像した画像データ50および検査データを取得する。
そして、視覚センサ200は、予め定められた規則に従って、取得した画像データ50をデータ記憶領域360へ送信する(シーケンスSQ212)。データ記憶領域360は、この視覚センサ200からの画像データ50を格納する(シーケンスSQ214)。この予め定められた規則としては、ワーク4の到着毎にファイル名に含まれる数字をインクリメントするといった方法が挙げられる。あるいは、上述の実施の形態1において説明したような規則に従って、特定情報を決定してもよい。
併せて、視覚センサ200は、データ記憶領域360に格納した画像データ50を特定するための特定情報(識別情報および/または位置情報)をPLC100へ送信する(シーケンスSQ216)とともに、検査工程によって取得した検査データをPLC100へ送信する(シーケンスSQ218)。
視覚センサ200から検査データを受信したPLC100は、加工工程1および加工工程2において取得された加工データと、視覚センサ200からの検査データと、視覚センサ200に対して予め送信した特定情報とを用いて、クエリを生成し(シーケンスSQ220)、データベース350へ送信する(シーケンスSQ222)。なお、単一のクエリで、すべての情報を送信する必要はなく、これらの情報を複数のクエリに分けて送信してもよい。
データベース350(DBエンジン352)は、PLC100から送信されたクエリに基づいて、データベースを更新する(シーケンスSQ224)。
以下、シーケンスSQ202〜SQ224までの処理がワーク4の各々について繰返し実行される。このような処理によって、図3に示すようなデータベースが生成され、各ワーク4について、加工データおよび検査データと対応する画像データ50とを一意に関連付けできる。
<J.実施の形態3>
実施の形態3として、視覚センサ200がワーク4を撮像して生成した画像データ50をデータ記憶領域360へ格納したタイミングを示す時刻情報をPLC100へ通知しておき、PLC100が送信する情報にこの時刻情報を含めておくことで、データベース350において関連付ける処理を実行する構成について説明する。実施の形態3においても、PLC100は「加工データ」を管理しており、視覚センサ200は「検査データ」を管理しているとする。
視覚センサ200が生成する画像データ50は、データ記憶領域360へ格納される。また、PLC100が保持する加工データおよび視覚センサ200が出力する検査データを含むクエリがPLC100において生成され、データベース350へ送信される。このPLC100からデータベース350へ送信されるクエリに視覚センサ200が格納した画像データ50を特定するための時刻情報が含められる。
すなわち、視覚センサ200(画像処理装置)は、取得した各画像データ50をデータ記憶領域360へ格納するとともに、当該画像データ50を格納したタイミングを示す時刻情報をPLC100(制御装置)へ提供する。
一方、PLC100(制御装置)は、PLC100が管理する情報(典型的には、加工データ)および視覚センサ200が管理する情報(典型的には、検査データ)の少なくとも一方と、対応する時刻情報とを併せてデータベース350へ送信する。データベース350は、PLC100からの時刻情報に基づいて、対応する画像データ50との関連付け処理を実行する。すなわち、データベース350(DBエンジン352)は、PLC100から受信したクエリに含まれている時刻情報に基づいて、データ記憶領域360を参照し、当該時刻情報によって示される時刻に格納された画像データ50を特定し、対象のクエリと関連付ける。つまり、データベース350によって、加工データおよび検査データと対応する画像データ50との関連付けが実行される。具体的な手順について、シーケンス図を参照して説明する。
図9は、実施の形態3に係る製造システムSYSにおける処理手順を示すシーケンス図である。図9には、PLC100、視覚センサ200および情報収集装置300(データベース350およびデータ記憶領域360)の間の具体的な遣り取りの手順が示されている。
図9を参照して、まず、PLC100と視覚センサ200との間でトラッキング合わせが実行される(シーケンスSQ300)。このトラッキング合わせは、上述の実施の形態1におけるトラッキング合わせと同様である(図7のシーケンスSQ100)。このようなトラッキング合わせが終了すると、実稼働に入る。
まず、PLC100は、ワーク4の到着を検出すると(シーケンスSQ302)、当該ワーク4に対して加工工程1を実行する(シーケンスSQ304)。この加工工程1の実行に伴って、関連する加工データが生成および更新される。続いて、PLC100は、加工工程1が実行されたワーク4に対して、加工工程2を実行する(シーケンスSQ306)。この加工工程2の実行に伴って、関連する加工データが生成および更新される。
一方、視覚センサ200は、ワーク4の到着を検出すると(シーケンスSQ308)、当該ワーク4に対して画像処理を実行する(シーケンスSQ310)。この画像処理は、対象のワーク4に対する良否判定などの検査工程を含む。この検査工程によって、視覚センサ200は、ワーク4を撮像した画像データ50および検査データを取得する。
そして、視覚センサ200は、取得した画像データ50をデータ記憶領域360へ送信する(シーケンスSQ312)。データ記憶領域360は、この視覚センサ200からの画像データ50を格納する(シーケンスSQ314)。このとき、データ記憶領域360に格納される画像データ50のファイル名などは、他の画像データ50との重複がない限り、任意に設定できる。
併せて、視覚センサ200は、画像データ50をデータ記憶領域360へ格納したタイミングを示す時刻情報をPLC100へ送信する(シーケンスSQ316)とともに、検査工程によって取得した検査データをPLC100へ送信する(シーケンスSQ318)。
視覚センサ200から検査データを受信したPLC100は、加工工程1および加工工程2において取得された加工データと、視覚センサ200からの検査データと、視覚センサ200に対して予め送信した特定情報とを用いて、クエリを生成し(シーケンスSQ320)、データベース350へ送信する(シーケンスSQ322)。なお、単一のクエリで、すべての情報を送信する必要はなく、これらの情報を複数のクエリに分けて送信してもよい。
データベース350(DBエンジン352)は、PLC100から送信されたクエリに含まれる時刻情報に基づいて、データ記憶領域360を参照し、当該時刻情報によって示される時刻に格納された画像データ50を特定し、対象のクエリと関連付ける(シーケンスSQ324)。その上で、データベース350(DBエンジン352)は、その関連付けに係る情報を含むように、データベースを更新する(シーケンスSQ324)。
以下、シーケンスSQ302〜SQ324までの処理がワーク4の各々について繰返し実行される。このような処理によって、図3に示すようなデータベースが生成され、各ワーク4について、加工データおよび検査データと対応する画像データ50とを一意に関連付けできる。
<K.その他の形態>
上述の実施の形態1〜3においては、PLC100と視覚センサ200との間の関係(典型的には、オフセット値)に基づいて、ワーク4をトラッキングする構成について例示したが、この方法に限られず、任意の構成を採用できる。すなわち、同一のワーク4について、PLC100が管理する加工データと視覚センサ200が管理する検査データとの関連付けができればよく、このようなこのような関連付けの実現方法としては、ワーク4の各々に識別情報を付与し(例えば、バーコードや無線タグなどを用いて)、この識別情報に基づいて、データ間の関連付けを行うようにしてもよい。
<L.変形例>
上述したように、汎用コンピュータを用いて実現する場合には、本実施の形態に係る機能を提供するためのプログラムに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラムは、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。そのため、本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
また、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。
さらに、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウエア回路として実装してもよい。
<M.利点>
本実施の形態によれば、データベースに格納される各ワークの加工データおよび検査データと対応する画像データ50との一意の関連付けが自動的に実行される。そのため、解析対象のワークが多数存在していても、すなわち解析対象のデータが大量に存在していても、加工データおよび検査データと対応する画像データとに対する解析をより効率的に行うことができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 制御システム、2 コンベア、4 ワーク、10,20 ロボット、30 ネットワーク、40 クエリ、50 画像データ、100 PLC、102 内部バス、110 CPUユニット、112 チップセット、114,214 プロセッサ、116,216 主メモリ、116a 加工データ、118 不揮発性メモリ、118a ユーザプログラム、118b シーケンス命令ライブラリ、118c DBアクセス処理ライブラリ、118d 設定情報、120,232,318 ネットワークインターフェイス、122,132 内部バスコントローラ、124,224 メモリカードインターフェイス、126,226 メモリカード、130 IOユニット、134 IOモジュール、200 視覚センサ、202 カメラ、210 IOコントローラ、212 システムコントローラ、218,308 ハードディスク、220 表示部、222 カメラインターフェイス、222a 画像バッファ、228 入力部、230 インターフェイス、300 情報収集装置、302 CPU、304 ROM、306 RAM、310 キーボード、312 マウス、314 モニタ、316 装置、332 光学記録媒体、350 データベース、352 データベースエンジン(DBエンジン)、360 データ記憶領域、400 解析装置、SYS 製造システム。

Claims (10)

  1. データベースおよびデータ記憶領域を利用可能に構成された制御システムであって、
    対象物に対して実行される処理を制御する制御装置と、
    前記制御装置と関連付けて配置され、前記対象物を撮像して得られる画像データに対する処理を実行する画像処理装置とを備え、
    前記画像処理装置が取得した画像データは、前記データ記憶領域へ格納されるように構成されており、
    前記制御装置および前記画像処理装置は、いずれか単独でまたは互いに協働して、同一の対象物についての、前記データベースに定義されているいずれかの属性に対応する前記制御装置が管理する属性値、および、前記画像処理装置による処理結果を示す結果情報のうち少なくとも一方と、当該対象物を撮像して得られた画像データの前記データ記憶領域における格納先を特定するための特定情報とを、互いに関連付けできるように前記データベースへ送信する、制御システム。
  2. 前記制御装置は、前記画像処理装置が取得する各画像データについての前記データ記憶領域に格納される際の識別情報および格納される位置を示す位置情報のうち少なくとも一方を、前記特定情報として前記画像処理装置へ提供し、
    前記画像処理装置は、取得した各画像データを、前記制御装置からの対応する特定情報に従って前記データ記憶領域へ格納する、請求項1に記載の制御システム。
  3. 前記画像処理装置は、取得した各画像データを、予め定められた規則に従って、前記データ記憶領域へ格納するとともに、格納した画像データ毎に対応する特定情報を前記制御装置へ提供する、請求項1に記載の制御システム。
  4. 前記制御装置は、前記制御装置が管理する情報および前記画像処理装置が管理する情報の少なくとも一方と、前記データ記憶領域に格納される画像データを特定するための特定情報とを併せて前記データベースへ送信する、請求項2または3に記載の制御システム。
  5. 前記画像処理装置は、取得した各画像データを前記データ記憶領域へ格納するとともに、当該画像データを格納したタイミングを示す時刻情報を前記制御装置へ提供する、請求項1に記載の制御システム。
  6. 前記制御装置は、前記制御装置が管理する情報および前記画像処理装置が管理する情報の少なくとも一方と、前記時刻情報とを併せて前記データベースへ送信し、
    前記データベースにおいて、前記制御装置からの時刻情報に基づいて、対応する画像データとの関連付け処理が実行される、請求項5に記載の制御システム。
  7. 外部記憶装置および画像処理装置と通信可能に構成された制御装置であって、
    制御部と、
    ユーザプログラムの格納に用いられる記憶部とを備え、
    前記制御部は、前記ユーザプログラムを実行することで対象物に対して実行する処理を制御し、
    前記制御部は、
    前記対象物に対応付けた前記制御についての加工データを前記記憶部に格納する処理と、
    前記画像処理装置が画像データを前記外部記憶装置に格納先を特定する特定情報を、前記画像処理装置に送信する処理と、
    前記加工データおよび当該加工データに対応する対象物についての前記特定情報を前記外部記憶装置に送信する処理とを実行可能に構成される、制御装置。
  8. 外部記憶装置および制御装置と通信可能に構成された画像処理装置であって、
    制御部と、
    対象物を撮像して得られる画像データを取得するインターフェイスと、
    前記画像データの格納に用いられる記憶部とを備え、
    前記制御部は、
    前記画像データに対する画像処理を実行する処理と、
    前記画像処理によって生成される結果を前記制御装置へ送信する処理と、
    前記制御装置からの、前記画像データを前記外部記憶装置に格納先を特定する特定情報に従って、取得した前記画像データを前記外部記憶装置に送信する処理とを実行可能に構成される、画像処理装置。
  9. 前記画像処理装置は、取得した各画像データを前記外部記憶装置へ格納するとともに、当該画像データを格納したタイミングを示す時刻情報を前記制御装置へ提供する、請求項8に記載の画像処理装置。
  10. データベースおよびデータ記憶領域を利用可能に構成された制御システムにおける制御方法であって、
    制御装置が対象物に対して実行される処理を制御するステップと、
    前記制御装置と関連付けて配置された画像処理装置が前記対象物を撮像して得られる画像データに対する処理を実行するステップと、
    前記画像処理装置が取得した画像データを前記データ記憶領域へ格納するステップと、
    前記制御装置および前記画像処理装置は、いずれか単独でまたは互いに協働して、同一の対象物についての、前記データベースに定義されているいずれかの属性に対応する前記制御装置が管理する属性値、および、前記画像処理装置による処理結果を示す結果情報のうち少なくとも一方と、当該対象物を撮像して得られた画像データの前記データ記憶領域における格納先を特定するための特定情報とを、互いに関連付けできるように前記データベースへ送信ステップとを含む、制御方法。
JP2013046013A 2013-03-07 2013-03-07 制御システム、制御装置、画像処理装置、および、制御方法 Active JP6205757B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013046013A JP6205757B2 (ja) 2013-03-07 2013-03-07 制御システム、制御装置、画像処理装置、および、制御方法
CN201480012028.5A CN105009010B (zh) 2013-03-07 2014-03-07 控制系统、控制装置、图像处理装置及控制方法
PCT/JP2014/055992 WO2014136941A1 (ja) 2013-03-07 2014-03-07 制御システム、制御装置、画像処理装置、および、制御方法
EP14761004.2A EP2952992B1 (en) 2013-03-07 2014-03-07 Control system, control device, image processing device, and control method
US14/845,605 US10319087B2 (en) 2013-03-07 2015-09-04 Control system, control device, image processing device, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013046013A JP6205757B2 (ja) 2013-03-07 2013-03-07 制御システム、制御装置、画像処理装置、および、制御方法

Publications (2)

Publication Number Publication Date
JP2014174701A true JP2014174701A (ja) 2014-09-22
JP6205757B2 JP6205757B2 (ja) 2017-10-04

Family

ID=51491448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013046013A Active JP6205757B2 (ja) 2013-03-07 2013-03-07 制御システム、制御装置、画像処理装置、および、制御方法

Country Status (5)

Country Link
US (1) US10319087B2 (ja)
EP (1) EP2952992B1 (ja)
JP (1) JP6205757B2 (ja)
CN (1) CN105009010B (ja)
WO (1) WO2014136941A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068816A (ja) * 2015-09-28 2017-04-06 オムロン株式会社 管理システム
WO2017056749A1 (ja) * 2015-09-28 2017-04-06 オムロン株式会社 管理システムおよび管理方法
JP2018156510A (ja) * 2017-03-21 2018-10-04 セイコーエプソン株式会社 シート製造装置およびシート製造システム
JP2019046296A (ja) * 2017-09-05 2019-03-22 ファナック株式会社 センサデータ関連付けシステム及びサーバ
WO2021019821A1 (ja) * 2019-07-30 2021-02-04 オムロン株式会社 情報管理システム、情報管理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582630B2 (ja) 2015-07-03 2019-10-02 三星ダイヤモンド工業株式会社 基板分断装置及び基板分断方法
JP2017199972A (ja) * 2016-04-25 2017-11-02 オリンパス株式会社 端末装置、情報取得システム、情報取得方法およびプログラム
JP2018024044A (ja) * 2016-08-09 2018-02-15 オムロン株式会社 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム
JP2018097661A (ja) * 2016-12-14 2018-06-21 オムロン株式会社 生産システム、制御装置、および制御方法
JP2018124605A (ja) * 2017-01-30 2018-08-09 オムロン株式会社 画像処理システム、情報処理装置、情報処理方法、および、情報処理プログラム
EP3407598B1 (en) * 2017-05-25 2021-12-08 Canon Kabushiki Kaisha Image capturing apparatus, system, and method
JP7166767B2 (ja) * 2017-05-25 2022-11-08 キヤノン株式会社 機器、製造方法、およびシステム
JP7024239B2 (ja) * 2017-07-25 2022-02-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
JP6962858B2 (ja) 2018-04-27 2021-11-05 ファナック株式会社 画像管理装置
JP6501029B1 (ja) * 2018-07-26 2019-04-17 オムロン株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7316056B2 (ja) * 2019-02-12 2023-07-27 株式会社キーエンス プログラマブルロジックコントローラ及びカメラ入力拡張ユニット
CN113705487B (zh) * 2021-08-31 2023-08-08 西南交通大学 精密工件识别及工艺参数关联系统以及识别方法
US20230244204A1 (en) * 2022-01-25 2023-08-03 Hitachi, Ltd. Simplified plc programming with mobile device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293142A (ja) * 2007-05-23 2008-12-04 Nichizou Denshi Seigyo Kk 生産ラインにおける製品検査情報記録システム
JP2011515772A (ja) * 2008-03-25 2011-05-19 シクパ ホールディング エスアー アイテムの生産を管理する方法およびシステム
JP2011253469A (ja) * 2010-06-04 2011-12-15 Hitachi Zosen Corp 生産ラインにおける製品検査情報記録システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208762A (en) * 1990-12-06 1993-05-04 Baxter International Inc. Automated prescription vial filling system
US6477266B1 (en) * 1998-12-11 2002-11-05 Lucent Technologies Inc. Vision comparison inspection system graphical user interface
JP2002222083A (ja) * 2001-01-29 2002-08-09 Fujitsu Ltd 事例蓄積装置および方法
JP2002298058A (ja) * 2001-03-29 2002-10-11 Seiko Epson Corp デジタルコンテンツ提供システム,デジタルコンテンツ提供方法,サーバ装置及びデジタルコンテンツ提供プログラム
US20040207836A1 (en) * 2002-09-27 2004-10-21 Rajeshwar Chhibber High dynamic range optical inspection system and method
US7995831B2 (en) * 2003-01-30 2011-08-09 Express Scripts, Inc. Prescription bottle imaging system and method
US7787672B2 (en) * 2004-11-04 2010-08-31 Dr Systems, Inc. Systems and methods for matching, naming, and displaying medical images
DE102007042272B4 (de) * 2007-09-06 2009-09-24 Vistec Semiconductor Systems Gmbh Verfahren zur Korrektur der durch die Verzeichnung eines Objektivs verursachten Messfehler
US8176144B2 (en) * 2007-12-06 2012-05-08 Eastman Kodak Company Pseudo real time indexing of digital media files
US7447996B1 (en) * 2008-02-28 2008-11-04 International Business Machines Corporation System for using gender analysis of names to assign avatars in instant messaging applications
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US8831090B2 (en) * 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
US8140284B2 (en) * 2009-03-23 2012-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. System for mapping vehicle mutilation defects
US20110276445A1 (en) * 2009-10-06 2011-11-10 Chess Steven M Timekeeping Computer System with Image Capture and Quick View
CN102012946A (zh) * 2010-12-22 2011-04-13 武汉上博科技有限公司 一种高效的安全监控视频/图像数据存储方法
GB201107191D0 (en) * 2011-04-28 2011-06-15 Bell Alan J Monitoring movable articles
JP5955163B2 (ja) * 2011-09-06 2016-07-20 キヤノン株式会社 画像処理装置および画像処理方法
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US9014427B2 (en) * 2012-01-20 2015-04-21 Medsentry, Inc. Medication storage device and method
US8855399B2 (en) * 2012-02-07 2014-10-07 Applied Materials Israel, Ltd. System, a method and a computer program product for CAD-based registration
US10147025B2 (en) * 2012-07-17 2018-12-04 Shockwatch, Inc. Visual indicator status recognition
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
CA2831051A1 (en) * 2012-10-24 2014-04-24 Jumpstart Consultants, Inc. Method of producing a customized image on a web of material
US8948508B2 (en) * 2012-10-31 2015-02-03 Medsnap, Llc System and method of adaptive color correction for pill recognition in digital images
US8712163B1 (en) * 2012-12-14 2014-04-29 EyeNode, LLC Pill identification and counterfeit detection method
US9183688B2 (en) * 2013-02-19 2015-11-10 LaserLock Technologies Inc. Characteristic verification system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293142A (ja) * 2007-05-23 2008-12-04 Nichizou Denshi Seigyo Kk 生産ラインにおける製品検査情報記録システム
JP2011515772A (ja) * 2008-03-25 2011-05-19 シクパ ホールディング エスアー アイテムの生産を管理する方法およびシステム
JP2011253469A (ja) * 2010-06-04 2011-12-15 Hitachi Zosen Corp 生産ラインにおける製品検査情報記録システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068816A (ja) * 2015-09-28 2017-04-06 オムロン株式会社 管理システム
WO2017056749A1 (ja) * 2015-09-28 2017-04-06 オムロン株式会社 管理システムおよび管理方法
US10809703B2 (en) 2015-09-28 2020-10-20 Omron Corporation Management system and management method
JP2018156510A (ja) * 2017-03-21 2018-10-04 セイコーエプソン株式会社 シート製造装置およびシート製造システム
JP2019046296A (ja) * 2017-09-05 2019-03-22 ファナック株式会社 センサデータ関連付けシステム及びサーバ
JP7100966B2 (ja) 2017-09-05 2022-07-14 ファナック株式会社 センサデータ関連付けシステム及びサーバ
WO2021019821A1 (ja) * 2019-07-30 2021-02-04 オムロン株式会社 情報管理システム、情報管理方法
JP2021022296A (ja) * 2019-07-30 2021-02-18 オムロン株式会社 情報管理システム、情報管理方法

Also Published As

Publication number Publication date
US10319087B2 (en) 2019-06-11
JP6205757B2 (ja) 2017-10-04
WO2014136941A1 (ja) 2014-09-12
EP2952992A1 (en) 2015-12-09
EP2952992B1 (en) 2020-05-13
EP2952992A4 (en) 2016-08-17
CN105009010B (zh) 2017-12-05
US20160012577A1 (en) 2016-01-14
CN105009010A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
JP6205757B2 (ja) 制御システム、制御装置、画像処理装置、および、制御方法
US8913850B2 (en) Information technology asset location using visual detectors
US11422915B2 (en) Trace data acquisition system, trace data acquisition method, and information storage medium
JP2017021804A5 (ja)
EP2972976A1 (en) Capture and association of measurement data
JPWO2015068210A1 (ja) トレースデータ記録システム、トレースデータ記録サーバ、トレースデータ記録方法、プログラム、及び情報記憶媒体
CN103577310A (zh) 记录软件调试日志的方法以及装置
WO2021019821A1 (ja) 情報管理システム、情報管理方法
CN112416762B (zh) Api测试方法及装置、设备、计算机可读存储介质
US20230156085A1 (en) Information processing system, information processing method and non-transitory storage medium storing information processing program thereon
JP2019215812A (ja) 監視装置、および監視装置の制御方法
CN106445949A (zh) 检测数据表中数据变化的方法和装置
JP2020047044A (ja) 作業管理システム、作業管理サーバ、および、作業管理方法
WO2017107159A1 (zh) 一种数字装备工业控制方法、装置及系统
KR101875258B1 (ko) 자동 이동 장치를 이용한 홈 모니터링 방법 및 그 장치
JPWO2015121982A1 (ja) ドキュメント管理プログラム、装置、および方法
EP4224261A1 (en) Inspection device, inspection method, and program
US20220229422A1 (en) Information generation device, information generation method, and non-transitory computer-readable recording medium
EP4254108A1 (en) Operating assistance system and operating assistance method
KR101983501B1 (ko) 자동 이동 장치를 이용한 홈 모니터링 방법 및 그 장치
CN117573711A (zh) 用于数据追溯的数据关联方法、装置、设备以及介质
JP6190296B2 (ja) 機器管理システム、装置、および方法
JP2016053751A (ja) 情報処理装置、情報処理方法及びプログラム
JP2017004182A (ja) 情報処理装置及び情報処理方法
JP2006072409A (ja) 欠陥検査システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170821

R150 Certificate of patent or registration of utility model

Ref document number: 6205757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157