JP2021135622A - 情報処理装置、検査システム及びプログラム - Google Patents

情報処理装置、検査システム及びプログラム Download PDF

Info

Publication number
JP2021135622A
JP2021135622A JP2020029921A JP2020029921A JP2021135622A JP 2021135622 A JP2021135622 A JP 2021135622A JP 2020029921 A JP2020029921 A JP 2020029921A JP 2020029921 A JP2020029921 A JP 2020029921A JP 2021135622 A JP2021135622 A JP 2021135622A
Authority
JP
Japan
Prior art keywords
information
unit
cloud server
information processing
opinion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020029921A
Other languages
English (en)
Inventor
俊介 加藤
Shunsuke Kato
俊介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIPPON SUPPORT SYSTEM KK
Original Assignee
NIPPON SUPPORT SYSTEM KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIPPON SUPPORT SYSTEM KK filed Critical NIPPON SUPPORT SYSTEM KK
Priority to JP2020029921A priority Critical patent/JP2021135622A/ja
Publication of JP2021135622A publication Critical patent/JP2021135622A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning

Landscapes

  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】検査工程で発生する被検査画像、判別結果、及び解析データ等から生産ラインで生じる不具合の真因を把握するための情報処理装置、検査システム及びプログラムを提供すること。【解決手段】本発明の一態様によれば、生産ラインを検査する情報処理装置であって、解析情報生成部と、転送部とを備え、前記解析情報生成部は、撮像装置から取得した検査画像を解析し、解析情報を生成するように構成され、ここで前記解析情報とは、前記生産ラインにおいて生産された被検査物が予め定められた基準を満たしているかを含む情報で、前記転送部は、前記解析情報を外部のクラウドサーバに転送するように構成されるものが提供される。【選択図】図1

Description

本発明は、情報処理装置、検査システム及びプログラムに関する。
生産ラインの検査工程では、カメラで撮像した被検査物の画像を基に欠陥の有無を判別している。大量に発生する被検査画像、判別結果、及び解析データは欠陥の有無の判別のみに利用され、生産ラインで生じる不具合の真因を把握するまでには利用されていない。
特許文献1には、多くの画像データを上位装置に保存する手段が開示されている。
特許4830727号公報
しかしながら、特許文献1に開示される画像データ転送方式は、インライン検査を高速で行うための手段であり、生産ラインで生じる不具合の真因を把握するものではない。
本発明は、かかる事情を鑑みてなされたものであり、検査工程で発生する被検査画像、判別結果、及び解析データ等から生産ラインで生じる不具合の真因を把握するための情報処理装置、検査システム及びプログラムを提供することを目的とする。
本発明の一態様によれば、生産ラインを検査する情報処理装置であって、解析情報生成部と、転送部とを備え、前記解析情報生成部は、撮像装置から取得した検査画像を解析し、解析情報を生成するように構成され、ここで前記解析情報とは、前記生産ラインにおいて生産された被検査物が予め定められた基準を満たしているかを含む情報で、前記転送部は、前記解析情報を外部のクラウドサーバに転送するように構成されるものが提供される。
かかる情報処理装置を用いて、解析情報を外部のクラウドサーバに保存することで、長期間に亘る検査データを適正に解析することができ、その結果、生産ラインで生じる不具合の真因を把握することができる、という有利な効果を奏する。
本実施形態に係るシステム1の構成概要を示す図である。 情報処理装置3のハードウェア構成を示すブロック図である。 クラウドサーバ5のハードウェア構成を示すブロック図である。 情報処理装置3(制御部33)の機能を示す機能ブロック図である。 クラウドサーバ5(制御部53)の機能を示す機能ブロック図である。 検査画像WIの一例を示す図である。 欠陥抽出画像DIの一例を示す図である。 解析情報ADの一例を示す図である。 生産ラインの稼働具合に関する現場情報ED1の一例を示す図である。 生産ラインの環境に関する現場情報ED2の一例を示す図である。 意見情報ODの一例を示す図である。 検査に関する各種情報の流れを示すアクティビティ図である。 検査結果の意見情報ODの流れを示すアクティビティ図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.ハードウェア構成
第1節では、本実施形態のハードウェア構成について説明する。図1は、本実施形態に係るシステム1の構成概要を示す図である。第1節では、システム1の全体構成について説明する。
1.1 システム1
システム1は、情報処理装置3と、撮像装置6と、ネットワーク接続装置8とを備え、これらが電気通信回線を通じて通信可能に構成される。撮像装置6は、被検査物7を撮像して検査画像WIを生成するように構成される。また、システム1は、同様に通信可能に構成されるクラウドサーバ5をさらに備える。以下、これらの構成要素についてさらに説明する。
1.2 情報処理装置3
図2は、情報処理装置3のハードウェア構成を示すブロック図である。情報処理装置3は、通信部31と、記憶部32と、制御部33と、表示部34と、入力部35とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。各構成要素についてさらに説明する。
(通信部31)
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。情報処理装置3は、通信部31を介して外部のクラウドサーバ5と情報通信を可能に構成される。例えば、ユーザが情報処理装置3を用いてクラウドサーバ5に格納されたファイルにアクセスする場合は、通信部31を介して行われる。
(記憶部32)
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
特に、記憶部32は、撮像装置6から取得した検査画像WIを解析し、解析情報ADを生成するプログラムを記憶する。記憶部32は、解析情報AD及び検査画像WIを外部のクラウドサーバ5に転送するプログラムを記憶する。記憶部32は、外部のクラウドサーバ5を介して意見情報ODを取得するプログラムを記憶する。さらに、記憶部32は、現場情報ED1及び現場情報ED2を生成するプログラムを記憶する。
また、記憶部32は、これ以外にも制御部33によって実行される情報処理装置3に係る種々のプログラム等を記憶している。
(制御部33)
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には、解析情報ADを生成する解析情報生成機能、解析情報AD及び検査画像WIを外部のクラウドサーバ5に転送する転送機能、意見情報ODを取得する意見情報取得機能、現場情報ED1及び現場情報ED2を生成する現場情報生成機能等が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、解析情報生成部331、現場情報生成部332、転送部333、意見情報取得部334、保存部335、及び出力部336として実行される。これらについては、第2節においてさらに詳述する。
なお、図2においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。
(表示部34)
表示部34は、例えば、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部34は、ユーザが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置3の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部33における表示制御部(不図示)の制御信号に応答して、表示画面を選択的に表示しうる。例えば、検査画像WI、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2、意見情報OD他をユーザが視認可能に表示することができる。
(入力部35)
入力部35は、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部35は、表示部34と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部35がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス30を介して制御部33に転送され、制御部33が必要に応じて所定の制御や演算を実行しうる。
1.3 撮像装置6
撮像装置6は、生産ラインの検査工程に配置され、被検査物7の外観及び内部を撮像して検査画像WIを生成する。撮像装置6は、CCDカメラ、赤外線カメラ、レーザーカメラ等であり、被検査物7の状態を撮像できるものであれば特に限定しない。撮像装置6の台数は検査工程により異なる。検査画像WIは、撮像後、電気通信回線を通じて情報処理装置3に送信される。検査画像WIは静止画像のみならず動画像も含む。また、検査画像WIは二次元画像のみならず三次元画像も含む。どれも画像形式は問わない。
1.4 ネットワーク接続装置8
ネットワーク接続装置8は、情報処理装置3と接続され、これとクラウドサーバ5とを接続する専用インターネット回線を提供するように構成される。ネットワーク接続装置8の一例としてONUやルーターがある。専用インターネット回線は、生産ラインの他の機器が接続されるネットワークと別異に構成された回線である。
1.5 クラウドサーバ5
図3は、クラウドサーバ5のハードウェア構成を示すブロック図である。クラウドサーバ5は、通信部51と、記憶部52と、制御部53と、表示部54と、入力部55とを有し、これらの構成要素がクラウドサーバ5の内部において通信バス50を介して電気的に接続されている。各構成要素についてさらに説明する。
(通信部51)
通信部51は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。例えば、クラウドサーバ5は、通信部51を介して情報処理装置3と情報通信可能に構成される。
(記憶部52)
記憶部52は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
特に、記憶部52は、意見情報ODを生成するプログラムを記憶する。また、記憶部52は、意見情報ODを情報処理装置3に転送するプログラムを記憶する。
また、記憶部52は、これ以外にも制御部53によって実行されるクラウドサーバ5に係る種々のプログラム等を記憶している。
(制御部53)
制御部53は、クラウドサーバ5に関連する全体動作の処理・制御を行う。制御部53は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部53は、記憶部52に記憶された所定のプログラムを読み出すことによって、クラウドサーバ5に係る種々の機能を実現する。意見情報ODを生成する意見情報生成機能、意見情報ODを転送する意見情報転送機能等が該当する。すなわち、ソフトウェア(記憶部52に記憶されている)による情報処理がハードウェア(制御部53)によって具体的に実現されることで、受付部531、意見情報生成部532、意見情報転送部533、保存部534、及び出力部535として実行される。これらについては、第2節においてさらに詳述する。
(表示部54)
表示部34は、例えば、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部34は、ユーザが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置3の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部53における表示制御部(不図示)の制御信号に応答して、表示画面を選択的に表示しうる。例えば、検査画像WI、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2、意見情報OD他をユーザが視認可能に表示することができる。
(入力部55)
入力部55は、クラウドサーバ5の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部55は、表示部54と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部55がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス50を介して制御部53に転送され、制御部53が必要に応じて所定の制御や演算を実行しうる。
2.機能構成
本節では、本実施形態の機能構成について説明する。図4は、情報処理装置3(制御部33)の機能を示す機能ブロック図である。図5は、クラウドサーバ5(制御部53)の機能を示す機能ブロック図である。
2.1 情報処理装置3の機能
まず、情報処理装置3の機能構成について説明する。前述の制御部33に関して、情報処理装置3は、解析情報生成部331と、現場情報生成部332と、転送部333と、意見情報取得部334と、保存部335と、出力部336とを備える。以下、各構成要素についてさらに説明する。
(解析情報生成部331)
解析情報生成部331は、撮像装置6から取得した検査画像WIを解析し、欠陥抽出画像DI及び解析情報ADを生成するように構成される。図6は、検査画像WIの一例を示す図である。図7は、欠陥抽出画像DIの一例を示す図である。ここでの欠陥抽出画像DIは、検査画像WIを特定の閾値で二値化をして欠陥を抽出したものである。四角い枠内に欠陥が抽出されている。
ここで解析とは、情報処理装置3が検査画像WIを画像処理し、その結果より欠陥の有無の判定等を行うことに加えて、作業者が、情報処理装置3を用いて直接検査画像WIを確認し、欠陥の有無の判定等を行うことも含む。欠陥抽出画像DIは静止画像のみならず動画像も含む。また、欠陥抽出画像DIは二次元画像のみならず三次元画像も含む。どれも画像形式は問わない。
解析の具体例として、検査画像WIと良品画像(不図示)をパターンマッチングし、被検査物7の欠陥箇所、欠陥の大きさ、欠陥の重心、欠陥の種別等を検出する。これらの検出結果を基に解析情報ADが生成される。そのため解析情報ADは、生産ラインにおいて生産された被検査物7が予め定められた基準を満たしているかを含む。図8は、解析情報ADの一例を示す図である。解析情報ADは、被検査物7が基準に満たしているか否かの結果のみならず被検査物7を検査した時間、照度、温度、湿度、検査責任者等の検査条件及び関連情報も含む。
解析情報生成部331、パターンマッチングの他に、所定の学習済みモデルに基づいて、検査画像WIを解析し、解析情報ADを生成するように構成される。具体的には、予め被検査物7の良品画像を用いて学習済みモデルを生成し、被検査物7と学習済みモデルを比較して欠陥の有無の判定等をする。解析手法は、パターンマッチング、AI技術に限らず、特定の閾値で検査画像WI画像を二値化して欠陥を抽出する手法でも良い。欠陥抽出が可能な手法であれば解析手法を限定しない。
(現場情報生成部332)
現場情報生成部332は、現場情報ED1及び現場情報ED2を生成するように構成される。ここで、現場情報ED1は、生産ラインの稼働具合に関する情報であり、現場情報ED2は、生産ラインの環境に関する情報である。図9は、生産ラインの稼働具合に関する現場情報ED1の一例を示す図である。具体的には、生産ラインの稼働具合は、各工程の設備名、稼働率、作業者、被検査物7の処理を行われた時間等の稼働に関する各種データである。図10は、生産ラインの環境に関する現場情報ED2の一例を示す図である。具体的には、生産ラインの環境は、生産ラインの各工程の温度及び湿度に関するデータである。データは温度及び湿度に限定されず、あらゆる環境に関するデータが含まれる。
現場情報ED1及び現場情報ED2の基となるデータは、生産ラインの各工程に配置されるセンサー等から電気通信回線を通じて情報処理装置3に送信されるが、オフラインで現場の作業者が直接情報処理装置3に入力しても良い。現場情報生成部332は、これらのデータを必要に応じて加工する。
(転送部333)
転送部333は、検査画像WI、欠陥抽出画像DI及び解析情報ADを外部のクラウドサーバ5に転送するように構成される。また、転送部333は、現場情報ED1及び現場情報ED2をクラウドサーバ5に転送するように構成される。検査画像WI、欠陥抽出画像DI及び解析情報ADが転送されるタイミングは、被検査物7の検査が完了し、解析情報ADが生成された後、逐次転送しても良いが、情報処理装置3の記憶部32に保存して、複数枚画像が溜まった後に、全部又は一部を纏めて転送しても良い。現場情報ED1及び現場情報ED2も同様に生成後に転送される。逐次転送しても良いが、情報処理装置3の記憶部32に保存して、複数枚画像が溜まった後に、全部又は一部を纏めて転送しても良い。転送するタイミングと転送量は限定しない。また、転送するデータは、圧縮しても良い。圧縮形式は、ZIP、PAR、LHA等であり、限定しない。また、転送は、通信部31を介して行われる。
専用インターネット回線を介して検査画像WI、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2をクラウドサーバ5に転送するように構成されるため情報転送速度及びセキュリティーの面でも優位である。
(意見情報取得部334)
意見情報取得部334は、クラウドサーバ5を介して意見情報ODを取得するように構成される。図11は、意見情報ODの一例を示す図である。意見情報ODは、被検査物7のワーク名、欠陥の種別、欠陥の状態等の検査に関するデータである。また、意見情報ODは、クラウドサーバ5に転送された各種情報をアクセスできる監視者が、クラウドサーバ5経由で解析情報ADを確認し、それに対して提示された意見を含むものである。具体的には、意見情報ODは、監視者が解析情報AD及び検査画像WIのうち少なくとも1つの情報から被検査物7の欠陥の傾向や要因を分析し、その結果気がついたことが含まれる。
意見情報ODは、生産ラインでの検査結果では得られない情報が含まれているため生産ラインで生じる不具合の真因を把握する上で有用である。即ち、多くの検査画像WI及び解析情報ADを確認することで、時系列的な特徴、周期的に現れる欠陥の特徴、欠陥の位置的な特徴を把握することができる。意見情報ODにはそのような結果を含んでいるため、生産ラインで生じている問題を全体的な視点で把握できる。また、監視者は、一つの検査工程の検査結果のみならず複数の検査工程の検査結果を確認して、生産ライン全体の状況を俯瞰的に把握して意見をすることができる。そのため信頼度の高い意見が得られる。
さらに、意見情報ODは、現場情報ED1及び現場情報ED2を確認し、それに対して提示された意見を含む。現場情報ED1及び現場情報ED2を確認することで、より精度の高い被検査物7の欠陥の傾向や要因を分析できる。
(保存部335)
保存部335は、被検査物7の欠陥分析を行う目的等のために、被検査物7の検査終了後に、検査画像WI、欠陥抽出画像DI及び解析情報ADを保存する。また、保存部335は、新たに生成された現場情報ED1及び現場情報ED2を保存する。保存先は記憶部32に限らず、外部の記憶装置であっても良い。
(出力部336)
出力部336は、被検査物7の検査終了後、検査画像WI、欠陥抽出画像DI及び解析情報ADを出力する。また、出力部336は、新たに生成された現場情報ED1及び現場情報ED2を出力する。出力先は表示部54に限らず、外部の表示装置又は印字装置であっても良い。
2.2 クラウドサーバ5の機能
続いて、クラウドサーバ5の機能構成について説明する。制御部53に関して、クラウドサーバ5は、受付部531と、意見情報生成部532と、意見情報転送部533と、保存部534と、出力部535とを備える。以下、各構成要素についてさらに説明する。
(受付部531)
受付部531は、情報処理装置3から転送された検査画像WI、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2を受け付けるように構成される。
受付部531は、通信部51を介して受け付けるだけでなく、入力部55から直接受け付けても良い。
(意見情報生成部532)
意見情報生成部532は、意見情報ODを生成する。意見情報ODは、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2の少なとも一つから、自動的に抽出した情報のみならず、監視者が内容を確認して提示した意見を含む。意見情報生成部532が、自動的に情報を抽出する例として、現場情報ED1及び現場情報ED2の中から解析結果に紐付けされた情報を抽出することが挙げられる。
(意見情報転送部533)
意見情報転送部533は、意見情報ODを情報処理装置3に電気通信回線を通じて転送する。転送のタイミングは、意見情報OD作成後であれば良い。また、転送方法は、電気通信回線を通じて転送するだけでなく、FAXや紙媒体で郵送しも良い。
(保存部534)
保存部534は、意見情報ODを保存する。保存部534は、検査画像WI、欠陥抽出画像DI、解析情報AD、現場情報ED1及び現場情報ED2を保存する。保存先は記憶部52に限らず、外部の記憶装置であっても良い。
(出力部535)
出力部336は、新たに生成された意見情報ODを出力する。出力先は表示部54に限らず、外部の表示装置又は印字装置であっても良い。
3.システム1の運用方法
第3節では、システム1の運用方法の一例について説明する。
3.1 検査に関する各種情報の流れ
図12は、検査に関する各種情報の流れを示すアクティビティ図である。以下、図12における各アクティビティに沿って説明をする。
[ここから]
(アクティビティA1)
検査工程で、撮像装置6が被検査物7を撮像後、情報処理装置3が検査画像WIを受け付ける。
(アクティビティA2)
情報処理装置3の解析情報生成部331が、検査画像WIを画像処理して欠陥抽出画像DIを生成する。
(アクティビティA3)
情報処理装置3の解析情報生成部331が、欠陥抽出画像DIを解析して、解析情報ADを生成する。作業者が、情報処理装置3を用いて直接検査画像WIを確認し解析して、解析情報ADを生成することも含む。
(アクティビティA4)
情報処理装置3の転送部333が、検査画像WIをクラウドサーバ5に転送する。
(アクティビティA5)
クラウドサーバ5の受付部531が、検査画像WIを受け付ける。
(アクティビティA6)
情報処理装置3の保存部335が、検査画像WIを記憶部32に保存する。
(アクティビティA7)
情報処理装置3の転送部333が、検査画像WIを記憶部52に保存する。
(アクティビティA8)
情報処理装置3の転送部333が、解析情報ADをクラウドサーバ5に転送する。
(アクティビティA9)
クラウドサーバ5の受付部531が、解析情報ADを受け付ける。
(アクティビティA10)
情報処理装置3の保存部335が、解析情報ADを記憶部32に保存する。
(アクティビティA11)
クラウドサーバ5の保存部335が、解析情報ADを記憶部52に保存する。
(アクティビティA12)
情報処理装置3の現場情報生成部332が、現場情報ED1及び現場情報ED2を生成する。
(アクティビティA13)
情報処理装置3の転送部333が、現場情報ED1及び現場情報ED2をクラウドサーバ5に転送する。
(アクティビティA14)
クラウドサーバ5の受付部531が、現場情報ED1及び現場情報ED2を受け付ける。
(アクティビティA15)
続いて、情報処理装置3の保存部335が、現場情報ED1及び現場情報ED2を記憶部32に保存する。
(アクティビティA16)
続いて、クラウドサーバ5の出力部535が、現場情報ED1及び現場情報ED2を記憶部52に保存する。
[ここまで]
3.2 検査結果の意見情報の流れ
図13は、検査結果の意見情報ODの流れを示すアクティビティ図である。以下、図13における各アクティビティに沿って説明をする。
[ここから]
(アクティビティA17)
監視者は、クラウドサーバ5が受け付けた検査画像WIを確認する。さらに検査画像WIの欠陥の有無、欠陥の大きさ等を把握する。
(アクティビティA18)
監視者は、クラウドサーバ5が受け付けた解析情報ADを確認する。さらに検査画像WIの欠陥の特徴と解析結果の欠陥の特徴を比較検討する。
(アクティビティA19)
監視者は、クラウドサーバ5が受け付けた現場情報ED1及び現場情報ED2を確認する。さらに検査画像WIの欠陥の特徴又は解析情報ADの解析結果との関連性を検討する。
(アクティビティA20)
クラウドサーバ5の意見情報生成部532は、A18〜A19の把握又は検討結果を基に意見情報ODを生成する。
(アクティビティA21)
クラウドサーバ5の意見情報転送部533は、意見情報ODを情報処理装置3に転送する。
(アクティビティA22)
情報処理装置3の意見情報取得部334は、意見情報ODを取得する。
(アクティビティA23)
クラウドサーバ5の保存部534は、意見情報ODを保存する。
(アクティビティA24)
情報処理装置3の保存部335は、意見情報ODを保存する。
(アクティビティA24)
生産ラインの作業者は、取得した意見情報ODから被検査物7の欠陥の真因を把握し、現場改善を推進する。
[ここまで]
4.変形例
第4節では、本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
(1)監視者が意見情報ODに意見を加えるにあたり、データマイニング技術を用いて解析情報AD、現場情報ED1及び現場情報ED2の少なくとも一つの情報に含まれる不具合の発生度合い、傾向値から欠陥の発生の要因を推測した結果を加えても良い。
(2)監視者が意見情報ODに意見を加えるにあたり、現場情報ED1及び現場情報ED2の各種データを説明変数とし、欠陥の位置、大きさを目的変数とした重回帰分析を行い、予測を超える欠陥が発生したことを結果に加えても良い。例えば、突発的な撮像装置6の不具合による系統誤差を早期に検出できる。
(3)監視者が意見情報ODに意見を加えるにあたり、異なる製品の被検査物7の解析情報AD、現場情報ED1及び現場情報ED2を確認しても良い。
(4)解析情報ADを生成するにあたり、撮像装置6が撮像した検査画像WIに加えて、他のセンサーが検知したデータを用いても良い。例えば、ロードセルが検知した重量データ、非破壊検査の結果等である。
(5)プログラムであって、コンピュータを情報処理装置3として機能させるものが提供されてもよい。このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
5.結言
以上のように、本実施形態によれば、生産ラインの検査工程の大量の検査画像WI及び解析情報ADをクラウドサーバ5に転送し、それらの情報を時系列でかつ幅広く分析することで、欠陥の発生する原因のみならず生産ラインで生じる不具合の真因を幅広く精度良く把握することができる。
次に記載の各態様で提供されてもよい。
前記情報処理装置において、意見情報取得部をさらに備え、前記意見情報取得部は、前記クラウドサーバを介して意見情報を取得するように構成され、ここで前記意見情報とは、監視者が前記クラウドサーバ経由で前記解析情報を確認し、それに対して提示された意見を含むもの。
前記情報処理装置において、現場情報生成部をさらに備え、前記現場情報生成部は、現場情報を生成するように構成され、ここで前記現場情報とは、前記生産ラインの稼働具合又は環境に関する情報で、前記転送部は、前記現場情報を前記クラウドサーバに転送するように構成されるもの。
前記情報処理装置において、意見情報取得部をさらに備え、前記意見情報取得部は、前記クラウドサーバを介して意見情報を取得するように構成され、ここで前記意見情報とは、監視者が前記クラウドサーバ経由で前記解析情報及び前記現場情報の少なくとも1つを確認し、それに対して提示された意見を含むもの。
前記情報処理装置において、前記解析情報生成部は、所定の学習済みモデルに基づいて、前記検査画像を解析し、前記解析情報を生成するように構成されるもの。
前記情報処理装置において、前記転送部は、前記検査画像を前記クラウドサーバに転送するように構成されるもの。
生産ラインを検査する検査システムであって、前記情報処理装置と、撮像装置とを備え、これらが電気通信回線を通じて通信可能に構成され、前記撮像装置は、被検査物を撮像して検査画像を生成するように構成されるもの。
前記検査システムにおいて、ネットワーク接続装置をさらに備え、前記ネットワーク接続装置は、前記情報処理装置と接続され、これと前記クラウドサーバとを接続する専用インターネット回線を提供するように構成され、ここで前記専用インターネット回線とは、前記生産ラインの他の機器が接続されるネットワークと別異に構成された回線で、前記専用インターネット回線を介して前記解析情報を前記クラウドサーバに転送するように構成されるもの。
プログラムであって、コンピュータを前記情報処理装置として機能させるもの。
もちろん、この限りではない。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :システム
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :解析情報生成部
332 :現場情報生成部
333 :転送部
334 :意見情報取得部
335 :保存部
336 :出力部
34 :表示部
35 :入力部
5 :クラウドサーバ
50 :通信バス
51 :通信部
52 :記憶部
53 :制御部
531 :受付部
532 :意見情報生成部
533 :意見情報転送部
534 :保存部
535 :出力部
54 :表示部
55 :入力部
6 :撮像装置
7 :被検査物
8 :ネットワーク接続装置
AD :解析情報
DI :欠陥抽出画像
ED1 :現場情報
ED2 :現場情報
OD :意見情報
WI :検査画像

Claims (9)

  1. 生産ラインを検査する情報処理装置であって、
    解析情報生成部と、転送部とを備え、
    前記解析情報生成部は、撮像装置から取得した検査画像を解析し、解析情報を生成するように構成され、ここで前記解析情報とは、前記生産ラインにおいて生産された被検査物が予め定められた基準を満たしているかを含む情報で、
    前記転送部は、前記解析情報を外部のクラウドサーバに転送するように構成されるもの。
  2. 請求項1に記載の情報処理装置において、
    意見情報取得部をさらに備え、
    前記意見情報取得部は、前記クラウドサーバを介して意見情報を取得するように構成され、ここで前記意見情報とは、監視者が前記クラウドサーバ経由で前記解析情報を確認し、それに対して提示された意見を含むもの。
  3. 請求項1に記載の情報処理装置において、
    現場情報生成部をさらに備え、
    前記現場情報生成部は、現場情報を生成するように構成され、ここで前記現場情報とは、前記生産ラインの稼働具合又は環境に関する情報で、
    前記転送部は、前記現場情報を前記クラウドサーバに転送するように構成されるもの。
  4. 請求項3に記載の情報処理装置において、
    意見情報取得部をさらに備え、
    前記意見情報取得部は、前記クラウドサーバを介して意見情報を取得するように構成され、ここで前記意見情報とは、監視者が前記クラウドサーバ経由で前記解析情報及び前記現場情報の少なくとも1つを確認し、それに対して提示された意見を含むもの。
  5. 請求項1〜請求項4の何れか1つに記載の情報処理装置において、
    前記解析情報生成部は、所定の学習済みモデルに基づいて、前記検査画像を解析し、前記解析情報を生成するように構成されるもの。
  6. 請求項1〜請求項5の何れか1つに記載の情報処理装置において、
    前記転送部は、前記検査画像を前記クラウドサーバに転送するように構成されるもの。
  7. 生産ラインを検査する検査システムであって、
    請求項1〜請求項6の何れか1つに記載の情報処理装置と、撮像装置とを備え、これらが電気通信回線を通じて通信可能に構成され、
    前記撮像装置は、被検査物を撮像して検査画像を生成するように構成されるもの。
  8. 請求項7に記載の検査システムにおいて、
    ネットワーク接続装置をさらに備え、
    前記ネットワーク接続装置は、前記情報処理装置と接続され、これと前記クラウドサーバとを接続する専用インターネット回線を提供するように構成され、ここで前記専用インターネット回線とは、前記生産ラインの他の機器が接続されるネットワークと別異に構成された回線で、
    前記専用インターネット回線を介して前記解析情報を前記クラウドサーバに転送するように構成されるもの。
  9. プログラムであって、
    コンピュータを請求項1〜請求項6の何れか1つに記載の情報処理装置として機能させるもの。
JP2020029921A 2020-02-25 2020-02-25 情報処理装置、検査システム及びプログラム Pending JP2021135622A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020029921A JP2021135622A (ja) 2020-02-25 2020-02-25 情報処理装置、検査システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020029921A JP2021135622A (ja) 2020-02-25 2020-02-25 情報処理装置、検査システム及びプログラム

Publications (1)

Publication Number Publication Date
JP2021135622A true JP2021135622A (ja) 2021-09-13

Family

ID=77661272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020029921A Pending JP2021135622A (ja) 2020-02-25 2020-02-25 情報処理装置、検査システム及びプログラム

Country Status (1)

Country Link
JP (1) JP2021135622A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046746A (ja) * 2006-08-11 2008-02-28 Olympus Corp 工程管理システム
JP2008191913A (ja) * 2007-02-05 2008-08-21 Toppan Printing Co Ltd 品質位置情報管理システム
JP2012178455A (ja) * 2011-02-25 2012-09-13 Omron Corp 検査システム、管理サーバ、検査装置および検査データ管理方法
JP2012221356A (ja) * 2011-04-12 2012-11-12 Hitachi Engineering & Services Co Ltd 生産管理システムおよび生産管理方法
JP2019096232A (ja) * 2017-11-27 2019-06-20 オムロン株式会社 管理システム、管理装置、管理方法、及びプログラム
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Fuji 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046746A (ja) * 2006-08-11 2008-02-28 Olympus Corp 工程管理システム
JP2008191913A (ja) * 2007-02-05 2008-08-21 Toppan Printing Co Ltd 品質位置情報管理システム
JP2012178455A (ja) * 2011-02-25 2012-09-13 Omron Corp 検査システム、管理サーバ、検査装置および検査データ管理方法
JP2012221356A (ja) * 2011-04-12 2012-11-12 Hitachi Engineering & Services Co Ltd 生産管理システムおよび生産管理方法
JP2019096232A (ja) * 2017-11-27 2019-06-20 オムロン株式会社 管理システム、管理装置、管理方法、及びプログラム
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Fuji 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

Similar Documents

Publication Publication Date Title
JP2023076913A (ja) 異常判定装置
WO2019001098A1 (en) METHODS AND SYSTEMS OF ENHANCED QUALITY INSPECTION
US20180224836A1 (en) Management system and non-transitory computer-readable recording medium
CN111784663A (zh) 零部件的检测方法、装置、电子设备及存储介质
WO2019216199A1 (ja) 解析支援装置及び解析支援方法
US11755007B2 (en) System and method for determining a health condition and an anomaly of an equipment using one or more sensors
EP4276741A1 (en) Analysis device, analysis system, analysis program, and analysis method
JP2018152729A (ja) 被監視空間の状態監視方法及び装置
JP2021043089A (ja) 振動試験解析装置および振動試験解析方法
TWI531787B (zh) An automatic optical detection method and an automatic optical detection system for carrying out the method
CN110751055B (zh) 一种智能制造系统
JP2021135622A (ja) 情報処理装置、検査システム及びプログラム
JP7188463B2 (ja) 解析装置、解析方法、およびプログラム
JP4761029B2 (ja) 画像解析システム
CN111124841B (zh) 一种异常页面的报警方法、装置及计算机系统
WO2020250501A1 (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP6305170B2 (ja) 車両重量計量システムおよび車両重量計量方法
JP4888792B2 (ja) 検査工程管理システム
US20240184280A1 (en) Information processing system and information processing system control method
Thomas et al. Design and development of industrial vision sensor (IVIS) for next generation industrial applications
US20220301314A1 (en) System and method for automated foreign material exclusion attendant
JP7286439B2 (ja) 監視制御システム、情報処理装置、情報処理方法及びコンピュータプログラム
US20160241848A1 (en) Method of Testing Graphics Displayed by a Display Device
KR102173309B1 (ko) 작업 대차 검사 방법 및 시스템
JP2018151751A (ja) 火災検出装置、及び、火災検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240430