JP2016110290A - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP2016110290A JP2016110290A JP2014245194A JP2014245194A JP2016110290A JP 2016110290 A JP2016110290 A JP 2016110290A JP 2014245194 A JP2014245194 A JP 2014245194A JP 2014245194 A JP2014245194 A JP 2014245194A JP 2016110290 A JP2016110290 A JP 2016110290A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information processing
- feature amount
- appearance
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
<システム構成>
まず、第1の実施形態に係る情報処理システム1のシステム構成について説明する。図1は、第1の実施形態に係る情報処理システムの一例の構成図である。
次に、第1の実施形態に係る情報処理装置10のハードウェア構成について説明する。図2は、第1の実施形態に係る情報処理装置の一例のハードウェア構成図である。図2に示すように情報処理装置10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14とを備えている。また、情報処理装置10は、入力装置15と、表示装置16と、外部I/F17と、通信I/F18とを備えている。これらの各部はバスBで接続されている。
次に、第1の実施形態に係る情報処理装置10の機能構成について説明する。図3は、第1の実施形態に係る情報処理装置の一例の機能ブロック図である。図3に示すように、情報処理装置10は、入力部21と、部品画像生成部22と、特徴量算出部23と、欠陥検出部24とを有する。これらの各部は、例えばCPU11が欠陥検出プログラム20を実行させることにより実現される。
次に、本実施形態に係る情報処理システム1の処理の詳細について説明する。本実施形態に係る情報処理装置10は、上述したように、学習画像データ1000を用いて、欠陥検出部24を予め学習させておく必要がある。そして、本実施形態に係る情報処理装置10は、学習された欠陥検出部24により判定対象画像データ2000の欠陥の有無を判定する。
まず、学習画像データ1000を用いて、本実施形態に係る情報処理装置10の欠陥検出部24を学習させる処理について説明する。なお、上述したように、学習画像データ1000は、良品を撮像装置30により撮像等することにより得られた画像データである。すなわち、以降で説明する学習処理は、半教師あり学習である。
(1)部品Aを撮像して得た部品A画像データ30001、部品Bを撮像して得た部品B画像データ30002、及び部品Cを撮像して得た部品C画像データ30003を入力する。
(2)部品A画像データ30001をテンプレートとして、学習画像データ1000に対して、テンプレートマッチングを行い類似度を算出する。なお、類似度の算出には、例えばSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)等を用いればよい。
(3)算出された類似度が、予め設定された所定の閾値以上となる(又は最大となる)画像を、部品Aの学習画像データ11001とする。これにより、部品Aの学習画像データ11001が生成される。
(1)部品Aの学習画像データ11001について、2ピクセル毎に、SURF特徴量の算出手法を用いて、所定のスケールσでオリエンテーションを算出する。部品Aの学習画像データ11001が100×100ピクセルの画像データである場合について、一例として図5に示す。図5に示すように、各n,m=1,・・・,50に対して、(x,y)=(2n−1,2m−1)の座標のピクセル(図5では1つのセルが1つのピクセルを表すものとする)において、所定のスケールσでオリエンテーションθxyを算出する。図5では、各矢印の向きがオリエンテーションθxyを示している。このように、キーポイントの検出を行わずに、所定のピクセル毎(又はすべてのピクセルに対して)に特徴量を算出する手法はDense samplingと称される。
(2)上記で得られた各3次元ベクトル(x,y,θxy)を、部品Aの学習画像データ11001の特徴量とする。
次に、上記で説明したような学習処理を行った欠陥検出部24を用いて、判定対象画像データ2000の被写体(製品)に外観上の欠陥があるか否かを判定する処理について説明する。なお、上述したように、本実施形態において、製品の外観上の欠陥とは、傷等がある場合(すなわち、製品の外観を構成する部品の表面上に傷等がある場合)をいうものとする。図6は、第1の実施形態に係る判定処理の一例のフローチャートである。
(1)部品A画像データ30001、部品B画像データ30002、及び部品C画像データ30003を入力する。
(2)部品A画像データ30001をテンプレートとして、判定対象画像データ2000に対して、テンプレートマッチングを行い類似度を算出する。
(3)算出された類似度が、予め設定された所定の閾値以上となる(又は最大となる)画像を、部品Aの判定対象画像データ21001とする。
(1)部品Aの判定対象画像データ21001について、キーポイントの検出を行う。これは、ヘッセ行列を用いて検出することができる。検出されたキーポイントを、それぞれ(x1,y1),(x2,y2),・・・,(xk,yk)とする。
(2)上記で得られたキーポイント(x1,y1),(x2,y2),・・・,(xk,yk)のそれぞれについて、スケールσjを算出する。ここで、j=1,・・・,kである。
(3)キーポイント(x1,y1),(x2,y2),・・・,(xk,yk)のうち、学習処理の際に用いた所定のスケールσとの関係で、|σ−σj|>εとなる(xj,yj)を除外する。このようにして得られたキーポイントを、(x1,y1),(x2,y2),・・・,(xL,yL)とする。ここで、k≧Lである。また、上記のεは予め設定された値である。このことは、キーポイント(x1,y1),(x2,y2),・・・,(xk,yk)のうち、スケールσjの値がσと近い値となるキーポイント以外を除外することを意味している。なお、このようにして得られたキーポイント(x1,y1),(x2,y2),・・・,(xL,yL)が当該部品(部品A)において欠陥(傷等)が存在する場所の候補となる。
(4)各キーポイント(x1,y1),(x2,y2),・・・,(xL,yL)に対して、それぞれのキーポイントにおけるオリエンテーションθjを算出する。そして、これにより得られる3次元ベクトル(xj,yj,θj)(j=1,・・・,L)を部品Aの判定対象画像データ21001の特徴量とする。
次に、第2の実施形態に係る情報処理システム1について説明する。第1の実施形態に係る情報処理システム1に含まれる情報処理装置10は製品の外観上に傷等の欠陥がある場合を検出するものであるが、第2の実施形態に係る情報処理装置10では、製品の外観上に刻印等がない場合を欠陥として検出するものである。すなわち、第2の実施形態に係る情報処理装置10では、本来あるべき外観上の特徴(例えば、刻印、シール等)がない場合を欠陥として検出する。なお、以降では、第1の実施形態と同様の機能を有する箇所及び同一の処理を行う箇所については、第1の実施形態と同一の符号を用いて、その説明を省略する。
第2の実施形態に係る情報処理装置10の処理の詳細について説明する。なお、学習処理は第1の実施形態と同様であるため、説明を省略する。
以降では、判定対象画像データ2000の被写体(製品)に外観上の欠陥があるか否かを判定する処理について説明する。なお、上述したように、本実施形態において、製品の外観上の欠陥とは、本来あるべき外観上の特徴(例えば、刻印、シール等)がない場合をいうものとする。図8は、第2の実施形態に係る判定処理の一例のフローチャートである。
(1)部品Aの判定対象画像データ21001について、4ピクセル毎に、SURF特徴量の算出手法を用いて、所定のスケールσでオリエンテーションθjを算出する。これは、図4のステップS402で説明した処理と略同様である(ただし、ここでは判定対象画像データ2100に対して、4ピクセル毎に行う点が異なる)。
(2)上記で得られた各3次元ベクトル(xj,yj,θj)を、部品Aの判定対象画像データ21001の特徴量とする。
以上のように、本実施形態に係る情報処理システム1に含まれる情報処理装置10によれば、製品の外観上に存在する欠陥を適切に検出することができる。
10 情報処理装置
20 欠陥検出プログラム
21 入力部
22 部品画像生成部
23 特徴量算出部
24 欠陥検出部
30 撮像装置
1000 学習画像データ
2000 判定対象画像データ
3000 部品画像データ
Claims (9)
- 物体の外観上の欠陥を検出する情報処理装置であって、
前記物体を撮像して得られた画像データの特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づき、半教師あり異常検知により前記物体の外観上の欠陥を検出する検出手段と、
を有する情報処理装置。 - 前記物体の外観を構成する部品毎の部品画像データを記憶する記憶手段と、
前記物体を撮像して得た画像データを、前記部品画像データに基づき、前記部品毎の画像データを取得する部品画像取得手段と、
を有し、
前記特徴量算出手段は、
前記部品毎の画像データそれぞれの特徴量を算出し、
前記検出手段は、
前記特徴量算出手段により算出された前記部品毎の画像データの特徴量に基づき、半教師あり異常検知により、前記部品それぞれについて外観上の欠陥を検出する、請求項1記載の情報処理装置。 - 前記部品画像取得手段は、
前記部品画像データをテンプレートとしたテンプレートマッチングを前記画像データに行うことにより、前記部品毎の画像データを取得する、請求項2記載の情報処理装置。 - 前記特徴量算出手段により算出される特徴量は、SURF特徴量又はSIFT特徴量である、請求項1ないし3のいずれか1項に記載の情報処理装置。
- 前記特徴量算出手段により算出される特徴量は、SURF特徴量又はSIFT特徴量算出の手法により算出されるオリエンテーションと、該オリエンテーションが算出された座標とを特徴量とする、請求項4記載の情報処理装置。
- 前記検出手段は、
Dense Samplingの手法により算出したSURF特徴量又はSIFT特徴量を用いて予め学習された正常モデルと、前記特徴量算出手段により算出された特徴量に基づき、半教師あり異常検知により前記物体の外観上の欠陥を検出する、請求項1ないし5のいずれか1項に記載の情報処理装置。 - 前記正常モデルは、
Dense Samplingの手法を用いたSURF特徴量又はSIFT特徴量算出の手法により算出されるオリエンテーションと、該オリエンテーションが算出された座標とを特徴量を用いて予め学習される、請求項6記載の情報処理装置。 - 前記検出手段は、One−Class SVM又はLOFを用いて前記物体の外観上の欠陥を検出する、請求項1ないし7のいずれか1項に記載の情報処理装置。
- 物体の外観上の欠陥を検出する情報処理装置に用いられる情報処理方法であって、
前記物体を撮像して得られた画像データの特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により算出された特徴量に基づき、半教師あり異常検知により前記物体の外観上の欠陥を検出する検出手順と、
を有する情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014245194A JP6476802B2 (ja) | 2014-12-03 | 2014-12-03 | 情報処理装置及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014245194A JP6476802B2 (ja) | 2014-12-03 | 2014-12-03 | 情報処理装置及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016110290A true JP2016110290A (ja) | 2016-06-20 |
JP6476802B2 JP6476802B2 (ja) | 2019-03-06 |
Family
ID=56124247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014245194A Expired - Fee Related JP6476802B2 (ja) | 2014-12-03 | 2014-12-03 | 情報処理装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6476802B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018009906A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社ポート電子 | 打音診断装置及び診断方法 |
US10043090B2 (en) | 2015-12-01 | 2018-08-07 | Ricoh Company, Ltd. | Information processing device, information processing method, computer-readable recording medium, and inspection system |
JPWO2018038123A1 (ja) * | 2016-08-22 | 2018-08-30 | キユーピー株式会社 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
WO2019138704A1 (ja) * | 2018-01-11 | 2019-07-18 | Kyb株式会社 | 不良判定方法 |
JP2020144727A (ja) * | 2019-03-08 | 2020-09-10 | 橋本電機工業株式会社 | 単板判定システムおよび単板の判定方法 |
JP2021060940A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社日立製作所 | 運用支援システム及び方法 |
CN112861895A (zh) * | 2019-11-27 | 2021-05-28 | 北京京东振世信息技术有限公司 | 一种异常物品的检测方法和装置 |
JP2022060512A (ja) * | 2019-10-09 | 2022-04-14 | 株式会社日立製作所 | 運用支援システム及び方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000055637A (ja) * | 1998-08-10 | 2000-02-25 | Mazda Motor Corp | ワーク検査装置及び部品画像生成装置及びワーク検査方法及びコンピュータ読み取り可能な記憶媒体 |
JP2000200356A (ja) * | 1999-01-08 | 2000-07-18 | Hitachi Ltd | 欠陥分類方法およびその装置 |
-
2014
- 2014-12-03 JP JP2014245194A patent/JP6476802B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000055637A (ja) * | 1998-08-10 | 2000-02-25 | Mazda Motor Corp | ワーク検査装置及び部品画像生成装置及びワーク検査方法及びコンピュータ読み取り可能な記憶媒体 |
JP2000200356A (ja) * | 1999-01-08 | 2000-07-18 | Hitachi Ltd | 欠陥分類方法およびその装置 |
Non-Patent Citations (6)
Title |
---|
IKER PASTOR-LOPEZ, 外5名: ""Collective classification for the detection of surface defects in automotive castings"", 2013 IEEE 8TH CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA), JPN6018042953, 2013, pages 941 - 946, ISSN: 0003910706 * |
作山努, 外1名: ""Bag−of−Keypointsを用いた半導体欠陥画像分類"", 電子情報通信学会技術研究報告, vol. 第111巻, 第353号, JPN6018042950, 18 January 2012 (2012-01-18), JP, pages 53 - 58, ISSN: 0003910703 * |
川上美里, 外7名: ""大腸NBI内視鏡映像のリアルタイム認識システムの開発"", SSII2011 第17回 画像センシングシンポジウム講演論文集, JPN6018042954, 15 July 2011 (2011-07-15), JP, pages 1 - 10, ISSN: 0003910704 * |
河合吉彦, 外1名: ""Geometric Phrase Poolingと大域特徴を利用した物体検出手法"", FIT2013 第12回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認, JPN6018042948, 17 September 2013 (2013-09-17), pages 153 - 154, ISSN: 0003910702 * |
藤森友貴, 外3名: ""「1クラス特徴選択」を用いた外観検査方式"", 映像情報インダストリアル, vol. 第42巻, 第2号, JPN6018042947, 2 February 2010 (2010-02-02), JP, pages 89 - 96, ISSN: 0003910701 * |
高見慎也, 外3名: ""Subspace−of−Featuresを用いたシーンカテゴリ認識"", SSII2013 第19回画像センシングシンポジウム 講演論文集, JPN6018042951, 19 June 2013 (2013-06-19), JP, pages 1 - 32, ISSN: 0003910705 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043090B2 (en) | 2015-12-01 | 2018-08-07 | Ricoh Company, Ltd. | Information processing device, information processing method, computer-readable recording medium, and inspection system |
JP2018009906A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社ポート電子 | 打音診断装置及び診断方法 |
US11079334B2 (en) | 2016-08-22 | 2021-08-03 | Kewpie Corporation | Food inspection apparatus, method of inspecting food, and method of learning in identification unit of food inspection apparatus |
JPWO2018038123A1 (ja) * | 2016-08-22 | 2018-08-30 | キユーピー株式会社 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
WO2019138704A1 (ja) * | 2018-01-11 | 2019-07-18 | Kyb株式会社 | 不良判定方法 |
JP2020144727A (ja) * | 2019-03-08 | 2020-09-10 | 橋本電機工業株式会社 | 単板判定システムおよび単板の判定方法 |
JP7318907B2 (ja) | 2019-03-08 | 2023-08-01 | 橋本電機工業株式会社 | 単板判定システムおよび単板の判定方法 |
JP2022060512A (ja) * | 2019-10-09 | 2022-04-14 | 株式会社日立製作所 | 運用支援システム及び方法 |
JP7032366B2 (ja) | 2019-10-09 | 2022-03-08 | 株式会社日立製作所 | 運用支援システム及び方法 |
JP7307215B2 (ja) | 2019-10-09 | 2023-07-11 | 株式会社日立製作所 | 運用支援システム及び方法 |
JP2021060940A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社日立製作所 | 運用支援システム及び方法 |
US11720820B2 (en) | 2019-10-09 | 2023-08-08 | Hitachi, Ltd. | Operational support system and method |
CN112861895A (zh) * | 2019-11-27 | 2021-05-28 | 北京京东振世信息技术有限公司 | 一种异常物品的检测方法和装置 |
CN112861895B (zh) * | 2019-11-27 | 2023-11-03 | 北京京东振世信息技术有限公司 | 一种异常物品的检测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6476802B2 (ja) | 2019-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6476802B2 (ja) | 情報処理装置及び情報処理方法 | |
TWI566204B (zh) | 三維物件識別技術 | |
Arena et al. | A new computational approach to cracks quantification from 2D image analysis: Application to micro-cracks description in rocks | |
TWI748242B (zh) | 掃描晶圓的系統及方法 | |
KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
Guo et al. | Defect Detection in Tire X‐Ray Images Using Weighted Texture Dissimilarity | |
JP2013257304A5 (ja) | ||
CN104583925B (zh) | 图像处理设备、方法及程序 | |
WO2007145235A1 (ja) | 異常領域検出装置および異常領域検出方法 | |
JP7316731B2 (ja) | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 | |
Althubiti et al. | Circuit manufacturing defect detection using VGG16 convolutional neural networks | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2017161598A1 (en) | Fast density estimation method for defect inspection application | |
Oszust | No-reference image quality assessment using image statistics and robust feature descriptors | |
US10727025B2 (en) | System and method of analyzing a crystal defect | |
CN116168351B (zh) | 电力设备巡检方法及装置 | |
CN115937167A (zh) | 电池极片陶瓷的缺陷检测方法、装置及电子设备 | |
CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
CN116797590A (zh) | 一种基于机器视觉的Mura缺陷检测方法及系统 | |
CN106709490B (zh) | 一种字符识别方法和装置 | |
JP2012123631A (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
CN116958145B (zh) | 图像处理方法、装置、视觉检测系统及电子设备 | |
JP2019087050A (ja) | 構造物維持管理業務支援システム | |
Chen et al. | Mobile imaging and computing for intelligent structural damage inspection | |
CN116051959A (zh) | 一种目标检测方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6476802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |