JP2014048258A - 布片検査方法および布片検査装置 - Google Patents

布片検査方法および布片検査装置 Download PDF

Info

Publication number
JP2014048258A
JP2014048258A JP2012193852A JP2012193852A JP2014048258A JP 2014048258 A JP2014048258 A JP 2014048258A JP 2012193852 A JP2012193852 A JP 2012193852A JP 2012193852 A JP2012193852 A JP 2012193852A JP 2014048258 A JP2014048258 A JP 2014048258A
Authority
JP
Japan
Prior art keywords
small window
image
cloth piece
cloth
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012193852A
Other languages
English (en)
Other versions
JP6048873B2 (ja
Inventor
Kazushi Hamada
一志 濱田
Seiji Hata
清治 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kagawa University NUC
Plex Co Ltd
Original Assignee
Kagawa University NUC
Plex Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kagawa University NUC, Plex Co Ltd filed Critical Kagawa University NUC
Priority to JP2012193852A priority Critical patent/JP6048873B2/ja
Publication of JP2014048258A publication Critical patent/JP2014048258A/ja
Application granted granted Critical
Publication of JP6048873B2 publication Critical patent/JP6048873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】色付きの柄を有する布片において、生地の伸び縮みが生じても、精度よく布片を検査できる布片検査方法および布片検査装置を提供する。
【解決手段】対象画像において、類似度を指標として高評価小ウィンドウの位置を特定し、類似度と位置関係パラメータを指標として低評価小ウィンドウの位置を特定し、高評価小ウィンドウおよび低評価小ウィンドウのテンプレート画像における位置から、対象画像において特定された位置までの移動量を求める布片検査方法。位置関係パラメータを指標に加えることで、低評価小ウィンドウであっても対象画像における位置を特定できるので、シンプルな柄でも多数の小ウィンドウの位置を特定し多数点の移動量を求めることができる。そのため、生地の伸び縮みが生じて柄が変形してもその変形を十分に補正できるので、精度よく布片を検査できる。
【選択図】図1

Description

本発明は、布片検査方法および布片検査装置に関する。さらに詳しくは、洗濯・乾燥済みのシーツ等の布片に汚れや破れ等の欠陥がないか検査する布片検査方法および布片検査装置に関する。
ホテルや病院等では大量にシーツや包布、ピロケース、浴衣、タオル等の布片が使用され、その使用済みの布片はランドリー工場で洗濯・乾燥され、再度ホテルや病院等で使用されることが一般的である。ランドリー工場においては布片を洗濯・乾燥した後、汚れや破れ等の欠陥がないか検査した後に、欠陥がない布片のみを折畳み機で折畳む作業が行なわれる。布片の検査を作業員が目視で行う場合、作業員によって良否の判定が異なる場合があるので、近年ではこの作業は布片検査装置によって行われている。
従来の布片検査装置は、検査対象の布片を撮影した画像(以下、「対象画像」という。)からサンプルを取得してその色をテンプレートデータとし、テンプレートデータと対象画像の各画素とを比較して、テンプレートデータと異なる色の部分を欠陥と判断することで検査を行っている。
しかし、上記従来方法でロゴや模様などの色付きの柄を有する布片を検査すると柄部分を欠陥と判断してしまい正しく欠陥を見つけることができないため、従来は柄を有する布片の検査は行われておらず、無地の布片の検査しか行われていなかった。そのため、柄を有する布片を検査できる布片検査装置が望まれていた。
柄を有する布片を検査するにあたって以下の技術課題があると考えられる。
(1)生地の劣化
布片を何度も使用し、洗濯・乾燥を繰り返すと、生地が劣化し、生地の白色度が低下するため、生地と柄との明度差が小さくなる。
(2)柄の色褪せ
布片を何度も使用し、洗濯・乾燥を繰り返すと、柄が色褪せし、白っぽくなる。
(3)生地の伸び縮み
布片は柔軟性を有するため、生地が容易に伸び縮みする。生地の素材によっては縦方向に伸び易く、横方向に縮み難いといった性質があり、部分的に伸び縮みしたり、部分的に浮かび上がったりする場合もある。このように生地が伸び縮みすることにより、柄が変形する。
ところで、模様を有する対象物の欠陥を検出する方法としてパターンマッチング法が知られている(非特許文献1)。これは、欠陥を含まない対象物の画像をテンプレート画像として予め記憶しておき、検査対象の画像とテンプレート画像との差異から欠陥を検出する方法である。具体的には、テンプレート画像中の特徴のある部分を標準パターンとし、標準パターンを用いて検査対象の画像上を走査しつつ一致度が最も高い位置(以下、「一致位置」という。)を探索する。一致位置を模様が存在する位置であると判断し、そこでテンプレート画像と検査対象の画像とを重ね合わせて比較し、不一致点を欠陥として検出する。
しかし、上記パターンマッチング法を、柄を有する布片の検査に適用すると、柄の色や形が変化した場合、対象画像と標準パターンとがうまく一致しないため、一致位置の探索精度が低くなり、欠陥の検出精度が低くなるという問題がある。
一方、テンプレート画像と対象画像との間に変形がある場合、その変形を考慮して一致位置を探索する方法として小ウィンドウマッチング法が知られている。具体的には、テンプレート画像において複数の小ウィンドウを設定する。各小ウィンドウについて対象画像上を走査しつつ一致位置を探索し、その小ウィンドウのテンプレート画像における位置から一致位置までの移動量を求める。各小ウィンドウの移動量から求めた変形パラメータを元にテンプレート画像を変形させた後、テンプレート画像と検査対象の画像とを重ね合わせて比較し、不一致点を欠陥として検出する。
上記小ウィンドウマッチング法は、検査対象がプリント基板のような硬い素材であり、テンプレート画像と対象画像との間に回転や拡大、縮小といった変形しかない場合には、その変形を考慮して一致位置を探索することができる。
上記小ウィンドウマッチング法を、柄を有する布片の検査に適用する場合、部分的に伸び縮みする可能性のある柄の変形に対応するためには多数の小ウィンドウにおいて移動量を求める必要がある。ところが、一般に柄、特にロゴはアルファベットやシンボルなどのシンプルな形が多いため、位置を特定できる小ウィンドウが少なく、多数の点における移動量を求めることができない。そのため、柄の変形に対応させてテンプレート画像を十分に変形できず、欠陥の検出精度が低くなるという問題がある。
江尻正員著、「工業用画像処理」昭晃堂、1988年5月発行
本発明は上記事情に鑑み、色付きの柄を有する布片において、生地の伸び縮みが生じても、精度よく布片を検査できる布片検査方法および布片検査装置を提供することを目的とする。
第1発明の布片検査方法は、色付きの柄を有する布片の欠陥の有無を検査する方法であって、欠陥が無い前記布片を撮影したテンプレート画像を分割して得た複数の小ウィンドウであって、重ね合せた画像間の類似度または相違度を指標として位置を特定し易い高評価小ウィンドウと、位置を特定し難い低評価小ウィンドウと、該低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータとを予め記憶し、検査対象の前記布片を撮影した対象画像において、重ね合せた画像間の類似度または相違度を指標として、前記高評価小ウィンドウの位置を特定し、前記対象画像において、重ね合せた画像間の類似度または相違度と、前記位置関係パラメータを指標として、前記低評価小ウィンドウの位置を特定し、前記高評価小ウィンドウおよび前記低評価小ウィンドウの前記テンプレート画像における位置から、前記対象画像において特定された位置までの移動量を求めることを特徴とする。
第2発明の布片検査方法は、第1発明において、前記移動量を元に前記テンプレート画像または前記対象画像を変形させた後、前記テンプレート画像と前記対象画像とを比較して欠陥を検出することを特徴とする。
第3発明の布片検査方法は、色付きの柄を有する布片の欠陥の有無を検査する方法であって、欠陥が無い前記布片を撮影したテンプレート画像を分割して複数の小ウィンドウとし、該複数の小ウィンドウのうち、その領域内の柄部分とそれ以外の部分との境界の曲がりが大きい小ウィンドウを高評価小ウィンドウとし、曲がりが小さい小ウィンドウを低評価小ウィンドウとし、前記低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータを求め、前記高評価小ウィンドウと、前記低評価小ウィンドウと、前記位置関係パラメータとを記憶することを特徴とする。
第4発明の布片検査装置は、色付きの柄を有する布片の欠陥の有無を検査する装置であって、前記布片を撮影するカメラと、該カメラで撮影した画像を画像処理する画像処理手段と、該画像処理手段がアクセス可能な記憶手段と、を備え、前記記憶手段には、欠陥が無い前記布片を撮影したテンプレート画像を分割して得た複数の小ウィンドウであって、重ね合せた画像間の類似度または相違度を指標として位置を特定し易い高評価小ウィンドウと、位置を特定し難い低評価小ウィンドウと、該低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータとが記憶されており、前記カメラは、検査対象の前記布片を撮影して対象画像とし、前記画像処理手段は、前記対象画像において、重ね合せた画像間の類似度または相違度を指標として、前記高評価小ウィンドウの位置を特定し、前記対象画像において、重ね合せた画像間の類似度または相違度と、前記位置関係パラメータを指標として、前記低評価小ウィンドウの位置を特定し、前記高評価小ウィンドウおよび前記低評価小ウィンドウの前記テンプレート画像における位置から、前記対象画像において特定された位置までの移動量を求めることを特徴とする。
第5発明の布片検査装置は、第4発明において、前記画像処理手段は、前記移動量を元に前記テンプレート画像または前記対象画像を変形させた後、前記テンプレート画像と前記対象画像とを比較して欠陥を検出することを特徴とする。
第6発明の布片検査装置は、色付きの柄を有する布片の欠陥の有無を検査する装置であって、前記布片を撮影するカメラと、該カメラで撮影した画像を画像処理する画像処理手段と、該画像処理手段がアクセス可能な記憶手段と、を備え、前記カメラは、欠陥が無い前記布片を撮影してテンプレート画像とし、前記画像処理手段は、前記テンプレート画像を分割して複数の小ウィンドウとし、該複数の小ウィンドウのうち、その領域内の柄部分とそれ以外の部分との境界の曲がりが大きい小ウィンドウを高評価小ウィンドウとし、曲がりが小さい小ウィンドウを低評価小ウィンドウとし、前記低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータを求め、前記高評価小ウィンドウと、前記低評価小ウィンドウと、前記位置関係パラメータとを前記記憶手段に記憶させることを特徴とする。
第1発明によれば、位置関係パラメータを指標に加えることで、低評価小ウィンドウであっても対象画像における位置を特定できるので、シンプルな柄でも多数の小ウィンドウの位置を特定し多数点の移動量を求めることができる。そのため、生地の伸び縮みが生じて柄が変形してもその変形を十分に補正できるので、精度よく布片を検査できる。
第2発明によれば、移動量を元にテンプレート画像または対象画像を変形させることで、生地の伸び縮みによる柄の変形の影響を除去でき、精度よく布片を検査できる。
第3発明によれば、布片検査において基準となる高評価小ウィンドウ、低評価小ウィンドウ、位置関係パラメータを求めることができる。
第4発明によれば、位置関係パラメータを指標に加えることで、低評価小ウィンドウであっても対象画像における位置を特定できるので、シンプルな柄でも多数の小ウィンドウの位置を特定し多数点の移動量を求めることができる。そのため、生地の伸び縮みが生じて柄が変形してもその変形を十分に補正できるので、精度よく布片を検査できる。
第5発明によれば、移動量を元にテンプレート画像または対象画像を変形させることで、生地の伸び縮みによる柄の変形の影響を除去でき、精度よく布片を検査できる。
第6発明によれば、布片検査において基準となる高評価小ウィンドウ、低評価小ウィンドウ、位置関係パラメータを求めることができる。
位置関係パラメータの説明図である。 本発明の一実施形態に係る布片検査装置の説明図である。 テンプレートデータ作成処理のフローチャートである。 テンプレートデータ作成における柄部分抽出処理のフローチャートである。 テンプレートデータ作成における小ウィンドウおよび位置関係パラメータ作成処理のフローチャートである。 特徴量の演算の説明図である。 特徴量の分布の一例を示す図である。 小ウィンドウの説明図である。 位置関係パラメータの演算の説明図である。 布片検査処理のフローチャートである。 布片検査における柄部分抽出処理のフローチャートである。 布片検査における小ウィンドウマッチング処理のフローチャートである。 (a)はテンプレート画像、(b)は柄が色褪した布片の対象画像、(c)は対象画像から柄部分を抽出した2値化画像である。 (a)はテンプレート画像、(b)は柄が変形した布片の対象画像である。
(原理)
まず、本発明の原理について説明する。
例えば、図1に示すように、欠陥が無い布片を撮影した画像(以下、「テンプレート画像」という。)において小ウィンドウA〜Eが定められたとする。検査対象の布片を撮影した画像(以下、「対象画像」という。)において前記小ウィンドウA〜Eと一致する部分を探索する場合、小ウィンドウA〜Dは柄(ロゴ)の角部分を含むため、横方向に摂動しても、縦方向に摂動しても、重ね合わせた画像間の類似度が変化するため、小ウィンドウA〜Dの位置を一意に特定できる。一方、小ウィンドウEはロゴの直線部分しか含まないため、直線部分と直交する横方向の位置は特定できるが、直線部分に平行な縦方向の位置を特定することができない。
本願発明者は、このように位置を一意に特定できない小ウィンドウEでも、位置を一意に特定できる小ウィンドウA〜Cとの位置関係を探索の指標に加えることで、位置を特定することを考案した。
具体的には、まず、準備段階において、テンプレート画像を分割して得た複数の小ウィンドウを、重ね合せた画像間の類似度を指標として位置を特定し易い高評価小ウィンドウと、位置を特定し難い低評価小ウィンドウとに分類する。前述のとおり、重ね合せた画像間の類似度を指標として小ウィンドウの位置を特定する場合、ロゴの直線部分のみを含む小ウィンドウよりもロゴの角部分を含む小ウィンドウの方が位置を特定し易い。そこで、領域内のロゴ部分と生地部分との境界の曲がりが大きい小ウィンドウを高評価小ウィンドウA〜Dとし、曲がりが小さい小ウィンドウを低評価小ウィンドウEとする。つぎに、低評価小ウィンドウEとその近傍の高評価ウィンドウA〜Cとの位置関係を表す位置関係パラメータを求め、それらを記憶しておく。
布片検査においては、まず、対象画像において、重ね合せた画像間の類似度を指標として高評価小ウィンドウA〜Dの位置を特定する。つぎに、重ね合せた画像間の類似度と位置関係パラメータを指標として低評価小ウィンドウEの位置を特定する。
このように、位置関係パラメータを指標に加えることで、低評価小ウィンドウEであっても対象画像における位置を特定できる。そのため、シンプルな柄でも多数の小ウィンドウの位置を特定し多数点の移動量を求めることができ、生地の伸び縮みが生じて柄が変形してもその変形を十分に補正できるので、精度よく布片を検査できる。
(実施形態)
つぎに、本発明の実施形態を図面に基づき説明する。
図2に示すように、本発明の一実施形態に係る布片検査装置Aは、シーツや包布、ピロケース、浴衣、タオル等の布片Cを搬送するコンベア1と、搬送される布片Cを撮影するカメラ2と、カメラ2で撮影した画像を画像処理する画像処理手段3と、画像処理手段3がアクセス可能な記憶手段4とを備える。画像処理手段3はCPUなどで構成され、記憶手段4はメモリなどで構成される。布片検査装置Aは、ロゴや模様などの色付きの柄を有する布片Cについて、汚れや破れ等の欠陥の有無を検査できるところに特徴を有する。
上記布片検査装置Aにより、以下の(1)テンプレートデータ作成、(2)布片検査の各処理が行われる。テンプレートデータ作成は布片Cの種類毎に予め一度行えばよく、布片検査では検査対象の布片Cの種類に対応するテンプレートデータを用いて検査を繰り返し行う。以下、順に説明する。
(1)テンプレートデータ作成
まず、図3に基づきテンプレートデータ作成について説明する。
テンプレートデータ作成は、まず、カメラ2で欠陥が無い布片Cを撮影してテンプレート画像を取得する(ステップS1.1)。つぎに、テンプレート画像から柄部分を抽出し、テンプレート画像を柄部分とそれ以外の部分とで2値化する(ステップS1.2)。つぎに、2値化されたテンプレート画像を用いて布片検査処理における小ウィンドウマッチングに用いられる小ウィンドウおよび位置関係パラメータを作成する(ステップS1.3)。最後に、作成されたテンプレートデータをファイル出力し記憶手段4に記憶させる(ステップS1.4)。
以下、各ステップについて詳説する。
(1.1)テンプレート画像撮影
まず、カメラ2で欠陥が無い布片Cを撮影する。画像処理手段3はその画像をテンプレート画像として取得する(ステップS1.1)。
(1.2)柄部分抽出
つぎに、画像処理手段3は、テンプレート画像から柄部分を抽出する(ステップS1.2)。図4に柄部分抽出のフローチャートを示す。
一般に、カメラ2から取得されたテンプレート画像はRGB表色系で表現されている。そこで、画像処理手段3は、テンプレート画像をRBG表色系からYxy表色系に変換する(ステップS1.2.1)。RBG表色系からYxy表色系への変換は、テンプレート画像の各画素について数1および数2の変換を行えばよい。
ここで、R、G、Bは、それぞれRGB表色系におけるR値、G値、B値であり、X、Y、Zは、それぞれXYZ表色系におけるX値、Y値、Z値であり、x、yは、それぞれYxy表色系におけるx値、y値である。
つぎに、Yxy表色系に変換されたテンプレート画像において、柄の色を表す基準色を指定する(ステップS1.2.2)。基準色の指定は、テンプレート画像をディスプレイなどに表示し、作業員が柄部分の任意の点を指定し、画像処理手段3がその点から基準色を取得するなどの方法で指定される。
つぎに、画像処理手段3は、Yxy表色系に変換後のテンプレート画像の各画素について、その画素の色と基準色とのYxy色空間における色相角θを求める(ステップS1.2.3)。Yxy表色系のxy色度図において白色点をW、基準色に対応する基準点をT、演算対象の画素の色に対応する対象点をDとすると、色相角θは線分WTと線分WDとのなす角θである。本実施形態では、数3により、色相角θの余弦の値を求める。
ここで、WTはWを始点、Tを終点とするベクトルであり、WDはWを始点、Dを終点とするベクトルであり、|WT|はベクトルWTの大きさであり、|WD|はベクトルWDの大きさであり、WT・WDはベクトルWTとベクトルWDの内積である。
画像処理手段3は、テンプレート画像の各画素について、cosθが閾値以下であるか否かを判断し(ステップS1.2.4)、閾値以下の場合はその画素を柄部分の点(以下、「柄内点」という。)とし(ステップS1.2.5)、閾値を超える場合はその画素を柄部分以外の部分の点(以下、「柄外点」という。)とする(ステップS1.2.6)。そして、テンプレート画像を柄部分とそれ以外の部分とで2値化する。例えば、柄部分を黒、それ以外の部分を白としたテンプレート画像とする。このようにして、テンプレート画像中の柄部分を抽出する。
ステップS1.2.4における閾値は、柄部分とそれ以外の部分とを適切に分類できる値に設定される。cosθの値は、色相角θが小さいほど1に近く、色相角θが大きいほど-1に近づくため、前記閾値は例えば0.9などの1に近い値に設定される。
なお、ここでいう柄部分とは、ステップS1.2.2で指定した基準色で付された柄部分である。そのため、布片Cに付された柄が一色で表現されている場合は、「柄部分」とはまさに柄の部分であり、「柄以外の部分」とは生地部分である。布片Cに付された柄が複数の色で表現されている場合は、「柄部分」とはその柄の内、基準色と同じ色(色褪せも含む)の部分であり、「柄以外の部分」は生地部分のほかに、基準色と異なる色の柄の部分も含まれる。
さらになお、Yxy色空間における色相角θに代えて、L*a*b*色空間における色相角や色相差など、色相の乖離の程度を示す他のパラメータを指標としてもよい。この場合には、基準色との色相の乖離の程度が小さい部分が柄部分と判断される。
ただし、本実施形態のようにYxy色空間における色相角θを指標とすれば、色相の乖離の程度を求めることが容易となるので好ましい。
(1.3)小ウィンドウおよび位置関係パラメータ作成
つぎに、画像処理手段3は、小ウィンドウおよび位置関係パラメータ作成を行う(ステップS1.3)。図5に小ウィンドウおよび位置関係パラメータ作成のフローチャートを示す。
まず、2値化されたテンプレート画像を用いて、柄部分とそれ以外の部分との境界(以下、「柄の境界」という。)に位置する全ての画素について特徴量を演算する(ステップS1.3.1)。ここで、柄の境界に位置する画素は、前記柄部分抽出処理(ステップS1.2)において柄内点と判断された画素のうち柄外点と判断された画素と隣り合う画素として定めればよい。柄外点と判断された画素のうち柄内点と判断された画素と隣り合う画素を柄の境界に位置する画素として定めてもよい。
特徴量の演算は、例えば、図6に示すように、柄内点と判断された画素のうち柄外点と判断された画素と隣り合う画素を柄の境界に位置する画素とし、そのうち特徴量を演算する画素を注目点とする。つぎに、注目点の周囲の領域(図6に示す例では注目点を中心とする11×11画素の領域)について、柄外点の画素数をカウントする。そして、数4によりその注目点の特徴量Sを算出する。
ここで、Oiは、注目点の周囲の領域の画素数(図6に示す例では11×11=121)であり、Osは、柄の境界が直線である場合の柄外点の画素数(図6に示す例では11×5=55)であり、offsetは、柄の境界が直線である場合の特徴量を定める値である。
なお、柄の境界以外に位置する画素の特徴量は、いずれも0とする。
数4により演算された特徴量Sは、柄の境界が直線の場合よりも、角が含まれる場合や曲線の場合の方が値が高くなる。また、角が含まれる場合には、鈍角の場合よりも鋭角の場合の方が特徴量Sが高くなり、曲線の場合は、その曲率が高い方が特徴量Sが高くなる。
このようにして求めた特徴量Sの分布の一例を図7に示す。柄の境界が直線の部分では特徴量が小さく、角の部分では特徴量が大きいことが分かる。
つぎに、画像処理手段3は、テンプレート画像をメッシュ状に分割して複数の小ウィンドウを定める(ステップS1.3.2)。
つぎに、画像処理手段3は、各小ウィンドウごとに評価値を演算する(ステップS1.3.3)。ここで、評価値は、小ウィンドウの領域内の柄の境界の曲がりの程度(角部分の角度や曲線の曲率)を表す指標である。評価値は、例えば、各小ウィンドウに含まれる画素のうち、特徴量が高い順に上位10点の画素を選び出し、それらの画素の特徴量を合計した値と定められる。評価値によって各小ウィンドウに濃淡を付した画像が図8である。柄の境界に角を含む小ウィンドウの評価値は高く、直線部分しか含まない小ウィンドウは評価値が低いことが分かる。
つぎに、画像処理手段3は、各小ウィンドウについて、評価値が閾値以上であるか否かを判断し(ステップS1.3.4)、閾値以上の場合はその小ウィンドウを高評価小ウィンドウとして登録し(ステップS1.3.5)、閾値未満の場合はその小ウィンドウを低評価小ウィンドウとして登録する(ステップS1.3.6)。なお、評価値が0の小ウィンドウ、すなわち領域内に柄の境界が含まれない小ウィンドウは、高評価小ウィンドウとも低評価小ウィンドウともせず、小ウィンドウから除外する。
検査対象の布片を撮影した対象画像において前記小ウィンドウを摂動させつつ、重ね合わせた画像間の類似度を指標として、その小ウィンドウと一致する部分を探索する場合、小ウィンドウの領域内の境界の曲がりが大きいほど、横方向に摂動しても、縦方向に摂動しても、重ね合わせた画像間の類似度が変化するため、小ウィンドウの位置を一意に特定しやすい。一方、柄の境界の曲がりが小さいほど、境界に沿う方向の位置を特定することが困難になり、小ウィンドウの位置を特定し難くなる。これは、重ね合わせた画像間の相違度を指標として小ウィンドウと一致する部分を探索する場合も同様である。
上記高評価小ウィンドウは、その領域内の柄の境界の曲がりが大きいため、重ね合せた画像間の類似度または相違度を指標として位置を特定し易い小ウィンドウである。また、上記低評価小ウィンドウは、その領域内の柄の境界の曲がりが小さいため、重ね合せた画像間の類似度または相違度を指標として位置を特定し難い小ウィンドウである。
なお、本明細書において「重ね合せた画像間の類似度」とは、公知のパターンマッチング法においても用いられる指標であり、小ウィンドウと対象画像とを重ね合わせた場合における両画像間の類似の程度を示す指標である。例えば、後述の数8に示す類似度m(j)がこれに相当する。また、「重ね合せた画像間の相違度」とは、小ウィンドウと対象画像とを重ね合わせた場合における両画像間の相違の程度を示す指標である。
ステップS1.3.4における閾値は、小ウィンドウを高評価小ウィンドウまたは低評価小ウィンドウに適切に分離できる値に設定される。また、評価値の算出方法も、上記算出方法に限られず、例えば、小ウィンドウに含まれる画素の特徴量を全て足し合わせた値を評価値としてもよいし、小ウィンドウに含まれる画素の特徴量のうち一番高い特徴量を評価値としてもよい。これらは、後述の布片検査において、高評価小ウィンドウおよび低評価小ウィンドウの位置の特定が適切にできるように定められる。
つぎに、画像処理手段3は、各低評価小ウィンドウについて近傍の高評価小ウィンドウとの位置関係を演算する(ステップS1.3.7)。
具体的には、まず、図9に示すように、演算対象の低評価小ウィンドウFについて、近傍3点の高評価小ウィンドウHW1、HW2、HW3を探索する。そして、数5により、これら3点の高評価小ウィンドウの重心座標G(Gx,Gy)を求める。
ここで、HW1(x1,y1)、HW2(x2,y2)、HW3(x3,y3)は、それぞれ近傍の3点の高評価小ウィンドウの中心座標である。
つぎに、数6により、この重心座標G(Gx,Gy)と演算対象の低評価小ウィンドウの中心座標F(Fx,Fy)とのずれ量から、低評価小ウィンドウとその近傍の高評価小ウィンドウとの位置関係を表す位置関係パラメータp(px,py)を算出する。
ここで、max(x1,x2,x3)は、x1,x2,x3の中の最大値であり、max(y1,y2,y3)は、y1,y2,y3)の中の最大値であり、min(x1,x2,x3)は、x1,x2,x3の中の最小値であり、min(y1,y2,y3)は、y1,y2,y3の中の最小値である。
なお、以上のように位置関係パラメータpを高評価小ウィンドウの重心とのずれ量から算出する場合、演算対象の低評価小ウィンドウが3点の高評価小ウィンドウで形成される三角形の領域内に位置することが好ましい。また、3点の高評価小ウィンドウが直線上に並ばないことが好ましい。そのため、近傍3点の高評価小ウィンドウの探索は、上記の条件を満たすように探索することが好ましい。
さらになお、位置関係パラメータpは、上記の方法で算出された値に限られず、対象の低評価小ウィンドウとその近傍の高評価小ウィンドウとの位置関係を表すパラメータであればよい。例えば、数6に代えて数7により算出してもよい。
(1.4)テンプレートデータファイル出力
以上のように、後述の布片検査において基準となる高評価小ウィンドウ、低評価小ウィンドウ、位置関係パラメータを求めることができる。画像処理手段3は、これらをテンプレートデータとしてファイル出力し、記憶手段4に記憶させる(ステップS1.4)。
ここで、テンプレートデータは、布片検査において検査の基準となるデータであり、具体的には、Yxy表色系へ変換後のテンプレート画像、基準色、2値化された後のテンプレート画像の一部である高評価小ウィンドウおよび低評価小ウィンドウ、高評価小ウィンドウおよび低評価小ウィンドウのテンプレート画像上の位置、各低評価小ウィンドウとその近傍3点の高評価小ウィンドウとの対応関係および位置関係パラメータである。
(2)布片検査
つぎに、図10に基づき布片検査について説明する。
布片検査は、まず、前記テンプレートデータをファイル入力し(ステップS2.1)、検査対象の布片Cをカメラで撮影して対象画像を取得する(ステップS2.2)。つぎに、対象画像から柄部分を抽出し、対象画像と柄部分とそれ以外の部分とで2値化する(ステップS2.3)。つぎに、2値化された対象画像を用いて小ウィンドウマッチングを行い移動量を演算する(ステップS2.4)。つぎに、移動量分布を作成し(ステップS2.5)、作成した移動量分布を元にテンプレート画像を変形させる(ステップS2.6)。最後に、変形後のテンプレート画像と対象画像とを比較して欠陥を抽出する(ステップS2.7)。
以下、各ステップについて詳説する。
(2.1)テンプレートデータファイル入力
前述のテンプレートデータ作成処理により、記憶手段4にはテンプレートデータが記憶されている。画像処理手段3は、作業員の指示により記憶手段4からテンプレートデータを読み込む(ステップS2.1)。
(2.2)対象画像取得
つぎに、作業員が布片検査装置Aに検査対象の布片Cを投入する。そうすると、カメラ2は、検査対象の布片Cを撮影する。画像処理手段3はその画像を対象画像として取得する(ステップS2.2)。
(2.3)柄部分抽出
つぎに、画像処理手段3は、対象画像から柄部分を抽出する(ステップS2.3)。図11に柄部分抽出のフローチャートを示す。
まず、画像処理手段3は、対象画像の各画素について数1および数2の変換を行い、対象画像をRBG表色系からYxy表色系に変換する(ステップS2.3.1)。
つぎに、画像処理手段3は、Yxy表色系に変換後の対象画像の各画素について、その画素の色と基準色とのYxy色空間における色相角θを求める(ステップS2.3.2)。本実施形態では、数3により、色相角θの余弦の値を求める。
つぎに、画像処理手段3は、対象画像の各画素について、cosθが閾値以下であるか否かを判断し(ステップS2.3.3)、閾値以下の場合はその画素を柄内点とし(ステップS2.3.4)、閾値を超える場合はその画素を柄外点とする(ステップS2.3.5)。そして、対象画像を柄部分とそれ以外の部分とで2値化する。例えば、柄部分を黒、それ以外の部分を白とした対象画像とする。このようにして、対象画像中の柄部分を抽出する。
このように、色相角が小さい部分を柄部分と判断することで、柄部分とそれ以外の部分(生地部分や基準色以外の色の柄部分)とを明確に区別することができる。そして、色相角を指標とすることで、柄の色褪せの影響を受けることなく対象画像中の柄部分を抽出することができる。また、生地部分を除去できるため、生地の劣化による白色度の低下の影響も除去できる。そのため、柄部分の抽出精度が高くなり、生地の劣化や柄の色褪せが生じても、精度よく布片を検査できる。
図13に、柄が色褪せした布片Cを検査した場合の、対象画像から柄部分を抽出した結果を示す。なお、図13はグレースケールで表現されているが、検査は赤色の柄を有する布片Cを用いて行っている。対象画像((b)参照)は、テンプレート画像((a)参照)に対して柄が色褪せしているが、上記方法で柄部分を抽出した結果、色褪せの影響を受けること無く柄部分を抽出でき、適切に対象画像を2値化できていることが分かる((c)参照)。
なお、上記の柄部分抽出処理は、Yxy色空間における色相角θを指標として行っているが、これに代えて、L*a*b*色空間における色相角や色相差など、色相の乖離の程度を示す他のパラメータを指標としてもよい。この場合には、基準色との色相の乖離の程度が小さい部分が柄部分と判断される。
ただし、本実施形態のようにYxy色空間における色相角θを指標とすれば、色相の乖離の程度を求めることが容易となるので好ましい。
(2.4)小ウィンドウマッチング
つぎに、画像処理手段3は、小ウィンドウマッチングを行う(ステップS2.4)。図12に小ウィンドウマッチングのフローチャートを示す。
まず、全ての高評価小ウィンドウについて対象画像上の位置を特定する(ステップS2.4.1)。具体的には、数8に示す類似度m(j)を指標として、位置jを摂動させつつ類似度m(j)が最大となる位置jmaxを探索し、その位置jmaxを高評価小ウィンドウの対象画像上の位置とする。類似度m(j)は、小ウィンドウを対象画像の位置jにおいて重ね合わせた場合の画像間の類似度を示す。
ここで、nは小ウィンドウに含まれる画素数であり、t(i)は2値化画像である小ウィンドウのi番目画素の値であり数9で表され、fj(i)は2値化画像である対象画像において、位置jを中心とする小ウィンドウと同じ広さ、形状の領域におけるi番目画素の値であり数10で表される。
なお、類似度に代えて相違度を指標とし、小ウィンドウを摂動させつつ相違度が最小となる位置を探索し、その位置を高評価小ウィンドウの対象画像上の位置としてもよい。
つぎに、全ての低評価小ウィンドウについてその対象画像上の位置を特定する(ステップ2.4.2)。低評価小ウィンドウの位置の特定には、数8で表される類似度m(j)に加えて位置関係パラメータq(j)も考慮する。
位置関係パラメータq(j)は数11で表される。
ここで、qx(j)は位置関係パラメータq(j)のx成分であり、qy(j)は位置関係パラメータq(j)のy成分であり、Fx(j)は、対象画像の位置jにおいて重ね合わせた小ウィンドウの中心座標のx成分であり、Fy(j)は、その小ウィンドウの中心座標のy成分であり、(x’1,y’1)、(x’2,y’2)、(x’3,y’3)は、テンプレートデータ作成処理において、演算対象の低評価小ウィンドウについて設定した近傍3点の高評価小ウィンドウの対象画像上の中心座標であり、G’(G’x,G’y)は、それら近傍3点の高評価小ウィンドウの重心座標である。
位置関係パラメータq(j)が、テンプレートデータとして記憶されている位置関係パラメータpに近いほど、テンプレート画像における低評価小ウィンドウの位置と、対象画像上における低評価小ウィンドウの位置が類似しているといえる。
画像処理手段3は、数12に示す位置評価値s(j)を指標として、位置jを摂動させつつ位置評価値s(j)が最大となる位置jmaxを探索し、その位置jmaxを低評価小ウィンドウの対象画像上の位置とする。位置評価値s(j)は、低評価小ウィンドウを対象画像の位置jにおいて重ね合わせた場合の、画像間の類似度m(j)に、近傍の高評価小ウィンドウとの位置関係パラメータを加えた評価値である。
ここで、tは、類似度m(j)と位置関係パラメータq(j)との力関係を調整する係数であり、低評価小ウィンドウの位置の特定が適切にできる値に設定される。
なお、位置評価値s(j)の類似度m(j)の項を相違度に代えてもよい。
以上より、全ての高評価小ウィンドウおよび低評価小ウィンドウの位置が特定できる。画像処理手段3は、各小ウィンドウのテンプレート画像における位置から、対象画像において特定された位置までの移動量をそれぞれ求める(ステップS2.4.3)。
以上のように、位置関係パラメータを指標に加えることで、低評価小ウィンドウであっても対象画像における位置を特定できる。そのため、シンプルな柄でも多数の小ウィンドウの位置を特定し多数点の移動量を求めることができる。
図14に、柄が変形した布片Cを検査した場合の、対象画像上の小ウィンドウの位置を特定した結果を示す。対象画像((b)参照)は、テンプレート画像((a)参照)に対して柄が変形しているが、上記方法で小ウィンドウの位置を特定した結果、全ての小ウィンドウについて適切に位置を特定できていることが分かる。また、図14に示す例では柄がシンプルな形であるが、低評価小ウィンドウについても適切に位置を特定でき、多数の小ウィンドウの位置を特定できることが分かる。
(2.5)移動量分布作成
つぎに、画像処理手段3は、各小ウィンドウの移動量を補間してテンプレート画像の全領域における移動量を求め、移動量分布を作成する(ステップS2.5)。移動量の補間にはスプライン補間など公知の方法を採用することができる。
(2.6)テンプレート画像変形
つぎに、画像処理手段3は、移動分布に基づいてテンプレート画像を変形させる(ステップS2.6)。移動量分布に基づいてテンプレート画像を変形させることで、生地の伸び縮みによる柄の変形の影響を除去できる。
(2.7)欠陥抽出
最後に、画像処理手段3は、変形後のテンプレート画像と対象画像とを比較して、その差分から布片Cの欠陥を検出する(ステップS2.7)。具体的には、生地部分については、対象画像において、テンプレート画像中の対応する画素の画素値を比較し、その差が大きい箇所を欠陥として検出する。一方、柄部分については、対象画像において、テンプレート画像の対応する画素の色との色相角を求め、色相角が閾値以下の部分を欠陥が無い柄部分と判断し、色相角が閾値を超えた部分を柄部分における欠陥と判断する。
以上の方法で、柄部分においても欠陥を検出できる。
また、布片Cの生地の伸び縮みが生じて柄が変形していたとしても、その変形と同様にテンプレート画像が変形させられており、柄の変形を十分に補正できるので、精度よく布片を検査できる。
なお、この場合の色相角についても、Yxy色空間における色相角のほかに、L*a*b*色空間における色相角や色相差など、色相の乖離の程度を示す他のパラメータを指標としてもよい。この場合には、テンプレート画像中の対応する画素の色との色相の乖離の程度が小さい部分が、欠陥が無い柄部分と判断される。
ただし、本実施形態のようにYxy色空間における色相角を指標とすれば、色相の乖離の程度を求めることが容易となるので好ましい。
さらになお、ステップS2.6で、テンプレート画像を変形させるのに代えて、対象画像を変形させてもよい。この場合には、対象画像を生地の伸び縮みがない状態に戻すように変形させる。
布片Cに付された柄が一色で表現されている場合には、上記の(1)テンプレートデータ作成処理を一度行い、(2)布片検査を一度行えば欠陥を検出できる。布片Cに付された柄が複数の色で表現されている場合には、柄を構成する色ごとにテンプレートデータを作成し、その色ごとに布片検査を繰り返し行えばよい。
A 布片検査装置
C 布片
1 コンベア
2 カメラ
3 画像処理手段
4 記憶手段

Claims (6)

  1. 色付きの柄を有する布片の欠陥の有無を検査する方法であって、
    欠陥が無い前記布片を撮影したテンプレート画像を分割して得た複数の小ウィンドウであって、重ね合せた画像間の類似度または相違度を指標として位置を特定し易い高評価小ウィンドウと、位置を特定し難い低評価小ウィンドウと、該低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータとを予め記憶し、
    検査対象の前記布片を撮影した対象画像において、重ね合せた画像間の類似度または相違度を指標として、前記高評価小ウィンドウの位置を特定し、
    前記対象画像において、重ね合せた画像間の類似度または相違度と、前記位置関係パラメータを指標として、前記低評価小ウィンドウの位置を特定し、
    前記高評価小ウィンドウおよび前記低評価小ウィンドウの前記テンプレート画像における位置から、前記対象画像において特定された位置までの移動量を求める
    ことを特徴とする布片検査方法。
  2. 前記移動量を元に前記テンプレート画像または前記対象画像を変形させた後、
    前記テンプレート画像と前記対象画像とを比較して欠陥を検出する
    ことを特徴とする請求項1記載の布片検査方法。
  3. 色付きの柄を有する布片の欠陥の有無を検査する方法であって、
    欠陥が無い前記布片を撮影したテンプレート画像を分割して複数の小ウィンドウとし、
    該複数の小ウィンドウのうち、その領域内の柄部分とそれ以外の部分との境界の曲がりが大きい小ウィンドウを高評価小ウィンドウとし、曲がりが小さい小ウィンドウを低評価小ウィンドウとし、
    前記低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータを求め、
    前記高評価小ウィンドウと、前記低評価小ウィンドウと、前記位置関係パラメータとを記憶する
    ことを特徴とする布片検査方法。
  4. 色付きの柄を有する布片の欠陥の有無を検査する装置であって、
    前記布片を撮影するカメラと、
    該カメラで撮影した画像を画像処理する画像処理手段と、
    該画像処理手段がアクセス可能な記憶手段と、を備え、
    前記記憶手段には、欠陥が無い前記布片を撮影したテンプレート画像を分割して得た複数の小ウィンドウであって、重ね合せた画像間の類似度または相違度を指標として位置を特定し易い高評価小ウィンドウと、位置を特定し難い低評価小ウィンドウと、該低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータとが記憶されており、
    前記カメラは、検査対象の前記布片を撮影して対象画像とし、
    前記画像処理手段は、
    前記対象画像において、重ね合せた画像間の類似度または相違度を指標として、前記高評価小ウィンドウの位置を特定し、
    前記対象画像において、重ね合せた画像間の類似度または相違度と、前記位置関係パラメータを指標として、前記低評価小ウィンドウの位置を特定し、
    前記高評価小ウィンドウおよび前記低評価小ウィンドウの前記テンプレート画像における位置から、前記対象画像において特定された位置までの移動量を求める
    ことを特徴とする布片検査装置。
  5. 前記画像処理手段は、
    前記移動量を元に前記テンプレート画像または前記対象画像を変形させた後、
    前記テンプレート画像と前記対象画像とを比較して欠陥を検出する
    ことを特徴とする請求項4記載の布片検査装置。
  6. 色付きの柄を有する布片の欠陥の有無を検査する装置であって、
    前記布片を撮影するカメラと、
    該カメラで撮影した画像を画像処理する画像処理手段と、
    該画像処理手段がアクセス可能な記憶手段と、を備え、
    前記カメラは、欠陥が無い前記布片を撮影してテンプレート画像とし、
    前記画像処理手段は、
    前記テンプレート画像を分割して複数の小ウィンドウとし、
    該複数の小ウィンドウのうち、その領域内の柄部分とそれ以外の部分との境界の曲がりが大きい小ウィンドウを高評価小ウィンドウとし、曲がりが小さい小ウィンドウを低評価小ウィンドウとし、
    前記低評価小ウィンドウとその近傍の前記高評価ウィンドウとの位置関係を表す位置関係パラメータを求め、
    前記高評価小ウィンドウと、前記低評価小ウィンドウと、前記位置関係パラメータとを前記記憶手段に記憶させる
    ことを特徴とする布片検査装置。
JP2012193852A 2012-09-04 2012-09-04 布片検査方法および布片検査装置 Active JP6048873B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012193852A JP6048873B2 (ja) 2012-09-04 2012-09-04 布片検査方法および布片検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012193852A JP6048873B2 (ja) 2012-09-04 2012-09-04 布片検査方法および布片検査装置

Publications (2)

Publication Number Publication Date
JP2014048258A true JP2014048258A (ja) 2014-03-17
JP6048873B2 JP6048873B2 (ja) 2016-12-21

Family

ID=50608059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012193852A Active JP6048873B2 (ja) 2012-09-04 2012-09-04 布片検査方法および布片検査装置

Country Status (1)

Country Link
JP (1) JP6048873B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650208A (zh) * 2020-06-01 2020-09-11 东华大学 一种巡游式机织面料疵点在线检测器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962838A (ja) * 1995-08-24 1997-03-07 Nachi Fujikoshi Corp 高速パターンマッチング方法
JP2003216931A (ja) * 2002-01-28 2003-07-31 Matsushita Electric Works Ltd 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
JP2003323616A (ja) * 2002-02-26 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及びその方法と、画像処理プログラム及びそのプログラムを記録した記録媒体
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
JP2008276311A (ja) * 2007-04-25 2008-11-13 Denso Corp 文字認識装置、外観検査装置及び文字認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962838A (ja) * 1995-08-24 1997-03-07 Nachi Fujikoshi Corp 高速パターンマッチング方法
JP2003216931A (ja) * 2002-01-28 2003-07-31 Matsushita Electric Works Ltd 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
JP2003323616A (ja) * 2002-02-26 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及びその方法と、画像処理プログラム及びそのプログラムを記録した記録媒体
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
JP2008276311A (ja) * 2007-04-25 2008-11-13 Denso Corp 文字認識装置、外観検査装置及び文字認識方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650208A (zh) * 2020-06-01 2020-09-11 东华大学 一种巡游式机织面料疵点在线检测器

Also Published As

Publication number Publication date
JP6048873B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
KR102036127B1 (ko) 영상 인식을 이용한 의류 생산 모니터링 시스템
CN105334219B (zh) 一种残差分析动态阈值分割的瓶口缺陷检测方法
US10713780B2 (en) Color quality assessment based on multispectral imaging
KR20130142118A (ko) 타이어의 트레드 디자인을 형성하는 기본 패턴을 식별하여 규정하기 위한 방법
JP7049983B2 (ja) 物体認識装置および物体認識方法
JP2017096750A (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
US9978138B2 (en) Image comparison device, image sensor, processing system, and image comparison method
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
JP6055228B2 (ja) 形状計測装置
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
JP2018029250A5 (ja)
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP6405124B2 (ja) 検査装置、検査方法およびプログラム
JP6148521B2 (ja) 色柄判別装置および色柄判別方法
US11769248B2 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
JP2015232481A (ja) 検査装置、検査方法およびプログラム
JP6048873B2 (ja) 布片検査方法および布片検査装置
JP6048872B2 (ja) 布片検査方法および布片検査装置
US10228239B2 (en) Measuring apparatus, measuring method, and article manufacturing method
JP2012022518A (ja) マーク読み取り装置、および方法
JP2004185019A5 (ja)
KR101559941B1 (ko) 인쇄패턴 불량 검사 시스템
Laureano et al. A topological approach for detection of chessboard patterns for camera calibration
JPWO2015098810A1 (ja) 画像処理装置および特定図形検出方法
KR20100025884A (ko) 영상 처리를 통한 롤 또는 쉬트 형태로 연속 생산되는 물품의 결함영상 분류방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161111

R150 Certificate of patent or registration of utility model

Ref document number: 6048873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250