JP2008102027A - 異物検出装置及び異物検出方法 - Google Patents
異物検出装置及び異物検出方法 Download PDFInfo
- Publication number
- JP2008102027A JP2008102027A JP2006285128A JP2006285128A JP2008102027A JP 2008102027 A JP2008102027 A JP 2008102027A JP 2006285128 A JP2006285128 A JP 2006285128A JP 2006285128 A JP2006285128 A JP 2006285128A JP 2008102027 A JP2008102027 A JP 2008102027A
- Authority
- JP
- Japan
- Prior art keywords
- foreign
- image
- foreign substance
- foreign matter
- foreign object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
【解決手段】異物検出装置(1)は、検査対象の液体が流れる測定管(2)に設けられた外部から視認可能な透過部(24)を照明する光源部(3)の発光と同期して、透過部(24)を流れる液体を撮影した検査画像を取得する撮像部(4)と、所定の閾値で2値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出する異物候補領域検出手段(54)と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段(55)と、特徴量抽出手段(55)で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する判定手段(56)とを有する。
【選択図】図1
Description
しかし、パーティクルカウンタを用いて測定を行う場合、液体を通す管の直径を受光素子のサイズと同程度に細くする必要があるため、例えば60秒間に約20ml程度の液体しか流すことができない。そのため、測定対象の液体の量が多いと、測定時間が非常に長くなるという問題があった。また、液体中に気泡が含まれる場合、気泡でも照明光の散乱が発生するため、気泡を誤って異物と判定してしまうおそれがあった。
また、本発明は、検査中に部品交換などの手間を要さず、短時間で検査可能な異物検出装置及び異物検出方法を提供することを目的とする。
係る構成により、検査中に部品の交換などの手間を要さず、また測定管(2)をパーティクルカウンタのように細くする必要がないので、短時間で検査を行うことができる。また、気泡と異物を区別して認識することができるので、正確に異物を検出することができる。なお、高輝度領域とは、検査画像を取得する際、撮像部(4)で受光した光量が相対的に多い領域を表し、低輝度領域とは、撮像部(4)で受光した光量が相対的に少ない領域を表す。
あるいは、請求項3に記載のように、特徴量は、異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、特徴量抽出手段(55)は、異物候補領域の重心位置を求め、重心位置から異物候補領域の幅又は高さの1/2以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して円周輝度差とすることが好ましい。
対称度又は円周輝度差を特徴量として用いることにより、異物又は気泡の像がほぼ真円の形状をしていても、検査画像上においてその大きさが数十画素程度しかないために、対応する異物候補領域がその像の形状を精密に再現できない場合であっても、円形と円形以外の形状とを識別可能な情報を与えることができる。そのため、検査画像の取得に用いる2次元検出器の画素数の増加及びデータ量の増加を抑制することができる。
本発明を適用した異物検出装置は、一例として、ディーゼルポンプなど、エンジンに燃料を供給する部品の洗浄に用いた軽油などの洗浄液に含まれる、部品に付着した、あるいは部品から剥がれた金属(例えば、鉄、アルミニウム)の破片などの異物(長さ約50μm〜150μm)を検出するために用いられる。本発明を適用した異物検出装置は、その洗浄液を検査用の管に流し、その管を流れる洗浄液を撮影した検査画像を解析して、異物又は気泡の像である可能性のある異物候補領域を検出する。そして、検出された異物候補領域から気泡と異物とで異なる性質を有する傾向のある1以上の特徴量を求め、その特徴量が所定の条件を満たす場合に、異物候補領域に写っている像は異物のものであると判定する。
本発明を適用した異物検査装置1は、上記の判定を行うために、測定管2、光源部3、撮像部4、及び処理部5を有する。
以下、異物検出装置1の各部について詳細に説明する。
貯留部21は、漏斗状に形成され、上方の開口部において、ワーク(ディーゼルポンプ)6を洗浄するために用いられた洗浄液を回収する。また、貯留部21の最下部に設けられた流出口は、開閉弁22により開閉可能となっている。そのため、貯留部21は、開閉弁22を閉じることにより、測定開始前に洗浄液を一時的に貯留して、回収時に発生した洗浄液中の気泡を減少させることができる。
以下、処理部5の各部について詳細に説明する。
図4に、検査画像の概略図を示す。図4において、検査画像400中に含まれる微小な暗領域401及び402は、それぞれ異物の像及び気泡の像である。洗浄液中に異物又は気泡が存在すると、それらは、照明光を散乱又は吸収する。そのため、図4に示すように、検査画像400上では、異物の像401又は気泡の像402は、画素値が周囲と比較して低下する。そこで、異物候補領域検出手段54は、検査画像を2値化し、2値化によって大多数の画素と異なる値を有する画素値を有する画素の集合領域をラベリングすることにより、異物候補領域を検出する。
またさらに、2値化画像をラベリングする前に、画素値‘1’を有する画素を対象としてモルフォロジーのクロージング演算を行って、不連続点の接続や穴埋め処理を行ってもよい。逆に、オープニング演算を行って、孤立点を除去してもよい。
図5(a)〜(f)に、検査画像における気泡の像と異物の像の例を示す。図5(a)及び(b)において、暗領域501及び502は、それぞれ気泡の像である。また、図5(c)〜(f)における各暗領域503〜506は、それぞれ異物の像である。図5(a)及び(b)に示されるように、気泡は、比較的整った球形をしているため、検査画像上での気泡の像は、相対的に円形に近い形状をしている。一方、異物は、ディーゼルポンプの内壁などから剥がれ落ちた金属片などが主なものと考えられる。そのため、図5(c)〜(f)に示されるように、異物の像は、比較的いびつな形状をしている。
そこで、本実施形態では、特徴量抽出手段55は、異物と気泡とで異なる値を有する傾向のあるものとして、異物候補領域の円形度を表す4種類の指標(フィレ径差、占有率、対称度、円周輝度差)を、特徴量として算出する。なお、それらの特徴量は、各異物候補領域ごとに算出されるが、特徴量抽出手段55は、各異物候補領域について同じ処理を行うため、以下の説明では、一つの異物候補領域からの特徴量抽出について説明する。
図6において、テーブル600の各列ごとに、一つの特徴について説明されている。また、テーブル600の各行については、上から順に、行601には、抽出する各特徴量の名称が示されている。そして、その下の行602に、各特徴量の説明が記載されている。その下の行603は、気泡の像について、各特徴量の値として想定される値の傾向を示し、最下段の行604は、異物の像について、各特徴量の値として想定される値の傾向を示す。ここで、各特徴量のうち、円周輝度差を除いては、異物候補領域検出手段54で求めた2値化画像あるいはラベル画像から抽出する。円周輝度差は、検査画像から抽出する。
垂直中心線が求まると、特徴量抽出手段55は、その垂直中心線を軸として、異物候補領域の右側半分を折り返して、異物候補領域の左側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をカウントする。同様に、特徴量抽出手段55は、水平中心線を軸として、異物候補領域の下側半分を折り返して、異物候補領域の上側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をさらにカウントし、その画素の合計を算出する。そして、その合計を対象度Sdとする。
例えば、上記の実施形態では、特徴量として、フィレ径差、占有率、対称度、円周輝度差の4種類のものを用いたが、要求される検出精度に応じて、このうちの1乃至3種類の特徴量のみを用いてもよい。あるいは、上記の特徴量の全てまたは何れかとともに、別の特徴量を組み合わせて用いてもよい。ただし、良好な検出精度を得るためには、異なる観点から異物候補領域の形状の評価を行えるようにするために、上記の特徴量のうちの少なくとも2種類を用いることが好ましい。
2 測定管
21 貯留部
22 開閉弁
23 管
24 平面透過部
3 光源部
4 撮像部
5 処理部
51 記憶手段
52 制御手段
53 通信手段
54 異物候補領域検出手段
55 特徴量抽出手段
56 判定手段
Claims (7)
- 検査対象物である液体の流路を形成し、該流路の少なくとも一部が外部から視認可能な透過部(24)を有する測定管(2)と、
前記透過部(24)を照明する光源部(3)と、
前記光源部(3)の発光と同期して、前記光源部(3)により照明された前記透過部(24)を流れる液体を撮影した検査画像を取得する撮像部(4)と、
所定の閾値で2値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出する異物候補領域検出手段(54)と、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段(55)と、
前記特徴量抽出手段(55)で抽出された少なくとも一つの前記特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定する判定手段(56)と、
を有することを特徴とする異物検出装置。 - 前記特徴量は、前記異物候補領域の対称性を表す対称度であり、
前記特徴量抽出手段(55)は、前記異物候補領域の垂直中心線及び水平中心線の位置を決定し、該垂直中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数と、該水平中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数の合計を求めて、該対称度とする、請求項1に記載の異物検出装置。 - 前記特徴量は、前記異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、
前記特徴量抽出手段(55)は、前記異物候補領域の重心位置を求め、該重心位置から前記異物候補領域の幅又は高さの1/2以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して該円周輝度差とする、請求項1に記載の異物検出装置。 - 前記異物候補領域検出手段(54)は、前記検査画像の注目画素について、該注目画素を含む小領域を設定し、該小領域の代表信号値を求めて該注目画素に対応する画素の値とすることにより、背景画像を作成し、該背景画像と前記検査画像の差分画像を作成し、該差分画像の平均画素値を算出し、該平均画素値に基づいて前記所定の2値化閾値を算出する、請求項1に記載の異物検出装置。
- 前記特徴量抽出手段(55)は、少なくとも2種類の前記特徴量を抽出し、
前記判定手段(56)は、抽出された前記特徴量の何れかが、各特徴量について予め定められた条件を満たす場合に、異物と判定する、請求項1〜4の何れか一項に記載の異物検出装置。 - 前記光源部(3)の1回当たりの発光時間が、該1回当たりの発光中に前記液体が移動する移動量が、前記検査画像において、前記検査画像の画素の大きさの1/2以下となる時間である、請求項1〜5の何れか一項に記載の異物検出装置。
- 検査対象物である液体を照明光源の発光と同期しつつ撮影して検査画像を取得するステップと、
所定の閾値で2値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出するステップと、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出するステップと、
前記少なくとも一つの特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定するステップと、
を有することを特徴とする異物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006285128A JP4765890B2 (ja) | 2006-10-19 | 2006-10-19 | 異物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006285128A JP4765890B2 (ja) | 2006-10-19 | 2006-10-19 | 異物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008102027A true JP2008102027A (ja) | 2008-05-01 |
JP4765890B2 JP4765890B2 (ja) | 2011-09-07 |
Family
ID=39436458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006285128A Expired - Fee Related JP4765890B2 (ja) | 2006-10-19 | 2006-10-19 | 異物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4765890B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009300337A (ja) * | 2008-06-16 | 2009-12-24 | Kyokko Denki Kk | 流体検知センサ |
JP2012112938A (ja) * | 2010-11-25 | 2012-06-14 | Mettler-Toledo Ag | 液相中の固形物検出用の装置および方法 |
JP2012120799A (ja) * | 2010-12-10 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015511308A (ja) * | 2011-12-28 | 2015-04-16 | サンエディソン・セミコンダクター・リミテッドSunEdison Semiconductor Limited | エアーポケット検出方法およびシステム |
JP2017161435A (ja) * | 2016-03-11 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 透明体の検査方法 |
WO2018105607A1 (ja) | 2016-12-09 | 2018-06-14 | コニカミノルタ株式会社 | 測定装置、測定異常検知方法、およびプログラム |
CN109872959A (zh) * | 2017-12-05 | 2019-06-11 | 株式会社斯库林集团 | 烟雾判定方法、基板处理方法及基板处理装置 |
JP2019174346A (ja) * | 2018-03-29 | 2019-10-10 | 富士通株式会社 | 検査方法、検査装置、及び検査プログラム |
CN112525920A (zh) * | 2020-11-23 | 2021-03-19 | 山东科技大学 | 一种液体透视成像干扰滤波系统 |
CN113279886A (zh) * | 2021-06-16 | 2021-08-20 | 哈尔滨工程大学 | 柴油机高压共轨喷油器清洁度检测装置 |
JP7076052B1 (ja) | 2022-02-16 | 2022-05-26 | 三菱重工業株式会社 | 気孔率計測装置および気孔率計測方法 |
WO2023164809A1 (zh) * | 2022-03-01 | 2023-09-07 | 京东方科技集团股份有限公司 | 曲面基板气泡检测方法及检测系统 |
CN116823835A (zh) * | 2023-08-30 | 2023-09-29 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
CN116862912A (zh) * | 2023-09-04 | 2023-10-10 | 山东恒信科技发展有限公司 | 基于机器视觉的原料油杂质检测方法 |
JP7451631B1 (ja) | 2022-09-07 | 2024-03-18 | 本田技研工業株式会社 | 溶接部検査装置及び溶接部検査方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821798A (ja) * | 1994-07-06 | 1996-01-23 | Kanegafuchi Chem Ind Co Ltd | 異物検出方法及び装置 |
JPH0921741A (ja) * | 1995-12-28 | 1997-01-21 | Toa Medical Electronics Co Ltd | 流体中の粒子分析装置 |
JP2004354100A (ja) * | 2003-05-27 | 2004-12-16 | Matsushita Electric Works Ltd | 容器内液体中の異物検出方法及びその装置 |
JP2005241304A (ja) * | 2004-02-24 | 2005-09-08 | Matsushita Electric Works Ltd | 外観検査方法 |
JP2005315850A (ja) * | 2004-03-29 | 2005-11-10 | Kgt Inc | 三次元位置計測装置 |
JP2006010612A (ja) * | 2004-06-29 | 2006-01-12 | Mutual Corp | 液体容器の気泡の判別方法 |
-
2006
- 2006-10-19 JP JP2006285128A patent/JP4765890B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821798A (ja) * | 1994-07-06 | 1996-01-23 | Kanegafuchi Chem Ind Co Ltd | 異物検出方法及び装置 |
JPH0921741A (ja) * | 1995-12-28 | 1997-01-21 | Toa Medical Electronics Co Ltd | 流体中の粒子分析装置 |
JP2004354100A (ja) * | 2003-05-27 | 2004-12-16 | Matsushita Electric Works Ltd | 容器内液体中の異物検出方法及びその装置 |
JP2005241304A (ja) * | 2004-02-24 | 2005-09-08 | Matsushita Electric Works Ltd | 外観検査方法 |
JP2005315850A (ja) * | 2004-03-29 | 2005-11-10 | Kgt Inc | 三次元位置計測装置 |
JP2006010612A (ja) * | 2004-06-29 | 2006-01-12 | Mutual Corp | 液体容器の気泡の判別方法 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009300337A (ja) * | 2008-06-16 | 2009-12-24 | Kyokko Denki Kk | 流体検知センサ |
JP2012112938A (ja) * | 2010-11-25 | 2012-06-14 | Mettler-Toledo Ag | 液相中の固形物検出用の装置および方法 |
JP2012120799A (ja) * | 2010-12-10 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102134985B1 (ko) | 2011-12-28 | 2020-07-17 | 글로벌웨이퍼스 씨오., 엘티디. | 에어 포켓 검출 방법 및 시스템 |
JP2015511308A (ja) * | 2011-12-28 | 2015-04-16 | サンエディソン・セミコンダクター・リミテッドSunEdison Semiconductor Limited | エアーポケット検出方法およびシステム |
US9665931B2 (en) | 2011-12-28 | 2017-05-30 | Sunedison Semiconductor Limited (Uen201334164H) | Air pocket detection methods and systems |
KR101923105B1 (ko) | 2011-12-28 | 2018-11-28 | 썬에디슨 세미컨덕터 리미티드 | 에어 포켓 검출 방법 및 시스템 |
KR20180131627A (ko) * | 2011-12-28 | 2018-12-10 | 썬에디슨 세미컨덕터 리미티드 | 에어 포켓 검출 방법 및 시스템 |
JP2017161435A (ja) * | 2016-03-11 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 透明体の検査方法 |
WO2018105607A1 (ja) | 2016-12-09 | 2018-06-14 | コニカミノルタ株式会社 | 測定装置、測定異常検知方法、およびプログラム |
US11397150B2 (en) | 2016-12-09 | 2022-07-26 | Otsuka Pharmaceutical Co., Ltd. | Measuring device, measurement abnormality detecting method, and program |
KR102241007B1 (ko) * | 2017-12-05 | 2021-04-15 | 가부시키가이샤 스크린 홀딩스 | 흄 판정 방법, 기판 처리 방법, 및 기판 처리 장치 |
KR20190066553A (ko) * | 2017-12-05 | 2019-06-13 | 가부시키가이샤 스크린 홀딩스 | 흄 판정 방법, 기판 처리 방법, 및 기판 처리 장치 |
US11011398B2 (en) | 2017-12-05 | 2021-05-18 | SCREEN Holdings Co., Ltd. | Fume determination method, substrate processing method, and substrate processing equipment |
CN109872959B (zh) * | 2017-12-05 | 2023-07-25 | 株式会社斯库林集团 | 烟雾判定方法、基板处理方法及基板处理装置 |
CN109872959A (zh) * | 2017-12-05 | 2019-06-11 | 株式会社斯库林集团 | 烟雾判定方法、基板处理方法及基板处理装置 |
JP7234502B2 (ja) | 2018-03-29 | 2023-03-08 | 富士通株式会社 | 方法、装置、及びプログラム |
JP2019174346A (ja) * | 2018-03-29 | 2019-10-10 | 富士通株式会社 | 検査方法、検査装置、及び検査プログラム |
CN112525920A (zh) * | 2020-11-23 | 2021-03-19 | 山东科技大学 | 一种液体透视成像干扰滤波系统 |
CN113279886A (zh) * | 2021-06-16 | 2021-08-20 | 哈尔滨工程大学 | 柴油机高压共轨喷油器清洁度检测装置 |
CN113279886B (zh) * | 2021-06-16 | 2022-11-04 | 哈尔滨工程大学 | 柴油机高压共轨喷油器清洁度检测装置 |
JP7076052B1 (ja) | 2022-02-16 | 2022-05-26 | 三菱重工業株式会社 | 気孔率計測装置および気孔率計測方法 |
JP2023119224A (ja) * | 2022-02-16 | 2023-08-28 | 三菱重工業株式会社 | 気孔率計測装置および気孔率計測方法 |
WO2023164809A1 (zh) * | 2022-03-01 | 2023-09-07 | 京东方科技集团股份有限公司 | 曲面基板气泡检测方法及检测系统 |
JP7451631B1 (ja) | 2022-09-07 | 2024-03-18 | 本田技研工業株式会社 | 溶接部検査装置及び溶接部検査方法 |
CN116823835A (zh) * | 2023-08-30 | 2023-09-29 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
CN116823835B (zh) * | 2023-08-30 | 2023-11-10 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
CN116862912A (zh) * | 2023-09-04 | 2023-10-10 | 山东恒信科技发展有限公司 | 基于机器视觉的原料油杂质检测方法 |
CN116862912B (zh) * | 2023-09-04 | 2023-11-24 | 山东恒信科技发展有限公司 | 基于机器视觉的原料油杂质检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4765890B2 (ja) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4765890B2 (ja) | 異物検出装置 | |
JP6976257B2 (ja) | マルチビューの特徴付けのための方法及び装置 | |
EP2373957B1 (en) | Methods for determining a liquid level in a container using imaging | |
JP6870826B2 (ja) | 側方多視点から試料を定量化するように構成された方法及び装置 | |
ES2123476T3 (es) | Metodo para evaluar la calidad de portaobjetos y de preparacion de muestras. | |
EP1096249A2 (en) | Nondestructive inspection method and apparatus | |
JP2004354100A (ja) | 容器内液体中の異物検出方法及びその装置 | |
JP2015155921A (ja) | 原石のインクルージョンを検出/同定する方法および機器 | |
JP5414707B2 (ja) | 分析装置 | |
EP1152372A3 (en) | Method and apparatus for automatic detection and sizing of cystic objects | |
KR102074561B1 (ko) | 일회용 음료병 정보 검사 장치 | |
CN107969148B (zh) | 图像分析系统和方法 | |
JP4517826B2 (ja) | 液面検出方法 | |
Chao et al. | Design of a dual-camera system for poultry carcasses inspection | |
US7352900B2 (en) | Apparatus and method for processing particle images and program product for same | |
JP2001116703A (ja) | 容器内浮遊物判別方法及びその装置 | |
JP2006343138A (ja) | 検査装置 | |
JP4038210B2 (ja) | 自動流動顕微鏡のための粒子抽出 | |
JPWO2009041683A1 (ja) | 分注装置 | |
JP2005241304A (ja) | 外観検査方法 | |
JP2006010612A (ja) | 液体容器の気泡の判別方法 | |
JPH07333197A (ja) | 表面疵自動探傷装置 | |
JPH08145871A (ja) | 粒子画像の領域分割方法及び装置 | |
JP2009264882A (ja) | 外観検査装置 | |
JP2004361085A (ja) | 外観検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4765890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |