JP2005227016A - 対象物評価装置 - Google Patents

対象物評価装置 Download PDF

Info

Publication number
JP2005227016A
JP2005227016A JP2004033469A JP2004033469A JP2005227016A JP 2005227016 A JP2005227016 A JP 2005227016A JP 2004033469 A JP2004033469 A JP 2004033469A JP 2004033469 A JP2004033469 A JP 2004033469A JP 2005227016 A JP2005227016 A JP 2005227016A
Authority
JP
Japan
Prior art keywords
evaluation
light
pixel
light receiving
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004033469A
Other languages
English (en)
Other versions
JP4342332B2 (ja
Inventor
Yuichi Yamazaki
祐一 山崎
Takahiro Mizoguchi
高宏 溝口
Naoto Ikeda
直人 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2004033469A priority Critical patent/JP4342332B2/ja
Publication of JP2005227016A publication Critical patent/JP2005227016A/ja
Application granted granted Critical
Publication of JP4342332B2 publication Critical patent/JP4342332B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Sorting Of Articles (AREA)

Abstract

【課題】 装置構成を簡素化することが可能になるとともに、評価対象物に対する迅速な評価処理を実行することが可能となる対象物評価装置を提供する。
【解決手段】 評価対象物を評価する対象物評価手段102が、評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で二次元の画像情報を取得する画像情報取得手段GSにて取得された二次元の画像情報における1つの画素を対象画素として、その対象画素及びその対象画素の周囲に位置する画素のうちで特定位置関係に位置する画素の受光量を、設定重み付け条件を加えた状態で加算して受光量総和情報を算出することを、二次元の画像情報における全ての画素について行う総和情報算出処理、及び、受光量総和情報に基づいて評価対象物の大きさを評価する大きさ評価処理とを実行する。
【選択図】 図5

Description

本発明は、評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で前記評価対象物が位置する計測対象箇所を受光する受光手段と、その受光手段にて得られた受光情報に基づいて前記評価対象物を評価する対象物評価手段とが備えられている対象物評価装置に関する。
上記構成の対象物評価装置において、従来では、前記受光手段として、評価対象物の大きさよりも小さい範囲を受光対象範囲として各別に受光情報を取り出し可能な複数の受光部を備えて各受光部にて評価対象物からの光を受光する一次元式の受光センサが備えられ、この受光センサにより評価対象物を透過又は反射した光を受光するように構成され、前記対象物評価手段として、前記受光センサの複数の受光部の受光量が評価対象物に対応する適正光量範囲を外れているか否かにより、適正光量範囲内にあれば正常な評価対象物であり、適正光量範囲を外れていれば不良物であると判別する制御部が備えられたものがあった(例えば、特許文献1参照。)。そして、この構成では、評価対象物が存在しない領域は、不良物ではない領域、言い換えると正常な評価対象物と同じであると判別する必要があることから、評価対象物が存在しない領域から得られる受光量は適正光量範囲内に調整される構成となっていた。
特開平9−225412号公報
ところで、評価対象物に対する評価として、評価対象物の大きさを評価することができるようにすることが望まれている。例えば、玄米や精米等の米粒群を評価対象物とする場合においては、精米処理設備等において選別回収した破砕米や屑米等の細粒を含む粒状物群の中に正常な米粒が少量含まれることがあるが、このような粒状物群の中から正常な米粒を分離させるために、評価対象物の大きさを評価すること、つまり、評価対象物が設定大きさよりも大きい評価対象物であるか設定大きさよりも小さい評価対象物であるかを評価することが望まれている。
このような要望に対して、上記従来構成の対象物評価装置を用いて上記したような評価対象物の大きさを評価することが考えられるが、上記従来構成においては、前記受光センサの複数の受光部の受光量が評価対象物に対応する適正光量範囲内にあれば、すべて正常な評価対象物として判別されるので、前記制御部による判別結果により評価対象物の大きさを評価することができないものであった。
そこで、上記構成の受光手段の受光情報を利用して評価対象物の大きさを評価する構成として、受光手段の受光情報から二次元の画像情報を取得する画像情報取得手段を備えるとともに、前記対象物評価手段として、前記受光手段の受光情報を次のような一般的な画像処理の手法を用いて処理して評価対象物の大きさを評価するような構成とすることが考えられる。つまり、画像情報取得手段は、前記受光手段における複数の受光部によって計測された複数の受光情報が検出される毎にA/D変換器等を用いて量子化した画像情報を求める処理を設定時間が経過する毎に繰り返し行い、それらを設定回数行った結果として、二次元の画像情報を取得する構成とする。尚、取得された二次元の画像情報は画像メモリに記憶させることになる。
そして、前記対象物評価手段として、前記画像メモリに記憶されている二次元の画像情報について、評価対象物に対応する領域とそれ以外の空間に対応する領域に区分けするために設定閾値にて二値化処理する処理を実行してその処理結果を記憶手段に記憶し、次に、二次元の画像情報の中に存在する複数の評価対象物の夫々の大きさを評価するために、二値化処理して評価対象物であると判別される画素について、それらの画素が連なった1つの画像を形成しているか否かを判別するために、1つの画像を形成している前記各画素について連なった1つの画像であることを識別するためのラベリング処理を実行して、その判別結果を更に別の記憶手段に記憶し、ラベリング処理された各画像を形成する画素数を計数することで評価対象物の大きさを求める構成とする。
しかし、上述したように二次元の画像情報を一般的な画像処理の手法を用いて処理して評価対象物の大きさを評価する構成とする場合には、二次元の画像情報を記憶しておくための記憶手段の他に、二値化処理における判別結果を記憶するための記憶手段、更には、ラベリング処理における判別結果を記憶するための記憶手段も必要であり、多くの記憶手段が必要となり、それだけ構成が複雑化する不利がある。
本発明の目的は、上述したような不利を解消して、評価対象物の大きさを評価することが可能なものでありながら、装置構成を簡素化することが可能になる対象物評価装置を提供する点にある。
本発明の第1特徴構成は、評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で前記評価対象物が位置する計測対象箇所を受光する受光手段と、その受光手段にて得られた受光情報に基づいて前記評価対象物を評価する対象物評価手段とが備えられている対象物評価装置であって、前記受光手段の受光情報より二次元の画像情報を取得する画像情報取得手段が備えられ、前記対象物評価手段が、前記画像情報取得手段にて取得された前記二次元の画像情報における1つの画素を対象画素として、その対象画素及びその対象画素の周囲に位置する画素のうちで特定位置関係に位置する画素の受光量を、設定重み付け条件を加えた状態で加算して受光量総和情報を算出することを、前記二次元の画像情報における全ての画素について行う総和情報算出処理、及び、前記受光量総和情報に基づいて前記評価対象物の大きさを評価する大きさ評価処理とを実行するように構成されている点にある。
第1特徴構成によれば、画像情報取得手段が受光手段の受光情報より二次元の画像情報を取得し、対象物評価手段は、画像情報取得手段にて取得された二次元の画像情報に基づいて総和情報算出処理を実行する。つまり、前記二次元の画像情報における1つの画素を対象画素として、その対象画素及びその対象画素の周囲に位置する画素のうちで特定位置関係に位置する画素の受光量を、設定重み付け条件を加えた状態で加算して受光量総和情報を算出することを、二次元の画像情報における全ての画素について行うのである。説明を加えると、前記対象画素の周囲に位置する特定位置関係に位置する画素の全てのものが評価対象物であることを示すような大きな受光量になっている場合であれば前記受光量総和情報は大きな値になるが、特定位置関係に位置する画素のうちの多くの画素あるいは全ての画素が評価対象物でないことを示す小さい受光量になっている場合であれば前記受光量総和情報は小さい値になる。このような受光量総和情報の大きさによって、例えば対象画素の周囲に位置する特定位置関係に位置する画素の全ての領域にわたるような大きな評価対象物であるか又はそれよりも小さい評価対象物であるかを評価する等、評価対象物の大きさについての評価を行うことが可能となるのである。
上記したような受光量総和情報を算出する処理を実行する場合には、画像情報取得手段にて取得された二次元の画像情報を単に処理することで対応できるので、総和情報算出処理により算出された受光量総和情報を一旦、記憶手段に記憶させておく必要はなく、このような評価対象物を評価するのに必要となる処理の途中経過の情報を一旦、記憶させておくための記憶手段が不要となる。
従って、評価対象物の大きさを評価することが可能なものでありながら、評価対象物を評価するのに必要となる処理の途中経過の情報を記憶しておくための記憶手段を少なくして装置構成を簡素化することが可能になる対象物評価装置を提供できるに至った。
本発明の第2特徴構成は、第1特徴構成に加えて、前記評価対象物が米粒であり、前記対象物評価手段は、前記受光総和情報が設定判別値よりも大きければ前記評価対象物が設定大きさよりも大きい評価対象物であると評価するように構成されている点にある。
第2特徴構成によれば、米粒を評価対象物として、対象物評価手段は、受光総和情報が設定判別値よりも大きければ評価対象物としての米粒が設定大きさよりも大きい米粒であると評価することになる。このような構成にすると、正常な米粒やその正常な米粒よりも小さい米粒、例えば破砕した米粒や未成熟の米粒等を含む粒状体群を対象として、画像情報取得手段にて取得された二次元の画像情報に基づいて、米粒の大きさを評価して正常な米粒とそれよりも小さい米粒とを識別する処理が可能となる。
本発明の第3特徴構成は、第1特徴構成又は第2特徴構成に加えて、計測対象箇所を通過しながら予定移送経路に沿って一層状態で且つ経路横幅方向に沿って複数列状に並ぶ横拡がり状態で前記評価対象物を移送する移送手段と、前記計測対象箇所に位置する横拡がり状の評価対象物に対して光を投射する投光手段とが備えられ、前記画像情報取得手段が、前記予定移送経路の経路横幅方向に評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で前記計測対象箇所を設定時間毎に繰り返し計測する一次元式の受光手段の受光情報により前記二次元の画像情報を生成するように構成されている点にある。
第3特徴構成によれば、移送手段によって、評価対象物が予定移送経路に沿って一層状態で且つ経路横幅方向に沿って複数列状に並ぶ横拡がり状態で移送され、計測対象箇所に位置する横拡がり状の評価対象物に対して投光手段にて光が投射される。そして、画像情報取得手段は、一次元式の受光手段にて予定移送経路の経路横幅方向に評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で計測対象箇所を設定時間毎に繰り返し計測することになる。そして、その設定時間毎に繰り返し計測して得られる一次元式の受光手段の受光情報により前記二次元の画像情報を生成する構成となっている。
このように構成することによって、簡素な構成の一次元式の受光手段を用いて二次元の画像情報を取得することが可能であり、画像情報取得手段の構成を簡素なものとして構成することが可能となる。
本発明の第4特徴構成は、第3特徴構成に加えて、前記対象物評価手段の評価情報に基づいて、前記移送手段にて前記予定移送経路に沿って移送される前記評価対象物を、前記設定大きさよりも大きい評価対象物とそれ以外の評価対象物とに分離する分離手段が設けられている点にある。
第4特徴構成によれば、評価対象物を移送手段にて移送しながら計測対象箇所において画像情報取得手段によって二次元の画像情報が取得され、その画像情報取得手段にて得られた情報に基づいて対象物評価手段によって、評価対象物が前記設定大きさよりも大きい評価対象物かそれ以外の評価対象物かについて評価を行い、その評価情報に基づいて、分離手段が、予定移送経路に沿って移送される評価対象物を設定大きさよりも大きい評価対象物とそれ以外の評価対象物とに分離することになる。
従って、評価対象物を移送しながら、画像情報取得手段による二次元の画像情報の取得、対象物評価手段による評価、並びに、分離手段による分離の夫々の処理を順次行うことにより、評価結果に基づいて評価対象物を分離させるための一連の処理を円滑な動作で行うことが可能であり、しかも、対象物評価手段による評価処理を迅速に行えることから、上述した一連の処理を迅速に行うことが可能となる。
本発明の第5特徴構成は、第3特徴構成又は第4特徴構成に加えて、前記対象物評価手段が、前記一次元式の受光手段における各画素の夫々の情報に基づいて、前記評価対象物の良否を評価する画素別評価処理を実行するように構成されている点にある。
第5特徴構成によれば、対象物評価手段は一次元式の受光手段における各画素の夫々の情報に基づいて評価対象物の良否を評価することになる。前記一次元式の受光手段は、予定移送経路の経路横幅方向に評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で計測対象箇所を設定時間毎に繰り返し計測するものであるから、この一次元式の受光手段における各画素の夫々の情報は、評価対象物の大きさよりも小さい範囲を単位受光対象範囲を対象とするものである。
つまり、評価対象物の大きさよりも小さい範囲を対象として良否を評価するものであるから、評価対象物の一部に欠陥が存在する場合や評価対象物の大きさよりも小さい異物が存在しているような場合に、そのような一部に欠陥がある評価対象物や小さな異物の存在を識別することが可能なものとなる。
以下、本発明に係る対象物評価装置の実施形態を図面に基づいて説明する。
図1に、玄米や精米等の米粒群を評価対象物として、その米粒群を予定移送経路に沿って移送しながら評価を行う対象物評価装置が示されている。この装置は、幅方向全幅に亘って平坦な案内面が形成された板状のシュータ1が、水平面に対して所定角度(例えば60度)に傾斜されて設置され、このシュータ1の上部側に設けた貯留タンク7からフィーダ9によって搬送・供給された米粒群が、シュータ1の上面を一層状態で且つ経路横幅方向に沿って複数列状に並ぶ横拡がり状態で流下案内される構成となっている。つまり、上記シュータ1の上面及びその下端からの流下経路が予定移送経路を形成しており、このシュータ1が米粒群を選別対象物としてその選別対象物を予定移送経路に沿って計測対象箇所を通過してその計測対象箇所の位置よりも経路下手側の分離箇所に移送する移送手段を構成する。尚、ここでは、一層状態で移送させることを目的としているので、流れ状態により部分的に粒が重なっても、一層状態の概念に含まれる。
貯留タンク7には、外部の精米機等から供給される米粒群や、その外部からの米粒群を1次選別処理した後再選別されるものや精米処理設備等で発生した破砕米や屑米等の細粒を含む粒状物群等が貯留される。タンク7は下端側ほど先細筒状に形成され、貯留タンク7からフィーダ9上に落下した米粒群のシュータ1への供給量は、フィーダ9の振動による米粒群の搬送速度を変化させて調節される。
図2、図3に示すように、米粒群がシュータ1の下端部から移動落下する予定移送経路IK中に、米粒群に対する計測対象箇所Jが設定されている。そして、予定移送経路IKの前面側(図2において左側)を照明する前面側ライン状光源4Bと、予定移送経路IKの後面側(図2において右側)を照明する後面側ライン状光源4Aとが設けられている。各ライン状光源4A,4Bと前記計測対象箇所Jとを結ぶ照明光の経路には夫々拡散透過板18A,18Bが配置され、各ライン状光源4A,4Bの背部側及び一部側方箇所を覆う状態で、内面につや消しの白色塗装を施した曲面状の拡散反射板20A,20Bが配置されている。この両ライン状光源4A,4Bにて計測対象箇所Jに光を投射する投光手段が構成されている。
上記前面側ライン状光源4Bからの照明光が上記計測対象箇所Jにおいて米粒群にて反射した反射光及び後面側ライン状光源4Aからの照射光が上記計測対象箇所Jにおいて米粒群を透過した透過光を受光する前面側受光装置5Bと、後面側ライン状光源4Aからの照明光が上記計測対象箇所Jにおいて米粒群にて反射した反射光及び前面側ライン状光源4Bからの照射光が上記計測対象箇所Jにおいて米粒群を透過した透過光を受光する後面側受光装置5Aとが設けられている。尚、上記したような米粒群を透過した透過光は上記反射光に比べて非常に小さい値であり、前記各受光装置5A,5Bが受光する光は反射光と略等しいとみなすことができる。前記各ライン状光源4A,4Bは、各受光装置5A,5Bの受光方向に対して傾いた複数の方向から米粒群を照明するように、計測対象箇所Jを斜め下方から照明する下側光源と、計測対象箇所Jを斜め上方から照明する上側光源とを備えている。そして、このように計測対象箇所Jを照明光の照明角度を変えて異なる方向から照明して、米粒群が正常な計測対象箇所Jから横方向にずれた場合でも、極力均一な状態で良好に照明できるようにしている。
図6に示すように、前記両受光装置5A,5Bは、前記幅広の計測対象箇所Jからの光を受光する複数個の受光部としての複数個の受光素子5aを計測対象箇所Jの経路横幅方向に沿って並置させるように構成されている。つまり、前記米粒群の各米粒の大きさよりも小さい範囲p(例えば0.1mm以下)を夫々の受光対象範囲とする複数個の受光素子5aを前記幅広の計測対象箇所Jに対応させてライン状に並ぶ状態で備えている一次元式の受光手段として構成されている。具体的には、各受光装置5A,5Bは、受光素子5aが直線状に並ぶように設けられたモノクロタイプのCCDセンサ部50と、計測対象箇所Jでの米粒群の像を上記CCDセンサの各受光素子5a上に結像させる光学系51とから構成され、例えば図6において各受光素子5aからの一次元の複数の受光情報が順次取り出されるように構成されている。又、前記各受光装置5A,5Bは、このような一次元の複数の受光情報を設定時間毎に繰り返し計測して出力することができる構成となっている。
前記各受光装置5A,5Bの受光方向であって前記計測対象箇所Jの背部側箇所に配置されて、前記各受光装置5A,5Bに向けて光を投射する背景光量調整部8が設けられている。この背景光量調整部8は、前記計測対象箇所Jの横幅方向に沿って密状態で並べて設置される複数のLED発光素子80と、それらの複数のLED発光素子80が設置される領域の光投射側に配置されて複数のLED発光素子80が発光した光を拡散させる拡散板81とを備えて構成されている。
説明を加えると、図4に示すように、計測対象箇所Jの横幅方向に沿って長尺状に構成され、且つ、断面形状が略矩形状であって前方側部分が開口しているケーシング83の内部に、複数のLED発光素子80が設置されたLED基板82が設けられている。このLED基板82は前記横幅方向に沿って密状態で複数のLED発光素子80を並べる状態で設置されている。このLED基板82は、ケーシング83にビス止めされたアルミニューム板からなる放熱板84に対してシリコン放熱樹脂を介して貼り付けて取り付けられている。一方、このLED基板82の前方側には、LED発光素子80が発光した光を拡散させる拡散板81が、複数のLED発光素子80の並び方向の中央部において各LED発光素子80との間の離間距離が大であり、前記並び方向の両端側では各LED発光素子80との間の離間距離が小となるように湾曲する状態で設けられている。このように拡散板81を湾曲させることで、前記計測対象箇所Jにおける光の強さが横幅方向中央にて大になり端部部分にて小になるというような偏りが生じないように、光の強さが横幅方向において極力均一になるようにしている。
そして、図5に示すように、背景光量調整部8におけるLED発光素子80の発光出力を変更調整自在な調光装置85が備えられ、この調光装置85は、後述する制御装置10からの制御指令に基づいて前記LED発光素子80の発光出力を変更調整するように構成されている。
図2に示すように、前面側ライン状光源4B、前面側受光装置5Bが一方の収納部13Bに収納され、後面側ライン状光源4A、後面側受光装置5Aが他方の収納部13Aに収納され、両収納部13A,13Bは側板が共通の一体の箱体に形成され、各収納部13A,13Bは、計測対象箇所Jに面する側に板状の透明なガラスからなる透過窓14A,14Bを備えている。つまり、各ライン状光源4A,4B及び各受光装置5A,5Bが、前記計測対象箇所Jに面する側に透過窓14A,14Bを備えた収納部13A,13Bに収納されて、各ライン状光源4A,4Bが前記透過窓14A,14Bを通して前記計測対象箇所Jを照明し、且つ、各受光装置5A,5Bが前記透過窓14A,14Bを通して前記計測対象箇所Jからの光を受光するように構成されている。
予定移送経路IKの前記計測対象箇所Jから経路下手側の分離箇所において、計測対象箇所Jでの受光情報に基づいて分離対象物と判定された物に対してエアーを吹き付けて流下移動方向から分離させるための分離手段としてのエアー吹き付け装置6が設けられ、このエアー吹き付け装置6は、噴射ノズル6aの複数個を、上記予定移送経路IKの全幅を所定幅で複数個の区画に分割形成した各区画に対応する状態で並置させ、分離対象物が存在する区画の噴射ノズル6aが作動されるように構成されている。
そして、シュータ1の下端部から所定経路に沿って流下する米粒群のうちで、前記噴射ノズル6aからのエアーの吹き付けを受けずにそのまま進行してくる物を回収する流下用受口部2Bと、エアーの吹き付けを受けて流下移送方向から横方向に分離した分離対象物を回収する分離用受口部3Bとが設けられ、流下用受口部2Bが横幅方向に細長い筒状に形成され、その流下用受口部2Bの周囲を囲むように、分離用受口部3Bが形成されている。
図1に示すように、脚部F0を備えた底板F1上に立設された縦枠F2,F3,F4が、横枠F5,F6,F7によって連結されて機枠が構成されている。表側の縦枠F4の上部斜め部分に動作内容を指令する操作部21が設置され、前記フィーダ9に対する振動発生器9Aが横枠F5上に設置され、前記エアー吹き付け装置6に対するエアー供給用のエアタンク15が底板F1上に設置されている。又、箱状の収納部13A,13Bが前部側で縦枠F4に後部側で縦枠F3に支持され、シュート1が上部側で横枠F6に下部側で収納部13Bに支持されている。装置外面を覆うカバーCが機枠に取り付けられている。前記操作部21には、後述するような運転モードの切り換えを指令する運転モード設定器20の他、図示はしないが光量判別用の閾値を調整するための操作具等が設けられる。
次に、制御構成について説明する。
図5に示すように、マイクロコンピュータ利用の制御装置10が設けられ、この制御装置10に、両受光装置5A,5Bからの各画像信号と、操作部21における上記したような運転モード設定器20の指令情報等がある。一方、制御装置10からは、前記ライン状光源4A,4Bを点灯させる点灯回路19に対する駆動信号と、各噴射ノズル6aへの各エアー供給をオンオフする複数個の電磁弁11に対する駆動信号と、前記フィーダ用振動発生器9Aに対する駆動信号と、前記調光装置85への制御指令用の信号とが出力されている。
前記制御装置10は、両受光装置5A,5Bにおける各画素の夫々の情報に基づいて、評価対象物の良否を評価する画素別評価処理を実行するように構成されている。又、前記制御装置10は、前記計測対象箇所を受光して得られた前記両受光装置5A,5Bからの各画像信号より二次元の画像情報を取得するための信号処理を実行するように構成され、又、その二次元の画像情報に基づいて評価対象物が設定大きさよりも大きい評価対象物であるか否かについての大きさ評価処理、具体的には、正常な米粒であるか破砕米等の正常な米粒より小さい細粒であるかについての評価を行う処理を実行するように構成されている。
そして、前記運転モード設定器20にて運転モードとして異常検出モードが設定されると前記画素別評価処理を実行し、運転モードとして米粒検出モードが設定されると前記大きさ評価処理を実行するように構成されている。前記画素別評価処理は、正常な米粒を多く含む粒状群の中に一部に欠陥がある不良の米粒や小石等の小さい異物が存在していると、そのような不良物や異物を粒状体群の中から除去するために用いられるものである。一方、前記大きさ評価処理は、精米処理設備等で発生した破砕米や屑米等の細粒を含む粒状物群の中に正常な米粒を存在していると、その正常な米粒を粒状体群の中から取り出すために用いられるものである。
次に、前記画素別評価処理について説明する。
この画素別評価処理は、前記各受光装置5A,5Bにおける各画素の受光量が適正光量範囲(ΔEt、ΔEh)を外れた場合にその画素に対応する領域に不良物が存在していると判別するように構成されている。尚、各受光装置5A,5Bの各受光素子5a毎の適正光量範囲ΔE1,ΔE2の上限値及び下限値の値は制御装置10内に予め設定して記憶される。そして、背景光量調整部8から投射する光の光量が適正光量範囲の略中央値になるように変更調整されることになる。
この画素別評価処理における前記各受光装置5A,5Bの受光出力について説明する。
図7に示すように、前面側受光装置5Bにおける各受光部5aの受光量に対応する出力電圧が米粒群に対する適正光量範囲ΔEtにある場合に正常な米粒の存在を判別し、設定適正範囲でΔEtを外れた場合に米粒の不良又は異物の存在を判別する。図中、e0は、正常米粒からの標準的な透過光に対する出力電圧レベルである。そして、図中、e1、e2で示すように適正光量範囲ΔEtよりも小さい場合に不良の米粒や異物等(例えば、黒色の石粒)の存在を判別し、図中、e3で示すように適正光量範囲ΔEtよりも大きい場合に不良の米粒k又は前記異物の存在を判別する。この明側の不良の米粒k又は異物の例としては、薄い色付の透明なガラス片等が挙げられる。
このとき、背景光量調整部8から投射する光の光量が適正光量範囲のほぼ中央値になるように調整されているから、計測対象箇所に米粒が存在しない領域即ち背景に相当する画素においては、正常な米粒kと同じような光量が得られるので正常な米粒として判定されることになる。
一方、後面側受光装置5Bにおいても同様に、図8に示すように、各受光部5aの受光量に対応する出力電圧が適正光量範囲ΔEh内にある場合に正常な米粒の存在を判別し、適正光量範囲ΔEhを外れた場合に前記米粒の不良又は前記異物の存在を判別する。図中、e0'は、正常米粒からの標準的な受光量に対する出力電圧レベルである。そして、図中、e1’、e2’で示すように適正光量範囲ΔEtよりも小さい場合に不良の米粒や異物等(例えば、黒色の石粒)の存在を判別し、図中、e3’で示すように適正光量範囲ΔEtよりも大きい場合にガラス片等の存在を判別する。又、この後面側受光装置5Aにおいても、前面側受光装置5Bと同様に、背景光量調整部8から投射する光の光量が適正光量範囲の略中央値になるように調整されることになる。
尚、これまでの説明では、前面側ライン状光源4B及び後面側ライン状光源4Aはいずれも点灯している状態で評価処理を行うようになっているが、このような使い方以外に、前面側ライン状光源4Bのみ点灯し、後面側ライン状光源4Aを消灯した状態で評価処理を行う場合もある。例えば、正常な米粒kを「もち米」として設定して「うるち米」を不良として選別するような場合である。この場合には、前面側受光装置5Bは前面側ライン状光源4Bから照射されて米粒を反射した光を受光し、後面側受光装置5Aは前面側ライン状光源4Bから照射されて米粒を透過した光を受光して、制御装置10は、それらの受光情報に基づいて、米粒が「もち米」であるか「うるち米」であるかを評価する処理を行うことになる。
前記制御装置10は、上記不良の判別情報に基づいて、前記両受光装置5A,5Bの計測対象位置Jに移送した粒状体群のうちで、前記両受光装置5A,5Bの少なくともいずれか一方において、米粒の不良又は異物の存在が判別された場合には、計測対象位置Jから前記噴射ノズル6aによるエアー噴射位置までの移送時間が経過するに伴って、流下している不良の米粒又は異物に対して、不良の米粒又は異物の存在が検出された画素の流下経路横幅方向での位置に対応する区画の噴射ノズル6aからエアーを吹き付けて、不良の米粒又は異物を他の粒状体群の流下経路から分離させて分離用受口部3Bに回収するように制御を実行することになる(図3参照)。
次に、前記大きさ評価処理について説明する。
この大きさ評価処理においては、前記各受光装置5A,5Bにおける各画素の受光量が設定閾値を越えるような大きな値になると、その画素に対応する領域に米粒が存在していると判別するように構成されている。尚、上記のように各受光装置5A,5Bの各受光素子5a毎の設定閾値は制御装置10内に予め設定して記憶される。そして、背景光量調整部8から投射する光の光量は、米粒が存在しない領域であると識別できる程度に充分低い光量値になるように変更調整されることになる。
この大きさ評価処理における前記各受光装置5A,5Bの受光出力について説明する。
図9に示すように、前面側受光装置5Bにおける各受光部5aの受光量に対応する出力電圧が設定閾値Ltを越えると米粒の存在を判別し、設定閾値Ltを下回ると米粒が存在していないと判別する。このとき、背景光量調整部8から投射する光の光量e6が米粒が存在しない領域であると認識できる程度に充分低い光量値になるように調整されているから、計測対象箇所に米粒が存在しない領域即ち背景に相当する画素においては米粒が存在していないものと判定されることになる。この場合、正常な米粒が存在する位置(e4で示す)、及び、細粒が存在する位置(e5で示す)では、受光素子5aの出力電圧(受光量)が上記設定閾値Ltを越える高い値になり、米粒が存在しない位置(背景に相当する位置)では設定閾値Ltよりも低い値になる。
図10に示すように、後面側受光装置5Bの出力波形についても前面側受光装置5Aの場合と同様に、各受光部5aの受光量に対応する出力電圧が米粒群に対する設定閾値Lhを越えると米粒の存在を判別し、設定閾値Lhを下回ると米粒が存在していないと判別することになる。そして、正常な米粒が存在する位置(e4'で示す)、及び、細粒が存在する位置(e5'で示す)では、受光素子5aの出力電圧(受光量)が上記設定閾値Lhを越える高い値になり、米粒が存在しない位置(背景に相当する位置でありe6’で示す)では設定閾値Lhよりも低い値になる。
前記制御装置10は、大きさ評価処理を実行するときは、前記両受光装置5A,5Bからの各画像信号より二次元の画像情報を取得するための信号処理を実行し、その二次元の画像情報に基づいて評価対象物が設定大きさよりも大きい評価対象物であるか否かについての大きさ評価処理を行うように構成されている。従って、制御装置10を利用して一次元の受光装置からの受光情報より二次元の画像情報を取得するための信号処理を実行する信号処理手段101が構成されている。又、制御装置10を利用して前記大きさ評価処理を実行する対象物評価手段102が構成される。又、この対象物評価手段102は、運転モードとして米粒検出モードが設定されるとこの大きさ評価処理を実行するが、運転モードとして異常検出モードが設定されると前記画素別評価処理を実行することになる。
すなわち、前記制御装置10は、前記受光装置においてライン状に並ぶ状態で備えている複数個の受光素子5aの検出情報が設定時間毎に繰り返し検出されて入力されるので、制御装置10は、その検出情報により二次元の画像情報として生成するように信号処理を行う構成となっている。説明を加えると、前記制御装置10は、前記各受光装置から入力される画像信号をA/D変換して量子化するA/D変換器及び量子化された画像情報を記憶する画像メモリ等を備えており、複数個の受光素子5aの検出情報が設定時間毎に繰り返し検出されるに伴って、その検出された情報に基づいて二次元の画像情報を生成するように信号処理することにより二次元画像情報を取得する構成となっている。そして、その信号処理とともに次のような総和情報算出処理を実行するように構成されている。
従って、前記制御装置10における前記信号処理手段101、A/D変換器,画像メモリ等により、受光手段としての各受光装置5A,5Bの受光情報より二次元の画像情報を取得する画像情報取得手段GSが構成されることになる。
次に、総和情報算出処理について説明する。
上述したようにして取得された二次元の画像情報における1つの画素を対象画素として、その対象画素及びその対象画素の周囲に位置する画素のうちで特定位置関係に位置する画素の受光量を、設定重み付け条件を加えた状態で加算して受光量総和情報を算出することを、前記二次元の画像情報における全ての画素について行うのである。
図12に示す原理図を参照しながら説明を加える。この図においては、理解し易くするために対象とする画素数を少なくし、且つ、比較のために評価対象物が大きい場合と小さい場合とを例示している。
二次元の画像情報における1つの画素を対象画素とし、その対象画素に対して前記特定位置関係を有するものとして、例えば、対象画素を中央に位置させて縦方向並びに横方向夫々に3個づつ合計9個の画素を対象とする領域を設定する。そして、この領域を対象として、図12の(イ)に示すように各画素の受光情報に夫々図12の(ロ)に示すような重み付け係数(この例では全て「1」)を掛けた値を9個全てについて加算して対象画素についての受光量総和情報として算出する。尚、図12の(イ)に示す値は受光量の大きさを表している。この演算処理を数式を用いて表すと、次の数1のようになる。但し、f(n,m)は領域に対応した重み付け係数を示す。
Figure 2005227016
図12の(ハ)に、各画素を対象画素をした場合の受光量総和情報を示している。この図から分かるように、対象物が大きい場合には中央の画素の受光量総和情報が大きな値(図に示す例では1170)になり、対象物が小さい場合には中央の画素の受光量総和情報が小さい値(図に示す例では190)になる。そこで、図12(ニ)、(ホ)に示すように、このようにして求めた受光量総和情報が予め設定された設定判別値(例えば、1000)よりも小さければ識別結果を「0」と判定し、設定判別値より大きければ識別結果を「1」と判定することで、前記評価対象物が設定大きさよりも大きい評価対象物であるか否かを評価することができるのである。
図13には、本出願人の実測データを示している。この図では、図12の場合と同様に、評価対象物が大きい場合すなわち正常な米粒の計測結果及び評価対象物が小さい場合すなわち細粒の計測結果を夫々例示している。この例では、前記特定位置関係に位置する画素として対象画素を中心として合計48個の画素に「0」、「1」、「2」のいずれかの重み付け係数をつけて受光量総和情報を算出する構成となっている。図13(イ)は、256ビットで量子化された二次元の画像情報を示し、図13の(ロ)は特定画素に対する重み付け係数を示している。図13の(ハ)は、重み付け係数を掛けた各画素毎の結果を示し、図13の(ニ)は対象画素における受光量総和情報を示している。この図では、評価対象物が大きい場合には受光量総和情報が「4096」となり、評価対象物が小さい場合には受光量総和情報が「1028」となっている。尚、最終的な判別用の指標としての出力は、前記受光量総和情報を前記特定位置関係に位置する各画素の重み付けの合計値(32)で正規化した値「128」、「32」を用いるようにしている。そして、設定判別値として適切な値、例えば「100」を設定しておくことで前記評価対象物が設定大きさよりも大きい評価対象物であるか否かを評価することができる。画素の個数で正規化しているのは前記画素数が変化した場合であっても比較する上での基準を合わせるためである。
そして、前記制御装置10は、上記大きさ評価処理の評価結果に基づいて、前記両受光装置5A,5Bの少なくともいずれか一方において、前記計測対象位置Jに移送した粒状体群の中に正常な米粒の存在が判別された場合には、計測対象位置Jから前記噴射ノズル6aによるエアー噴射位置までの移送時間が経過するに伴って、流下している設定大きさより大きい正常な米粒kに対して、その正常な米粒kの存在が検出された画素の流下経路横幅方向での位置に対応する区画の噴射ノズル6aからエアーを吹き付けて、正常な米粒kを他の粒状体群の流下経路から分離させて分離用受口部3Bに回収するように制御を実行することになる(図11参照)。
因みに、この大きさ評価処理を実行する場合には、フィーダ9の振動による米粒群の搬送速度を変化させて貯留タンク7からフィーダ9への米粒群の供給量を調節することにより、フィーダ9上を米粒群が重なり合うことなくできるだけ粒同士が間隔をあけた状態で移送させるようにするとよい。
尚、上述したような画素数、重み付け係数、並びに、受光量総和情報を示す数値は例示であって本発明はこのような数値に限定されるものではない。
〔別実施形態〕
以下、別実施形態を列記する。
(1)上記実施形態では、前面側ライン状光源4B及び後面側ライン状光源4Aがいずれも点灯している状態で前記大きさ評価処理を行う場合について例示したが、このような構成に限らず、例えば、前面側ライン状光源4B及び後面側ライン状光源4Aのうちのいずれか一方のみを点灯し、他方のものを消灯した状態で前記大きさ評価処理を行うこともできる。
例えば、前面側ライン状光源4Bを点灯し、後面側ライン状光源4Aを消灯した場合には、前面側受光装置5Bが前面側ライン状光源4Bから照射されて米粒を反射した光を受光し、後面側受光装置5Aが前面側ライン状光源4Bから照射されて米粒を透過した光を受光する構成となる。このとき、前面側受光装置5Bの受光情報に基づいて米粒の存在の有無を判別する構成は上記実施形態の場合と同様であるが、後面側受光装置5Aの受光情報に基づいて米粒の存在の有無を判別する構成はそれとは異なる。
説明を加えると、後面側受光装置5Aは透過光を検出するものであるから、米粒の存在する部分は光を遮って暗くなるが、米粒が存在しない部分では光が透過するので明るい状態となる。そこで、前記背景光量調整部8は、米粒が存在しない領域であることが識別できる程度に十分に充分高い光量値になるように調整しておく必要がある。
この後面側受光装置5Aの受光出力について説明すると、図14に示すように、後面側受光装置5Aにおける各受光部5aの受光量に対応する出力電圧が中間的な光量値に設定された設定閾値Lを下回ると米粒の存在を判別し、設定閾値Lを上回ると米粒が存在していないと判別する。このとき、背景光量調整部8から投射する光の光量e6が充分高い光量値になるように調整されているから、計測対象箇所に米粒が存在しない領域即ち背景に相当する画素においては米粒が存在していないものと判定されることになる。この場合、正常な米粒が存在する位置(e4’’で示す)、及び、細粒が存在する位置(e5’’で示す)では、受光素子5aの出力電圧(受光量)が上記設定閾値Lを下回る値になり、米粒が存在しない位置(背景に相当する位置でありe6’’で示す)では設定閾値Lhよりも高い値になる。
これまでの説明では、前面側ライン状光源4B及び後面側ライン状光源4Aのうち、前面側ライン状光源4Bを点灯し、後面側ライン状光源4Aを消灯した場合について説明したが、このような構成に代えて、後面側ライン状光源4Aを点灯し、前面側ライン状光源4Bを消灯して、後面側受光装置5Aが後面側ライン状光源4Aから照射されて米粒を反射した光を受光し、前面側受光装置5Bが後面側ライン状光源4Aから照射されて米粒を透過した光を受光する構成としてもよい。このときは、前面側受光装置5Bの受光出力が図14に示すような状態になる。
ところで、上記実施形態では、前記画素別評価処理において、前面側受光装置5Bが前面側ライン状光源4Bから照射されて米粒を反射した光を受光し、後面側受光装置5Aが前面側ライン状光源4Bから照射されて米粒を透過した光を受光する構成は、正常な米粒kを「もち米」として設定して「うるち米」を不良として選別するようなときに用いることを説明したが、この構成は、米粒に限らず、米以外の作物や工業製品において原料の色が黒っぽい物や光を通しにくいものを評価対象物として評価するときに好適に用いることができる。
(2)上記実施形態では、前記受光手段として、前記前面側受光装置5B及び後面側受光装置5Aが備えられ、前記大きさ評価処理を実行するときに、前面側受光装置5B及び後面側受光装置5Aの少なくともいずれか一方において設定大きさよりも大きい評価対象物としての正常な米粒の存在が判別された場合に、その判別された正常な米粒を分離させて回収するような構成としたが、このような構成に代えて、次のように構成するものでもよい。
例えば、前面側受光装置5B及び後面側受光装置5Aの夫々において、設定大きさよりも大きい評価対象物としての正常な米粒の存在が判別された場合に、その判別された正常な米粒を分離させて回収するような構成としたり、あるいは、前記受光手段として、前面側受光装置5Bあるいは前記後面側受光装置5Aのうちのいずれか一方だけの情報を用いて、設定大きさよりも大きい評価対象物としての正常な米粒の存在を判別する構成として、その情報に基づいて判別された正常な米粒を分離させて回収するような構成としてもよい。又、この構成において前記各受光装置のうち前記大きさ評価処理の情報として用いる受光装置とは別の受光装置の受光情報を利用して前記画素別評価処理を実行するようにしてもよい。
(3)上記実施形態では、一次元式の受光手段としてモノクロタイプのCCDラインセンサを用いたが、このようなモノクロタイプではなくカラータイプのCCDセンサにて構成して、例えば、色情報R,G,B毎の受光量から不良米や異物の存否をさらに精度良く判別してもよい。又、上記実施形態では、透過光用のラインセンサ5A及び反射光用の各ラインセンサ5Bの夫々を用いたがそれらのうちのいずれかのラインセンサの受光情報に基づいて大きさ判別処理を行うようにしてもよい。
(4)上記実施形態では、画像情報取得手段として、一次元式の受光手段の受光情報により前記二次元の画像情報を生成する構成としたが、このような構成に代えて二次元の画像情報をそのまま計測可能なCCDイメージセンサや撮像管式のテレビカメラを用いて二次元の画像情報を取得するようにしてもよい。
(5)上記実施形態では、前記対象物評価手段が、運転モードとして米粒検出モードが設定されると前記大きさ評価処理を実行し、運転モードとして異常検出モードが設定されると前記画素別評価処理を実行する構成としたが、このような構成に限らず、前記大きさ評価処理と前記画素別評価処理とを同時に実行するように構成してもよい。例えば、前記透過用の受光装置の受光情報を用いて前記大きさ評価処理を実行し、前記反射用の受光装置の受光情報を用いて前記画素別評価処理を実行するようにしてもよい。又、このとき、正常な米粒をそのまま流下させ、不良粒や異物等の不良物を排除して回収する場所、設定大きさより小さい対象物である細粒を排除して回収する場所とを各別に備えて、それら3種のものを各別に回収するように構成してもよい。
(6)上記実施形態では、前記対象物評価手段が一次元式の受光手段における各画素の夫々の情報に基づいて評価対象物の良否を評価する画素別評価処理を実行するように構成したものを例示したが、このような画素別評価処理を実行しない構成としてもよい。
(7)上記実施形態では、分離手段が、不良物に対してエアーを吹き付けて、正常物と異なる経路に分離させるようにしたが、これに限るものではなく、例えば不良物をエアーで吸引して分離させるようにしたり、機械的な接当作用により分離させるようにしてもよい。
(8)上記実施形態では、評価対象物が米粒群である場合について例示したが、これに限るものではなく、例えば、プラスチック粒等における粒の大きさを評価する場合にも適用できる。
(9)上記実施形態では、予定移送経路として、斜め姿勢の平面からなるシュータによる流下経路にて構成したが、これ以外に、例えば、複数の樋状の経路を横方向に並置したシュータにて構成するものでもよい。
粒状体検査装置の全体側面図 同要部側面図 画素別評価処理を実行している状態の要部の斜視図 背景光量調整部の構成を示す図 制御構成のブロック図 受光装置の受光範囲を示す図 前面側受光装置の出力波形図 後面側受光装置の出力波形図 前面側受光装置の出力波形図 後面側受光装置の出力波形図 大きさ評価処理を実行しているときの要部の斜視図 大きさ評価処理の手順を示す原理図 実測データに基づく大きさ評価処理の手順を示す図 別実施形態の後面側受光装置の出力波形図
符号の説明
1 移送手段
6 分離手段
4A,4B 投光手段
5A,5B 受光手段
102 対象物評価手段
GS 画像情報取得手段

Claims (5)

  1. 評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で前記評価対象物が位置する計測対象箇所を受光する受光手段と、
    その受光手段にて得られた受光情報に基づいて前記評価対象物を評価する対象物評価手段とが備えられている対象物評価装置であって、
    前記受光手段の受光情報より二次元の画像情報を取得する画像情報取得手段が備えられ、
    前記対象物評価手段が、
    前記画像情報取得手段にて取得された前記二次元の画像情報における1つの画素を対象画素として、その対象画素及びその対象画素の周囲に位置する画素のうちで特定位置関係に位置する画素の受光量を、設定重み付け条件を加えた状態で加算して受光量総和情報を算出することを、前記二次元の画像情報における全ての画素について行う総和情報算出処理、及び、
    前記受光量総和情報に基づいて前記評価対象物の大きさを評価する大きさ評価処理とを実行するように構成されている対象物評価装置。
  2. 前記評価対象物が米粒であり、前記対象物評価手段は、前記受光総和情報が設定判別値よりも大きければ前記評価対象物が設定大きさよりも大きい評価対象物であると評価するように構成されている請求項1記載の対象物評価装置。
  3. 計測対象箇所を通過しながら予定移送経路に沿って一層状態で且つ経路横幅方向に沿って複数列状に並ぶ横拡がり状態で前記評価対象物を移送する移送手段と、
    前記計測対象箇所に位置する横拡がり状の評価対象物に対して光を投射する投光手段とが備えられ、
    前記画像情報取得手段が、
    前記予定移送経路の経路横幅方向に評価対象物の大きさよりも小さい範囲を単位受光対象範囲とする分解能状態で前記計測対象箇所を設定時間毎に繰り返し計測する一次元式の受光手段の受光情報により前記二次元の画像情報を生成するように構成されている請求項1又は2記載の対象物評価装置。
  4. 前記対象物評価手段の評価情報に基づいて、前記移送手段にて前記予定移送経路に沿って移送される前記評価対象物を、前記設定大きさよりも大きい評価対象物とそれ以外の評価対象物とに分離する分離手段が設けられている請求項3記載の対象物評価装置。
  5. 前記対象物評価手段が、前記一次元式の受光手段における各画素の夫々の情報に基づいて、前記評価対象物の良否を評価する画素別評価処理を実行するように構成されている請求項3又は4記載の対象物評価装置。
JP2004033469A 2004-02-10 2004-02-10 対象物評価装置 Expired - Lifetime JP4342332B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004033469A JP4342332B2 (ja) 2004-02-10 2004-02-10 対象物評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004033469A JP4342332B2 (ja) 2004-02-10 2004-02-10 対象物評価装置

Publications (2)

Publication Number Publication Date
JP2005227016A true JP2005227016A (ja) 2005-08-25
JP4342332B2 JP4342332B2 (ja) 2009-10-14

Family

ID=35001858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004033469A Expired - Lifetime JP4342332B2 (ja) 2004-02-10 2004-02-10 対象物評価装置

Country Status (1)

Country Link
JP (1) JP4342332B2 (ja)

Also Published As

Publication number Publication date
JP4342332B2 (ja) 2009-10-14

Similar Documents

Publication Publication Date Title
KR102103048B1 (ko) 광학식 입상물 선별기
US9024223B2 (en) Optical type granule sorting machine
US20120044344A1 (en) Method and system for detecting defects of transparent substrate
JP2010042326A (ja) 光学式穀粒選別装置
JP2016503895A (ja) 種子を選別するためのシステムおよび方法
JP4675120B2 (ja) 粒状体選別装置
JP4076414B2 (ja) 不良物検出装置及びそれを用いた分離装置
RU2403100C2 (ru) Устройство для сортировки зерна по цвету
JP4851856B2 (ja) 粒状体選別装置
JP2005180958A (ja) 選別装置
RU83436U1 (ru) Устройство для сортировки зерна по цвету
JP4342332B2 (ja) 対象物評価装置
JP7087687B2 (ja) 穀物の光沢測定装置
US9347892B2 (en) Optical inspection apparatus and optical sorting apparatus
US20230398576A1 (en) Method for identifying object to be sorted, sorting method, and sorting device
JP4052911B2 (ja) 不良物検出装置及びそれを用いた分離装置
JP2006231233A (ja) 粒状体選別装置
CN116368373A (zh) 光学式分选机
JPH03122556A (ja) 半透明シート状物の検査方法および装置
JP7282021B2 (ja) 色彩選別機
JP7071191B2 (ja) 粒状体選別装置
JP7434889B2 (ja) 光学式選別機
JPH1190346A (ja) 不良検出装置及び不良物除去装置
WO2014076253A1 (en) Method and apparatus for identifying, sorting or classifying
CN112620160A (zh) 大米物料的检测系统、方法及色选机

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4342332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140717

Year of fee payment: 5

EXPY Cancellation because of completion of term