JP2008224619A - Method for discriminating quality of grain and device for selecting the same - Google Patents
Method for discriminating quality of grain and device for selecting the same Download PDFInfo
- Publication number
- JP2008224619A JP2008224619A JP2007067313A JP2007067313A JP2008224619A JP 2008224619 A JP2008224619 A JP 2008224619A JP 2007067313 A JP2007067313 A JP 2007067313A JP 2007067313 A JP2007067313 A JP 2007067313A JP 2008224619 A JP2008224619 A JP 2008224619A
- Authority
- JP
- Japan
- Prior art keywords
- bean
- concentration
- special
- density
- grain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、豆粒の表皮に関わる良否を判別する豆粒の良否判別方法、及び豆粒の表皮に関わる良否を判別して、分別する豆粒選別装置に関するものである。 The present invention relates to a method for determining the quality of a bean grain that determines the quality related to the skin of the bean grain, and a bean grain sorting device that determines and determines the quality related to the skin of the bean grain.
穀粒の良否判定に関する技術として、走査によって計測した生データ及び関数演算データを特徴量データとして、直接表示することで、産地、品種等の違いに影響されない、絶対評価を行う技術が提案されている(特許文献1参照)。 As a technology related to grain quality determination, a technology has been proposed that performs absolute evaluation that is not affected by differences in production area, variety, etc. by directly displaying raw data and function operation data measured by scanning as feature data. (See Patent Document 1).
この特許文献1では、LCDモニタへの表示状態を、検査員が目視で確認することで、判定項目のそれぞれについて、良否の判定を行う。特徴量データは、測光データから一義的に定まる生データと関数演算データであり、文字メッセージは、全国平均との比較結果のみであるため、この時点では、しきい値の取り方によって自動的に良否を判定した場合に起こり得る差異がない。良否の判定は、検査員に依存することになるが、穀粒の産地や品種の違いを熟知している検査員が正確なデータや全国平均との比較のための文字メッセージを目視して判断する方が、結果的には精度の高い良否判別が可能となる。
しかしながら、上記従来技術は、例えば、ロット単位での良否判別を対象としているため、熟練者の目視による判別の精度向上のために特徴量データを参照するという点では、有利であるが、豆粒1個1個の良否を判定するには、効率が悪い。 However, since the above prior art is intended for, for example, pass / fail discrimination in units of lots, it is advantageous in that the feature amount data is referred to improve the accuracy of discrimination by an expert visually. It is inefficient to determine whether each piece is good or bad.
従って、測光データ(CCDセンサ等による読取画像データ)に基づく濃度値と予め定めたしきい値との比較による良否判定が望ましいが、良否判定項目の中には、良否の濃度値が近似している場合があり、単純な濃度値比較のみでは、正確な良否判定を行うことができなかった。 Accordingly, it is desirable to determine pass / fail by comparing the density value based on photometric data (read image data from a CCD sensor or the like) with a predetermined threshold value. However, the pass / fail determination value approximates the pass / fail density value. In some cases, it was not possible to make an accurate pass / fail judgment only by simple density value comparison.
例えば、黒大豆は表皮がほぼ黒色に近く、その一部に「へそ」が存在する(「へそ」は豆育成のための養分取り入れ部(豆子実の生長(登熟)のための養分取り入れ部)である。)が、この表皮が裂ける不良(裂皮不良)が発生すると、この裂皮不良部分と、「へそ」部分との濃度がほぼ同一のため、濃度値比較では何れかの判別が困難となっている。 For example, black soybeans have a nearly black epidermis, and some of them have “navels” (“navels” are nutrient intakes for growing beans (nutrient intakes for the growth (ripening) of legumes). ))) However, when a defect (scratch defect) occurs that the epidermis is torn, the density of the defective skin part and the “navel” part is almost the same. It has become difficult.
本発明は上記事実を考慮し、豆粒の良否判定の全ての項目に対して、自動的に、かつ確実に良否判定することができる豆粒の良否判定方法及び豆粒選別装置を得ることが目的である。 In view of the above facts, the present invention has an object to obtain a bean grain quality determination method and a bean grain sorting device capable of automatically and reliably determining the quality of all items of bean grain quality determination. .
請求項1に記載の発明は、豆粒の表面の画像データの濃度差に基づいて、通常豆粒濃度部位とは濃度値が異なる特別豆粒濃度部位を選別し、前記特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属するも、豆粒育成のための養分を取り込む「へそ」とは区別して、表皮が破裂した「裂皮」が存在する裂皮不良の有無を判別することを特徴としている。
The invention according to
請求項1記載の発明によれば、通常豆粒濃度部位に対して特別豆粒濃度部位を選別する。この特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属する「へそ」とは区別して、「裂皮」が存在する裂皮不良の有無を判別する。すなわち、請求項1では、特別豆粒濃度部位の連続性により「へそ」と「裂皮」との判別を見出した。
According to invention of
請求項2に記載の発明は、前記請求項1に記載の発明において、前記特別豆粒濃度部位の濃度値の変化量から所定の濃度値が連続する距離(間隔)を演算し、前記距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することを特徴としている。
The invention according to
請求項2に記載の発明によれば、連続性による判別の実施態様を示しており、特別豆粒濃度部位の濃度値の距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することができる。 According to the second aspect of the present invention, there is shown an embodiment of discrimination based on continuity, and when the distance (interval) of the concentration value of the special bean grain concentration site is continuously longer than a predetermined value, It is discriminate | determined that it is the special bean grain density | concentration, and the distance (interval) in the density | concentration of the special bean grain density | concentration parts adjacent to each other where there exist intermittently a plurality of special bean density density | concentrations whose said continuous distance (interval) is less than predetermined When the ratio is within a predetermined range, it can be determined as “navel”.
なお、所定の範囲は、1またはそれより大きい所定の範囲内及びその逆数である。また、連続する距離(間隔)とは、特別豆粒濃度部位自体の膨らみ(幅)同士の比を比較する場合、隣接する特別豆粒濃度部位の距離(最高濃度点間の長さ)の比を比較する場合、隣接する特別豆粒濃度部位の間隔(所定の濃度値レベルの間隔)の比を比較する場合を含む。 The predetermined range is within a predetermined range of 1 or larger and the inverse thereof. In addition, when comparing the ratio between the bulges (widths) of the special bean grain concentration sites themselves, the continuous distance (interval) is compared with the ratio of the distance (length between the highest concentration points) of the adjacent special bean concentration sites. In this case, the case of comparing the ratio of the intervals between the adjacent special bean grain concentration sites (intervals of predetermined concentration value levels) is included.
請求項3に記載の発明は、前記請求項1又は請求項2に記載の発明において、豆粒の表面の画像データの濃度差に基づいて豆粒の外郭を検出してその外郭における最大縦寸法と最大横寸法との比に基づいて扁平不良の有無を判別すること、並びに、豆粒の表面の画像データの濃度差に基づいて内皮付着不良の有無を判別することを、併せて実行する特徴としている。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the outline of the bean grain is detected based on the density difference of the image data on the surface of the bean grain, and the maximum vertical dimension and the maximum in the outline are detected. It is characterized by determining whether or not there is a flat defect based on the ratio to the horizontal dimension, and determining whether or not there is a defective endothelial adhesion based on the density difference of the image data on the surface of the beans.
請求項3に記載の発明によれば、画像データの濃度を用いることで、豆粒の表面の画像データの濃度差に基づいて豆粒の外郭を検出してその外郭における最大縦寸法と最大横寸法との比に基づいて扁平不良の有無を判別すること、並びに、豆粒の表面の画像データの濃度差に基づいて内皮付着不良の有無を判別することを、併せて実行することができる。 According to the invention of claim 3, by using the density of the image data, the outline of the bean grain is detected based on the density difference of the image data on the surface of the bean grain, and the maximum vertical dimension and the maximum horizontal dimension in the outline are It is possible to determine whether or not there is a flat defect based on the ratio, and to determine whether or not there is a poor endothelial adhesion based on the density difference of the image data on the surface of the beans.
請求項4に記載の発明は、表面に育成のための養分を取り入れるための「へそ」が露出し、所定の濃度範囲の表皮に包まれた豆粒を対象として、特に前記表皮に関わる良否を判別して、分別する豆粒選別装置であって、前記豆粒の表面を走査して撮像することを、走査方向に直交する方向に相対移動しながら、複数回実行する撮像手段と、前記撮像手段により撮像した画像データを解析して、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する分類手段と、前記分類手段で分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する判別手段と、前記判別手段で肯定されたことで、当該特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定すると共に、否定判定されたことで、当該特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する特定手段と、少なくとも特定手段で特定された「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目の不良品を分別する分別手段と、を有している。
The invention according to
請求項4に記載の発明によれば、例えば豆粒を移動しながら撮像のための走査を繰り返し、走査によって撮像することで得た画像データを解析する。 According to the fourth aspect of the invention, for example, scanning for imaging is repeated while moving the beans, and image data obtained by imaging by scanning is analyzed.
この解析により、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する。 By this analysis, the normal skin concentration part and the special skin concentration part having a predetermined density difference with respect to the normal skin concentration part are classified.
分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する。 It is determined whether or not the ratio of the distances (intervals) between adjacent parts that are intermittent in the scanning direction among the classified special display density parts belongs to a predetermined range.
上記判別が肯定判定の場合は、特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定する。 If the determination is affirmative, it is specified that the “navel” is present in the beans containing the special epidermis concentration site.
また、上記判別が否定判定の場合は、特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する。 Further, when the determination is negative, it is specified that a “crack” in which the epidermis has ruptured exists in the beans including the special epidermis concentration site.
分別手段では、「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目不良品を分別する。 The sorting means sorts other item defective products that contain beans with “fissure” and that are extracted based on the analysis result of the image data captured by the imaging means.
なお、その他の項目とは、全体色濃度、内皮付着、扁平等が挙げられる。 Other items include overall color density, endothelial adhesion, flatness, and the like.
これにより、自動的、かつ正確に1個1個の豆粒単位での良否判定を可能とし、かつ自動的に分別することができる。 As a result, it is possible to automatically and accurately determine pass / fail in units of one bean and to automatically sort.
以上説明した如く本発明では、豆粒の良否判定の全ての項目に対して、自動的に、かつ確実に良否判定することができるという優れた効果を有する。 As described above, the present invention has an excellent effect that the quality can be automatically and surely determined for all items of the quality determination of the beans.
(装置構成)
図1及び図2には、本実施の形態に係る豆粒選別装置10の概略構成が示されている。
(Device configuration)
1 and 2 show a schematic configuration of a bean
豆粒選別装置10は、円筒状のロータリーバルブ12を中心として構成されている。
The bean
ロータリーバルブ12は、駆動モータ116(図8参照)の駆動力で、図2の反時計回り方向に定速度で回転するようになっている。
The
図3に示される如く、ロータリーバルブ12の周面には、軸線方向に平行な筋状の溝14が周方向に全周に亘ってほぼ均等に設けられている。前記溝14の内部は、軸線方向を仕切るように仕切り壁16が形成されており、この仕切り壁16で仕切られた各領域が、豆粒18を収容して保持する豆収容部20とされる。
As shown in FIG. 3, streak-
また、ロータリーバルブ12の周面の軸線方向一端部側には、溝14の有無に準じてマーカー22が貼り付けられている。本実施の形態では、マーカー22は、軸線方向に溝14が存在しない部分に貼り付けられている。
In addition, a
図1に示される如く、ロータリーバルブ12の周囲には、豆粒18の流れに沿う上流側から順に、振動フィーダーユニット24、撮像ユニット26、選別排出部28が設けられている。選別排出部28は、不良品ターゲット開口部28A、良品ターゲット開口部28Bに分かれている(図2参照)。
As shown in FIG. 1, a
振動フィーダーユニット24は、ロータリーバルブ12における、図2に右方向(2時〜3時の方向)に配置されている。振動フィーダー部24はホッパ部30が設けられ、多数の豆粒18が投入されるようになっている。このホッパ部30に投入された豆粒18には振動源114によって振動が与えられ、整列テーブル32へ順次送り出されるようになっている。
The
整列テーブル32には、複数条(本実施の形態では6条)の案内溝(図示省略)が形成され、それぞれの先端部が、ロータリーバルブ12の軸線方向に沿った溝14の豆収容部20に対応するように配置されている。これにより、ロータリーバルブ12が図2の反時計回り方向に回転することで、各溝14の豆収容部20に1個ずつ豆粒18が収容されることになる。
The alignment table 32 is formed with a plurality of guide grooves (not shown) (not shown) in the present embodiment, and each of the leading ends thereof has a
撮像ユニット26は、ロータリーバルブ12における、図2の上方向(12時の方向)に設けられている。
The
撮像ユニット26の筐体内には、CCDラインセンサ26A、光学系(例えば、CCDラインセンサ26Aの長手方向の収差を補償する凸レンズを含む結像レンズユニット(一眼レフカメラのレンズ)、或いは画素毎に分割されたセルフォックレンズ等)26Bが収容されている。
In the housing of the
ここで、CCDラインセンサ26A及び光学系26Bは、前記ロータリーバルブ12の豆収容部20に収容された豆粒18が、前記CCDラインセンサ26Aによる撮像時の焦点となるように相対位置関係が定められている。
Here, the relative position relationship between the
CCDラインセンサ26Aは、ロータリーバルブ12が図2の反時計回り方向に回転している状態で画素配列方向(すなわち、ロータリーバルブ12の軸線方向)に走査する。これにより、本実施の形態では、6個(1列)の豆粒18に対して、合計7ラインの撮像走査ラインで画像を読み取り、画像データ(濃度データ)を生成するようになっている。
The
CCDラインセンサ26Aで読み取ることで生成された画像データ(濃度データ)は、コントローラ34に送出され、画像解析されるようになっている(詳細後述)。
Image data (density data) generated by reading with the
ロータリーバルブ12の内方空間部には、エアノズル38の噴射弁38Aが設けられている。
An
噴射弁38Aは、ロータリーバルブ12が所定の回転位置になった時点で、溝14の各豆収容部20の底部に設けられた貫通孔に対向するように設けられている。すなわち、6個の噴射弁38Aがロータリーバルブ12の軸線方向に沿って1列に配列されている。
The
前記ロータリーバルブ12の所定の回転位置とは、目的の溝14が前記不良品ターゲット開口部28Aに対向した位置であり、この位置には、ロータリーバルブ12の回転位置を検出する回転位置検出センサ40が設けられている。
The predetermined rotational position of the
この噴射弁38Aは、噴射ソレノイド115(図8参照)への励磁・非励磁により開閉動作される。エアノズル38の配管内には、エアコンプレッサ104(図8参照)の駆動によって予め所定の内圧が与えられており、噴射弁38Aが開放すると、当該内圧に準じた勢いでエアが吐出する。
The
ここで、ロータリーバルブ12が目的とする溝14が前記所定の回転位置に到達したときに、適宜前記噴射弁38Aを開放すると、開放した噴射弁38Aに対応する豆収容部20に収容されている豆粒18が吐出するエアによって、前記不良品ターゲット開口部28Aへ吹き飛ばされ、不良品豆粒として収容される。
Here, when the
すなわち、個々の豆収容部(1個の豆粒)単位で、不良品を吹き飛ばすか否かを選択し、実行することができる構造となっている。 That is, it has a structure in which it is possible to select whether or not to blow off defective products in units of individual bean containers (one bean grain).
なお、閉止状態が維持された噴射弁38Aに対向する豆収容部20に収容された豆粒18は、ロータリーバルブ12が図2の反時計回り方向に回転を継続することで、自重で良品ターゲット開口部28Bへ落下し、良品豆粒として収容される。
Note that the
前記コントローラ34には、前記ロータリーバルブ12を回転させる駆動モータ116や、フィーダーユニット24の振動源114、エアノズル38の噴射弁38Aを駆動する噴射ソレノイド115、マーカー22を検出するマーカー検出センサ118、ロータリーバルブ12の回転位置を検出する回転位置検出センサ40が接続されるとともに、駆動を制御する。また、コントローラ34には、操作盤42が接続されている。操作盤42には、少なくとも運転開始を指示するための運転スイッチ42A、運転停止を指示するための停止スイッチ42Bを含み、メイン電源スイッチ42C等の入力系と、各部の動作状態を表示するモニタ42Dと、を備えている。
The
(黒大豆に特化した特徴、並びに良否判別)
本実施の形態の豆粒選別装置10では、所定の外形寸法以内であれば様々な豆粒18を対象とした外観濃度検査、ならびに選別が可能である。ここでは、豆粒18として「黒大豆」18を例にとり黒大豆18の外観的、賞味的不良品の選別について説明する。
(Characteristics specific to black soybeans, as well as good / bad judgment)
In the bean
まず、図4に示される如く、黒大豆18は、表皮が黒色に近い高い濃度であり、良品は整粒と称される(図4(A)参照)。また、図4(B)は不良品の一例であり、表皮に莢(さや)の内側の白皮が付着した白皮付着不良の黒大豆18を示している。また、図4(C)は不良品の他の一例であり、表皮が裂けた裂皮不良の黒大豆18を示している。
First, as shown in FIG. 4, the
(1) 黒大豆18は、全体的に表面が表皮に覆われており、黒色に近い所定以上の濃度値を持ち(通常表皮濃度)、例えば平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較することで、黒大豆18の色濃度の適否を判別することができる。
(1) The
(2) 黒大豆18は、表面に内皮が付着することで外観的品質を損なう。内皮は、通常の表皮の濃度値(通常表皮濃度)よりも極端に濃度が低い(白色に近い)。
(2) The
そこで、比較的ラフなしきい値設定による、黒大豆18の平面画像の濃度値比較によって容易に内皮付着の有無を判別することができる(図5参照)。
Therefore, it is possible to easily determine the presence or absence of endothelium adhesion by comparing the density value of the planar image of
(3) 黒大豆18には、外観品質の一貫として、扁平度合いを良品/不良品選別要素としている。
(3) The
扁平とは、本実施の形態では、黒大豆18の最大縦寸法と最大横(幅)寸法との比を言う。例えば、平面画像(複数回走査による)により得られる画像データから、外郭(境界)の縦方向の最大値と横(幅)方向の最大値を抽出し、上記比を演算すると共に、予め定めた範囲(1よりも大きい所定範囲)に該当する黒大豆18を良品として選別するようにしている(図6参照)。
Flatness means the ratio of the maximum vertical dimension and the maximum horizontal (width) dimension of
(4) 黒大豆18は、全体的に表面が表皮に覆われており、中身が見えないのが普通(正常)であるが、その表面が裂け、中身が露出すると(以下、表面が裂けることを「裂皮」という)、外観的品質、並びに賞味的品質を損なう。
(4) The surface of
ところで、「裂皮」が発生した部位の濃度値(特別表皮濃度)は、表皮の濃度(通常表皮濃度)に比べて低濃度(白色寄り)であるため、比較対象が、正常の表皮部位と、裂皮部位との2種類であれば、前述した内皮付着の有無の判別と同等と処理を行うことで、「裂皮」による不良を検出することができる(図7参照)。 By the way, the density value (special epidermal density) of the part where “crack” has occurred is lower (whiter) than the epidermal density (normal epidermal density). In the case of two types of rupture sites, it is possible to detect a defect due to “fissure” by performing the same process as the determination of the presence or absence of endothelium attachment (see FIG. 7).
しかし、黒大豆18には、その表面に「へそ」が存在する。「へそ」は、豆育成のための養分の取り入れ(豆子実の生長(登熟)のための養分取り入れ)に必要不可欠な部位である。この「へそ」は、表皮濃度(通常表皮濃度)よりも若干濃度が低い(白色寄り)。すなわち、正常な表皮を通常表示濃度部位とすると、前記「裂皮」と「へそ」とは、ほぼ同一の濃度部位(特別表皮濃度部位)ということができる。
However, the
このため、単順な濃度差判別では、「裂皮」と「へそ」との区別が困難であった。そこで、本実施の形態に係る豆粒選別装置10のコントローラ34では、上記(1)〜(4)の黒大豆18の全ての良否判定が可能な豆粒良否判定アルゴリズムが実行プログラムとして記憶されている。
For this reason, it is difficult to distinguish between “crack” and “navel” by simple density difference discrimination. In view of this, the
(制御機能)
図8は、前記コントローラ34における豆粒良否判定アルゴリズムに従って実行される制御を機能的に示した機能ブロックである。なお、この機能ブロック図はハード構成を限定するものではなく、あくまでも機能的に分類したものである。
(Control function)
FIG. 8 is a functional block functionally showing the control executed by the
操作盤42のメイン電源スイッチ42Cは、コントローラ34の電源管理部100に接続されており、メイン電源スイッチ42Cがオンされることで、電源管理部100では、コントローラ34並びに各部駆動系へ電源を供給する。
The main power switch 42C of the
また、運転スイッチ42A、停止スイッチ42Bは、起動制御部102に接続されている。起動制御部102では、運転スイッチ42Aの操作に基づいて、エアノズル38のエアコンプレッサ104の駆動を開始すると共に、コントローラ34の主制御部106に対して制御の実行を指示するようになっている。
Further, the
エアコンプレッサ104では、独自のレギュレーション制御によって予め定められた内圧となるようにエアノズル38内の圧力を制御する。
In the
主制御部106では、黒大豆18の送り込み、撮像、良否判別、分別といった一連の動作を一括制御する。
The
なお、起動制御部102では、停止スイッチ42Bの操作があると、現在の運転状態を停止させるようにエアコンプレッサ104及び主制御部106に指示する。
When the stop switch 42B is operated, the
また、主制御部106は、操作盤42のモニタ42Dに接続されており、モニタ42Dへ運転状態情報を送出するようになっている。
The
運転状態情報とは、例えば、設定されている初期設定情報(しきい値等)、現在投入されている黒大豆18の数量情報、分別比率情報等である。
The driving state information is, for example, set initial setting information (threshold value, etc.), quantity information of
主制御部106には、振動フィーダー駆動制御部108、ロータリーバルブ駆動制御部110、撮像ユニット26の撮像制御部112のそれぞれが接続されている。
The
振動フィーダー駆動制御部108は、振動フィーダーユニット24の振動源114に接続されている。振動フィーダー駆動制御部108では、主制御部106からの指令に基づいて、振動源114を駆動させ、ホッパー部30に投入された黒大豆18を6条の溝のそれぞれに1列ずつ配列し、ロータリーバルブ12の方向へ移動させる。
The vibration feeder
ロータリーバルブ駆動制御部110は、ロータリーバルブ12の駆動モータ116に接続されている。ロータリーバルブ駆動制御部110では、主制御部106からの指令に基づいて、駆動モータ116を駆動させ、ロータリーバルブ12を図2の反時計回り方向へ一定の速度で回転させる。
The rotary valve
また、ロータリバルブ駆動制御部110には、マーカー検出センサ118及び回転位置検出センサ40が接続されている。マーカー検出センサ118は、ロータリーバルブ12の周面に貼り付けられたマーカー22を検出するものであり、回転位置検出センサ40は、選別対象の溝14が噴射弁38Aに対向する位置を検出するものである。このため、マーカセンサ118は後述する画像解析部120に接続され、回転位置検出センサ40は、後述するエアノズル駆動制御部122に接続されている。
In addition, a
撮像制御部112では、主制御部106からの指令を受け(ロータリバルブ12の回転位置に基づく撮像タイミング情報)、CCDラインセンサ26Aによる撮像(走査)を実行させる。
The
CCDラインセンサ26Aによる走査撮像情報(画像データ)は、1ライン毎に画像解析部120へ送出されるようになっている。なお、本実施の形態では、ロータリーバルブ12の回転速度との関係から、6個(1列)の黒大豆18に対して7回の走査が実行されるようになっている。なお、この走査線数は、限定されるものではない。また、CCDラインセンサ26Aに限らず、ロータリーバルブ12を溝14のピッチ毎に停止させ(シャッタースピードとの関係において、微速駆動でもよい)、画像が縦横方向に配列されたCCDエリアセンサで撮像するようにしてもよい。
Scanning imaging information (image data) from the
画像解析部120では、撮像した画像データに基づいて、濃度をしきい値と比較したり、濃度変化の連続性を判断したりすることで、黒大豆18の良否を判別し、当該判別結果(ロータリーバルブ12の豆収容部20毎の良否)をエアノズル駆動制御部122へ送出する(詳細後述)。
The
エアノズル駆動制御部122では、回転位置検出センサ40に基づいて、選別対象となる溝14が噴射弁38Aと対向したか否かを判断し、かつ仕切り壁16で仕切られた豆収容部20単位で噴射弁38Aの開閉を制御する。
In the air nozzle
この結果、不良判別された黒大豆18は、エアノズル38Aから噴射されるエアによって、良品ターゲット開口部28Bを超えて、不良品ターゲット開口部28Aに収容され、不良品として処理される。
As a result, the
なお、噴射弁38Aが開放しなかった豆収容部20に収容された良品の黒大豆18は、ロータリーバルブ12の継続回転に伴って、自重で良品ターゲット開口部28Bへ収容され、良品として処理される。
The non-defective
(前記画像解析部120における画像解析(良否判別))
(1) 色濃度の適否判別
平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較し、基準濃度値以下の比率が多い場合はエアノズル動作用の第4の動作フラグをONにする(図9のステップ242参照)。
(Image analysis (quality determination) in the image analysis unit 120)
(1) Color density suitability determination The average density value of the planar image (scanned image) is compared with a predetermined reference density value, and if the ratio is less than or equal to the reference density value, the fourth operation flag for air nozzle operation Is turned on (see
(2) 内皮付着の有無判別
平面画像の濃度値と、設定されたしきい値とを比較し、基準濃度値以下の場合はエアノズル動作用の第1の動作フラグをONにする(図9のステップ222参照)。
(2) Judgment of presence / absence of endothelium adhesion The density value of the planar image is compared with a set threshold value. (See step 222).
(3) 扁平度合い判別
最大縦寸法と最大横(幅)寸法との比が、予め定めた範囲(1よりも大きい所定範囲)に属するか否かを判別し、範囲外の場合はエアノズル動作用の第3の動作フラグをONにする(図9のステップ238参照)。
(3) Flatness level determination It is determined whether or not the ratio of the maximum vertical dimension to the maximum horizontal (width) dimension belongs to a predetermined range (a predetermined range greater than 1). The third operation flag is turned ON (see
(4) 裂皮不良判別
平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較し、基準濃度値よりも低い領域が所定以上連続したか否かを判別し、基準濃度値以下の領域が所定以上連続した場合はエアノズル動作用の第2の動作フラグをONにする(図9のステップ226参照)。
(4) Crack defect determination The average density value of the planar image (scanned image) is compared with a predetermined reference density value, and it is determined whether or not a region lower than the reference density value continues for a predetermined number of times. If the area below the density value continues for a predetermined period or more, the second operation flag for air nozzle operation is turned ON (see
なお、正常な表皮を通常表示濃度部位とすると、前記「裂皮」と「へそ」とは、ほぼ同一の濃度部位(特別表皮濃度部位)であるため、上記判定に加え、別途、「へそ」か否かの判別を行っている。 If normal epidermis is the normal display concentration site, the “crack” and “navel” are almost the same concentration site (special skin concentration site). It is determined whether or not.
すなわち、前記裂皮不良判定時と同一の画像データを用いて、黒大豆18の画像データを一次微分し、その結果により濃度変化の山を求め、当該濃度変化の山が複数存在し、かつ隣接する山同士の距離(間隔)の比が所定の範囲である場合、「へそ」であると判別し、へそフラグをONにしている。なお、山のピーク間の距離にしきい値を設けて、一定画素以上の場合には「へそ」とみなさないという手順を加えてもよい。
That is, the image data of the
ここで、第2の動作フラグとへそフラグとの関係は、へそフラグの方を優先するようにしている。従って、第2の動作フラグがONであっても、へそフラグがONの場合には、エアノズル動作を回避する。 Here, the relationship between the second operation flag and the navel flag is given priority over the navel flag. Therefore, even if the second operation flag is ON, if the navel flag is ON, the air nozzle operation is avoided.
以下に本実施の形態の作用を図9及び図10のフローチャートに従い説明する。 The operation of this embodiment will be described below with reference to the flowcharts of FIGS.
図9は、コントローラ34に記憶されている制御プログラムに基づく処理の流れ(アルゴリズム)を示している。
FIG. 9 shows a process flow (algorithm) based on a control program stored in the
まず、ステップ200で運転スイッチ42Aがオンになると、ステップ202へ移行して選別開始のための初期設定/確認を行いステップ206へ移行する。
First, when the
ステップ206では、CCDラインセンサ26Aで読み取る画像のキャプチャを開始し、ステップ208へ移行する。
In
ステップ208では、停止スイッチ42Bが操作されたか否かが判断され、否定判定の場合には、ステップ210へ移行してCCDラインセンサ26Aから画像データ(波形)を取り込んで画像解析を実行し、ステップ214へ移行する。なお、ステップ208において、停止スイッチ42Bが操作された場合は、選別動作の途中であっても選別を終了する。
In
ステップ214では、マーカー22の有無を確認し、マーカー無しと判定された場合は、ステップ216へ移行して、ロータリーバルブ12における1つの溝14のライン走査(ここでは、7回走査)が終了したか否かが判断される。すなわち、内皮付着、裂皮有無は1走査毎、扁平、色濃度は全走査(7回走査)毎に、判定結果に基づく、良品、不良品の選別動作が実行される。
In
このステップ216で否定判定、すなわち、全走査が終了していない場合には、ステップ218へ移行する。ステップ218では、「へそ」判別処理制御を実行する。このステップ218の「へそ」判別処理制御については後述する。
If a negative determination is made in step 216, that is, if all scanning has not been completed, the routine proceeds to step 218. In
ステップ218の「へそ」判別制御が終了すると、ステップ220へ移行し、内皮付着を判定するしきい値レベルより白い画像があるか否かが判断される(内皮付着不良判定)。このステップ220で肯定判定されると、ステップ222へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第1の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ224へ移行する。また、ステップ220で否定判定された場合はステップ224へ移行する。
When the “navel” discrimination control at
ステップ224では、特別表皮濃度部位に相当する画素が複数画素連続しているか否かが判別される(裂皮有無判定)。このステップ224で肯定判定されると、ステップ226へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第2の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ228へ移行する。また、ステップ224で否定判定された場合はステップ228へ移行する。
In
ステップ228では、今までのライン走査の中で最大縦寸法、最大横(幅)寸法となる値を更新保存し、次いでステップ230で所定のしきい値に基づいて、白色寄りの領域(前記特別表皮濃度部位を含む)の面積と、走査範囲の黒大豆18全体の面積とをそれぞれ累積保存し、ステップ232へ移行する。
In
また、前記ステップ216において、肯定判定、すなわち、7回の走査が完了した場合にも、ステップ232へ移行する。 In step 216, the process also proceeds to step 232 when an affirmative determination is made, that is, when seven scans are completed.
また、上記ステップ214で肯定判定、すなわち、マーカー22を検出すると、ステップ234へ移行する。
If the determination in
ステップ234では、マーカー通過直後か否か、すなわち前記マーカー22の検出が初回か否かが判断され、否定判定されると、ステップ232へ移行する。
In
また、ステップ234で肯定判定されると、ステップ236へ移行して、前記ステップ228で記憶した最大縦寸法と最大横(幅)寸法との比が所定範囲(1以上の所定範囲)を超えているか否かが判断され(豆粒扁平不良判定)、肯定判定されると、ステップ238へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第3の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ240へ移行する。また、ステップ236で否定判定された場合はステップ240へ移行する。
If an affirmative determination is made in
ステップ240では、前記ステップ230で記憶した白面積と、黒大豆18全体の面積から白面積領域を除いた黒面積と、の比が所定のしきい値以上か否かが判断され(豆粒全体の色濃度の良否判定)、肯定判定されると、ステップ242へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第4の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ244へ移行する。また、ステップ240で否定判定された場合はステップ244へ移行する。
In
ステップ244では、上記最大縦寸法データ、最大横(幅)寸法データ、白面積データ、全体面積データ(全体面積データと白面積データの差によって得られる黒面積データを含む)がクリアされ、ステップ232へ移行する。
In
ステップ232では、回転位置検出センサ40による検出状態を認識し、ロータリーバルブ12が所定の回転位置に到達したか否かが判断され、否定判定されると、ステップ208へ戻り、上記工程を繰り返す。
In
また、ステップ232で肯定判定されると、ステップ246へ移行して、第1の動作フラグがON、第3の動作フラグがON、第4の動作フラグがONの何れか1つが成立しているか否かが判断される。
If an affirmative determination is made in
このステップ246で否定判定されると、ステップ248へ移行して第2の動作フラグがONしているか否かが判断され、否定判定されると、ステップ208へ戻り、上記工程を繰り返す。
If a negative determination is made in
また、ステップ248で肯定判定されると、ステップ250へ移行してへそフラグがOFF(「へそ」がない)か否かが判断される。このステップ250で否定判定されると、ステップ208へ戻る。
If the determination at
前記ステップ246又はステップ250で肯定判定されると、不良在りと判断し、ステップ252へ移行して、エアノズル38の噴射弁38Aを開放し、黒大豆18を不良ターゲット開口部28Aへ吹き飛ばし、ステップ208へ戻る。
If an affirmative determination is made in
次に、図10のフローチャートに従い、図9のステップ218における「へそ」判別制御ルーチンについて説明する。
Next, the “navel” determination control routine in
ステップ260では1ラインの走査画像データの中から豆粒画像データを抽出し、次いでステップ262へ移行して一次微分演算を実行して、ステップ264へ移行する。
In
ステップ264では、豆粒単位で所定以上の変化量が連続する急傾斜領域を抽出し、次いでステップ266において、濃度に応じた山を作成する。この場合、極大点側が最低濃度となる。
In
次のステップ268では、作成された山が複数あるか否かが判断され、否定判定されると、「へそ」ではないと判断され、ステップ270へ移行して「ヘソ」フラグをOFFとしてこのルーチンは終了する。
In the
また、ステップ268で肯定判定されると、ステップ272へ移行して隣接する山同士の距離(間隔)の比が所定範囲内にあるか否かが判断される。このステップ272において否定判定されると、「へそ」ではないと判断され、ステップ270へ移行して「へそ」フラグをOFFとしてこのルーチンは終了する。
If the determination in
また、ステップ272で肯定判定されると、「へそ」であると判断され、ステップ274へ移行してへそフラグをONしてこのルーチンは終了する。
If an affirmative determination is made in
上記の図10のフローチャートに即した具体例を示すと、1ラインの走査による黒大豆18の幅に相当する画像データを約250ピクセルとし、この画素配列に対して、まず一次微分演算を実行する(5画素ピッチの変化量)。
In a specific example in accordance with the flowchart of FIG. 10, the image data corresponding to the width of the
その後、演算された微分値(絶対値)が所定以上連続するものを抽出する。このとき、所謂右肩上がりの領域と右肩下がりの領域とでペアとなり、1ペア、或いは複数ペア存在する結果となる。 After that, a sample in which the calculated differential value (absolute value) continues for a predetermined number or more is extracted. At this time, a so-called right-up shoulder region and a right-down shoulder region are paired, resulting in the presence of one pair or multiple pairs.
ここで、複数ペア存在したときに、濃度の変化の山が複数存在すると判断し、当該隣接する山同士の距離(間隔)が所定の範囲である場合、「へそ」であると判別している。この「ヘソ」を判別した場合には、へそフラグをONにしている。 Here, when there are a plurality of pairs, it is determined that there are a plurality of mountains having density changes, and when the distance (interval) between the adjacent mountains is within a predetermined range, it is determined that it is a “navel”. . If this “navel” is determined, the navel flag is turned on.
なお、図11は参考図であり、図10のフローチャートで示した制御の流れに沿う、実装アルゴリズムを示すフローチャートである。 FIG. 11 is a reference diagram, and is a flowchart showing an implementation algorithm along the control flow shown in the flowchart of FIG.
この図11において、AAで指標した各ステップが大きな変化量が連続する部分を抽出するアルゴリズム、BBで指標した各ステップが濃度差による山を検出するアルゴリズム、CCで指標した各ステップが隣接する山の幅の比に基づいて、「へそ」の有無を判別するアルゴリズムである。 In FIG. 11, an algorithm for extracting a portion where each step indexed by AA has a large change amount is extracted, an algorithm for detecting a peak due to a density difference by each step indexed by BB, and a mountain adjacent to each step indexed by CC This is an algorithm for determining the presence or absence of a “navel” based on the ratio of the widths.
以上説明したように本実施の形態では、従来の濃度値のレベル判定では、判別できなかった「裂皮」と「へそ」とを明確に判別するため、濃度値のレベル判定に加え、濃度差に応じた山の数、並びに隣り合う山の幅の比に基づいて、「へそ」を特定するようにした。このため、「へそ」であるのに「裂皮」と誤判別することを回避することができる。判別効率、かつ判別精度を向上することができる。 As described above, in the present embodiment, in order to clearly discriminate between “crack” and “navel” that could not be discriminated by the conventional density value level judgment, in addition to the density value level judgment, the density difference The “navel” is specified based on the number of mountains according to the ratio and the ratio of the widths of adjacent mountains. For this reason, it is possible to avoid misidentifying it as “fissure” even though it is “navel”. The discrimination efficiency and the discrimination accuracy can be improved.
10 豆粒選別装置
12 ロータリーバルブ
14 溝
16 仕切り壁
18 豆粒(黒大豆)
20 豆収容部
22 マーカー
24 振動フィーダーユニット
26 撮像ユニット
26A CCDラインセンサ(撮像手段)
26B 光学系
28 選別排出部
28A 不良品ターゲット開口部
28B 良品ターゲット開口部
30 ホッパ部
32 整列テーブル
34 コントローラ
38 エアノズル
38A 噴射弁
40 回転位置検出センサ
42 操作盤
42A 運転スイッチ
42B 停止スイッチ
42C メイン電源スイッチ
42D モニタ
100 電源管理部
102 起動制御部
104 エアコンプレッサ
106 主制御部
108 振動フィーダー駆動制御部
110 ロータリーバルブ駆動制御部
112 撮像制御部
114 振動源
115 噴射ソレノイド
116 駆動モータ
118 マーカー検出センサ
120 画像解析部(分類手段、判別手段、特定手段)
122 エアノズル駆動制御部(分別手段)
10 Bean
20
122 Air nozzle drive control unit (sorting means)
Claims (4)
前記特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属するも、豆粒育成のための養分を取り込む「へそ」とは区別して、表皮が破裂した「裂皮」が存在する裂皮不良の有無を判別することを特徴とする豆粒良否判別方法。 Based on the density difference of the image data on the surface of the bean grain, a special bean density part having a density value different from the normal bean grain density part is selected,
Based on the continuity of the concentration value of the special bean grain concentration site, a crack that belongs to the same concentration range but has a “crack” in which the epidermis ruptures is distinguished from a “navel” that takes in nutrients for growing bean grains. A method for determining whether a bean grain is good or bad, wherein the presence or absence of defective skin is determined.
前記距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、
前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することを特徴とする請求項1記載の豆粒良否判別方法。 Calculate the distance (interval) that the predetermined concentration value continues from the amount of change in the concentration value of the special bean grain concentration site,
When the distance (interval) is continuous for a predetermined distance or more, it is determined that the concentration is a special bean grain concentration caused by the “crack”,
There are intermittently a plurality of special bean concentration sites where the continuous distance (interval) is less than a predetermined value, and the ratio of the distances (intervals) in the concentration between adjacent special bean concentration sites is within a predetermined range. In this case, the bean quality determination method according to claim 1, wherein the determination is made as “navel”.
前記豆粒の表面を走査して撮像することを、走査方向に直交する方向に相対移動しながら、複数回実行する撮像手段と、
前記撮像手段により撮像した画像データを解析して、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する分類手段と、
前記分類手段で分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する判別手段と、
前記判別手段で肯定されたことで、当該特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定すると共に、否定判定されたことで、当該特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する特定手段と、
少なくとも特定手段で特定された「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目の不良品を分別する分別手段と、
を有する豆粒選別装置。 A bean sorting device that exposes the “navel” for incorporating nutrients for growth on the surface, and determines the quality of the bean grains that are wrapped in the epidermis of a predetermined concentration range. There,
An imager that scans and images the surface of the beans, and performs a plurality of times while relatively moving in a direction orthogonal to the scanning direction;
Analyzing the image data captured by the imaging means, classifying means for classifying the normal epidermal concentration site and the special epidermal concentration site having a predetermined density difference with respect to the normal epidermal concentration site,
A discriminating means for discriminating whether or not the ratio of the distances (intervals) between adjacent parts that are intermittent in the scanning direction among the special display density parts classified by the classifying means belongs to a predetermined range;
By being affirmed by the determination means, the bean grains containing the special epidermis concentration part are specified to have the “navel”, and the negative judgment is made, to the bean grain containing the special epidermis concentration part, A specific means for identifying the presence of a “crack” in which the epidermis has ruptured;
Sorting means for separating defective products of other items including at least beans with “crack” identified by the identifying means and extracted based on the analysis result of the image data imaged by the imaging means;
A bean grain sorting device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007067313A JP4904500B2 (en) | 2007-03-15 | 2007-03-15 | Bean grain quality determination method and bean grain sorting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007067313A JP4904500B2 (en) | 2007-03-15 | 2007-03-15 | Bean grain quality determination method and bean grain sorting device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008224619A true JP2008224619A (en) | 2008-09-25 |
JP4904500B2 JP4904500B2 (en) | 2012-03-28 |
Family
ID=39843405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007067313A Expired - Fee Related JP4904500B2 (en) | 2007-03-15 | 2007-03-15 | Bean grain quality determination method and bean grain sorting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4904500B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020003423A (en) * | 2018-06-29 | 2020-01-09 | インダストリーネットワーク株式会社 | System for evaluating quality of seed and selecting seeds |
-
2007
- 2007-03-15 JP JP2007067313A patent/JP4904500B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020003423A (en) * | 2018-06-29 | 2020-01-09 | インダストリーネットワーク株式会社 | System for evaluating quality of seed and selecting seeds |
JP7072802B2 (en) | 2018-06-29 | 2022-05-23 | インダストリーネットワーク株式会社 | Seed quality evaluation / sorting system |
Also Published As
Publication number | Publication date |
---|---|
JP4904500B2 (en) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2586873B1 (en) | Methods and devices for detecting a microbial colony | |
US7968814B2 (en) | Optical grain sorter | |
US7127099B2 (en) | Image searching defect detector | |
JP4254347B2 (en) | Method and apparatus for detecting foreign matter in liquid in container | |
JP6590907B2 (en) | Fruit sorting system, fruit sorting device, and fruit sorting method | |
US7298870B2 (en) | Granule color sorting apparatus with display control device | |
CN102529019B (en) | Method for mould detection and protection as well as part detection and picking | |
JP6490365B2 (en) | MICROBIOLOGICAL TEST DEVICE VERIFICATION METHOD, MICROBIOLOGICAL TEST DEVICE VERIFICATION DEVICE AND PROGRAM | |
JPH04240510A (en) | Discriminating method of defect | |
TWI802780B (en) | Conveying management system and conveying device | |
CN116908212B (en) | Battery cell blue film appearance defect detection method and system based on feature extraction | |
WO2006028571B1 (en) | Method for visual inspection of printed matter on moving lids | |
CN114226262A (en) | Flaw detection method, flaw classification method and flaw detection system | |
JP4904500B2 (en) | Bean grain quality determination method and bean grain sorting device | |
CN116441190A (en) | Longan detection system, method, equipment and storage medium | |
JP2002022671A (en) | Apparatus and method for inspecting inner wall surface of cylinder | |
JPH08334478A (en) | Seal inspection system | |
JPH08206611A (en) | Optical sorting method of bulk material | |
JP2008517285A (en) | How to analyze and sort eggs | |
KR100691433B1 (en) | Electronic part vision inspection method | |
JP2004361333A (en) | Device for determining state of granular specimen | |
Niskanen et al. | Experiments with SOM based inspection of wood | |
CN114839197A (en) | Rice damage detection device and detection method | |
JP4829542B2 (en) | Film inspection apparatus and film inspection method | |
JP3410675B2 (en) | Flaw direction discrimination system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |