JP2008224619A - Method for discriminating quality of grain and device for selecting the same - Google Patents

Method for discriminating quality of grain and device for selecting the same Download PDF

Info

Publication number
JP2008224619A
JP2008224619A JP2007067313A JP2007067313A JP2008224619A JP 2008224619 A JP2008224619 A JP 2008224619A JP 2007067313 A JP2007067313 A JP 2007067313A JP 2007067313 A JP2007067313 A JP 2007067313A JP 2008224619 A JP2008224619 A JP 2008224619A
Authority
JP
Japan
Prior art keywords
bean
concentration
special
density
grain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007067313A
Other languages
Japanese (ja)
Other versions
JP4904500B2 (en
Inventor
Hitoshi Okai
仁志 岡井
Takahiro Oizumi
隆弘 大泉
Yukihiro Nishida
幸弘 西田
Hisashi Amano
久 天野
Tsuneyoshi Goto
恒義 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamamoto and Co Ltd
Yamamoto Co Ltd
Original Assignee
Yamamoto and Co Ltd
Yamamoto Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamamoto and Co Ltd, Yamamoto Co Ltd filed Critical Yamamoto and Co Ltd
Priority to JP2007067313A priority Critical patent/JP4904500B2/en
Publication of JP2008224619A publication Critical patent/JP2008224619A/en
Application granted granted Critical
Publication of JP4904500B2 publication Critical patent/JP4904500B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To automatically and surely discriminate all entries for quality of grains. <P>SOLUTION: In order to clearly discriminate a "split-skin" and a "navel" which have not been discriminated by the conventional concentration level judgment, the "navel" is specified based on the number of crests, the width between adjacent crests each other in addition to the concentration judgment. This can avoid to erroneously discriminate the "navel" as the "split-skin". Moreover, discrimination efficiency and accuracy can be improved. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、豆粒の表皮に関わる良否を判別する豆粒の良否判別方法、及び豆粒の表皮に関わる良否を判別して、分別する豆粒選別装置に関するものである。   The present invention relates to a method for determining the quality of a bean grain that determines the quality related to the skin of the bean grain, and a bean grain sorting device that determines and determines the quality related to the skin of the bean grain.

穀粒の良否判定に関する技術として、走査によって計測した生データ及び関数演算データを特徴量データとして、直接表示することで、産地、品種等の違いに影響されない、絶対評価を行う技術が提案されている(特許文献1参照)。   As a technology related to grain quality determination, a technology has been proposed that performs absolute evaluation that is not affected by differences in production area, variety, etc. by directly displaying raw data and function operation data measured by scanning as feature data. (See Patent Document 1).

この特許文献1では、LCDモニタへの表示状態を、検査員が目視で確認することで、判定項目のそれぞれについて、良否の判定を行う。特徴量データは、測光データから一義的に定まる生データと関数演算データであり、文字メッセージは、全国平均との比較結果のみであるため、この時点では、しきい値の取り方によって自動的に良否を判定した場合に起こり得る差異がない。良否の判定は、検査員に依存することになるが、穀粒の産地や品種の違いを熟知している検査員が正確なデータや全国平均との比較のための文字メッセージを目視して判断する方が、結果的には精度の高い良否判別が可能となる。
特開2004−361333公報
In this patent document 1, an inspector visually confirms the display state on the LCD monitor, so that the quality of each determination item is determined. The feature data is raw data and function operation data that are uniquely determined from the photometric data, and the text message is only the result of comparison with the national average. There is no difference that can occur when pass / fail is determined. Pass / fail judgment depends on the inspector, but the inspector who is familiar with the difference in grain origin and variety will visually judge the correct data and text message for comparison with the national average. As a result, it is possible to determine the quality with high accuracy.
JP 2004-361333 A

しかしながら、上記従来技術は、例えば、ロット単位での良否判別を対象としているため、熟練者の目視による判別の精度向上のために特徴量データを参照するという点では、有利であるが、豆粒1個1個の良否を判定するには、効率が悪い。   However, since the above prior art is intended for, for example, pass / fail discrimination in units of lots, it is advantageous in that the feature amount data is referred to improve the accuracy of discrimination by an expert visually. It is inefficient to determine whether each piece is good or bad.

従って、測光データ(CCDセンサ等による読取画像データ)に基づく濃度値と予め定めたしきい値との比較による良否判定が望ましいが、良否判定項目の中には、良否の濃度値が近似している場合があり、単純な濃度値比較のみでは、正確な良否判定を行うことができなかった。   Accordingly, it is desirable to determine pass / fail by comparing the density value based on photometric data (read image data from a CCD sensor or the like) with a predetermined threshold value. However, the pass / fail determination value approximates the pass / fail density value. In some cases, it was not possible to make an accurate pass / fail judgment only by simple density value comparison.

例えば、黒大豆は表皮がほぼ黒色に近く、その一部に「へそ」が存在する(「へそ」は豆育成のための養分取り入れ部(豆子実の生長(登熟)のための養分取り入れ部)である。)が、この表皮が裂ける不良(裂皮不良)が発生すると、この裂皮不良部分と、「へそ」部分との濃度がほぼ同一のため、濃度値比較では何れかの判別が困難となっている。   For example, black soybeans have a nearly black epidermis, and some of them have “navels” (“navels” are nutrient intakes for growing beans (nutrient intakes for the growth (ripening) of legumes). ))) However, when a defect (scratch defect) occurs that the epidermis is torn, the density of the defective skin part and the “navel” part is almost the same. It has become difficult.

本発明は上記事実を考慮し、豆粒の良否判定の全ての項目に対して、自動的に、かつ確実に良否判定することができる豆粒の良否判定方法及び豆粒選別装置を得ることが目的である。   In view of the above facts, the present invention has an object to obtain a bean grain quality determination method and a bean grain sorting device capable of automatically and reliably determining the quality of all items of bean grain quality determination. .

請求項1に記載の発明は、豆粒の表面の画像データの濃度差に基づいて、通常豆粒濃度部位とは濃度値が異なる特別豆粒濃度部位を選別し、前記特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属するも、豆粒育成のための養分を取り込む「へそ」とは区別して、表皮が破裂した「裂皮」が存在する裂皮不良の有無を判別することを特徴としている。   The invention according to claim 1 selects a special bean density part having a density value different from that of the normal bean grain density part based on the density difference of the image data on the surface of the bean grain, and the continuous density value of the special bean grain density part. Based on the nature, it is distinguished from the “navel” that belongs to the same concentration range, but takes in nutrients for growing bean grains, and distinguishes the presence or absence of a ruptured skin where there is a “crack” in which the epidermis has ruptured It is said.

請求項1記載の発明によれば、通常豆粒濃度部位に対して特別豆粒濃度部位を選別する。この特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属する「へそ」とは区別して、「裂皮」が存在する裂皮不良の有無を判別する。すなわち、請求項1では、特別豆粒濃度部位の連続性により「へそ」と「裂皮」との判別を見出した。   According to invention of Claim 1, a special bean grain concentration site | part is normally selected with respect to a bean grain concentration site | part. Based on the continuity of the density values of the special bean grain concentration part, it is distinguished from “navels” belonging to the same concentration range, and the presence or absence of a crack in which a “crack” exists is determined. That is, in claim 1, the distinction between “navel” and “crack” was found by the continuity of the special bean grain concentration site.

請求項2に記載の発明は、前記請求項1に記載の発明において、前記特別豆粒濃度部位の濃度値の変化量から所定の濃度値が連続する距離(間隔)を演算し、前記距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することを特徴としている。   The invention according to claim 2 is the invention according to claim 1, wherein a distance (interval) in which a predetermined concentration value continues from a change amount of the concentration value of the special bean grain concentration site is calculated, and the distance (interval) is calculated. ) Is continuous for a predetermined period or more, it is determined that the concentration is a special bean grain concentration due to the “crack”, and there are intermittently a plurality of special bean density concentration sites where the continuous distance (interval) is less than a predetermined value, And when the ratio of the distance (interval) in the density | concentration of the adjacent special bean grain density | concentration site | parts exists in the predetermined range, it is characterized by determining with a "navel."

請求項2に記載の発明によれば、連続性による判別の実施態様を示しており、特別豆粒濃度部位の濃度値の距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することができる。   According to the second aspect of the present invention, there is shown an embodiment of discrimination based on continuity, and when the distance (interval) of the concentration value of the special bean grain concentration site is continuously longer than a predetermined value, It is discriminate | determined that it is the special bean grain density | concentration, and the distance (interval) in the density | concentration of the special bean grain density | concentration parts adjacent to each other where there exist intermittently a plurality of special bean density density | concentrations whose said continuous distance (interval) is less than predetermined When the ratio is within a predetermined range, it can be determined as “navel”.

なお、所定の範囲は、1またはそれより大きい所定の範囲内及びその逆数である。また、連続する距離(間隔)とは、特別豆粒濃度部位自体の膨らみ(幅)同士の比を比較する場合、隣接する特別豆粒濃度部位の距離(最高濃度点間の長さ)の比を比較する場合、隣接する特別豆粒濃度部位の間隔(所定の濃度値レベルの間隔)の比を比較する場合を含む。   The predetermined range is within a predetermined range of 1 or larger and the inverse thereof. In addition, when comparing the ratio between the bulges (widths) of the special bean grain concentration sites themselves, the continuous distance (interval) is compared with the ratio of the distance (length between the highest concentration points) of the adjacent special bean concentration sites. In this case, the case of comparing the ratio of the intervals between the adjacent special bean grain concentration sites (intervals of predetermined concentration value levels) is included.

請求項3に記載の発明は、前記請求項1又は請求項2に記載の発明において、豆粒の表面の画像データの濃度差に基づいて豆粒の外郭を検出してその外郭における最大縦寸法と最大横寸法との比に基づいて扁平不良の有無を判別すること、並びに、豆粒の表面の画像データの濃度差に基づいて内皮付着不良の有無を判別することを、併せて実行する特徴としている。   According to a third aspect of the present invention, in the first or second aspect of the present invention, the outline of the bean grain is detected based on the density difference of the image data on the surface of the bean grain, and the maximum vertical dimension and the maximum in the outline are detected. It is characterized by determining whether or not there is a flat defect based on the ratio to the horizontal dimension, and determining whether or not there is a defective endothelial adhesion based on the density difference of the image data on the surface of the beans.

請求項3に記載の発明によれば、画像データの濃度を用いることで、豆粒の表面の画像データの濃度差に基づいて豆粒の外郭を検出してその外郭における最大縦寸法と最大横寸法との比に基づいて扁平不良の有無を判別すること、並びに、豆粒の表面の画像データの濃度差に基づいて内皮付着不良の有無を判別することを、併せて実行することができる。   According to the invention of claim 3, by using the density of the image data, the outline of the bean grain is detected based on the density difference of the image data on the surface of the bean grain, and the maximum vertical dimension and the maximum horizontal dimension in the outline are It is possible to determine whether or not there is a flat defect based on the ratio, and to determine whether or not there is a poor endothelial adhesion based on the density difference of the image data on the surface of the beans.

請求項4に記載の発明は、表面に育成のための養分を取り入れるための「へそ」が露出し、所定の濃度範囲の表皮に包まれた豆粒を対象として、特に前記表皮に関わる良否を判別して、分別する豆粒選別装置であって、前記豆粒の表面を走査して撮像することを、走査方向に直交する方向に相対移動しながら、複数回実行する撮像手段と、前記撮像手段により撮像した画像データを解析して、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する分類手段と、前記分類手段で分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する判別手段と、前記判別手段で肯定されたことで、当該特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定すると共に、否定判定されたことで、当該特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する特定手段と、少なくとも特定手段で特定された「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目の不良品を分別する分別手段と、を有している。   The invention according to claim 4 is for determining whether or not the skin is particularly good with respect to the bean grains encased in the epidermis of a predetermined concentration range, where the “navel” for incorporating nutrients for growth is exposed on the surface. Then, a bean grain sorting device for sorting, an image pickup unit that scans and images the surface of the bean grains while performing relative movement in a direction orthogonal to the scanning direction, and an image picked up by the image pickup means And classifying means for classifying the image data into a normal epidermal density part and a special epidermal density part having a predetermined density difference with respect to the normal epidermal density part, and the special display density classified by the classification means Among the parts, the ratio of the distance (interval) between the parts that are intermittent in the scanning direction and adjacent to each other is determined by the determination means and whether the determination means affirmed, Includes special epidermal concentration Identifying means for identifying the presence of the “navel” in the bean grain and identifying the presence of the “crack” in which the epidermis has ruptured in the bean grain that includes the special epidermis concentration site. And a sorting unit that sorts out defective items of other items including at least beans with a “crack” identified by the identifying unit, and extracted based on an analysis result of image data captured by the imaging unit. Have.

請求項4に記載の発明によれば、例えば豆粒を移動しながら撮像のための走査を繰り返し、走査によって撮像することで得た画像データを解析する。   According to the fourth aspect of the invention, for example, scanning for imaging is repeated while moving the beans, and image data obtained by imaging by scanning is analyzed.

この解析により、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する。   By this analysis, the normal skin concentration part and the special skin concentration part having a predetermined density difference with respect to the normal skin concentration part are classified.

分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する。   It is determined whether or not the ratio of the distances (intervals) between adjacent parts that are intermittent in the scanning direction among the classified special display density parts belongs to a predetermined range.

上記判別が肯定判定の場合は、特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定する。   If the determination is affirmative, it is specified that the “navel” is present in the beans containing the special epidermis concentration site.

また、上記判別が否定判定の場合は、特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する。   Further, when the determination is negative, it is specified that a “crack” in which the epidermis has ruptured exists in the beans including the special epidermis concentration site.

分別手段では、「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目不良品を分別する。   The sorting means sorts other item defective products that contain beans with “fissure” and that are extracted based on the analysis result of the image data captured by the imaging means.

なお、その他の項目とは、全体色濃度、内皮付着、扁平等が挙げられる。   Other items include overall color density, endothelial adhesion, flatness, and the like.

これにより、自動的、かつ正確に1個1個の豆粒単位での良否判定を可能とし、かつ自動的に分別することができる。   As a result, it is possible to automatically and accurately determine pass / fail in units of one bean and to automatically sort.

以上説明した如く本発明では、豆粒の良否判定の全ての項目に対して、自動的に、かつ確実に良否判定することができるという優れた効果を有する。   As described above, the present invention has an excellent effect that the quality can be automatically and surely determined for all items of the quality determination of the beans.

(装置構成)
図1及び図2には、本実施の形態に係る豆粒選別装置10の概略構成が示されている。
(Device configuration)
1 and 2 show a schematic configuration of a bean grain sorting apparatus 10 according to the present embodiment.

豆粒選別装置10は、円筒状のロータリーバルブ12を中心として構成されている。   The bean grain sorting apparatus 10 is configured around a cylindrical rotary valve 12.

ロータリーバルブ12は、駆動モータ116(図8参照)の駆動力で、図2の反時計回り方向に定速度で回転するようになっている。   The rotary valve 12 is rotated at a constant speed in the counterclockwise direction of FIG. 2 by the driving force of the drive motor 116 (see FIG. 8).

図3に示される如く、ロータリーバルブ12の周面には、軸線方向に平行な筋状の溝14が周方向に全周に亘ってほぼ均等に設けられている。前記溝14の内部は、軸線方向を仕切るように仕切り壁16が形成されており、この仕切り壁16で仕切られた各領域が、豆粒18を収容して保持する豆収容部20とされる。   As shown in FIG. 3, streak-like grooves 14 parallel to the axial direction are provided on the circumferential surface of the rotary valve 12 almost uniformly over the entire circumference. A partition wall 16 is formed inside the groove 14 so as to partition the axial direction, and each region partitioned by the partition wall 16 serves as a bean container 20 that stores and holds the bean grains 18.

また、ロータリーバルブ12の周面の軸線方向一端部側には、溝14の有無に準じてマーカー22が貼り付けられている。本実施の形態では、マーカー22は、軸線方向に溝14が存在しない部分に貼り付けられている。   In addition, a marker 22 is attached to one end side in the axial direction of the peripheral surface of the rotary valve 12 according to the presence or absence of the groove 14. In the present embodiment, the marker 22 is attached to a portion where the groove 14 does not exist in the axial direction.

図1に示される如く、ロータリーバルブ12の周囲には、豆粒18の流れに沿う上流側から順に、振動フィーダーユニット24、撮像ユニット26、選別排出部28が設けられている。選別排出部28は、不良品ターゲット開口部28A、良品ターゲット開口部28Bに分かれている(図2参照)。   As shown in FIG. 1, a vibration feeder unit 24, an imaging unit 26, and a sorting and discharging unit 28 are provided around the rotary valve 12 in order from the upstream side along the flow of the beans 18. The sorting and discharging unit 28 is divided into a defective target opening 28A and a non-defective target opening 28B (see FIG. 2).

振動フィーダーユニット24は、ロータリーバルブ12における、図2に右方向(2時〜3時の方向)に配置されている。振動フィーダー部24はホッパ部30が設けられ、多数の豆粒18が投入されるようになっている。このホッパ部30に投入された豆粒18には振動源114によって振動が与えられ、整列テーブル32へ順次送り出されるようになっている。   The vibration feeder unit 24 is arranged on the rotary valve 12 in the right direction (direction from 2 o'clock to 3 o'clock) in FIG. The vibration feeder portion 24 is provided with a hopper portion 30 so that a large number of beans 18 are put in. The beans 18 put in the hopper 30 are vibrated by the vibration source 114 and are sequentially sent out to the alignment table 32.

整列テーブル32には、複数条(本実施の形態では6条)の案内溝(図示省略)が形成され、それぞれの先端部が、ロータリーバルブ12の軸線方向に沿った溝14の豆収容部20に対応するように配置されている。これにより、ロータリーバルブ12が図2の反時計回り方向に回転することで、各溝14の豆収容部20に1個ずつ豆粒18が収容されることになる。   The alignment table 32 is formed with a plurality of guide grooves (not shown) (not shown) in the present embodiment, and each of the leading ends thereof has a bean accommodating portion 20 in the groove 14 along the axial direction of the rotary valve 12. It is arranged to correspond to. Thereby, the bean grains 18 are accommodated one by one in the bean accommodating portion 20 of each groove 14 as the rotary valve 12 rotates counterclockwise in FIG. 2.

撮像ユニット26は、ロータリーバルブ12における、図2の上方向(12時の方向)に設けられている。   The imaging unit 26 is provided in the upward direction (12 o'clock direction) in FIG.

撮像ユニット26の筐体内には、CCDラインセンサ26A、光学系(例えば、CCDラインセンサ26Aの長手方向の収差を補償する凸レンズを含む結像レンズユニット(一眼レフカメラのレンズ)、或いは画素毎に分割されたセルフォックレンズ等)26Bが収容されている。   In the housing of the imaging unit 26, there is a CCD line sensor 26A, an optical system (for example, an imaging lens unit (lens of a single-lens reflex camera) including a convex lens that compensates for aberration in the longitudinal direction of the CCD line sensor 26A), or for each pixel. 26B is housed.

ここで、CCDラインセンサ26A及び光学系26Bは、前記ロータリーバルブ12の豆収容部20に収容された豆粒18が、前記CCDラインセンサ26Aによる撮像時の焦点となるように相対位置関係が定められている。   Here, the relative position relationship between the CCD line sensor 26A and the optical system 26B is determined so that the bean grain 18 accommodated in the bean accommodating portion 20 of the rotary valve 12 becomes a focal point during imaging by the CCD line sensor 26A. ing.

CCDラインセンサ26Aは、ロータリーバルブ12が図2の反時計回り方向に回転している状態で画素配列方向(すなわち、ロータリーバルブ12の軸線方向)に走査する。これにより、本実施の形態では、6個(1列)の豆粒18に対して、合計7ラインの撮像走査ラインで画像を読み取り、画像データ(濃度データ)を生成するようになっている。   The CCD line sensor 26A scans in the pixel array direction (that is, the axial direction of the rotary valve 12) while the rotary valve 12 is rotating in the counterclockwise direction of FIG. As a result, in the present embodiment, six (one row) beans 18 are read with a total of seven imaging scan lines, and image data (density data) is generated.

CCDラインセンサ26Aで読み取ることで生成された画像データ(濃度データ)は、コントローラ34に送出され、画像解析されるようになっている(詳細後述)。   Image data (density data) generated by reading with the CCD line sensor 26A is sent to the controller 34 for image analysis (details will be described later).

ロータリーバルブ12の内方空間部には、エアノズル38の噴射弁38Aが設けられている。   An injection valve 38 </ b> A for the air nozzle 38 is provided in the inner space of the rotary valve 12.

噴射弁38Aは、ロータリーバルブ12が所定の回転位置になった時点で、溝14の各豆収容部20の底部に設けられた貫通孔に対向するように設けられている。すなわち、6個の噴射弁38Aがロータリーバルブ12の軸線方向に沿って1列に配列されている。   The injection valve 38 </ b> A is provided so as to face the through hole provided in the bottom of each bean container 20 of the groove 14 when the rotary valve 12 reaches a predetermined rotational position. That is, the six injection valves 38 </ b> A are arranged in a line along the axial direction of the rotary valve 12.

前記ロータリーバルブ12の所定の回転位置とは、目的の溝14が前記不良品ターゲット開口部28Aに対向した位置であり、この位置には、ロータリーバルブ12の回転位置を検出する回転位置検出センサ40が設けられている。   The predetermined rotational position of the rotary valve 12 is a position where the target groove 14 is opposed to the defective target opening 28A. At this position, a rotational position detection sensor 40 that detects the rotational position of the rotary valve 12 is used. Is provided.

この噴射弁38Aは、噴射ソレノイド115(図8参照)への励磁・非励磁により開閉動作される。エアノズル38の配管内には、エアコンプレッサ104(図8参照)の駆動によって予め所定の内圧が与えられており、噴射弁38Aが開放すると、当該内圧に準じた勢いでエアが吐出する。   The injection valve 38A is opened / closed by excitation / non-excitation of the injection solenoid 115 (see FIG. 8). A predetermined internal pressure is applied in advance to the piping of the air nozzle 38 by driving an air compressor 104 (see FIG. 8), and when the injection valve 38A is opened, air is discharged with a force according to the internal pressure.

ここで、ロータリーバルブ12が目的とする溝14が前記所定の回転位置に到達したときに、適宜前記噴射弁38Aを開放すると、開放した噴射弁38Aに対応する豆収容部20に収容されている豆粒18が吐出するエアによって、前記不良品ターゲット開口部28Aへ吹き飛ばされ、不良品豆粒として収容される。   Here, when the target groove 14 of the rotary valve 12 reaches the predetermined rotation position, when the injection valve 38A is appropriately opened, it is stored in the bean storage portion 20 corresponding to the opened injection valve 38A. The air discharged from the bean grains 18 is blown off to the defective target opening 28A and accommodated as defective bean grains.

すなわち、個々の豆収容部(1個の豆粒)単位で、不良品を吹き飛ばすか否かを選択し、実行することができる構造となっている。   That is, it has a structure in which it is possible to select whether or not to blow off defective products in units of individual bean containers (one bean grain).

なお、閉止状態が維持された噴射弁38Aに対向する豆収容部20に収容された豆粒18は、ロータリーバルブ12が図2の反時計回り方向に回転を継続することで、自重で良品ターゲット開口部28Bへ落下し、良品豆粒として収容される。   Note that the bean grains 18 accommodated in the bean accommodating portion 20 facing the injection valve 38A maintained in the closed state are rotated by the rotary valve 12 in the counterclockwise direction of FIG. It falls to the part 28B and is accommodated as non-defective beans.

前記コントローラ34には、前記ロータリーバルブ12を回転させる駆動モータ116や、フィーダーユニット24の振動源114、エアノズル38の噴射弁38Aを駆動する噴射ソレノイド115、マーカー22を検出するマーカー検出センサ118、ロータリーバルブ12の回転位置を検出する回転位置検出センサ40が接続されるとともに、駆動を制御する。また、コントローラ34には、操作盤42が接続されている。操作盤42には、少なくとも運転開始を指示するための運転スイッチ42A、運転停止を指示するための停止スイッチ42Bを含み、メイン電源スイッチ42C等の入力系と、各部の動作状態を表示するモニタ42Dと、を備えている。   The controller 34 includes a drive motor 116 that rotates the rotary valve 12, a vibration source 114 of the feeder unit 24, an injection solenoid 115 that drives the injection valve 38A of the air nozzle 38, a marker detection sensor 118 that detects the marker 22, and a rotary A rotational position detection sensor 40 for detecting the rotational position of the valve 12 is connected and controls driving. An operation panel 42 is connected to the controller 34. The operation panel 42 includes at least an operation switch 42A for instructing an operation start and a stop switch 42B for instructing an operation stop. An input system such as a main power switch 42C and a monitor 42D for displaying an operation state of each unit. And.

(黒大豆に特化した特徴、並びに良否判別)
本実施の形態の豆粒選別装置10では、所定の外形寸法以内であれば様々な豆粒18を対象とした外観濃度検査、ならびに選別が可能である。ここでは、豆粒18として「黒大豆」18を例にとり黒大豆18の外観的、賞味的不良品の選別について説明する。
(Characteristics specific to black soybeans, as well as good / bad judgment)
In the bean grain sorting apparatus 10 of the present embodiment, it is possible to perform appearance density inspection and sorting for various bean grains 18 within a predetermined outer dimension. Here, taking “black soybeans” 18 as an example of the beans 18, the selection of defective appearance and taste products of the black soybeans 18 will be described.

まず、図4に示される如く、黒大豆18は、表皮が黒色に近い高い濃度であり、良品は整粒と称される(図4(A)参照)。また、図4(B)は不良品の一例であり、表皮に莢(さや)の内側の白皮が付着した白皮付着不良の黒大豆18を示している。また、図4(C)は不良品の他の一例であり、表皮が裂けた裂皮不良の黒大豆18を示している。   First, as shown in FIG. 4, the black soybean 18 has a high concentration of epidermis close to black, and a non-defective product is called sized (see FIG. 4A). FIG. 4B is an example of a defective product, and shows black soybeans 18 with poor white skin adhesion in which the white skin inside the pods is attached to the epidermis. FIG. 4C is another example of a defective product, and shows black soybeans 18 with a cracked skin whose skin has been torn.

(1) 黒大豆18は、全体的に表面が表皮に覆われており、黒色に近い所定以上の濃度値を持ち(通常表皮濃度)、例えば平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較することで、黒大豆18の色濃度の適否を判別することができる。   (1) The black soybean 18 is entirely covered with the epidermis and has a density value equal to or higher than a predetermined value close to black (normal epidermis density), for example, an average density value of a planar image (scanned image), By comparing with a predetermined reference density value, the suitability of the color density of the black soybean 18 can be determined.

(2) 黒大豆18は、表面に内皮が付着することで外観的品質を損なう。内皮は、通常の表皮の濃度値(通常表皮濃度)よりも極端に濃度が低い(白色に近い)。   (2) The black soybean 18 impairs the appearance quality due to the adhesion of the endothelium to the surface. The endothelium has an extremely lower concentration (close to white) than the normal epidermal concentration value (normal epidermal concentration).

そこで、比較的ラフなしきい値設定による、黒大豆18の平面画像の濃度値比較によって容易に内皮付着の有無を判別することができる(図5参照)。   Therefore, it is possible to easily determine the presence or absence of endothelium adhesion by comparing the density value of the planar image of black soybean 18 with a relatively rough threshold setting (see FIG. 5).

(3) 黒大豆18には、外観品質の一貫として、扁平度合いを良品/不良品選別要素としている。   (3) The black soybean 18 has a flatness as a good / defective product selection element as a consistent appearance quality.

扁平とは、本実施の形態では、黒大豆18の最大縦寸法と最大横(幅)寸法との比を言う。例えば、平面画像(複数回走査による)により得られる画像データから、外郭(境界)の縦方向の最大値と横(幅)方向の最大値を抽出し、上記比を演算すると共に、予め定めた範囲(1よりも大きい所定範囲)に該当する黒大豆18を良品として選別するようにしている(図6参照)。   Flatness means the ratio of the maximum vertical dimension and the maximum horizontal (width) dimension of black soybean 18 in the present embodiment. For example, the maximum value in the vertical direction and the maximum value in the horizontal (width) direction of the outline (boundary) are extracted from the image data obtained by the planar image (by scanning a plurality of times), the ratio is calculated, and the predetermined value is determined in advance. Black soybeans 18 corresponding to a range (a predetermined range greater than 1) are selected as non-defective products (see FIG. 6).

(4) 黒大豆18は、全体的に表面が表皮に覆われており、中身が見えないのが普通(正常)であるが、その表面が裂け、中身が露出すると(以下、表面が裂けることを「裂皮」という)、外観的品質、並びに賞味的品質を損なう。   (4) The surface of black soybean 18 is generally covered by the epidermis, and it is normal (normal) that the contents cannot be seen, but when the surface is torn and the contents are exposed (hereinafter, the surface is torn) Is referred to as “crack”), which impairs the appearance quality as well as the taste quality.

ところで、「裂皮」が発生した部位の濃度値(特別表皮濃度)は、表皮の濃度(通常表皮濃度)に比べて低濃度(白色寄り)であるため、比較対象が、正常の表皮部位と、裂皮部位との2種類であれば、前述した内皮付着の有無の判別と同等と処理を行うことで、「裂皮」による不良を検出することができる(図7参照)。   By the way, the density value (special epidermal density) of the part where “crack” has occurred is lower (whiter) than the epidermal density (normal epidermal density). In the case of two types of rupture sites, it is possible to detect a defect due to “fissure” by performing the same process as the determination of the presence or absence of endothelium attachment (see FIG. 7).

しかし、黒大豆18には、その表面に「へそ」が存在する。「へそ」は、豆育成のための養分の取り入れ(豆子実の生長(登熟)のための養分取り入れ)に必要不可欠な部位である。この「へそ」は、表皮濃度(通常表皮濃度)よりも若干濃度が低い(白色寄り)。すなわち、正常な表皮を通常表示濃度部位とすると、前記「裂皮」と「へそ」とは、ほぼ同一の濃度部位(特別表皮濃度部位)ということができる。   However, the black soybean 18 has a “navel” on its surface. “Navel” is an indispensable part for intake of nutrients for growing beans (incorporation of nutrients for growth (ripening) of legumes). This “navel” has a slightly lower concentration (closer to white) than the skin concentration (normal skin concentration). That is, assuming that the normal epidermis is the normal display concentration site, the “crack” and the “navel” can be said to be almost the same concentration site (special epidermal concentration site).

このため、単順な濃度差判別では、「裂皮」と「へそ」との区別が困難であった。そこで、本実施の形態に係る豆粒選別装置10のコントローラ34では、上記(1)〜(4)の黒大豆18の全ての良否判定が可能な豆粒良否判定アルゴリズムが実行プログラムとして記憶されている。   For this reason, it is difficult to distinguish between “crack” and “navel” by simple density difference discrimination. In view of this, the controller 34 of the bean grain sorting apparatus 10 according to the present embodiment stores the bean grain pass / fail judgment algorithm capable of judging the quality of all the black soybeans 18 of (1) to (4) as an execution program.

(制御機能)
図8は、前記コントローラ34における豆粒良否判定アルゴリズムに従って実行される制御を機能的に示した機能ブロックである。なお、この機能ブロック図はハード構成を限定するものではなく、あくまでも機能的に分類したものである。
(Control function)
FIG. 8 is a functional block functionally showing the control executed by the controller 34 according to the bean grain quality determination algorithm. Note that this functional block diagram does not limit the hardware configuration and is functionally classified.

操作盤42のメイン電源スイッチ42Cは、コントローラ34の電源管理部100に接続されており、メイン電源スイッチ42Cがオンされることで、電源管理部100では、コントローラ34並びに各部駆動系へ電源を供給する。   The main power switch 42C of the operation panel 42 is connected to the power management unit 100 of the controller 34. When the main power switch 42C is turned on, the power management unit 100 supplies power to the controller 34 and each unit drive system. To do.

また、運転スイッチ42A、停止スイッチ42Bは、起動制御部102に接続されている。起動制御部102では、運転スイッチ42Aの操作に基づいて、エアノズル38のエアコンプレッサ104の駆動を開始すると共に、コントローラ34の主制御部106に対して制御の実行を指示するようになっている。   Further, the operation switch 42 </ b> A and the stop switch 42 </ b> B are connected to the activation control unit 102. The activation control unit 102 starts driving the air compressor 104 of the air nozzle 38 based on the operation of the operation switch 42A, and instructs the main control unit 106 of the controller 34 to execute control.

エアコンプレッサ104では、独自のレギュレーション制御によって予め定められた内圧となるようにエアノズル38内の圧力を制御する。   In the air compressor 104, the pressure in the air nozzle 38 is controlled so as to be a predetermined internal pressure by original regulation control.

主制御部106では、黒大豆18の送り込み、撮像、良否判別、分別といった一連の動作を一括制御する。   The main control unit 106 collectively controls a series of operations such as feeding black soybeans 18, imaging, pass / fail judgment, and sorting.

なお、起動制御部102では、停止スイッチ42Bの操作があると、現在の運転状態を停止させるようにエアコンプレッサ104及び主制御部106に指示する。   When the stop switch 42B is operated, the start control unit 102 instructs the air compressor 104 and the main control unit 106 to stop the current operation state.

また、主制御部106は、操作盤42のモニタ42Dに接続されており、モニタ42Dへ運転状態情報を送出するようになっている。   The main control unit 106 is connected to a monitor 42D of the operation panel 42, and sends operating state information to the monitor 42D.

運転状態情報とは、例えば、設定されている初期設定情報(しきい値等)、現在投入されている黒大豆18の数量情報、分別比率情報等である。   The driving state information is, for example, set initial setting information (threshold value, etc.), quantity information of black soybeans 18 currently input, classification ratio information, and the like.

主制御部106には、振動フィーダー駆動制御部108、ロータリーバルブ駆動制御部110、撮像ユニット26の撮像制御部112のそれぞれが接続されている。   The main control unit 106 is connected to each of the vibration feeder drive control unit 108, the rotary valve drive control unit 110, and the imaging control unit 112 of the imaging unit 26.

振動フィーダー駆動制御部108は、振動フィーダーユニット24の振動源114に接続されている。振動フィーダー駆動制御部108では、主制御部106からの指令に基づいて、振動源114を駆動させ、ホッパー部30に投入された黒大豆18を6条の溝のそれぞれに1列ずつ配列し、ロータリーバルブ12の方向へ移動させる。   The vibration feeder drive control unit 108 is connected to the vibration source 114 of the vibration feeder unit 24. The vibration feeder drive control unit 108 drives the vibration source 114 based on a command from the main control unit 106 and arranges the black soybeans 18 put into the hopper 30 one by one in each of the six grooves, Move in the direction of the rotary valve 12.

ロータリーバルブ駆動制御部110は、ロータリーバルブ12の駆動モータ116に接続されている。ロータリーバルブ駆動制御部110では、主制御部106からの指令に基づいて、駆動モータ116を駆動させ、ロータリーバルブ12を図2の反時計回り方向へ一定の速度で回転させる。   The rotary valve drive control unit 110 is connected to the drive motor 116 of the rotary valve 12. The rotary valve drive control unit 110 drives the drive motor 116 based on a command from the main control unit 106 to rotate the rotary valve 12 in the counterclockwise direction of FIG. 2 at a constant speed.

また、ロータリバルブ駆動制御部110には、マーカー検出センサ118及び回転位置検出センサ40が接続されている。マーカー検出センサ118は、ロータリーバルブ12の周面に貼り付けられたマーカー22を検出するものであり、回転位置検出センサ40は、選別対象の溝14が噴射弁38Aに対向する位置を検出するものである。このため、マーカセンサ118は後述する画像解析部120に接続され、回転位置検出センサ40は、後述するエアノズル駆動制御部122に接続されている。   In addition, a marker detection sensor 118 and a rotational position detection sensor 40 are connected to the rotary valve drive control unit 110. The marker detection sensor 118 detects the marker 22 affixed to the peripheral surface of the rotary valve 12, and the rotational position detection sensor 40 detects the position at which the selection target groove 14 faces the injection valve 38A. It is. For this reason, the marker sensor 118 is connected to an image analysis unit 120 described later, and the rotational position detection sensor 40 is connected to an air nozzle drive control unit 122 described later.

撮像制御部112では、主制御部106からの指令を受け(ロータリバルブ12の回転位置に基づく撮像タイミング情報)、CCDラインセンサ26Aによる撮像(走査)を実行させる。   The imaging control unit 112 receives a command from the main control unit 106 (imaging timing information based on the rotational position of the rotary valve 12), and executes imaging (scanning) by the CCD line sensor 26A.

CCDラインセンサ26Aによる走査撮像情報(画像データ)は、1ライン毎に画像解析部120へ送出されるようになっている。なお、本実施の形態では、ロータリーバルブ12の回転速度との関係から、6個(1列)の黒大豆18に対して7回の走査が実行されるようになっている。なお、この走査線数は、限定されるものではない。また、CCDラインセンサ26Aに限らず、ロータリーバルブ12を溝14のピッチ毎に停止させ(シャッタースピードとの関係において、微速駆動でもよい)、画像が縦横方向に配列されたCCDエリアセンサで撮像するようにしてもよい。   Scanning imaging information (image data) from the CCD line sensor 26A is sent to the image analysis unit 120 line by line. In the present embodiment, seven scans are performed on six (one row) black soybeans 18 in relation to the rotational speed of the rotary valve 12. Note that the number of scanning lines is not limited. In addition to the CCD line sensor 26A, the rotary valve 12 is stopped at every pitch of the groove 14 (may be driven at a low speed in relation to the shutter speed), and an image is picked up by a CCD area sensor in which images are arranged in the vertical and horizontal directions. You may do it.

画像解析部120では、撮像した画像データに基づいて、濃度をしきい値と比較したり、濃度変化の連続性を判断したりすることで、黒大豆18の良否を判別し、当該判別結果(ロータリーバルブ12の豆収容部20毎の良否)をエアノズル駆動制御部122へ送出する(詳細後述)。   The image analysis unit 120 determines the quality of the black soybean 18 by comparing the density with a threshold or determining the continuity of the density change based on the captured image data, and the determination result ( The quality of each bean container 20 of the rotary valve 12 is sent to the air nozzle drive controller 122 (details will be described later).

エアノズル駆動制御部122では、回転位置検出センサ40に基づいて、選別対象となる溝14が噴射弁38Aと対向したか否かを判断し、かつ仕切り壁16で仕切られた豆収容部20単位で噴射弁38Aの開閉を制御する。   In the air nozzle drive control unit 122, based on the rotational position detection sensor 40, it is determined whether or not the groove 14 to be selected is opposed to the injection valve 38 </ b> A, and the bean container 20 unit partitioned by the partition wall 16. The opening and closing of the injection valve 38A is controlled.

この結果、不良判別された黒大豆18は、エアノズル38Aから噴射されるエアによって、良品ターゲット開口部28Bを超えて、不良品ターゲット開口部28Aに収容され、不良品として処理される。   As a result, the black soybeans 18 determined to be defective exceed the non-defective target opening 28B by the air jetted from the air nozzle 38A, are accommodated in the defective target opening 28A, and are processed as defective products.

なお、噴射弁38Aが開放しなかった豆収容部20に収容された良品の黒大豆18は、ロータリーバルブ12の継続回転に伴って、自重で良品ターゲット開口部28Bへ収容され、良品として処理される。   The non-defective black soybeans 18 accommodated in the bean container 20 that was not opened by the injection valve 38A are accommodated in the non-defective target opening 28B by their own weight as the rotary valve 12 continues to rotate, and are processed as non-defective products. The

(前記画像解析部120における画像解析(良否判別))
(1) 色濃度の適否判別
平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較し、基準濃度値以下の比率が多い場合はエアノズル動作用の第4の動作フラグをONにする(図9のステップ242参照)。
(Image analysis (quality determination) in the image analysis unit 120)
(1) Color density suitability determination The average density value of the planar image (scanned image) is compared with a predetermined reference density value, and if the ratio is less than or equal to the reference density value, the fourth operation flag for air nozzle operation Is turned on (see step 242 in FIG. 9).

(2) 内皮付着の有無判別
平面画像の濃度値と、設定されたしきい値とを比較し、基準濃度値以下の場合はエアノズル動作用の第1の動作フラグをONにする(図9のステップ222参照)。
(2) Judgment of presence / absence of endothelium adhesion The density value of the planar image is compared with a set threshold value. (See step 222).

(3) 扁平度合い判別
最大縦寸法と最大横(幅)寸法との比が、予め定めた範囲(1よりも大きい所定範囲)に属するか否かを判別し、範囲外の場合はエアノズル動作用の第3の動作フラグをONにする(図9のステップ238参照)。
(3) Flatness level determination It is determined whether or not the ratio of the maximum vertical dimension to the maximum horizontal (width) dimension belongs to a predetermined range (a predetermined range greater than 1). The third operation flag is turned ON (see step 238 in FIG. 9).

(4) 裂皮不良判別
平面画像(走査撮像画像)の平均濃度値を、予め定めた基準濃度値と比較し、基準濃度値よりも低い領域が所定以上連続したか否かを判別し、基準濃度値以下の領域が所定以上連続した場合はエアノズル動作用の第2の動作フラグをONにする(図9のステップ226参照)。
(4) Crack defect determination The average density value of the planar image (scanned image) is compared with a predetermined reference density value, and it is determined whether or not a region lower than the reference density value continues for a predetermined number of times. If the area below the density value continues for a predetermined period or more, the second operation flag for air nozzle operation is turned ON (see step 226 in FIG. 9).

なお、正常な表皮を通常表示濃度部位とすると、前記「裂皮」と「へそ」とは、ほぼ同一の濃度部位(特別表皮濃度部位)であるため、上記判定に加え、別途、「へそ」か否かの判別を行っている。   If normal epidermis is the normal display concentration site, the “crack” and “navel” are almost the same concentration site (special skin concentration site). It is determined whether or not.

すなわち、前記裂皮不良判定時と同一の画像データを用いて、黒大豆18の画像データを一次微分し、その結果により濃度変化の山を求め、当該濃度変化の山が複数存在し、かつ隣接する山同士の距離(間隔)の比が所定の範囲である場合、「へそ」であると判別し、へそフラグをONにしている。なお、山のピーク間の距離にしきい値を設けて、一定画素以上の場合には「へそ」とみなさないという手順を加えてもよい。   That is, the image data of the black soybean 18 is first-order differentiated using the same image data as that at the time of the crack defect determination, and a density change peak is obtained based on the result, and there are a plurality of density change peaks. When the ratio of the distances (intervals) between the peaks is within a predetermined range, it is determined that it is “navel” and the navel flag is turned on. Note that a threshold value may be provided for the distance between peak peaks, and a procedure may be added in which a “navel” is not considered when the number of pixels exceeds a certain value.

ここで、第2の動作フラグとへそフラグとの関係は、へそフラグの方を優先するようにしている。従って、第2の動作フラグがONであっても、へそフラグがONの場合には、エアノズル動作を回避する。   Here, the relationship between the second operation flag and the navel flag is given priority over the navel flag. Therefore, even if the second operation flag is ON, if the navel flag is ON, the air nozzle operation is avoided.

以下に本実施の形態の作用を図9及び図10のフローチャートに従い説明する。   The operation of this embodiment will be described below with reference to the flowcharts of FIGS.

図9は、コントローラ34に記憶されている制御プログラムに基づく処理の流れ(アルゴリズム)を示している。   FIG. 9 shows a process flow (algorithm) based on a control program stored in the controller 34.

まず、ステップ200で運転スイッチ42Aがオンになると、ステップ202へ移行して選別開始のための初期設定/確認を行いステップ206へ移行する。   First, when the operation switch 42A is turned on in step 200, the process proceeds to step 202, where initial setting / confirmation for starting sorting is performed, and the process proceeds to step 206.

ステップ206では、CCDラインセンサ26Aで読み取る画像のキャプチャを開始し、ステップ208へ移行する。   In step 206, capture of an image read by the CCD line sensor 26A is started, and the process proceeds to step 208.

ステップ208では、停止スイッチ42Bが操作されたか否かが判断され、否定判定の場合には、ステップ210へ移行してCCDラインセンサ26Aから画像データ(波形)を取り込んで画像解析を実行し、ステップ214へ移行する。なお、ステップ208において、停止スイッチ42Bが操作された場合は、選別動作の途中であっても選別を終了する。   In step 208, it is determined whether or not the stop switch 42B has been operated. If the determination is negative, the process proceeds to step 210, image data (waveform) is taken from the CCD line sensor 26A, and image analysis is executed. Move to 214. In step 208, if the stop switch 42B is operated, the sorting ends even during the sorting operation.

ステップ214では、マーカー22の有無を確認し、マーカー無しと判定された場合は、ステップ216へ移行して、ロータリーバルブ12における1つの溝14のライン走査(ここでは、7回走査)が終了したか否かが判断される。すなわち、内皮付着、裂皮有無は1走査毎、扁平、色濃度は全走査(7回走査)毎に、判定結果に基づく、良品、不良品の選別動作が実行される。   In step 214, the presence or absence of the marker 22 is confirmed. If it is determined that there is no marker, the process proceeds to step 216, and the line scanning of one groove 14 in the rotary valve 12 (here, seven times scanning) is completed. It is determined whether or not. That is, the selection operation of the non-defective product and the defective product based on the determination result is executed for each scan for the presence / absence of endothelium and for the flatness and the color density for every scan (seven scans).

このステップ216で否定判定、すなわち、全走査が終了していない場合には、ステップ218へ移行する。ステップ218では、「へそ」判別処理制御を実行する。このステップ218の「へそ」判別処理制御については後述する。   If a negative determination is made in step 216, that is, if all scanning has not been completed, the routine proceeds to step 218. In step 218, “navel” discrimination processing control is executed. The “navel” discrimination process control in step 218 will be described later.

ステップ218の「へそ」判別制御が終了すると、ステップ220へ移行し、内皮付着を判定するしきい値レベルより白い画像があるか否かが判断される(内皮付着不良判定)。このステップ220で肯定判定されると、ステップ222へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第1の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ224へ移行する。また、ステップ220で否定判定された場合はステップ224へ移行する。   When the “navel” discrimination control at step 218 is finished, the routine proceeds to step 220, where it is judged whether or not there is an image that is whiter than the threshold level for judging the endothelial adhesion (determination of endothelium adhesion). When an affirmative determination is made at step 220, the routine proceeds to step 222, where the first operation flag indicating whether or not to open the injection valve 38A of the air nozzle 38 is turned ON ("ON" means the injection valve 38A is opened). ) And the process proceeds to step 224. On the other hand, if a negative determination is made in step 220, the process proceeds to step 224.

ステップ224では、特別表皮濃度部位に相当する画素が複数画素連続しているか否かが判別される(裂皮有無判定)。このステップ224で肯定判定されると、ステップ226へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第2の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ228へ移行する。また、ステップ224で否定判定された場合はステップ228へ移行する。   In step 224, it is determined whether or not a plurality of pixels corresponding to the special epidermis concentration site are continuous (determination of presence or absence of a fissure). If an affirmative determination is made in step 224, the routine proceeds to step 226, where a second operation flag indicating whether or not to open the injection valve 38A of the air nozzle 38 is turned ON ("ON" means that the injection valve 38A is opened). ) And the process proceeds to step 228. If a negative determination is made in step 224, the process proceeds to step 228.

ステップ228では、今までのライン走査の中で最大縦寸法、最大横(幅)寸法となる値を更新保存し、次いでステップ230で所定のしきい値に基づいて、白色寄りの領域(前記特別表皮濃度部位を含む)の面積と、走査範囲の黒大豆18全体の面積とをそれぞれ累積保存し、ステップ232へ移行する。   In step 228, the values having the maximum vertical dimension and the maximum horizontal (width) dimension in the line scan so far are updated and stored. (Including the skin concentration part) and the entire area of the black soybean 18 in the scanning range are accumulated and stored, and the process proceeds to Step 232.

また、前記ステップ216において、肯定判定、すなわち、7回の走査が完了した場合にも、ステップ232へ移行する。   In step 216, the process also proceeds to step 232 when an affirmative determination is made, that is, when seven scans are completed.

また、上記ステップ214で肯定判定、すなわち、マーカー22を検出すると、ステップ234へ移行する。   If the determination in step 214 is affirmative, that is, if the marker 22 is detected, the process proceeds to step 234.

ステップ234では、マーカー通過直後か否か、すなわち前記マーカー22の検出が初回か否かが判断され、否定判定されると、ステップ232へ移行する。   In step 234, it is determined whether or not the marker has just passed, that is, whether or not the marker 22 has been detected for the first time. If the determination is negative, the process proceeds to step 232.

また、ステップ234で肯定判定されると、ステップ236へ移行して、前記ステップ228で記憶した最大縦寸法と最大横(幅)寸法との比が所定範囲(1以上の所定範囲)を超えているか否かが判断され(豆粒扁平不良判定)、肯定判定されると、ステップ238へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第3の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ240へ移行する。また、ステップ236で否定判定された場合はステップ240へ移行する。   If an affirmative determination is made in step 234, the process proceeds to step 236, where the ratio of the maximum vertical dimension and maximum horizontal (width) dimension stored in step 228 exceeds a predetermined range (one or more predetermined ranges). If it is determined whether or not (bean grain flatness defect determination) and an affirmative determination is made, the routine proceeds to step 238, where a third operation flag indicating whether or not to open the injection valve 38A of the air nozzle 38 is turned ON ("ON"). Means opening of the injection valve 38A), and the process proceeds to step 240. If a negative determination is made in step 236, the process proceeds to step 240.

ステップ240では、前記ステップ230で記憶した白面積と、黒大豆18全体の面積から白面積領域を除いた黒面積と、の比が所定のしきい値以上か否かが判断され(豆粒全体の色濃度の良否判定)、肯定判定されると、ステップ242へ移行して、エアノズル38の噴射弁38Aを開放するか否かの第4の動作フラグをON(「ON」は噴射弁38Aの開放を意味する)とし、ステップ244へ移行する。また、ステップ240で否定判定された場合はステップ244へ移行する。   In step 240, it is determined whether or not the ratio of the white area stored in step 230 to the black area obtained by removing the white area region from the total area of the black soybean 18 is equal to or greater than a predetermined threshold value (for the whole bean grain). If the determination of color density is good), if an affirmative determination is made, the routine proceeds to step 242 where the fourth operation flag indicating whether or not to open the injection valve 38A of the air nozzle 38 is turned ON ("ON" is the opening of the injection valve 38A). The process proceeds to step 244. On the other hand, if a negative determination is made in step 240, the process proceeds to step 244.

ステップ244では、上記最大縦寸法データ、最大横(幅)寸法データ、白面積データ、全体面積データ(全体面積データと白面積データの差によって得られる黒面積データを含む)がクリアされ、ステップ232へ移行する。   In step 244, the maximum vertical dimension data, maximum horizontal (width) dimension data, white area data, and total area data (including black area data obtained by the difference between the total area data and the white area data) are cleared. Migrate to

ステップ232では、回転位置検出センサ40による検出状態を認識し、ロータリーバルブ12が所定の回転位置に到達したか否かが判断され、否定判定されると、ステップ208へ戻り、上記工程を繰り返す。   In step 232, the state detected by the rotational position detection sensor 40 is recognized, and it is determined whether or not the rotary valve 12 has reached a predetermined rotational position. If a negative determination is made, the process returns to step 208 and the above steps are repeated.

また、ステップ232で肯定判定されると、ステップ246へ移行して、第1の動作フラグがON、第3の動作フラグがON、第4の動作フラグがONの何れか1つが成立しているか否かが判断される。   If an affirmative determination is made in step 232, the process proceeds to step 246, in which one of the first operation flag is ON, the third operation flag is ON, and the fourth operation flag is ON. It is determined whether or not.

このステップ246で否定判定されると、ステップ248へ移行して第2の動作フラグがONしているか否かが判断され、否定判定されると、ステップ208へ戻り、上記工程を繰り返す。   If a negative determination is made in step 246, the process proceeds to step 248 to determine whether or not the second operation flag is ON. If a negative determination is made, the process returns to step 208 to repeat the above steps.

また、ステップ248で肯定判定されると、ステップ250へ移行してへそフラグがOFF(「へそ」がない)か否かが判断される。このステップ250で否定判定されると、ステップ208へ戻る。   If the determination at step 248 is affirmative, the routine proceeds to step 250 where it is determined whether or not the navel flag is OFF (no “navel”). If a negative determination is made in step 250, the process returns to step 208.

前記ステップ246又はステップ250で肯定判定されると、不良在りと判断し、ステップ252へ移行して、エアノズル38の噴射弁38Aを開放し、黒大豆18を不良ターゲット開口部28Aへ吹き飛ばし、ステップ208へ戻る。   If an affirmative determination is made in step 246 or step 250, it is determined that there is a defect, the process proceeds to step 252, the injection valve 38A of the air nozzle 38 is opened, and the black soybean 18 is blown off to the defective target opening 28A. Return to.

次に、図10のフローチャートに従い、図9のステップ218における「へそ」判別制御ルーチンについて説明する。   Next, the “navel” determination control routine in step 218 of FIG. 9 will be described according to the flowchart of FIG.

ステップ260では1ラインの走査画像データの中から豆粒画像データを抽出し、次いでステップ262へ移行して一次微分演算を実行して、ステップ264へ移行する。   In step 260, the bean image data is extracted from the scanned image data of one line, and then the process proceeds to step 262 to execute the primary differential operation, and the process proceeds to step 264.

ステップ264では、豆粒単位で所定以上の変化量が連続する急傾斜領域を抽出し、次いでステップ266において、濃度に応じた山を作成する。この場合、極大点側が最低濃度となる。   In step 264, a steeply inclined region in which a change amount equal to or larger than a predetermined value is extracted in units of beans is extracted, and then in step 266, a mountain corresponding to the concentration is created. In this case, the maximum point side is the minimum density.

次のステップ268では、作成された山が複数あるか否かが判断され、否定判定されると、「へそ」ではないと判断され、ステップ270へ移行して「ヘソ」フラグをOFFとしてこのルーチンは終了する。   In the next step 268, it is determined whether or not there are a plurality of created mountains. If a negative determination is made, it is determined that it is not “navel”, the process proceeds to step 270, and the “navel” flag is turned OFF. Ends.

また、ステップ268で肯定判定されると、ステップ272へ移行して隣接する山同士の距離(間隔)の比が所定範囲内にあるか否かが判断される。このステップ272において否定判定されると、「へそ」ではないと判断され、ステップ270へ移行して「へそ」フラグをOFFとしてこのルーチンは終了する。   If the determination in step 268 is affirmative, the process proceeds to step 272, where it is determined whether or not the ratio of the distances (intervals) between adjacent mountains is within a predetermined range. If a negative determination is made in this step 272, it is determined that it is not “navel”, the process proceeds to step 270, the “navel” flag is turned OFF, and this routine ends.

また、ステップ272で肯定判定されると、「へそ」であると判断され、ステップ274へ移行してへそフラグをONしてこのルーチンは終了する。   If an affirmative determination is made in step 272, it is determined that it is a "navel", the process proceeds to step 274, the navel flag is turned on, and this routine ends.

上記の図10のフローチャートに即した具体例を示すと、1ラインの走査による黒大豆18の幅に相当する画像データを約250ピクセルとし、この画素配列に対して、まず一次微分演算を実行する(5画素ピッチの変化量)。   In a specific example in accordance with the flowchart of FIG. 10, the image data corresponding to the width of the black soybean 18 obtained by scanning one line is set to about 250 pixels, and first-order differential calculation is performed on this pixel array. (Change amount of 5 pixel pitch).

その後、演算された微分値(絶対値)が所定以上連続するものを抽出する。このとき、所謂右肩上がりの領域と右肩下がりの領域とでペアとなり、1ペア、或いは複数ペア存在する結果となる。   After that, a sample in which the calculated differential value (absolute value) continues for a predetermined number or more is extracted. At this time, a so-called right-up shoulder region and a right-down shoulder region are paired, resulting in the presence of one pair or multiple pairs.

ここで、複数ペア存在したときに、濃度の変化の山が複数存在すると判断し、当該隣接する山同士の距離(間隔)が所定の範囲である場合、「へそ」であると判別している。この「ヘソ」を判別した場合には、へそフラグをONにしている。   Here, when there are a plurality of pairs, it is determined that there are a plurality of mountains having density changes, and when the distance (interval) between the adjacent mountains is within a predetermined range, it is determined that it is a “navel”. . If this “navel” is determined, the navel flag is turned on.

なお、図11は参考図であり、図10のフローチャートで示した制御の流れに沿う、実装アルゴリズムを示すフローチャートである。   FIG. 11 is a reference diagram, and is a flowchart showing an implementation algorithm along the control flow shown in the flowchart of FIG.

この図11において、AAで指標した各ステップが大きな変化量が連続する部分を抽出するアルゴリズム、BBで指標した各ステップが濃度差による山を検出するアルゴリズム、CCで指標した各ステップが隣接する山の幅の比に基づいて、「へそ」の有無を判別するアルゴリズムである。   In FIG. 11, an algorithm for extracting a portion where each step indexed by AA has a large change amount is extracted, an algorithm for detecting a peak due to a density difference by each step indexed by BB, and a mountain adjacent to each step indexed by CC This is an algorithm for determining the presence or absence of a “navel” based on the ratio of the widths.

以上説明したように本実施の形態では、従来の濃度値のレベル判定では、判別できなかった「裂皮」と「へそ」とを明確に判別するため、濃度値のレベル判定に加え、濃度差に応じた山の数、並びに隣り合う山の幅の比に基づいて、「へそ」を特定するようにした。このため、「へそ」であるのに「裂皮」と誤判別することを回避することができる。判別効率、かつ判別精度を向上することができる。   As described above, in the present embodiment, in order to clearly discriminate between “crack” and “navel” that could not be discriminated by the conventional density value level judgment, in addition to the density value level judgment, the density difference The “navel” is specified based on the number of mountains according to the ratio and the ratio of the widths of adjacent mountains. For this reason, it is possible to avoid misidentifying it as “fissure” even though it is “navel”. The discrimination efficiency and the discrimination accuracy can be improved.

本実施の形態に係る豆粒判別装置の概略構成図である。It is a schematic block diagram of the bean grain discrimination | determination apparatus which concerns on this Embodiment. 本実施の形態に係る豆粒判別装置の主要部の拡大図である。It is an enlarged view of the principal part of the bean grain discrimination | determination apparatus which concerns on this Embodiment. ロータリーバルブの斜視図である。It is a perspective view of a rotary valve. 豆粒としての黒大豆の正面図であり、(A)は整粒、(B)は内皮付着不良、(C)は裂皮不良を示す。It is a front view of the black soybean as a bean grain, (A) is sized, (B) is poor endothelium adhesion, (C) shows poor tear. 内皮不良の判別アルゴリズムを示すチャートである。It is a chart which shows the discrimination algorithm of endothelial defect. 扁平(縦横比)不良の判別アルゴリズムを示すチャートである。It is a chart which shows the discrimination algorithm of flat (aspect ratio) defect. 「裂皮」と「へそ」を区別するアルゴリズムを示すチャート図である。It is a chart figure which shows the algorithm which distinguishes "a cleft" and a "navel". コントローラにおける豆粒良否判定アルゴリズムに従って実行される制御の機能ブロック図である。It is a functional block diagram of the control performed according to the bean grain pass / fail judgment algorithm in the controller. コントローラに記憶されている制御プログラムに基づく処理の流れ(アルゴリズム)を示すフローチャートである。It is a flowchart which shows the flow (algorithm) based on the control program memorize | stored in the controller. 図9のステップ218のサブルーチンを示す制御フローチャートである。It is a control flowchart which shows the subroutine of step 218 of FIG. 図10の処理をコントローラに実装するときの実装フローチャートである。FIG. 11 is a mounting flowchart for mounting the processing of FIG. 10 on a controller. FIG.

符号の説明Explanation of symbols

10 豆粒選別装置
12 ロータリーバルブ
14 溝
16 仕切り壁
18 豆粒(黒大豆)
20 豆収容部
22 マーカー
24 振動フィーダーユニット
26 撮像ユニット
26A CCDラインセンサ(撮像手段)
26B 光学系
28 選別排出部
28A 不良品ターゲット開口部
28B 良品ターゲット開口部
30 ホッパ部
32 整列テーブル
34 コントローラ
38 エアノズル
38A 噴射弁
40 回転位置検出センサ
42 操作盤
42A 運転スイッチ
42B 停止スイッチ
42C メイン電源スイッチ
42D モニタ
100 電源管理部
102 起動制御部
104 エアコンプレッサ
106 主制御部
108 振動フィーダー駆動制御部
110 ロータリーバルブ駆動制御部
112 撮像制御部
114 振動源
115 噴射ソレノイド
116 駆動モータ
118 マーカー検出センサ
120 画像解析部(分類手段、判別手段、特定手段)
122 エアノズル駆動制御部(分別手段)
10 Bean Grain Sorting Device 12 Rotary Valve 14 Groove 16 Partition Wall 18 Bean Grain (Black Soybean)
20 Bean container 22 Marker 24 Vibrating feeder unit 26 Imaging unit 26A CCD line sensor (imaging means)
26B Optical system 28 Sorting and discharging section 28A Defective target opening 28B Non-defective target opening 30 Hopper section 32 Alignment table 34 Controller 38 Air nozzle 38A Injection valve 40 Rotation position detection sensor 42 Operation panel 42A Operation switch 42B Stop switch 42C Main power switch 42D Monitor 100 Power management unit 102 Start control unit 104 Air compressor 106 Main control unit 108 Vibration feeder drive control unit 110 Rotary valve drive control unit 112 Imaging control unit 114 Vibration source 115 Injection solenoid 116 Drive motor 118 Marker detection sensor 120 Image analysis unit ( Classification means, discrimination means, identification means)
122 Air nozzle drive control unit (sorting means)

Claims (4)

豆粒の表面の画像データの濃度差に基づいて、通常豆粒濃度部位とは濃度値が異なる特別豆粒濃度部位を選別し、
前記特別豆粒濃度部位の濃度値の連続性に基づいて、同一濃度範囲に属するも、豆粒育成のための養分を取り込む「へそ」とは区別して、表皮が破裂した「裂皮」が存在する裂皮不良の有無を判別することを特徴とする豆粒良否判別方法。
Based on the density difference of the image data on the surface of the bean grain, a special bean density part having a density value different from the normal bean grain density part is selected,
Based on the continuity of the concentration value of the special bean grain concentration site, a crack that belongs to the same concentration range but has a “crack” in which the epidermis ruptures is distinguished from a “navel” that takes in nutrients for growing bean grains. A method for determining whether a bean grain is good or bad, wherein the presence or absence of defective skin is determined.
前記特別豆粒濃度部位の濃度値の変化量から所定の濃度値が連続する距離(間隔)を演算し、
前記距離(間隔)が所定以上連続する場合に、前記「裂皮」に起因した特別豆粒濃度であると判別し、
前記連続する距離(間隔)が所定未満の特別豆粒濃度部位が断続的に複数個存在し、かつ、隣り合う特別豆粒濃度部位同士の濃度における距離(間隔)の比が、所定の範囲内である場合に、「へそ」と判別することを特徴とする請求項1記載の豆粒良否判別方法。
Calculate the distance (interval) that the predetermined concentration value continues from the amount of change in the concentration value of the special bean grain concentration site,
When the distance (interval) is continuous for a predetermined distance or more, it is determined that the concentration is a special bean grain concentration caused by the “crack”,
There are intermittently a plurality of special bean concentration sites where the continuous distance (interval) is less than a predetermined value, and the ratio of the distances (intervals) in the concentration between adjacent special bean concentration sites is within a predetermined range. In this case, the bean quality determination method according to claim 1, wherein the determination is made as “navel”.
豆粒の表面の画像データの濃度差に基づいて豆粒の外郭を検出してその外郭における最大縦寸法と最大横寸法との比に基づいて扁平不良の有無を判別すること、並びに、豆粒の表面の画像データの濃度差に基づいて内皮付着不良の有無を判別することを、併せて実行する特徴とする請求項1又は請求項2記載の豆粒良否判別方法。   Detecting the outline of the bean grain based on the density difference of the image data on the surface of the bean grain, determining the presence or absence of flatness based on the ratio of the maximum vertical dimension and the maximum horizontal dimension in the outline, and the surface of the bean grain 3. The bean quality determination method according to claim 1, wherein the determination of the presence / absence of poor endothelial adhesion based on the density difference of the image data is also executed. 表面に育成のための養分を取り入れるための「へそ」が露出し、所定の濃度範囲の表皮に包まれた豆粒を対象として、特に前記表皮に関わる良否を判別して、分別する豆粒選別装置であって、
前記豆粒の表面を走査して撮像することを、走査方向に直交する方向に相対移動しながら、複数回実行する撮像手段と、
前記撮像手段により撮像した画像データを解析して、通常表皮濃度部位と、当該通常表皮濃度部位に対して所定の濃度差を持つ特別表皮濃度部位とに分類する分類手段と、
前記分類手段で分類された特別表示濃度部位の内、前記走査方向に断続し、かつ隣合う部位同士の距離(間隔)の比が、所定範囲に属するか否かを判別する判別手段と、
前記判別手段で肯定されたことで、当該特別表皮濃度部位を含む豆粒に、前記「へそ」が存在することを特定すると共に、否定判定されたことで、当該特別表皮濃度部位を含む豆粒に、表皮が破裂した「裂皮」が存在することを特定する特定手段と、
少なくとも特定手段で特定された「裂皮」のある豆粒を含み、前記撮像手段で撮像した画像データの解析結果に基づいて抽出されたその他の項目の不良品を分別する分別手段と、
を有する豆粒選別装置。
A bean sorting device that exposes the “navel” for incorporating nutrients for growth on the surface, and determines the quality of the bean grains that are wrapped in the epidermis of a predetermined concentration range. There,
An imager that scans and images the surface of the beans, and performs a plurality of times while relatively moving in a direction orthogonal to the scanning direction;
Analyzing the image data captured by the imaging means, classifying means for classifying the normal epidermal concentration site and the special epidermal concentration site having a predetermined density difference with respect to the normal epidermal concentration site,
A discriminating means for discriminating whether or not the ratio of the distances (intervals) between adjacent parts that are intermittent in the scanning direction among the special display density parts classified by the classifying means belongs to a predetermined range;
By being affirmed by the determination means, the bean grains containing the special epidermis concentration part are specified to have the “navel”, and the negative judgment is made, to the bean grain containing the special epidermis concentration part, A specific means for identifying the presence of a “crack” in which the epidermis has ruptured;
Sorting means for separating defective products of other items including at least beans with “crack” identified by the identifying means and extracted based on the analysis result of the image data imaged by the imaging means;
A bean grain sorting device.
JP2007067313A 2007-03-15 2007-03-15 Bean grain quality determination method and bean grain sorting device Expired - Fee Related JP4904500B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007067313A JP4904500B2 (en) 2007-03-15 2007-03-15 Bean grain quality determination method and bean grain sorting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007067313A JP4904500B2 (en) 2007-03-15 2007-03-15 Bean grain quality determination method and bean grain sorting device

Publications (2)

Publication Number Publication Date
JP2008224619A true JP2008224619A (en) 2008-09-25
JP4904500B2 JP4904500B2 (en) 2012-03-28

Family

ID=39843405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007067313A Expired - Fee Related JP4904500B2 (en) 2007-03-15 2007-03-15 Bean grain quality determination method and bean grain sorting device

Country Status (1)

Country Link
JP (1) JP4904500B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020003423A (en) * 2018-06-29 2020-01-09 インダストリーネットワーク株式会社 System for evaluating quality of seed and selecting seeds

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020003423A (en) * 2018-06-29 2020-01-09 インダストリーネットワーク株式会社 System for evaluating quality of seed and selecting seeds
JP7072802B2 (en) 2018-06-29 2022-05-23 インダストリーネットワーク株式会社 Seed quality evaluation / sorting system

Also Published As

Publication number Publication date
JP4904500B2 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
EP2586873B1 (en) Methods and devices for detecting a microbial colony
US7968814B2 (en) Optical grain sorter
US7127099B2 (en) Image searching defect detector
JP4254347B2 (en) Method and apparatus for detecting foreign matter in liquid in container
JP6590907B2 (en) Fruit sorting system, fruit sorting device, and fruit sorting method
US7298870B2 (en) Granule color sorting apparatus with display control device
CN102529019B (en) Method for mould detection and protection as well as part detection and picking
JP6490365B2 (en) MICROBIOLOGICAL TEST DEVICE VERIFICATION METHOD, MICROBIOLOGICAL TEST DEVICE VERIFICATION DEVICE AND PROGRAM
JPH04240510A (en) Discriminating method of defect
TWI802780B (en) Conveying management system and conveying device
CN116908212B (en) Battery cell blue film appearance defect detection method and system based on feature extraction
WO2006028571B1 (en) Method for visual inspection of printed matter on moving lids
CN114226262A (en) Flaw detection method, flaw classification method and flaw detection system
JP4904500B2 (en) Bean grain quality determination method and bean grain sorting device
CN116441190A (en) Longan detection system, method, equipment and storage medium
JP2002022671A (en) Apparatus and method for inspecting inner wall surface of cylinder
JPH08334478A (en) Seal inspection system
JPH08206611A (en) Optical sorting method of bulk material
JP2008517285A (en) How to analyze and sort eggs
KR100691433B1 (en) Electronic part vision inspection method
JP2004361333A (en) Device for determining state of granular specimen
Niskanen et al. Experiments with SOM based inspection of wood
CN114839197A (en) Rice damage detection device and detection method
JP4829542B2 (en) Film inspection apparatus and film inspection method
JP3410675B2 (en) Flaw direction discrimination system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees