JP2007136430A - Method and apparatus for selecting dried sardine - Google Patents

Method and apparatus for selecting dried sardine Download PDF

Info

Publication number
JP2007136430A
JP2007136430A JP2005337528A JP2005337528A JP2007136430A JP 2007136430 A JP2007136430 A JP 2007136430A JP 2005337528 A JP2005337528 A JP 2005337528A JP 2005337528 A JP2005337528 A JP 2005337528A JP 2007136430 A JP2007136430 A JP 2007136430A
Authority
JP
Japan
Prior art keywords
sorted
belt
materials
image
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005337528A
Other languages
Japanese (ja)
Other versions
JP4812083B2 (en
Inventor
Fumiaki Takeda
史章 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kochi University of Technology
Original Assignee
Kochi University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kochi University of Technology filed Critical Kochi University of Technology
Priority to JP2005337528A priority Critical patent/JP4812083B2/en
Publication of JP2007136430A publication Critical patent/JP2007136430A/en
Application granted granted Critical
Publication of JP4812083B2 publication Critical patent/JP4812083B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Sorting Of Articles (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and an apparatus for selecting a plurality of kinds of object material to be selected such as dried sardine efficiently according to the kinds within a short time with no need of manual work or without damaging or breaking the object material to be selected at the time of selection. <P>SOLUTION: The apparatus comprises belt conveyers 12 to 17 on which the object material to be selected is arranged adjacently, a first sensor 21 for detecting existence of the object material to be selected, a second sensor 22 for detecting that the object material to be selected reaches the uppermost position, a separation apparatus 1 for separating the object material to be selected into one or more groups of the object material including a plurality of types, and an identification means for identifying the fish type of the dried sardine by inputting the images in an image frame as color images in a PC. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、例えば魚種の異なる複数種の小魚からなる「いりこ(煮干し)」を、同一魚種のいりこごとに選別したり選別対象以外の異魚種や雑種を排除したりするための選別方法とその装置に関するもので、被選別材は「いりこ」に限らず、「種子」、「鮮魚」、「青果物」などがある。   This invention is for, for example, selecting “Iriko (boiled and dried)” consisting of a plurality of small fish of different fish types for each of the same fish species and removing different fish species and hybrids other than the selection target. The sorting material is not limited to “iriko”, but includes “seed”, “fresh fish”, “fruits and vegetables”, and the like.

いりこの選別作業は、水揚げされ、塩ゆでされたのち、乾燥して半乾き状態の「いりこ」を篩機にかけて大きさで分類したのち、分類済みの「いりこ」を大きさ順に選別台上に投入し、そこで手作業により同一種類ごとに選別している。いりこには、周知のように、真鰯、潤目鰯、片口鰯、黍魚子(きびなご)、ほおたれ鰯などの複数の魚種(図4(a)参照)がある。   In the iriko sorting process, after landing, boiled and salted, the dried and semi-dried "Iriko" is classified by size through a sieve, and the sorted "Iriko" is placed on the sorting table in order of size. Therefore, the same type is selected manually. As is well known, Iriko has a plurality of fish species (see FIG. 4 (a)), such as red sea bream, junme sea bream, single-mouthed sea bream, sea bream fish and fire bream.

しかし、いりこの人手による選別には、熟練を要するために5〜7年の経験が必要であり、しかも作業に時間が掛かっており、作業が長時間に及び重労働である。また、後継者の育成にも長期間を有することから、作業人員の不足を招いている。さらに、いりこの選別が正確に行われず、異なる魚種が混在したり雑魚が混在したりする場合、いりこの商品価値が著しく低下する。加えて、人手による作業の場合でも、選別前のいりこにあっては、通常、幾層にも積み重なったうえに絡み合った状態(ビン状態)であるため、1匹ずつ傷つけないよう分離したり取り出したりすることが難しい。   However, the manual selection requires 5-7 years of experience because it requires skill, and the work takes time, and the work takes a long time and heavy labor. Moreover, since it has a long period of time to train successors, it leads to a shortage of workers. Furthermore, when the selection is not performed accurately and different fish species are mixed or small fish are mixed, the value of the product is significantly reduced. In addition, even in the case of manual work, the squirrel before sorting is usually piled up in layers and intertwined (bin state), so it is separated and taken out so as not to damage one by one. It is difficult to do.

そこで、本発明は「いりこ」などの複数の種類からなる被選別材を、人手を使用せずに同一種類の被選別材ごとに効率よく、短時間で、しかも選別時に被選別材を傷めたり、崩したりせずに選別する方法と選別する装置を提供することを課題としている。   Therefore, the present invention can efficiently sort the materials to be sorted of multiple types such as “Iriko” for each material of the same type without using humans, in a short time, and damage the materials to be sorted at the time of sorting. It is an object of the present invention to provide a sorting method and a sorting device without breaking down.

上記の課題を解決するために本発明に係るいりこ等の選別方法は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第1のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも1つの被選別材が最上位置に達し第2のベルトコンベヤのベルト上に落下すると、前記第1のベルトの走行を中止し、第2のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも1つの被選別材が最上位置へ達し第3のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第1のベルトコンベヤのベルトおよび第3のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第3のベルトコンベヤ、望ましくは第5以降のベルトコンベヤまで繰り返し行って被選別材群を1つもしくは2つ以上の被選別材に分離する工程と、1つもしくは2つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、2つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、前記分離工程で分離された被選別材が1つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、2次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が2つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、この2値化画像において8−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の1つの被選別材を抽出する工程、2次元高速フーリエ変換(以下、2DFFTともいう)を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する工程とからなることを特徴とする。
In order to solve the above-mentioned problems, the method for sorting iriko etc. according to the present invention sorts a group of materials to be sorted in which a plurality of types of “iriko” etc. are mixed for the same type or excludes different types other than the selection target. A plurality of types of materials to be selected on the belt of the first belt conveyor among a plurality of belt conveyors that are inclined upward in the traveling direction and arranged in series so as to be transportable in order. The group is placed to start running the belt. When at least one material to be sorted reaches the uppermost position and falls on the belt of the second belt conveyor, the running of the first belt is stopped, and the second belt When the belt of the belt conveyor starts to run, and when at least one material to be sorted that has fallen on the belt reaches the uppermost position and falls on the belt of the third belt conveyor, the running of the belt is stopped, and the first belt Bertoco The operation of starting the traveling of the belt of the Bayer belt and the belt of the third belt conveyor is repeated until at least the third belt conveyor, preferably the fifth and subsequent belt conveyors, so that one or more materials to be selected are selected. When it is determined in the identification step described later that the material to be sorted and the material to be sorted separated into one or two or more are sorted in the identification step described later, while sorting to the sorting box corresponding to the type, When it is determined in the identification step described later that the materials to be separated separated into two or more are different types, the step of circulating to the separation step and the material to be separated separated in the separation step are The binarized image obtained by photographing the material to be sorted with a camera at a preset threshold value is subjected to frequency analysis processing using a two-dimensional fast Fourier transform. The template for each class composed of hierarchical neural network with a multilayer structure capable nonlinear identification, step or identify the type of the selected material from the binarized image by performing the matching processing using the non-linear template,
When there are two or more materials to be sorted separated in the separation step, an image obtained by photographing the material to be sorted with a camera is binarized with a preset threshold value, and 8-near contraction in the binarized image. After performing the processing, the labeling process is used to assign a label number to the part to be selected, and the center position in the label area is obtained, and one piece of the target material in the image is extracted using this center position information. A multi-layered hierarchical neural network capable of nonlinearly identifying a template for each type of material to be selected, and a step of performing frequency analysis using a two-dimensional fast Fourier transform (hereinafter also referred to as 2D FFT). And a step of identifying the type of the material to be sorted from the binarized image by performing a matching process using a non-linear template.

上記の構成を有する本発明のいりこ等の選別方法によれば、最初に多数のいりこ群などの被選別材群を1つ〜2つかつ3つ程度に分離したのちに被選別材の種類を識別するので、ビン状に絡まり易い被選別材を分離し、識別すべき被選別材の個数を最小限に減らせて識別を容易に且つ識別時間を短縮できる。また、分離後に被選別材が接近した状態でも、8−近傍収縮処理を行って抽出するので、識別を確実に行える。さらに、2次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られる。そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。   According to the screening method of the present invention having the above-described configuration, first, after separating a group of materials to be sorted, such as a large number of groups of irises, into one to two and about three, the type of the material to be sorted is changed. Since the materials to be sorted are separated, the materials to be sorted easily separated into bins can be separated, and the number of materials to be classified to be identified can be reduced to the minimum, so that the identification can be performed easily and the identification time can be shortened. Further, even when the material to be sorted approaches after separation, the 8-neighbor contraction process is performed for extraction, so that the identification can be performed reliably. Furthermore, the input image data is converted into frequency components by two-dimensional fast Fourier transform, and the feature points of the image data can be easily grasped, so that information that is invariant to the displacement and rotation of the material to be sorted can be obtained. It is done. In addition, since the type of the material to be sorted is discriminated by the neural network, it is possible to correctly discriminate even a natural object, such as a natural object, which is easily affected by fluctuations in input information due to a certain shape, hue pattern fluctuation, and the like.

上記の課題を解決するために本発明に係るいりこ等の選別装置(請求項2)は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第1センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第2センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を1もしくは2以上の被選別材に分離する装置と、1つもしくは2つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、2つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、前記分離する手段で分離された被選別材が1つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、2次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する手段および前記分離工程で分離された被選別材が2つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、この2値化画像において8−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の1つの被選別材を抽出する手段、2次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する手段とを備えることを特徴とする。   In order to solve the above-described problems, the sorting apparatus for irises and the like according to the present invention (Claim 2) sorts a group of materials to be sorted in which a plurality of types of “irico” and the like are mixed for the same type or other than the selection target. A first sensor for inclining upward along the traveling direction, detecting the presence or absence of a material to be sorted placed on the belt, and starting the traveling of the belt A plurality of belt conveyors, each having a second sensor that detects whether the material to be sorted on the belt has reached the uppermost position and stops the belt travel or reverses the belt after stopping. A device for separating a plurality of types of materials to be sorted, in which materials to be sorted are arranged adjacent to each other so as to be transferable between belts, and a material separated into one or more materials. Sorting material is the same type When discriminated by the discriminating means described later, the sorting device sorts the sorting box corresponding to the type, and when the discriminating means discriminating the after-mentioned discriminates that the materials to be separated into two or more types are different, When there is one sorting means for circulating the group of materials to be sorted at the entrance and one material to be separated separated by the separating means, an image obtained by photographing the material to be sorted with a camera is set to 2 at a preset threshold value. A frequency analysis process is performed using two-dimensional Fast Fourier Transform, and a template for each type of material to be sorted is composed of a multi-layer hierarchical neural network capable of nonlinear identification, and a nonlinear template is used. Means for discriminating the type of material to be sorted from the binarized image by performing matching processing and two or more materials to be sorted separated in the separation step The binarized image obtained by photographing the material to be sorted by a camera with a preset threshold value, and after performing 8-neighbor contraction processing on the binarized image, label the material to be sorted using a labeling process. A number is assigned, a center position in the label area is obtained, one sort material in the image is extracted using the center position information, a frequency analysis process means using two-dimensional fast Fourier transform, A template for each type of material to be sorted is composed of a hierarchical neural network having a multi-layer structure capable of nonlinear identification, and matching processing using the nonlinear template is performed to obtain the material to be sorted from the binarized image. And a means for identifying the type.

上記の構成を有するいりこ等の選別装置によれば、請求項1に記載の選別方法を実施でき、しかも同選別方法について上記に記載の作用効果と同様の作用効果を奏するほか、複数台のベルトコンベヤを組み合わせて分離するので、装置の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させることができる。   According to the sorting apparatus such as Iriko having the above-described configuration, the sorting method according to claim 1 can be performed, and the same sorting method as the above-described working effect can be obtained. Since the conveyors are separated in combination, the structure of the apparatus is relatively simple, and even those that are easily damaged during separation can be reliably separated with minimal damage.

また、上記の課題を解決するために本発明に係るいりこ等の選別装置(請求項3)は、被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第1センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第2センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を1または2以上の被選別材に分離する分離装置と、前記分離装置で分離された被選別材を撮影するカメラと、前記カメラにより撮影した画像フレーム内に被選別材が1の場合および被選別材が2以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、前記カメラにより撮影した画像フレーム内に被選別材が2以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて2値化を行い、モノクロ画像に変換したのち、8近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア(bilnear)法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて2値化し、背景を黒で塗りつぶし、2次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する手段とを備えることを特徴とする。   Further, in order to solve the above-mentioned problems, a sorting apparatus such as an iriko according to the present invention (Claim 3) includes a plurality of belt conveyors inclined upward and arranged adjacently so that materials to be sorted can be sequentially transferred, A first sensor that senses the presence or absence of a material to be sorted on the lower part of the belt of the belt conveyor and instructs the start of rotation of the belt when the material to be sorted is detected, and the material to be sorted on the belt of each belt conveyor reaches the uppermost position. And a second sensor for instructing to stop the rotation of the belt when it is detected, and separating a plurality of types of materials to be sorted into one or two or more materials to be sorted in a confused state or intertwined in bulk An apparatus, a camera for photographing a material to be sorted separated by the separation device, and a case where the material to be sorted is 1 in the image frame photographed by the camera; When all the materials to be sorted are determined to be of the same type by the discriminating means, there are 2 means for sorting the materials to be sorted into corresponding types of sorting boxes, and 2 materials to be sorted in the image frame photographed by the camera. When it is determined that the material to be sorted is of a different type by the following determination means, the recirculation means for returning to the separation device, the image in the image frame is captured as a color image in a personal computer, and the threshold value is set. Use binarization to convert to a monochrome image, then perform 8-neighbor contraction processing, perform labeling, then find the center position, reduce it using the billnea method, cut out, cut out The binarized image is binarized using a threshold value that can distinguish the material to be sorted from the background, the background is filled with black, and the monochrome image is converted using a two-dimensional fast Fourier transform. Calculate the wave number component, block the frequency component concentrically, normalize the sum of the blocks with the same number, and calculate the value to be input to the neural network. Means for inputting to a neural network and identifying the type of the material to be sorted.

上記の構成を有するいりこ等の選別装置によれば、上記請求項2に記載の選別装置とほぼ同様の作用効果がある。   According to the sorting apparatus such as the litter having the above-described configuration, there are substantially the same effects as the sorting apparatus according to the second aspect.

本発明に係るいりこ等の選別方法と同装置には、次のような優れた効果がある。すなわち、
・従来、人手で行われているいりこなどの選別作業を機械(システム)化して効率よく短時間で確実に行え、作業の省力化と高精度化を図れ、雑魚や異魚種の混入が起こりにくく商品価値を向上できる。
The sorting method for the sardine according to the present invention and the apparatus have the following excellent effects. That is,
-Conventionally, the manual sorting work such as sardines can be performed efficiently and reliably in a short time, labor saving and high accuracy can be achieved, and mixed fish and different fish species can be mixed. It is difficult to improve product value.

・分離後に被選別材が接近した状態でも、8−近傍収縮処理を行って抽出するので、識別を確実に行える。   -Even when the material to be sorted approaches after separation, the extraction is performed by performing the 8-neighbor contraction process, so that the identification can be performed reliably.

・2次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られ、そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。   ・ By converting the input image data into frequency components by two-dimensional fast Fourier transform so that the feature points of the image data can be easily grasped, it is possible to obtain information that is invariant to displacement and rotation of the material to be selected. In addition, since the type of material to be sorted is determined by a neural network, it can be correctly identified even if it is a natural object such as a natural object and is susceptible to fluctuations in input information due to variations in shape, shade pattern, etc. .

・複数台のベルトコンベヤを組み合わせて分離するので、相違の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させられる。   ・ Since a plurality of belt conveyors are combined and separated, the structure of the difference is relatively simple, and even those that are easily damaged during separation can be reliably separated with minimal damage.

以下、本発明に係るいりこ等の選別装置と選別方法について実施の形態を図面に基づいて説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of a sorting apparatus and a sorting method, such as a sardine, according to the present invention will be described with reference to the drawings.

図1は被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。図2(a)は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図2(b)は1台のベルトコンベヤを拡大して示す側面図である。   FIG. 1 is a flowchart showing an embodiment of a sorting method when the material to be sorted is Iriko. FIG. 2 (a) is a side view showing an iroko separating device as one component of the sorting device, and FIG. 2 (b) is an enlarged side view showing one belt conveyor.

本実施例では、図4(a)に示すように真鰯、潤目鰯、片口鰯、黍魚子(きびなご)およびほおたれ鰯の5種類のいりこを選別対象とする。   In this embodiment, as shown in FIG. 4 (a), five kinds of sardines are selected as a selection target, such as true sardines, junme sushi, single-mouthed swords, sea bream fish and fire bream.

そこで、図1に示すように、
1)選別対象のいりこを目視にて同一魚種ごとに複数匹(例えば、10匹)ずつ選んだのち、同一魚種のいりこごとに、USB接続のデジタルカメラで撮影し、画像データによる魚種パターンをニューラルネットワーク(以下、NNという)に入力して学習登録する。
Therefore, as shown in FIG.
1) After visually selecting the squid to be selected for each fish species (for example, 10) for each fish species, the fish species are photographed with a USB-connected digital camera for each fish species of the same fish species. A pattern is input to a neural network (hereinafter referred to as NN) and registered for learning.

本実施例に係る選別装置1は識別手段10を備えており、その識別手段10はいりこの全体形状、色合いおよび側線パターンに基づき魚種を判別するテンプレートをNNで構成し、非線形テンプレートを用いたマッチング処理を行う。NNの構造は、非線形識別が可能な最小構成の3層構造の階層型とする。いりこは形状が安定しないので、最終的には色合いおよび側線パターンが一致すれば、魚種が同一であると判別する。また、NNの構成法については、出力層に選別パターンに対し目的ユニット(例えば、真鰯にのみ反応するユニット)と目的外ユニット(例えば、真鰯以外に反応するユニット)の2つを設定し、反応値の大小関係で最終判定を実施するものとする。具体的には、真鰯のみに反応するユニットの反応値が真鰯以外に反応するユニットの反応値より大きければ、選別対象のいりこの魚種は真鰯であると判別される。   The sorting apparatus 1 according to the present embodiment includes an identification unit 10, and the identification unit 10 is configured by using NN as a template for discriminating fish species based on the overall shape, hue, and side line pattern of the iris, and matching using a nonlinear template. Process. The structure of the NN is assumed to be a three-layer structure having a minimum structure capable of nonlinear identification. Since the shape of iriko is not stable, if the color and the side line pattern finally match, it is determined that the fish species are the same. Regarding the NN configuration method, two types of target units (for example, a unit that reacts only to authenticity) and non-target units (for example, a unit that responds to other than authenticity) are set for the output pattern in the output layer. It is assumed that the final judgment is performed based on the magnitude relationship of values. Specifically, if the reaction value of the unit that reacts only to the true snapper is larger than the reaction value of the unit that reacts to anything other than the true snapper, it is determined that the fish species to be selected is the true snapper.

2)分離・選別対象としてのいりこ群Sをビン状態のまま、分離装置1(図2)へ投入する。   2) The sardine group S to be separated / sorted is put into the separating apparatus 1 (FIG. 2) in the bin state.

3)分離装置1を作動して、いりこを1匹ずつ若しくは2匹以上に分離する。   3) Operate the separation device 1 to separate the iriko into one or more animals.

4−1)2匹以上に分離されたいりこをデジタルカメラ3で撮影し、撮影された画像から1匹ずつのいりこを抽出する。   4-1) Take a picture of the swords separated into two or more animals with the digital camera 3, and extract each one of them from the photographed image.

4−2)分離あるいは抽出された1匹ずつのいりこを、後述するようにNNによって魚種を識別する。   4-2) Identify each fish species by NN as described later.

5)識別した結果、1匹若しくは同一魚種からなる2匹以上のいりこは、魚種に対応する選別(種類別)ボックスへ振り分ける。   5) As a result of the identification, one or two or more squirrels made of the same fish species are distributed to a selection (by type) box corresponding to the fish species.

6)識別した結果、異なる魚種からなる2匹以上のいりこを、上記2)の分離前のいりこ群Sへ戻すか、分離装置1の入り口へ再度投入するかし、いわゆる環流を行う。   6) As a result of the identification, two or more sardines made of different fish species are returned to the syllabus group S before separation in 2) above, or thrown back into the entrance of the separation device 1 to perform so-called reflux.

いりこの選別に際し、ビン状態の「いりこ」群から個々の魚種を特定するには、抽出処理が必要になる。また、抽出するには、いりこを分離する必要がある。このために開発した分離装置1は、図2に示すように、本例では、1台の搬送用リブ付き傾斜ベルトコンベヤ12と5台の分離用傾斜ベルトコンベヤ13〜17とから構成されている。各ベルトコンベヤ12〜17の駆動はそれぞれ独立させ、正転駆動・逆転駆動・停止の制御はマイコンボードで行うようにしている。搬送用ベルトコンベヤ12には、いりこ群Sを投入するためのホッパー18が配設され、ホッパー18にいりこ群Sを投入し、無端のリブ付きベルト12aの走行を開始すると、いりこ群Sが上方へ運ばれる。   At the time of sorting, the extraction process is required to identify individual fish species from the “Iriko” group in the bin state. Moreover, in order to extract, it is necessary to isolate | separate a sardine. The separating apparatus 1 developed for this purpose is composed of one inclined belt conveyor 12 with a conveying rib and five separating inclined belt conveyors 13 to 17, as shown in FIG. . The driving of the belt conveyors 12 to 17 is made independent, and the forward rotation driving, reverse rotation driving, and stop control are performed by a microcomputer board. The conveyor belt conveyor 12 is provided with a hopper 18 for feeding the iroko group S. When the irrig group S is introduced into the hopper 18 and the endless ribbed belt 12a starts to travel, the iriko group S moves upward. Carried to.

各分離用ベルトコンベヤ13〜17は、それぞれベルト13a〜17aの走行方向に向けやや上向きに傾斜しており、被搬送物(いりこ)Sを順番に隣接する次のベルトコンベヤのベルト上に移乗できるように一定の間隔を保って相互に平行に配列(縦列)されている。各分離用ベルトコンベヤ13〜17は搬送用ベルトコンベヤ12とともにDCモータ19により減速ギヤ20を介して無端ベルト13a〜17aを走行させる構造であるが、ベルト走行方向の中間位置と最上位置とにそれぞれ近赤外線センサ21・22が取り付けられている。中間位置の第1センサ21は無端ベルト上の下端に向けられ、無端ベルト上のいりこを感知すると、DCモータ19を駆動して無端ベルト13aの走行(回転)を開始させる。一方、最上位置の第2センサ22はいりこを感知すると、無端ベルト13aの走行を停止させる。例えば、搬送用ベルトコンベヤ12のベルト12aの最上位置から複数匹のいりこが落下して次のコンベヤベルト13aの下端部に乗り移ったと仮定する。乗り移った復数匹のいりこは、ベルト13aの走行に伴って上方へ移動する。そして、最上位置へ移動すると、第2センサ22により感知されてベルト13aの走行が停止し、1匹〜2・3匹のいりこが次のコンベヤベルト14のベルト14aの下端部上に落下する。以下、順にコンベヤベルト14、15、16のベルトが回転し、第5のコンベヤベルト17のベルト17a上にいりこが落下すると、ベルト17aが所定距離だけ走行し、いりこSがベルト17aの走行方向のほぼ中間位置まで移動する。   Each of the separation belt conveyors 13 to 17 is inclined slightly upward in the traveling direction of the belts 13a to 17a, and can transfer the object (iriko) S to the belt of the next adjacent belt conveyor. In this way, they are arranged in parallel (columns) at regular intervals. Each of the separation belt conveyors 13 to 17 has a structure in which the endless belts 13a to 17a are caused to travel together with the conveyor belt conveyor 12 by a DC motor 19 via a reduction gear 20, and are respectively arranged at an intermediate position and an uppermost position in the belt traveling direction. Near-infrared sensors 21 and 22 are attached. The first sensor 21 at the intermediate position is directed to the lower end on the endless belt. When the first sensor 21 is detected on the endless belt, the DC motor 19 is driven to start running (rotation) of the endless belt 13a. On the other hand, when the second sensor 22 at the uppermost position senses an urine, it stops the travel of the endless belt 13a. For example, it is assumed that a plurality of dogs have dropped from the uppermost position of the belt 12a of the conveyor belt conveyor 12 and have moved to the lower end of the next conveyor belt 13a. The transferred number of irrigators move upward as the belt 13a travels. When the belt 13a is moved to the uppermost position, it is detected by the second sensor 22 and the running of the belt 13a is stopped. One to two or three dogs fall on the lower end of the belt 14a of the next conveyor belt 14. Hereinafter, when the belts of the conveyor belts 14, 15, and 16 are rotated in order, and the sword falls on the belt 17a of the fifth conveyor belt 17, the belt 17a travels a predetermined distance, and the sword S moves in the traveling direction of the belt 17a. Move to almost the middle position.

各無端ベルト12a〜17aはゴムなどの弾性体からなるために、いりこが落下しても損傷せず、またベルト走行時にいりこSが回転するのが防止される。相互に隣接するベルトコンベヤ12〜16は一方のベルトコンベヤ(例えば、13)でベルトの回転が停止すると、他方のベルトコンベヤ(たとえば、14)ではベルトの回転を開始するようにマイコンボードが制御するので、本例の5台のベルトコンベヤは1台おきにベルト12a〜16aが回転することになる。このようにして、多数匹のいりこ群Sは1匹〜2・3匹程度に分離された状態で第5のベルトコンベヤ17のベルト17a上に載置されることになる。   Since the endless belts 12a to 17a are made of an elastic body such as rubber, they are not damaged even if they are dropped, and the spine S is prevented from rotating during belt running. When the belt conveyors 12 to 16 adjacent to each other stop rotating on one belt conveyor (for example, 13), the microcomputer board controls the other belt conveyor (for example, 14) to start rotating the belt. Therefore, in the five belt conveyors of this example, the belts 12a to 16a rotate every other unit. In this way, a large number of sardine groups S are placed on the belt 17a of the fifth belt conveyor 17 in a state of being separated into about 1 to 2.3.

第5のベルトコンベヤ17の上方には、照明器具2およびデジタルカメラ3がレンズをベルトコンベヤ17のベルト17aの走行方向のほぼ中間位置に向けて配備されている。第5のベルトコンベヤ17では、センサ21がいりこの存在を感知すると、ベルト17aの回転を開始させるが、いりこが中間位置に来ると、ベルト17aの回転が停止する。そこで、ベルト17a上のいりこがデジタルカメラ3により撮影される。   Above the fifth belt conveyor 17, the luminaire 2 and the digital camera 3 are arranged with their lenses facing approximately the middle position in the running direction of the belt 17 a of the belt conveyor 17. In the fifth belt conveyor 17, the rotation of the belt 17a is started when the presence of the sensor 21 is detected by the sensor 21, but the rotation of the belt 17a is stopped when the slit is in the intermediate position. Therefore, the sword on the belt 17a is photographed by the digital camera 3.

撮影されたいりこの画像はパーソナルコンピュータ(以下、PCともいう)へ送られ、閾値により2値化され、背景を黒色とした白い画像に変換処理される。そして、変換処理された画像データをニューラルネットワーク(以下、NNという)の入力に適する数値に変換するために、2次元高速フーリエ変換(以下、2DFFTともいう)を用いて周波数解析処理し、その2次元データを同心円状にブロック化を行う。図3(f)に示す同一番号のブロックを加算平均化し、正規化を行い、入力層の各ユニット(以下、細胞またはニューロ素子ともいう)に入力するスラブ値とする。また、2DFFTから得られる成分の有効領域が64×64であるため、スラブ値は64個とする。   This image is sent to a personal computer (hereinafter also referred to as a PC), binarized by a threshold value, and converted into a white image with a black background. In order to convert the converted image data into a numerical value suitable for the input of a neural network (hereinafter referred to as NN), a frequency analysis process is performed using a two-dimensional fast Fourier transform (hereinafter also referred to as 2DFFT). Block dimension data concentrically. The blocks having the same numbers shown in FIG. 3F are averaged and normalized to obtain a slab value input to each unit (hereinafter also referred to as a cell or a neuro element) of the input layer. Since the effective area of the component obtained from 2DFFT is 64 × 64, the slab value is 64.

本例では、3階層構造の演算部は、入力層(64ニューロ素子)、隠れ層(35ニューロ素子)および出力層(5ニューロ素子)の3層からなっており、入力層では2DFFTから得られる成分の有効領域ごとに演算処理されたスラブ値を対応するニュ−ロ素子に入力する。隠れ層は、本例では35個のニュ−ロ素子からなり、入力層の情報を伝搬演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層のスラブ値の変動に対しても不変に各パタ−ンの各々に分離演算できる。出力層には、識別すべき「いりこ」の種類ごとに1対1にて対応するように5個のニュ−ロ素子が設けられている。そして、学習により完成したニュ−ロ素子間の重み係数による出力ニューロ素子値を出力ニューロ素子の数個分を算出する。   In this example, the arithmetic unit having a three-layer structure includes three layers of an input layer (64 neuro elements), a hidden layer (35 neuro elements), and an output layer (5 neuro elements), and the input layer is obtained from 2DFFT. The slab value calculated for each effective region of the component is input to the corresponding neuro element. In this example, the hidden layer is composed of 35 neuro elements, and plays a role of propagating the input layer information and transmitting it to the output layer. As the number of hidden layers increases, it is possible to perform the separation operation on each pattern without changing the slab value of the input layer. The output layer is provided with five neuro elements so as to correspond one-to-one for each type of “Iriko” to be identified. Then, the output neuro element values based on the weighting factor between the neuro elements completed by learning are calculated for several output neuro elements.

一部繰り返しになるが、NNを用いたいりこの魚種を識別(判別)する方法について、以下に詳しく説明する。   Although partially repeated, a method for identifying (determining) this fish species using NN will be described in detail below.

1) 本例では、USB接続のデジタルカメラによる撮影済みRGBカラー画像をPCに取り込む(図3(a))。   1) In this example, an RGB color image captured by a USB-connected digital camera is taken into a PC (FIG. 3A).

2) 閾値を用いて2値化を行い、モノクロ画像に変換する(図3(b))。   2) Binarization is performed using a threshold value and converted to a monochrome image (FIG. 3B).

(R×0.33+G×0.33+B×0.33)/3=X
3) 8近傍収縮処理(左右・上下・斜めの各近傍を収縮処理)を行い、重なった状態の被選別材(いりこ)を分離し、ラベリングを行う。続いて、中心位置を求めて128×128(2のn乗×2のn乗)にビルニア(bilnear)法を用いて縮小し、切り出しを行う(図3(c))。
(R × 0.33 + G × 0.33 + B × 0.33) / 3 = X
3) Perform 8-shrinkage treatment (shrinkage treatment in the left, right, up, down, and slant neighborhoods), separate the material to be sorted (Iriko) in the overlapping state, and perform labeling. Subsequently, the center position is obtained and reduced to 128 × 128 (2 to the power of 2 × 2 to the power of n) using the billier method (FIG. 3C).

4) 切り出した画像を、いりこと背景とを区別できる閾値を用いて2値化し、背景を黒(0×00)で塗りつぶす(図3(d))。   4) The cut-out image is binarized using a threshold value that can distinguish between the background and the background, and the background is filled with black (0 × 00) (FIG. 3D).

5) 下記の数式による2次元FFTを用いて、上記5)のモノクロ画像(128×
128pixel)の周波数成分を算出する(図3(e))。
5) Using the 2D FFT according to the following formula, the monochrome image (128 ×
128 pixel) frequency components are calculated (FIG. 3E).

6) 図3(f)に示すように配置された周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、NNへ入力する値を求める。   6) The frequency components arranged as shown in FIG. 3 (f) are concentrically blocked, and the values input to NN are normalized by adding and averaging the blocks having the same number. Ask.

例えば、図3(f)の「1」のところだけを加算して平均を取った値が、NNの入力要素の1つとなる。Σx(i)/12(i=1,2,…12)
その他の入力要素も同様な算出形式で、Σx(i)/M(i=1,2,…M) ただし、Mは同心円状の同じ番号の数
つまり、0・1・2・3・4・5・………62・63・64
こうして作成した入力値をNNへ入力し、いりこの魚種を識別する(図3(g))。
For example, a value obtained by adding only the points “1” in FIG. 3F and taking the average is one of the input elements of the NN. Σx (i) / 12 (i = 1,2,… 12)
Other input elements have the same calculation format, Σx (i) / M (i = 1,2, ... M) where M is the number of the same number of concentric circles, that is, 0, 1, 2, 3, 4, 5 .......... 62.63.64
The input value thus created is input to the NN, and the fish species are identified (FIG. 3 (g)).

ここで、識別手段10の基本構成についてさらに詳しく説明する。図5は識別手段10の基本構成を示す説明図である。図5中の各々のニューロテンプレートがいりこの魚種を個々に識別するものとなる。その識別過程はいりこの画像が前処理である2DFFTで処理され、NNへの入力値であるスラブ値が算出される。この場合は64個の値が入力される。次に、それぞれのニューロテンプレートにこの値が入力され、NNの前向き計算が実施される。個々のニューロテンプレートは個々のいりこの魚種を識別するかそれ以外という判断のみを実施する。たとえば、真鰯の画像が入力された場合、第1番目のニューロテンプレートiが真
鰯用であるとすると、このニューロテンプレートiの出力層のユニット(細胞)
には、真鰯を示すユニット(目的パターン)と、真鰯以外を示すユニット(目的外パターン)の2つのユニットが設定されている。
Here, the basic configuration of the identification unit 10 will be described in more detail. FIG. 5 is an explanatory diagram showing the basic configuration of the identification means 10. Each neuro template in FIG. 5 individually identifies this fish species. In this identification process, this image is processed by 2DFFT which is preprocessing, and a slab value which is an input value to the NN is calculated. In this case, 64 values are input. Next, this value is input to each neuro template, and NN forward calculation is performed. Individual neurotemplates only determine whether individual fish species are identified or otherwise. For example, when an image of authenticity is input, if the first neurotemplate i is for authenticity, the unit (cell) of the output layer of this neurotemplate i
There are two units, a unit indicating authenticity (target pattern) and a unit indicating non-authentic (non-target pattern).

したがって、目的とする正しい真鰯の画像を入力されたので、このニューロテンプレートiの出力層のユニットが下記の関係を示すことになる。   Therefore, since the correct image of the correct authenticity is inputted, the unit of the output layer of this neuro template i shows the following relationship.

出力ユニットの反応値(真鰯を示すユニット)> 出力ユニットの反応値(真鰯以外を示すユニット)………(1)
他のニューロテンプレートii〜vも同様に潤目鰯、片口鰯、黍魚子(きびなご)
およびほおたれ鰯など、それぞれを唯一識別する設定となっている。ただし、それ以外のニューロテンプレートにも同じ真鰯の画像を入力し、以下の関係を満たすかを確認する。
すなわち、
出力ユニットの反応値(潤目を示すユニット)< 出力ユニットの反応値(それ以外を示すユニット)……(2)
出力ユニットの反応値(片口を示すユニット)< 出力ユニットの反応値(それ以外を示すユニット)……(3)
出力ユニットの反応値(きびなごを示すユニット)< 出力ユニットの反応値(それ以外を示すユニット)……(4)
出力ユニットの反応値(ほうたれを示すユニット)< 出力ユニットの反応値(それ以外を示すユニット)……(5)
つまり、真鰯のニューロテンプレートiで真鰯であることを確認し、かつ、潤目
鰯、片口鰯、黍魚子(きびなご)およびほおたれ鰯を唯一識別するニューロテンプレートii〜vで、潤目鰯でもなく、片口鰯でもなく、黍魚子(きびなご)でも
なく、ほおたれ鰯でもないことを確かめ、最終判断を下すのである。
このNNによるテンプレートマッチングにより精度の高い識別が実現できる。ただし、図6に示すように従来のNNの出力層にそれぞれのいりこの魚種に対応するユニットをそのまま設定し、一回のNN計算のみでいりこの魚種を確定する方法も本選別装置1の識別手段10に適用し、プログラムシステムとしては選別装置1の起動時に選択可能としている。
Response value of output unit (unit indicating authenticity)> Response value of output unit (unit indicating non-authenticity) ............ (1)
Similarly for other neuro templates ii to v, Junmoku, Kataguchi, and Kobiko
It is a setting that uniquely identifies each of them, such as firefly sauce. However, the same authentic image is input to other neuro templates, and it is confirmed whether the following relationship is satisfied.
That is,
Response value of the output unit (unit indicating the moisture) <Response value of the output unit (unit indicating the other) …… (2)
Response value of the output unit (unit indicating one port) <Response value of the output unit (unit indicating other) …… (3)
Response value of the output unit (unit indicating the baby) <Response value of the output unit (unit indicating the other) …… (4)
Response value of output unit (unit indicating a crack) <Response value of output unit (unit indicating other) …… (5)
In other words, it is confirmed that it is authentic with a true neuro template i, and it is a neuro template ii-v that uniquely identifies Junmoku, Kataguchi, Kibago, and hototare, not Junmoku, Make sure that you are neither a single-mouthed moth, nor a kid, nor a firefly, and make a final decision.
High-precision identification can be realized by template matching by the NN. However, as shown in FIG. 6, the conventional sorting apparatus 1 is a method in which units corresponding to the respective fish species are set as they are in the output layer of the conventional NN and the fish species are determined by only one NN calculation. The program system can be selected when the sorting apparatus 1 is activated.

こうして、コンベヤベルト17a上のいりこの魚種が識別されるが、いりこが1匹の場合および2匹以上でも全てのいりこの魚種が同一の場合には、コンベヤベルト17aが最上位置まで回転したのち、魚種に対応した選別ボックス(図示せず)に振り分け装置(図示せず)によって振り分けられる。   In this way, the fish species on the conveyor belt 17a are identified. However, if there is only one irico and two or more fish species are the same, the conveyor belt 17a is rotated to the uppermost position. After that, it is sorted by a sorting device (not shown) into a sorting box (not shown) corresponding to the fish type.

一方、いりこが2匹以上で、魚種が異なる場合には、振り分け装置(図示せず)により、再び分離装置1へ戻されて分離作業が繰り返し行われることになる。分離作業が繰り返される場合、最終的にはほとんどいりこは1匹ずつに分離されるので、魚種に対応する選別ボックスへ振り分けられる。   On the other hand, when there are two or more squirrels and the fish species are different, they are returned to the separation device 1 again by a sorting device (not shown) and the separation work is repeated. When the separation operation is repeated, since most squid are finally separated one by one, they are distributed to the selection box corresponding to the fish species.

ところで、本発明の実施例に係るいりこの選別装置については、選別対象としてのいりこの全ての魚種についてあらかじめデジタルカメラで撮影され、画像データに基づいた魚種に関するデータ(魚種パターン)がNNを用いて学習登録されている。そして、画像データのうち、特にいりこの全体形状、色合い、側線パターンなどの魚種を識別する上で重要な特徴的模様(パターン)に関するデータが図3に示すように2次元高速フーリエ変換を用いて周波数解析処理され、入力パターン(スラブ値)としてNNの入力層に入力され、記憶されている。そして、分離装置1で通常、1匹ないし2・3匹のいりこに分離され、デジタルカメラ3で撮影された画像データが図3の動作フローに沿って同様に変換処理され、作成された入力パターンが入力層→隠れ層→出力層へ伝達・処理され、出力層から出力値(出力パターン)が出力される。この出力値は、それまでの学習によって得られた重み係数に基づくもので、本例の場合には、いりこの魚種が何であるかが出力される。   By the way, with regard to the picking apparatus according to the embodiment of the present invention, all the fish species to be sorted are photographed in advance with a digital camera, and the fish species data (fish species pattern) based on the image data is NN. Is registered for learning. Then, among the image data, data relating to characteristic patterns (patterns) that are important in identifying fish species such as the overall shape, color, and side line pattern, etc. of the image data are obtained by using a two-dimensional fast Fourier transform as shown in FIG. The frequency analysis process is performed, and the input pattern (slab value) is input and stored in the NN input layer. Then, the separation apparatus 1 normally separates one to two or three squids and the image data photographed by the digital camera 3 is similarly converted along the operation flow of FIG. Is transmitted and processed from the input layer to the hidden layer to the output layer, and an output value (output pattern) is output from the output layer. This output value is based on the weighting coefficient obtained by the learning so far, and in the case of this example, what the fish species are is output.

また、NNにおいて、いりこの魚種パターンにつき逆に正しい出力値が与えられると、出力層→隠れ層→入力層の順で伝達・処理され、各層間の重み係数について学習がなされるが、この重み係数の学習は、実際の出力値と正しい出力値との差が減るように、入力ニューロ素子・隠れニューロ素子・出力ニューロ素子のニューロ素子間における結合の強さを変化・収束させることである。   On the other hand, when a correct output value is given to the fish species pattern in NN, it is transmitted and processed in the order of output layer → hidden layer → input layer, and the weighting coefficient between each layer is learned. Learning the weighting factor is to change and converge the strength of the coupling between the neuro elements of the input neuro element, hidden neuro element, and output neuro element so that the difference between the actual output value and the correct output value is reduced. .

詳しくは、NN学習に関し、NNの構成は階層型の3層NNを用いており、学習方法として改良型誤差逆伝搬法を採用している。この改良型誤差逆搬法とは、下記の数1で表される学習アルゴリズムである。
Specifically, with regard to NN learning, the configuration of the NN uses a hierarchical three-layer NN, and adopts an improved error back propagation method as a learning method. This improved error reverse carrying method is a learning algorithm expressed by the following equation (1).

ここで、Wは重み、tは学習回数、δは一般化誤差、Oはニューラル素子(細胞・ユニット)の出力値、ηは学習定数、αは慣性定数、βは振動定数を示す。   Here, W is a weight, t is the number of learnings, δ is a generalization error, O is an output value of a neural element (cell / unit), η is a learning constant, α is an inertia constant, and β is a vibration constant.

そして、対象とする被選別材としてのいりこの魚種パターンと、あらかじめ学習登録された複数種類の魚種パターンとが比較され、対象とするいりこの各魚種パターンが全体的に把握され、学習した魚種パターンと比較されることによって、より正確に魚種を識別できるようにしている。   Then, the fish species pattern as the target material to be selected is compared with a plurality of types of fish species patterns that have been registered in advance. By comparing with the fish species pattern, the fish species can be identified more accurately.

上記に本発明のいりこの選別装置について一実施例を挙げて説明したが、下記のように実施することができる。すなわち、
・複数の魚種からなるいりこ群を同一魚種ごとに選別するだけでなく、雑魚が混じったいりこ群から雑魚だけを排除することにも使用できる。
Although the example of the sorting apparatus according to the present invention has been described above with reference to an embodiment, it can be implemented as follows. That is,
・ It can be used not only to select sardine groups consisting of multiple fish species for each same species, but also to remove only sparse fish from sardine groups mixed with small fish.

・選別対象は魚類に限定されず、被選別材の片面あるいは前面だけを選別したり監視したりする装置にも適用できる。   -Sorting object is not limited to fish, but can be applied to a device that sorts or monitors only one side or the front side of a material to be sorted.

被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。It is a flowchart which shows the Example of the sorting method in case a to-be-sorted material is Iriko. 図2(a)は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図2(b)は1台のベルトコンベヤを拡大して示す側面図である。FIG. 2 (a) is a side view showing an iroko separating device as one component of the sorting device, and FIG. 2 (b) is an enlarged side view showing one belt conveyor. (a)〜(c)はいりこの選別動作フローを順に示す説明図である。(A)-(c) is explanatory drawing which shows a sorting operation | movement flow in order. (d)〜(g)はいりこの選別動作フローを順に示す説明図である。(D)-(g) is explanatory drawing which shows in order the flow of selection operation | movement of an iris. 図4(a)はいりこの魚種(5種類)を示す正面図、図4(b)は同一種類ごとに選別した状態を示す正面図である。FIG. 4 (a) is a front view showing the fish species (five types), and FIG. 4 (b) is a front view showing a state of sorting for each same type. 選別手段(判別手段)の基本構成を示す説明図である。It is explanatory drawing which shows the basic composition of a selection means (discrimination means). 従来のNNでの識別構成を示す説明図である。It is explanatory drawing which shows the identification structure in the conventional NN.

符号の説明Explanation of symbols

1 分離装置
2 照明器具
3 デジタルカメラ
10 識別手段
12 搬送用傾斜ベルトコンベヤ
13〜17 分離用傾斜ベルトコンベヤ
12a〜17a コンベヤベルト
18 ホッパー
19 DCモータ
20 減速ギヤ
21・22 センサ
DESCRIPTION OF SYMBOLS 1 Separation apparatus 2 Lighting fixture 3 Digital camera 10 Identification means 12 Inclination belt conveyors 13 to 17 for conveyance Inclination belt conveyors 12a to 17a for separation Conveyor belt 18 Hopper 19 DC motor 20 Reduction gears 21 and 22 Sensor

Claims (3)

複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、
走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第1のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも1つの被選別材が最上位置に達し第2のベルトコンベヤのベルト上に落下すると、前記第1のベルトの走行を中止し、第2のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも1つの被選別材が最上位置へ達し第3のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第1のベルトコンベヤのベルトおよび第3のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第3のベルトコンベヤ、望ましくは第5以降のベルトコンベヤまで繰り返し行って被選別材群を1つもしくは2つ以上の被選別材に分離する工程と、
1つもしくは2つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、2つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、
前記分離工程で分離された被選別材が1つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、2次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が2つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、この2値化画像において8−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の1つの被選別材を抽出する工程、2次元高速フーリエ変換を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する工程とからなること
を特徴とするいりこ等の選別方法。
A sorting method for sorting a group of materials to be sorted with multiple types of iriko, etc., for each same type or excluding different types other than the selection target,
Among the multiple belt conveyors that are tilted upward in the running direction and arranged in series so that they can be conveyed in sequence, a plurality of types of materials to be sorted are placed on the belt of the first belt conveyor, and belt running starts. When at least one material to be sorted reaches the uppermost position and falls onto the belt of the second belt conveyor, the traveling of the first belt is stopped, the belt of the second belt conveyor is started, When at least one material to be sorted that has fallen on the belt reaches the uppermost position and falls on the belt of the third belt conveyor, the traveling of the belt is stopped, and the belts of the first belt conveyor and the third belt conveyor are stopped. The operation of starting the running of the belt is repeated until at least the third belt conveyor, preferably the fifth and subsequent belt conveyors, so that one or two to-be-sorted materials are collected. And separating the to be sorted material,
When the materials to be sorted separated into one or more are determined to be of the same type in the identification step described later, the materials to be sorted are sorted into the sorting boxes corresponding to the types, while the materials to be sorted separated into two or more Are determined to be different types in the identification step described later, the step of refluxing to the separation step,
If there is one material to be sorted separated in the separation step, the image obtained by photographing the material to be sorted with a camera is binarized at a preset threshold value and subjected to frequency analysis processing using a two-dimensional fast Fourier transform. The material to be sorted is composed of a multi-layered hierarchical neural network capable of nonlinear identification for each type of material to be sorted, and the binarized image is sorted by performing matching processing using the nonlinear template. The process of identifying the type of material, or
When there are two or more materials to be separated separated in the separation step, an image obtained by photographing the material to be sorted with a camera is binarized with a preset threshold value, and 8-near contraction in the binarized image is performed. After performing the processing, the labeling process is used to assign a label number to the portion to be selected, and the center position in the label area is obtained, and one piece of the selection material in the image is extracted using this center position information. Processes, frequency analysis processing using two-dimensional fast Fourier transform, and materials to be sorted are composed of multi-layered hierarchical neural networks that can identify nonlinearly for each type of materials to be sorted. And a step of identifying the type of the material to be sorted from the binarized image by performing matching processing.
複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、
走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第1センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第2センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を1もしくは2以上の被選別材に分離する装置と、
1つもしくは2つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、2つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、
前記分離する手段で分離された被選別材が1つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、2次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する手段および、
前記分離工程で分離された被選別材が2つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて2値化し、この2値化画像において8−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の1つの被選別材を抽出する手段、2次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記2値化画像から被選別材の種類を識別する手段とを備えること
を特徴とするいりこ等の選別装置。
A sorting device for sorting a group of materials to be sorted in which a plurality of types of sardines are mixed for the same type or excluding different types other than the selection target,
A first sensor that tilts upward along the running direction, detects the presence or absence of a material to be sorted placed on the belt, and starts running of the belt, and that the material to be sorted on the belt has reached the uppermost position. A plurality of belt conveyors each provided with a second sensor that detects and stops the belt traveling or reverses after the belt is stopped are arranged adjacent to each other so that a material to be sorted can be transferred between adjacent conveyor belts. An apparatus for separating a plurality of types of materials to be sorted into one or more materials to be sorted,
When the material to be sorted separated into one or two or more is identified by the identification means described later as being of the same type, the materials to be sorted are sorted into the sorting box corresponding to the type, while being separated into two or more. When the discriminating means to be described later determines that the different types are different, the sorting means for circulating the group of materials to be sorted at the entrance of the separation device,
When the material to be sorted separated by the separating means is one, an image obtained by photographing the material to be sorted with a camera is binarized at a preset threshold value, and a frequency analysis process using a two-dimensional fast Fourier transform The material to be sorted is composed of a multi-layered hierarchical neural network capable of nonlinear identification, and a template for each type of material to be sorted is subjected to matching processing using the nonlinear template. Means for identifying the type of sorter; and
When there are two or more materials to be sorted separated in the separation step, an image obtained by photographing the material to be sorted with a camera is binarized with a preset threshold value, and 8-near contraction in the binarized image. After performing the processing, the labeling process is used to assign a label number to the part to be selected, and the center position in the label area is obtained, and one piece of the target material in the image is extracted using this center position information. Means for frequency analysis processing using two-dimensional fast Fourier transform, and the material to be sorted is composed of a multi-layered hierarchical neural network capable of nonlinear identification for each type of material to be sorted. And a means for discriminating the type of the material to be sorted from the binarized image by performing matching processing.
被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第1センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第2センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を1または2以上の被選別材に分離する分離装置と、
前記分離装置で分離された被選別材を撮影するカメラと、
前記カメラにより撮影した画像フレーム内に被選別材が1の場合および被選別材が2以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、
前記カメラにより撮影した画像フレーム内に被選別材が2以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、
前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて2値化を行い、モノクロ画像に変換したのち、8−近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア(bilnear)法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて2値化し、背景を黒で塗りつぶし、2次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する識別手段とを備えること
を特徴とするいりこ等の選別装置。
A plurality of belt conveyors that are inclined upward and adjacent to each other so that the materials to be sorted can be transferred to each other, and the presence or absence of the materials to be sorted are detected on the belt lower part of each belt conveyor. A first sensor for instructing the start and a second sensor for instructing to stop the rotation of the belt when it senses that the material to be sorted on the belt of each belt conveyor has reached the uppermost position. A separation device for separating a plurality of types of materials to be sorted into one or more materials to be sorted,
A camera for photographing the material to be sorted separated by the separation device;
When the material to be sorted is 1 in the image frame photographed by the camera and when there are 2 or more materials to be sorted and all the materials to be sorted are determined to be the same type by the following discriminating means Means for distributing the materials to the corresponding types of sorting boxes;
Recirculation means for returning to the separation device when the material to be sorted is determined to be two or more in the image frame photographed by the camera, and the material to be sorted is determined to be of a different type by the following discrimination means;
The image in the image frame is taken into a personal computer as a color image, binarized using a threshold value, converted into a monochrome image, subjected to 8-neighbor contraction processing, labeling, and then the center position is determined. Obtained, reduced using the bilnear method, cut out, binarized the cut out image using a threshold that can distinguish the material to be sorted from the background, painted the background in black, and 2D fast Fourier transform Is used to calculate the frequency component of the monochrome image, block the frequency component concentrically, add the same number of blocks, and normalize the value to be input to the neural network. And an identification means for identifying the type of the material to be sorted by calculating and inputting the input value to the neural network. Sorting apparatus.
JP2005337528A 2005-11-22 2005-11-22 Sorting method and apparatus for iriko etc. Active JP4812083B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005337528A JP4812083B2 (en) 2005-11-22 2005-11-22 Sorting method and apparatus for iriko etc.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005337528A JP4812083B2 (en) 2005-11-22 2005-11-22 Sorting method and apparatus for iriko etc.

Publications (2)

Publication Number Publication Date
JP2007136430A true JP2007136430A (en) 2007-06-07
JP4812083B2 JP4812083B2 (en) 2011-11-09

Family

ID=38199917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005337528A Active JP4812083B2 (en) 2005-11-22 2005-11-22 Sorting method and apparatus for iriko etc.

Country Status (1)

Country Link
JP (1) JP4812083B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6401411B1 (en) * 2018-02-13 2018-10-10 株式会社Aiハヤブサ Artificial intelligence catch identification system, management system and logistics system
CN109516067A (en) * 2018-11-12 2019-03-26 西安火眼猴智能科技研究院有限公司 Components detection system and detection method
CN113548234A (en) * 2021-06-11 2021-10-26 江汉大学 Method, system and related equipment for selecting fruits
WO2022107330A1 (en) * 2020-11-20 2022-05-27 日本電気株式会社 State determination device, state determination system, state determination method and recording medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304946A (en) * 2000-04-21 2001-10-31 Boso Shatai Kk Weight-measuring device and automatic fish-selecting device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304946A (en) * 2000-04-21 2001-10-31 Boso Shatai Kk Weight-measuring device and automatic fish-selecting device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6401411B1 (en) * 2018-02-13 2018-10-10 株式会社Aiハヤブサ Artificial intelligence catch identification system, management system and logistics system
CN109516067A (en) * 2018-11-12 2019-03-26 西安火眼猴智能科技研究院有限公司 Components detection system and detection method
CN109516067B (en) * 2018-11-12 2024-04-09 西安火眼猴智能科技研究院有限公司 Part detection system and detection method
WO2022107330A1 (en) * 2020-11-20 2022-05-27 日本電気株式会社 State determination device, state determination system, state determination method and recording medium
CN113548234A (en) * 2021-06-11 2021-10-26 江汉大学 Method, system and related equipment for selecting fruits

Also Published As

Publication number Publication date
JP4812083B2 (en) 2011-11-09

Similar Documents

Publication Publication Date Title
US11069053B2 (en) Systems and methods for optical material characterization of waste materials using machine learning
CA2970735C (en) Sorting system with multiple sorting devices
CN108287010B (en) Crab multi-index grading device and method
CN108971190B (en) Machine vision-based household garbage sorting method
KR101656635B1 (en) Fish species determination device and fish species determination method
JP2020062633A (en) Waste sorting apparatus and waste sorting method
JP4812083B2 (en) Sorting method and apparatus for iriko etc.
JP4649628B1 (en) Whole surface image inspection device for spheroid and spherical body
JP2024009979A (en) Egg classification device, egg classification method, and computer program
JP2024016293A (en) Waste sorting device
CN113145492A (en) Visual grading method and grading production line for pear appearance quality
Estévez et al. Genetic input selection to a neural classifier for defect classification of radiata pine boards
JP2002205019A (en) Automatic sorting device
CN208059993U (en) A kind of crab multi objective grading plant
CN111805541B (en) Deep learning-based traditional Chinese medicine decoction piece cleaning and selecting device and cleaning and selecting method
JP4171806B2 (en) A method for determining the grade of fruits and vegetables.
CN112136722A (en) Egg sorting system and egg sorting method
JP2001327226A (en) Egg treatment apparatus
ATE325041T1 (en) METHOD AND DEVICE FOR TURNING EGGS
AU2021283683A1 (en) Method and system for training a neural network-implemented sensor system to classify objects in a bulk flow
CN108993927B (en) Crop seed grain separating equipment and control method thereof
JPH09183422A (en) Device and method for inspecting biting of matter to be packed in sealing part of division packing sheet
KR102578920B1 (en) Apparatus for PET sorting based on artificial intelligence
JP7440044B2 (en) A non-defective product inspection system and a non-defective product inspection method with a function for identifying non-defective coffee beans
CN212944127U (en) Identification grading device for grading sorting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110518

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

R150 Certificate of patent or registration of utility model

Ref document number: 4812083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250