JP3333472B2 - Non-destructive detection method and device of blood egg in brown chicken egg - Google Patents

Non-destructive detection method and device of blood egg in brown chicken egg

Info

Publication number
JP3333472B2
JP3333472B2 JP19491199A JP19491199A JP3333472B2 JP 3333472 B2 JP3333472 B2 JP 3333472B2 JP 19491199 A JP19491199 A JP 19491199A JP 19491199 A JP19491199 A JP 19491199A JP 3333472 B2 JP3333472 B2 JP 3333472B2
Authority
JP
Japan
Prior art keywords
eggs
blood
egg
transmittance
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19491199A
Other languages
Japanese (ja)
Other versions
JP2001021490A (en
Inventor
和弘 中野
純 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mayekawa Manufacturing Co
Original Assignee
Mayekawa Manufacturing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mayekawa Manufacturing Co filed Critical Mayekawa Manufacturing Co
Priority to JP19491199A priority Critical patent/JP3333472B2/en
Publication of JP2001021490A publication Critical patent/JP2001021490A/en
Application granted granted Critical
Publication of JP3333472B2 publication Critical patent/JP3333472B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、殻付き卵の血卵検
出方法に係わり特に褐色鶏卵に発現する血卵等の異常卵
の非破壊検出方法とその装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for detecting blood eggs of shell eggs, and more particularly to a method and apparatus for non-destructively detecting abnormal eggs such as blood eggs which appear in brown chicken eggs.

【0002】[0002]

【従来の技術】従来のこの種の検卵装置は、割卵して取
り出された鶏卵中身の不良液卵を検出する装置に関する
提案としては特願平6−43238号公報に開示されて
おり、鶏卵外表面におけるひび割れ検査装置としては特
願平7−220327号公報に開示されている。しか
し、殻付き鶏卵の内部に混入する血液等の異物を割卵し
ないで非破壊的に検出する方法については、専門の検卵
員が鶏卵の透過光を用いて、経験と勘による選別が一般
に行なわれている。しかし、その透過光による検卵も表
面が白色の卵については有効であるが、表面が褐色の褐
色鶏卵いわゆる「赤玉」については非破壊的に検卵には
困難を伴い、生産者や流通業者、消費者から異常褐色鶏
卵の非破壊検出技術の確立が強く望まれている。なお、
上記透過光による検卵には特公昭51−48995号開
示の検卵装置に関する発明に、卵内容物に吸収される波
長と吸収されない波長域の光を用意し、前記二つの光の
透過光を電荷蓄積効果素子(例えばフォトダイオード、
フォトトランジスタ)よりなる受光素子を使用し、受光
信号レベルを比較し検出を行なうようにしたものが開示
されており、褐色卵における血卵の検出にも有効である
との記載があるが、透過光の検出レベル値のみによる比
較方法では白色鶏卵の検卵には有効であっても、血卵と
近似色の褐色鶏卵の検卵には不十分である。
2. Description of the Related Art A conventional egg inspection apparatus of this type is disclosed in Japanese Patent Application No. 6-43238 as a proposal for an apparatus for detecting a defective liquid egg in a chicken egg taken out of the egg. A crack inspection device on the outer surface of a chicken egg is disclosed in Japanese Patent Application No. 7-220327. However, for non-destructive detection of foreign substances such as blood contaminating shell eggs without breaking eggs, specialized egg inspectors generally use the transmitted light of chicken eggs to select them based on experience and intuition. Is being done. However, egg inspection using transmitted light is also effective for eggs with a white surface, but non-destructive egg inspection involves so-called “red balls” of brown chicken eggs with a brown surface. There is a strong demand from consumers to establish a technology for non-destructive detection of abnormal brown chicken eggs. In addition,
For the egg inspection by the transmitted light, in the invention related to the egg inspection apparatus disclosed in Japanese Patent Publication No. 51-48995, light having a wavelength range that is absorbed by the egg content and a wavelength range that is not absorbed are prepared, and the transmitted light of the two lights is analyzed. Charge storage element (eg, photodiode,
A phototransistor (phototransistor) is used, and the detection is performed by comparing the level of the received light signal. There is a description that it is also effective in detecting blood eggs in brown eggs. Although the comparison method using only the light detection level value is effective for egg inspection of white eggs, it is insufficient for egg inspection of brown eggs having a color similar to blood eggs.

【0003】[0003]

【発明が解決しようとする課題】殻付き鶏卵の流通上の
絶対条件として、血卵や肉塊卵等の異常卵のない品質保
障卵であることが要求されている。しかし、鶏卵を非破
壊的に検卵する技術については、白色鶏卵について、透
過光検査が行なわれているのみであり、前述のごとく殻
付き褐色鶏卵を非破壊的に検出する方法・技術及び装置
は実用化されていない状況である。
As an absolute condition for the distribution of hen eggs with shells, there is a demand for quality-guaranteed eggs free from abnormal eggs such as blood eggs and meat eggs. However, as for the technique of non-destructively inspecting chicken eggs, only transmitted light inspection is performed on white chicken eggs, and as described above, a method, technique and apparatus for non-destructively detecting brown chicken eggs with shells. Is a situation that has not been put to practical use.

【0004】そのため、一般に集卵場における検卵工程
は、白色卵についてのみ行なわれ、白色卵が移動する搬
送コンベアの下方に蛍光灯が設置し、検卵作業者は眩し
い光の中に現れる卵の透過像を直視しながら、経験と勘
により異常卵の検出を行なっている始末である。
[0004] Therefore, in general, the egg inspection process in the egg collecting place is performed only for white eggs, and a fluorescent lamp is installed below the conveyor on which the white eggs move, so that the egg inspection worker can see the eggs appearing in dazzling light. This is the process of detecting abnormal eggs based on experience and intuition while looking directly at the transmitted image of the worm.

【0005】ところで、上記方法では、表面色の暗い褐
色鶏卵における異常卵の検出は不可能であり、現在の集
卵場では明らかに破卵しているものを取り除く作業だけ
が行なわれており、結果的に消費者等から「異常卵の混
入」のクレームを受けるという問題がしばしば発生して
いる。
[0005] By the way, in the above method, it is impossible to detect abnormal eggs in brown chicken eggs having a dark surface color, and only the operation of removing those that are clearly broken in the current egg collection site is performed. As a result, a problem often arises that consumers receive a complaint of "contamination of abnormal eggs".

【0006】特に大消費者からの強いクレームがあった
場合、取引中止という事態にいたる例もあり、褐色鶏卵
の出荷前の検卵ができないことが褐色鶏卵の消費拡大に
つながらない一因であることも指摘されている。
[0006] In particular, when there is a strong complaint from a large consumer, there are cases in which business is suspended, and the inability to test eggs before shipment of brown eggs is one reason that consumption of brown eggs is not increased. Has also been pointed out.

【0007】一方消費者側は、近年食材の衛生・安全志
向から、異物混入を嫌う傾向が強くなってきている。特
に生食する機会の多い鶏卵については、粟粒程度の小さ
い血液状部分を見付けた場合でも、例えその血液状部分
が衛生的・品質的には何ら問題がないとしても、苦情が
持ち込まれるケースがしばしば見受けられる状況であ
る。
On the other hand, in recent years, consumers have been increasingly inclined to avoid foreign substances from the viewpoint of food hygiene and safety. Especially for eggs that are frequently eaten raw, complaints are often introduced even if a small blood-like part of the size of millet is found, even if the blood-like part has no problem in terms of hygiene and quality. It is a situation that can be seen.

【0008】本発明は、上記問題点に鑑みなされたもの
で、作業者の経験と勘によっても検出できない殻付き褐
色鶏卵の中身を画像処理により、非破壊的且つ短時間に
測定して、血液状異常物の混入を検出できる、褐色鶏卵
における血卵の非破壊検出方法とその装置の提供を目的
とするものである。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and measures the content of a brown chicken egg with a shell, which cannot be detected by the experience and intuition of an operator, by image processing in a non-destructive manner in a short time. It is an object of the present invention to provide a method and a device for non-destructively detecting blood eggs in brown hen eggs, which can detect contamination of abnormal eggs.

【0009】[0009]

【課題を解決するための手段】そこで、本発明は、褐色
鶏卵における血卵の非破壊検出方法は、褐色鶏卵におけ
る血卵の非破壊検出方法において、血吸収波長域である
波長570〜580nmを基準波長とし、一方620〜630nm、
640〜650nm、680nm、760nmの内より選択された波
長域を特定波長域とし、褐色鶏卵に対する透過光を光学
フィルタを介して前記各波長域における透過画像を形成
させ、該透過画像に対するCCDカメラを介して得られ
たビデオ信号にA/D変換処理をして前記各波長域での
ディジタル濃淡画像を抽出し、該濃淡画像より透過率を
求め、前記基準波長に対する特定波長域での透過率の比
を求め、前記特定波長域に対する基準波長域での透過率
比にもとづいて血卵を検出するようにしたことを特徴と
する。
Accordingly, the present invention provides a method for non-destructively detecting blood eggs in brown hen eggs, wherein the method for non-destructively detecting blood eggs in brown hen eggs comprises a blood absorption wavelength range.
Wavelength 570-580nm as reference wavelength, while 620-630nm,
Waves selected from 640-650nm, 680nm, 760nm
A long wavelength region is defined as a specific wavelength region, transmission light for the brown chicken egg is formed through an optical filter to form a transmission image in each of the above wavelength regions, and A / D conversion processing is performed on a video signal of the transmission image obtained through a CCD camera. To extract the digital grayscale image in each of the wavelength ranges, determine the transmittance from the grayscale image, determine the ratio of the transmittance in the specific wavelength range to the reference wavelength, in the reference wavelength range for the specific wavelength range. Transmittance
It is characterized in that blood eggs are detected based on the ratio .

【0010】上記請求項1記載の発明は、褐色鶏卵を通
過した透過光をフィルタを介して可視光域の血吸収波長
を持つ基準波長と特定波長域の透過画像を形成させる。
いで、該透過画像に対しCCDカメラを介してビデオ
信号を形成させ、形成されたビデオ信号に対しA/D変
換処理によりディジタル画像を形成させ、基準波長と特
定波長における濃淡画像を形成させる。即ち、上記して
得られた透過画像データは、画像取込ボードにより1画
面当たり横640×縦480画素、1画素当たり256
諧調に分解した濃淡画像を得る。
According to the first aspect of the present invention, a transmitted image having a reference wavelength having a blood absorption wavelength in a visible light region and a specific wavelength region is formed by transmitting light transmitted through a brown chicken egg through a filter.
One Ide, the transparent over the image to form a video signal through a CCD camera to, to form video signals to form a digital image by the A / D conversion processing, to form a gray-scale image at the reference wavelength and the particular wavelength. That is, the transmitted image data obtained as described above is 640 × 480 pixels per screen and 256 pixels per pixel by the image capture board.
Obtain a gradation image decomposed into gradations.

【0011】上記画像データにより、前記血吸収波長
(570〜580nm)と特定波長域620〜630nm、640〜650
nm、680nm、760nmの濃淡画像を抽出し、該濃淡画
像に対する透過率を演算し、特定波長の透過率に対する
基準波長の透過率の比を演算する。そして各波長域にお
ける適当な透過率比の値を閾値に設定して、該閾値を基
準にして正常卵か血卵かの何れかを判定するようにして
ある。本発明は、血卵の判定基準に透過率比を使用した
ため、より確度の高い判別をすることができる。
According to the above image data, the blood absorption wavelength (570 to 580 nm) and the specific wavelength range of 620 to 630 nm, 640 to 650
A density image of nm, 680 nm, and 760 nm is extracted, the transmittance for the density image is calculated, and the ratio of the transmittance of the reference wavelength to the transmittance of the specific wavelength is calculated. Then, a value of an appropriate transmittance ratio in each wavelength region is set as a threshold value, and either the normal egg or the blood egg is determined based on the threshold value. In the present invention, since the transmittance ratio is used as a criterion for determining a blood egg, more accurate discrimination can be performed.

【0012】また、請求項2記載の発明は、人工血卵の
特定波長に対する基準波長での透過率比が最小となると
きの正常卵の透過率比を閾値として設定することにより
血卵を検出するようにしたことを特徴とする。
[0012] According to a second aspect of the invention, the transmittance ratio of normal egg when the transmittance ratio at a reference wavelength for <br/> specific wavelength artificial Chitamago becomes minimum as a threshold value set By doing
It is characterized in that blood eggs are detected .

【0013】上記発明は、予め、人工血卵と正常卵を用
意し、その両者の基準波長及び特定波長における透過率
を演算し、さらに前記特定波長域に対する基準波長の透
過率比を求め、血卵透過率比が最小となるときの正常卵
の透過率比を閾値として、該閾値より被計測卵の透過率
比が小さければ正常卵とし、閾値に等しいかまたは大き
ければ血卵と判定するようにしたものである。
[0013] The upper Symbol onset bright, previously, to prepare an artificial Chitamago and normal eggs, calculates the transmittance at the reference wavelength and the particular wavelength of both, further obtains the ratio of transmittance of the reference wavelength for the particular wavelength range When the transmittance ratio of a normal egg when the blood egg transmittance ratio is minimized is set as a threshold, the egg is determined to be a normal egg if the transmittance ratio of the measured egg is smaller than the threshold, and is determined to be a blood egg if it is equal to or larger than the threshold. It is something to do.

【0014】また、前記血卵の検出は、 前記620〜630n
m、640〜650nm、680nm、760nmの4つの特定波長
における4因子の、前記基準波長に対する透過率比を入
力させる入力層と中間に競い合い層を持ち出力層に正常
卵と血卵を出力するようにした階層型ネットワーク構造
のニューラルネットワークを介して行なうようにしたこ
とを特徴とする。
[0014] Further, the detection of the blood egg is carried out in the 620-630n.
m, 640-650nm, 680nm, 760nm 4 specific wavelengths
A hierarchical network structure in which a competition layer is provided between the input layer for inputting the transmittance ratio of the four factors to the reference wavelength and the normal egg and the blood egg are output to the output layer.
Is performed through a neural network .

【0015】上記発明により、前記閾値の設定に係わる
演算を階層型の学習機能を持つニューラルネットワーク
構造により行なうことができ、閾値が変動する場合にも
対応でき、確度の高い判別が可能であるる。
[0015] The above Symbol onset bright, the operation related to the setting of the threshold can be performed by a neural network structure having a hierarchical learning function, can respond if the threshold is varied, can be highly accurate determination Yes.

【0016】本発明褐色鶏卵における血卵の非破壊検
出方法を使用した血卵の非破壊検出装置の第1の発明
は、褐色鶏卵における血卵の非破壊検出装置において、
投射光源よりの投射光のみを透過させるようにした卵受
け台と、その上部に設けた前記透過光より血吸収波長域
である波長570〜580nmの基準波長と、620〜630nm、
640〜650nm、680nm、760nmの内、選択された特定
波長域の透過画像を得るフィルタ付きCCDカメラとを
内蔵する密閉容器と、前記CCDカメラよりのビデオ信
号よりA/D変換処理を介して前記基準波長及び特定波
長域でのディジタル濃淡画像を抽出する画像処理部と、
該濃淡画像より透過率を求め、前記基準波長と選択され
特定波長域での透過率比を求め、該透過率比に対し
、人工血卵の特定波長に対する基準波長での透過率比
が最小となるときの正常卵の透過率比を閾値として設定
した閾値により血卵を検出する演算部とより構成した
ことを特徴とする。
The present inventionofNondestructive testing of blood eggs in brown chicken eggs
Blood egg non-destructive detection device usingFirst invention of
Is a non-destructive detection device for blood eggs in brown chicken eggs,
An egg tray that transmits only the projection light from the projection light source
From the base and the transmitted light provided above the base.Blood absorption wavelength range
A reference wavelength of 570 to 580 nm, 620 to 630 nm,
Specific selected from 640-650nm, 680nm, 760nm
Wavelength rangeWith a CCD camera with a filter to obtain a transmitted image
Built-in airtight container and video signal from CCD camera
Through A / D conversion processingSaidReference wavelength and specific wave
An image processing unit for extracting a digital grayscale image in a long range;
Determine the transmittance from the gray image, the reference wavelength andSelected
WasSpecific wavelengthIn the areaIs determined, and the transmittance ratio is determined.
hand, Ratio of transmittance at a reference wavelength to a specific wavelength of artificial blood egg
When the transmittance ratio of normal eggs whenConfiguration
didTheIt is composed of a calculation unit that detects blood eggs by threshold value.
It is characterized by the following.

【0017】本発明の褐色鶏卵における血卵の非破壊検
出方法を使用した血卵の非破壊検出装置の第2の発明
は、 褐色鶏卵における血卵の非破壊検出装置において、
投射光源よりの投射光のみを透過させるようにした卵受
け台と、その上部に設けた前記透過光より血吸収波長域
である波長570〜580nmの基準波長と、620〜6 30nm、
640〜650nm、680nm、760nmの特定波長域の透過画
像を得るフィルタ付きCCDカメラとを内蔵する密閉容
器と、前記CCDカメラよりのビデオ信号よりA/D変
換処理を介して前記基準波長及び特定波長域でのディジ
タル濃淡画像を抽出する画像処理部と、該濃淡画像より
透過率を求め、前記基準波長と前記4つの特定波長域で
の透過率比を求め、該透過率比により血卵を検出する演
算部とより構成され、 前記演算部には、適当閾値を演算
すべく、前記血吸収波長域である基準波長の透過率と
記4つの特定波長における透過率比を入力させる入力
層と、前記4つの特定波長域に対応する4個のニューロ
ンからなる中間層とを持ち、出力層に正常卵と血卵を出
力するようにした階層型ニューラルネットワーク構造を
設ける構成としたことを特徴とする
Nondestructive Analysis of Blood Eggs in Brown Eggs of the Present Invention
Second Invention of Nondestructive Detection Apparatus for Blood Egg Using Dispensing Method
Is a non-destructive detection device for blood eggs in brown chicken eggs,
An egg tray that transmits only the projection light from the projection light source
A base and a blood absorption wavelength range from the transmitted light provided above the base.
A reference wavelength of 570 to 580 nm, and 620 to 630 nm,
Transmission image of specific wavelength range from 640 to 650 nm, 680 nm, 760 nm
A sealed container with a built-in CCD camera with a filter to obtain an image
A / D conversion from the video signal from the CCD camera
Digitization at the reference wavelength and a specific wavelength range through a conversion process.
An image processing unit for extracting a gray scale image, and
Determine the transmittance, the reference wavelength and the four specific wavelength range
To determine the transmittance ratio of blood and detect blood eggs based on the transmittance ratio.
It is more configuration and calculation unit, to the arithmetic unit, in order to calculating the proper person threshold, before and transmittance of the reference wavelength is the blood absorption wavelength range
An input layer for inputting the transmission ratio in serial four specific wavelength region, the four have an intermediate layer of four neurons corresponding to a particular wavelength range, so as to output the normal eggs and Chitamago the output layer characterized in the fact that the configuration in which a hierarchical neural network structure.

【0018】[0018]

【発明の実施の形態】以下、本発明を図に示した実施例
を用いて詳細に説明する。但し、この実施例に記載され
る部品の形状その他の相対的配置などは特に特定的な記
載がない限り、この発明の範囲をそれのみに限定する趣
旨ではなく単なる説明例に過ぎない。図1は、本発明の
褐色鶏卵における血卵の非破壊検出装置の一実施例の概
略の構成を示す模式図で、図2は図1の非破壊検出装置
におけ血卵判定のフローチャート図で、図3は図1の
非破壊検出装置における透過率比による血卵判別結果の
一例を示す図で、図4は図1の非破壊検出装置における
血卵判定を行なうニューラルネットワークの構成図であ
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to an embodiment shown in the drawings. However, unless otherwise specified, the shapes and other relative arrangements of the components described in this embodiment are not intended to limit the scope of the present invention, but are merely illustrative examples. Figure 1 is a schematic view showing an outline of a configuration of an embodiment of a nondestructive detection device Chitamago in brown eggs the present invention, FIG 2 is that put the nondestructive detector <br/> in FIG Chitamago FIG. 3 is a flow chart of the determination, FIG. 3 is a diagram showing an example of a blood egg determination result based on the transmittance ratio in the non-destructive detection device of FIG. 1, and FIG. 4 is a neural network for performing the blood egg determination in the non-destructive detection device of FIG. FIG.

【0019】図1に示すように、本発明の褐色鶏卵にお
ける血卵の非破壊検出装置は、密閉空間内に設けた撮像
部20と、画像処理演算部21とより構成する。
As shown in FIG. 1, the non-destructive detection apparatus for blood eggs in brown chicken eggs of the present invention comprises an imaging section 20 provided in a closed space and an image processing operation section 21.

【0020】前記撮像部20は、鶏卵載置部19と、光
学フィルタ群13とCCDカメラ11とより構成する。
上記鶏卵載置部19は、光源12を収納した収納筒12
aと中央に光源よりの投射孔を形成する小孔16を持つ
遮蔽板17と鶏卵10を水平横長状に載置可能にする支
持台18とより構成する。なお、光源12の投射軸芯に
光学フィルタ群13をその前部に持つCCDカメラ11
を設ける構成にしてある。なお、鶏卵10側から見た場
合支持台18の下部には小孔16を備えた遮光板17に
より光源より小孔以外の外部には散逸させないようにし
てある。また、CCDカメラ側には背後光源からの照明
が鶏卵外表面に漏洩することがないようにしてある。
The image pickup section 20 comprises a chicken egg mounting section 19, an optical filter group 13, and a CCD camera 11.
The above-mentioned egg placing portion 19 is provided in the storage tube 12 in which the light source 12 is stored.
a, a shielding plate 17 having a small hole 16 for forming a projection hole from a light source in the center, and a support base 18 on which the eggs 10 can be placed horizontally and horizontally. A CCD camera 11 having an optical filter group 13 in front of the projection axis of the light source 12 is provided.
Is provided. When viewed from the egg 10 side, a light-shielding plate 17 having a small hole 16 is provided below the support base 18 so as not to be scattered outside the light source from the light source. Also, the illumination from the rear light source is prevented from leaking to the outer surface of the egg on the CCD camera side.

【0021】前記画像処理演算部21は、画像取込ボー
ド14とCPU15とを含む演算部とより構成する。な
お、前記光学フィルタ群や卵の透過画像により、基準波
長域を形成する血吸収波長域 570〜580nmと、特定波
長域を形成する可視光領域の620〜630nm、640〜650n
m、680nm、760nmの波長域の透過画像を選択できる
ようにしてある。
The image processing operation section 21 is composed of an operation section including the image capturing board 14 and the CPU 15. According to the optical filter group and the transmission image of the egg, the blood absorption wavelength range 570 to 580 nm forming the reference wavelength range and the visible light range 620 to 630 nm and 640 to 650 nm forming the specific wavelength range are determined.
The transmission images in the wavelength ranges of m, 680 nm and 760 nm can be selected.

【0022】なお、鶏卵10を載置する姿勢は、水平横
長でなくてもよく、何れの方向でも良い。また、図1の
ように水平方向からの画像投影でなくてもよく、垂直方
向あるいは斜め方向からでも良い。
The posture in which the eggs 10 are placed does not have to be horizontal and horizontal, and may be in any direction. Further, the image need not be projected from the horizontal direction as shown in FIG. 1, but may be projected from the vertical direction or the oblique direction.

【0023】上記構成であるので、使用に当たっては、
CCDカメラ11と光源12との間に鶏卵10を水平横
長状に載置し、光源12よりの透過光と光学フィルタ群
13を用いて前記各波長における透過画像を得るように
し、CCDカメラ11によりビデオ画像信号を画像処理
演算部21へ送り込むようにしてある。画像データは、
前記画像取込ボード14に設けた図示してないA/D
変換装置によCCDカメラよりのビデオ画像信号をデ
ィジタル化して1画面当たり横640×縦480画素、
1画素当たり256諧調に分解した濃淡画像を抽出する
ようにしてある。このときの画像をモニタテレビに表示
することにより、背後光源からの照明が鶏卵の外側表面
に漏洩していないことを確認しながら測定を進めても良
い。
With the above configuration, in use,
The egg 10 is placed horizontally and horizontally between the CCD camera 11 and the light source 12, and the transmitted light from the light source 12 and the optical filter group 13 are used to obtain transmission images at the respective wavelengths. The video image signal is sent to the image processing operation unit 21. Image data is
Not shown provided in the image capture board 14 A / D
Digitized to one screen per horizontal 640 × vertical 480 pixels video image signals from the CCD camera Ri by the converter,
A grayscale image decomposed into 256 tones per pixel is extracted. By displaying the image at this time on the monitor television, the measurement may be advanced while confirming that the illumination from the back light source does not leak to the outer surface of the egg.

【0024】本実施例では血卵判定の閾値の設定には血
卵と正常卵とを必要とするが、予め血卵を集めることは
不可能であるため、別の血卵から得た血液を正常卵に注
入して作成した人工血卵を供試した。上記用意された正
常卵及び人工血卵の透過画像データより透過率を求め両
者比較することにより正常卵と血卵を識別する閾値を設
定した。
In this embodiment, a blood egg and a normal egg are required to set the threshold for determining a blood egg. However, since it is impossible to collect blood eggs in advance, blood obtained from another blood egg is used. An artificial blood egg prepared by injecting into a normal egg was used. The transmittance was determined from the transmission image data of the prepared normal egg and the artificial blood egg, and a threshold for discriminating between a normal egg and a blood egg was set by comparing the two.

【0025】図2には、図1により行なう本発明の血卵
判定のフローチャートの一例を示す。図に見るように、
ステップ30で各波長における透過画像を得る。ステッ
プ31でA/D変換装置を介して、ステップ32で各波
長域での濃淡画像を抽出する。ステップ33で各波長域
における透過率を演算する。ステップ34で特定波長域
に対する基準波長域での透過率比を演算する。ステップ
35で上記算出した透過率比の適当値を閾値に設定し、
該閾値により血卵の判定(ステップ36)ないし正常卵
の判定(ステップ37)をする。
FIG. 2 shows an example of a flowchart of the blood egg determination of the present invention performed according to FIG. As you can see in the figure,
In step 30, a transmission image at each wavelength is obtained. In step 31, through the A / D converter, in step 32, a gray image in each wavelength range is extracted. In step 33, the transmittance in each wavelength region is calculated. In step 34, the transmittance ratio in the reference wavelength region to the specific wavelength region is calculated. In step 35, an appropriate value of the calculated transmittance ratio is set as a threshold,
The determination of a blood egg (step 36) or the determination of a normal egg (step 37) is performed based on the threshold value.

【0026】なお、画像処理演算部21の画像取込ボー
ド14のA/D変換装置により、上記、ステップ32の
各波長域での濃淡画像の抽出を行い、また、画像処理演
算部21のCPU15により、上記、ステップ33にお
ける各波長域の透過率は下記演算式により行なってい
る。 透過率=ディジタル画像グレイ値/漂白白色版のグレイ値×100 (%) 上記、ステップ34における各波長域の透過率比は下記
演算式により行なっている。 透過率比=特定波長域の透過率に対する基準波長域の透過率×100 (%) そして、ステップ35でこの透過率比の適当値を閾値と
して設定して、血卵か正常卵かの判定をしている。
The A / D converter of the image acquisition board 14 of the image processing / calculating section 21 extracts the grayscale image in each wavelength range in step 32 described above. Thus, the transmittance in each wavelength range in step 33 is calculated by the following equation. Transmittance = Gray value of digital image / Gray value of bleached white plate × 100 (%) The transmittance ratio of each wavelength region in step 34 is calculated by the following equation. Transmittance ratio = Transmittance of reference wavelength region with respect to transmittance of specific wavelength region × 100 (%) Then, in step 35, an appropriate value of the transmittance ratio is set as a threshold to determine whether the egg is a blood egg or a normal egg. are doing.

【0027】上記閾値の設定については、下記のように
している。図3は、血吸収波長域である波長570〜580n
mでの透過率を波長620〜630nmの透過率に対し、正常
卵と人工血卵のそれぞれの値を(20サンプル)示した
ものである。図に見るように、人工血卵の透過率比の最
小値10がその閾値を示し、前記波長620〜630nmの場
合は透過率比は10以下の場合は正常卵と見做し、10
以上の場合は血卵として判別している。
The setting of the threshold is as follows. FIG. 3 shows a wavelength of 570 to 580 n, which is a blood absorption wavelength range.
The values of the transmittance at m and the transmittance at a wavelength of 620 to 630 nm are shown for each of the normal egg and the artificial blood egg (20 samples). As shown in the figure, the minimum value 10 of the transmittance ratio of the artificial blood egg indicates the threshold value. When the wavelength is 620 to 630 nm, the transmittance ratio is 10 or less, and the egg is regarded as a normal egg.
In the above case, it is determined as a blood egg.

【0028】表1(a)は上記閾値10を用いて血卵判
定を行なった結果で、正常卵に対しては判別率92.8%、
人工血卵では判別率83.3%、総合判別率88.5%を得た。
また、波長640〜650nmでの透過率に対する波長570〜5
80nmでの透過率比5を閾値に設定した場合の判別で
は、表1(b)に示すように正常卵の判別率95.0%、血
卵の判別率90.4%総合判別率93.7%を得た。
Table 1 (a) shows the results of blood egg determination using the above-mentioned threshold value 10, and the discrimination rate is 92.8% for normal eggs,
The artificial blood egg gave a discrimination rate of 83.3% and an overall discrimination rate of 88.5%.
In addition, the wavelength 570-5 for the transmittance at the wavelength 640-650 nm.
In the discrimination when the transmittance ratio at 80 nm was set to 5 as the threshold value, the discrimination rate of normal eggs was 95.0%, the discrimination rate of blood eggs was 90.4%, and the total discrimination rate was 93.7%, as shown in Table 1 (b).

【0029】[0029]

【表1】 [Table 1]

【0030】図4には、本発明で構築したニューラルネ
ットワークの一例を示してある。図に見るように、入力
層40、中間層50、出力層60からなる階層型ネット
ワークでその構成要素であるニューロンは多入力1出力
の非線形素子からなり、学習機能により誤差をなるべく
少なくするようにしている。入力層に、620〜630nm、
640〜650nm、680nm、760nmの透過率比の4因子を
入力し、中間層に4個のニューロンを配設し、出力層に
正常卵または血卵を出力する構造にする。表2は、上記
ニューラルネットワークを使用して同じ供試材料の血卵
判定を行なった結果を示してある。該結果によると、正
常卵の判別率は98.9%、血卵の判別率は96.9%、総合判
別率は98.0%となり、表1(a)、(b)と比較して判
別率は格段に向上している。
FIG. 4 shows an example of a neural network constructed according to the present invention. As shown in the figure, in the hierarchical network composed of the input layer 40, the intermediate layer 50, and the output layer 60, the neurons, which are constituent elements thereof, are composed of non-linear elements having multiple inputs and one output, and errors are reduced as much as possible by a learning function. ing. 620-630nm for the input layer,
Four factors with a transmittance ratio of 640 to 650 nm, 680 nm, and 760 nm are input, four neurons are arranged in the middle layer, and a normal egg or blood egg is output in the output layer. Table 2 shows the results of performing a blood egg determination on the same test material using the above neural network. According to the results, the discrimination rate of normal eggs was 98.9%, the discrimination rate of blood eggs was 96.9%, and the overall discrimination rate was 98.0%. The discrimination rate was significantly improved as compared with Tables 1 (a) and (b). are doing.

【0031】[0031]

【表2】 [Table 2]

【0032】[0032]

【発明の効果】上記構成により、請求項1、2及び4
載の発明により、褐色鶏卵に透過光を照射して得られる
透過画像について、光学フィルタ、CCDカメラ、A/
D変換を含むビデオ信号処理により各波長域での濃淡画
像を抽出し、各波長域における透過率を用いて特定波長
域での透過率に対する基準波長域の透過率比を求め、こ
の透過率比の適当値を閾値として設定することにより、
褐色鶏卵の血卵を確実且つ短時間に、非破壊的に検出す
ることができる。また、請求項3、5記載の発明によ
、特定波長における透過率比を入力層に持ち、出力層
に正常卵または血卵を出力する階層的ニューラルネット
ワーク構造を構築する構成にしてあるので、血卵判別率
は更に格段の向上を期待できる。
According to the above construction, according to the first , second and fourth aspects of the present invention, the transmission image obtained by irradiating the transmission light to the brown hen egg is used for the optical filter, the CCD camera, and the A / D converter.
A grayscale image in each wavelength region is extracted by video signal processing including D conversion, and a transmittance ratio of a reference wavelength region to a transmittance in a specific wavelength region is determined using transmittance in each wavelength region. By setting an appropriate value of as the threshold,
Blood eggs of brown chicken eggs can be detected reliably and in a short time in a non-destructive manner. Further, the invention of claim 3 and 5, wherein, having a transmittance ratio in a specific wavelength to the input layer, the output layer are a configuration to build a hierarchical neural network structure for outputting a normal egg or Chitamago, The blood egg discrimination rate can be expected to be further improved.

【0033】なお、請求項3、5記載の発明は、上記し
たように、画像処理とニューラルネッワークによる検卵
システムであるので、閾値が変動する場合にも十分対応
できる。また、集卵場においてのみならず、外食、総
菜、菓子等の鶏卵加工業者その他の大量消費者における
検卵システムとして容易に援用できる。
The third and fifth aspects of the present invention are egg inspection systems based on image processing and a neural network as described above, and therefore can sufficiently cope with a case where the threshold value fluctuates. In addition, the present invention can be easily used as an egg inspection system not only in an egg collection place but also in a chicken egg processor and other large-scale consumers of eating out, side dishes, sweets and the like.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の褐色鶏卵における血卵の非破壊検出装
置の一実施例の概略の構成を示す模式図である。
FIG. 1 is a schematic view showing a schematic configuration of an embodiment of a non-destructive detection apparatus for blood eggs in brown chicken eggs of the present invention.

【図2】図1の非破壊検出装置における血卵判定のフロ
ーチャート図である。
FIG. 2 is a flowchart of a blood egg determination in the non-destructive detection device of FIG.

【図3】図1の非破壊検出装置における透過率比による
血卵判別結果の一例を示す図である。
FIG. 3 is a diagram showing an example of a blood egg discrimination result based on a transmittance ratio in the nondestructive detection device of FIG. 1;

【図4】図1の非破壊検出装置における血卵判定を行な
うニューラルネットワークの構成図である。
FIG. 4 is a configuration diagram of a neural network for performing a blood egg determination in the nondestructive detection device of FIG. 1;

【符号の説明】[Explanation of symbols]

10 鶏卵 11 CCDカメラ 12 光源 13 光学フィルタ群 14 画像取込ボード 15 CPU 18 支持台 19 鶏卵載置部 20 撮像部 21 画像処理演算部 DESCRIPTION OF SYMBOLS 10 Chicken egg 11 CCD camera 12 Light source 13 Optical filter group 14 Image capture board 15 CPU 18 Support base 19 Chicken egg mounting part 20 Imaging part 21 Image processing calculation part

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01N 21/00 - 21/01 G01N 21/17 - 21/61 G01N 21/84 - 21/958 実用ファイル(PATOLIS) 特許ファイル(PATOLIS)──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int. Cl. 7 , DB name) G01N 21/00-21/01 G01N 21/17-21/61 G01N 21/84-21/958 Practical file ( (PATOLIS) Patent file (PATOLIS)

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 褐色鶏卵における血卵の非破壊検出方法
において、血吸収波長域である波長570〜580nmを基準波長とし、
一方620〜630nm、640〜650nm、680nm、760nmの
内より選択された波長域を特定波長域とし、 褐色鶏卵に
対する透過光を光学フィルタを介して前記各波長域にお
ける透過画像を形成させ、該透過画像に対するCCDカ
メラを介して得られたビデオ信号にA/D変換処理をし
て前記各波長域でのディジタル濃淡画像を抽出し、該濃
淡画像より透過率を求め、前記基準波長に対する特定波
長域での透過率の比を求め、前記特定波長域に対する基
準波長域での透過率比にもとづいて血卵を検出するよう
にしたことを特徴とする褐色鶏卵における血卵の非破壊
検出方法。
1. A method for non-destructively detecting blood eggs in brown chicken eggs , wherein a wavelength of 570 to 580 nm, which is a blood absorption wavelength range, is used as a reference wavelength,
On the other hand, 620-630nm, 640-650nm, 680nm, 760nm
The wavelength range selected from the above is defined as a specific wavelength range, and the transmitted light to the brown hen egg is transmitted through an optical filter to form a transmitted image in each of the wavelength ranges , and the transmitted image is transmitted through a CCD camera to the transmitted image. A / D conversion processing is performed on the obtained video signal to extract digital grayscale images in the respective wavelength ranges, a transmittance is obtained from the grayscale images, and a ratio of the transmittance in the specific wavelength range to the reference wavelength is calculated. Calculated for the specific wavelength range
A method for non-destructively detecting blood eggs in brown chicken eggs, wherein blood eggs are detected based on a transmittance ratio in a sub-wavelength range .
【請求項2】 人工血卵の特定波長に対する基準波長で
の透過率比が最小となるときの正常卵の透過率比を閾値
して設定することにより血卵を検出するようにした
とを特徴とする請求項1記載の褐色鶏卵における血卵の
非破壊検出方法。
Detecting the Chitamago by 2. A transmission ratio of the reference wavelength for a particular wavelength of the artificial Chitamago is set as a threshold <br/> transmittance ratio of normal egg when the minimum The method for non-destructively detecting blood eggs in brown chicken eggs according to claim 1, characterized in that:
【請求項3】 前記血卵の検出が、 前記620〜630nm、640〜650nm、680nm、760nmの
4つの特定波長における4因子の、前記基準波長に対す
透過率比を入力させる入力層と中間に競い合い層を持
ち出力層に正常卵と血卵を出力するようにした階層型ネ
ットワーク構造のニューラルネットワーク介して行な
うようにしたことを特徴とする請求項1記載の褐色鶏卵
における血卵の非破壊検出方法。
(3)Detection of the blood egg, 620-630nm, 640-650nm, 680nm, 760nm
Four factors at four specific wavelengths with respect to the reference wavelength
To Competition layer between input layer to input transmittance ratio and middle
Output layer to output normal and blood eggs
Network Structure Neural NetworkToGo through
2. A brown chicken egg according to claim 1, wherein
Method for nondestructive detection of blood egg in stomach.
【請求項4】 褐色鶏卵における血卵の非破壊検出装置
において、 投射光源よりの投射光のみを透過させるようにした卵受
け台と、その上部に設けた前記透過光より血吸収波長域
である波長570〜580nmの基準波長と、620〜630nm、
640〜650nm、680nm、760nmの内、選択された特定
波長域の透過画像を得るフィルタ付きCCDカメラとを
内蔵する密閉容器と、前記CCDカメラよりのビデオ信
号よりA/D変換処理を介して前記基準波長及び特定波
長域でのディジタル濃淡画像を抽出する画像処理部と、
該濃淡画像より透過率を求め、前記基準波長と選択され
特定波長域での透過率比を求め、該透過率比に対し
、人工血卵の特定波長に対する基準波長での透過率比
が最小となるときの正常卵の透過率比を閾値として設定
した閾値により血卵を検出する演算部とより構成した
ことを特徴とする褐色鶏卵における血卵の非破壊検出装
置。
4. A non-destructive detection apparatus for blood eggs in brown hen eggs, wherein the egg cradle is configured to transmit only the projection light from the projection light source, and a blood absorption wavelength range from the transmitted light provided above the egg cradle.
A reference wavelength of 570 to 580 nm, 620 to 630 nm,
Specific selected from 640-650nm, 680nm, 760nm
Extracting a closed container with a built-in filter with a CCD camera to obtain a transmission image of the wavelength range, the digital gray-scale image at the reference wavelength and the particular wavelength range through the A / D conversion processing from the video signal from the CCD camera An image processing unit;
The transmittance is determined from the grayscale image, and the transmittance is selected as the reference wavelength.
Obtains the transmittance ratio in a specific wavelength range has, with respect to the transmittance ratio, transmittance ratio at a reference wavelength for the particular wavelength of the artificial blood eggs
There nondestructive detection device Chitamago in brown eggs, characterized in that it has more configuration and operation unit for detecting a Chitamago by said threshold set the transmittance ratio of normal eggs as a threshold value when the minimum.
【請求項5】 褐色鶏卵における血卵の非破壊検出装置
において、 投射光源よりの投射光のみを透過させるようにした卵受
け台と、その上部に設けた前記透過光より血吸収波長域
である波長570〜580nmの基準波長と、620〜630nm、
640〜650nm、680nm、760nmの特定波長域の透過画
像を得るフィルタ付きCCDカメラとを内蔵する密閉容
器と、前記CCDカメラよりのビデオ信号よりA/D変
換処理を介して前記基準波長及び特定波長域でのディジ
タル濃淡画像を抽出する画像処理部と、該濃淡画像より
透過率を求め、前記基準波長と前記4つの特定波長域で
の透過率比を求め、該透過率比により血卵を検出する演
算部とより構成され、 前記演算部には、適当閾値を演算すべく、前記血吸収波
長域である基準波長の透過率と前記4つの特定波長
おける透過率比を入力させる入力層と、前記4つの特定
波長域に対応する4個のニューロンからなる中間層とを
持ち、出力層に正常卵と血卵を出力するようにした階層
型ニューラルネットワーク構造を設ける構成としたこと
を特徴とする褐色鶏卵における血卵の非破壊検出装置。
Claim 5.Non-destructive detection device of blood egg in brown chicken egg
At An egg tray that transmits only the projection light from the projection light source
A base and a blood absorption wavelength range from the transmitted light provided above the base.
A reference wavelength of 570 to 580 nm, 620 to 630 nm,
Transmission image of specific wavelength range from 640 to 650 nm, 680 nm, 760 nm
A sealed container with a built-in CCD camera with a filter to obtain an image
A / D conversion from the video signal from the CCD camera
Digitization at the reference wavelength and a specific wavelength range through a conversion process.
An image processing unit for extracting a gray scale image, and
Determine the transmittance, the reference wavelength and the four specific wavelength range
To determine the transmittance ratio of blood and detect blood eggs based on the transmittance ratio.
It consists of an arithmetic unit and  In the calculation unit, in order to calculate an appropriate threshold,The blood absorption wave
Long rangeWith reference wavelength transmittanceThe fourSpecific wavelengthAreaTo
Input layer for inputting the transmittance ratio inThe four specifics
Compatible with wavelength rangeAn intermediate layer consisting of four neurons
It has a hierarchy that outputs normal eggs and blood eggs to the output layer
Configuration with a neural network structure
Characterized byBrownNon-destructive detector for blood eggs in colored chicken eggs.
JP19491199A 1999-07-08 1999-07-08 Non-destructive detection method and device of blood egg in brown chicken egg Expired - Fee Related JP3333472B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19491199A JP3333472B2 (en) 1999-07-08 1999-07-08 Non-destructive detection method and device of blood egg in brown chicken egg

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19491199A JP3333472B2 (en) 1999-07-08 1999-07-08 Non-destructive detection method and device of blood egg in brown chicken egg

Publications (2)

Publication Number Publication Date
JP2001021490A JP2001021490A (en) 2001-01-26
JP3333472B2 true JP3333472B2 (en) 2002-10-15

Family

ID=16332399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19491199A Expired - Fee Related JP3333472B2 (en) 1999-07-08 1999-07-08 Non-destructive detection method and device of blood egg in brown chicken egg

Country Status (1)

Country Link
JP (1) JP3333472B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162454A (en) * 2004-12-08 2006-06-22 Niigata Univ Nondestructive detection method for bloody egg, and detector therefor
CN104089959A (en) * 2014-03-31 2014-10-08 浙江工商大学 Fast and accurate beef quality detection system and method
CN109164107A (en) * 2018-10-09 2019-01-08 辽宁大学 A kind of device and method of non-destructive testing field Parus varius egg hatching time

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1027042C2 (en) * 2004-09-14 2006-03-15 Staalkat Internat B V Inspection of eggs for the presence of blood.
JP2006226715A (en) * 2005-02-15 2006-08-31 Dainippon Printing Co Ltd Visual inspection device
KR100962509B1 (en) 2007-11-19 2010-06-14 인하대학교 산학협력단 Apparatus for Inspecting Eggs based on Image Processing and Method therefor
US9435732B2 (en) * 2009-06-25 2016-09-06 Yissum Research Development Of The Hebrew University Of Jerusalem Ltd. Hyperspectral identification of egg fertility and gender
JP6658051B2 (en) * 2016-02-16 2020-03-04 三菱電機株式会社 Wafer inspection apparatus, wafer inspection method, and semiconductor device manufacturing method
JP7321516B2 (en) * 2019-09-12 2023-08-07 株式会社ナベル egg sorter
CN110991220B (en) * 2019-10-15 2023-11-07 京东科技信息技术有限公司 Egg detection and image processing method and device, electronic equipment and storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162454A (en) * 2004-12-08 2006-06-22 Niigata Univ Nondestructive detection method for bloody egg, and detector therefor
JP4591064B2 (en) * 2004-12-08 2010-12-01 国立大学法人 新潟大学 Nondestructive detection method for blood eggs
CN104089959A (en) * 2014-03-31 2014-10-08 浙江工商大学 Fast and accurate beef quality detection system and method
CN109164107A (en) * 2018-10-09 2019-01-08 辽宁大学 A kind of device and method of non-destructive testing field Parus varius egg hatching time

Also Published As

Publication number Publication date
JP2001021490A (en) 2001-01-26

Similar Documents

Publication Publication Date Title
EP0585759B1 (en) Process for detecting and mapping dirt on the surface of a photographic element
EP0595261A1 (en) Method of inspecting solid body for foreign matter
JP3333472B2 (en) Non-destructive detection method and device of blood egg in brown chicken egg
JP4590553B2 (en) Nondestructive judgment method for ginger damaged grains
JP2004245695A (en) Image processing method and foreign substance detection apparatus
Yoon et al. Improved modified pressure imaging and software for egg micro-crack detection and egg quality grading
JPH1144652A (en) Method and apparatus for inspection of flaw on glass, and lamp-manufacturing apparatus
JP2003216928A (en) Normal/defective confection deciding system
JPH10104076A (en) Method and system for inspecting mixture of foreign matter
JP3212936B2 (en) Non-destructive detection method of abnormal chicken eggs
JP3445327B2 (en) Method and apparatus for measuring uneven gloss and uneven printing
JPH09312317A (en) Flip chip junction inspection method and device
JPH0448251A (en) Bottle inspecting device
JP3047168B2 (en) Inspection method of chicken eggs
CN111458344A (en) Mask defect visual detection method, equipment and storage medium
JPH0711414B2 (en) Glass bottle uneven thickness inspection method
JP3175347B2 (en) Inspection method for foreign substances in sheet products
JPH0682390A (en) Method and apparatus for inspecting surface defect
JPH04270951A (en) Method for inspecting bottle
JP3498120B2 (en) High-precision measuring method and apparatus for uneven gloss
JPH05130512A (en) Picture element defect measuring instrument for solid-state image pickup element
JPH05113411A (en) Bottle inspecting apparatus
JPH05180621A (en) Apparatus for inspecting seal of top face of bottle opening
JPH08297098A (en) Method and apparatus for measuring gloss irregularity of coated paper board
JP2803388B2 (en) Parts inspection equipment

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees