JP2020176952A - Electronic device and control method thereof - Google Patents
Electronic device and control method thereof Download PDFInfo
- Publication number
- JP2020176952A JP2020176952A JP2019080192A JP2019080192A JP2020176952A JP 2020176952 A JP2020176952 A JP 2020176952A JP 2019080192 A JP2019080192 A JP 2019080192A JP 2019080192 A JP2019080192 A JP 2019080192A JP 2020176952 A JP2020176952 A JP 2020176952A
- Authority
- JP
- Japan
- Prior art keywords
- meat
- light
- electronic device
- food
- lighting means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 67
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 235000013305 food Nutrition 0.000 claims abstract description 31
- 235000013372 meat Nutrition 0.000 claims description 133
- 230000003595 spectral effect Effects 0.000 claims description 51
- 238000005286 illumination Methods 0.000 abstract 3
- 210000000845 cartilage Anatomy 0.000 description 23
- 210000003205 muscle Anatomy 0.000 description 23
- 210000000988 bone and bone Anatomy 0.000 description 19
- 210000002435 tendon Anatomy 0.000 description 19
- 238000002441 X-ray diffraction Methods 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 12
- 235000015220 hamburgers Nutrition 0.000 description 7
- 235000020997 lean meat Nutrition 0.000 description 6
- 230000001678 irradiating effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 235000015278 beef Nutrition 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000001819 mass spectrum Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 235000020991 processed meat Nutrition 0.000 description 1
- 238000012950 reanalysis Methods 0.000 description 1
- 235000013580 sausages Nutrition 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、電子機器およびその制御方法に関し、特に複数のスペクトル成分を用いて対象を分析する技術に関する。 The present invention relates to an electronic device and a control method thereof, and more particularly to a technique for analyzing an object using a plurality of spectral components.
近年、光を用いて分析を行う技術が知られている。特許文献1には、食肉の切断面に、可視光を照射し、異なる波長に対応する複数の画像を用いて、骨部と脂肪部の領域を抽出することが開示されている。 In recent years, a technique for performing analysis using light has been known. Patent Document 1 discloses that a cut surface of meat is irradiated with visible light, and a plurality of images corresponding to different wavelengths are used to extract regions of a bone portion and a fat portion.
特許文献1では、センサから得られるそれぞれのスペクトル成分の信号レベルが大きいほうが、それぞれのスペクトル成分の特性を解析しやすくなるため、対象に光を照射している。 In Patent Document 1, the larger the signal level of each spectral component obtained from the sensor, the easier it is to analyze the characteristics of each spectral component, so that the target is irradiated with light.
しかしながら、光を照射することによって、分析対象には光による熱の影響が発生する。特に、食肉のように熱の影響を受けやすい食材に対して照射する光量が大きすぎると、分析対象が傷んでしまう可能性がある。 However, by irradiating with light, the influence of heat by the light is generated on the analysis target. In particular, if the amount of light irradiated to a food material that is easily affected by heat, such as meat, is too large, the analysis target may be damaged.
本発明は、上記の課題に鑑み、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と分析対象の保護の両立を図る装置または方法の提供を目的とする。 In view of the above problems, an object of the present invention is to provide an apparatus or method for achieving both accuracy of analysis and protection of an analysis target when analyzing an object using a plurality of spectral components.
上記課題を解決するため、本願の請求項1に記載の発明は、照明手段が食品に光を照射し、前記食品から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータを生成し、該スペクトルデータの分析を行う分析システムにおいて用いられる電子機器であって、前記照明手段を制御する制御手段を有し、前記制御手段は、前記食品の移動速度、および、前記食品と前記照明手段との距離の少なくともいずれかに応じて、前記照明手段の光量を調整することを特徴とするものである。 In order to solve the above problems, in the invention according to claim 1 of the present application, the lighting means irradiates the food with light, receives the light reflected from the food, and obtains spectral data showing the spectral intensities of a plurality of spectral components. An electronic device used in an analysis system that generates and analyzes spectrum data, and has a control means for controlling the lighting means, and the control means includes the moving speed of the food and the food and the said. It is characterized in that the amount of light of the lighting means is adjusted according to at least one of the distances from the lighting means.
本発明によれば、熱の影響を受けやすい分析対象であっても、複数のスペクトル成分を用いて対象の分析を行う際に、分析の精度と分析対象の保護の両立を図ることが可能となる。 According to the present invention, even if the analysis target is susceptible to heat, it is possible to achieve both the accuracy of the analysis and the protection of the analysis target when analyzing the target using a plurality of spectral components. Become.
以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、以下で説明する具体例は、本発明に係る最良の実施形態の一例ではあるが、本発明はこれらの具体例に限定されるものではない。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. The specific examples described below are examples of the best embodiments according to the present invention, but the present invention is not limited to these specific examples.
まず、本実施形態に係る分析システムの構成について図1を用いて説明する。図1は、本実施形態に係る分析システムの構成を示すブロック図である。 First, the configuration of the analysis system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of an analysis system according to the present embodiment.
本実施形態に係る分析システムは、電子機器100、計測装置110、および、ディスプレイ120を有する。電子機器100乃至ディスプレイ120は、部分的又は全体的にネットワーク130を介して接続されている。なお、図1に示すものは一例であって、それぞれの構成要素をさらに多くの装置に分散させて構成するようにしても良いし、1つの装置内にまとめて構成しても良い。さらに、電子機器100は、不図示の工場内の食肉加工を行う装置と通信可能に接続され、かつ、その装置を制御する。なお、ネットワーク130はLAN(Local Area Network)及びインターネットを含む。
The analysis system according to the present embodiment includes an
電子機器100は、CPU101、識別器102、データベース103、および、操作部104を含む。
The
CPU101は、不図示のメモリに格納されたプログラムに従い、電子機器100の全体動作を制御する演算回路である。CPU101は、計測装置200を制御し、かつ、識別器102に計測装置200から取得したスペクトルデータを解析させる。識別器102は、GPU(Graphics Processing Unit)やFPGA(field−programmable gate array)で構成される。本実施形態では、識別器102は、データベース103に記憶された、機械学習によって生成された識別パラメータが設定される。この識別器102は、計測装置200から得られたスペクトルデータを用いて、分析対象である肉の部位の判別処理を行う。データベース103は、予めクラウドやサーバ上で機械学習を実行することで生成された識別パラメータを格納している。この識別パラメータは分析対象の種類や、分析レベル、あるいは、教師データに応じて複数種類が用意されており、CPU101によって選択された識別パラメータが、識別器102の識別処理に用いられる。操作部104は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ120に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
The
計測装置110は、コントローラ111、計測部112、および、照明装置113を有する。コントローラ111はCPU101と通信するとともに、CPU101の指示に従って計測装置110の全体を制御する。
The
計測部112は、コントローラ111によって制御され、不図示の分析対象となる肉から各スペクトル成分の信号レベルを計測し、スペクトルデータを生成する。
The
スペクトルデータは、複数のスペクトル成分のそれぞれに対して、該スペクトル成分の信号レベル(スペクトル強度)を示すデータであれば、特に限定はされない。スペクトルデータとしては、例えば、分析対象となる食肉に対して刺激を与えた際に生じる応答について、その応答強度(スペクトル強度に対応する信号レベル)を計測パラメータ(スペクトル成分に対応する)に対して格納したデータを用いることができる。ここで言う「刺激」とは、電磁波や音、電磁場、温度、湿度を含む。 The spectrum data is not particularly limited as long as it is data indicating the signal level (spectral intensity) of each of the plurality of spectral components. As the spectral data, for example, for the response generated when the meat to be analyzed is stimulated, the response intensity (signal level corresponding to the spectral intensity) is set with respect to the measurement parameter (corresponding to the spectral component). The stored data can be used. The term "stimulus" here includes electromagnetic waves, sound, electromagnetic fields, temperature, and humidity.
スペクトルデータが、紫外又は可視又は赤外域の分光スペクトルデータ、ラマン分光スペクトルデータである場合には、スペクトル成分は波長や波数とすることができる。また、スペクトルデータが質量スペクトルデータである場合には、スペクトル成分は質量電荷比や質量数とすることができる。 When the spectral data is ultraviolet or visible or infrared spectroscopic spectrum data or Raman spectroscopic spectrum data, the spectral component can be a wavelength or a wave number. Further, when the spectrum data is mass spectrum data, the spectrum component can be a mass-to-charge ratio or a mass number.
スペクトルデータは、分析対象となる食肉に含まれる複数の構成成分に対応する群のいずれかに属する。スペクトル成分およびスペクトル強度は、スペクトルデータを取得した計測領域に含まれる、分析対象となる食肉の構成成分のそれぞれに応じて異なる。そのため、スペクトルデースペクトルデータを分析することで、スペクトルデータが属する群を識別し、それぞれのスペクトルデータを各構成成分に帰属することができる。 The spectral data belongs to one of the groups corresponding to a plurality of constituents contained in the meat to be analyzed. The spectral component and the spectral intensity differ depending on each of the constituent components of the meat to be analyzed, which are included in the measurement region in which the spectral data is acquired. Therefore, by analyzing the spectrum day spectrum data, the group to which the spectrum data belongs can be identified, and each spectrum data can be assigned to each component.
なお、本実施形態では、スペクトル成分を可視光および近赤外光の波長帯域における数十〜数百種の波長成分とし、計測部112は、それぞれの波長に対応するフィルタを設けたイメージセンサ、あるいは、回折格子によって分光された光を受光するラインセンサで構成されている。
In the present embodiment, the spectral components are tens to hundreds of wavelength components in the wavelength band of visible light and near-infrared light, and the
照明装置113は、分析対象である食肉を照射するための光源を有する。本実施形態では、近赤外光および可視光をカバーするハロゲンランプが用いられており、食肉を照射することで、食肉によって反射される各スペクトル成分の強度を増やすことができる。
The
ディスプレイ120は、電子機器100の識別結果を表示する。ディスプレイ120としては、例えば液晶ディプレイや有機ELディスプレイなどを用いることができる。ディスプレイ120は、ネットワーク130を介して送信される画像データを表示することができる。
The
次に、図2を用いて、本実施形態における食肉の加工工程について説明する。肉卸業者または畜産農家を経て、加工対象となる食肉が加工工場へと運ばれる。食肉の加工工程においては、主に同じ部位が固まっているブロック肉と呼ばれるものと、ブロック肉の塊の中に入らなかった、様々な部位の肉片を塊とした端肉と呼ばれるものが含まれる。本実施形態においては、ハンバーグを作成するための食肉の加工工程を例にあげて説明をするが、本実施形態においてはこれに限らず、ソーセージやその他の食肉加工食品においても適用可能なことは言うまでもない。 Next, the meat processing step in the present embodiment will be described with reference to FIG. The meat to be processed is transported to the processing factory through a meat wholesaler or a livestock farmer. In the process of processing meat, there are mainly what is called block meat in which the same part is solidified, and what is called end meat which is a mass of meat pieces of various parts that did not enter the block meat mass. .. In the present embodiment, the process of processing meat for producing a hamburger will be described as an example, but the present embodiment is not limited to this, and it may be applicable to sausages and other processed meat foods. Needless to say.
ブロック肉と端肉は、肉の品質保持のためにそれぞれ冷凍された状態で肉の加工工程へと進む。特に、様々な部位の肉片をまとめた端肉は大きな塊となっている。 The block meat and the cut meat proceed to the meat processing process in a frozen state in order to maintain the quality of the meat. In particular, the end meat, which is a collection of meat pieces from various parts, is a large mass.
以下、図2(a)を用いて説明をする。まずは、ブロック肉や端肉に含まれる骨を検知したり、異物が含まれていないかを確認したりするために、X線を用いた分析を行う。ブロック肉や端肉がベルトコンベア上に並べられた状態で分析が行われ、骨や異物があった場合には後工程においてそれらを取り除く。X線の分析ではベルトコンベアのスピードが15メートル/分、あるいは、25メートル/分のスピードで分析を行うことができる。 Hereinafter, a description will be given with reference to FIG. 2 (a). First, an analysis using X-rays is performed in order to detect bones contained in block meat and end meat and to confirm whether or not foreign substances are contained. The analysis is performed with the block meat and the end meat arranged on the belt conveyor, and if there are bones or foreign substances, they are removed in the subsequent process. In the X-ray analysis, the belt conveyor can be analyzed at a speed of 15 meters / minute or 25 meters / minute.
次に、ハイパースペクトル分析と本実施形態において呼ぶ、一度に照射可能な波長域の広いハイパースペクトルカメラを使用した分析を行う。なお、ここでは数十から数百の波長別の出力を用いることを前提しているためハイパースペクトルとしているが、数種の波長別の出力を用いることを前提としたマルチスペクトルであっても本発明を適用することは可能である。 Next, an analysis using a hyperspectral camera having a wide wavelength range that can be irradiated at one time, which is called hyperspectral analysis in the present embodiment, is performed. In addition, although it is assumed here that the output of several tens to several hundreds of wavelengths is used, the hyperspectrum is used, but even if the multispectrum is based on the assumption that the output of several wavelengths is used, this book is used. It is possible to apply the invention.
ハイパースペクトル分析においては、識別器102が、計測装置110が取得したスペクトルデータに対して、機械学習に基づいて得られた識別パラメータを用いて識別処理を行う。そして、軟骨、筋、腱がいずれの位置にあるか、あるいは、食肉に含まれているか否か、等の結果を出力する。
In the hyperspectral analysis, the
ハイパースペクトル分析においても、X線分析と同様に、ベルトコンベア上に肉をのせて分析を行うので、X線分析と同様のスピードでベルトコンベアを稼働できるようにすることが望ましい。識別器102よる識別結果の出力に時間を要する場合には、ハイパースペクトルカメラをX線の装置よりも多く設置したり、識別器の数を増やしたりすることが望ましい。X線分析、および、ハイパースペクトル分析の後、骨、異物、軟骨、筋、および、腱などの部位を除き、これらを除いた後のブロック肉や端肉をミンチし、ハンバーグを成型する工程へと進む。
In hyperspectral analysis, as in X-ray analysis, meat is placed on the belt conveyor for analysis, so it is desirable to be able to operate the belt conveyor at the same speed as in X-ray analysis. When it takes time to output the discrimination result by the
次に、図2(b)を用いて、X線分析及びハイパースペクトル分析の様子について説明する。本実施形態において、食肉201に対するX線分析とハイパースペクトル分析は、ベルトコンベア202上で行われるものとする。図2(b)に示すように、ベルトコンベア202上を端肉もしくはブロック肉である食肉201が流れ、まずX線分析装置203による分析が行われ、次に本実施形態の分析システムであるハイパースペクトル分析が行われる。ベルトコンベア202の移動方向は図2(b)に示す矢印の方向である。このように、各分析は肉の上から光波を当てて分析が行われる。ハイパースペクトルの分析ではX線の分析よりも、分析対象の表面付近にしか光が届かない。よって、ハイパースペクトルの分析結果は、X線分析結果に比べ、照射面から浅い範囲についての情報に制限される。そのため、ハイパースペクトル分析では、分析対象である食肉を2センチや5センチといった範囲にスライスしておくことが望ましい。あるいは、例えば食肉201を10センチや8センチといった厚みでスライスをしておいて、食肉201の両面を分析するようにしてもよい。分析した結果を受け、食肉201は、そのままの状態で通常ミンチの過程に進んでもよい食肉(Aパターンとする)、さらなる人間による判定が必要な食肉(Bパターンとする)、そのままでは通常のミンチの過程に進まないほうがよい食肉(Cパターン)に分類される。なお、ブロック肉の場合、ブロック肉とする段階でどの部位の肉かを把握できているため、ブロック肉はX線分析やハイパースペクトル分析の対象とせずに、端肉のみをX線分析およびハイパースペクトル分析の対象としてもよい。
Next, the state of X-ray analysis and hyperspectral analysis will be described with reference to FIG. 2 (b). In the present embodiment, the X-ray analysis and the hyperspectral analysis of the
照明装置113は、計測部112を挟むように、指向性を持った光を照射する光源がペアで設けられ、それぞれの光源の照射方向が鉛直方向に対して、互いに逆方向に傾いている。互いに異なる角度で光を照射することで、一方の光源の照射によって影になる部位を、他方の光源で照射することができるとともに、両方の光源から照射された光を一箇所に集めることで、分析対象により多くの光を照射することができる。
The
次に、図3(a)、(b)を用いて本実施形態における端肉と呼ばれる肉塊について説明する。図3(a)にはブロック肉の一例を示し、図3(b)には端肉の一例を示す。図3(a)は、赤身と脂身とが含まれるブロック肉を示している。ブロック肉では、各部位の位置関係が分かっているので、例えば、図3(a)に示す赤身と脂身のブロック肉の中には軟骨が含まれていないことを分析せずに判定できる場合がある。図3(b)に示すように端肉においては、細かく切られた部位が元の部位の位置関係に関係なく、塊になっている。 Next, a meat mass called end meat in the present embodiment will be described with reference to FIGS. 3 (a) and 3 (b). FIG. 3A shows an example of block meat, and FIG. 3B shows an example of end meat. FIG. 3A shows block meat containing lean meat and fat meat. Since the positional relationship of each part is known in the block meat, for example, it may be possible to determine that the lean and fat block meat shown in FIG. 3 (a) does not contain cartilage without analysis. is there. As shown in FIG. 3 (b), in the end meat, the finely cut portion is a lump regardless of the positional relationship of the original portion.
図4を用いて、本実施形態における食肉の分析処理について説明する。図4は食肉の分析処理のフローチャートを示しており、この処理は、図2におけるX線分析とハイパースペクトル分析に該当する。 The meat analysis process in the present embodiment will be described with reference to FIG. FIG. 4 shows a flowchart of a meat analysis process, which corresponds to the X-ray analysis and the hyperspectral analysis in FIG.
この処理は、不図示のメモリに格納されたプログラムに従ってCPU101が処理することで実現する。なお、図4では、ステップを省略してSと示す。
This process is realized by the
S401では、CPU101は設定されているメニューの確認を行う。メニューとは、食肉の種類、産地、状態(ブロック肉か端肉か)、分析後に行われる工程の種類やレベル、対応するメニュー(ハンバーグ用、細切れ用など)などである。このようなメニューの設定は、ユーザ入力によるものであっても、予め設定されたスケジュールに沿うものであっても構わない。
In S401, the
S402では、CPU101は設定されたメニューに従って、初期設定を行う。まず、CPU101は、メニューに従い、データベース103に格納された、機械学習によって得られた識別パラメータのうちのいずれかを選択し、識別器102に設定する。一口に食肉といっても、牛肉、豚肉、および、鶏肉では識別パラメータは異なっており、さらに、同じ牛肉であっても種類や産地によっても識別パラメータを使い分ける必要がある。
In S402, the
また、同一種類、同一産地の食肉であっても、分析後の食肉に適用する工程の違いによって識別パラメータを使い分けるようにしてもよい。例えば、分析後の食肉を細かくミンチする場合と、粗くミンチする場合とで、食肉に含まれる腱、筋、あるいは、軟骨の許容範囲には差が生じる。あるいは、予め部位がわかっているブロック肉と、部位が混在している端肉とで、要求される分析制度が異なるため、これに応じて識別パラメータを使い分けてもよい。 Further, even if the meat is of the same type and from the same production area, the identification parameters may be used properly depending on the difference in the process applied to the meat after analysis. For example, there is a difference in the permissible range of tendons, muscles, or cartilage contained in the meat between the case where the meat after analysis is finely minced and the case where the meat is coarsely minced. Alternatively, since the required analysis system differs between the block meat whose parts are known in advance and the end meat in which the parts are mixed, the identification parameters may be used properly according to the required analysis system.
また、食肉の種類、産地、あるいは、状態によって、注目すべきスペクトル成分を変更してもよい。つまり、計測部112で得られるスペクトルデータのうち、設定されたメニューに応じて注目すべきスペクトル成分を特定したり、識別においてあまり重要視されない不要なスペクトル成分を用いないようにしたりしてもよい。あるいは、腱なのか、筋なのか、あるいは、軟骨なのか、識別対象の部位に応じて判断材料として重みを置くべきスペクトル成分を変更するようにしてもよい。
In addition, the spectral component of interest may be changed depending on the type, production area, or state of the meat. That is, among the spectral data obtained by the measuring
また、CPU101はベルトコンベア202によって移動される食肉の移動速度、あるいは、照明装置113から分析対象である食肉201までの距離に応じて、照射装置103の光量を調整するようにしてもよい。照射装置103から照射される光は熱を持っているため、光量が多すぎると食肉が痛む可能性がある。反対に、光量が少なすぎると計測部112に到達する各スペクトル成分が小さくなってしまい、精度の高い分析を行うことが難しくなる。そこで、ベルトコンベア202の駆動速度(食肉の移動速度)が遅いほど、食肉201が照明装置113によって照射される時間が長くなり、熱の影響を受けやすくなるため、照明装置113の光量を小さくするようにする。あるいは、照射装置113の光源と食肉201の距離が近いほど、食肉201が光源による熱の影響を受けやすくなるため、照明装置113の光量を小さくするようにする。このように、CPU101は、事前に計測あるいは実験したデータに従って、ベルトコンベア202の駆動速度、あるいは、照明装置113から分析対象である食肉201までの距離に基づいて、照明装置113の光量を調整する。
Further, the
なお、照明装置113から分析対象である食肉201までの距離は、予めユーザに測定させて入力させても良いし、照明装置113の2つの光源間の距離と、光源の鉛直方向に対する傾きから推定してもよい。例えば、照明装置113の2つの光源の傾きを変更するためのモータを装着し、計測部112のイメージセンサにて得られたスペクトルデータから画像データを生成する。この画像データにおいて、この2つの光源から照射された光の位置が一致するように、光源の傾きを自動的に調整するようにしてもよい。
The distance from the
また、分析対象の種類に応じて、照明装置113の光量を調整してもよい。冷凍の度合いや、分析対象となる食材の種類に応じて、光源から照射された光による熱の影響の大きさは異なる。そのため、分析対象である食材の熱耐性が低いほど、照明装置113の光量を小さく調整するようにしてもよい。
Further, the amount of light of the
また、比較的柔らかい筋よりも、硬い筋のほうが、赤身や脂肪などと識別しやすい。そのため、柔らかい筋を識別する必要がなければ、柔らかい筋を識別する必要がある場合に比べて、各スペクトル成分の出力が小さくても識別に成功する可能性が高い。このように、要求される分析の精度を抑えられる場合には、照明装置113の光量を小さくするようにしてもよい。
In addition, hard muscles are easier to distinguish from lean meat and fat than relatively soft muscles. Therefore, if it is not necessary to identify the soft streaks, there is a high possibility that the identification will be successful even if the output of each spectral component is small, as compared with the case where it is necessary to identify the soft streaks. As described above, when the required accuracy of analysis can be suppressed, the amount of light of the
さらに、ベルトコンベア202に乗せる食材をスライスためのスライサーを設け、食材の種類に応じて、このスライサーがスライスする厚みを変更するようにしてもよい。
Further, a slicer for slicing the food material to be placed on the
S403では、CPU101はキャリブレーション処理を行う。工場内の明るさやライト、あるいは、他のラインで用いられた照明の影響によって、計測部112から得られるスペクトルデータに、ばらつきが生じる可能性がある。そこで、一定の色であるベルトコンベア202を撮影したことによって得られるスペクトルデータに基づいて、各スペクトル成分に適用するゲインを調整するホワイトバランス処理を行い、スペクトルデータについてのキャリブレーション処理を行う。そして、このキャリブレーション処理が完了すると、ユーザに、X線分析とハイパースペクトル分析の準備が完了したことを通知する。
In S403, the
S404では、CPU101は、ベルトコンベア202によって運搬される食肉201に対して、X線分析装置203によるX線分析を行わせ、食肉に含まれる金属や骨などの異物を検出する。このX線分析は周知の方法を用いればよい。
In S404, the
S405では、CPU101は、S404のX線分析の結果、異物が検出された場合にはS406に進み、検出されていなければS407に進む。
In S405, the
S406では、CPU101は、分析データDXnを不図示のメモリに記憶する。nは各端肉もしくはブロック肉に与えられる、識別のための数字である。DXnは、骨や異物の有無の情報だけを示してもよいし、どこに骨や異物があるかを示す座標情報を含むものでもよいし、骨や異物が含まれているかを示す画像データでもよい。骨が含まれていた場合には、ブロック肉の場合にはDXnに骨の有無の情報、端肉の場合には骨の位置までを含む情報を含めるようにしてもよい。ブロック肉の場合には、骨がある場合には、その塊のほとんどが骨である可能性が高いが、端肉の場合には、その塊の一部が骨である可能性が高い。よって、ブロック肉の場合には、骨の有無を示すことでその塊自体が加工に使えるのかを素早く把握することができる。一方で、端肉の場合には、骨の位置を示すことで後の処理で骨を取り除く処理を行えるようにする。さらにDXnには骨の含まれる割合や面積を示すようにしてもよい。また、X線による分析結果は、ハイパースペクトルカメラによる分析の前にディスプレイ120に表示するようにしてもよい。さらに、骨が閾値以上の割合(1つの肉片のなかで)または大きさであると判定したブロック肉または端肉は、ハイパースペクトルの分析をせずに廃棄または他の加工に使用してもよい。
In S406, the
S407では、CPU101は、X線分析を終えた食肉201に対して、ハイパースペクトル分析を行う。ベルトコンベア202上の食肉201が、照明装置113による光の照射を受け、食肉201からの反射光を受光した計測部112が数十〜数百種の波長成分のそれぞれに対応する信号レベルを生成し、スペクトルデータとして出力する。このスペクトルデータは、スペクトル成分ごとに、イメージセンサに対応する二次元のそれぞれの座標における信号レベルを有するものとする。すなわち、イメージセンサに対応する二次元の座標を(x、y)、スペクトル成分を(u)、信号レベルを(v)とすると、スペクトルデータは(x、y、u、v)で表すことができる。
In S407, the
予めクラウドやサーバを用いて、部位を判別済みの食肉に対するスペクトルデータの群を教師データとして、深層畳み込みニューラルネットワークなどのディープラーニングによる機械学習を行い、識別器102のための学習モデルを生成する。電子機器100のデータベース103に、この学習モデルに対応する識別パラメータを格納しておくことで、識別器102は計測装置100から得られたスペクトルデータを解析することで、食肉のどの部分が、どの部位に該当するのかを識別することが可能となる。
Using a cloud or a server in advance, machine learning by deep learning such as a deep convolutional neural network is performed using a group of spectral data for meat whose parts have been determined as training data, and a learning model for the
機械学習に用いる教師データとしては、ポジティブデータとネガティブデータがある。軟骨、筋、および、腱を除去するため、これら軟骨、筋、および、腱に相当する部位を判別済みの食肉に対するスペクトルデータを、ポジティブデータとする。反対に、軟骨、筋、および、腱を除去するため、これら以外の赤身や脂肪に相当する部位を判別済みの食肉に対するスペクトルデータを、ネガティブデータとする。ポジティブデータを用いて機械学習を行うことで、識別器102は軟骨、筋、および、腱の部位の識別ができるようになる。ネガティブデータを用いて機械学習を行うことで、識別器102は、軟骨、筋、および、腱が含まれていない可能性が高い部位を識別できるようになる。
Teacher data used for machine learning includes positive data and negative data. In order to remove cartilage, muscle, and tendon, spectral data for meat for which the parts corresponding to these cartilage, muscle, and tendon have been identified are used as positive data. On the contrary, in order to remove cartilage, muscles, and tendons, spectral data for meat for which parts corresponding to lean meat and fat other than these have been identified is taken as negative data. By performing machine learning using positive data, the
これまで除去対象としていた軟骨、筋、および、腱について、わざわざ画像データやスペクトルデータが蓄積されている可能性は高くない。そのため、これらを識別するための十分な量のポジティブデータを用意するために時間が掛かってしまう可能性がある。そこで、まずは比較的用意しやすい赤身や脂肪に相当するスペクトルデータを用いてネガティブデータによる機械学習を行った学習モデルを使用する。そして、軟骨、筋、および、腱に相当するスペクトルデータが十分に集まってから、ポジティブデータに基づく学習モデルに切り替える、あるいは、ネガティブデータとポジティブデータを併用した学習モデルに切り替えるようにする。なお、軟骨、筋、および、腱を区別する必要がないのであれば、ネガティブデータに基づく学習モデルのみを用いるようにしてもよい。 It is unlikely that image data or spectral data has been purposely accumulated for the cartilage, muscles, and tendons that have been targeted for removal. Therefore, it may take time to prepare a sufficient amount of positive data to identify them. Therefore, first, we use a learning model in which machine learning is performed using negative data using spectral data corresponding to lean meat and fat, which are relatively easy to prepare. Then, after sufficient spectral data corresponding to cartilage, muscle, and tendon are collected, the learning model is switched to the learning model based on the positive data, or the learning model is switched to the learning model in which the negative data and the positive data are used together. If it is not necessary to distinguish between cartilage, muscle, and tendon, only a learning model based on negative data may be used.
なお、識別器102は、スペクトルデータの座標ごとに部位の識別を行うが、その識別結果が誤りである可能性もある。そこで、CPU101は、同一の部位と判別された隣接する座標をグループ化し、グループ化された面積のサイズが閾値未満である場合には、識別結果が誤りである可能性が高いと判断するようにしてもよい。あるいは、部位ごとに、二次元座標上における分散レベルを判別し、判別結果が密であると判定されたエリアについてのみ、識別結果を採用するようにしてもよい。
The
さらに、図3を用いて説明したように、ブロック肉は各部位の位置関係がわかっているので、スペクトルデータを座標単位ではなく、複数座標を含むエリア単位で機械学習させてもよい。こうすることで、識別器102は、各部位の相対的な位置関係も考慮して部位の識別ができるようになる。これに対し、端肉は元の部位の位置関係に関係なく塊になっているため、座標単位、あるいは、エリアとしても極狭い単位で機械学習させることが望ましい。
Further, as described with reference to FIG. 3, since the positional relationship of each part of the block meat is known, the spectrum data may be machine-learned not in the coordinate unit but in the area unit including a plurality of coordinates. By doing so, the
S408では、CPU101は、識別器102からハイパースペクトル分析データを取得し、DMnとする。nは各端肉もしくはブロック肉に与えられる、識別のための数字である。DMnには、各部位の大きさや割合を示すデータ、各部位の位置を示すデータや、軟骨、筋、腱が所定以上の大きさ含まれているかを示すデータが含まれる。
In S408, the
軟骨、筋、腱が所定以上、例えば端肉の面積に対して20%以上含まれている場合は、その肉はNGとしてデータに記録され、上述したCパターンの肉と判定される。反対に、軟骨、筋、腱が見当たらないと判定された場合は、上述したAパターンの肉と判定される。DMnには、各部位のエリアを示す情報が含まれる。例えば今回の分析において、作業者が知りたいのは、軟骨、筋、腱の情報なので、軟骨、筋、腱に関してはどの位置にどのくらいあるのかといった詳細情報を取得し、赤身や脂肪に関しては大まかな割合だけの情報取得をしてもよい。このように、必要な情報に関しては詳細に、その他の情報に関しては大まかな情報のみを取得するようにすることで、識別器102の処理負荷が減り、分析の時間を短くすることができる。そして、CPU101は、X線分析の結果とハイパースペクトル分析の結果を、ディスプレイ120に表示させる。
When cartilage, muscle, and tendon are contained in a predetermined amount or more, for example, 20% or more with respect to the area of the end meat, the meat is recorded as NG in the data and is determined to be the above-mentioned C pattern meat. On the contrary, when it is determined that cartilage, muscle, and tendon are not found, it is determined that the meat has the above-mentioned A pattern. The DMn contains information indicating the area of each part. For example, in this analysis, the worker wants to know information on cartilage, muscles, and tendons, so obtain detailed information such as where and how much cartilage, muscles, and tendons are, and roughly for lean meat and fat. Information on only the percentage may be acquired. As described above, the processing load of the
S409では、CPU101は、食肉201が、軟骨、筋、腱が見当たらない明らかに問題のない肉(Aパターンの肉)であればS411に進み、そうでない場合は、S410へ進む。
In S409, the
S410では、CPU101は、食肉201が、軟骨、筋、腱が所定以上含まれており、このままでは明らかに問題のある肉(Cパターンの肉)であればS412に進み、そうでない場合は、S413へ進む。このとき、Cパターンなのか、そうでないのか(Bパターンなのか)分からない場合には、S413に進む。例えば、軟骨や筋が20%以上含まれていたらCパターンと判定するような場合に、軟骨や筋が18%含まれており、さらに軟骨と赤身が混じったところが10%あるような場合には、S413に進む。このように、明らかにCパターンと判定する閾値を超えていないような場合には、Cパターンとは異なるS413に進むことで、ハンバーグ作成に使用されない肉の量を減らすことができる。
In S410, the
S411では、CPU101は、肉nをハンバーグにするためのミンチ処理である処理工程Aへ進める。ここでは処理工程Aとしてハンバーグの作成処理を例に挙げたが、分析した食肉を、予めメニューで設定した料理あるいは調理のために処理する工程であればよい。
In S411, the
S412では、CPU101は、肉nをハンバーグ作成処理以外の処理工程Cへと進めるようにする。例えば、S410において明らかにNGであると判定された場合には、端肉を通常よりもさらに細かくミンチしたり、他の触感が求められるような加工品に使用したり、出汁などのために使用するようにしてもよい。
In S412, the
S413では、CPU101は、肉nを人間によって再分析してもらい、人間による再分析結果に基づいて、AパターンがCパターンかを判定しなおす。
In S413, the
S414では、S413で得られた人間による判定結果と、その肉に対するスペクトルデータを、識別器102の学習モデルを強化するための教師データに追加する。S413に進んだ食肉については、機械学習が十分ではないと考えられる。そこで、S413の判定結果とそのスペクトルデータをクラウドまたはサーバに送信し、機械学習を強化するための教師データとする。
In S414, the human determination result obtained in S413 and the spectral data for the meat are added to the teacher data for strengthening the learning model of the
S404乃至S414の処理は、ベルトコンベア202を食肉201が流れる間は繰り返し行われ、ハイパースペクトル分析を終了する指示が作業者からあった場合に、この図4のフローチャートを終了する。
The processing of S404 to S414 is repeated while the
以上、説明したように、本発明は、食品の移動速度、あるいは、食品と照明手段との距離に応じて、照明手段の光量を調整する。こうすることで、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と分析対象の保護の両立を図ることが可能となる。 As described above, the present invention adjusts the amount of light of the lighting means according to the moving speed of the food or the distance between the food and the lighting means. By doing so, when analyzing an object using a plurality of spectral components, it is possible to achieve both the accuracy of the analysis and the protection of the analysis object.
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiment is supplied to the system or device via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or device reads the program code. This is the process to be executed. In this case, the program and the recording medium that stores the program constitute the present invention.
Claims (13)
前記照明手段を制御する制御手段を有し、
前記制御手段は、前記食品の移動速度、および、前記食品と前記照明手段との距離の少なくともいずれかに応じて、前記照明手段の光量を調整することを特徴とする電子機器。 An electronic device used in an analysis system in which a lighting means irradiates a food with light, receives the light reflected from the food, generates spectral data indicating the spectral intensities of a plurality of spectral components, and analyzes the spectral data. There,
It has a control means for controlling the lighting means, and has
The electronic device is characterized in that the control means adjusts the amount of light of the lighting means according to at least one of the moving speed of the food and the distance between the food and the lighting means.
前記分析システムは、前記スペクトルデータの分析を行うことによって、前記食肉に含まれる、肉の部位を識別することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。 The food is meat
The electronic device according to any one of claims 1 to 7, wherein the analysis system identifies a portion of meat contained in the meat by analyzing the spectrum data.
前記スペクトルデータを生成する生成手段と、
前記スペクトルデータの分析を行う分析手段を有することを特徴とする請求項1乃至10のいずれか1項に記載の分析システム。 With the lighting means
A generation means for generating the spectrum data and
The analysis system according to any one of claims 1 to 10, further comprising an analysis means for analyzing the spectrum data.
前記食品の移動速度、および、前記食品と前記照明手段との距離の少なくともいずれかに応じて、前記照明手段の光量を調整することを特徴とする電子機器の制御方法。 An electronic device used in an analysis system in which a lighting means irradiates a food with light, receives the light reflected from the food, generates spectral data indicating the spectral intensities of a plurality of spectral components, and analyzes the spectral data. It ’s a control method,
A method for controlling an electronic device, which comprises adjusting the amount of light of the lighting means according to at least one of the moving speed of the food and the distance between the food and the lighting means.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080192A JP2020176952A (en) | 2019-04-19 | 2019-04-19 | Electronic device and control method thereof |
US16/844,833 US11436716B2 (en) | 2019-04-19 | 2020-04-09 | Electronic apparatus, analysis system and control method of electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080192A JP2020176952A (en) | 2019-04-19 | 2019-04-19 | Electronic device and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020176952A true JP2020176952A (en) | 2020-10-29 |
Family
ID=72936412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080192A Pending JP2020176952A (en) | 2019-04-19 | 2019-04-19 | Electronic device and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020176952A (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003098081A (en) * | 2001-09-27 | 2003-04-03 | Kubota Corp | Quality measuring device for agricultural products |
JP2003185576A (en) * | 2001-12-17 | 2003-07-03 | Yanmar Agricult Equip Co Ltd | Nondestructive quality decision apparatus for agricultural products |
JP2008014873A (en) * | 2006-07-07 | 2008-01-24 | Yanmar Co Ltd | Device for determining internal quality |
US20080204733A1 (en) * | 2005-01-12 | 2008-08-28 | Gareth Jones | Sensing in Meat Products and the Like |
JP2009115613A (en) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | Foreign matter inspecting apparatus |
JP2012083282A (en) * | 2010-10-14 | 2012-04-26 | Ail Kk | Illumination system for inspection device |
US20170131200A1 (en) * | 2014-06-15 | 2017-05-11 | The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organizati | Method for huanglongbing (hlb) detection |
JP2017129562A (en) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | Measurement system, information processing apparatus, information processing method, and program |
JP2018049004A (en) * | 2016-08-25 | 2018-03-29 | ヴァイアヴィ・ソリューションズ・インコーポレイテッドViavi Solutions Inc. | Spectroscopic classification involved in observance of dietary restriction |
-
2019
- 2019-04-19 JP JP2019080192A patent/JP2020176952A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003098081A (en) * | 2001-09-27 | 2003-04-03 | Kubota Corp | Quality measuring device for agricultural products |
JP2003185576A (en) * | 2001-12-17 | 2003-07-03 | Yanmar Agricult Equip Co Ltd | Nondestructive quality decision apparatus for agricultural products |
US20080204733A1 (en) * | 2005-01-12 | 2008-08-28 | Gareth Jones | Sensing in Meat Products and the Like |
JP2008014873A (en) * | 2006-07-07 | 2008-01-24 | Yanmar Co Ltd | Device for determining internal quality |
JP2009115613A (en) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | Foreign matter inspecting apparatus |
JP2012083282A (en) * | 2010-10-14 | 2012-04-26 | Ail Kk | Illumination system for inspection device |
US20170131200A1 (en) * | 2014-06-15 | 2017-05-11 | The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organizati | Method for huanglongbing (hlb) detection |
JP2017129562A (en) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | Measurement system, information processing apparatus, information processing method, and program |
JP2018049004A (en) * | 2016-08-25 | 2018-03-29 | ヴァイアヴィ・ソリューションズ・インコーポレイテッドViavi Solutions Inc. | Spectroscopic classification involved in observance of dietary restriction |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kamruzzaman et al. | Non-destructive prediction and visualization of chemical composition in lamb meat using NIR hyperspectral imaging and multivariate regression | |
Einarsdóttir et al. | Novelty detection of foreign objects in food using multi-modal X-ray imaging | |
Wang et al. | Spectral detection techniques for non-destructively monitoring the quality, safety, and classification of fresh red meat | |
Kamruzzaman et al. | Application of NIR hyperspectral imaging for discrimination of lamb muscles | |
ElMasry et al. | Chemical-free assessment and mapping of major constituents in beef using hyperspectral imaging | |
ElMasry et al. | Meat quality evaluation by hyperspectral imaging technique: an overview | |
Kamruzzaman et al. | Fast detection and visualization of minced lamb meat adulteration using NIR hyperspectral imaging and multivariate image analysis | |
Craigie et al. | Application of Hyperspectral imaging to predict the pH, intramuscular fatty acid content and composition of lamb M. longissimus lumborum at 24 h post mortem | |
Wu et al. | Novel non-invasive distribution measurement of texture profile analysis (TPA) in salmon fillet by using visible and near infrared hyperspectral imaging | |
Trinderup et al. | Comparison of a multispectral vision system and a colorimeter for the assessment of meat color | |
JP4317566B2 (en) | X-ray inspection apparatus and method for generating image processing procedure of X-ray inspection apparatus | |
Kobayashi et al. | Near infrared spectroscopy and hyperspectral imaging for prediction and visualisation of fat and fatty acid content in intact raw beef cuts | |
Aheto et al. | Multi-sensor integration approach based on hyperspectral imaging and electronic nose for quantitation of fat and peroxide value of pork meat | |
Cluff et al. | Optical scattering with hyperspectral imaging to classify longissimus dorsi muscle based on beef tenderness using multivariate modeling | |
Feng et al. | Real‐time prediction of pre‐cooked Japanese sausage color with different storage days using hyperspectral imaging | |
Garrido-Novell et al. | Quantification and spatial characterization of moisture and NaCl content of Iberian dry-cured ham slices using NIR hyperspectral imaging | |
Naganathan et al. | Hyperspectral imaging of ribeye muscle on hanging beef carcasses for tenderness assessment | |
Edwards et al. | Non-destructive spectroscopic and imaging techniques for the detection of processed meat fraud | |
Balage et al. | Shear force analysis by core location in Longissimus steaks from Nellore cattle using hyperspectral images–A feasibility study | |
Jiang et al. | Detection and visualization of soybean protein powder in ground beef using visible and near-infrared hyperspectral imaging | |
Allen | Recent developments in the objective measurement of carcass and meat quality for industrial application | |
JP7271286B2 (en) | Electronic equipment and its control method | |
Kamruzamman et al. | Online screening of meat and poultry product quality and safety using hyperspectral imaging | |
JP2020174601A (en) | Electronic apparatus and control method thereof | |
Sun et al. | Predicting pork color scores using computer vision and support vector machine technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |