JP2019200158A - Water content estimation device - Google Patents
Water content estimation device Download PDFInfo
- Publication number
- JP2019200158A JP2019200158A JP2018095443A JP2018095443A JP2019200158A JP 2019200158 A JP2019200158 A JP 2019200158A JP 2018095443 A JP2018095443 A JP 2018095443A JP 2018095443 A JP2018095443 A JP 2018095443A JP 2019200158 A JP2019200158 A JP 2019200158A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- sake rice
- rice
- sake
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 41
- 241000209094 Oryza Species 0.000 claims abstract description 263
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 263
- 235000009566 rice Nutrition 0.000 claims abstract description 263
- 238000005336 cracking Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 37
- 238000010801 machine learning Methods 0.000 claims description 36
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 235000013339 cereals Nutrition 0.000 abstract 2
- 230000006870 function Effects 0.000 description 28
- 230000013016 learning Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000007654 immersion Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010411 cooking Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002791 soaking Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013124 brewing process Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、酒米の含水率を推定する含水率推定装置に関する。 The present invention relates to a moisture content estimation device for estimating the moisture content of sake rice.
酒造において、精米、浸漬、蒸といった原料米の加工工程はその後の醸造工程の結果を左右する重要なプロセスである。特に、浸漬において、大吟醸酒などでは限定吸水と呼ぶ、吸水量を１％単位で調整する作業を行うこともあり、酒米の含水状態（含水率）の変化を詳細に把握することは酒品質の向上を図る上で重要である。ただし、原料米の状態（品種、精米歩合、水分率など）や浸漬条件（時間、温度など）により米の含水状態は大きく変わることが知られている。 In sake brewing, processing of raw rice, such as milled rice, soaking, and steaming, is an important process that determines the results of the subsequent brewing process. In particular, in the case of soaking, it is sometimes called “limited water absorption” in Daiginjo sake, etc., and the work of adjusting the amount of water absorption in units of 1% is sometimes performed. This is important for improving quality. However, it is known that the water content of rice greatly varies depending on the state of the raw rice (variety, rice polishing rate, moisture content, etc.) and the immersion conditions (time, temperature, etc.).
特許文献１には、水に浸漬した状態に配置された炊飯対象米を光学的に監視して、炊飯対象米の含水率に関連する含水率関連情報を経時的に測定し、含水率関連情報から推定される炊飯対象米の含水率の飽和状態を検知して、炊飯対象米が炊飯に適した含水状態であると判定する技術が記載されている。上記含水率関連情報としては、炊飯対象米からの光を監視して得られる炊飯対象米の吸水に伴う炊飯対象米の大きさの変化から求められる膨張率や、炊飯対象米からの透過光を監視して得られる炊飯対象米の吸水に伴う透過光強度が例示されている。 Patent Document 1 optically monitors rice-cooking rice arranged in a state immersed in water, measures moisture content-related information related to the moisture content of rice-cooked rice over time, and contains moisture content-related information. The technology which detects the saturation state of the moisture content of the rice cooking target rice estimated from, and determines that the rice cooking target rice is in a water containing state suitable for cooking rice is described. As the moisture content-related information, the expansion rate obtained from the change in the size of the rice to be cooked due to the water absorption of the rice to be cooked obtained by monitoring the light from the rice to be cooked or the transmitted light from the rice to be cooked The transmitted light intensity accompanying the water absorption of rice for rice cooking obtained by monitoring is illustrated.
特許文献１に記載の手法では、米の含水率が飽和した状態を検知できるが、含水率が飽和していない過渡的な状態において、具体的に米の含水率がどの程度であるのかを判定することはできない。 The method described in Patent Document 1 can detect a state where the moisture content of rice is saturated, but in a transitional state where the moisture content is not saturated, specifically determine how much the moisture content of rice is. I can't do it.
本発明は、上記の課題に鑑みてなされたものであり、その目的は、酒米の含水率を推定できる含水率推定装置を提供する点にある。 This invention is made | formed in view of said subject, The objective is to provide the moisture content estimation apparatus which can estimate the moisture content of sake rice.
上記目的を達成するための本発明に係る含水率推定装置の特徴構成は、水に浸漬した状態に配置された酒米を撮影する撮影装置と、前記撮影装置で撮影した画像データを取得する画像データ取得部と、前記画像データ取得部が取得した画像データを参照して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出する割れ率算出部と、前記割れ率算出部が算出した割れ率と、予め記憶している酒米の割れ率と酒米の含水率との間の関係とに基づいて、酒米の含水率を推定する含水率推定部とを備える点にある。 In order to achieve the above object, the water content estimator according to the present invention is characterized by a photographing device for photographing sake rice arranged in water and an image for obtaining image data photographed by the photographing device. With reference to the image data acquired by the data acquisition unit and the image data acquisition unit, among a plurality of sake rice, a crack rate calculation unit that calculates a cracking rate that is the ratio of sake rice that has cracked, The moisture content estimation unit that estimates the moisture content of sake rice based on the cracking rate calculated by the crack rate calculation unit and the relationship between the cracking rate of sake rice and the moisture content of sake rice stored in advance. It is in the point provided with.
水に浸漬した状態に配置された複数の酒米のうち、割れが発生している酒米の割合である割れ率と酒米の含水率との間には所定の関係が成立することが見い出された。つまり、水に浸漬した状態に配置された複数の酒米のうち、水を吸収して割れが発生している酒米の割合である割れ率が分かれば、それら複数の酒米の含水率を推定できる。そこで本特徴構成では、割れ率算出部が、画像データ取得部が取得した画像データを参照して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出し、含水率推定部が、割れ率算出部が算出した割れ率と、予め記憶している酒米の割れ率と酒米の含水率との間の関係とに基づいて、酒米の含水率を推定する。つまり、酒米の含水率が飽和していない過渡的な状態であっても、画像データから、酒米の含水率をリアルタイムで推定できる。 It has been found that a predetermined relationship is established between the cracking ratio, which is the ratio of cracked rice among the plurality of sake rice arranged in water, and the moisture content of the sake rice. It was. That is, if the cracking rate, which is the ratio of sake rice that has been cracked by absorbing water among a plurality of sake rice that has been immersed in water, is known, the moisture content of those sake rice is determined. Can be estimated. Therefore, in this feature configuration, the crack rate calculation unit refers to the image data acquired by the image data acquisition unit, and calculates the crack rate, which is the proportion of sake rice that has cracked among a plurality of sake rice. The moisture content estimation unit calculates the moisture content of sake rice based on the cracking rate calculated by the cracking rate calculation unit and the relationship between the cracking rate of sake rice and the moisture content of sake rice stored in advance. presume. That is, even in a transitional state where the moisture content of sake rice is not saturated, the moisture content of sake rice can be estimated in real time from the image data.
本発明に係る含水率推定装置の別の特徴構成は、前記割れ率算出部は、前記画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行って、当該一つの酒米の処理済画像データを生成する画像処理部と、蓄積された訓練データの機械学習の実行結果を用いて、前記画像処理部が生成した前記処理済画像データにおける前記一つの酒米に割れが有るか否かを判定する形態判定部と、前記画像データ取得部が取得した画像データに含まれる複数の酒米のそれぞれについての前記形態判定部の判定結果に基づいて前記割れ率を算出するデータ解析部とを有する点にある。 Another characteristic configuration of the moisture content estimation apparatus according to the present invention is that the crack rate calculation unit extracts sake rice image data of an area including only one sake rice in the image data acquired by the image data acquisition unit. The image processing unit generates the processed image data of the one sake rice by performing image processing including processing, and the execution result of the machine learning of the accumulated training data is used to generate the image processing unit. A form determination unit for determining whether or not the one sake rice in the processed image data has a crack, and the form determination unit for each of a plurality of sake rice included in the image data acquired by the image data acquisition unit And a data analysis unit that calculates the cracking rate based on the determination result.
上記特徴構成によれば、割れ率算出部として、画像処理部は、画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行って、当該一つの酒米の処理済画像データを生成し、形態判定部は、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部が生成した処理済画像データにおける一つの酒米に割れが有るか否かを判定し、データ解析部は、画像データ取得部が取得した画像データに含まれる複数の酒米のそれぞれについての形態判定部の判定結果に基づいて割れ率を算出する。つまり、画像データ取得部が取得した、水に浸漬した状態に配置された酒米を撮影した画像データから、酒米の含水率を推定できる。特に本特徴構成では、酒米に割れが有るか否かを人間が判定するのではなく、形態判定部が、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部が生成した処理済画像データにおいて酒米に割れが有るか否かを判定する。その結果、酒米に割れが有るか否かに関して、短時間で、且つ、一貫性のある判定結果を得ることができる。加えて、形態判定部が酒米に割れが有るか否かを判定するために参照する画像データは、画像処理部が、画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行った後の処理済画像データである。つまり、形態判定部は、酒米に割れが有るか否かを判定するのに適した状態にした画像データ（処理済画像データ）から酒米に割れが有るか否かを判定できるので、その判定結果が適切である可能性が高まる。 According to the above characteristic configuration, the image processing unit as the crack rate calculation unit includes image processing including processing to extract sake rice image data of an area including only one sake rice in the image data acquired by the image data acquisition unit. The processed image data of the one sake rice is generated, and the form determining unit uses one of the processed image data generated by the image processing unit using the machine learning execution result of the accumulated training data. It is determined whether there is a crack in one sake rice, and the data analysis unit determines the crack rate based on the determination result of the form determination unit for each of a plurality of sake rice included in the image data acquired by the image data acquisition unit. Is calculated. That is, the moisture content of sake rice can be estimated from the image data acquired by the image data acquisition unit and taken from the sake rice arranged in a state immersed in water. In particular, in this feature configuration, humans do not determine whether or not sake rice is cracked, but the shape determination unit generates an image processing unit using machine learning execution results of accumulated training data. It is determined whether or not the sake rice has cracks in the processed image data. As a result, it is possible to obtain a consistent determination result in a short time as to whether or not the sake rice is cracked. In addition, the image data referred to by the form determination unit to determine whether or not the sake rice has cracks includes only one sake rice in the image data acquired by the image data acquisition unit by the image processing unit. It is the processed image data after performing the image process including the process which extracts the liquor rice image data of an area | region. That is, since the form determination unit can determine whether or not the sake rice has cracks from the image data (processed image data) in a state suitable for determining whether or not the sake rice has cracks, The possibility that the determination result is appropriate increases.
本発明に係る含水率推定装置の更に別の特徴構成は、前記画像処理部は、前記画像処理として、前記画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理、及び、当該一つの酒米が所定の姿勢になるように酒米画像を回転させる処理、及び、画像のコントラストを調整する処理を含む点にある。 Still another characteristic configuration of the moisture content estimation apparatus according to the present invention is that the image processing unit is a sake rice in a region including only one sake rice in the image data acquired by the image data acquisition unit as the image processing. It includes a process of extracting image data, a process of rotating the sake rice image so that the one sake rice has a predetermined posture, and a process of adjusting the contrast of the image.
上記特徴構成によれば、形態判定部が酒米に割れが有るか否かを判定するために参照する画像データは、画像処理部が、画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理、及び、一つの酒米が所定の姿勢になるように酒米画像を回転させる処理、及び、画像のコントラストを調整する処理を含む画像処理を行った後の処理済画像データである。つまり、形態判定部は、酒米に割れが有るか否かを判定するのに適した状態にした画像データ（処理済画像データ）から酒米に割れが有るか否かを判定できるので、その判定結果が適切である可能性が高まる。 According to the above characteristic configuration, the image data referred to by the form determination unit to determine whether or not the sake rice has cracks is the same as the one in the image data acquired by the image data acquisition unit by the image processing unit. Image processing including processing for extracting sake rice image data of an area including only rice, processing for rotating a sake rice image so that one sake rice has a predetermined posture, and processing for adjusting the contrast of the image It is processed image data after performing. That is, since the form determination unit can determine whether or not the sake rice has cracks from the image data (processed image data) in a state suitable for determining whether or not the sake rice has cracks, The possibility that the determination result is appropriate increases.
本発明に係る含水率推定装置の更に別の特徴構成は、前記形態判定部は、前記画像処理部が生成した前記処理済画像データと当該処理済画像データに含まれる酒米に割れが有るか否かの情報との組み合わせで構成される前記訓練データの前記機械学習を実行する点にある。 Still another characteristic configuration of the moisture content estimation apparatus according to the present invention is that the form determination unit has a crack in the processed image data generated by the image processing unit and the sake rice contained in the processed image data. The machine learning of the training data configured by a combination with information on whether or not is performed.
上記特徴構成によれば、機械学習は、酒米に割れが有るか否かを判定するのに適した状態にした画像データ（処理済画像データ）を訓練データとして行われ、酒米に割れが有るか否かの判定も、酒米に割れが有るか否かを判定するのに適した状態にした画像データ（処理済画像データ）に対して行われる。その結果、形態判定部の判定結果が適切である可能性が高まる。 According to the above characteristic configuration, the machine learning is performed as training data on image data (processed image data) that is in a state suitable for determining whether or not the sake rice has cracks. Whether or not the rice is present is also determined for the image data (processed image data) in a state suitable for determining whether or not the sake rice is cracked. As a result, the possibility that the determination result of the form determination unit is appropriate increases.
本発明に係る含水率推定装置の更に別の特徴構成は、前記割れ率算出部は、前記形態判定部が判定した、酒米に割れが有るか否かの情報の妥当性の高低を判定する妥当性判定部を備え、前記形態判定部は、前記妥当性判定部によって妥当性が高いと判定された、酒米に割れが有るか否かの情報と当該酒米に割れが有るか否かが判定された前記処理済画像データとの組み合わせを既存の前記訓練データに追加して前記機械学習を実行する点にある。 Still another characteristic configuration of the moisture content estimation apparatus according to the present invention is such that the crack rate calculation unit determines the level of validity of information on whether or not sake rice has cracks, as determined by the form determination unit. It is provided with a validity determination unit, and the form determination unit is determined to have high validity by the validity determination unit, information on whether or not sake rice has cracks, and whether or not the sake rice has cracks. The machine learning is performed by adding the combination with the processed image data determined as described above to the existing training data.
上記特徴構成によれば、妥当性判定部は、形態判定部が判定した酒米に割れが有るか否かの情報の妥当性の高低を判定し、形態判定部は、妥当性判定部によって妥当性が高いと判定された酒米に割れが有るか否かの情報とその酒米に割れが有るか否かが判定された処理済画像データとの組み合わせを既存の訓練データに追加して機械学習を実行する。つまり、機械学習は、酒米に割れが有るか否かを判定するのに特に適した状態にした画像データ（処理済画像データ）を訓練データとして行われるので、形態判定部の判定結果が適切である可能性が更に高まる。 According to the above characteristic configuration, the validity determination unit determines the level of validity of the information on whether or not the sake rice determined by the form determination unit is cracked, and the form determination unit is validated by the validity determination unit. A combination of information on whether cracked rice is cracked and processed image data determined whether cracked rice is added to existing training data Perform learning. In other words, since machine learning is performed as training data on image data (processed image data) that is particularly suitable for determining whether cracked rice has cracks, the determination result of the form determination unit is appropriate. The possibility of being further increased.
＜第１実施形態＞
以下に図面を参照して本発明の第１実施形態に係る含水率推定装置２０Ａ（２０）について説明する。
図１は、含水率推定装置２０Ａの構成を説明する図である。図２は、含水率推定方法の一部である形態判定処理を説明するフローチャートである。図３は、画像処理の例を説明する図である。本実施形態の含水率推定装置２０Ａは、撮影装置１と、画像データ取得部１１と、割れ率算出部１２と、含水率推定部１６とを備える。また、含水率推定装置２０Ａは、取り扱う情報を記憶する記憶装置１７を備える。図１では、含水率推定装置２０Ａが、撮影装置１と、画像データ取得部１１及び割れ率算出部１２及び含水率推定部１６及び記憶装置１７を含む酒米分析装置１０Ａ（１０）とを備えて構成される形態で図示している。
<First Embodiment>
The moisture content estimation apparatus 20A (20) according to the first embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating the configuration of the moisture content estimation apparatus 20A. FIG. 2 is a flowchart illustrating a form determination process that is a part of the moisture content estimation method. FIG. 3 is a diagram illustrating an example of image processing. 20A of moisture content estimation apparatuses of this embodiment are provided with the imaging device 1, the image data acquisition part 11, the crack rate calculation part 12, and the moisture content estimation part 16. FIG. The moisture content estimation device 20A includes a storage device 17 that stores information to be handled. In FIG. 1, the moisture content estimation device 20 </ b> A includes the imaging device 1, and a sake rice analyzer 10 </ b> A (10) including an image data acquisition unit 11, a crack rate calculation unit 12, a moisture content estimation unit 16 and a storage device 17. It is illustrated in the form configured.
含水率推定装置２０Ａの一部を構成する酒米分析装置１０Ａは、情報の演算処理機能及び情報の入出力機能及び情報の記憶機能などを備える１台又は複数台のコンピュータ装置などを用いて実現される。その場合、画像データ取得部１１の機能と、割れ率算出部１２（画像処理部１３の機能、形態判定部１４の機能、データ解析部１５の機能）の機能と、含水率推定部１６の機能とをコンピュータ装置に実現させるプログラム（含水率推定プログラム）を、そのコンピュータ装置にインストールしておけばよい。 The liquor rice analysis apparatus 10A constituting a part of the moisture content estimation apparatus 20A is realized by using one or a plurality of computer apparatuses having an information processing function, an information input / output function, an information storage function, and the like. Is done. In that case, the function of the image data acquisition unit 11, the function of the crack rate calculation unit 12 (the function of the image processing unit 13, the function of the form determination unit 14, the function of the data analysis unit 15), and the function of the moisture content estimation unit 16 A program (a moisture content estimation program) for realizing the above in a computer device may be installed in the computer device.
本実施形態の記憶装置１７は、撮影装置１が撮影した画像データを記憶する画像データ記憶部１７ａと、機械学習で利用する訓練データを記憶する訓練データ記憶部１７ｂと、形態判定部１４の判定結果を記憶する形態記憶部１７ｃとを備える。ここで、形態記憶部１７ｃは、形態判定部１４の判定結果を、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶してもよい。 The storage device 17 of the present embodiment includes an image data storage unit 17a that stores image data captured by the imaging device 1, a training data storage unit 17b that stores training data used in machine learning, and a determination by the form determination unit 14. A form storage unit 17c for storing the results. Here, the form memory | storage part 17c may memorize | store the determination result of the form determination part 14 in the state which can understand the change log | history of the form of one sake rice after starting immersion in water.
出力装置２は、画像情報や文字情報などを表示できる表示装置や、それら画像情報や文字情報などを紙などに印刷できる印刷装置などである。 The output device 2 is a display device that can display image information, character information, or the like, or a printing device that can print the image information, character information, or the like on paper or the like.
図２は、画像データを参照して酒米の形態を判定する形態判定処理を説明するフローチャートである。
図２の工程＃１０において画像データ取得部１１は、水に浸漬した状態に配置された酒米を撮影装置１で撮影した画像データを取得する。つまり、水に浸漬した状態に配置された酒米を撮影工程で撮影し、その画像データを取得する画像データ取得工程が実行される。例えば、撮影装置１は、水に浸漬した状態に配置された複数の酒米を撮影して１つの画像データを得る。そして、その画像データは酒米分析装置１０Ａに伝達され、画像データ取得部１１が取得する。画像データ取得部１１が取得した画像データを記憶装置１７の画像データ記憶部１７ａに記憶しておくこともできる。例えば、図３に示す画像データＡは、画像データ取得部１１が取得する画像データである。
FIG. 2 is a flowchart illustrating a form determination process for determining the form of sake rice with reference to image data.
In step # 10 of FIG. 2, the image data acquisition unit 11 acquires image data obtained by photographing the sake rice arranged in water with the photographing apparatus 1. That is, the image data acquisition process is performed in which sake rice arranged in a state of being immersed in water is imaged in the imaging process and the image data is acquired. For example, the imaging device 1 captures a plurality of sake rice arranged in water and obtains one image data. Then, the image data is transmitted to the liquor rice analyzer 10A, and the image data acquisition unit 11 acquires it. The image data acquired by the image data acquisition unit 11 can be stored in the image data storage unit 17a of the storage device 17. For example, the image data A shown in FIG. 3 is image data acquired by the image data acquisition unit 11.
次に、割れ率算出部１２は、画像データ取得部１１が取得した画像データを参照して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出する。例えば、「割れ」は、酒米に生じた亀裂の隙間が大きくなった状態である。本実施形態では、割れ率算出部１２は、画像処理部１３と形態判定部１４とデータ解析部１５とを備える。例えば、形態判定部１４は、酒米に割れが発生しているか否かを、様々な画像認識技術を用いて自動で判定することができる。後述する例では、形態判定部１４はＣＮＮ（Convolutional Neural Network）などのアルゴリズムを用いて酒米の形態を予測判定する場合について説明する。また、形態判定部１４は、画像処理部１３が生成した処理済画像データが入力された場合に、酒米の形態に関する情報が出力されるように機械学習を行う場合を説明する。例えば、機械学習では、形態判定部１４のアルゴリズムを構成するＣＮＮの複数の重みパラメータなどが調整される。 Next, the crack rate calculation unit 12 refers to the image data acquired by the image data acquisition unit 11 and calculates a crack rate, which is the ratio of the sake rice in which cracking has occurred among the plurality of sake rice. For example, “cracking” is a state in which a gap between cracks generated in sake rice has increased. In the present embodiment, the crack rate calculation unit 12 includes an image processing unit 13, a form determination unit 14, and a data analysis unit 15. For example, the form determination unit 14 can automatically determine whether cracking has occurred in sake rice using various image recognition techniques. In an example to be described later, the case where the form determination unit 14 predicts and determines the form of sake rice using an algorithm such as CNN (Convolutional Neural Network) will be described. Further, the case where the form determination unit 14 performs machine learning so that information regarding the form of sake rice is output when the processed image data generated by the image processing unit 13 is input. For example, in machine learning, a plurality of weight parameters of the CNN constituting the algorithm of the form determination unit 14 are adjusted.
図２の工程＃１１において画像処理部１３は、画像データ取得部１１が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行って、その一つの酒米の処理済画像データを生成する。つまり、画像データ取得工程で取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行って、その一つの酒米の処理済画像データを生成する画像処理工程（割れ率算出工程）が実行される。図３は、画像処理の例を説明する図である。本実施形態では、画像処理部１３が行う画像処理として、画像データ取得部１１が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理、及び、その一つの酒米が所定の姿勢になるように酒米画像を回転させる処理、及び、画像のコントラストを調整する処理を含む。 In step # 11 of FIG. 2, the image processing unit 13 performs image processing including processing for extracting sake rice image data of an area including only one sake rice in the image data acquired by the image data acquisition unit 11, Processed image data of the one sake rice is generated. In other words, in the image data acquired in the image data acquisition process, image processing including processing for extracting sake rice image data of an area including only one sake rice is performed, and processed image data of the one sake rice is generated. An image processing step (a crack rate calculation step) is performed. FIG. 3 is a diagram illustrating an example of image processing. In the present embodiment, as image processing performed by the image processing unit 13, processing for extracting sake rice image data of an area including only one sake rice in the image data acquired by the image data acquisition unit 11, and one of them It includes a process of rotating the sake rice image so that the sake rice has a predetermined posture, and a process of adjusting the contrast of the image.
例えば、図３に示す画像データＢは、画像データ取得部１１が取得した画像データＡにおいて、一つの酒米の全体画像を含むデータを抽出した画像である。図３に示す画像データＣは、画像データＢにおいて、一つの酒米以外の他の酒米の画像を除去することで、一つの酒米のみを含む領域の酒米画像データを抽出する処理を行った後の画像である。図３に示す画像データＤは、画像データＣに対して、一つの酒米が所定の姿勢になるように酒米画像を回転させる処理を行った後の画像である。この場合、酒米の長軸が鉛直方向に沿うような姿勢に酒米画像を回転させている。図３に示す画像データＥは、画像データＤに対して、酒米の向きを調整する処理（例えば、上下反転処理や左右反転処理など）を行った後の画像である。図３に示す画像データＦは、画像データＥに対して、画像のコントラストを調整する処理を行った後の画像である。 For example, the image data B shown in FIG. 3 is an image obtained by extracting data including the entire image of one sake rice from the image data A acquired by the image data acquisition unit 11. The image data C shown in FIG. 3 is a process for extracting the sake rice image data of an area including only one sake rice by removing images of other sake rice other than one sake rice in the image data B. It is an image after going. The image data D shown in FIG. 3 is an image after performing a process of rotating the sake rice image on the image data C so that one sake rice has a predetermined posture. In this case, the sake rice image is rotated in such a posture that the major axis of the sake rice is along the vertical direction. The image data E shown in FIG. 3 is an image after performing a process for adjusting the orientation of sake rice (for example, a vertical flip process, a horizontal flip process, etc.) on the image data D. The image data F shown in FIG. 3 is an image after the image data E is subjected to a process for adjusting the contrast of the image.
このように、形態判定部１４が酒米の形態を判定するために参照する入力データとしての画像データは、画像処理部１３が、画像データ取得部１１が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理、及び、一つの酒米が所定の姿勢になるように酒米画像を回転させる処理、及び、画像のコントラストを調整する処理を含む画像処理を行った後の処理済画像データである。つまり、形態判定部１４は、酒米の形態を判定するのに適した状態にした画像データ（処理済画像データ）から酒米の形態を判定できるので、その判定結果が適切である可能性が高まる。 As described above, the image data as input data that is referred to by the form determination unit 14 to determine the form of sake rice is the same as the sake data in the image data acquired by the image data acquisition unit 11 by the image processing unit 13. Image processing including processing for extracting sake rice image data of an area including only, processing for rotating a sake rice image so that one sake rice has a predetermined posture, and processing for adjusting the contrast of the image It is processed image data after having been performed. That is, since the form determination unit 14 can determine the form of sake rice from image data (processed image data) in a state suitable for determining the form of sake rice, the determination result may be appropriate. Rise.
図２の工程＃１２において形態判定部１４は、割れが有るか否かを判定する。つまり、画像処理工程で生成した処理済画像データにおける一つの酒米に割れが有るか否かを判定する形態判定工程（割れ率算出工程）が実行される。本実施形態では、形態判定部１４は、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部１３が生成した処理済画像データ（図３の画像データＦ）における一つの酒米に割れが有るか否かを判定する。 In step # 12 of FIG. 2, the form determination unit 14 determines whether or not there is a crack. That is, the form determination process (crack rate calculation process) which determines whether one sake rice in the processed image data produced | generated at the image processing process has a crack is performed. In the present embodiment, the form determination unit 14 uses one machined rice in the processed image data (image data F in FIG. 3) generated by the image processing unit 13 using the execution result of the machine learning of the accumulated training data. It is determined whether or not there is a crack.
本実施形態では、形態判定部１４は、酒米が損傷していない形態か、又は、酒米に亀裂が生じた形態であるか、又は、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態であるか、又は、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態であるかの４種類の何れかを判定する。このうち、表１に示すように、酒米が損傷していない形態、及び、酒米に亀裂が生じた形態は、「割れが無い」という判定になり、酒米に縦割れがある形態、及び、酒米に横割れがある形態は、「割れが有る」という判定になる。
尚、水に浸漬された状態にある酒米が複数ある場合、形態判定部１４がそのうちの幾つの酒米の形態を判定するのかは適宜設定可能である。
In this embodiment, the form determination unit 14 is a form in which the sake rice is not damaged, or a form in which the cracked rice is cracked, or a longitudinal section along the major axis direction of the sake rice is opened. One of four types is determined, which is a form in which a vertical crack has occurred, or a form in which a lateral crack along the minor axis direction of sake rice has been opened. Among these, as shown in Table 1, the form in which the sake rice is not damaged, and the form in which the cracked rice is cracked are judged as “no crack”, and the form in which the sake rice has vertical cracks, And the form with lateral cracks in sake rice is judged as “cracked”.
In addition, when there are a plurality of sake rice immersed in water, it is possible to appropriately set how many types of sake rice the shape determination unit 14 determines.
形態判定部１４は、画像処理部１３が生成した処理済画像データが入力されると、酒米の形態に関する情報が出力されるようにアルゴリズムが構成されている。例えば、形態判定部１４で実行されるＣＮＮは、画像処理部１３が生成した処理済画像データが入力される入力層と、入力層に入力された処理済画像データに対して畳み込み処理を行って特徴マップを得る畳み込み層と、畳み込み層から出力された特徴マップを縮小するプール層と、全ユニットを結合する全結合層と、出力層とを備えて階層型のネットワークを構成している。畳み込み層及びプール層の組み合わせは複数回繰り返し設けられ、全結合層も複数層設けられる。 When the processed image data generated by the image processing unit 13 is input, the form determining unit 14 has an algorithm configured to output information on the form of sake rice. For example, the CNN executed by the form determination unit 14 performs a convolution process on the input layer to which the processed image data generated by the image processing unit 13 is input and the processed image data input to the input layer. A convolutional layer that obtains a feature map, a pool layer that reduces the feature map output from the convolutional layer, a full connection layer that joins all units, and an output layer constitute a hierarchical network. The combination of the convolution layer and the pool layer is repeatedly provided a plurality of times, and a plurality of all bonding layers are also provided.
本実施形態では、形態判定部１４の判定結果となる酒米の形態に関する情報として４種類の情報（損傷無し、亀裂、縦割れ、横割れ）を想定しているため、ＣＮＮの出力層のユニット数は４になる。出力層ではソフトマックス関数を尤度関数として用いることができる。ソフトマックス関数は、出力層の全ユニットの値を累積した値で各ユニットの値を除算して正規化するので、出力層の各ユニットの尤度は０〜１の間の値をとる。そして、形態判定部１４は、尤度が最大となるクラスを分類クラス、即ち、酒米の形態（判定結果）として決定する。そして、形態判定部１４による判定結果は、複数の酒米のそれぞれに付与された識別子と関連付けられて酒米毎に形態記憶部１７ｃに記憶される。形態記憶部１７ｃに、形態判定部１４の判定結果を、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶させることもできる。 In the present embodiment, since four types of information (no damage, cracks, vertical cracks, horizontal cracks) are assumed as information regarding the form of sake rice that is the determination result of the form determination unit 14, the unit of the output layer of the CNN The number becomes 4. In the output layer, a softmax function can be used as a likelihood function. Since the softmax function normalizes the value of each unit by dividing the value of all units in the output layer, the likelihood of each unit in the output layer takes a value between 0 and 1. And the form determination part 14 determines the class with the largest likelihood as a classification class, ie, the form (determination result) of sake rice. And the determination result by the form determination part 14 is linked | related with the identifier provided to each of several sake rice, and is memorize | stored in the form memory | storage part 17c for every sake rice. The determination result of the form determination part 14 can also be memorize | stored in the form memory | storage part 17c in the state which can understand the change log | history of the form of one sake rice after starting immersion in water.
形態判定部１４の判定結果を、出力装置２から出力することもできる。例えば、複数の酒米のうち、割れが発生している酒米の割合（割れ率）などを随時算出して出力装置２からリアルタイムで出力することもできる。また、形態記憶部１７ｃに、形態判定部１４の判定結果が、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶されている場合には、割れ率の時間的な変化などを算出して出力装置２から出力することもできる。 The determination result of the form determination unit 14 can also be output from the output device 2. For example, among the plurality of sake rice, the ratio (breaking rate) of sake rice in which cracking has occurred can be calculated at any time and output from the output device 2 in real time. Moreover, when the determination result of the form determination part 14 is memorize | stored in the state memory | storage part 17c in the state which can understand the change log | history of the form of one sake rice after starting immersion in water, a crack rate It is also possible to calculate the temporal change of the output and output from the output device 2.
図４は酒米の形態の例を示す図である。具体的には、図４（ａ）は酒米が損傷していない形態を示す図である。図４（ｂ）は酒米に亀裂が生じた形態である。図４（ｃ）及び図４（ｄ）は酒米に生じた亀裂の隙間が大きくなった状態である割れが生じた形態である。割れの形態として、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態（図４（ｃ））と、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態（図４（ｄ））とがある。また、図４（ｂ）は酒米において短軸方向に沿う亀裂が生じた形態である。このように、形態判定部１４は、割れの形態として、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態であるか、又は、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態であるかも判定する。 FIG. 4 is a diagram showing an example of the form of sake rice. Specifically, FIG. 4 (a) is a diagram showing a form in which sake rice is not damaged. FIG.4 (b) is the form which the crack produced in sake rice. 4 (c) and 4 (d) show a form in which cracks, which are a state in which the gap between cracks in the sake rice has become large, have occurred. As a form of cracking, a form in which the transverse cross section along the minor axis direction of the sake rice was opened (FIG. 4C) and a vertical crack in which the longitudinal section along the major axis direction of the sake rice was opened occurred. (Fig. 4 (d)). Moreover, FIG.4 (b) is the form which the crack which followed the minor axis direction produced in sake rice. Thus, the form determination part 14 is the form which the vertical crack along the major axis direction of sake rice opened as a crack form, or the cross section along the minor axis direction of sake rice. It is also determined whether or not it is a form in which a transverse crack is generated.
以上のように、本実施形態では、人間が酒米の形態を判定するのではなく、形態判定部１４が、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部１３が生成した処理済画像データにおける一つの酒米の形態を判定する。その結果、酒米の形態に関して、短時間で、且つ、一貫性のある判定結果を得ることができる。 As described above, in this embodiment, instead of a person determining the form of sake rice, the form determination unit 14 generates a machine learning execution result of the accumulated training data. The form of one sake rice in the processed image data is determined. As a result, a consistent determination result can be obtained in a short time regarding the form of sake rice.
データ解析部１５は、画像データ取得部１１が取得した画像データに含まれる複数の酒米のそれぞれについての形態判定部１４の判定結果に基づいて割れ率を算出する。つまり、形態判定工程の判定結果に基づいて割れ率を算出するデータ解析工程（割れ率算出工程）が実行される。例えば、形態記憶部１７ｃには、複数の酒米のそれぞれについての形態判定部１４の判定結果が、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶されている。例えば、形態記憶部１７ｃには、各酒米について、過去から現在（最新）まで１又は複数の形態が変化履歴として記憶されている。そして、データ解析部１５は、形態記憶部１７ｃに記憶されている複数の酒米の現在（最新）の形態を読み出して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出する。 The data analysis unit 15 calculates the cracking rate based on the determination result of the form determination unit 14 for each of a plurality of sake rice included in the image data acquired by the image data acquisition unit 11. That is, the data analysis process (crack rate calculation process) which calculates a crack rate based on the determination result of a form determination process is performed. For example, in the form storage unit 17c, the determination result of the form determination unit 14 for each of a plurality of sake rice is stored in a state in which the change history of the form of one sake rice after the start of immersion in water is known. Has been. For example, in the form storage unit 17c, one or more forms from the past to the present (latest) are stored as change history for each sake rice. And the data analysis part 15 reads the present (latest) form of the some sake rice memorize | stored in the form memory | storage part 17c, and is the ratio of the sake rice which has cracked among several sake rice. A certain cracking rate is calculated.
含水率推定部１６は、割れ率算出部１２が算出した割れ率と、予め記憶している酒米の割れ率と酒米の含水率との間の関係とに基づいて、酒米の含水率を推定する。図５は、酒米の含水率と酒米の割れ率との間の関係例を示すグラフである。
具体的には、図５に示すグラフは、水に浸漬した状態に配置された複数の酒米について、上述した手法で割れ率を算出し、その割れ率になった時点で水分率計を用いて測定した複数の酒米の含水率の平均値を算出することで、酒米の割れ率と含水率との関係をプロットしたものである。そして、プロットした複数の点にとっての近似線（図５では実線で示す）が、含水率推定部１６が参照する、酒米の割れ率と酒米の含水率との間の関係として、記憶装置１７に記憶されている。本実施形態では、複数の酒米のうち、割れが発生している酒米の割合である割れ率と、それら複数の酒米の含水率とは比例関係で規定されている。
The moisture content estimation unit 16 is based on the cracking rate calculated by the cracking rate calculation unit 12 and the relationship between the cracking rate of sake rice and the moisture content of sake rice stored in advance. Is estimated. FIG. 5 is a graph showing an example of the relationship between the moisture content of sake rice and the cracking rate of sake rice.
Specifically, the graph shown in FIG. 5 calculates a cracking rate by the above-described method for a plurality of sake rice arranged in a state of being immersed in water, and uses a moisture meter when the cracking rate is reached. The relationship between the cracking rate and moisture content of sake rice is plotted by calculating the average value of the moisture content of a plurality of sake rice measured in the above. The approximate line (shown by the solid line in FIG. 5) for the plotted points is a storage device as a relationship between the cracking rate of sake rice and the moisture content of sake rice, which is referred to by the moisture content estimation unit 16. 17 is stored. In this embodiment, the cracking rate, which is the proportion of cracked rice among the plurality of sake rice, and the water content of the plurality of sake rice are defined in a proportional relationship.
以上のようにして、含水率推定部１６は、リアルタイムで判定された酒米の割れ率と、記憶装置１７に記憶されている酒米の割れ率と酒米の含水率との間の関係とに基づいて、水に浸漬した状態に配置された酒米の現在の含水率を推定できる。含水率推定部１６で推定された、酒米の現在の含水率を、記憶装置１７に記憶すること、及び、出力装置２から出力することもできる。また、含水率の時間的な変化を監視して、含水率が所定の値になった時点で出力装置２から出力することもできる。このように、水に浸漬した状態に配置された酒米の現在の含水率を、酒米の含水率が飽和していない過渡的な状態であっても、画像データからリアルタイムで推定できる。その結果、例えば酒造における浸漬工程を適切に実施できる。
尚、予め記憶している酒米の割れ率と酒米の含水率との間の関係において、割れ率の範囲（上限値及び下限値など）と含水率の範囲（上限値及び下限値など）とを定めて、その範囲内でのみ含水率の推定を行ってもよい。
As described above, the moisture content estimation unit 16 determines the relationship between the cracking rate of sake rice determined in real time and the cracking rate of sake rice and the moisture content of sake rice stored in the storage device 17. Based on the above, it is possible to estimate the current moisture content of sake rice arranged in a state immersed in water. The current moisture content of sake rice estimated by the moisture content estimation unit 16 can be stored in the storage device 17 and output from the output device 2. Moreover, the temporal change of the moisture content can be monitored and output from the output device 2 when the moisture content reaches a predetermined value. In this way, the current moisture content of sake rice arranged in a state immersed in water can be estimated in real time from image data even in a transient state where the moisture content of sake rice is not saturated. As a result, for example, the dipping process in brewing can be carried out appropriately.
In addition, in the relationship between the cracking rate of sake rice and the moisture content of sake rice that is stored in advance, the range of the cracking rate (upper limit, lower limit, etc.) and the range of moisture content (upper limit, lower limit, etc.) And the moisture content may be estimated only within that range.
図６は、含水率推定方法の一部である機械学習処理を説明するフローチャートである。
工程＃２０において画像データ取得部１１は、酒米の画像データを取得する。つまり、水に浸漬した状態に配置された酒米を撮影した画像データを取得する画像データ取得工程が実行される。そして、工程＃２１において画像処理部１３は、画像処理を施して、処理済画像データを生成する。次に、工程＃２２において形態判定部１４は、画像処理部１３が生成した処理済画像データとその処理済画像データに含まれる酒米の形態に関する情報との組み合わせで構成される訓練データを訓練データ記憶部１７ｂに記憶し、工程＃２３においてその訓練データの機械学習を実行する。例えば、一つの処理済画像データに対して、その処理済画像データに含まれている一つの酒米の形態について、人間が判定した正解データがラベル付けされることで、一つの訓練データが作成される。訓練データ記憶部１７ｂには、このようにして作成した複数の訓練データが記憶されている。
FIG. 6 is a flowchart for explaining a machine learning process that is a part of the moisture content estimation method.
In step # 20, the image data acquisition unit 11 acquires sake rice image data. That is, an image data acquisition process is performed for acquiring image data obtained by photographing sake rice arranged in water. In step # 21, the image processing unit 13 performs image processing to generate processed image data. Next, in step # 22, the form determination unit 14 trains training data including a combination of the processed image data generated by the image processing unit 13 and information related to the form of sake rice contained in the processed image data. It memorize | stores in the data storage part 17b, and the machine learning of the training data is performed in process # 23. For example, for one processed image data, one training data is created by labeling correct data determined by humans for one form of sake rice contained in the processed image data. Is done. The training data storage unit 17b stores a plurality of training data created in this way.
本実施形態では、形態判定部１４で実行されるＣＮＮの出力層ではソフトマックス関数が尤度関数として用いられる。ソフトマックス関数は、出力層の全ユニットの値を累積した値で各ユニットの値を除算して正規化するので、出力層の各ユニットの尤度は０〜１の間の値をとる。そして、形態判定部１４は、出力層で生成される推定データ（「尤度」）と正解データ（「１」）との誤差に対して誤差逆伝播法を用いてその誤差を小さくするように、実行するＣＮＮの複数の重みパラメータを修正して、画像処理部１３が生成した処理済画像データが入力されると酒米の形態に関する情報が出力されるアルゴリズムを機械学習の実行結果として得る。 In the present embodiment, a softmax function is used as a likelihood function in the output layer of the CNN executed by the form determination unit 14. Since the softmax function normalizes the value of each unit by dividing the value of all units in the output layer, the likelihood of each unit in the output layer takes a value between 0 and 1. Then, the form determination unit 14 uses an error back-propagation method to reduce the error between the estimated data (“likelihood”) generated in the output layer and the correct answer data (“1”). When the processed image data generated by the image processing unit 13 is input by correcting a plurality of weight parameters of the CNN to be executed, an algorithm that outputs information on the form of sake rice is obtained as an execution result of machine learning.
このように、機械学習は、酒米の形態を判定するのに適した状態にした画像データ（処理済画像データ）を訓練データとして行われ、上述した酒米の形態の判定も、酒米の形態を判定するのに適した状態にした画像データ（処理済画像データ）に対して行われる。その結果、形態判定部１４の判定結果が適切である可能性が高まる。 In this way, machine learning is performed using training data as image data (processed image data) in a state suitable for determining the form of sake rice. This is performed on the image data (processed image data) in a state suitable for determining the form. As a result, the possibility that the determination result of the form determination unit 14 is appropriate increases.
次に、本実施形態のような処理済画像データを訓練データとして機械学習を行うことにより得られる効果を説明する。
図７〜図９は、学習回数と正解率との関係を示すグラフである。具体的には、図７は、図３の画像データＢに正解データがラベル付けされた訓練データを用いて機械学習を行った場合の学習回数と正解率の関係を示すグラフである。図８は、図３の画像データＤを訓練データとして機械学習を行った場合の学習回数と正解率の関係を示すグラフである。図９は、図３の画像データＦを訓練データとして機械学習を行った場合の学習回数と正解率の関係を示すグラフである。
Next, effects obtained by performing machine learning using the processed image data as in this embodiment as training data will be described.
7 to 9 are graphs showing the relationship between the number of learnings and the correct answer rate. Specifically, FIG. 7 is a graph showing the relationship between the number of learning and the correct answer rate when machine learning is performed using training data in which correct data is labeled on the image data B of FIG. FIG. 8 is a graph showing the relationship between the number of learnings and the accuracy rate when machine learning is performed using the image data D of FIG. 3 as training data. FIG. 9 is a graph showing the relationship between the number of learnings and the accuracy rate when machine learning is performed using the image data F of FIG. 3 as training data.
図７に示すように、画像データＢを訓練データとした場合、学習回数が２万回に達しても、正解率は８０％未満である。この８０％という正解率は、例えば、ある程度熟練した人間が画像データから酒米の形態を判定する場合の正解率に対応する。それに対して、画像データＤに正解データがラベル付けされた訓練データを用いて機械学習を行った場合、学習回数が約１２０００回程度で正解率が８０％を上回る。また、画像データＦに正解データがラベル付けされた訓練データを用いて機械学習を行った場合、学習回数が約５０００回程度で正解率が８０％を上回る。このように、画像処理を行った後の処理済画像データ、即ち、酒米の形態を判定するのに適した状態にした画像データを訓練データとすることで、学習回数が少なくても正解率が上昇するという効果を得ることができた。 As shown in FIG. 7, when the image data B is training data, the correct answer rate is less than 80% even when the number of learning reaches 20,000. The correct answer rate of 80% corresponds to, for example, the correct answer rate when a person who is skilled to some extent determines the form of sake rice from image data. On the other hand, when machine learning is performed using training data in which correct data is labeled on the image data D, the number of learning is about 12,000 and the correct answer rate exceeds 80%. Further, when machine learning is performed using training data in which correct data is labeled on the image data F, the number of learning is about 5000 and the correct answer rate exceeds 80%. In this way, processed image data after image processing, that is, image data in a state suitable for determining the form of sake rice is used as training data, so that the correct answer rate even if the number of learning is small It was possible to obtain the effect of rising.
以上のように、含水率推定装置において、水に浸漬した状態に配置された複数の酒米の画像データを参照して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出し、予め記憶している酒米の割れ率と酒米の含水率との間の関係に基づいて、水に浸漬した状態に配置された複数の酒米の含水率を推定するという含水率推定方法が実施される。 As described above, in the moisture content estimation device, with reference to the image data of a plurality of sake rice arranged in a state of being immersed in water, among the plurality of sake rice, the ratio of the sake rice in which cracking has occurred Calculate a certain cracking rate, and estimate the moisture content of multiple sake rice placed in water based on the relationship between the cracking rate of sake rice and the moisture content of sake rice stored in advance. The moisture content estimation method is implemented.
＜第２実施形態＞
第２実施形態の含水率推定装置２０Ｂ（２０）は機械学習処理の内容が上記実施形態と異なっている。以下に第２実施形態の含水率推定装置２０Ｂについて説明するが、上記実施形態と同様の構成については説明を省略する。
Second Embodiment
The moisture content estimation device 20B (20) of the second embodiment differs from the above embodiment in the content of the machine learning process. Although the moisture content estimation apparatus 20B of 2nd Embodiment is demonstrated below, description is abbreviate | omitted about the structure similar to the said embodiment.
図１０は第２実施形態の含水率推定装置２０Ｂの構成を示す図である。図示するように、第２実施形態の含水率推定装置２０Ｂは、形態判定部１４が判定した酒米の形態の妥当性の高低を判定する妥当性判定部１８を更に備える。この妥当性判定部１８は酒米分析装置１０Ｂ（１０）の割れ率算出部１２に設けられている。そして、形態判定部１４は、妥当性判定部１８によって妥当性が高いと判定された酒米の形態に関する情報とその形態が判定された処理済画像データとの組み合わせを既存の訓練データに追加して機械学習を実行する。
本実施形態でも、酒米分析装置１０Ｂは、情報の演算処理機能及び情報の入出力機能及び情報の記憶機能などを備える１台又は複数台のコンピュータ装置などを用いて実現される。その場合、画像データ取得部１１の機能と、割れ率算出部１２（画像処理部１３の機能、形態判定部１４の機能、データ解析部１５の機能、妥当性判定部１８の機能）の機能と、含水率推定部１６の機能とをコンピュータ装置に実現させるプログラム（含水率推定プログラム）を、そのコンピュータ装置にインストールしておけばよい。
FIG. 10 is a diagram illustrating a configuration of the moisture content estimation apparatus 20B of the second embodiment. As shown in the figure, the moisture content estimation apparatus 20B of the second embodiment further includes a validity determination unit 18 that determines the level of validity of the form of sake rice determined by the form determination unit 14. This validity determination unit 18 is provided in the crack rate calculation unit 12 of the sake rice analyzer 10B (10). And the form determination part 14 adds the combination of the information regarding the form of sake rice determined with the appropriateness determination part 18 by the appropriateness determination part 18, and the processed image data from which the form was determined to existing training data. Machine learning.
Also in the present embodiment, the sake rice analyzer 10B is realized by using one or a plurality of computer devices having an information processing function, an information input / output function, an information storage function, and the like. In that case, the function of the image data acquisition unit 11 and the function of the crack rate calculation unit 12 (the function of the image processing unit 13, the function of the form determination unit 14, the function of the data analysis unit 15, the function of the validity determination unit 18) A program (moisture content estimation program) that causes the computer device to realize the function of the moisture content estimation unit 16 may be installed in the computer device.
形態記憶部１７ｃは、形態判定部１４の判定結果を、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶する。例えば、形態記憶部１７ｃには、形態の判定対象とする複数の酒米のそれぞれについて、過去から現在に至るまでの、形態判定部１４の判定結果を、その形態の変化履歴が分かる状態で記憶している。その結果、一つの酒米の形態がどのような変化履歴を示したのかを知ることができる。 The form storage unit 17c stores the determination result of the form determination unit 14 in a state in which the change history of the form of one sake rice after the start of immersion in water is known. For example, in the form storage unit 17c, the determination results of the form determination unit 14 from the past to the present are stored in a state where the change history of the form is known for each of a plurality of sake rice to be determined for the form. doing. As a result, it is possible to know what change history the form of one sake rice showed.
図１１は、第２実施形態の機械学習処理を説明するフローチャートである。この機械学習処理は、第１実施形態で説明した機械学習処理（図６）に加えて行われる。具体的に説明すると、工程＃３０において妥当性判定部１８は、形態判定部１４が判定した酒米の現在の形態の妥当性を判定する。つまり、形態判定部１４が実行する形態判定工程で判定した酒米の形態の妥当性の高低を判定する妥当性判定工程（割れ率算出工程）が実行される。図１２は、妥当性判定部１８が行う妥当性判定処理を説明するフローチャートである。工程＃４０において妥当性判定部１８は、形態判定部１４が判定した酒米の現在の形態の確信度が所定値以上であるか否かを判定する。例えば、形態判定部１４の出力層で用いられるソフトマックス関数により算出される最大の尤度を上記確信度とした場合、そのソフトマックス関数により算出される最大の尤度が所定値以上（例えば０．８以上など）であれば、妥当性判定部１８は、酒米の現在の形態の確信度が所定値以上であると判定し、工程＃４１に移行する。 FIG. 11 is a flowchart illustrating machine learning processing according to the second embodiment. This machine learning process is performed in addition to the machine learning process (FIG. 6) described in the first embodiment. If it demonstrates concretely, in process # 30, the validity determination part 18 will determine the validity of the present form of sake rice which the form determination part 14 determined. That is, the validity determination process (crack rate calculation process) for determining the level of validity of the form of sake rice determined in the form determination process executed by the form determination unit 14 is executed. FIG. 12 is a flowchart illustrating the validity determination process performed by the validity determination unit 18. In step # 40, the validity determination unit 18 determines whether or not the certainty factor of the current form of sake rice determined by the form determination unit 14 is greater than or equal to a predetermined value. For example, when the maximum likelihood calculated by the softmax function used in the output layer of the form determination unit 14 is set as the certainty factor, the maximum likelihood calculated by the softmax function is equal to or greater than a predetermined value (for example, 0 .8 or more), the validity determination unit 18 determines that the certainty of the current form of sake rice is equal to or greater than a predetermined value, and proceeds to step # 41.
次に工程＃４１において妥当性判定部１８は、酒米の形態の変化履歴は所定の基準に適合したものであるか否かを判定する。この所定の基準は以下の６パターンである。そして、妥当性判定部１８は、酒米の形態の変化履歴が６パターンの何れかの基準に適合していれば、工程＃４２に移行して「妥当性は高い」と判定する。 Next, in step # 41, the validity determination unit 18 determines whether the change history of the form of sake rice conforms to a predetermined standard. The predetermined criteria are the following six patterns. And the validity determination part 18 will transfer to process # 42, and will determine with "the validity is high", if the change log | history of the form of sake rice suits any one of the six patterns.
具体的に説明すると、例えば一つの酒米の形態を継続的に見た場合、酒米に割れが生じた形態から、酒米が損傷していない形態に戻ることはないし、酒米に亀裂が生じた形態に戻ることもない。つまり、水への浸漬を開始した後での酒米の形態が形態判定部１４によって適切に判定されていれば、その変化履歴は所定の変化基準に適合しているはずである。そこで本特徴構成では、妥当性判定部１８は、形態判定部１４が判定した酒米の形態の確信度が所定値以上であり、且つ、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合している場合には、形態判定部１４が判定した酒米の形態の妥当性が高いと判定する。その結果、適切な訓練データの蓄積と機械学習とを自動で行うことができる。 More specifically, for example, when one form of sake rice is continuously observed, the form of cracked rice does not return to the form in which the sake rice is not damaged. There is no return to the resulting form. That is, if the form of sake rice after the start of immersion in water has been appropriately determined by the form determination unit 14, the change history should meet a predetermined change criterion. Therefore, in this feature configuration, the validity determination unit 18 has the certainty level of the form of sake rice determined by the form determination unit 14 is equal to or greater than a predetermined value, and the form of sake rice after the start of immersion in water. In the case where the change history of the two matches the predetermined change criterion, it is determined that the form of the sake rice determined by the form determination unit 14 is high. As a result, appropriate training data accumulation and machine learning can be performed automatically.
それに対して、妥当性判定部１８は、工程＃４０において確信度が所定値以上ではないと判定した場合、及び、工程＃４１において酒米の形態の変化履歴が所定の基準に適合したものでないと判定した場合には、工程＃４３に移行して「妥当性は低い」と判定する。 On the other hand, the validity determination unit 18 determines that the certainty factor is not greater than or equal to the predetermined value in step # 40, and the change history of the form of sake rice in step # 41 does not meet the predetermined standard. If it is determined, the process proceeds to step # 43 and it is determined that “the validity is low”.
以上のように、妥当性判定部１８は、形態判定部１４が判定した酒米の形態の確信度が所定値以上であり、且つ、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合している場合には、形態判定部１４が判定した酒米の形態の妥当性が高いと判定し、形態判定部１４が判定した酒米の形態の確信度が所定値未満である場合、又は、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合していない場合には、形態判定部１４が判定した酒米の形態の妥当性が低いと判定する。 As described above, the validity determination unit 18 has the confident degree of the form of sake rice determined by the form determination unit 14 greater than or equal to a predetermined value, and the form of the sake rice after starting to immerse in water. When the change history conforms to a predetermined change criterion, it is determined that the form of the sake rice determined by the form determination unit 14 is high and the certainty of the form of the sake rice determined by the form determination unit 14 Is less than the predetermined value, or when the change history of the form of sake rice after the start of immersion in water does not meet the predetermined change criterion, the sake rice determined by the form determination unit 14 It is determined that the validity of the form is low.
次に、工程＃３１において、妥当性が高いと判定された酒米の形態に関する情報と、処理済画像データとの組み合わせを訓練データとする。そして、工程＃３２において、その訓練データを既存の訓練データに追加して機械学習を実行する。 Next, in step # 31, a combination of information regarding the form of sake rice determined to be highly relevant and processed image data is used as training data. In step # 32, the training data is added to the existing training data to execute machine learning.
このように、妥当性判定部１８は、形態判定部１４が判定した酒米の形態の妥当性の高低を判定し、形態判定部１４は、妥当性判定部１８によって妥当性が高いと判定された酒米の形態に関する情報とその形態が判定された処理済画像データとの組み合わせを既存の訓練データに追加して機械学習を実行する。つまり、適切な訓練データの蓄積と機械学習とを自動で行うことができる。 Thus, the validity determination unit 18 determines the level of validity of the form of sake rice determined by the form determination unit 14, and the form determination unit 14 is determined to be high by the validity determination unit 18. The machine learning is executed by adding the combination of the information about the form of the sake rice and the processed image data whose form has been determined to the existing training data. That is, appropriate training data accumulation and machine learning can be automatically performed.
＜別実施形態＞
＜１＞
上記実施形態では、含水率推定装置２０の構成について具体例を挙げて説明したが、その構成は適宜変更可能である。
また、図５に示したような酒米の含水率と酒米の割れ率との間の関係は例示目的で記載したものであり、適宜変更可能である。
<Another embodiment>
<1>
In the said embodiment, although the specific example was given and demonstrated about the structure of the moisture content estimation apparatus 20, the structure can be changed suitably.
Moreover, the relationship between the moisture content of sake rice and the cracking rate of sake rice as shown in FIG. 5 is described for illustrative purposes, and can be changed as appropriate.
＜２＞
上記実施形態では、形態判定部１４が、ＣＮＮ（Convolutional Neural Network）を用いて酒米の形態を予測判定する例を説明したが、形態判定部１４を構成するアルゴリズムは上述したＣＮＮに限定されず、サポートベクトルマシン(SVM)、ｋ近傍法（k-nearest neighbor algorithm）、判別関数などの他の様々なアルゴリズムを用いて構成することができる。
また、形態判定部１４は、酒米に割れが発生しているか否かを、上記実施形態とは異なる様々な画像認識技術を用いて判定するように構成してもよい。或いは、形態判定部１４は、人間により行われた、酒米に割れが発生しているか否かの判定結果を受け付けて、その結果を自身の判定結果とするように構成してもよい。
<2>
In the said embodiment, although the form determination part 14 demonstrated the example which predicts and determines the form of sake rice using CNN (Convolutional Neural Network), the algorithm which comprises the form determination part 14 is not limited to CNN mentioned above. , Support vector machine (SVM), k-nearest neighbor algorithm, and other various algorithms such as discriminant function.
Moreover, you may comprise the form determination part 14 so that it may determine whether the crack has generate | occur | produced in sake rice using various image recognition techniques different from the said embodiment. Alternatively, the form determination unit 14 may be configured to accept a determination result of whether or not cracked rice has been generated by a human and use the result as its own determination result.
＜３＞
上記実施形態（別実施形態を含む）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
<3>
The structure disclosed in the above embodiment (including another embodiment) can be applied in combination with the structure disclosed in the other embodiment as long as no contradiction arises, and is disclosed in this specification. The embodiment described above is an exemplification, and the embodiment of the present invention is not limited thereto, and can be appropriately modified without departing from the object of the present invention.
本発明は、酒米の含水率を推定できる含水率推定装置に利用できる。 INDUSTRIAL APPLICATION This invention can be utilized for the moisture content estimation apparatus which can estimate the moisture content of sake rice.
１ 撮影装置
２ 出力装置
１０（１０Ａ，１０Ｂ） 酒米分析装置
１１ 画像データ取得部
１２ 割れ率算出部
１３ 画像処理部
１４ 形態判定部
１５ データ解析部
１６ 含水率推定部
１７ 記憶装置
１７ａ 画像データ記憶部
１７ｂ 訓練データ記憶部
１７ｃ 形態記憶部
１８ 妥当性判定部
２０（２０Ａ，２０Ｂ） 含水率推定装置
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Output device 10 (10A, 10B) Sake rice analyzer 11 Image data acquisition part 12 Crack rate calculation part 13 Image processing part 14 Form determination part 15 Data analysis part 16 Moisture content estimation part 17 Storage device 17a Image data storage Unit 17b Training data storage unit 17c Form storage unit 18 Validity determination unit 20 (20A, 20B) Moisture content estimation device
Claims (5)
前記撮影装置で撮影した画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した画像データを参照して、複数の酒米のうち、割れが発生している酒米の割合である割れ率を算出する割れ率算出部と、
前記割れ率算出部が算出した割れ率と、予め記憶している酒米の割れ率と酒米の含水率との間の関係とに基づいて、酒米の含水率を推定する含水率推定部とを備える含水率推定装置。 A photographing device for photographing sake rice placed in water,
An image data acquisition unit for acquiring image data captured by the imaging device;
With reference to the image data acquired by the image data acquisition unit, among a plurality of sake rice, a crack rate calculation unit that calculates a cracking rate that is the proportion of sake rice that has cracked, and
The moisture content estimation unit that estimates the moisture content of sake rice based on the cracking rate calculated by the crack rate calculation unit and the relationship between the cracking rate of sake rice and the moisture content of sake rice stored in advance. A moisture content estimation device comprising:
前記画像データ取得部が取得した画像データにおいて、一つの酒米のみを含む領域の酒米画像データを抽出する処理を含む画像処理を行って、当該一つの酒米の処理済画像データを生成する画像処理部と、
蓄積された訓練データの機械学習の実行結果を用いて、前記画像処理部が生成した前記処理済画像データにおける前記一つの酒米に割れが有るか否かを判定する形態判定部と、
前記画像データ取得部が取得した画像データに含まれる複数の酒米のそれぞれについての前記形態判定部の判定結果に基づいて前記割れ率を算出するデータ解析部とを有する請求項１に記載の含水率推定装置。 The crack rate calculation unit,
In the image data acquired by the image data acquisition unit, image processing including processing for extracting sake rice image data of an area including only one sake rice is performed, and processed image data of the one sake rice is generated. An image processing unit;
A form determination unit that determines whether or not there is a crack in the one sake rice in the processed image data generated by the image processing unit, using an execution result of machine learning of accumulated training data;
The water content of Claim 1 which has a data analysis part which calculates the said crack rate based on the determination result of the said form determination part about each of the some sake rice contained in the image data which the said image data acquisition part acquired Rate estimation device.
前記形態判定部は、前記妥当性判定部によって妥当性が高いと判定された、酒米に割れが有るか否かの情報と当該酒米に割れが有るか否かが判定された前記処理済画像データとの組み合わせを既存の前記訓練データに追加して前記機械学習を実行する請求項４に記載の含水率推定装置。
The crack rate calculation unit includes a validity determination unit that determines the level of validity of information on whether or not the sake rice has cracks, as determined by the form determination unit,
The form determination unit has been determined that the validity determination unit determines that the validity is high, and whether the sake rice has cracks and whether the sake rice has cracks have been processed. The moisture content estimation apparatus according to claim 4, wherein the machine learning is executed by adding a combination with image data to the existing training data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018095443A JP7257745B2 (en) | 2018-05-17 | 2018-05-17 | Moisture content estimator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018095443A JP7257745B2 (en) | 2018-05-17 | 2018-05-17 | Moisture content estimator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019200158A true JP2019200158A (en) | 2019-11-21 |
| JP7257745B2 JP7257745B2 (en) | 2023-04-14 |
Family
ID=68612424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018095443A Active JP7257745B2 (en) | 2018-05-17 | 2018-05-17 | Moisture content estimator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7257745B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020041841A (en) * | 2018-09-07 | 2020-03-19 | 大阪瓦斯株式会社 | Change rate estimating apparatus, change rate estimating method, state estimating device, and state estimating method |
| CN112931643A (en) * | 2021-03-17 | 2021-06-11 | 河南科技大学 | Control method of tea frying robot and tea frying robot |
| JP2021099250A (en) * | 2019-12-20 | 2021-07-01 | 大阪瓦斯株式会社 | Water absorption state evaluation device and water absorption state evaluation method |
| JP2021117118A (en) * | 2020-01-27 | 2021-08-10 | 大阪瓦斯株式会社 | Form evaluation device, moisture content estimation device, form evaluation method and moisture content estimation method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016223795A (en) * | 2015-05-27 | 2016-12-28 | 国立大学法人名古屋大学 | Floor surface state detector and floor surface state detecting method |
| JP2017122607A (en) * | 2016-01-05 | 2017-07-13 | 大阪瓦斯株式会社 | Method and device for determining moisture state of cooking target rice, rice immersion time determination device, and rice cooking facility |
-
2018
- 2018-05-17 JP JP2018095443A patent/JP7257745B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016223795A (en) * | 2015-05-27 | 2016-12-28 | 国立大学法人名古屋大学 | Floor surface state detector and floor surface state detecting method |
| JP2017122607A (en) * | 2016-01-05 | 2017-07-13 | 大阪瓦斯株式会社 | Method and device for determining moisture state of cooking target rice, rice immersion time determination device, and rice cooking facility |
Non-Patent Citations (2)
| Title |
|---|
| 佐藤 稔英 他: "醸造用白米の『浸漬割れ』防止処理", 地方独立行政法人岩手県工業技術センター研究報告, vol. 第16号, JPN7022001536, 16 October 2009 (2009-10-16), ISSN: 0004741954 * |
| 地方独立行政法人岩手県工業技術センター研究報告, vol. 第１３号, JPN7021003650, 30 May 2016 (2016-05-30), pages 45 - 48, ISSN: 0004880908 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020041841A (en) * | 2018-09-07 | 2020-03-19 | 大阪瓦斯株式会社 | Change rate estimating apparatus, change rate estimating method, state estimating device, and state estimating method |
| JP7085952B2 (en) | 2018-09-07 | 2022-06-17 | 大阪瓦斯株式会社 | Change rate estimation device, change rate estimation method, state estimation device and state estimation method |
| JP2021099250A (en) * | 2019-12-20 | 2021-07-01 | 大阪瓦斯株式会社 | Water absorption state evaluation device and water absorption state evaluation method |
| JP7308740B2 (en) | 2019-12-20 | 2023-07-14 | 大阪瓦斯株式会社 | Water absorption state evaluation device and water absorption state evaluation method |
| JP2021117118A (en) * | 2020-01-27 | 2021-08-10 | 大阪瓦斯株式会社 | Form evaluation device, moisture content estimation device, form evaluation method and moisture content estimation method |
| JP7466317B2 (en) | 2020-01-27 | 2024-04-12 | 大阪瓦斯株式会社 | Shape evaluation device, moisture content estimation device, shape evaluation method, and moisture content estimation method |
| CN112931643A (en) * | 2021-03-17 | 2021-06-11 | 河南科技大学 | Control method of tea frying robot and tea frying robot |
| CN112931643B (en) * | 2021-03-17 | 2024-03-05 | 河南科技大学 | Tea frying robot control method and tea frying robot |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7257745B2 (en) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019200158A (en) | Water content estimation device | |
| JP5498454B2 (en) | TRACKING DEVICE, TRACKING METHOD, AND PROGRAM | |
| US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
| CN107451965B (en) | Distort face image correcting method, device, computer equipment and storage medium | |
| CN109117801A (en) | Method, apparatus, terminal and the computer readable storage medium of recognition of face | |
| JP4459137B2 (en) | Image processing apparatus and method | |
| JP5772821B2 (en) | Facial feature point position correction apparatus, face feature point position correction method, and face feature point position correction program | |
| US9721358B2 (en) | Method, system, and non-transitory computer readable medium for video-based circular object localization | |
| JP6636883B2 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
| CN111275040B (en) | Positioning method and device, electronic equipment and computer readable storage medium | |
| JP7023180B2 (en) | Sake rice analyzer | |
| TWI721786B (en) | Face verification method, device, server and readable storage medium | |
| JP2017227606A (en) | Defect detection device and defect detection method | |
| CN111612773B (en) | Thermal infrared imager and real-time automatic blind pixel detection processing method | |
| JP2022127799A (en) | Object measuring device, object measuring method, and computer program | |
| JP2018022247A5 (en) | ||
| JP6700790B2 (en) | Method for determining water content of rice to be cooked, water content determination device, immersion time determination device, and rice cooking equipment | |
| JP7085952B2 (en) | Change rate estimation device, change rate estimation method, state estimation device and state estimation method | |
| CN111179245B (en) | Image quality detection method, device, electronic equipment and storage medium | |
| JP7263149B2 (en) | Image processing device, image processing method, and program | |
| Liang et al. | Aluminum Surface Defect Detection Algorithm Based on Improved YOLOv5 | |
| Kumar et al. | Hole correction in estimated depth map from single image using color uniformity principle | |
| CN113674319B (en) | Target tracking method, system, equipment and computer storage medium | |
| JP2021117118A (en) | Form evaluation device, moisture content estimation device, form evaluation method and moisture content estimation method | |
| JP2019095932A (en) | Abnormality determination method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7257745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |