JP2021096109A - 魚の品質判別プログラム及びシステム - Google Patents

魚の品質判別プログラム及びシステム Download PDF

Info

Publication number
JP2021096109A
JP2021096109A JP2019226400A JP2019226400A JP2021096109A JP 2021096109 A JP2021096109 A JP 2021096109A JP 2019226400 A JP2019226400 A JP 2019226400A JP 2019226400 A JP2019226400 A JP 2019226400A JP 2021096109 A JP2021096109 A JP 2021096109A
Authority
JP
Japan
Prior art keywords
fish
information
quality
association
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019226400A
Other languages
English (en)
Other versions
JP6858377B1 (ja
Inventor
綾子 澤田
Ayako Sawada
綾子 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Assest Co Ltd
Original Assignee
Assest Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Assest Co Ltd filed Critical Assest Co Ltd
Priority to JP2019226400A priority Critical patent/JP6858377B1/ja
Application granted granted Critical
Publication of JP6858377B1 publication Critical patent/JP6858377B1/ja
Publication of JP2021096109A publication Critical patent/JP2021096109A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】魚の品質をより人手に頼ることなく高精度かつ自動的に判別する。【解決手段】魚の品質を判別する魚の品質判別プログラムにおいて、判別対象の魚の品質の外観に関する画像情報を取得する情報取得ステップと、過去において取得した魚の品質の外観に関する参照用画像情報と、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させることを特徴とする。【選択図】図3

Description

本発明は、魚の品質を高精度に判別する上で好適な魚の品質判別プログラム及びシステムに関する。
魚の品質は、人間の目により鮮度を判別することで従来行われてきた。しかし、人間の目による評価は、ブレが生じる場合もあり、統一的な判断が困難になる場合が多い。また魚を出荷する都度、人間の目による評価に頼ることになれば、労力が増大してしまうことにもなる。
このため、魚の品質評価を、人による官能評価に頼ることなく高精度に評価することができるシステムが従来より望まれていた。
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、魚の品質を人による官能評価に頼ることなく高精度かつ自動的に判別することが可能な魚の品質判別プログラム及びシステムを提供することにある。
本発明に係る魚の品質判別プログラムは、魚の品質を判別する魚の品質判別プログラムにおいて、判別対象の魚を撮像した画像情報を取得する情報取得ステップと、過去において撮像した魚の参照用画像情報と、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させる。
特段のスキルや経験が無くても、人による官能評価に頼ることなく、誰でも手軽に魚の品質の判別を高精度に行うことができる。
本発明を適用したシステムの全体構成を示すブロック図である。 探索装置の具体的な構成例を示す図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。 本発明の動作について説明するための図である。
以下、本発明を適用した魚の品質判別プログラムについて、図面を参照しながら詳細に説明をする。
図1は、本発明を適用した魚の品質判別プログラムが実装される魚の品質判別システム1の全体構成を示すブロック図である。魚の品質判別システム1は、情報取得部9と、情報取得部9に接続された判別装置2と、判別装置2に接続されたデータベース3とを備えている。
情報取得部9は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部9は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部9は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部9は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部9は、後述する判別装置2と一体化されていてもよい。情報取得部9は、検知した情報を判別装置2へと出力する。また情報取得部9は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部9は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部9は、天候についてのータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部9は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また身体センサは人間のみならず動物の生体データを取得するものであってもよい。また情報取得部9は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部9は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。また、この情報取得部9は、対象物の弾力を計測するための弾力センサ、化学的性質を分析するための分析機器、更には電極から微弱な電流を流すことで生体中の脂肪率を計測する脂肪計で構成されていてもよい。
データベース3は、魚の品質判別を行う上で必要な様々な情報が蓄積される。魚の品質判別を行う上で必要な情報としては、過去において撮像した魚の参照用画像情報、ヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を予め分析して取得した参照用分析情報、過去において撮像した魚の産地に関する参照用産地情報、過去において撮像した魚の種類に関する参照用種類情報、過去において撮像した魚の弾力を測定した参照用弾力情報、過去において撮像した魚の脂肪率を測定した参照用脂肪率情報、過去において撮像した魚の臭気を測定した参照用臭気情報、過去において撮像した魚の種類に関する参照用保存情報、過去において撮像した魚が天然か養殖かに関する参照用成長環境情報と、これらに対して実際に判断がなされた魚の品質とのデータセットが記憶されている。
つまり、データベース3には、このような参照用画像情報に加え、参照用分析情報、参照用産地情報、参照用種類情報、参照用弾力情報、参照用脂肪率情報、参照用臭気情報、参照用保存情報、参照用成長環境情報の何れか1以上と、魚の品質が互いに紐づけられて記憶されている。
判別装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この判別装置2による探索解を得ることができる。
図2は、判別装置2の具体的な構成例を示している。この判別装置2は、判別装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、各種判断を行う判別部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。
制御部24は、内部バス21を介して制御信号を送信することにより、判別装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。
操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、判別部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部25は、前述した情報取得部9として具現化されるものであってもよい。
判別部27は、探索解を判別する。この判別部27は、判別動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、データベース3に記憶されている各種情報を読み出す。この判別部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。
表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。
記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。
上述した構成からなる魚の品質判別システム1における動作について説明をする。
魚の品質判別システム1では、例えば図3に示すように、参照用画像情報と、魚の品質との3段階以上の連関度が予め設定されていることが前提となる。参照用画像情報とは、魚の外観について、画像を撮像することにより得られた画像情報から得られるものであり、画像情報を解析することで得ることができる。この画像は静止画のみならず動画であってもよい。この参照用画像情報は、魚について撮像した画像を解析することで、魚の品質を特定するようにしてもよい。参照用画像情報として撮像される魚は、魚市場において水揚げされた直後の魚、魚市場で取引されている魚、店頭やスーパーに搬送中の魚、店頭やスーパーに陳列されている魚の何れも含まれる。またここでいう魚は、イカやタコ、ウニ、イクラ、貝等のあらゆる魚介類も含むものである。
ここでいう魚の品質は、鮮度で表現されていてもよく、また光沢や味で評価してもよい。この魚の品質は、システム側、又はユーザ側が設定した5段階や10段階で評価したランキングで表現されるものであっても良い。或いは、単に物凄く美味しい、美味しい、まあまあ、普通で表現されたものであってもよい。
これらの魚の品質は、以前において学習させた特徴量に基づいて判別するようにしてもよい。このとき人工知能を活用し、魚の画像データと、魚の品質を学習させておき、実際に参照用画像情報を取得する際には、これらの学習させた画像データと照らし合わせて、その魚の品質を判別するようにしてもよい。
魚の品質は、評価者による以前の経験に基づいてその良しあしを判断してもよいし、実際に試食をしてその味を判断するようにしてもよい。かかる場合には魚の品質を試食する複数人の検査者がその味について、食感、香ばしさ、歯ごたえ、苦み、まろやかさ等の各項目について複数段階で評価し、それらを統計的に分析して品質評価値としてもよい。また、魚の品質は、味覚を検知可能な味覚センサを通じて判別するようにしてもよいし、各種機器分析を通じて判断してもよい。
また、魚の鮮度を魚の品質そのものとして評価してもよい。魚の鮮度も同様に複数人の検査者がその味について、食各項目について複数段階で評価し、それらを統計的に分析して品質評価値としてもよい。
図3の例では、入力データとして例えば参照用画像情報P01〜P03であるものとする。このような入力データとしての参照用画像情報P01〜P03は、出力としての魚の品質に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報は、この出力解としての魚の品質A〜Dに対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報がこの連関度を介して左側に配列し、各魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報に対して、何れの魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報から最も確からしい魚の品質を選択する上での的確性を示すものである。図3の例では、連関度としてw13〜w19が示されている。このw13〜w19は以下の表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力としての魚の品質と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。
Figure 2021096109
判別装置2は、このような図3に示す3段階以上の連関度w13〜w19を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、その場合の魚の品質の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図3に示す連関度を作り上げておく。
例えば、過去において魚に対して撮像した参照用画像情報に対する魚の品質としては魚の品質Aが多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用画像情報との連関度が強くなる。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01である場合に、過去の魚の品質の評価を行った結果の各種データから分析する。参照用画像情報P01である場合に、魚の品質Aの事例が多い場合には、この魚の品質の評価につながる連関度をより高く設定し、魚の品質Bの事例が多い場合には、この魚の品質の評価につながる連関度をより高く設定する。例えば参照用画像情報P01の例では、魚の品質Aと、魚の品質Cにリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Cにつながるw14の連関度を2点に設定している。
また、この図3に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
かかる場合には、図4に示すように、入力データとして参照用画像情報が入力され、出力データとして魚の品質が出力され、入力ノードと出力ノードの間に少なくとも1以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力ノード又は隠れ層ノードの何れか一方又は両方において上述した連関度が設定され、これが各ノードの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを、以前の評価対象の魚の外観の画像等と実際に判別・評価した魚の品質とのデータセットを通じて作った後に、実際にこれから新たに魚の品質の判別を行う上で、上述した学習済みデータを利用して魚の品質を探索することとなる。かかる場合には、実際に判別対象の領域において魚を撮像した画像情報を新たに取得する。新たに取得する画像情報は、上述した情報取得部9により入力される。画像情報は、魚を判別しようとする画像を撮像することで取得する。この取得方法は、上述した参照用画像情報と同様の手法で行うようにしてもよい。つまり、参照用画像情報と魚の品質とを教師データとして用い、入力を画像情報とし、出力がその画像情報のターゲットとして撮像した魚の品質とする判定モデルを機械学習により生成することになる。
このようにして新たに取得した画像情報に基づいて、魚の品質を判別する。かかる場合には、予め取得した図3(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合には、連関度を介して魚の品質Bがw15、魚の品質Cが連関度w16で関連付けられている。かかる場合には、連関度の最も高い魚の品質Bを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Cを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
このようにして、新たに取得する画像情報から、最も好適な魚の品質を探索し、ユーザに表示することができる。この探索結果を見ることにより、ユーザ、即ち魚の取引業者、魚の販売業者、流通業者は、探索された魚の品質に基づいて魚の選別を行うことができ、魚の味を予測することができ、さらに魚の値段を決めることができる。
なお、上述した画像は、通常のカメラで撮像した画像以外に、超音波画像の何れか1以上を取得してもよい。かかる場合には、参照用画像情報として、取得する画像情報に応じた可視画像、超音波画像の何れか1以上を撮像しておくことが必要になる。
参照用画像情報は、魚の眼球又はエラの画像を撮像したもので構成してもよい。魚の眼球やエラは特に魚の鮮度に影響を及ぼすため、これらにターゲットを当てた参照用画像情報及び画像情報に基づいて魚の品質を判別するようにしてもよい。
また参照用画像情報及び画像情報は、魚の皮についた傷や汚れを抽出したものであってもよい。
これら眼球、エラ、皮についた傷等は、何れも人工知能のディープラーニング技術を利用して抽出するようにしてもよい。
図5は、上述した参照用画像情報に加え、参照用分析情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
この参照用分析情報は、魚に対して行った化学的、物理的分析結果に関するあらゆる情報である。この参照用分析情報は、ヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上であってもよい。これらはいずれも魚のうま味や品質、鮮度に影響を及ぼすものであるから、参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図5の例では、入力データとして例えば参照用画像情報P01〜P03、参照用分析情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用分析情報が組み合わさったものが、図5に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用分析情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用分析情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用分析情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用分析情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用分析情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図5に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用画像情報を取得する際に得た参照用分析情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図5に示す連関度を作り上げておく。
例えば、過去にあった実際の魚の品質の評価時において、ある参照用画像情報に対して、参照用分析情報が、ヒスタミンの含有量が〇〇、アンモニアの含有量が□□であるものとする。かかる場合に、魚の品質がAと判別されている事例が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用分析情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図5に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図5に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用分析情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用分析情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、分析情報とを取得する。ここで分析情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用分析情報と同様である。
ちなみに、参照用分析情報は、この分析情報に応じたヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を予め分析して取得し、これを参照用分析情報とし、参照用画像情報との組み合わせの連関度を形成しておくことになる。
このようにして新たに取得した画像情報と、分析情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図5(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、分析情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。つまり、参照用画像情報と参照用分析情報とに対する魚の品質とを教師データとして用い、入力を画像情報とし、出力がその画像情報のターゲットとして撮像した魚の品質とする判定モデルを機械学習により生成することになる。
また、入力から伸びている連関度w1〜w12の例を以下の表2に示す。
Figure 2021096109
この入力から伸びている連関度w1〜w12に基づいて中間ノード61が選択されていてもよい。つまり連関度w1〜w12が大きいほど、中間ノード61の選択における重みづけを重くしてもよい。しかし、この連関度w1〜w12は何れも同じ値としてもよく、中間ノード61の選択における重みづけは何れも全て同一とされていてもよい。
図6は、上述した参照用画像情報に加え、上述した参照用分析情報の代わりに参照用産地情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
参照用分析情報の代わりに説明変数として加えられるこの参照用産地情報は、その魚の産地に関する情報であり、例えば、米国、日本といった国レベル、東北地方や九州地方といった地方レベル、北海道や鹿児島県といった都道府県レベル、更には群や町、更には漁場レベルで示されていてもよい。このような参照用産地情報に含まれる魚の産地も魚の味に影響を及ぼすことから、参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図6の例では、入力データとして例えば参照用画像情報P01〜P03、参照用産地情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用産地情報が組み合わさったものが、図6に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用産地情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用産地情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用産地情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用産地情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用産地情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図6に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用画像情報を取得する際に得た参照用産地情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図6に示す連関度を作り上げておく。参照用産地情報の取得方法としては、流通過程において魚を収納する容器やタグ等に記述された産地の情報の画像を撮像し、その画像から産地情報の文字列を既存の文字認識技術を利用して認識するようにしてもよいし、産地に関する情報が記述された二次元コードが魚やその容器やタグ等に貼り付けられていた場合には、これを読み取ることで認識するようにしてもよい。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用産地情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図6に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図6に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用産地情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用産地情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、産地情報とを取得する。ここで産地情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用産地情報と同様であってもよい。産地情報の取得方法は、PCやスマートフォン等へのデバイスへのキーボード入力や、魚に対して産地が記入されているラベルに記載の文字情報や二次元コードを撮像し、解析することで取得してもよい。
このようにして新たに取得した画像情報と、産地情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図6(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、産地情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
図7は、上述した参照用画像情報に加え、参照用種類情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
この参照用種類情報は、その魚の種類を規定するものであり、例えばまぐろ、はまち、さけ、あじ、ほたて、あわび、サンマ等である。参照用種類情報に含まれる魚の種類に関する情報も画像情報と相まって、魚の味に影響を及ぼすことから、参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図7の例では、入力データとして例えば参照用画像情報P01〜P03、参照用種類情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用種類情報が組み合わさったものが、図7に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用種類情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用種類情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用種類情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用種類情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用種類情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図7に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用種類情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図7に示す連関度を作り上げておく。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用種類情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図7に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図7に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用種類情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用種類情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、種類情報とを取得する。ここで種類情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用種類情報と同様であり、例えば、魚の種類が分かっている場合には、これを直接ユーザインタフェースを通じて入力してもよいし、画像を撮像し、ディープラーニング技術により種類を自動識別するようにしてもよい。
このようにして新たに取得した画像情報と、種類情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図7(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、種類情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
図8は、上述した参照用画像情報に加え、参照用弾力情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
参照用弾力情報は、その魚を押圧したときの弾力を測定した測定値に基づくものである。魚の弾力は、対象物の弾力を計測するための弾力センサを介して計測されたものであってもよい。このような魚の弾力も魚の鮮度に影響を及ぼすファクターであることから、これを参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図8の例では、入力データとして例えば参照用画像情報P01〜P03、参照用弾力情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用弾力情報が組み合わさったものが、図8に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用弾力情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用弾力情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用弾力情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用弾力情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用弾力情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図8に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用弾力情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図8に示す連関度を作り上げておく。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用弾力情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図8に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図8に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用弾力情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用弾力情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、弾力情報とを取得する。ここで弾力情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用弾力情報と同様である。
このようにして新たに取得した画像情報と、弾力情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図8(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、弾力情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
また、弾力情報を、魚の脂肪率に代替させてもよい。かかる場合には、参照用弾力情報の代替として、その魚の脂肪率を計測した参照用脂肪率情報を、参照用画像情報との組み合わせの連関度を予め形成しておく。そして、新たに判別対象の魚について脂肪率を測定することで得た脂肪率情報に基づいて、上記連関度を参照し、魚の品質を判別することになる。参照用脂肪率情報、脂肪率情報は、既存の脂肪率計測器を用いてもよい。かかる場合には、電極から魚に微弱な電流を流し、体内に含まれる水分と脂肪分の割合を計測して脂肪率を求めるようにしてもよい。
図9は、上述した参照用画像情報に加え、参照用臭気情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
参照用臭気情報は、その魚の臭気に基づくものである。魚の臭気は、魚から発せられる臭い、臭みを計測するための臭気計、臭気センサを介して計測されたものであってもよい。このような魚の臭気も魚の鮮度や品質に影響を及ぼすファクターであることから、これを参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図9の例では、入力データとして例えば参照用画像情報P01〜P03、参照用臭気情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用臭気情報が組み合わさったものが、図9に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用臭気情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用臭気情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用臭気情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用臭気情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用臭気情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図9に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用臭気情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図9に示す連関度を作り上げておく。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用臭気情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図9に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図9に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用臭気情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用臭気情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、臭気情報とを取得する。ここで臭気情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用臭気情報と同様である。
このようにして新たに取得した画像情報と、臭気情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図9(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、臭気情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
また、魚の臭気を、魚の保存状態に代替させてもよい。かかる場合には、参照用臭気情報の代替として、その魚の保存状態を識別し、入力した参照用保存情報を、参照用画像情報との組み合わせの連関度を予め形成しておく。そして、新たに判別対象の魚についてその保存状態を識別し、入力することで得た保存情報に基づいて、上記連関度を参照し、魚の品質を判別することになる。参照用保存情報、保存情報は、例えば、冷凍状態で保存されているのか、常温のままおかれているのか、搬送時にドライアイスを添えることで凍らした状態とされているか否か、またドライアイスの梱包度合、また冷凍にすると味が落ちる場合には、冷凍・チルド保存とされているか否かを示すものである。これらの参照用保存状態、保存状態は人間が保存状態を視認した上で、ユーザインタフェースを通じて入力するようにしてもよいし、保存されている状態の画像を撮像し、ディープラーニングを通じて自動的に判別することで得るようにしてもよい。
図10は、上述した参照用画像情報に加え、参照用成長環境情報との組み合わせと、当該組み合わせに対する魚の品質との3段階以上の連関度が設定されている例を示している。
参照用成長環境情報は、その魚の成長環境に基づくものである。魚の成長環境は、魚が成長する環境に関するあらゆる情報を含むものであり、例えば、天然か、養殖かを示すものであってもよいし、養殖であればその成長環境を示すものであってもよい。特に養殖の場合には、その養殖の環境(例えば、餌の内容や頻度、養殖場の環境、水質、糞尿の処理状況等)を示すあらゆる情報を含めるようにしてもよい。このような魚の成長環境も魚の鮮度や品質に影響を及ぼすファクターであることから、これを参照用画像情報と組み合わせ、連関度を通じて魚の品質を判別することで、判別精度を向上させることができる。
図10の例では、入力データとして例えば参照用画像情報P01〜P03、参照用成長環境情報P18〜21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用成長環境情報が組み合わさったものが、図10に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、魚の品質が表示されている。
参照用画像情報と参照用成長環境情報との各組み合わせ(中間ノード)は、この出力解としての、魚の品質に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用成長環境情報がこの連関度を介して左側に配列し、魚の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用成長環境情報に対して、魚の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用成長環境情報が、いかなる魚の品質に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用成長環境情報から最も確からしい魚の品質を選択する上での的確性を示すものである。
判別装置2は、このような図10に示す3段階以上の連関度w13〜w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用成長環境情報、並びにその場合の魚の品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図10に示す連関度を作り上げておく。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用成長環境情報P20である場合に、その魚の品質を過去のデータから分析する。魚の品質Aの事例が多い場合には、この魚の品質がAにつながる連関度をより高く設定し、魚の品質がBの事例が多く、魚の品質がAの事例が少ない場合には、魚の品質がBにつながる連関度を高くし、魚の品質がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、魚の品質Aと魚の品質Bの出力にリンクしているが、以前の事例から魚の品質Aにつながるw13の連関度を7点に、魚の品質Bにつながるw14の連関度を2点に設定している。
また、この図10に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。
図10に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用成長環境情報P18の組み合わせのノードであり、魚の品質Cの連関度がw15、魚の品質Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用成長環境情報P19、P21の組み合わせのノードであり、魚の品質Bの連関度がw17、魚の品質Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから魚の品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその魚の品質の判別対象の画像情報と、成長環境情報とを取得する。ここで成長環境情報は、魚の品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用成長環境情報と同様である。
このようにして新たに取得した画像情報と、成長環境情報に基づいて、最適な魚の品質を探索する。かかる場合には、予め取得した図10(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、成長環境情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、魚の品質Cがw19、魚の品質Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高い魚の品質Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる魚の品質Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
上述した連関度においては、10段階評価で連関度を表現しているが、これに限定されるものではなく、3段階以上の連関度で表現されていればよく、逆に3段階以上であれば100段階でも1000段階でも構わない。一方、この連関度は、2段階、つまり互いに連関しているか否か、1又は0の何れかで表現されるものは含まれない。
上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽に魚の品質の判別・探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能(ニューラルネットワーク等)で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。
なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報P01、P02、・・・・P15、16、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。
なお、上述した連関度では、参照用画像情報に加え、参照用分析情報、参照用産地情報、参照用種類情報、参照用弾力情報、参照用脂肪率情報、参照用臭気情報、参照用保存情報、参照用成長環境情報の何れかとの組み合わせで構成されている場合を例にとり説明をしたが、これに限定されるものではない。つまり連関度は、参照用画像情報に加え、参照用分析情報、参照用産地情報、参照用種類情報、参照用弾力情報、参照用脂肪率情報、参照用臭気情報、参照用保存情報、参照用成長環境情報の何れか2以上との組み合わせで構成されていてもよい。また連関度は、参照用画像情報に加え、参照用分析情報、参照用産地情報、参照用種類情報、参照用弾力情報、参照用脂肪率情報、参照用臭気情報、参照用保存情報、参照用成長環境情報の何れか1以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。
いずれの場合も、その連関度の参照情報に合わせたデータの入力がなされ、その連関度を利用して魚の品質を求める。
また本発明は、図11に示すように参照用情報Uと参照用情報Vという2種類以上の情報の組み合わせの連関度に基づいて魚の品質を判別するものである。この参照用情報Yが参照用画像情報であり、参照用情報Vが参照用分析情報、参照用産地情報、参照用種類情報、参照用弾力情報、参照用脂肪率情報、参照用臭気情報、参照用保存情報、参照用成長環境情報の何れかであるものとする。
このとき、図11に示すように、参照用情報Uについて得られた出力をそのまま入力データとして、参照用情報Vとの組み合わせの中間ノード61を介して出力(魚の品質)と関連付けられていてもよい。例えば、参照用情報U(参照用画像情報)について、図3に示すように出力解を出した後、これをそのまま入力として、他の参照用情報Vとの間での連関度を利用し、出力(魚の品質)を探索するようにしてもよい。
また本発明によれば、出力として魚の品質を判別する代わりに、魚の品質をより優れたものにするための魚の養殖条件の飼育条件を出力解としてもよい。かかる場合には、連関度を学習させるデータセットについて、魚の品質の変わりに、魚の養殖条件を含める。魚の養殖条件としては、魚に施す餌、魚を飼育する漁場の水温、日照度合、室内照明の度合、水質、清掃状況、糞尿の処理状況等のデータを利用するようにしてもよい。
また、本発明によれば、3段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した10段階以外に、例えば0〜100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。
このような3段階以上の数値で表される連関度に基づいて最も確からしい魚の品質、を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。
これに加えて、本発明によれば、連関度が1%のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。
更に本発明によれば、このような3段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が1%のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。
更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用画像情報を初めとする各参照用情報を取得し、これらに対する魚の品質、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。
つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。
また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。
また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。
1 魚の品質判別システム
2 判別装置
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 判別部
28 記憶部
61 ノード
本発明に係る魚の品質判別プログラムは、魚の品質を判別する魚の品質判別プログラムにおいて、判別対象の魚を撮像した画像情報と、上記魚からヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を分析した分析情報とを取得する情報取得ステップと、過去において撮像した魚の参照用画像情報と、上記分析情報に応じたヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を予め分析して取得した参照用分析情報とを有する組み合わせと、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報及び分析情報に応じた参照用分析情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させることを特徴とする。
本発明に係る魚の品質判別プログラムは、判別対象の魚を撮像した画像情報と、上記魚からヒスタミン、アンモニア、インドール、硫化水素の何れか1以上を分析した分析情報とを取得する情報取得ステップと、過去において撮像した魚の参照用画像情報と、上記分析情報に応じたヒスタミン、アンモニア、インドール、硫化水素の何れか1以上を予め分析して取得した参照用分析情報とを有する組み合わせと、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報及び分析情報に応じた参照用分析情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させることを特徴とする。
本発明に係る魚の品質判別プログラムは、魚の品質を判別する魚の品質判別プログラムにおいて、判別対象の魚を撮像した画像情報と、電極から電流を流して体内に含まれる水分と脂肪分の割合を計測することで上記魚の脂肪率を測定した脂肪率情報とを取得する情報取得ステップと、過去において撮像した魚の参照用画像情報と、過去において撮像した魚に電極から電流を流して体内に含まれる水分と脂肪分の割合を計測することで上記魚の脂肪率を測定した参照用脂肪率情報とを有する組み合わせと、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報及び脂肪率情報に応じた参照用脂肪率情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させることを特徴とする。

Claims (12)

  1. 魚の品質を判別する魚の品質判別プログラムにおいて、
    判別対象の魚を撮像した画像情報を取得する情報取得ステップと、
    過去において撮像した魚の参照用画像情報と、魚の品質との3段階以上の連関度を利用し、上記情報取得ステップにおいて取得した画像情報に応じた参照用画像情報に基づき、魚の品質を判別する判別ステップとをコンピュータに実行させること
    を特徴とする魚の品質判別プログラム。
  2. 上記情報取得ステップは、上記画像情報として、魚の眼球又はエラの画像を撮像し、
    上記判別ステップでは、過去において撮像した魚の眼球又はエラの参照用画像情報を撮像すること
    を特徴とする請求項1記載の魚の品質判別プログラム。
  3. 上記情報取得ステップは、上記魚からヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を分析した分析情報を取得し、
    上記判別ステップでは、上記分析情報に応じたヒスタミン、アンモニア、トリメチルアミン、インドール、硫化水素、揮発性有機酸、揮発性還元物質の何れか1以上を予め分析して取得した参照用分析情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した分析情報に応じた参照用分析情報に基づき、魚の品質を判別すること
    を特徴とする請求項1又は2項記載の魚の品質判別プログラム。
  4. 上記情報取得ステップでは、上記魚の産地に関する産地情報を取得し、
    上記判別ステップでは、過去において撮像した魚の産地に関する参照用産地情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した産地情報に応じた参照用産地情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜3のうち何れか1項記載の魚の品質判別プログラム。
  5. 上記情報取得ステップでは、上記魚の種類に関する種類情報を取得し、
    上記判別ステップでは、過去において撮像した魚の種類に関する参照用種類情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した種類情報に応じた参照用種類情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜4のうち何れか1項記載の魚の品質判別プログラム。
  6. 上記情報取得ステップでは、上記魚の弾力を測定した弾力情報を取得し、
    上記判別ステップでは、過去において撮像した魚の弾力を測定した参照用弾力情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した弾力情報に応じた参照用弾力情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜5のうち何れか1項記載の魚の品質判別プログラム。
  7. 上記情報取得ステップでは、上記魚の脂肪率を測定した脂肪率情報を取得し、
    上記判別ステップでは、過去において撮像した魚の脂肪率を測定した参照用脂肪率情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した脂肪率情報に応じた参照用脂肪率情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜6のうち何れか1項記載の魚の品質判別プログラム。
  8. 上記情報取得ステップでは、上記魚の臭気を測定した臭気情報を取得し、
    上記判別ステップでは、過去において撮像した魚の臭気を測定した参照用臭気情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した臭気情報に応じた参照用臭気情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜7のうち何れか1項記載の魚の品質判別プログラム。
  9. 上記情報取得ステップでは、上記魚の保存状態に関する保存情報を取得し、
    上記判別ステップでは、過去において撮像した魚の種類に関する参照用保存情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した保存情報に応じた参照用保存情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜8のうち何れか1項記載の魚の品質判別プログラム。
  10. 上記情報取得ステップでは、上記魚の成長環境に関する成長環境情報を取得し、
    上記判別ステップでは、過去において撮像した魚の成長環境に関する参照用成長環境情報とを有する上記組み合わせと、上記魚の品質との3段階以上の連関度を利用し、更に上記情報取得ステップにおいて取得した成長環境情報に応じた参照用成長環境情報に基づき、魚の品質を判別すること
    を特徴とする請求項1〜9のうち何れか1項記載の魚の品質判別プログラム。
  11. 上記連関度は、人工知能におけるニューラルネットワークのノードで構成されること
    を特徴とする請求項1〜10のうち何れか1項記載の魚の品質判別プログラム。
  12. 魚の品質を判別する魚の品質判別システムにおいて、
    判別対象の魚を撮像した画像情報を取得する情報取得手段と、
    過去において撮像した魚の参照用画像情報と、魚の品質との3段階以上の連関度を利用し、上記情報取得手段により取得した画像情報に応じた参照用画像情報に基づき、魚の品質を判別する判別手段とを備えること
    を特徴とする魚の品質判別システム。
JP2019226400A 2019-12-16 2019-12-16 魚の品質判別プログラム及びシステム Active JP6858377B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019226400A JP6858377B1 (ja) 2019-12-16 2019-12-16 魚の品質判別プログラム及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019226400A JP6858377B1 (ja) 2019-12-16 2019-12-16 魚の品質判別プログラム及びシステム

Publications (2)

Publication Number Publication Date
JP6858377B1 JP6858377B1 (ja) 2021-04-14
JP2021096109A true JP2021096109A (ja) 2021-06-24

Family

ID=75378042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019226400A Active JP6858377B1 (ja) 2019-12-16 2019-12-16 魚の品質判別プログラム及びシステム

Country Status (1)

Country Link
JP (1) JP6858377B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7292766B1 (ja) 2022-08-19 2023-06-19 国立大学法人岩手大学 生鮮食品の品質判定方法及びその品質判定システム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001221791A (ja) * 2000-02-07 2001-08-17 Candice K Sato 食品検査方法及び装置
WO2004060077A1 (ja) * 2002-12-27 2004-07-22 Kabushiki Kaisha Hayashibara Seibutsu Kagaku Kenkyujo 不快味及び/又は不快臭の低減方法
CN105146592A (zh) * 2015-10-21 2015-12-16 海南大学 金鲳鱼脱腥处理方法以及半干即食金鲳鱼的加工方法
JP2016085117A (ja) * 2014-10-27 2016-05-19 国立研究開発法人農業・食品産業技術総合研究機構 デジタルカメラ画像データを用いた鮮度判定方法
CN106556602A (zh) * 2016-12-05 2017-04-05 湖南理工学院 一种鱼体新鲜度的检测方法及其装置
JP2017083378A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 魚情報提示方法及び魚情報提示装置
WO2017168469A1 (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
CN109332207A (zh) * 2018-11-16 2019-02-15 中国联合工程有限公司 一种自动化鱼类识别和分拣系统及其运行方法
KR20190027431A (ko) * 2017-09-07 2019-03-15 조선대학교산학협력단 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기
JP2019045189A (ja) * 2017-08-30 2019-03-22 国立研究開発法人産業技術総合研究所 アンモニアガスインジケータ
JP2019135986A (ja) * 2018-02-13 2019-08-22 株式会社Aiハヤブサ 人工知能による漁獲物識別システム、管理システム及び物流システム
WO2019230356A1 (ja) * 2018-05-31 2019-12-05 パナソニックIpマネジメント株式会社 学習装置、検査装置、学習方法および検査方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001221791A (ja) * 2000-02-07 2001-08-17 Candice K Sato 食品検査方法及び装置
WO2004060077A1 (ja) * 2002-12-27 2004-07-22 Kabushiki Kaisha Hayashibara Seibutsu Kagaku Kenkyujo 不快味及び/又は不快臭の低減方法
JP2016085117A (ja) * 2014-10-27 2016-05-19 国立研究開発法人農業・食品産業技術総合研究機構 デジタルカメラ画像データを用いた鮮度判定方法
CN105146592A (zh) * 2015-10-21 2015-12-16 海南大学 金鲳鱼脱腥处理方法以及半干即食金鲳鱼的加工方法
JP2017083378A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 魚情報提示方法及び魚情報提示装置
WO2017168469A1 (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
CN106556602A (zh) * 2016-12-05 2017-04-05 湖南理工学院 一种鱼体新鲜度的检测方法及其装置
JP2019045189A (ja) * 2017-08-30 2019-03-22 国立研究開発法人産業技術総合研究所 アンモニアガスインジケータ
KR20190027431A (ko) * 2017-09-07 2019-03-15 조선대학교산학협력단 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기
JP2019135986A (ja) * 2018-02-13 2019-08-22 株式会社Aiハヤブサ 人工知能による漁獲物識別システム、管理システム及び物流システム
WO2019230356A1 (ja) * 2018-05-31 2019-12-05 パナソニックIpマネジメント株式会社 学習装置、検査装置、学習方法および検査方法
CN109332207A (zh) * 2018-11-16 2019-02-15 中国联合工程有限公司 一种自动化鱼类识别和分拣系统及其运行方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHENG, JUN-HU ET AL.: "Integration of classifiers analysis and hyperspectral imaging for rapiddiscrimination of fresh from", JOURNAL OF FOOD ENGINEERING, vol. 161, JPN6020030079, 14 March 2015 (2015-03-14), pages 33 - 39, XP029585697, ISSN: 0004396150, DOI: 10.1016/j.jfoodeng.2015.03.011 *
DING, RAN ET AL.: "Rapid and nondestructive evaluation of fishfreshness by near infrared reflectance spectroscopycombin", ANALYTICAL METHODS, vol. 6, JPN6020030063, 2014, pages 9675 - 9683, ISSN: 0004396145 *
DUTTA, MALAY KISHORE ET AL.: "Image processing based method to assess fish quality and freshness", JOURNAL OF FOOD ENGINEERING, vol. 177, JPN6020030072, 8 January 2016 (2016-01-08), pages 50 - 58, XP029413642, ISSN: 0004396148, DOI: 10.1016/j.jfoodeng.2015.12.018 *
HUANG, XINGYI ET AL.: "A data fusion detection method for fish freshness based on computer vision and near-infrared spectro", ANALYTICAL METHODS, vol. 8, JPN6020030061, 2016, pages 2929 - 2935, ISSN: 0004396144 *
YU, XINJIE ET AL.: "Nondestructive Freshness Discriminating of Shrimp UsingVisible/Near-Infrared Hyperspectral Imaging T", FOOD ANAL. METHODS, vol. 11, JPN6020030077, 5 October 2017 (2017-10-05), pages 768 - 780, XP036410918, ISSN: 0004396149, DOI: 10.1007/s12161-017-1050-8 *
和田有史: "食品と視覚", 食品総合研究所ニュース, JPN6020011741, 2014, pages 9 - 13, ISSN: 0004327634 *
広瀬あかり ほか: "近赤外分光分析法による養殖クロマグロの脂質含量測定", NIPPON SUISAN GAKKAISHI J-STAGE早期公開版, JPN6020030069, 25 August 2016 (2016-08-25), pages 1 - 10, ISSN: 0004396147 *
菊地淳: "魚類・水環境の恒常性評価と予測科学", 日本農学アカデミー会報, vol. 第31号, JPN6020030066, June 2019 (2019-06-01), pages 12 - 17, ISSN: 0004396146 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7292766B1 (ja) 2022-08-19 2023-06-19 国立大学法人岩手大学 生鮮食品の品質判定方法及びその品質判定システム
JP2024027765A (ja) * 2022-08-19 2024-03-01 国立大学法人岩手大学 生鮮食品の品質判定方法及びその品質判定システム

Also Published As

Publication number Publication date
JP6858377B1 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
US11688154B2 (en) Analysis and sorting in aquaculture
CN108447055A (zh) 基于spl和ccn的sar图像变化检测方法
WO2021079785A1 (ja) 肉質判別プログラム及びシステム
JP6858377B1 (ja) 魚の品質判別プログラム及びシステム
JP2022021264A (ja) 魚の品質検査装置
JP2022021261A (ja) 魚の品質判別プログラム及びシステム
JP2021114993A (ja) 稚魚への給餌量提案プログラム
JP2021192215A (ja) 肉質判別プログラム及びシステム
JP2021192025A (ja) 食肉の部位判別プログラム
JP2021173647A (ja) 魚の品質判別プログラム及びシステム
WO2022009893A1 (ja) 果物品質推定プログラム及びシステム
JP2021192195A (ja) 家畜飼育方法提案プログラム及びシステム
JP2022021262A (ja) 魚の品質判別プログラム及びシステム
WO2022138839A1 (ja) 動物意思判別プログラム
JP6801902B1 (ja) 子供虐待兆候判別プログラム及びシステム
JP2021128783A (ja) 屋内環境判別プログラム
JP2021192194A (ja) 肉質判別プログラム及びシステム
JP2021192198A (ja) 食肉特定システム
JP2021192193A (ja) 肉質判別プログラム及びシステム
JP2021192192A (ja) 肉質判別プログラム及びシステム
JP2021192019A (ja) 肉質検査装置
JP2022052881A (ja) 樹木判別プログラム
JP2022021263A (ja) 魚の品質判別プログラム及びシステム
JP2022021266A (ja) 魚の品質判別プログラム及びシステム
JP2022021265A (ja) 魚の販売単価提案プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200213

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210316

R150 Certificate of patent or registration of utility model

Ref document number: 6858377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250