JP2021043810A - ミカン評価装置、及びミカン評価システム - Google Patents

Abstract

【課題】ミカンの品質を評価する精度の向上を図るミカン評価装置及びミカン評価システムを提供する。【解決手段】ミカン評価システムにおいて、ミカン評価装置１は、ミカンの品質を評価する。ミカン評価装置１は、ミカンを撮像した画像データと、画像データに撮像されたミカンの品種を示す品種情報とを含む評価対象情報を取得する取得部１１と、予め取得された過去の評価対象情報と、過去の評価対象情報に紐づく参照情報との間における連関性が記憶された参照データベースと、参照データベースを参照し、評価対象情報に対する評価結果を生成する評価部１３と、評価結果を出力する出力部１４とを備える。参照情報は、ミカンの腐敗要因に関する品質情報を含む。【選択図】図３

Description

本発明は、ミカンの状態を評価するミカン評価装置、及びミカン評価システムに関する。

従来、ミカンなどの青果物や農作物を評価する方法として、例えば特許文献１の農作物判定システムが提案されている。

特許文献１に開示された農作物判定システムは、契約関係にある農家において農作物の可視画像を撮像する撮像手段と、農家から送信された農作物の画像データから該農作物に対する評価値を作成する評価手段とを備える。評価手段は、画像データの色調を規格する第１処理手段と、規格化された画像データから対象領域を切り出す第２処理手段と、切り出された対象領域のＲＧＢの各成分の平均値を算出する第３処理手段と、算出されたＲＧＢの各成分の平均値に対して、予め設定されたＲＧＢの各成分の理想値から評価値を付与する第４処理手段とを有する。

特開２０１２−１１７９６２号公報

ここで、ミカンの表面の一部に発生する病気や浮皮等の品質を評価する場合、現状では目視検査が行われている。このため、評価結果には検査者の経験や体調等に起因するバラつきが大きく、低品質のミカンを顧客に提供する懸念が挙げられる。この点、特許文献１の開示技術では、評価対象となる農作物のＲＧＢの各成分の平均に基づき評価するため、ミカンの表面の一部に発生する病気や浮皮等の品質を評価することができない。このような事情により、ミカンの品質を評価する精度の向上が望まれている。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、ミカンの品質を評価する精度の向上を図ることができるミカン評価装置、及びミカン評価システムを提供することにある。

第１発明に係るミカン評価装置は、ミカンの品質を評価するミカン評価装置であって、前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得部と、予め取得された過去の評価対象情報と、前記過去の評価対象情報に紐づく参照情報との間における連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象情報に対する評価結果を生成する評価部と、前記評価結果を出力する出力部と、を備え、前記参照情報は、前記ミカンの腐敗要因に関する品質情報を含むことを特徴とする。

第２発明に係るミカン評価装置は、第１発明において、前記評価対象情報は、前記画像データに撮像された前記ミカンを収穫したときの日程、気温、及び収穫位置の少なくとも何れかに関する情報を有する収穫情報を含むことを特徴とする。

第３発明に係るミカン評価装置は、第１発明又は第２発明において、前記画像データに基づく前記ミカンを映した表示画像と、前記表示画像のうち、評価対象となる前記ミカンを指定すると、を表示する表示部を更に備えることを特徴とする。

第４発明に係るミカン評価装置は、第１発明〜第３発明の何れかにおいて、前記連関性は、前記過去の評価対象情報と、前記参照情報とを学習データとして用いた機械学習により構築されることを特徴とする。

第５発明に係るミカン評価装置は、第１発明〜第４発明の何れかにおいて、前記過去の評価対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関性に反映させる更新手段を更に備えることを特徴とする。

第６発明に係るミカン評価システムは、ミカンの品質を評価するミカン評価システムであって、前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得手段と、予め取得された過去の評価対象情報と、前記過去の評価対象情報に紐づく参照情報との間における連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象情報に対する評価結果を生成する評価手段と、前記評価結果を出力する出力手段と、を備え、前記参照情報は、前記ミカンの腐敗要因に関する品質情報を含むことを特徴とする。

第１発明〜第５発明によれば、評価部は、参照データベースを参照し、評価対象情報に対する評価結果を生成する。参照情報は、品質情報を含む。このため、過去にミカンの品質を評価した結果を踏まえた評価結果を生成することができる。これにより、ミカンの品質を評価する精度の向上を図ることが可能となる。

また、第１発明〜第５発明によれば、評価対象情報は、品種情報を含む。このため、品種毎に異なる腐敗要因の特徴等を踏まえた評価を実現することができる。これにより、ミカンの品質を評価する精度をさらに向上させることが可能となる。

特に、第２発明によれば、評価対象情報は、収穫情報を含む。このため、収穫の条件によって異なるミカンの表面状態を踏まえた評価を実現することができる。これにより、ミカンの品質を評価する精度をさらに向上されることが可能となる。また、収穫の条件に紐づく評価結果が得られるため、品質劣化の要因となる条件の特定や、収穫の条件の変更に伴う品質の変化等を把握することができる。これにより、ミカンの品質改善に繋げることが可能となる。

特に、第３発明によれば、表示部は、評価対象となるミカンを指定する指定部を表示する。このため、複数のミカンが１つの画像データとして撮像された場合においても、各ミカンの評価結果を容易に知ることができる。これにより、評価結果に基づくミカンの仕分けを容易に実施することが可能となる。

特に、第４発明によれば、連関性は、過去の評価対象情報と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の評価対象情報とは異なる未知の評価対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

特に、第５発明によれば、更新部は、過去の評価対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。

第６発明によれば、評価手段は、参照データベースを参照し、評価対象情報に対する評価結果を生成する。参照情報は、品質情報を含む。このため、過去にミカンの品質を評価した結果を踏まえた評価結果を生成することができる。これにより、ミカンの品質を評価する精度の向上を図ることが可能となる。

また、第６発明によれば、評価対象情報は、品種情報を含む。このため、品種毎に異なる腐敗要因の特徴等を踏まえた評価を実現することができる。これにより、ミカンの品質を評価する精度をさらに向上させることが可能となる。

図１は、本実施形態におけるミカン評価システムの一例を示す模式図である。 図２は、本実施形態におけるミカン評価システムの動作の一例を示す模式図である。 図３（ａ）は、本実施形態におけるミカン評価装置の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態におけるミカン評価装置の機能の一例を示す模式図である。 図４は、本実施形態における参照データベースの一例を示す模式図である。 図５は、本実施形態における参照データベースの第１変形例を示す模式図である。 図６は、本実施形態における参照データベースの第２変形例を示す模式図である。 図７は、本実施形態におけるミカン評価システムの動作の一例を示すフローチャートである。

以下、本発明を適用した実施形態におけるミカン評価システム、及びミカン評価装置の一例について、図面を参照しながら説明する。

図１を参照して、本実施形態におけるミカン評価システム１００、及びミカン評価装置１の一例について説明する。

本実施形態におけるミカン評価システム１００は、例えば図１に示すように、ミカン評価装置１を有する。ミカン評価装置１は、例えば撮像装置２と接続するほか、例えば通信網４を介して他の端末５やサーバ６に接続されてもよい。

ミカン評価システム１００は、ミカン３の品質を評価する。ミカン評価システム１００は、例えばミカン３を収穫後に行われる評価（例えば農家が行う「家庭選別」）のほか、例えばミカン３の収穫前に行われる評価にも用いることができる。

ミカン評価システム１００では、例えば図２に示すように、撮像装置２等を用いてミカン３を撮像し、撮像装置２によって生成された画像データを、ミカン評価装置１に送信する。ミカン評価装置１は、画像データを含む評価対象情報を取得したあと、後述する参照データベースを参照し、評価対象情報に対する評価結果を生成する。ミカン評価装置１は、生成した評価結果を表示部１０９等に出力する。

評価結果は、ミカン３の表面を評価対象とした品質の結果を示す。評価結果は、例えば「正常」又は「異常」等のようなミカン３の品質の評価結果を示すほか、例えば「浮皮の可能性あり」や、「浮皮の発生している可能性 ６０％」等のようなミカン３の表面に発生する腐敗要因や、腐敗要因が発生している確率等を示してもよい。

ミカン評価装置１として、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよく、例えば撮像装置２が内蔵されてもよい。例えばミカン評価装置１として、撮像装置２が内蔵されたＨＭＤ（Head Mounted Display）が用いられる場合、評価者等は、ディスプレイ越しにミカン３を視認することで、ミカン３の評価結果を認識することができる。このため、ミカン３の品質評価作業の難易度を低下させることができる上、評価作業時間を短縮することが可能となる。

ミカン評価装置１は、例えば取得した画像データに基づく表示画像１ａと、画像データに撮像されたミカン３に対する評価結果とを、表示部１０９に表示する。例えば１つの画像データに複数のミカン３が撮像された場合、ミカン評価装置１は、各ミカン３に対する評価結果を別々に生成することができ、表示部１０９には、各ミカン３に対する評価結果を表示することができる。なお、例えば１つのミカン３に対する評価結果を生成する際、複数の画像データに基づいてもよい。また、例えば１つの画像データに撮像されるミカン３の数は、任意である。

評価対象情報は、画像データと、品種情報とを含み、例えば収穫情報を含んでもよい。評価対象情報は、複数の画像データを含んでもよく、例えば１つのミカン３を異なる角度から撮像した複数の画像データを含んでもよい。この場合、多方向から撮像されたミカン３の画像データに基づいた評価結果を生成することができ、評価精度を向上させることが可能となる。評価対象情報は、例えば画像形式のほか、テキスト形式や行列等の数値形式で表されてもよい。

画像データは、ＲＧＢカメラ等を用いて生成される。画像データは、例えば任意の波長を選択したマルチスペクトルカメラを用いて生成されてもよく、例えば偏光フィルタを介した撮像に基づき生成されてもよい。画像データは、例えば動画の一部から抽出されてもよい。

品種情報は、画像データに撮像されたミカン３の品種を示す。品種情報は、例えば「愛媛果試第28号」、「温州ミカン」、「せとか」、「清見」等のカンキツに関連する品種を含み、交配によって育成された新品種も含む。品種情報を評価対象情報に含ませることで、品種毎の特徴を踏まえた高精度な評価を実現することができる。また、各品種の系統に基づいた評価を実施することで、品種間の類似性も評価対象に組み込むことができ、品種間の評価バラつきを抑制することが可能となる。なお、品種情報を評価結果と同様に表示部１０９等に表示してもよい。

品種情報は、例えばミカン評価装置１の取得した画像データに紐づくように、評価者等が直接ミカン評価装置１に入力するほか、例えば予め複数の品種情報をミカン評価装置１に記憶させ、画像データに基づきミカン評価装置１によって選択されてもよい。ミカン評価装置１が品種情報を選択する場合、例えば予めミカン評価装置１に記憶された学習モデルを用いて、取得された画像データに対して品種情報を選択できるようにしてもよい。この場合、学習モデルは、予め準備された画像データ及び品種情報を学習データとした公知の機械学習により生成される。

収穫情報は、画像データに撮像されたミカン３を収穫したときの日程、気温、及び収穫位置、及び収穫者、並びに、ミカン３を収穫する予定の日程の少なくとも何れかに関する情報を有する。収穫情報は、例えばミカン３の糖度や酸度等の内部品質に関する情報を有してもよい。

収穫情報は、例えばミカン評価装置１の取得した画像データに紐づくように、評価者等が直接ミカン評価装置１に入力するほか、例えば他の端末５等から送信されてもよい。

（ミカン評価装置１）
次に、図３を参照して、本実施形態におけるミカン評価装置１の一例を説明する。図３（ａ）は、本実施形態におけるミカン評価装置１の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態におけるミカン評価装置１の機能の一例を示す模式図である。

ミカン評価装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。

ＣＰＵ１０１は、ミカン評価装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、評価対象情報や参照データベース等の各種情報が保存される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えばミカン評価装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

Ｉ／Ｆ１０５は、撮像装置２との各種情報の送受信を行うためのインターフェースであるほか、例えばインターネット等の通信網４を介して、他の端末５やサーバ６等との各種情報の送受信を行うためのインターフェースでもよい。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、ミカン評価装置１を利用する評価者等は、入力部１０８を介して、各種情報又はミカン評価装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された評価結果等の各種情報、又はミカン評価装置１の処理状況等を出力する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

＜参照データベース＞
保存部１０４に保存された参照データベースには、予め取得された過去の評価対象情報と、過去の評価対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。参照データベースには、例えば過去の評価対象情報、及び参照情報が記憶されてもよい。連関性は、例えば過去の評価対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。

この場合、例えば連関性は、多対多の情報（過去の評価対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ）の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の３次元データ、及び参照情報に基づいて最適化された関数を示す。このため、過去にミカン３の品質を評価した結果を全て踏まえて構築された連関性を用いて、評価対象情報に対する評価結果が生成される。これにより、ミカン３が複雑な表面状態を有する場合においても、最適な評価結果を生成することができる。また、評価対象情報が、過去の評価対象情報と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の評価対象情報に対する評価精度の向上を図ることができる。

なお、連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。

過去の評価対象情報は、上述した評価対象情報と同種の情報を示す。過去の評価対象情報は、例えば過去にミカン３を評価した際に取得された評価対象情報を複数含む。

参照情報は、過去の評価対象情報に紐づき、ミカン３の品質に関する情報を示す。参照情報は、ミカン３の品質規格を踏まえた評価（例えば「正常」、「異常」、「規格内」、「規格外」）を示すほか、ミカン３の腐敗要因に関する品質情報を含んでもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。

品質情報は、例えばそうか病、ハナアザミウマ、黒点病、浮皮等の具体的な腐敗要因の名称を示す。各種要因は、一般的にミカン３の表面に対して少なくとも一部に発生する。

連関性は、例えば図４に示すように、過去の評価対象情報と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の評価対象情報に含まれる複数のデータ（図４では「データＡ」〜「データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図４では「参照Ａ」〜「参照Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の評価対象情報に含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。

連関性は、例えば過去の評価対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の評価対象情報に含まれる「データＡ」は、参照情報に含まれる「参照Ａ」との間の連関度ＡＡ「６２％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度ＡＢ「５９％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

過去の評価対象情報は、例えば図５に示すように、過去の画像データと、過去の品種情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の画像データ及び過去の品種情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の評価対象情報は、例えば上記に加え、過去の収穫情報を分割して、参照データベースに記憶されてもよい。

例えば、過去の画像データに含まれる「画像Ａ」、及び過去の品種情報に含まれる「品種Ａ」の組み合わせは、「参照Ａ」との間の連関度ＡＡＡ「２９％」を示し、「参照Ｂ」との間の連関度ＡＢＡ「７７％」を示す。この場合、過去の画像データ及び過去の品種情報をそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

過去の評価対象情報は、例えば図６に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の画像データ又は過去の品種情報との間における３段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶されてもよい。

図３（ｂ）は、ミカン評価装置１の機能の一例を示す模式図である。ミカン評価装置１は、取得部１１と、記憶部１２と、評価部１３と、出力部１４とを備え、例えば更新部１５を有してもよい。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

＜取得部１１＞
取得部１１は、画像データと、品種情報とを含む評価対象情報を取得する。取得部１１は、撮像装置２等から画像データを取得するほか、例えば内蔵された撮像装置２から、画像データを取得する。取得部１１は、予め評価者等から入力された品種情報を取得するほか、例えば撮像装置２等から、画像データに対応する品種データを取得してもよい。

取得部１１は、例えば収穫情報を取得した場合、画像データと共に評価対象情報として取得する。なお、取得部１１が評価対象情報を取得する頻度及び周期は、任意である。

取得部１１は、ミカン評価装置１に送信された各種情報を受信する。取得部１１は、例えば通信網４及びＩ／Ｆ１０５を介して、他の端末５等の外部端末から送信された品種情報や収穫情報等の各種情報を受信してもよい。

取得部１１は、例えば保存部１０４に保存された学習モデルを参照し、画像データに対応する品種情報を選択し、評価対象情報として取得してもよい。

＜記憶部１２＞
記憶部１２は、保存部１０４に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部１２は、各構成１１、１３〜１５により取得又は生成された各種情報を、保存部１０４に保存する。

＜評価部１３＞
評価部１３は、参照データベースを参照し、評価対象情報に対する評価結果を生成する。評価部１３は、例えば評価対象情報を入力データとし、連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。

評価部１３は、例えば図４に示した参照データベースを参照した場合、評価対象情報に含まれるデータと同一又は類似するデータ（例えば「データＡ」：第１データとする）を選択する。第１データとして、評価対象情報と一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。評価対象情報が行列等の数値で表される場合、選択される第１データに含まれる数値範囲を、予め設定してもよい。

評価部１３は、選択した第１データに紐づく参照情報、及び選択した第１データと参照情報との間における連関度（第１連関度）を選択し、選択した参照情報及び第１連関度に基づき評価結果を生成する。なお、第１連関度は、予め構築された連関性から選択されるほか、評価部１３によって算出されてもよい。

例えば評価部１３は、第１データ「データＡ」に紐づく参照情報に含まれるデータ「参照Ａ」、及び「データＡ」と「参照Ａ」との間における第１連関度（連関度ＡＡ）「７５％」を選択する。なお、参照情報及び第１連関度は、複数のデータを含んでもよい。この場合、上述した「参照Ａ」及び「７５％」に加えて、第１データ「データＡ」に紐づく参照情報「参照Ｂ」、及び「データＡ」と「参照Ｂ」との間における第１連関度（連関度ＡＢ）「１２％」を選択し、「参照Ａ」及び「７５％」、並びに、「参照Ｂ」及び「１２％」に基づき評価結果を生成してもよい。

評価結果は、評価対象情報を含んでもよい。評価結果は、例えば参照情報及び連関度を用いて、確率で表されたミカン３の品質（腐敗要因）を示してもよい。

評価部１３は、例えば予め保存部１０４等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第１連関度等を、評価者等が理解できる形式（例えば文字列）を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。

評価部１３は、例えば選択した第１連関度に基づいて、評価結果の内容を決定する。例えば評価部１３は、「５０％」以上の第１連関度に紐づく参照情報に基づいて、評価結果を生成し、「５０％」未満の第１連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第１連関度に基づく判定基準は、例えば評価者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部１３は、例えば２以上の第１連関度を演算した結果や、２以上の第１連関度の比較に基づいて、評価結果の内容を決定してもよい。

＜出力部１４＞
出力部１４は、評価結果を出力する。出力部１４は、Ｉ／Ｆ１０７を介して表示部１０９に評価結果を送信するほか、例えばＩ／Ｆ１０５を介して、他の端末５等に評価結果を送信する。出力部１４は、例えば図３に示したミカン３の表面状態を再現した画像を表示するデータを、表示部１０９等に出力する。

＜表示部１０９＞
表示部１０９は、評価結果を表示する。表示部１０９は、例えば図２に示すように、表示画像１ａと、指定部１ｂと、評価結果とを表示する。表示画像１ａは、取得部１１が取得した画像データに基づくミカン３が映された画像を示す。指定部１ｂは、表示画像１ａのうち、評価対象となるミカン３を指定する（図２では枠を示す）。評価結果は、指定部１ｂを介して、評価対象となるミカン３に対して表示される。これにより、例えば複数のミカン３を一度に評価する場合においても、各ミカン３の評価結果を表示することができる。なお、表示部１０９は、例えばリストや文字列のみを用いて、評価結果を表示してもよい。上記表示方法には、公知の技術を用いることができる。

なお、例えばミカン評価装置１としてＨＭＤが用いられる場合、表示部１０９として、透過型のディスプレイが用いられる。このとき、表示部１０９は、例えば評価者等が表示部１０９越しに視認するミカン３に対して、指定部１ｂ及び評価結果を表示することができる。

＜更新部１５＞
更新部１５は、例えば参照データベースを更新する。更新部１５は、過去の評価対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部１３により生成された評価結果を踏まえ、評価者等が評価結果の内容における精度を判定し、判定結果をミカン評価装置１が取得した場合、更新部１５は、判定結果に基づき参照データベースに含まれる連関性を更新する。

＜撮像装置２＞
撮像装置２は、ミカン３を撮像して画像データを生成する公知のカメラである。撮像装置２として、例えばＲＧＢカメラ等が用いられ、複数用いられてもよい。撮像装置２は、例えばミカン評価装置１に内蔵されてもよい。

＜通信網４＞
通信網４は、例えばミカン評価装置１等が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。

＜他の端末５＞
他の端末５として、例えばミカン評価装置１と同様に電子機器で具現化されたものが用いられる。他の端末５は、例えば複数のミカン評価装置１と通信可能な中央制御装置等を示す。他の端末５は、例えば複数のミカン評価装置１と接続可能であり、各ミカン評価装置１により生成された評価結果を取得することができる。これにより、例えば複数個所で生産されたミカン３の評価結果を分析することができ、ミカン３の品質改善等を図ることが可能となる。

＜サーバ６＞
サーバ６には、例えば上述した各種情報が記憶される。サーバ６には、例えば通信網４を介して送られてきた各種情報が蓄積される。サーバ６には、例えば保存部１０４と同様の情報が保存され、通信網４を介して１つ以上のミカン評価装置１と各種情報の送受信が行われてもよい。即ち、ミカン評価装置１は、保存部１０４の代わりにサーバ６を用いてもよい。

（ミカン評価システム１００の動作の一例）
次に、本実施形態におけるミカン評価システム１００の動作の一例について説明する。図７は、本実施形態におけるミカン評価システム１００の動作の一例を示すフローチャートである。

＜取得手段Ｓ１１０＞
図７に示すように、ミカン３を撮像した画像データと、品種情報とを含む評価対象情報を取得する（取得手段Ｓ１１０）。取得部１１は、例えば撮像装置２から受信した画像データ及び品種情報を、評価対象情報として取得する。取得部１１は、例えば記憶部１２を介して、評価対象情報を保存部１０４に保存する。

取得部１１は、例えば収穫情報を含む評価対象情報を取得する。収穫情報は、例えば予め画像データに紐づくように、評価者等によってミカン評価装置１に入力されるほか、例えば画像データに基づき、取得部１１が画像データに適した各情報を選択するようにしてもよい。この場合、取得部１１は、予め保存部１０４に保存された複数の収穫情報から、画像データに適した各情報を選択する。

例えば複数の撮像装置２を用いて１つのミカン３を撮像した場合、取得部１１は、複数の撮像装置２によって生成された複数の画像データを、１つの評価対象情報として取得する。取得部１１は、画像データが生成される度に評価対象情報を取得するほか、例えば任意の期間に生成された画像データを一度に受信し、評価対象情報を取得してもよい。

＜評価手段Ｓ１２０＞
次に、参照データベースを参照し、評価対象情報に対する評価結果を生成する（評価手段Ｓ１２０）。評価部１３は、取得部１１により取得された評価対象情報を取得し、例えば保存部１０４に保存された参照データベースを取得する。評価部１３は、例えば評価対象情報を入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部１３は、１つの評価対象情報に対して複数の参照情報を選択してもよい。

評価部１３は、１つの評価対象情報に対して１つの評価結果を生成するほか、例えば複数の評価対象情報に対して１つの評価結果を生成してもよい。評価部１３は、例えば保存部１０４に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部１３は、例えば記憶部１２を介して、評価結果を保存部１０４に保存する。

＜出力手段Ｓ１３０＞
次に、評価結果を出力する（出力手段Ｓ１３０）。出力部１４は、評価結果を表示部１０９等に出力する。出力部１４は、例えば通信網４を介して他の端末５又はサーバ６に出力してもよい。

出力部１４は、例えば画像データに基づくミカン３を映した表示画像１ａと、表示画像１ａのうち、評価対象となるミカン３を指定する指定部１ｂと、指定部１ｂを介して、評価対象となるミカン３に対する評価結果とを、表示部１０９に表示させるための情報を、表示部１０９に出力する。これにより、表示部１０９には、表示画像１ａ、指定部１ｂ、及び評価結果が表示される。

＜更新手段Ｓ１４０＞
なお、例えば過去の評価対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい（更新手段Ｓ１４０）。例えば評価部１３により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果をミカン評価装置１が取得した場合、更新部１５は、判定結果に基づき参照データベースに記憶された連関性を更新する。

これにより、本実施形態におけるミカン評価システム１００の動作が終了する。なお、更新手段Ｓ１４０を実施する場合のタイミングは、任意である。

本実施形態によれば、評価部１３は、参照データベースを参照し、評価対象情報に対する評価結果を生成する。参照情報は、品質情報を含む。このため、過去にミカン３の品質を評価した結果を踏まえた評価結果を生成することができる。これにより、ミカン３の品質を評価する精度の向上を図ることが可能となる。

また、本実施形態によれば、評価対象情報は、品種情報を含む。このため、品種毎に異なる腐敗要因の特徴等を踏まえた評価を実現することができる。これにより、ミカン３の品質を評価する精度をさらに向上させることが可能となる。

また、本実施形態によれば、評価対象情報は、収穫情報を含む。このため、収穫の条件によって異なるミカン３の表面状態を踏まえた評価を実現することができる。これにより、ミカン３の品質を評価する精度をさらに向上されることが可能となる。また、収穫の条件に紐づく評価結果が得られるため、品質劣化の要因となる条件の特定や、収穫の条件の変更に伴う品質の変化等を把握することができる。これにより、ミカン３の品質改善に繋げることが可能となる。

また、本実施形態によれば、表示部１０９は、評価対象となるミカン３を指定する指定部１ｂを表示する。このため、複数のミカン３が１つの画像データとして撮像された場合においても、各ミカン３の評価結果を容易に知ることができる。これにより、評価結果に基づくミカン３の仕分けを容易に実施することが可能となる。

また、本実施形態によれば、連関性は、過去の評価対象情報と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の評価対象情報とは異なる未知の評価対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

また、本実施形態によれば、更新部１５は、過去の評価対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。

また、本実施形態によれば、評価手段Ｓ１２０は、参照データベースを参照し、評価対象情報に対する評価結果を生成する。参照情報は、品質情報を含む。このため、過去にミカン３の品質を評価した結果を踏まえた評価結果を生成することができる。これにより、ミカン３の品質を評価する精度の向上を図ることが可能となる。

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：ミカン評価装置
１ａ ：表示画像
１ｂ ：指定部
２ ：撮像装置
３ ：ミカン
４ ：通信網
５ ：他の端末
６ ：サーバ
１０ ：筐体
１１ ：取得部
１２ ：記憶部
１３ ：評価部
１４ ：出力部
１５ ：更新部
１００ ：ミカン評価システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス
Ｓ１１０ ：取得手段
Ｓ１２０ ：評価手段
Ｓ１３０ ：出力手段
Ｓ１４０ ：更新手段

第１発明に係るミカン評価装置は、ミカンの品質を評価するミカン評価装置であって、前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得部と、予め取得された過去の評価対象情報に含まれる複数のデータと、前記過去の評価対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象情報を入力データとし、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づく評価結果を生成する評価部と、前記評価結果を出力する出力部と、を備え、前記参照情報は、前記ミカンの腐敗要因の名称を示す品質情報を含み、前記評価結果は、前記品質情報を含むことを特徴とする。

第２発明に係るミカン評価装置は、第１発明において、前記評価対象情報は、前記画像データに撮像された前記ミカンを収穫したときの日程、気温、及び収穫位置の少なくとも何れかに関する情報を有する収穫情報を含み、前記取得部は、予め入力された前記品種情報を取得することを特徴とする。

第６発明に係るミカン評価システムは、ミカンの品質を評価するミカン評価システムであって、前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得手段と、予め取得された過去の評価対象情報に含まれる複数のデータと、前記過去の評価対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象情報を入力データとし、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づく評価結果を生成する評価手段と、前記評価結果を出力する出力手段と、を備え、前記参照情報は、前記ミカンの腐敗要因の名称を示す品質情報を含み、前記評価結果は、前記品質情報を含むことを特徴とする。

Claims (6)

1. ミカンの品質を評価するミカン評価装置であって、
   前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得部と、
   予め取得された過去の評価対象情報と、前記過去の評価対象情報に紐づく参照情報との間における連関性が記憶された参照データベースと、
   前記参照データベースを参照し、前記評価対象情報に対する評価結果を生成する評価部と、
   前記評価結果を出力する出力部と、
   を備え、
   前記参照情報は、前記ミカンの腐敗要因に関する品質情報を含むこと
   を特徴とするミカン評価装置。
2. 前記評価対象情報は、前記画像データに撮像された前記ミカンを収穫したときの日程、気温、及び収穫位置の少なくとも何れかに関する情報を有する収穫情報を含むこと
   を特徴とする請求項１記載のミカン評価装置。
3. 前記画像データに基づく前記ミカンを映した表示画像と、
   前記表示画像のうち、評価対象となる前記ミカンを指定する指定部と、
   を表示する表示部を更に備えること
   を特徴とする請求項１又は２記載のミカン評価装置。
4. 前記連関性は、前記過去の評価対象情報と、前記参照情報とを学習データとして用いた機械学習により構築されること
   を特徴とする請求項１〜３の何れか１項記載のミカン評価装置。
5. 前記過去の評価対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関性に反映させる更新手段を更に備えること
   を特徴とする請求項１〜４の何れか１項記載のミカン評価装置。
6. ミカンの品質を評価するミカン評価システムであって、
   前記ミカンを撮像した画像データと、前記画像データに撮像された前記ミカンの品種を示す品種情報とを含む評価対象情報を取得する取得手段と、
   予め取得された過去の評価対象情報と、前記過去の評価対象情報に紐づく参照情報との間における連関性が記憶された参照データベースと、
   前記参照データベースを参照し、前記評価対象情報に対する評価結果を生成する評価手段と、
   前記評価結果を出力する出力手段と、
   を備え、
   前記参照情報は、前記ミカンの腐敗要因に関する品質情報を含むこと
   を特徴とするミカン評価システム。

Images