JP2023039539A - 色判定システム、色判定方法および、色判定プログラム - Google Patents

Abstract

【課題】農作物の成熟の度合いにより変化する色を判定し、収穫適正期による収穫、または、出荷を含む作業を支援する。【解決手段】農作物の成熟の度合いにより変化する色を判定する色判定システムであって、画像取得部は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、記憶部は、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示すカラーチャートを格納し、判定部は、前記カラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力する。【選択図】図１

Description

特許法第３０条第２項適用申請有り （１）展示日：令和２年１１月２４日 展示会名：スマート農業見学会 （２）展示日：令和３年２月１０日 展示会名：山梨テクノＩＣＴメッセ令和２年度オンライン展示会 （３）展示日：令和３年４月１４日 展示会名：山梨県青年農業士会講演 （４）展示日：令和３年５月１８日 展示会名：山梨果樹地域スマート農業推進協議会講演 （５）展示日：令和３年５月２７日 展示会名：ＮＥＣ主催自治体マーケット拡販会議講演 （６）展示日：令和３年６月２２日 展示会名：スマート農業実証プロジェクト成果発表会（国関係） （７）展示日：令和３年６月２３日 展示会名：スマート農業実証プロジェクト成果発表会（一般公開） （８）展示日：令和３年７月９日 展示会名：スマート農業実証プロジェクト成果発表会（県議会議員） （９）掲載日：令和２年１０月８日 アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｓａｎｋｅｉｂｉｚ．ｊｐ／ｍａｃｒｏ／ｎｅｗｓ／２０１００８／ｍｃａ２０１００８０５００００４－ｎ１．ｈｔｍ （１０）掲載日：令和３年３月２２日 アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ～Ｄ２ｗＮＺｊＥＯ２ｋ （１１）発行日：令和２年９月１１日 刊行物：毎日新聞朝刊 （１２）発行日：令和２年９月１１日 刊行物：産経新聞朝刊 （１３）発行日：令和２年１１月１５日 刊行物：山梨日日新聞朝刊 （１４）発行日：令和３年３月１日 刊行物：「機械化農業」２０２１年３月号１７～２０頁 （１５）発行日：令和３年８月１日 刊行物：「山梨市広報」８月号６頁 （１６）放送日：令和３年２月４日 放送番組：スゴろく （１７）放送日：令和３年６月２２日 放送番組：Ｎｅｗｓかいドキ （１８）放送日：令和３年６月２２日 放送番組：スゴろく （１９）放送日：令和３年９月６日 放送番組：前進！やまなし

本発明は、色判定システム、色判定方法および、色判定プログラムに関する。

従来、コンピュータを用いた画像処理により、物品の色を判定することで、当該物品の劣化度合や、物品が作物や生鮮物である場合、その成熟度合いなどの品質を評価する技術が知られている。画像処理による色の判定では、画像撮影時の環境や撮影装置と対象物との位置関係などによって、色値や明るさが変化し、物品の品質を精度よく評価できない問題があった。

特許文献１では、評価対象物の撮像画像を用いてさびの程度に関する評価を行うシステムであって、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価結果を出力する出力部と、などを備え、評価対象物に付されたマーカ画像であるマーカ領域に基づいて、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成することが開示され、これにより、撮像画像をそのまま用いるよりも評価精度を向上できることが開示されている。

特許文献２では、航空写真画像を用いて建物に敷設された防水シートの劣化状況を評価する防水シートの診断方法であって、航空写真画像から白色道路標示の色情報である補正用色情報を取得する補正用色情報取得工程と、白色道路標示の本来の色である基準色情報と補正用色情報との差に基づいて、画像色情報を補正して評価対象色情報を取得する補正工程と、評価対象色情報を含む情報に基づいて、前記対象建物の前記防水シートの劣化状況を評価する評価工程と、を備えることが開示され、これによって、現地に赴いて画像撮影することなく、また、画像内に含まれる色の違いを利用して劣化度を評価できることが開示されている。

特許文献３では、測色対象の被写体及び測色値が既知の色票が共に光源からの直接光が照射されていない状況か否かを判定させ、当該状況で被写体及び色票を撮像した画像を、当該画像中の色票に対応する領域の色及び色票の測色値に基づき、画像中の前記被写体に対応する領域の色から被写体の測色値を求める色補正を行う画像として取得することで、農作物の葉色を好適に計測できることが開示されている。

特開２０１４－２０３２７５号公報 特開２０１８－１２４８７２号公報 特開２０１８－１２４８７２号公報

山梨県果樹試験場、山梨県工業技術センター、"ブドウ「シャインマスカット」の専用カラーチャートの開発"https://www.maff.go.jp/kanto/seisan/kankyo/gijyutu/pdf/kanto2016_08_yamanashi_shinemuscat.pdf

ここで、農作物の色に基づく成熟度の判定は、熟練者でなければその判断が難しく、また、コンピュータを用いた画像処理とする場合、その撮影環境により色の見え方が変化することから、精度よく色を判定することは困難であった。

上述した特許文献に開示される技術では、コンピュータ画像処理を用いた色判定に関するものであるものの撮像画像を評価用画像として補正する処理が含まれるものであった。農作物の色判定においては、農作物に対する作業と並行してリアルタイムに色判定することが要求されるため、その画像処理速度および画像処理負荷を低減することが課題であった。

また、農作業は通常屋外で行われるため、太陽光を含む環境の影響により色が異なって見える場合であっても、精度よく色を判定できる必要があった。

上述したような課題に鑑みて、本発明は、農作物の成熟の度合いにより変化する色を判定し、収穫適正期による収穫、または、出荷を含む作業を支援することを解決すべき課題とする。

上述したような課題を解決するために、本発明は、農作物の成熟の度合いにより変化する色を判定する色判定システムであって、画像取得部と、記憶部と、検出部と、判定部と、を備え、前記画像取得部は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、前記記憶部は、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示すカラーチャートを格納し、前記判定部は、前記カラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力する。
このような構成とすることで、基準色値と判定対象の色の色差に基づいて、農作物の色に対応する成熟度を好適に判定することができる。

本発明の好ましい形態では、前記判定部は、前記判定対象画像を学習済モデルの入力データとして入力し、前記成熟度を学習済モデルの出力データとして取得し、前記成熟度を出力する。
このような構成とすることで、判定対象画像を機械学習済モデルに入力することで高速かつ高精度な色判定に基づく成熟度の出力を行うことができる。

本発明の好ましい形態では、前記学習済モデルは、前記判定対象および前記色見本が含まれる判定対象画像と、前記判定対象の成熟度と、を含むデータセットにより生成される。

本発明の好ましい形態では、前記学習済モデルは、前記判定対象の画像データと、前記色見本の画像データと、前記判定対象の成熟度と、を含むデータセットにより生成される。

本発明の好ましい形態では、前記学習済モデルは、前記判定対象の画像データが撮影された際の前記判定対象における明るさを示す数値と、を更に含む前記データセットにより生成される。

本発明の好ましい形態では、前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本の相対位置または相対距離を検出し、前記学習済モデルは、前記判定対象および前記色見本の相対位置または相対距離と、を更に含む前記データセットにより生成される。
上述したようなデータセットを用いることで、好適な学習済モデルが生成され、色判定の精度を向上させることができる。

本発明の好ましい形態では、前記判定対象はブドウであって、前記検出部は、前記判定対象画像に含まれる１のブドウ房を検出し、更に、前記ブドウ房に含まれる１のブドウ粒であって、前記ブドウ房の中心に位置する前記ブドウ粒および／または前記ブドウ房に含まれるブドウ粒の中で面積比率が所定値以上となる前記ブドウ粒を判定対象とする。
このような構成とすることで、ブドウの色判定において、好適に評価対象を決定することができる。

本発明の好ましい形態では、前記検出部は、前記判定対象画像に含まれる前記色見本と、前記ブドウ房および／または前記ブドウ粒と、の相対距離を検出し、前記相対距離が最も近いブドウ房および／またはブドウ粒を判定対象とする。
このような構成とすることで、色見本と近い環境に位置するブドウ粒を、判定対象として決定することで、精度よく色判定することができる。

本発明の好ましい形態では、前記検出部により検出された判定対象の画像領域を表示処理し、当該画像領域と重畳しない画像領域において前記判定部による成熟度を含む判定結果を表示処理する表示処理部を備える。
このような構成とすることで、作業者は判定対象を正しく認識し、更に、作業の妨害とならない位置に判定結果を表示する好適なインターフェイスを提供することができる。

前記判定部は、前記検出部により検出された前記判定対象または前記色見本に基づく判定の結果について、更に成否判定を実行し、前記表示処理部は、前記成否判定が不成立である場合、前記不成立を示す通知を表示処理する。
このような構成とすることで、作業者は判定処理が不成立であることを認識し、例えば、判定対象に対する撮像の向きや距離を変更し、好適に判定対象画像の取得を支援することができる。

前記判定部は、前記検出部による検出結果について、更に成否判定を実行し、前記通知部は、前記成否判定が不成立である場合、前記不成立を示す通知を出力する。
このような構成とすることで、判定対象画像の撮像において、判定対象および／または色見本の向き、大きさなどが要因となり検出結果が好ましくないことを、作業者に通知として出力することで認識させることができる。

本発明は、農作物の成熟の度合いにより変化する色を判定する色判定方法であって、画像取得工程と、検出工程と、判定工程と、をコンピュータが実行し、前記画像取得工程は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、前記検出工程は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、前記判定工程は、前記コンピュータの記憶部に格納されるカラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力し、前記カラーチャートは、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示す。

本発明の好ましい形態では、色判定方法は、前記農作物に対する作業者の手または作業器具に前記色見本を取り付ける取付工程を含み、前記画像取得工程は、前記作業者が装着可能な撮像装置を介して撮影される前記判定対象画像を取得する。
このような構成とすることで、作業者は、農作物に対する作業を行うことと並行してリアルタイムに色判定に基づく農作物の成熟度を確認することができる。

本発明の好ましい形態では、農作物の成熟の度合いにより変化する色を判定する色判定プログラムであって、コンピュータを、画像取得部と、記憶部と、検出部と、判定部と、として機能させ、前記画像取得部は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、前記記憶部は、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示すカラーチャートを格納し、前記判定部は、前記カラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力する。

本発明によれば、農作物の成熟の度合いにより変化する色を判定し、収穫適正期による収穫、または、出荷を含む作業を支援する色判定システム、色判定方法および、色判定プログラムを提供することができる。

本発明の実施形態に係る色判定システムの機能ブロック図を示す。 本発明の実施形態に係る色判定装置のハードウェア構成図を示す。 本発明の実施形態に係る色判定方法の概要説明図を示す。 本発明の実施形態に係るカラーチャートの概要を示す。 本発明の実施形態に係る色判定処理のフローチャートを示す。 本発明の実施形態に係るデータセットの概要図を示す。 本発明の実施形態に係る機械学習処理のフローチャートを示す。 本発明の実施形態に係るニューラルネットワークの概要図を示す。 本発明の実施形態に係る出力表示例を示す。

以下、図面を用いて、本発明の色判定システム、色判定方法および、色判定プログラムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

本実施形態では色判定システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータ・プログラムおよび当該プログラムを格納したプログラム記録媒体なども、同様の作用効果を奏することができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。

色判定システムの各機能構成部と、色判定方法の各ステップと、は同様の作用効果を実現する。色判定システムを構成するコンピュータは、ＣＰＵ（Central Processing Unit）などの演算装置および記憶装置を有する。当該コンピュータは、記憶装置に格納される色判定プログラムを、演算装置により実行することで、各機能構成部の機能を実現する。

以下の説明において、色を判定する判定対象が農作物である場合において好適な例を説明する。農作物は、食用、飼料用、工芸用などその用途や種類によって特に限定されず、本発明を実施することができる。なお、本発明において、特に、農作物がブドウである場合に好適な実施形態を例に、その詳細を説明する。

図１は、本実施形態における色判定システムのシステム構成図を示す。色判定システム１は、端末装置３を介して色判定の対象となる判定対象画像を取得し、色判定処理を実行するサーバ装置２と、色判定対象画像を撮影し、サーバ装置２から判定結果を受け取る端末装置３と、を備える。サーバ装置２と端末装置３は、通信ネットワークＮＷを介して通信可能に構成されている。なお、図１において、端末装置３は１つのみ示したが、複数存在してもよい。

サーバ装置２は、機能構成要素として、端末装置３から判定対象画像を取得する画像取得部２１と、判定対象画像に含まれる判定対象および色見本を検出する検出部２２と、判定対象画像に含まれる判定対象の色を判定する判定部２３と、データ通信処理を実行する通信部２４と、機械学習処理を実行し学習済モデルを生成する生成部２５と、端末装置３における画面を表示処理する表示処理部２６と、検出部２２および判定部２３による処理結果の成否判定結果を通知する通知部２７と、を備える。

サーバ装置２は、サーバ装置２の内部または外部に設置され、各種データを格納する記憶部ＤＢを備える。記憶部ＤＢは、基準色値および基準色値からの所定の色差に応じた農作物の成熟度の対応関係を示すカラーチャートを含むカラーチャート情報と、判定対象画像などの画像データと、学習済モデルに関するモデル情報と、などを格納する。

端末装置３は、機能構成要素として、画像データまたは映像データを撮像する撮像部３１と、表示処理を実行する表示部３２と、サーバ装置２とのデータ通信処理を実行する通信部３３と、を備える。

図２は、サーバ装置２におけるハードウェア構成図を示す。サーバ装置２は、ハードウェア構成要素として、ＣＰＵなどによる演算装置２０１と、ＲＡＭ（Random Access Memory）などによる作業用メモリとしての主記憶装置２０２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等による補助記憶装置２０３と、外部の装置と通信するための通信装置２０４と、などを備え、各構成部はバスインターフェイスにより接続されている。補助記憶装置２０３は、オペレーティングシステムと、オペレーティングシステムと協働してその機能を発揮する色判定プログラムと、各種情報などとを格納している。サーバ装置２は、色判定プログラムが演算装置２０１により実行されることで、上述した機能構成要素（２１－２６）を実現することができる。

端末装置３は、農作物に対する作業等を行う作業者により操作される端末装置である。本実施形態において、端末装置３は、通信機能を備えた装置であって、ハードウェア構成要素として、ＣＰＵなどによる演算装置と、ＲＡＭなどによる主記憶装置と、補助記憶装置と、通信装置と、カメラなどによる撮像装置と、演算装置からの命令にしたがって端末装置３の状態等を表示するディスプレイまたはタッチディスプレイなどによる入出力装置と、等を備える。本実施形態において、端末装置３は、スマートグラスのように、ユーザの視野内にある表示領域において、演算装置により処理された情報を表示可能な装置である。また、端末装置３は、スマートフォンやタブレット端末などであってもよく、撮像装置により撮影された画像または映像をディスプレイに表示し、更に、演算装置により処理された情報を画像または映像と共にディスプレイに表示可能な装置であれば、これらに限定されない。

図３は、本実施形態における色判定の対象とする判定対象画像Ｗ１の一例を示す。農作物に対する作業に際して、端末装置３の撮像装置は、色を判定する判定対象Ｏと、作業者の手Ｈまたは作業者が使用する作業器具に取り付けられる色見本Ｍと、を撮像フレーム内に含むよう向けて、画像または映像を撮像する。色見本Ｍは、シールやテープなどで取り付けられ、判定対象Ｏに対する作業において近接される身体部位であれば取付位置に制限はなく、例えば、手Ｈの爪、指、甲、掌または手首などであってよい。また、色見本Ｍは、ハサミや手袋、リストバンドなど、判定対象Ｏに対する作業において近接される作業器具であれば、取り付けられる器具の種類や位置に制限はない。判定対象Ｏおよび色見本Ｍを含む判定対象画像Ｗ１は、通信装置を介してサーバ装置２に送信される。なお、ここで取り付けとは、作業器具が製造される工程において色見本Ｍが取り付けられることを含み、取り付けられる時期に制限はない。また、取り付けとは、作業器具の一部として色見本Ｍが組み込まれる態様を含み、例えば、作業器具の一部または全部が色見本Ｍの基準色として組み込まれたり、印刷されていてもよい。

色見本Ｍは、判定対象Ｏの色を判定する基準となる基準色値を表面に有する。色見本Ｍは、判定対象Ｏの種類、更には品種に応じて異なる基準色値を有するものであってよい。以下の説明において、判定対象Ｏは、農作物のブドウであって、その種類はマスカットであって、品種はシャインマスカットである場合を例とする。なお、判定対象Ｏは、品種から更に細分化したブランド名別に対象としてよく、それに応じた色見本Ｍとしてよい。

判定対象画像Ｗ１は、判定対象Ｏおよび／または色見本Ｍを複数含んでもよい。後に詳述する検出部２２は、例えば、複数の判定対象Ｏから１の判定対象Ｏを検出処理の対象としてもよく、また、すべての判定対象Ｏを検出処理の対象とし、続く判定処理を並列して実行してもよい。また、検出部２２は、複数の色見本Ｍから１の判定対象Ｏの基準色として好適なものをそれぞれ検出するよう構成されてよい。また、検出部２２は、すべての色見本Ｍを検出処理の対象とし、それぞれの色見本Ｍから取得される色値の平均値を基準色値として決定するよう構成されてもよい。

図４（ａ）は、シャインマスカットにおける収穫適期と果皮色の関係に基づくカラーチャートを示す。カラーチャートは、非特許文献１を例として知られたものを使用することができる。カラーチャートにおける色番号：１から色番号：５に応じて糖度が高くなり、色番号：３以上において収穫適期と判断される糖度１８Ｂｒｉｘとなることが知られている。色見本Ｍは、例えば、図４（ａ）の色番号：１から色番号：５の何れかを基準色値とすることができる。なお、収穫適期と果皮色の関係は、農作物の種類および品種により異なり、また、同一の種類または品種において、糖度に限らず異なる基準によるカラーチャートが作成されることから、何れの農産物を対象とし、いずれの基準によるカラーチャートを使用するかは、適宜設定や変更が可能に構成されている。すなわち、色見本Ｍは、１の農作物に対して１または複数のカラーチャートとして記憶部ＤＢに格納される。

図４（ｂ）は、記憶部ＤＢに格納されるカラーチャートに関するカラーチャート情報の一例を示す。カラーチャート情報は、カラーチャートにおける色番号と、色差と、色値と、収穫適期であるか否かを示す成熟度と、を含む。図４（ｂ）の例では、色差は、色番号：３の色を基準色値とし、各色番号における当該基準色値からの色差として格納される。色値は、色番号に基づいて規格化された色を示す数値であって、例えば、０から１の数値範囲として格納される。なお、色値は、ＲＧＢ値やＨＳＶ値などであってもよく、それらが色番号に基づいて変換された数値であってもよい。成熟度は、色番号に応じて収穫適期であれば「〇」、収穫適期でなければ「×」などとして格納される。なお、成熟度は、色番号に応じた糖度の平均値などであってもよく、また、成熟度の程度を示す数値などであってもよい。例えば、シャインマスカットの場合、成熟度は、色番号が３以上であれば、収穫適期であることを示す情報が格納される。

カラーチャート情報における色差は、基準色値および対象の色値を示すＲＧＢ値についてユークリッド距離を計算することで算出された値を規格化した数値であってよい。なお、色差計算に用いられる式および入力値とする色値は、ユークリッドの式およびＲＧＢ値に限定されず、Ｌａｂ色空間を用いたＣＩＥ ＬＡＢやＣＩＥ ＤＥ２０００などに基づく色差計算式やＨＳＢ値に基づく色差計算式であってもよい。

図５は、判定対象画像に含まれる判定対象の色を判定する判定処理に係るフローチャートを示す。

はじめに、画像取得部２１は、端末装置３より送信される判定対象画像を取得する（ステップＳ１０１）。検出部２２は、取得した判定対象画像に含まれる判定対象および色見本をそれぞれ検出するための検出処理を実行する（ステップＳ１０２）。検出部２２は、機械学習された第１検出モデルに対して判定対象画像を入力することで、判定対象画像に含まれる判定対象および色見本の画像領域を出力として取得する。なお、ステップＳ１０２において、判定部２３は、検出処理の結果について、成否判定を更に実行することができる。成否判定は、判定対象および／または色見本の検出処理における成立・不成立に関する判定であり、判定部２３は、判定対象および／または色見本における向きや大きさなどが検出に不十分である場合などに検出処理の成否を出力する。例えば、作業者は、農作業において判定対象（農作物）を注視し、色見本が好適に判定対象画像に含まれない場合があり、判定部２３は、判定対象が検出結果として所定時間正常に検出される一方、色見本が検出結果として正常に検出されないことで、判定処理が不成立であることを出力することができる。通知部２７は、成否判定が不成立である場合、不成立を示す通知を表示データまたは音声データなどにより出力することができる。

判定対象に関する検出処理において、検出部２２は、判定対象である農作物を検出する（ステップＳ１０３）。検出部２２は、農作物を検出し、農作物の種類または品種に応じて更に分割処理を実行する。分割処理は、複数の果実や種子、葉からなる農作物である場合、それらを対象として画像領域に分割し、取得する処理である。本実施形態において、検出部２２は、１のブドウ房を検出し、当該ブドウ房に含まれる複数のブドウ粒を更に検出し、検出したブドウ粒が含まれる画像領域に分割し、それぞれを取得する。なお、分割処理は、機械学習された第２検出モデルに対して判定対象（ブドウ房）として検出された画像領域を入力することで、当該画像領域に含まれる各判定対象（ブドウ粒）の画像領域を更に出力として取得する構成などにより実現される。

検出部２２は、分割した画像領域に対して、最初に検出した１のブドウ房に含まれる１のブドウ粒の中から、当該ブドウ房の中心に位置するブドウ粒が含まれる画像領域および／または当該ブドウ房に含まれるブドウ粒の中で面積比率が所定値以上となるブドウ粒が含まれる画像領域を抽出する抽出処理を実行する（ステップＳ１０４）。ブドウ粒の面積比率は、１のブドウ房の画像面積に対するブドウ粒の画像面積であり、所定値は、数値または１のブドウ房に含まれる面積比率の大きいブドウ粒を順位付けした順位などであってもよい。

また、検出部２２は、分割した画像領域に対して、画像領域に含まれる１のブドウ粒における病気または傷を含む異常の有無を検出し、異常がないブドウ粒が含まれる画像領領域を抽出する抽出処理を実行する（ステップＳ１０４）。検出部２２は、異常がないとして抽出した画像領域を対象として、判定対象を決定する抽出処理を更に実行することができる。なお、ブドウ粒の位置や面積比率に基づく抽出処理と、異常のないブドウ粒を抽出する抽出処理は、順序を問わず、例えば、位置および／または面積比率に基づき抽出されたブドウ粒に異常がある場合、別のブドウ粒を再度抽出する抽出処理としてもよい。異常のあるブドウ粒は、その果皮色にも異常がみられる場合があり、このような処理とすることで正常なブドウ粒を対象として色を判定することができる。なお、分割処理を必要としない対象に対して同様に異常の有無を検出する抽出処理を実行してもよい。

ステップＳ１０４により、検出部２２は、上述した抽出処理により抽出された画像領域に含まれるブドウ粒を、判定対象として決定し、当該判定対象を含む画像領域を判定部２３に受け渡す（ステップＳ１０５）。なお、検出部２２は、決定された判定対象と、色見本と、の相対位置または相対距離を検出してもよい。

色見本に関する検出処理において、検出部２２は、色見本に含まれる基準色値を有する領域を検出し、当該領域における色値を抽出する（ステップＳ１０６）。検出部２２は、抽出した色見本における色値を基準色値として決定し、判定部２３に受け渡す（ステップＳ１０７）。

判定部２３は、ステップＳ１０５およびステップＳ１０７において検出部２２が検出した判定対象を含む画像領域および基準色値を取得し、判定対象の色を判定するための判定処理を実行する（ステップＳ１０８）。本実施形態において、判定部２３の判定処理は、機械学習処理により生成された色判定モデルを有し、判定対象を含む画像領域および基準色値を色判定モデルに入力し、判定対象の色における基準色値からの色差を出力として取得する処理を含む。なお、ステップＳ１０８において、判定部２３は、判定処理の結果について、成否判定を更に実行することができる。成否判定は、色の判定処理における成立・不成立に関する判定であり、判定部２３は、判定対象における色や、色見本における基準色値の取得に失敗した場合などにその成否を出力する。通知部２７は、判定処理の結果を示す通知を表示データまたは音声データとして出力することができる。

判定部２３は、記憶部ＤＢに格納されるカラーチャート情報を参照し、判定対象の色差に基づいて成熟度を出力する（ステップＳ１０９）。なお、判定部２３は、カラーチャート情報を参照し、判定対象の色差に基づいてカラーチャートにおける色番号を出力する構成であってもよい。これら一連の処理によって、判定対象画像が撮像された環境などによる色の見え方の違いを考慮して、精度よく色判定し、かつ、リアルタイムな判定処理を実現することができる。

以下、本実施形態における、学習済モデルについて説明する。学習済モデルは、生成部２５により事前に生成され記憶部ＤＢに格納される。なお、学習済モデルは、生成部２５と同様の機能構成を有する外部装置において生成され、記憶部ＤＢに格納されてもよい。

第１、第２検出モデルは、ＹＯＬＯモデルなどのニューラルネットワークを含む既知のモデルを利用でき、モデルおよびその学習手法において制限はない。生成部２５は、例えば、深層学習の手法により、評価対象が撮像された画像データや色見本が撮像された画像データに含まれる特徴量を自動で取得し、第１検出モデルを生成する。深層学習では、ユーザによる特徴量の設定を必要とせず、コンピュータが画像データにおける対象物の特徴量を自動で抽出し、対象物を分類・特定することができる。なお、画像データには対象の種類や品種などのラベルが付与されるものとする。生成部２５は、評価対象に応じて異なる検出モデルを生成し、それぞれ記憶部ＤＢに格納するものとする。

色判定モデルは、ニューラルネットワークなどのモデルを利用でき、モデルおよびその学習手法において制限はない。本実施形態において、生成部２５は、深層学習の手法により、評価対象が撮像された画像データと、色見本における基準色値に関するデータと、を少なくとも含むデータセットにより機械学習処理を実行し、色判定モデルを生成し、記憶部ＤＢに格納する。

図６（ａ）は、色判定モデルの機械学習に用いるデータセットの概要を示す。本実施形態において、データセットは、データセットＩＤをキーとして、データ名、対象名および、要素ラベルを有する。データ名は、判定対象の画像データファイルなどを示す。対象名は、当該画像データに含まれる対象物の種類や品種などを示す。要素ラベルは、色見本の基準色値に基づく色番号、撮像環境における明るさを示す明るさ情報、光源角度、基準位置からの距離などを含む。ここで、色番号は、色判定の熟練者が画像データにおける対象の色を見て判断した色番号であり、ＲＧＢ値に基づく値などであってもよい。明るさ情報は、明度、照度、輝度、光度に基づく数値または、撮影環境が明るいか暗いかを、所定の指標に基づき判断した結果を示すデータなどであってもよい。光源角度は、太陽や照明などの光源と、撮像装置と、対象物と、の位置関係から算出される角度を示す。距離は、基準位置からの距離を示し、例えば、対象がブドウの場合、ブドウ房の根本部分から各ブドウ粒までの距離などであってよい。なお、要素ラベルにおいて、明るさ情報、光源角度、距離などを含む一部データが欠損していてもよく、欠損するデータについて代替データが入力されてもよい。また、要素ラベルは、撮像環境を示すデータであれば、上述したデータに限定されず、追加や変更が可能である。

図６（ｂ）は、対象物の画像データの一例を示す。図６（ｂ）では、対象物はブドウであり、判定対象はブドウ房に含まれる１のブドウ粒の画像データがデータセットとして使用される。データセットは、対象名に応じて、異なるデータセットとすることが好ましく、生成部２０５は、それぞれの対象名に応じたデータセットにより機械学習処理を実行し、それぞれの色判定モデルを生成し、記憶部ＤＢに格納することができる。検出モデルにより検出された判定対象（対象名）に応じて、色判定処理に使用する色判定モデルが選択される。

判定部２３による色判定モデルを用いた色判定性能について評価試験を実施した。
評価試験は、色番号を要素ラベルとして含むデータセットを用いて機械学習された色判定モデルを用いて、実際のブドウを判定対象として実施された。実際のブドウの色は、熟練者が目視でその色番号を判断した。表１は、熟練者の判定結果と、色判定モデルの判定結果を、それぞれ示す。

表１によると、色判定モデルを用いることで、房番号１、２，４，５，６，７において熟練者の判定結果との誤差０．５以内の色判定が行われていると把握することができる。

図７は、生成部２５による機械学習処理のフローチャートを示す。生成部２５は、色見本における基準色値と、判定対象を含む画像データと、を含むデータセットを取得する（ステップＳ２０１）。生成部２５は、取得したデータセットに基づく機械学習処理を実行し、色判定モデルを生成する（ステップＳ２０２）。生成部２５は、生成した色判定モデルを記憶部ＤＢに格納する（ステップＳ２０３）。なお、生成部２５は、同様の処理の流れで第１検出モデルおよび第２検出モデルの機械学習処理を実行し、学習済モデルを生成してよい。

図８（ａ）は、本実施形態における色判定モデルの一例を示す。本実施形態において、色判定モデルは、ニューラルネットワーク５０として構成される。ニューラルネットワーク５０は、入力層５１と、中間層５２と、出力層５３と、を有する。入力層５１は、判定対象の画像データと、そのデータセットを入力値として入力される。入力層５１は、データセットに応じた複数のニューロンにより構成され、入力されたデータに応じた出力値を中間層５２のニューロンに対して出力する。中間層５２は、１以上の層を含み、各層においてニューロンが配置される。中間層５２の層数に制限はない。中間層５２は、入力層５１から入力を受け、各層、各ニューロンで計算処理した結果を、出力層５３に出力する。出力層５３は、中間層５２からの入力に応じて、判定対象の色値の推定値を出力する。生成部２５は、出力層５３における判定対象の色値の推定値を、データセットとして入力された色番号を示す値となるよう機械学習処理を実行させることで、色判定モデルを生成することができる。

本実施形態において、判定部２３は、色判定モデルに加えて更に色補正モデルを用いて、判定対象の色判定を行う構成であってもよい。色補正モデルは、色判定モデルと同様にニューラルネットワークなどとして構成される。色補正モデルは、判定対象の画像データと、色番号と、色番号に対応する色値と、を含むデータセットにより機械学習処理を実行される。判定部２３は、判定対象の画像データを色補正モデルに入力し、判定対象を色番号の色に補正した画像データを色補正モデルからの出力として取得する。判定部２３は、補正された画像データを色判定モデルに入力することで、判定対象の色の推定値を出力として取得することができる。

色判定モデルの異なる態様として、生成部２５は、判定対象および色見本を含む判定対象画像と、当該判定対象の実際の色に基づく色番号または成熟度を示す値と、をデータセットとして色判定モデルを生成してもよい。これにより、判定部２３は、当該色判定モデルを用いることで判定対象画像が撮像された環境における色の見え方の差異を含めた特徴量に基づいて判定対象の色を判定することができる。

以下、農作物に対して作業を行う作業者が、端末装置３を用いて農作物の色、または色に基づく成熟度に関する判定を行い、支援を受ける具体例について説明する。

本実施形態において、端末装置３は、農作物に対して作業を行う作業者が装着可能であることが好ましい。端末装置３は、スマートグラスのように、作業者の視野の少なくとも一部を含む領域を撮像する撮像部３１と、作業者の視野の一部において透過性を有するディスプレイなどによる表示部３２と、を含む構成であることが好ましい。

図９（ａ）は、作業者が端末装置３としてのスマートグラスを装着し、判定対象Ｏに対して色判定を行う際における、作業者の視野を示す。なお、図９（ａ）は、透過性を有する表示部３２を介した視野であり、撮像部３１は、当該視野と略一致する領域を撮像するものとする。このとき、作業者の視線は、判定対象Ｏに向けられ、作業者の手または作業器具に取り付けられる色見本Ｍが、視野に含まれる。端末装置３は、撮像部３１により撮像した画像データを判定対象画像として、サーバ装置２に送信する。サーバ装置２は、判定対象画像に基づいて検出処理、判定処理を実行し、その処理結果を端末装置３に対して送信する。図９（ｂ）は、作業者の視野およびサーバ装置２による処理結果に基づく表示部３２に表示される結果画面Ｗ３の一例を示す。結果画面Ｗ３は、表示処理部２６により表示処理され、端末装置３は、当該表示処理結果に基づいて結果画面Ｗ３を表示部３２に表示する。結果画面Ｗ３は、検出結果表示部Ｗ２１と、判定結果表示部Ｗ３２と、を有する。検出結果表示部Ｗ２１は、検出部２２により検出された判定対象の画像領域を表示することで、作業者は、色判定の対象を判断することができる。判定結果表示部Ｗ２２は、判定部２３により判定処理を実行し、出力される成熟度を含む判定結果を表示することで、作業者は、農作物が収穫適期であるか否かを判断することができる。表示処理部２６は、検出結果表示部Ｗ２１の画像領域と重畳しない画像領域において、判定結果表示部Ｗ２２を表示処理する。なお、判定結果表示部Ｗ２２は、評価対象名、色番号、撮像環境の明るさなどを、併せて表示してもよい。また、判定部２３における成否判定が不成立である場合、判定結果表示部Ｗ２２は、その不成立を示す通知を表示してもよい。したがって、本発明により、作業者は、農作物に対する作業をしながら、その作業対象である農作物の色に基づく成熟度の度合いを精度よく判断することができる。

検出部２２および／または判定部２３による処理結果は、サーバ装置２において音声処理され、端末装置３は、スピーカなどの出力部を介して音声処理結果を音声として出力してもよい。音声処理は、例えば、テキストデータとして取得される処理結果に基づいて音声合成することで音声データを生成する処理により実現される。なお、音声処理は、端末装置３において実行されてもよい。通知部２７は、それら処理結果を音声データとして端末装置３に出力することができる。

以上、色判定システム１として構成される実施形態について説明したが、本発明は、これに限定されず、端末装置３がサーバ装置２の機能構成要素やデータベースとしての記憶部ＤＢなどをすべて備え、色判定システムとして実現されてもよい。

＜実施形態２＞
色見本Ｍを農作物の色とする実施形態２について説明する。色見本Ｍを農作物の色とすることで、基準とする農作物と近い色を有する農作物を判定することができる。例えば、農作物は、複数の農作物が１つの容器や箱などに詰めて出荷され、このとき、複数の農作物の色が統一されることで、出荷先においてその品質管理が容易となり、また、当該農作物を使用した料理などの見栄えや味を一定の水準として維持することができる。なお、実施形態１と重複する部分については説明を省略する。

実施形態２において、記憶部ＤＢは、色差と、同色判定閾値と、の対応関係を示す閾値テーブルを格納する。同色判定閾値は、ある基準とする任意色と、判定対象の色が略同色であるか否かを判定するための閾値を示す。同色判定閾値は、例えば、判定対象の色が任意色からの色差－１～＋１の範囲として設定される場合、略同色であると判定するための閾値として用いられる。

検出部２２は、色見本Ｍとして農作物を検出するための第３検出モデルを有し、判定対象画像に含まれる判定対象と、色見本Ｍとしての農作物と、をそれぞれ検出する。検出部２２は、色見本としての農作物に含まれる画像領域を検出し、当該領域における色値を抽出する。検出部２２は、抽出した色値を基準とする任意色として決定し、判定部２３に受け渡す。なお、判定対象に係る検出部２２における検出処理は、実施形態１と同様である。

判定部２３は、検出部２２が検出した判定対象を含む画像領域および任意色を取得し、判定対象の色が任意色と略同色であるか否かについて判定処理を実行する。ここで判定部２３の判定処理は、実施形態１と異なる色判定モデルを有してもよく、判定対象を含む画像領域および任意色を色判定モデルに入力し、判定対象の色における任意色からの色差を出力として取得する処理を含む。なお、任意色は、色判定モデルにおいて基準色と同様に扱われるものとする。色判定モデルは、判定対象の色の基準色からの色差を取得可能であり、当該色差を取得する処理に用いられる。

判定部２３は、記憶部ＤＢに格納される閾値テーブルを参照し、判定対象の色差に基づいて判定対象が任意色と略同色であるか否かを判定し、その判定結果を出力する。表示処理部２６は、判定結果に応じて表示処理し、端末装置３の表示部３２は、表示処理結果に基づいて判定結果を表示することができる。なお、判定結果は、音声処理され、端末装置３において出力されてもよい。

なお、判定部２３は、任意色と判定対象の色を同色判定モデルの入力値とし、判定対象の色が任意色と略同色であるか否かを同色判定モデルから出力値として取得する構成であってもよい。同色判定モデルは、例えば、２つの色と、それらが略同色であるかを示す教師データと、をデータセットとして機械学習処理を実行することで生成される。

以上のように、実施形態２とすることで、判定対象画像の撮像された環境などによる色の見え方に影響されることなく、任意色とする農作物と略同色を有する農作物であるか否かを精度よく色判定し、かつ、リアルタイムな判定処理を実現することができる。

以上の説明において、農作物、特にブドウの色判定に好適な実施形態を説明したが、本発明は、時間経過に伴うその品質変化を色により判定するものであって、色により品質変化を判定可能な対象であれば適用することができる。例えば、肉食品や魚食品などの生鮮物、住宅やオフィス、施設における内壁、外壁、屋根、床、柱構造物などの建築物、機械製品、電気電子機器、木工品などの製造物、などにおいて、本発明を適用し、その品質の劣化または成熟度の度合いを色により判定することができる。

１ 色判定システム
２ サーバ装置
２１ 画像取得部
２２ 検出部
２３ 判定部
２４ 通信部
２５ 生成部
２６ 表示処理部
２７ 通知部
２０１ 演算装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 通信装置
ＤＢ 記憶部
３ 端末装置
３１ 撮像部
３２ 表示部
３３ 通信部
ＮＷ 通信ネットワーク

Claims (16)

1. 農作物の成熟の度合いにより変化する色を判定する色判定システムであって、
   画像取得部と、記憶部と、検出部と、判定部と、を備え、
   前記画像取得部は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、
   前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、
   前記記憶部は、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示すカラーチャートを格納し、
   前記判定部は、前記カラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力する、色判定システム。
2. 前記判定部は、前記判定対象画像を学習済モデルの入力データとして入力し、前記成熟度を前記学習済モデルの出力データとして取得し、前記成熟度を出力する、請求項１に記載の色判定システム。
3. 前記学習済モデルは、前記判定対象および前記色見本が含まれる判定対象画像と、前記判定対象の前記成熟度と、を含むデータセットにより生成される、請求項２に記載の色判定システム。
4. 前記学習済モデルは、前記判定対象の画像データと、前記色見本の画像データと、前記判定対象の成熟度と、を含むデータセットにより生成される、請求項２に記載の色判定システム。
5. 前記学習済モデルは、前記判定対象の画像データが撮影された際の前記判定対象における明るさを示す数値と、を更に含む前記データセットにより生成される、請求項４に記載の色判定システム。
6. 前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本の相対位置または相対距離を検出し、
   前記学習済モデルは、前記判定対象および前記色見本の相対位置または相対距離と、を更に含む前記データセットにより生成される、請求項４または請求項５に記載の色判定システム。
7. 前記判定対象はブドウであって、
   前記検出部は、前記判定対象画像に含まれる１のブドウ房を検出し、更に、前記ブドウ房に含まれる１のブドウ粒であって、前記ブドウ房の中心に位置する前記ブドウ粒および／または前記ブドウ房に含まれるブドウ粒の中で面積比率が所定値以上となる前記ブドウ粒を判定対象とする、請求項１～請求項６の何れかに記載の色判定システム。
8. 前記検出部は、検出された１のブドウ房に含まれる１のブドウ粒における病気または傷を含む異常の有無を検出し、異常がない前記ブドウ粒を判定対象とする、請求項７に記載の色判定システム。
9. 前記検出部は、前記判定対象画像に含まれる前記色見本と、前記ブドウ房および／または前記ブドウ粒と、の相対距離を検出し、前記相対距離が最も近いブドウ房および／またはブドウ粒を判定対象とする、請求項７または請求項８に記載の色判定システム。
10. 前記検出部により検出された判定対象の画像領域を表示処理し、当該画像領域と重畳しない画像領域において前記判定部による成熟度を含む判定結果を表示処理する表示処理部を備える、請求項１～９の何れかに記載の色判定システム。
11. 前記判定部は、前記検出部により検出された前記判定対象または前記色見本に基づく判定の結果について、更に成否判定を実行し、
    前記成否判定が不成立である場合、前記不成立を示す通知を出力する通知部を備える、請求項１～請求項１０の何れかに記載の色判定システム。
12. 前記判定部は、前記検出部による検出結果について、更に成否判定を実行し、
    前記成否判定が不成立である場合、前記不成立を示す通知を出力する通知部を備える、請求項１～請求項１１の何れかに記載の色判定システム。
13. 農作物の成熟の度合いにより変化する色を判定する色判定システムであって、
    画像取得部と、記憶部と、検出部と、判定部と、を備え、
    前記画像取得部は、前記色を判定する判定対象と、前記色の基準とする任意色を有する農作物である色見本と、が含まれる判定対象画像を取得し、
    前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、
    前記記憶部は、前記任意色からの色差と、前記色差に応じた閾値であり、前記任意色と略同色であると判定するための同色判定閾値と、の対応関係を示す閾値テーブルを格納し、
    前記判定部は、前記閾値テーブルを参照し、前記判定対象画像に含まれる前記判定対象の色における前記任意色からの色差に基づいて前記略同色であるか否かを示す判定結果を出力する、色判定システム。
14. 農作物の成熟の度合いにより変化する色を判定する色判定方法であって、
    画像取得工程と、検出工程と、判定工程と、をコンピュータが実行し、
    前記画像取得工程は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、
    前記検出工程は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、
    前記判定工程は、前記コンピュータの記憶部に格納されるカラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて成熟度を出力し、
    前記カラーチャートは、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の前記成熟度と、の対応関係を示す、色判定方法。
15. 前記農作物に対する作業者の手または作業器具に前記色見本を取り付ける取付工程を含み、
    前記画像取得工程は、前記作業者が装着可能な撮像装置を介して撮影される前記判定対象画像を取得する、請求項１４に記載の色判定方法。
16. 農作物の成熟の度合いにより変化する色を判定する色判定プログラムであって、
    コンピュータを、画像取得部と、記憶部と、検出部と、判定部と、として機能させ、
    前記画像取得部は、前記色を判定する判定対象と、前記色の基準色値となる色見本と、が含まれる判定対象画像を取得し、
    前記検出部は、前記判定対象画像に含まれる前記判定対象および前記色見本をそれぞれ検出し、
    前記記憶部は、前記基準色値からの所定の色差と、前記色差に応じた前記農作物の成熟度と、の対応関係を示すカラーチャートを格納し、
    前記判定部は、前記カラーチャートを参照し、前記判定対象画像に含まれる前記判定対象の色における前記基準色値からの色差に基づいて前記成熟度を出力する、色判定プログラム。

Images