JP2023094434A - 分類装置、分類方法、及び分類システム - Google Patents

Abstract

【課題】分類対象物の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行う。【解決手段】分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、を備える。【選択図】図４

Description

本発明は、分類装置、分類方法、及び分類システムに関する。

分類対象物としての苺を分類するシステムがある（例えば、特許文献１参照）。特許文献１のシステムでは、苺の外観を撮像した画像を用いて当該苺の大きさや形状を分類する。これにより、計測機器などを苺に接触させることなく非接触にて苺を分類することができる。したがって、苺を傷つけずに分類することが可能となる。

特開平７－８７４７７号公報

しかしながら、分類を行う場合、分類対象物の全体の状態に基づいて分類が行われる方が望ましい。特許文献１では苺を一方の方向から撮像した画像を用いた分類が行なわれ、他方の状態を考慮した分類が行われていなかった。

本発明は、このような状況に鑑みてなされたものであり、分類対象物の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことが可能となる分類装置、分類方法、及び分類システムを提供することを目的とする。

本発明の、分類装置は、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、を備える。

本発明の、分類装置は、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類するサイズ分類部と、を備える。

本発明の、分類システムは、分類対象物の外周面における互いに異なる領域が含まれる複数の画像を撮像する撮像装置と、上記に記載の分類装置と、を備え、前記分類装置は、前記撮像装置により撮像された前記複数の画像を取得する。

本発明の、分類方法は、分類装置であるコンピュータが行う分類方法であって、画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、品位分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する。

本発明の、分類方法は、分類装置であるコンピュータが行う分類方法であって、画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、サイズ分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類する。

本発明によれば、分類対象物の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことが可能となる。

実施形態による分類装置１０が適用される分類システム１の例を示す概要図である。 実施形態によるサンプルＳＰとカメラＫの位置関係を説明する図である。 実施形態によるサンプルＳＰとカメラＫの位置関係を説明する図である。 実施形態による分類装置１０の構成例を示すブロック図である。 実施形態による分類装置１０が行う処理を説明する図である。 実施形態による分類装置１０が行う処理を説明する図である。 実施形態による分類装置１０が行う処理を説明する図である。 実施形態による分類装置１０が行う処理の流れを示すフローチャートである。 実施形態による分類装置１０が行う処理の流れを示すフローチャートである。 実施形態による分類装置１０が行う処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。以下では、分類対象物が苺である場合を例示して説明するが、これに限定されない。分類対象物は、任意の物体であってよい。本実施形態は、分類対象物として、例えば、円錐状のもの、或いは球状のものに適用可能である。円錐状の分類対象物としては、例えば、トウモロコシ、アスパラガスなどの農作物、大福などの加工品がある。球状のものとしては、例えば、りんご、トマトなどの農作物がある。

（分類システム１について）
まず、分類システム１について、図１を用いて説明する。図１は、実施形態による分類装置１０が適用される分類システム１の例を示す概要図である。分類システム１は、例えば、苺を栽培する植物工場に設置され、植物工場で収穫された苺を分類する作業を行う。

分類システム１は、例えば、コンベアＣＶと、複数（この図の例では、３つ）のカメラＫ（カメラＫ１～Ｋ３）と、分類装置１０と、アームロボットＲＢと、表示装置２０とを備える。コンベアＣＶは、分類対象とする苺（以下、サンプルＳＰという）を搬送する。分類システム１では、サンプルＳＰを搬送する過程において、工程ＫＴ１～ＫＴ３が行われる。

工程ＫＴ１では、サンプルＳＰを分類する作業が行われる。例えば、工程ＫＴ１では、カメラＫは、サンプルＳＰを撮像し、撮像した画像データを分類装置１０に出力する。分類装置１０は、カメラＫによって撮像された画像に基づいてサンプルＳＰの等級を分類し、分類結果をアームロボットＲＢ及び表示装置２０に出力する。
工程ＫＴ２では、分類結果に基づいてサンプルＳＰを移載する作業が行われる。例えば、工程ＫＴ２では、アームロボットＲＢは、分類装置１０から取得した分類結果に基づいてサンプルＳＰを分岐レーン等に移載する。
工程ＫＴ３では、作業員Ｐによる手作業が行われる。例えば、工程ＫＴ３では、表示装置２０は、分類結果に基づいて、分類された苺を梱包する等、作業員Ｐに対する指示を表示する。作業員Ｐは、表示装置２０に表示された指示に従い作業を行う。

分類システム１では、サンプルＳＰの品位及びサイズ（大きさ）をそれぞれ分類し、品位に係る分類結果と、サイズに係る分類結果とに基づいて、総合的にサンプルＳＰの等級を決定する。ここでの品位とは、外観の優劣度である。品位は、苺の表面の状態、例えば、傷の有無やテクスチャなどの質感、色味等に基づく優劣度である。分類システム１では、画像に基づいて品位及びサイズを分類する。これにより、外観と大きさとに基づく総合的な分類を、計測機器などを苺に接触させることなく非接触にて行うことが可能となる。

（撮像について）
ここで、工程ＫＴ１において、カメラＫがサンプルＳＰを撮像する方法について、図２及び図３を用いて説明する。図２及び図３は、実施形態によるサンプルＳＰとカメラＫの位置関係を説明する図である。

一般に、成熟した苺の果実部分はやわらかくて傷つき易い状態にある場合が多い。このようなやわらかくて傷つき易い状態にある苺の果実部分を載置面と接触するように載置してしまうと、果実部分が自重により損傷してしまう可能性がある。

この対策として本実施形態では、サンプルＳＰを、ヘタ部分が下側、先端部分が上側となるように配置する。これにより、果実部分を載置面に接触させないようにして果実部分が自重により損傷してしまうことを抑制できるようにする。

また、苺の外皮は可食部、つまり食べられる部分である。このため、苺の外皮に付着したゴミや汚れを精度よく検知する必要がある。さらに、苺の外皮には粒状の痩果（種のようにみえるもの）がついており、痩果の周囲がやや窪んだ複雑な形状をしている。このように表面の状態が複雑なテクスチャである苺に対し、品位を正しく分類するには、少なくとも痩果と付着汚れを正しく区別する必要がある。

例えば、逆光にて撮像した苺の画像を、苺の陰影部分とそれ以外の部分とに二値化処理するなどして生成した苺のシルエットを用いてその苺の大きさや形状を分類するようなシステムでは、苺の外皮に付着したゴミや汚れを精度よく検知することが困難である。また、苺をモノトーンで撮像した画像を用いた分類では、痩果と、苺の表面に付着した汚れとを精度よく区別することが難しい。

この対策として、本実施形態では、苺を色付き（カラー）で撮像し、撮像したカラー画像を用いて苺の品位を分類する。これにより、色の相違に基づいて、痩果と苺の表面に付着した汚れとを精度よく区別できるようにする。

さらに、本実施形態では、サンプルＳＰの外周面における互いに異なる領域のそれぞれが撮像された複数の画像を用いて分類を行う。これにより、苺の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことができるようにする。ここでの複数の画像は、例えば、互いに異なる複数の撮像位置のそれぞれからサンプルＳＰが撮像された画像である。この場合、複数の撮像位置のそれぞれにカメラＫが配置される。

図２には、サンプルＳＰとカメラＫの位置関係を上方からみた斜視図が模式的に示されている。この図の例に示すように、カメラＫ１～Ｋ３は、サンプルＳＰを中心とする円Ｅの円周上に等間隔に、すなわち、隣り合う撮像位置と、円Ｅの中心とがなす角度が等角度となるように配置される。これにより、サンプルＳＰを三方向から撮像することができ、サンプルＳＰの外周面の全体の状態を撮像することが可能となる。

図３には、サンプルＳＰとカメラＫの位置関係を正面からみた正面図が模式的に示されている。この図の例に示すように、カメラＫ１～Ｋ３は、サンプルＳＰを通り鉛直方向に向かう直線に垂直な平面上にある円Ｅに配置される。すなわち、カメラＫ１～Ｋ３は、サンプルＳＰの配置位置から、それぞれの撮像位置までの距離が等距離であり、且つ、サンプルＳＰの配置位置からそれぞれの撮像位置を結ぶ直線と水平面とのなす角度が等角度であるように配置される。これにより、複数の画像のそれぞれについて、同じ解像度、且つ同程度の大きさにてサンプルＳＰを撮像することができる。

なお、本実施形態では、複数台のカメラＫのそれぞれを異なる位置に配置して撮像する場合を例示したが、これに限定されることはない。例えば、複数の画像が、１台のカメラＫが設置された１つの撮像位置から撮像された画像であってもよい。この場合、例えば、サンプルＳＰが配置された台を、サンプルＳＰを通り鉛直方向に向かう直線を回転軸として回転させることによって、当該１つの撮像位置からサンプルＳＰの外周面における互いに異なる領域が含まれるように複数の画像が撮像される。これにより、１つのカメラＫによって、サンプルＳＰの外周面における互いに異なる領域を撮像することができる。

（分類装置１０について）
ここで、分類装置１０について、図４を用いて説明する。図４は、実施形態による分類装置１０の構成例を示すブロック図である。分類装置１０は、コンピュータであり、例えば、ＰＣ（Personal Computer）、マイコン（microcontroller）、ＰＬＣ（Programmable Logic Controller）等である。

図４に示す通り、分類装置１０は、例えば、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、外部の装置と通信する。ここでの外部の装置とは、カメラＫ、アームロボットＲＢ、及び表示装置２０である。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、分類装置１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

記憶部１２は、例えば、品位分類学習済モデル１２０と、サイズ分類学習済モデル１２１を記憶する。品位分類学習済モデル１２０は、モデルに入力された入力画像に基づいてサンプルＳＰの品位を推定するモデルである。ここでの入力画像は、サンプルＳＰの外周面が撮像された画像である。品位分類学習済モデル１２０は、学習用データセットを用いた機械学習を実行することにより苺と品位との対応関係を学習したモデルである。対応関係を学習することにより、品位分類学習済モデル１２０は、入力画像に基づいて苺の品位を推定することができるようになる。ここでの学習用データセットは、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺の品位とが対応付けられた情報である。

サイズ分類学習済モデル１２１は、モデルに入力された入力画像に基づいてサンプルＳＰのサイズを推定するモデルである。ここでの入力画像は、サンプルＳＰの外周面が撮像された画像である。サイズ分類学習済モデル１２１は、学習用データセットを用いた機械学習を実行することにより苺とサイズとの対応関係を学習したモデルである。対応関係を学習することにより、サイズ分類学習済モデル１２１は、入力画像に基づいて苺のサイズを推定することができるようになる。ここでの学習用データセットは、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺のサイズとが対応付けられた情報である。

品位分類学習済モデル１２０、或いはサイズ分類学習済モデル１２１は、既存の学習モデルに、それぞれの分類対象に応じた分類を精度よく行うことができるようになるまで、学習用データセットを用いた機械学習を繰り返し実行することによって生成される。ここでの既存の学習モデルは、例えば、ＣＮＮ（Convolutional Neural Network）、決定木、階層ベイズ、ＳＶＭ（Support Vector Machine）などである。

制御部１３は、分類装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。制御部１３は、分類装置１０を統括的に制御する。制御部１３は、例えば、画像取得部１３０と、品位分類部１３１と、サイズ分類部１３２と、総合分類部１３３と、分類結果出力部１３４とを備える。

画像取得部１３０は、サンプルＳＰの外周面における互いに異なる領域が含まれる複数の画像のそれぞれに対応する画像データを取得する。本実施形態では、画像取得部１３０は、カメラＫ１～Ｋ３のそれぞれが撮像した画像に対応する画像データを、カメラＫ１～Ｋ３のそれぞれから取得する。画像取得部１３０は、取得した画像を、品位分類部１３１及びサイズ分類部１３２に出力する。

品位分類部１３１は、画像取得部１３０から取得した複数の画像に基づいて、サンプルＳＰの品位を分類する。品位分類部１３１は、例えば、品位分類学習済モデル１２０を用いて、複数の画像のそれぞれについてサンプルＳＰの品位を判定する。品位分類部１３１は、複数の画像のうち、１つの画像に対応する画像データを品位分類学習済モデル１２０に入力する。品位分類学習済モデル１２０は、入力された画像データに基づいて推定される、画像に示された苺の品位を出力する。品位分類部１３１は、品位分類学習済モデル１２０から出力された推定結果を、その画像に示された苺の外周面から推定される品位と判定する。品位分類部１３１は、複数の画像のそれぞれについて、品位分類学習済モデル１２０を用いて、それぞれの品位を判定する。

ここで、複数の画像のそれぞれが似たような品位を示す場合には、複数の画像のそれぞれについて判定した品位を平均化し、その平均化した品位をサンプルＳＰ全体の品位とすることによって、サンプルＳＰ全体の品位を精度よく分類することが可能である。

しかし、複数の画像のそれぞれが異なる品位を示す場合、複数の画像のそれぞれについて判定した品位の平均をサンプルＳＰ全体の品位とすると、分類精度を低下させてしまう可能性がある。一般に、１か所でも深刻なダメージや汚れが付着していれば、それは良品ではないと判断される場合が多い。このため、１つの画像に深刻なダメージや汚れが付着している状態が撮像されており、他の画像には深刻なダメージや汚れが撮像されていない場合、その苺は良品ではないと判定される方が望ましい。

この対策として、本実施形態では、品位分類部１３１は、判定した複数の画像のそれぞれに対応する複数の品位のうち、最も劣る品位を、サンプルＳＰ全体の品位として決定する。これにより、１か所でも深刻なダメージや汚れが付着していれば、その深刻なダメージや汚れに応じた品位に分類されるようにする。したがって、複数の画像のそれぞれの品位が互いに異なる状態にある場合であっても、そのサンプルＳＰ全体の品位を精度よく分類することが可能となる。

サイズ分類部１３２は、画像取得部１３０から取得した複数の画像に基づいて、サンプルＳＰのサイズを分類する。サイズ分類部１３２は、例えば、サイズ分類学習済モデル１２１を用いて、複数の画像のそれぞれについてサンプルＳＰのサイズを判定する。サイズ分類部１３２は、複数の画像のうち、１つの画像に対応する画像データをサイズ分類学習済モデル１２１に入力する。サイズ分類学習済モデル１２１は、入力された画像データに基づいて推定される、画像に示された苺のサイズを出力する。サイズ分類部１３２は、サイズ分類学習済モデル１２１から出力された推定結果を、その画像に示された苺の外周面から推定されるサイズと判定する。サイズ分類部１３２は、複数の画像のそれぞれについて、サイズ分類学習済モデル１２１を用いて、それぞれのサイズを判定する。

そして、サイズ分類部１３２は、判定した複数の画像のそれぞれに対応する複数のサイズの平均値を、サンプルＳＰ全体のサイズとして決定する。これにより、例えば、サンプルＳＰが少し傾いて配置され、一方からは見かけのサイズが大きくなり、他方から見た見かけのサイズが小さく見えるような場合があっても、それぞれの画像について判定したそれぞれのサイズを平均化することにより、精度よくサイズを判定することが可能となる。

総合分類部１３３は、サンプルＳＰを総合的に分類する。総合分類部１３３は、品位分類部１３１により判定されたサンプルＳＰ全体の品位を示す情報を取得する。総合分類部１３３は、サイズ分類部１３２により判定されたサンプルＳＰ全体のサイズを示す情報を取得する。総合分類部１３３は、取得した品位とサイズとに基づいて、例えば、対応テーブルを用いて、サンプルＳＰの総合的な分類を行う。ここでの対応テーブルは、品位とサイズとの組合せに、総合的な等級が対応付けられた情報である。

分類結果出力部１３４は、総合分類部１３３により分類された分類結果を出力する。このようにして出力された分類結果が、分類装置１０からアームロボットＲＢ及び表示装置２０に送信される。

ここで、分類装置１０が行う分類の方法について、図５～図７を用いて説明する。図５～図７は、実施形態による分類装置１０が行う処理を説明する図である。

図５には、学習済モデル（品位分類学習済モデル１２０及びサイズ分類学習済モデル１２１）を用いて行う分類の過程で行われる処理が示されている。まず、カメラＫ１～Ｋ３のそれぞれにより撮像された画像が、品位分類学習済モデル１２０及びサイズ分類学習済モデル１２１に入力される。

品位分類学習済モデル１２０は、入力された画像に応じた品位スコアをそれぞれ出力する。品位スコアは、例えば、画像に示されたサンプルＳＰが、特定の品位クラスである確からしさ（尤度）を示す値である。この図の例では、ｎ＝１～３として、品位スコア（Ｋｎ）は、カメラＫｎによって撮像された画像について推定された品位スコアを示す。

サイズ分類学習済モデル１２１は、入力された画像に応じたサイズスコアをそれぞれ出力する。サイズスコアは、例えば、画像に示されたサンプルＳＰが特定のサイズクラスである確からしさ（尤度）を示す値である。この図の例では、ｎ＝１～３として、サイズスコア（Ｋｎ）は、カメラＫｎによって撮像された画像について推定されたサイズスコアを示す。

図６には、品位分類学習済モデル１２０により推定された、品位クラスごとの品位スコアの例が示されている。この例では、品位クラスとして、Ａ～Ｃの三つのクラスが設定された例が示されている。ここでは、品位クラスＡが最も優れた品位であり、品位クラスＢが次に優れた品位であり、品位クラスＣが最も劣った品位である。

この例では、カメラＫ１が撮像した画像が、品位クラスＡと推定されるスコア（品位スコア）は０．８０であり、品位クラスＢと推定されるスコアは０．２０であり、品位クラスＣと推定されるスコアは０．００であることが示されている。

品位分類部１３１は、最もスコアが大きい品位クラスを、その画像から推定される品位とする。この例では、カメラＫ１が撮像した画像から推定されたスコアのうち、最も大きなスコアが０．８０であり、その最大のスコアに対応するクラス（品位クラス）がＡであることから、品位分類部１３１は、カメラＫ１が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＡ」であると判定する。同様に、品位分類部１３１は、カメラＫ２が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＡ」であると判定する。また、カメラＫ３が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＣ」であると判定する。

品位分類部１３１は、カメラＫ１～Ｋ３のそれぞれが撮像した画像について推定した、それぞれの品位クラスのうち、最も劣った品位を、そのサンプルＳＰ全体の品位に決定する。この例では、品位分類部１３１は、カメラＫ１、Ｋ２、Ｋ３のそれぞれが撮像した画像について推定した、それぞれの品位クラスＡ、Ａ、Ｃのうち、最も劣った品位である「品位クラスＣ」を、そのサンプルＳＰ全体の品位に決定する。

図７には、サイズ分類学習済モデル１２１により推定された、サイズクラスごとの品位スコアの例が示されている。この例では、サイズクラスとして、３Ｌ、２Ｌ、Ｌ、Ｍ、Ｓ、２Ｓ、及び２Ｓ未満のそれぞれのクラスが設定された例が示されている。ここでは、サイズクラス３Ｌが最も大きいサイズであり、サイズクラス２Ｓ未満が最も小さいサイズである。

この例では、カメラＫ１が撮像した画像が、サイズクラス３Ｌと推定されるスコア（サイズスコア）は０．００であり、サイズクラス２Ｌと推定されるスコアは０．１であり、サイズクラスＬと推定されるスコアは０．２であることが示されている。また、カメラＫ１が撮像した画像が、サイズクラスＭと推定されるスコアは０．６であり、サイズクラスＳと推定されるスコアは０．１であり、サイズクラス２Ｓ又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計（トータル）は、１．０である。

また、この例では、カメラＫ２が撮像した画像が、サイズクラス３Ｌと推定されるスコアは０．００であり、サイズクラス２Ｌと推定されるスコアは０．３であり、サイズクラスＬと推定されるスコアは０．５であることが示されている。また、カメラＫ２が撮像した画像が、サイズクラスＭと推定されるスコアは０．２であり、サイズクラスＳ、２Ｓ、又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計は、１．０である。

また、この例では、カメラＫ３が撮像した画像が、サイズクラス３Ｌと推定されるスコアは０．００であり、サイズクラス２Ｌと推定されるスコアは０．４であり、サイズクラスＬと推定されるスコアは０．５であることが示されている。また、カメラＫ３が撮像した画像が、サイズクラスＭと推定されるスコアは０．１であり、サイズクラスＳ、２Ｓ、又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計は、１．０である。

サイズ分類部１３２は、複数の画像のそれぞれについて、サイズクラスごとのサイズスコアを算出する。そして、サイズ分類部１３２は、サイズクラスごとに、各画像から推定されたサイズスコアの平均値（スコア平均）を算出する。この例では、サイズクラス３Ｌのスコア平均は０．００である。サイズクラス２Ｌのスコア平均は０．２７である。サイズクラスＬのスコア平均は０．４０である。サイズクラスＭのスコア平均は０．３０である。サイズクラスＳのスコア平均は０．０３である。サイズクラス２Ｓ及び２Ｓ未満のスコア平均は０．００である。

サイズ分類部１３２は、サイズクラスごとに算出したスコア平均のうち、最もスコアが大きいクラスを、そのサンプルＳＰ全体のサイズクラスとする。この例では、サイズクラスＬのスコア平均である０．４０が、最も大きいスコアであることから、サイズ分類部１３２は、サイズクラスＬを、このサンプルＳＰのサイズと決定する。

ここで、分類装置１０が行う処理の流れについて、図８～図１０を用いて説明する。図８～図１０は、実施形態による分類装置１０が行う処理の流れを示すフローチャートである。

図８には、分類装置１０が行う処理の全体が示されている。まず、分類装置１０は、複数の画像のそれぞれに対応する画像データを取得する（ステップＳ１）。複数の画像のそれぞれには、サンプルＳＰの外周面における互いに異なる領域が撮像されている。次に、分類装置１０は、ステップＳ１で取得した複数の画像を用いて、その画像に示されたサンプルＳＰ全体の品位を分類する（ステップＳ２）。次に、分類装置１０は、ステップＳ１で取得した複数の画像を用いて、その画像に示されたサンプルＳＰ全体のサイズを分類する（ステップＳ３）。次に、分類装置１０は、ステップＳ２で分類した品位、及びステップＳ３で分類したサイズに基づいて、サンプルＳＰの総合的な等級を分類する（ステップＳ４）。そして、分類装置１０は、ステップＳ４で分類した分類結果、すなわち、サンプルＳＰの総合的な等級を示す情報を出力する（ステップＳ５）。

なお、図８において、ステップＳ２、Ｓ３を行う処理の順序が逆であってもよい。つまり、ステップＳ１、Ｓ３、Ｓ２の順に処理が実行されてもよい。

図９には、図８のステップＳ２に示す処理（品位を分類する処理）の詳細な流れが示されている。分類装置１０は、１つの画像に基づいて推定された品位クラスごとの品位スコアを取得する（ステップＳ２０）。分類装置１０は、品位分類学習済モデル１２０に、ステップＳ１で取得した複数の画像のうちの１つの画像を入力する。品位分類学習済モデル１２０は、入力された画像に基づいて推定される品位として、品位クラスごとの品位スコアを出力する。分類装置１０は、品位分類学習済モデル１２０から出力された品位クラスごとの品位スコアを取得する。

分類装置１０は、ステップＳ２０で取得した品位クラスごとの品位スコアのうち、最も品位スコアが大きい品位クラスを、その画像から推定される品位とする（ステップＳ２１）。分類装置１０は、ステップＳ１で取得した複数の画像の全てについて、品位を推定したか否かを判定する（ステップＳ２２）。分類装置１０は、品位を推定していない画像がある場合にはステップＳ２０に戻る。一方、全ての画像について品位を推定した場合には、分類装置１０は、各画像について推定された品位のうち、最も劣った品位を、そのサンプルＳＰの品位として決定する（ステップＳ２３）。

図１０には、図８のステップＳ３に示す処理（サイズを分類する処理）の詳細な流れが示されている。分類装置１０は、１つの画像に基づいて推定されたサイズクラスごとのサイズスコアを取得する（ステップＳ３０）。分類装置１０は、サイズ分類学習済モデル１２１に、ステップＳ１で取得した複数の画像のうちの１つの画像を入力する。サイズ分類学習済モデル１２１は、入力された画像に基づいて推定されるサイズとして、サイズクラスごとのサイズスコアを出力する。分類装置１０は、サイズ分類学習済モデル１２１から出力されたサイズクラスごとのサイズスコアを取得する。

分類装置１０は、ステップＳ１で取得した複数の画像の全てについて、サイズを推定したか否かを判定する（ステップＳ３１）。分類装置１０は、サイズを推定していない画像がある場合にはステップＳ３０に戻る。一方、全ての画像についてサイズを推定した場合には、ステップＳ３２に進む。

分類装置１０は、サイズクラスごとに、各画像から推定されたサイズスコアの平均値を算出する（ステップＳ３２）。分類装置１０は、ステップＳ３２で算出した平均値が最も大きい値となったサイズクラスを、そのサンプルＳＰのサイズとして決定する（ステップＳ３３）。

以上、説明した通り、実施形態の分類装置１０は、画像取得部１３０と、品位分類部１３１を備える。画像取得部１３０は、複数の画像のそれぞれに対応する画像データを取得する。複数の画像は、サンプルＳＰ（分類対象物、例えば苺）の外周面における互いに異なる領域が含まれる複数の画像である。品位分類部１３１は、画像取得部１３０によって取得された複数の画像を用いて、サンプルＳＰにおける品位を分類する。品位は、外観の優劣度である。これにより、実施形態の分類装置１０では、サンプルＳＰ（分類対象物、例えば苺）全体の状態に基づいて分類を行うことができる。

また、実施形態の分類装置１０では、複数の画像のそれぞれに対応する撮像位置とサンプルＳＰの配置位置との相対的な位置関係は、配置位置から撮像位置までの距離が等距離であり、配置位置から撮像位置を結ぶ直線と水平面とのなす角度が等角度である。これにより、実施形態の分類装置１０では、複数の画像のそれぞれについて、同じ解像度、且つ同程度のサイズにてサンプルＳＰを撮像することができる。

複数の画像のそれぞれに対応する撮像位置から配置位置までの距離が異なっている場合、それぞれ画像に撮像されるサンプルＳＰの大きさが異なる。このため、画像から推定されるサンプルＳＰのサイズが異なる結果となってしまう。この対策として、１つの画像にサンプルＳＰと、大きさが既知のリファレンスとが含まれるよう撮像を行い、リファレンスに基づいて画像処理を行うことにより、サンプルＳＰの大きさを推定することが考えられる。

また、複数の画像のそれぞれに対応する撮像位置から配置位置までの距離が異なっている場合、それぞれ画像を撮像する際にカメラＫが受光する光量（サンプルＳＰに反射した光の光量）が変化する。このため、複数の画像のそれぞれに撮像されたサンプルＳＰの色調が異なる色調となる可能性がある。この対策として、１つの画像にサンプルＳＰと、色が既知のリファレンスとが含まれるよう撮像を行い、リファレンスに基づいて画像処理を行うことにより、サンプルＳＰの明度及び色度を補正し、補正後の画像に基づいて品位を推定することが考えられる。

上述したような画像処理を行う構成にしてもよいが、処理が煩雑となるため、それぞれに対応する撮像位置から配置位置までの距離が等距離となるように構成されることが望ましい。

また、実施形態の分類装置１０では、サンプルＳＰは、錘状の物体であり、錘状の物体における底面が下側となるように配置される。これにより、分類対象物を安定した状態で載置することができる。

また、実施形態の分類装置１０では、サンプルＳＰは、ヘタ部分が下側となり、先端部分が上側となるように配置される。やわらかくて傷つき易い苺の側面にある果実部分が載置面に接触しないようにして果実部分が自重により損傷してしまうことを抑制することができる。

ここで比較例として、例えば、ヘタ部分が右側となり、先端部分が左側となるように、横向きに配置したサンプルＳＰを、図２及び図３のように設置されたカメラＫで三方向から撮像する場合を考える。この場合、３つの画像のうち、少なくとも1つの画像にはヘタ部分が撮像された画像となり、少なくとも１つの画像には果実部分のみが撮像されヘタ部分が撮像されていない画像となる。この場合、１つのサンプルＳＰを撮像して得られる複数の画像に、緑色と赤色のそれぞれの色調が含まれる画像と、緑の色調が含まれず赤色の色調のみが含まれる画像とが混在することとなる。このような混在した画像に基づいて品位を判定しようとすると、緑色と赤色のそれぞれの色調が含まれる画像に基づいて品位を判定するアルゴリズムと、赤色のみの色調が含まれる画像に基づいて品位を判定するアルゴリズムとの２種類のアルゴリズムを用意する必要がある。つまり、２種類のアルゴリズムのそれぞれに対応するモデル（学習済モデルなど）を用意する必要がある。また、複数の画像のうち、何れの画像を、何れのアルゴリズムを用いて分類するかを判定する必要があるため処理が煩雑となる。

これに対し、本実施形態の分類装置１０では、ヘタ部分が下側となり、先端部分が上側となるように配置される。このようにサンプルＳＰを配置することにより、苺の外周面において互いに異なる面を、同じような色調で撮像することが可能となる。つまり、複数の画像の全てを、ヘタ部分と果実部分とが含まれる画像、つまり緑色と赤色のそれぞれの色調が含まれる画像とすることができる。このため、画像に基づいて品位を分類する場合に、複数の画像のそれぞれに、同じアルゴリズムを適用することが可能となる。つまり、１つのアルゴリズムに対応するモデルを用意し、そのモデルを用いて複数の画像のそれぞれについて分類を行えばよい。このため、処理を簡素化することが可能である。

また、実施形態の分類装置１０では、複数の画像は、互いに異なる複数の撮像位置のそれぞれから撮像された画像である。複数の撮像位置のそれぞれは、円Ｅの円周上に、隣り合う撮像位置と、円Ｅの中心とがなす角度が等角度となるように設定される。円Ｅは、図２及び図３に示すように、サンプルＳＰを通り鉛直方向に向かう直線に垂直な平面にあり、その平面とその直線との交点を中心とする円である。例えば、三つのカメラＫを用いる場合には円周角１２０度ごとに三方向からサンプルＳＰを撮像する。これにより、実施形態の分類装置１０では、複数のカメラＫによってサンプルＳＰの外周面の全体の状態を撮像することが可能となる。

また、実施形態の分類装置１０では、複数の画像は、１つの撮像位置から撮像された画像であってもよい。この場合、複数の画像は、サンプルＳＰが配置された台を、サンプルＳＰを通り鉛直方向に向かう軸を中心として水平方向に回転させることによって、当該１つの撮像位置からサンプルＳＰの外周面における互いに異なる領域が撮像された複数の画像である。これにより、実施形態の分類装置１０では、１つのカメラＫによってサンプルＳＰの外周面の全体の状態を撮像することが可能となる。

また、実施形態の分類装置１０では、品位分類部１３１は、複数の画像のそれぞれについて品位を判定する。品位分類部１３１は、判定した複数の画像のそれぞれに対応する複数の品位のうち、最も劣る前記品位を、サンプルＳＰの品位として決定する。これにより、実施形態の分類装置１０では、サンプルＳＰの外周面における互いに異なる領域のそれぞれの品位のうち、最も劣った品位を、そのサンプルＳＰ全体の品位とすることができる。したがって、１か所でも深刻なダメージや汚れが付着していれば、そのダメージや汚れを考慮した品位とすることができるため精度よく品位を分類することができる。

また、実施形態の分類装置１０では、品位分類部１３１は、品位分類学習済モデル１２０（学習済モデルの一例）を用いて品位を判定する。品位分類学習済モデル１２０は、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺の品位とが対応付けられた学習用データセットを用いた機械学習を実行することにより作成される。品位分類学習済モデル１２０は、このような機械学習を実行することにより、苺と品位との対応関係を学習したモデルとなる。品位分類学習済モデル１２０は、このようにして学習した対応関係を用いて、サンプルＳＰの外周面が撮像された入力画像に基づいて、サンプルＳＰの品位を推定する。これにより、実施形態の分類装置１０では、学習済モデルに画像を入力するという簡単な方法により品位を推定することができる。また、学習済モデルは、学習データセットを機械学習することにより学習した、苺と品位との対応関係に基づいて品位を推定する。このため、本実施形態の分類装置１０では定量的に品位を推定することが可能となる。したがって、作業者（人間）が各自の感覚に基づいて品位を判別する方法と比較して、品位を誤って判定してしまったり、作業者によって判定結果に偏りが出てしまったりするような事態を低減することができる。

また、実施形態の分類装置１０は、画像取得部１３０と、サイズ分類部１３２を備えるように構成されてもよい。画像取得部１３０は、複数の画像のそれぞれに対応する画像データを取得する。複数の画像は、サンプルＳＰ（分類対象物、例えば苺）の外周面における互いに異なる領域が含まれる複数の画像である。サイズ分類部１３２は、画像取得部１３０によって取得された複数の画像を用いて、サンプルＳＰにおけるサイズを分類する。これにより、実施形態の分類装置１０では、サンプルＳＰ（分類対象物、例えば苺）の異なる面の状態に基づいて分類を行うことができる。

また、実施形態の分類装置１０では、サイズ分類部１３２は、複数の画像のそれぞれについて前記苺のサイズを判定する。サイズ分類部１３２は、判定した複数の画像のそれぞれに対応する複数のサイズの平均値を、サンプルＳＰのサイズとして決定する。これにより、実施形態の分類装置１０では、例えば、サンプルＳＰが少し傾いて載置され、一方からは見かけのサイズが大きくなり、他方から見た見かけのサイズが小さく見えるような場合があっても、それぞれの画像について判定したそれぞれのサイズを平均化することができる。このため、精度よくサイズを判定することが可能となる。

また、実施形態の分類装置１０では、サイズ分類部１３２は、サイズ分類学習済モデル１２１（学習済モデルの一例）を用いてサイズを判定する。サイズ分類学習済モデル１２１は、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺のサイズとが対応付けられた学習用データセットを用いた機械学習を実行することにより作成される。サイズ分類学習済モデル１２１は、このような機械学習を実行することにより、苺とサイズとの対応関係を学習したモデルとなる。サイズ分類学習済モデル１２１は、このようにして学習した対応関係を用いて、サンプルＳＰの外周面が撮像された入力画像に基づいて、サンプルＳＰのサイズを推定する。これにより、実施形態の分類装置１０では、学習済モデルに画像を入力するという簡単な方法によりサイズを推定することができる。また、学習済モデルは、学習データセットを機械学習することにより学習した、苺とサイズとの対応関係に基づいて品位を推定する。このため、本実施形態の分類装置１０では定量的にサイズを推定することが可能となる。

また、実施形態の分類システム１は、カメラＫ（撮像装置）と分類装置１０とを備える。分類システム１は、分類対象物であるサンプルＳＰ（分類対象物、例えば苺）を分類する。カメラＫは、サンプルＳＰの外周面における互いに異なる領域が含まれる複数の画像を撮像する。分類装置１０は、カメラＫにより撮像された複数の画像を取得する。これにより、実施形態の分類システム１では、サンプルＳＰ（分類対象物、例えば苺）の異なる面の状態に基づいて分類を行うことが可能となる。

上述した実施形態では、学習済モデルを用いて品位又はサイズを分類する方法を例示して説明したがこれに限定されない。分類装置１０は、画像処理を用いて、品位又はサイズを分類するようにしてもより。例えば、分類装置１０は、サンプルＳＰが撮像された画像に画像処理を行うことによって、サンプルＳＰの輪郭を抽出し、抽出した輪郭部分が画像に占める割合に基づいて、大きさを分類するように構成されてもよい。また、分類装置１０は、サンプルＳＰが撮像された画像に画像処理を行うことによって、画像において赤色の色調が占める面積、及び緑色の色調が占める面積を算出する。ここで、赤色の色調が占める面積は果実部分の面積に相当する。また、緑色の色調が占める面積は、ヘタ部分の面積に相当する。分類装置１０は、赤色の色調が占める面積と、緑色の色調が占める面積との比率を用いて、品位を分類するようにしてもよい。

上述した実施形態における分類システム１及び分類装置１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…分類システム
１０…分類装置
１１…通信部
１２…記憶部
１２０…品位分類学習済モデル
１２１…サイズ分類学習済モデル
１３…制御部
１３０…画像取得部
１３１…品位分類部
１３２…サイズ分類部
１３３…総合分類部
１３４…分類結果出力部

Claims (14)

1. 分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、
   前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、
   を備える分類装置。
2. 前記複数の画像のそれぞれに対応する撮像位置と前記分類対象物の配置位置との相対的な位置関係は、前記配置位置から前記撮像位置までの距離が等距離であり、前記配置位置から前記撮像位置を結ぶ直線と水平面とのなす角度が等角度である、
   請求項１に記載の分類装置。
3. 前記分類対象物は、錘状の物体であり、当該錘状の物体における底面が下側となるように配置される、
   請求項１又は請求項２に記載の分類装置。
4. 前記分類対象物は苺であり、
   前記苺は、ヘタ部分が下側となり、先端部分が上側となるように配置される、
   請求項１から請求項３のいずれか一項に記載の分類装置。
5. 前記複数の画像は、互いに異なる複数の撮像位置のそれぞれから撮像された画像であり、
   前記複数の撮像位置のそれぞれは、円の円周上に、隣り合う撮像位置と前記円の中心とがなす角度が等角度となるように設定され、
   前記円は、前記分類対象物を通り鉛直方向に向かう直線に垂直な平面にある、前記平面と前記直線との交点を中心とする円である、
   請求項１から請求項４のいずれか一項に記載の分類装置。
6. 前記複数の画像は、１つの撮像位置から撮像された画像であり、前記分類対象物が配置された台を、前記分類対象物を通り鉛直方向に向かう軸を中心に水平方向に回転させることによって、当該１つの撮像位置から前記分類対象物の外周面における互いに異なる領域が撮像された複数の画像である、
   請求項１から請求項４のいずれか一項に記載の分類装置。
7. 前記品位分類部は、前記複数の画像のそれぞれについて前記品位を判定し、判定した前記複数の画像のそれぞれに対応する複数の前記品位のうち、最も劣る前記品位を、前記分類対象物の前記品位として決定する、
   請求項１から請求項６のいずれか一項に記載の分類装置。
8. 前記品位分類部は、学習済モデルを用いて前記品位を判定し、
   前記学習済モデルは、分類対象物の外周面が撮像された学習用画像と当該学習用画像に示された分類対象物の前記品位とが対応付けられた学習用データセットを用いた機械学習を実行することにより分類対象物と前記品位との対応関係を学習したモデルであって、前記分類対象物の外周面が撮像された入力画像に基づいて前記分類対象物の前記品位を推定するモデルである、
   請求項７に記載の分類装置。
9. 分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、
   前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類するサイズ分類部と、
   を備える分類装置。
10. 前記サイズ分類部は、前記複数の画像のそれぞれについて前記分類対象物のサイズを判定し、判定した前記複数の画像のそれぞれに対応する複数のサイズの平均値を、前記分類対象物のサイズとして決定する、
    請求項９に記載の分類装置。
11. 前記サイズ分類部は、学習済モデルを用いて前記分類対象物のサイズを判定し、
    前記学習済モデルは、分類対象物の外周面が撮像された学習用画像と当該学習用画像に示された分類対象物のサイズとが対応付けられた学習用データセットを用いた機械学習を実行することにより分類対象物とサイズとの対応関係を学習したモデルであって、前記分類対象物の外周面が撮像された入力画像に基づいて前記分類対象物のサイズを推定するモデルである、
    請求項１０に記載の分類装置。
12. 分類対象物を撮像する撮像装置と、
    請求項１から請求項１１のいずれか一項に記載の分類装置と、
    を備え、
    前記分類装置は、前記撮像装置から前記分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する、
    分類システム。
13. 分類装置であるコンピュータが行う分類方法であって、
    画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、
    品位分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する、
    分類方法。
14. 分類装置であるコンピュータが行う分類方法であって、
    画像取得部が、分類対象物での外周面における互いに異なる領域が撮像された複数の画像を取得し、
    サイズ分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類する、
    分類方法。

Images