JP2022114462A - 検査装置および検査方法 - Google Patents

Abstract

【課題】画像認識を利用した食品の盛り付け検査をより簡易に行うことを目的とする。【解決手段】検査装置１は、配置された食材が含まれる画像を取得する取得部１０と、学習済み第１モデルＮＮ１を用いて、画像における食材の領域および種類を推定し、推定された食材の領域および種類を画像に関連付けた出力画像を含む第１推定結果を出力する第１推定部１１と、第１推定結果に基づいて、食材の種類ごとに、対応する領域が、食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する第１判断部１２と、記第１判断部１２による判断結果に基づいて、配置された食材の配置に関する検査を行う検査部１３とを備える。【選択図】図１

Description

本発明は、検査装置および検査方法に関し、特に画像認識を利用した食品の盛り付け検査技術に関する。

製造ラインなどで製造された食品の品質管理として、食品の盛り付け検査や、具材抜けの検査等の外観検査が知られている。従来から、これらの検査は目視により行われている。近年、画像認識技術の発展に伴い食品製造の分野においても、製造された食品の品質管理に画像認識を利用する技術が開発されている。

例えば、特許文献１は、検査対象の食品について、異なる２つの波長の画像を撮影し、各画素のスペクトル解析を行って検査画像を生成し、検査対象の食品の状態を検査する技術を開示している。

しかしながら、実際の食品製造の現場では、依然として食品の盛り付け検査などの品質検査は目視により行われることが多い。その理由として、食品に盛り付けられる食材は不定形状を有することが多く、同じ食材であっても形状がそれぞれ異なり、また食材はその色味も一定ではない場合があることが挙げられる。そのため、製造された食品に、決められた食材が盛り付けられていることの確認、各食材の個数、量、および盛り付け位置などを含む食品の盛り付け検査は、常に同じ基準で行うことが困難な場合が多い。このことから、画像認識を利用した食品の盛り付け検査は、検出ロジックの作成自体が困難とされることがある。

さらに、近年においては、消費者のニーズの多様化に応じて多品種少量生産や商品ライフサイクルの短縮化が進み、一旦検出ロジックが作成されたとしても、利用範囲が限られてしまうことがあり、画像認識技術を利用した食品の盛り付け検査を現実的な手法として用いることが困難な場合がある。

Shorten, C., Khoshgoftaar, T.M. "A survey on Image Data Augmentation for Deep Learning." J Big Data 6, 60 (2019). https://doi.org/10.1186/s40537-019-0197-0 Khalifa, Nour Eldeen & Loey, Mohamed & Mirjalili, Seyedali. (2021). "A comprehensive survey of recent trends in deep learning for digital images augmentation." Artificial Intelligence Review. 10.1007/s10462-021-10066-4. Naveed, Humza. (2021). "Survey: Image Mixing and Deleting for Data Augmentation."

特開２０１９－７４３２４号公報 特許第６９５５７３４号公報 特許第６９２９３２２号公報

従来の技術によれば、画像認識を利用した食品の盛り付け検査を簡易に行うことは困難であった。

本発明は、上述した課題を解決するためになされたものであり、画像認識を利用した食品の盛り付け検査をより簡易に行うことを目的とする。

上述した課題を解決するために、本発明に係る検査装置は、配置された食材が含まれる画像を取得する取得部と、学習済み第１モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第１推定結果を出力する第１推定部と、前記第１推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する第１判断部と、前記第１判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部とを備える。

また、本発明に係る検査装置において、前記第１判断部は、前記食材の種類ごとに、前記領域の個数および大きさの少なくとも一方を特定して、前記領域の個数および大きさの少なくとも一方が前記第１基準を満たすか否かを判断してもよい。

また、本発明に係る検査装置において、前記第１推定結果に含まれる前記出力画像を入力とする学習済み第２モデルを用いて、前記出力画像における複数の前記食材の間の相対的な配置関係を推定し、推定された配置関係を前記出力画像に関連付けた第２推定結果を出力する第２推定部と、前記第２推定結果に基づいて、前記配置関係が、前記配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する第２判断部とをさらに備え、前記検査部は、前記第２判断部による判断結果に基づいて、前記食材の配置に関する検査を行ってもよい。

また、本発明に係る検査装置において、さらに、少なくとも前記検査部による検査結果を提示する提示部を備え、前記提示部は、前記画像、前記第１推定結果、前記第１判断部による判断結果、前記第２推定結果、前記第２判断部による判断結果、および前記検査部による検査結果を含む情報報のうちの少なくともいずれかを提示してもよい。

また、本発明に係る検査装置において、さらに、予め設定されたモデルを構築するための学習処理を行う学習装置を備え、前記学習装置は、配置された前記食材を含む画像を第１学習用画像として用い、ニューラルネットワークの第１モデルを学習させて、前記食材の領域および種類を識別する第１特徴量を抽出し、抽出された前記第１特徴量により前記学習済み第１モデルを獲得する第１学習部と、前記第１学習部で獲得された前記学習済み第１モデルを記憶する第１記憶部とを備え、前記第１推定部は、前記第１記憶部から前記学習済み第１モデルを読み込んで前記学習済み第１モデルによる前記画像における前記食材の領域および種類の推定を行ってもよい。

また、本発明に係る検査装置において、前記第１モデルが、インスタンス・セグメンテーションによる画像認識モデルであってもよい。

また、本発明に係る検査装置において、前記学習装置は、前記第１推定部が出力する前記第１推定結果に含まれる前記出力画像を第２学習用画像として用いて、ニューラルネットワークの第２モデルを学習させて、前記第２学習用画像における複数の前記食材の間の相対的な配置関係を識別する第２特徴量を抽出し、抽出された前記第２特徴量により前記学習済みの第２モデルを獲得する第２学習部と、前記第２学習部で獲得された前記学習済みの第２モデルを記憶する第２記憶部とをさらに備えてもよい。

また、本発明に係る検査装置において、さらに、前記第１推定結果に含まれる前記出力画像を変換してより単純化した変換画像を生成する変換部を備え、前記第２学習部は、前記変換画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得してもよい。

また、本発明に係る検査装置において、前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、前記変換画像は、前記カラーパターン画像の領域各々を同一形状のオブジェクトに置き換えたカラーパターン画像であってもよい。

また、本発明に係る検査装置において、前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、前記変換画像は、前記カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えた前記オブジェクトの色を形状ごとに異なる色とした画像であってもよい。

また、本発明に係る検査装置において、前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、前記変換画像は、前記カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えた前記オブジェクトの前記カラーパターンの色をすべて同一の色とした画像であってもよい。

また、本発明に係る検査装置において、さらに、前記第１推定結果に含まれる前記出力画像の前記領域の推定外形線の最長のものの内部が、当該領域であるとして、前記出力画像を加工した加工画像を生成する加工部を備え、前記第２学習部は、前記加工画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得してもよい。

また、本発明に係る検査装置において、前記学習装置は、さらに、前記食材の領域および種類が前記画像に関連付けられた対象画像のデータ拡張を行って前記第２学習用画像を生成するデータ拡張部を備え、前記データ拡張部は、前記対象画像に付与されている、前記対象画像における複数の前記食材の間の相対的な配置関係の妥当性に関するラベル情報に基づいて前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、前記第１ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、前記データ拡張部は、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された対象画像のデータ拡張を行って、前記第２ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係を維持しつつ、前記抽出部が抽出した前記領域を加工後再配置して前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、前記データ拡張部は、前記抽出部が抽出した前記領域のうち、２つ以上の互いに異なる種類の前記食材に対応する領域の位置を互いに置き換えて前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、前記データ拡張部は、前記抽出部が抽出した前記領域のうちの１つ以上を前記対象画像から削除して前記第２学習用画像を生成してもよい。

また、本発明に係る検査装置において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、前記データ拡張部は、前記抽出部が抽出した前記領域の各々の反転、回転、膨張、および収縮のうちの少なくともいずれかを行って前記対象画像のデータ拡張を行ってもよい。

また、上述した課題を解決するために、本発明に係る検査装置は、配置された食材が含まれる画像を取得する取得部と、学習済み第１モデルを用いて、前記画像における前記食材の領域をバウンディングボックスで検出して、複数の前記食材の間の相対的な配置関係と、前記食材の種類とを推定し、推定された前記配置関係を前記画像に関連付けた出力画像を含む第１推定結果を出力する第１推定部と、前記第１推定結果に基づいて、前記配置関係が予め設定された基準を満たすか否かを判断する第１判断部と、前記第１判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部とを備える。

また、上述した課題を解決するために、本発明に係る上記検査装置を用いて検査される食品は、食品製造ラインで製造され、前記食材が配置されて盛り付けられる加工麺、冷凍食品、弁当、および惣菜を含む。

また、上述した課題を解決するために、本発明に係る検査方法は、配置された食材が含まれる画像を取得する第１ステップと、学習済み第１モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第１推定結果を出力する第２ステップと、前記第１推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する第３ステップと、前記第３ステップでの判断結果に基づいて、前記食材の配置に関する検査を行う第４ステップとを備える。

また、本発明に係る検査方法において、前記第３ステップは、前記食材の種類ごとに、前記領域の個数および大きさの少なくとも一方を特定して、前記領域の個数および大きさの少なくとも一方が前記第１基準を満たすか否かを判断し、前記第４ステップは、前記判断結果に基づいて、前記食材の配置に関する検査を行ってもよい。

また、本発明に係る検査方法において、前記第１推定結果に含まれる前記出力画像を入力とする学習済み第２モデルを用いて、前記出力画像における複数の前記食材の間の相対的な配置関係を推定し、推定された配置関係を前記出力画像に関連付けた第２推定結果を出力する第５ステップと、前記第２推定結果に基づいて、前記配置関係が、前記配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する第６ステップとをさらに備え、前記第４ステップは、前記第６ステップでの判断結果に基づいて、前記食材の配置に関する検査を行ってもよい。

また、本発明に係る検査方法において、さらに、予め設定されたモデルを構築するための学習処理を行う学習ステップを備え、前記学習ステップは、配置された前記食材が含まれる画像を第１学習用画像として用い、ニューラルネットワークの第１モデルを学習させて、前記食材の領域および種類を識別する第１特徴量を抽出し、抽出された前記第１特徴量により前記学習済み第１モデルを獲得する第７ステップと、前記第７ステップで獲得された前記学習済み第１モデルを第１記憶部に記憶する第８ステップとを備え、前記第３ステップは、前記第１記憶部から前記学習済み第１モデルを読み込んで前記学習済み第１モデルによる前記画像における前記食材の領域および種類の推定を行ってもよい。

また、本発明に係る検査方法において、前記学習ステップは、前記第３ステップで出力する前記第１推定結果に含まれる前記出力画像を第２学習用画像として用いて、ニューラルネットワークの第２モデルを学習させて、前記第２学習用画像における複数の前記食材の間の相対的な配置関係を識別する第２特徴量を抽出し、抽出された前記第２特徴量により前記学習済みの第２モデルを獲得する第９ステップと、前記第９ステップで獲得された前記学習済みの第２モデルを第２記憶部に記憶する第１０ステップとをさらに備えていてもよい。

また、本発明に係る検査方法において、さらに、前記第１推定結果に含まれる前記出力画像の前記領域の推定外形線の最長のものの内部が、当該領域であるとして、前記出力画像を加工した加工画像を生成する第１１ステップを備え、前記第９ステップは、前記加工画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得してもよい。

また、本発明に係る検査方法において、前記学習ステップは、さらに、前記食材の領域および種類が前記画像に関連付けられた対象画像のデータ拡張を行って前記第２学習用画像を生成する第１２ステップを備え、前記第１２ステップは、前記対象画像に付与されている、前記対象画像における複数の前記食材の間の相対的な配置関係の妥当性に関するラベル情報に基づいて前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、前記第１ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、前記第１２ステップは、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された対象画像のデータ拡張を行って、前記第２ラベルが付与された前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係を維持しつつ、前記第１３ステップで抽出された前記領域を加工後再配置して前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、前記第１２ステップは、前記第１３ステップで抽出された前記領域のうち、２つ以上の互いに異なる種類の前記食材に対応する領域の位置を互いに置き換えて前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、前記第１２ステップは、前記第１３ステップで抽出された前記領域のうちの１つ以上を前記対象画像から削除して前記第２学習用画像を生成してもよい。

また、本発明に係る検査方法において、さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、前記第１２ステップは、前記第１３ステップで抽出された前記領域の各々の反転、回転、膨張、および収縮のうちの少なくともいずれかを行って前記対象画像のデータ拡張を行ってもよい。

また、本発明に係る検査方法において、さらに、少なくとも前記第４ステップでの検査結果を提示する第１４ステップを備え、前記第１４ステップは、前記画像、前記第１推定結果、前記第３ステップでの判断結果、および前記第４ステップでの検査結果を含む情報のうちの少なくともいずれかを提示してもよい。

本発明によれば、学習済み第１モデルを用いて、配置された食材が含まれる画像における食材の領域および種類を推定し、推定された第１推定結果に基づいて、食材の種類ごとに、対応する領域が、食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する。そのため、画像認識を利用した食品の盛り付け検査をより簡易に行うことができる。

図１は、本発明の第１の実施の形態に係る検査装置の構成を示すブロック図である。 図２は、第１の実施の形態に係る検査装置のハードウェア構成の一例を示すブロック図である。 図３は、第１の実施の形態に係る検査装置の動作の一例を示すフローチャートである。 図４は、第１の実施の形態に係る検査装置の動作の概要を示す説明図である。 図５は、第１の実施の形態に係る検査装置が備える表示装置の表示例を示す図である。 図６は、第２の実施の形態に係る検査装置の構成を示すブロック図である。 図７は、第２の実施の形態に係る検査装置が備える第２推定部を説明するための図である。 図８は、第２の実施の形態に係る検査装置の動作の一例を示すフローチャートである。 図９は、第２の実施の形態に係る検査装置の動作の概要を示す説明図である。 図１０は、第２の実施の形態に係る検査装置が備える表示装置の表示例を示す図である。 図１１は、第２の実施の形態に係る検査装置の効果を説明するための図である。 図１２は、第３の実施の形態に係る検査装置の構成を示すブロック図である。 図１３は、第３の実施の形態に係る検査装置の動作の一例を示すフローチャートである。 図１４は、第４の実施の形態に係る検査装置の構成を示すブロック図である。 図１５は、第４の実施の形態に係る検査装置が備える変換部の説明図である。 図１６は、第４の実施の形態に係る検査装置が備える変換部の説明図である。 図１７は、第５の実施の形態に係る検査装置の構成を示すブロック図である。 図１８は、第５の実施の形態に係る検査装置が備える加工部の説明図である。 図１９は、第６の実施の形態に係る検査装置の構成を示すブロック図である。 図２０は、第６の実施の形態に係る検査装置の概要を説明するための図である。 図２１は、第６の実施の形態に係る検査装置が備えるデータ拡張部を説明するための図である。 図２２は、第６の実施の形態に係る検査装置の動作の一例を示すフローチャートである。 図２３は、本実施の形態に係る検査装置の使用例を説明するための図である。 図２４は、本実施の形態に係る検査装置の使用例を説明するための図である。 図２５は、本実施の形態に係る検査装置の使用例を説明するための図である。

以下、本発明の好適な実施の形態について、図１から図２５を参照して詳細に説明する。また、以下の説明において、本発明に係る検査装置の検査対象は、「配置された食材」であり、食材は、例えば、食品の製造ラインで製造された「食品」を構成し、食材の数は１つおよび複数の場合が含まれる。また、「食材の配置に関する検査」とは、食品の製造ラインで製造等されて、例えば容器に配置された複数の食材各々の種類、その有無、数、量のいずれか１つ以上の検査項目を含んでいてもよく、場所および食材の並び方である配置位置に関する検査を含み、これらを総称して「食品の盛り付け検査」ということがある。また、食材の並び方には当該食材のばらけ方を含むものとする。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る検査装置１の構成を示すブロック図である。本実施の形態に係る検査装置１は、事前に外部のサーバなどで学習処理されて用意された学習済み第１モデルＮＮ１を用いて、食品の容器等に配置された複数の食材が含まれる画像における複数の食材の領域および種類を推定する。さらに、検査装置１は、推定された結果（第１推定結果）に基づいて、複数の食材の種類ごとに、対応する領域が、複数の食材各々の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する。さらに、検査装置１は、判断結果に基づいて、容器等に配置された食材の配置に関する検査を行う。本実施の形態では、学習済み第１モデルＮＮ１として、食材を互いに区別して食材が存在する画像内の領域をピクセル単位で識別するインスタンス・セグメンテーションを用いる場合を例に挙げて説明する。

［検査装置の機能ブロック］
本実施の形態に係る検査装置１は、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、およびメモリ１５を備える。

取得部１０は、配置された食材が含まれる画像を取得する。例えば、取得部１０は、食品の容器等に配置された複数の食材が含まれる画像を取得することができる。取得部１０は、例えば、外部に設置されたカメラ１０５によって撮影された食品の静止画像または動画像を有線あるいは無線で取得する。本実施の形態において、カメラ１０５は、食品製造ラインに事前に構築された撮影環境に設けられ、容器等に配置された食材が含まれる画像（以下、「食品の画像」ということがある。）を撮影するものとする。特に、カメラ１０５は、製造ライン内の撮影環境において固定して設置され、固定された画角で画像を撮影するものとする。取得部１０は、カメラ１０５から取得した食品の画像の輝度の調整やノイズの除去などの公知の前処理を行うことができる。

第１推定部１１は、学習済み第１モデルＮＮ１を用いて、取得部１０が取得した画像における複数の食材の領域および種類を推定し、推定された複数の食材の領域および種類を取得部１０によって取得された画像に関連付けて出力画像を含む第１推定結果を出力する。

より具体的には、第１推定部１１は、取得部１０が取得した画像を学習済み第１モデルＮＮ１に与え、学習済み第１モデルＮＮ１の演算を行って、入力された画像内のピクセルごとに食材のクラスである食材の種類と、画像に実際に存在する各食材の実体あるいは個体である食材インスタンスの領域を抽出する。

第１推定部１１は、後述のメモリ１５が備える第１メモリ１５Ａに記憶されている学習済み第１モデルＮＮ１を読み込んで推定処理を実行する。

ここで、第１推定部１１による推定処理について、図４および図５を参照してより詳細に説明する。例えば、図４および図５に示す画像ｉは、取得部１０によって取得された、食品の容器に配置された複数の食材の画像を示しており、例えば、食品「冷やし中華」のトッピングとして、「ａ」，「ｂ」，「ｃ」，「ｄ」の４種類の食材が配置されている。より具体的には、食品「冷やし中華」には、例えば、食材「ａ」として「ハム」、食材「ｂ」として「たまご」、食材「ｃ」として「きゅうり」、食材「ｄ」として「トマト」などの予め決められたトッピング食材が容器の中の冷やし中華の麺の上に配置され盛り付けられている。また、これらの食材は各々の数や量が決められており、製造ラインで製造された製品個々の食材の数や量が一定であることが好ましい。

図４および図５に示す出力画像ｐは、画像ｉに含まれる各食材インスタンスの領域が抽出されて、各領域「ａ１」，「ｂ１」，「ｃ１」，「ｄ１」および食材のクラスである種類「ａ」，「ｂ」，「ｃ」，「ｄ」が推定されて、画像ｉに関連付けられた画像である。

また、図４に示すように、第１推定部１１は、画像ｉを入力として推定処理を行い、食材インスタンスごとの領域「ａ１」，「ｂ１」，「ｃ１」，「ｄ１」がカラーパターンで示された画像ｐを出力する。例えば、任意の色のカラーパターンによって食材の種類（クラス）が区別される。同一種類の食材インスタンスの領域が複数存在する場合、これら複数の領域は、例えば、同一色のカラーパターンで示される。第１推定部１１は、同一色あるいは同一模様のカラーパターンで示される食材の領域の数に基づき、食材の種類ごとの個数を検出することができる。特定の種類の食材における領域の数がゼロ個であった場合、その特定の食材は存在しないことを示す。

図１に戻り、第１判断部１２は、第１推定部１１による第１推定結果に基づいて、複数の食材の種類ごとに、対応する領域が、食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する。

例えば、第１判断部１２は、複数の食材の種類ごとに、領域の個数および大きさの少なくとも一方を特定して、領域の個数および大きさの少なくとも一方が第１基準を満たすか否かを判断することができる。

第１基準は、決められた食材が存在しているか否か、食材が決められた個数だけ配置されているか、および、食材が決められた量だけ存在しているかを判断する基準として設定される。

第１基準は、より適切に食材の有無および過不足に関する判断が可能となるよう食材の種類ごとの形状や大きさなどの特質に基づいて設定される。したがって、食材の個数のみで過不足を判断することが好ましい場合には個数についての基準値を用いることができる。あるいは、食材の領域の大きさで過不足を判断することがより適切である場合には領域の大きさに係る基準値を用いることができる。同様に、これらの組み合わせで判断されることもできる。このように、第１基準は、複数の基準を含む場合がある。

例えば、第１判断部１２は、食材の種類ごとの領域の大きさとして、画像において抽出された食材の領域の絶対的な面積が食材の量に相当するものとして面積値を第１基準として用いることができる。なお、面積値は画像における領域のピクセル数で表現することができる。あるいは、後述するように、推定された食材の種類ごとの領域の面積の総和を、その食材の量として第１基準を設定することもできる。

また、一つの種類の食材が複数の食材によって構成される場合に、第１判断部１２は、各々の領域が含まれる一つの種類の食材全体の面積が一定の面積を超えるか否かを第１基準として用いて、同一種類の食材の過不足についての判断を行うことができる。例えば、ピザのトッピングとして一定の範囲に一定の量だけ配置されるシュレッドチーズ等が挙げられる。例えば、シュレッド状のチーズ各々の領域を囲った面積が、一定面積を超える、かつ、シュレッド状のチーズの数が一定数を超える場合に、第１判断部１２は、食材チーズが第１基準を満たし、食材チーズの過不足がないと判断することができる。

例えば、図５の領域Ｂに示すように、予め設定された第１基準として、食材の種類ごとに予め設定されている食材の個数に対するしきい値、および画像に占める食材の領域における面積に対するしきい値を用いることができる。例えば、図５の食材ａの例では、第１推定部１１が推定した「推定個数」は「２」個、食材ａにおける領域ａ１の絶対的な面積である「推定面積」は「１００」ピクセルである。また、個数について設定された第１基準「個数しきい値」は「３」個、面積について設定された第１基準である「面積しきい値」は「１１０－２００」ピクセルの範囲である。

第１判断部１２は、推定された食材各々の個数が第１基準を満たすか否か、および、推定された食材各々の領域の面積が第１基準を満たすか否かを判断する。図５の例では、第１判断部１２は、推定された食材ａの個数については、項目「個数判定」に示すように「個数しきい値」の「３」個を満たしていない（「ＮＧ」）と判断する。さらに、第１判断部１２は、推定された食材ａにおける領域ａ１の面積について、項目「面積判定」に示される「面積しきい値」の「１１０－２００」ピクセルの範囲を満たしていない（「ＮＧ」）と判断する。

また、第１判断部１２は、例えば、図５の領域Ｂに示される「検査項目」に示すように、食材ａの個数が第１基準を満たし、かつ、領域ａ１の面積が第１基準を満たしているか否かを判断する。なお、例えば、食材ｂ、ｃについては、領域ｂ１、ｃ１の面積のみが考慮され、食材ｄについては個数のみが食材の有無および過不足の判断において考慮されている。

検査部１３は、第１判断部１２による判断結果に基づいて、容器等に配置された複数の食材の配置に関する検査を行う。例えば、検査部１３は、食品の容器等に配置された全ての種類の食材「ａ」，「ｂ」，「ｃ」，「ｄ」について、その有無および過不足に関する第１判断部１２による判断が肯定的であった場合には、食材の配置に関する検査は合格であるとの検査結果を出力することができる。一方、複数の種類の食材の一つでも否定的な判断結果が得られた場合には、検査部１３は、食材の配置に関する検査は不合格とする検査結果を出力することができる。

例えば、図５の領域Ｂにおける項目「検査結果」は、食材ａからｄのうち、食材ａ、ｃに係る食材の有無および過不足に関する判断結果が第１基準を満たしていないため、最終的な食材の配置に関する検査結果、即ち、食品の盛り付け検査結果は不合格「ＮＧ」となっている。

提示部１４は、少なくとも検査部１３による検査結果を提示する。例えば、提示部１４は、検査結果を表示させる表示装置１０８を備えることができる。図５に示すように、例えば、提示部１４は、表示装置１０８の表示画面の領域Ａにおいて、カメラ１０５によって撮影された複数の食材の画像ｉと、第１推定部１１による第１推定結果を示す出力画像ｐと、画像ｉ、および推定結果がカラーパターンで区別された出力画像ｐを合成した画像ｓとを表示させることができる。

また、提示部１４は、表示装置１０８の表示画面に設けられた領域Ｂに、食品の「品種：冷やし中華」、「食材」の種類、「推定個数」、「推定面積」、「個数しきい値」、「面積しきい値」、「個数判定」、「面積判定」、「検査項目」、「判定結果」、「検査結果」のそれぞれの項目に対応する値を表示させることができる。

なお、提示部１４は、検査部１３による検査結果を検査装置１のユーザに提示することができれば、画面表示だけでなく、音声、その他の形態による情報の提示を行うこともできる。

メモリ１５は、取得部１０がカメラ１０５から取得した、食品の容器等に配置された食材が含まれる画像を記憶する。また、メモリ１５は、第１推定部１１による第１推定結果、第１判断部１２が用いる予め設定された第１基準などを記憶している。

メモリ１５は、第１メモリ１５Ａを備える。第１メモリ１５Ａは、外部のサーバ等で事前に学習処理され構築されたインスタンス・セグメンテーションによる画像認識モデルである学習済み第１モデルＮＮ１およびその結果を用いた判断に用いる閾値情報等の第１基準を記憶する。例えば、第１メモリ１５Ａは、食品の品種ごとの学習済み第１モデルＮＮ１を事前に記憶することができる。このように、予め複数の食品の各々に対応する学習済み第１モデルＮＮ１および第１基準を記憶しておくことで、同一の製造ラインにおいて異なる食品が製造される場合においても、検査装置１で利用する学習済み第１モデルＮＮ１を切り替えることで、異なる食品の盛り付け検査に対応することが可能である。

［検査装置のハードウェア構成］
次に、本実施の形態に係る検査装置１を実現するハードウェア構成の一例について図２のブロック図を用いて説明する。

図２に示すように、検査装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース（Ｉ／Ｆ）１０４、補助記憶装置１０６、入出力Ｉ／Ｏ１０７を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。また、検査装置１は、バス１０１を介して外部のカメラ１０５と接続する。また、検査装置１は、バス１０１を介して接続された表示装置１０８を備えることができる。

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した取得部１０、第１推定部１１、第１判断部１２、検査部１３など、検査装置１の各機能が実現される。

通信Ｉ／Ｆ１０４は、検査装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。通信Ｉ／Ｆ１０４によって図１で示した取得部１０や提示部１４が実現される。なお、通信Ｉ／Ｆ１０４より、図１で説明した第１推定部１１が用いる学習済み第１モデルＮＮ１およびその結果を用いた判断に用いる閾値情報等がネットワークＮＷを介して外部端末より受信される構成やメモリーカード等の記憶媒体を利用して取得される構成としてもよい。また、通信Ｉ／Ｆ１０４より、図１で説明した第１判断部１２および検査部１３がそれぞれ用いる予め設定された基準が、ネットワークＮＷを介して外部端末より受信される構成やメモリーカード等の記憶媒体を利用して取得される構成としてもよい。

カメラ１０５は、光信号を画像信号に変換して、動画や静止画像を生成することができる。カメラ１０５で撮影された、食品の容器等に配置された食材が含まれる動画像や静止画像が学習済み第１モデルＮＮ１の入力画像として用いられて、プロセッサ１０２によりインスタンス・セグメンテーションによる画像内の各ピクセルレベルでの食材の種類がインスタンスごとに検出される。

補助記憶装置１０６は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０６には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

補助記憶装置１０６は、検査装置１が実行する検査プログラムを格納するプログラム格納領域を有する。また、補助記憶装置１０６は、インスタンス・セグメンテーションによる食材の検出などの推定処理、推定結果に基づく判断処理、食品の盛り付けに関する検査処理を行うためのプログラムを格納する領域を有する。補助記憶装置１０６によって、図１で説明したメモリ１５および第１メモリ１５Ａが実現される。また、補助記憶装置１０６には、学習済み第１モデルＮＮ１およびその結果を用いた判断に用いる閾値情報等の第１基準が記憶されている。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。

入出力Ｉ／Ｏ１０７は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。

表示装置１０８は、液晶ディスプレイなどによって構成される。表示装置１０８によっても図１で説明した提示部１４を実現することができる。

ここで、補助記憶装置１０６のプログラム格納領域に格納されているプログラムは、本明細書で説明する検査方法の順序に沿って時系列に処理が行われるプログラムであってもよく、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。また、プログラムは、１つのコンピュータにより処理されるものでもよく、複数のコンピュータによって分散処理されるものであってもよい。

［検査装置の動作］
次に、上述した構成を有する検査装置１の動作について、図３のフローチャートおよび図４の説明図を用いて詳細に説明する。第１メモリ１５Ａには、事前に図示されない外部のサーバなどで行われた学習処理により得られた学習済み第１モデルＮＮ１およびその結果を用いた判断に用いる閾値情報等の第１基準が格納され、以下の処理が実行される。

まず、検査が開始されると、第１推定部１１は、第１メモリ１５Ａから学習済み第１モデルＮＮ１をロードする（ステップＳ１）。例えば、ステップＳ１でロードされる学習済み第１モデルＮＮ１は、Ｍａｓｋ Ｒ－ＣＮＮ，ＤｅｅｐＭａｓｋ，ＦＣＩＳなどに代表されるインスタンス・セグメンテーションのアーキテクチャを有する。例えば、図４に示すように、学習済み第１モデルＮＮ１は、食品の容器等に配置された食材ａ，ｂ，ｃ，ｄをピクセルごとに識別し、入力された画像ｉに含まれる食材インスタンスを推定し、食材インスタンスの領域ａ１，ｂ１，ｃ１，ｄ１を抽出して、領域ごとの食材ａ，ｂ，ｃ，ｄを推定する特徴量（第１特徴量）が学習されたモデルである。

次に、取得部１０は、カメラ１０５で撮影された複数の食材が含まれる画像を取得する（ステップＳ２）。図４に示すように、ステップＳ２で取得される画像ｉは、例えば、製造ラインで製造された食品の容器等に配置あるいは盛り付けられた食材ａ，ｂ，ｃ，ｄの状態がより把握しやすい上面から撮影された画像である。

次に、第１推定部１１は、第２ステップで取得された画像を入力として、ステップＳ１でロードした学習済み第１モデルＮＮ１の演算を行う（ステップＳ３）。次に、第１推定部１１は、学習済み第１モデルＮＮ１の演算結果である第１推定結果を出力する（ステップＳ４）。

具体的には、第１推定部１１は、学習済み第１モデルＮＮ１を用いて、ステップＳ２で取得された画像における複数の食材の領域ａ１，ｂ１，ｃ１，ｄ１および食材の種類ａ，ｂ，ｃ，ｄを推定し、推定された複数の食材の領域および種類を入力画像ｉに関連付けた出力画像ｐを含む第１推定結果を出力する。出力画像ｐは、複数の食材の種類ごとに、対応する領域が任意の色で塗られたカラーパターン画像である。

つまり、第１推定結果に含まれる出力画像には、ピクセル情報、および画像内での位置情報が含まれる。本実施の形態では、第１モデルＮＮ１として、このようなインスタンス・セグメンテーションを採用するため、画像内に同一種類の食材が複数個含まれている場合であっても、食材をインスタンスごとに区別して検出することが可能である。

次に、第１判断部１２は、ステップＳ４で出力された第１推定結果に基づいて、複数の食材の種類ごとに、対応する領域が、食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する（ステップＳ５）。例えば、第１判断部１２は、各食材の推定個数、つまり、同一種類の食材の領域あるいはカラーパターンの数に対するしきい値処理を行うことができる。また、第１判断部１２は、食材の種類ごとに推定された、食材の領域の画像内に占める面積に対するしきい値処理を行うことができる。

次に、検査部１３は、ステップＳ５で得られた各食材の有無および過不足に関する判断結果に基づいて、食品の容器等に配置された複数の食材の配置に関する検査を行う（ステップＳ６）。例えば、検査部１３は、ステップＳ５において、すべての種類の食材が、個数および面積に係る第１基準を満たす場合には、食品の容器等に配置された複数の食材の配置に関する検査は合格であるとの検査結果を出力することができる。前述したように、本実施の形態において、容器等に配置された食材の配置に関する検査とは、食材各々の種類、その有無、数、量などに関する食品の盛り付け検査が含まれる。

次に、提示部１４は、ステップＳ６で得られた検査結果を提示する（ステップＳ７）。例えば、提示部１４は、図５に示すように、表示装置１０８の表示画面の領域Ｂに、ステップＳ４で算出された食材ａ，ｂ，ｃ，ｄごとの推定個数および推定面積をテーブル形式で表示することができる。また、提示部１４は、領域Ｂに設けられたテーブルに個数および面積についてのステップＳ５での判断結果を示す値を表示させることができる。また、前述したように、提示部１４は、元の画像ｉ、食材インスタンスの領域がカラーパターンで区別された出力画像ｐ、および元の画像ｉと出力画像ｐとを合成した画像ｓをそれぞれ並べて領域Ａに表示する。このように、検査結果とともに入力画像および出力画像、さらにはこれらを合成した画像を並べて表示することで、ユーザはより直感的に食品の盛り付け検査の結果を把握することができる。

以上説明したように、第１の実施の形態によれば、食品の容器等に配置された食材が含まれる画像に基づいて、画像内のピクセルごとに食材の種類を推定し、食材のインスタンスごとに領域を抽出するので、画像認識を利用した食品の盛り付け検査をより簡易に行うことができる。

また、第１の実施の形態によれば、画像認識技術の中でも、インスタンス・セグメンテーションに係る物体検出手法を採用するので、個々の食材における色の違い、濃淡、明暗等の存在や形状が一定でない場合であっても、食材の種類、数、および量を画像内のインスタンスごとに容易に推定することができる。

また、第１の実施の形態によれば、食品の容器等に配置された食材の画像を撮影する際に、食品の品種に応じて個別の撮影環境を構築する必要が少なく、検査装置１およびカメラ１０５はより簡易な構成を有するので、食品の製造ラインに容易に組み込むことが可能である。さらに、同一の製造ラインで異なる食品を製造する場合であっても、食品ごとに用意された学習済み第１モデルＮＮ１を切り替えて用いれば検査が可能である。さらには、従来目視で行われていた食品の盛り付け検査を検査装置１が行うことで省人化に寄与することができる。

なお、説明した実施の形態ではカメラ１０５が外部に設置されている場合について説明したが、取得部１０がカメラを備える構成としてもよい。

また、説明した実施の形態では、一つの検査装置１にすべての機能部が設けられている場合について説明した。しかし、検査装置１が備える各機能部は、一つのコンピュータとして実現される場合以外にも、ネットワーク上に分散した構成とすることもできる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第１の実施の形態では、学習済みの第１モデルＮＮ１を用いて、食品の容器等に配置された複数の食材の種類ごとの有無および過不足に関して予め設定された第１基準を満たすか否かを判断する場合について説明した。これに加えて、第２の実施の形態では、さらに、学習済み第２モデルＮＮ２を用いて、複数の種類の食材間の相対的な配置関係を推定する。

［検査装置の機能ブロック］
図６は、本実施の形態に係る検査装置１Ａの構成を示す機能ブロック図である。本実施の形態に係る検査装置１Ａは、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、メモリ１５、第２推定部１６、および第２判断部１７を備える。第２メモリ１５Ｂ、第２推定部１６、および第２判断部１７をさらに備える点で第１の実施の形態に係る検査装置１と異なる。以下、第１の実施の形態と異なる構成を中心に説明する。

第２メモリ１５Ｂは、外部のサーバなどで事前の学習処理により構築された学習済み第２モデルＮＮ２を記憶する。より具体的には、第２メモリ１５Ｂは、学習済み第２モデルＮＮ２、および学習済み第２モデルＮＮ２の演算の結果に対する判断基準である後述の第２基準を記憶する。

ここで、学習済み第２モデルＮＮ２は、検査対象の複数の種類の食材の間の相対的な配置関係を識別する特徴量（第２特徴量）が学習されたモデルであるが機械学習、特にディープラーニングなどのニューラルネットワークモデルであってもよい。このような学習済み第２モデルＮＮ２を用いることで、未知の食品の画像における食材の盛り付け位置を分類することができる。本実施の形態では、第１メモリ１５Ａに記憶されている学習済み第１モデルＮＮ１と、第２メモリ１５Ｂに記憶されている学習済み第２モデルＮＮ２との２つの学習モデルが一対となって同一品目の食品の盛り付け検査に用いられる。

図７は、本実施の形態に係る第２推定部１６および第２判断部１７によって行われる学習済み第２モデルＮＮ２を用いた食材の配置位置に関する推定処理の概要を説明するための図である。図７の（ａ）および図７の（ｂ）の左側に図示された画像ｉはそれぞれ取得部１０によって取得された食品の画像の例を示している。例えば図７の（ａ）の食材間の位置（ａの隣にｂ、ｂの隣にｃが盛り付けられている。）が仮に正しい配置関係であるとする。これに対して、図７の（ｂ）では、食材ａとｂの位置が逆になっている。本実施の形態では、図７の（ｂ）のような食材間の配置関係の誤りを検出するものである。

第１推定部１１によって得られた第１推定結果に含まれる出力画像は、図７の（ａ）および図７の（ｂ）の中央に図示された画像ｐからわかるように、食材の種類（クラス）がピクセル単位でラベル付けされ、食材のインスタンスごとに領域がカラーパターンで区別されたカラーパターン画像である。事前に構築された学習済み第２モデルＮＮ２は、第１推定部１１によって得られた食材インスタンスごとのカラーパターン画像の特徴、すなわち、食材間の相対的な配置関係を学習し、未知のカラーパターン画像が入力された場合にその画像の特徴を抽出し、食材間の相対的な配置関係の正誤を分類する分類器である。

第２モデルＮＮ２としては、良品と不良品を学習し分類する２クラス分類や、オートエンコーダのように良品のみを学習し分類する１クラス分類などが挙げられる。

図６に戻り、第２推定部１６は、第１推定部１１による第１推定結果に含まれる出力画像を入力とする学習済み第２モデルＮＮ２を用いて、出力画像における複数の種類の食材の間の相対的な配置関係を推定し、推定された配置関係を第１推定部１１からの出力画像に関連付けた第２推定結果を出力する。

第２推定部１６は、第１推定結果に含まれる、食材インスタンスの領域ごとにカラーパターンが表示された出力画像をそのまま入力として用いる。また、第２推定部１６は、入力されたカラーパターンの出力画像において、複数の種類の食材間の相対的な位置である配置関係を示す特徴を抽出し、その特徴から複数の種類の食材間における配置関係の正誤を確率的に分類する。なお、第２推定部１６が推定する食材相互の相対的な配置関係は、種類の異なる複数の食材間の配置関係だけでなく、設定に応じて、一つの種類の食材が複数の食材で構成されている場合の個々の食材間における相対的な配置関係であってもよい。

第２判断部１７は、第２推定部１６による第２推定結果に基づいて、食品の容器等に配置された複数の種類の食材相互の相対的な配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する。例えば、第２判断部１７は、確率で示された分類結果に対して予め設定されたしきい値を設けて、推定された配置関係の正誤を判断することができる。

また、一つの種類の食材が複数の食材で構成される場合の配置関係の妥当性を判断するための第２基準は、同一種類の食材を構成する複数の食材が一定の並び方であるか否かを判断する基準として設定することができる。このような第２基準を用いることで、第２判断部１７は、同一種類の食材を構成する複数の食材相互の相対的な配置関係の妥当性の有無を判断することができる。

例えば、ピザのトッピングとして配置されるシュレッドチーズを例に挙げて説明する。例えば、シュレッド状の複数のチーズは、互いに一定の距離をもって偏りなくピザの生地の上にばらけて配置されることが好ましいとする。この場合の第２基準として、複数のシュレッド状のチーズの相対的な配置関係の妥当性の有無、換言すると、シュレッドチーズの並び方が基準を満たすか否か、あるいは、トッピングとして配置されたシュレッドチーズのばらけ方の程度が一定であるか否かを判断するための基準が設定される。例えば、第２判断部１７は、このような第２基準に基づいて、シュレッドチーズ各々が所定の位置に配置されているか否か、さらには、特定の位置に偏ってトッピングされていないか等の検出を行うことが可能である。

検査部１３は、第１判断部１２による判断結果、および第２判断部１７による判断結果に基づいて、食品の容器等に配置された複数の食材の配置に関する検査を行う。本実施の形態では、検査部１３は、第１判断部１２による食材の有無および過不足に関する判断結果に加え、第２判断部１７による食材の配置位置に関する判断結果から、最終的な食品の盛り付け検査を行う。

提示部１４は、検査部１３による検査結果を提示する。より具体的には、提示部１４は、図１０に示すように、表示装置１０８の表示画面に表示された領域Ｂに、食材ごとの第１推定部１１による「推定個数」、「推定面積」、第１判断部１２が用いる「個数しきい値」、「面積しきい値」を表示させる。さらに、提示部１４は、しきい値ごとの判断結果の値「個数判定」、「面積判定」、および「検査項目」に基づく検査結果の項目「判定結果」の値を領域Ｂに表示させる。

また、提示部１４は、領域Ｂに設けられたテーブルの項目「場所検査結果」において、第２推定部１６による第２推定結果「確率（０．９９９）」および第２判断部１７による食材間の相対的な配置関係の妥当性に関する判断結果「ＮＧ」の値を表示させる。

さらに、提示部１４は、第１判断部１２による食材の有無および過不足に関する判断結果（項目「判定結果」）と、第２判断部１７による食材間の配置関係の妥当性に関する判断結果（「場所検査結果」）とに基づいた、複数の食材の配置に関する最終的な検査結果（「検査結果」）を領域Ｂに表示させる。

また、提示部１４は、取得部１０が取得した検査対象の画像ｉと、第１推定部１１による第１推定結果を含む食材の種類ごとのカラーパターンの出力画像ｐと、検査対象の画像ｉおよび出力画像ｐを合成した画像ｓとを領域Ａに並べて表示させることができる。

［検査装置の動作］
次に、上述した構成を有する検査装置１Ａの動作について、図８のフローチャートおよび図９の説明図を参照して説明する。事前に外部のサーバなどで第１学習モデルＮＮ１および第２学習モデルＮＮ２の学習処理が行われるものとする。また、第１メモリ１５Ａには、事前に構築された学習済みの第１学習モデルＮＮ１およびその演算結果に対する判断処理に用いるしきい値情報等を含む第１基準が記憶されている。同様に、第２メモリ１５Ｂには、学習済みの第２学習モデルＮＮ２およびその演算結果に対する判断処理に用いるしきい値情報等を含む第２基準が記憶されているものとする。

まず、第１推定部１１は、第１メモリ１５Ａから学習済み第１モデルＮＮ１をロードする（ステップＳ１０）。次に、第２推定部１６は、第２メモリ１５Ｂから学習済み第２モデルＮＮ２をロードする（ステップＳ１１）。

次に、取得部１０は、カメラ１０５で撮影された、食品の容器等に配置された複数の食材が含まれる画像を取得する（ステップＳ１２）。次に、第１推定部１１は、ステップＳ１０でロードした学習済み第１モデルＮＮ１の演算を行う（ステップＳ１３）。

具体的には、図９に示すように、第１推定部１１は、学習済み第１モデルＮＮ１を用いて、ステップＳ１０で取得された画像ｉにおける複数の食材の領域ａ１，ｂ１，ｃ１，ｄ１および食材の種類ａ，ｂ，ｃ，ｄを推定し、推定された複数の食材の領域および種類を入力画像ｉに関連付けた出力画像ｐを含む第１推定結果を出力する。出力画像ｐは、複数の食材の種類ごとに、対応する領域が任意の色で塗られたカラーパターン画像である。

つまり、第１推定結果に含まれる出力画像には、ピクセル情報、および画像内での位置情報が含まれる。本実施の形態では、第１モデルＮＮ１として、このようなインスタンス・セグメンテーションを採用するため、画像内に同一種類の食材が複数個含まれている場合であっても、食材をインスタンスごとに区別して検出することが可能である。

次に、第１推定部１１は、学習済み第１モデルＮＮ１の演算結果である第１推定結果を第２推定部１６に入力する（ステップＳ１４）。より具体的には、第１推定部１１は、図９のステップＳ１３に示すように、食材インスタンスの領域ごとにカラーパターンが割り当てられた出力画像ｐを第２推定部１６に入力する。なお、第１推定部１１による第１推定結果は、第１判断部１２にも渡される。

次に、第２推定部１６は、ステップＳ１１でロードされた学習済み第２モデルＮＮ２の演算を行い、演算結果を第２判断部１７へ渡す（ステップＳ１５）。より詳細には、第２推定部１６は、第１推定結果に含まれる出力画像を入力とする学習済み第２モデルＮＮ２を用いて、出力画像における複数の種類の食材間の配置関係を推定し、推定された配置関係を出力画像に関連付けた第２推定結果を出力する。

次に、第１判断部１２は、ステップＳ１３での学習済み第１モデルＮＮ１の演算による第１推定結果に基づいて、食材の種類ごとの有無および過不足に関して予め設定された第１基準を満たすか否かを判断する（ステップＳ１６）。より詳細には、第１判断部１２は、学習済み第１モデルＮＮ１と対応付けて第１メモリ１５Ａに記憶されている食材の種類ごとの判断項目やしきい値等の第１基準を第１メモリ１５Ａから読み出してステップＳ１６の処理を行う。

例えば、第１判断部１２は、各食材の推定個数、つまり、同一種類の食材の領域あるいはカラーパターンの数に対するしきい値処理を行うことができる。また、第１判断部１２は、食材の種類ごとに推定された、食材の領域の画像内に占める面積に対するしきい値処理を行うことができる。

次に、第２判断部１７は、ステップＳ１５で得られた第２推定結果に基づいて、複数種類の食材相互における配置関係が、配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する（ステップＳ１７）。より詳細には、第２判断部１７は、学習済み第２モデルＮＮ２と対応付けて第２メモリ１５Ｂに記憶されているしきい値等を含む第２基準を第２メモリ１５Ｂから読み出してステップＳ１７の処理を行う。

例えば、図１０の領域Ｂにおいて、項目「場所検査結果」の値が示すように、第２推定部１６によって推定された食材間の相対的な配置関係が正しいか否かを示す確率に基づいて、食材の配置された位置は誤り「ＮＧ」であると判断している。

次に、検査部１３は、ステップＳ１６で得られた各食材の有無および過不足に関する判断結果、およびステップＳ１７で得られた複数種類の食材間の配置関係の妥当性に関する判断結果に基づいて、食品の容器等に配置された複数の食材の配置に関する検査を行う（ステップＳ１８）。

例えば、検査部１３は、ステップＳ１６において、すべての種類の食材が、個数および面積に係る第１基準を満たし、かつ、ステップＳ１７において、複数種類の食材間の配置関係が第２基準を満たす場合には、食品の容器等に配置された複数の食材の配置に関する検査は合格であるとの検査結果を出力することができる。本実施の形態において、容器等に配置された食材の配置に関する検査とは、食材各々の種類、その有無、数、量、および配置位置に関する食品の盛り付け検査が含まれる。

次に、提示部１４は、ステップＳ１８で得られた食材の配置に関する検査結果を提示する（ステップＳ１９）。例えば、提示部１４は、図１０に示すように、表示装置１０８の表示画面の領域Ｂに、食材ａ，ｂ，ｃ，ｄごとの推定個数および推定面積をテーブル形式で表示することができる。また、提示部１４は、領域Ｂに設けられたテーブルに個数および面積についてのしきい値との比較による判定結果を表示させることができる。

さらに、提示部１４は、第２推定部１６による第２推定結果および第２判断部１７による複数種類の食材間の配置関係における妥当性に関する判断結果を領域Ｂのテーブルに表示させることができる。また、提示部１４は、検査部１３によって行われた総合的な食品の盛り付け検査の結果についても領域Ｂのテーブルに表示させることができる。

また、前述したように、提示部１４は、カメラ１０５で撮影された画像ｉと、カラーパターンの出力画像ｐと、画像ｉおよびカラーパターンの出力画像ｐを合成した画像ｓとをそれぞれ並べて領域Ａに表示する。また、提示部１４は、正しい位置に食材が配置されている食品の画像を参照画像として、領域Ａにさらに並べて表示することで、ユーザはより直感的に食材の配置に関する検査結果を把握することができる。

ここで、本実施の形態に係る検査装置１Ａを用いて食品の盛り付け検査を行った際の処理時間について、図１１を参照して説明する。図１１の横軸はデータ区間［ｍｓｅｃ］、縦軸は検査対象の食品の数である度数を示している。処理時間は、カメラ１０５で製造された食品の画像を撮影してから、第１推定部１１によるインスタンス・セグメンテーションによる推定処理、第２推定部１６による分類、さらに、画像の保存、および各数値の保存までの時間を処理時間として記録したものである。なお、インスタンス・セグメンテーションおよび分類器の精度については、予め実用に十分な精度を有する設計とされている。

図１１の横軸の最も右端に示される１食目の検査時間が約７００ｍｓｅｃである。また、２食目以降は、４００ｍｓｅｃの処理時間となっていることがわかる。これは、食品の製造ラインにおけるタクトタイムを、例えば１.０ｓｅｃとした場合に、処理時間としては余裕があることが示されている。このように、本実施の形態に係る検査装置１Ａは、十分な検査精度を保ちながら、より簡易な構成を有しつつ、十分な処理時間が得られることがわかる。

以上、第２の実施の形態によれば、第１推定部１１による第１推定結果を第２推定部１６の分類器の入力として用いることで、より簡易な構成で画像認識を利用した食材の配置に関する検査を行うことができる。

また、第２の実施の形態によれば、一つの検査装置１Ａにおいて、食品の容器等に配置された食材の有無、数、量だけでなく、配置された複数の種類の食材間における相対的な位置についても検査を行うことでき、より効率的かつ効果的な食材の配置に関する検査が実現される。

また、第２の実施の形態によれば、食材が配置される容器等の形状や素材にかかわらず、食材の配置の正誤に関する検査を行うことができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第２の実施の形態では、事前に外部のサーバ等で学習処理が行われて構築された学習済み第１モデルＮＮ１および学習済み第２モデルＮＮ２を用いて、推定処理が行われる場合について説明した。これに対して、第３の実施の形態では、第１モデルＮＮ１の学習を行う第１学習部１８、および第２モデルＮＮ２の学習を行う第２学習部１９を有する学習装置をさらに備え、それぞれの学習処理を自装置において行う。

［検査装置の機能ブロック］
図１２は、本実施の形態に係る検査装置１Ｂの構成を示すブロック図である。検査装置１Ｂは、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、メモリ１５、第２推定部１６、第２判断部１７、第１学習部１８、および第２学習部１９を備える。検査装置１Ｂは、第１学習部１８および第２学習部１９をさらに備える点で、第２の実施の形態の構成と異なる。以下、第１および第２の実施の形態と異なる構成を中心に説明する。

第１学習部１８は、食品の容器等に配置された食材が含まれる画像を学習用画像（第１学習用画像）として用いて、ニューラルネットワークの第１モデルを学習させて、食材の領域および種類を識別する第１特徴量を抽出し、抽出された第１特徴量により学習済み第１モデルＮＮ１を獲得する。第１学習部１８によって得られた学習済み第１モデルＮＮ１は、第１メモリ１５Ａに記憶される。

より詳細には、第１学習部１８は、Ｍａｓｋ Ｒ－ＣＮＮなどのインスタンス・セグメンテーションのアーキテクチャを有するニューラルネットワークモデルを第１モデルＮＮ１として用いる。第１学習部１８は、学習用画像に含まれる複数の食材ａ，ｂ，ｃ，ｄをピクセルごとに識別し、学習用画像に含まれる食材インスタンスの領域における食材の種類ａ，ｂ，ｃ，ｄが推定されるような特徴量を学習する。

例えば、図９に示すように、食材ａ，ｂ，ｃ，ｄごとの学習用画像が、第１モデルＮＮ１に入力として与えられる。第１学習部１８は、第１モデルＮＮ１の学習演算を行い、食材ａ，ｂ，ｃ，ｄの特徴を学習する。学習処理において用いられる学習用画像の数は、後段の検査処理において十分な精度が担保されるだけの枚数が用いられるが、例えば、カメラ１０５で撮影された食材ａ，ｂ，ｃ，ｄそれぞれ１０枚の画像を切り出して、学習用画像とすればよい。なお、学習用画像として、取得部１０で事前に取得された画像を用いてもよい。

第２学習部１９は、第１推定部１１による推定結果に含まれる出力画像を学習用画像（第２学習用画像）として用いて、ニューラルネットワークによる第２モデルを学習させて、学習用画像における食材間の相対的な配置関係を識別する第２特徴量を抽出し、抽出された第２特徴量により学習済みの第２モデルＮＮ２を獲得する。第２学習部１９によって得られた学習済み第２モデルＮＮ２は、第２メモリ１５Ｂに記憶される。

より具体的には、第２学習部１９は、インスタンス・セグメンテーションによるカラーパターンの出力画像を学習して、食材間の配置関係の正誤を分類結果として出力する学習済み第２モデルＮＮ２を構築する。第２モデルＮＮ２としては、良品と不良品を学習し分類する２クラス分類や、オートエンコーダのように良品のみを学習し分類する１クラス分類などが挙げられる。

後述の第６の実施の形態で詳述するが、例えば、第２学習部１９は、第１推定部１１が学習済み第１モデルＮＮ１の演算を行って出力した一定数の出力画像を複製あるいは加工することで、必要枚数の学習用画像を確保することができる。また、学習用画像としては、図９に示すように、食品の容器等に配置されている、複数種類の食材ａ，ｂ，ｃ，ｄを表すカラーパターンの互いの位置が正しい画像と、誤っている画像とが用いられる。なお、食材の配置位置が誤っている画像については、第１推定結果に含まれる出力画像の加工により作成すればよい。

なお、第１学習部１８および第２学習部１９は、複数の異なる食品の品種ごとに、学習済み第１モデルＮＮ１および学習済み第２モデルＮＮ２を構築し、メモリ１５（第１メモリ１５Ａ、第２メモリ１５Ｂ）に記憶することができる。また、第１メモリ１５Ａは、学習済み第１モデルＮＮ１と対応付けられた、学習済み第１モデルＮＮ１の演算結果に対して用いるしきい値などの第１基準を記憶する。同様に、第２メモリ１５Ｂは、学習済み第２モデルＮＮ２と対応付けられた、学習済み第２モデルＮＮ２の演算結果に対して用いるしきい値等の第２基準を記憶する。

本実施の形態では、第１学習部１８、第２学習部１９、第１メモリ１５Ａ、および第２メモリ１５Ｂは、予め設定されたモデルを構築するための学習処理を行う学習装置を構成する。

［検査装置の動作］
次に、上述した構成を有する検査装置１Ｂの動作について、図１３のフローチャートを用いて説明する。

まず、取得部１０は、カメラ１０５で撮影された、食品の容器等に配置されている複数の食材が含まれる画像を学習用画像として取得する（ステップＳ１０１）。次に、第１学習部１８は、ステップＳ１０１で取得された学習用画像を用いて、予め設定されているインスタンス・セグメンテーションを実現するニューラルネットワークの第１モデルを学習して、学習用画像内のピクセルごとに食材の領域および種類を識別する第１特徴量を抽出し、抽出された第１特徴量により学習済み第１モデルＮＮ１を獲得する（ステップＳ１０２）。次に、ステップＳ１０２で得られた学習済み第１モデルＮＮ１は第１メモリ１５Ａに記憶される（ステップＳ１０３）。より詳細には、ステップＳ１０３では、さらに、学習済み第１モデルＮＮ１の演算結果に対する判断処理（後述のステップＳ１１１）で用いられる第１基準が第１メモリ１５Ａに記憶される。

次に、第２学習部１９は、学習済み第１モデルＮＮ１からの出力画像を学習用画像として取得する（ステップＳ１０４）。例えば、第２学習部１９は、事前に構築された学習済み第１モデルＮＮ１を用いた推定処理により出力された出力画像を取得することができる。

第２学習部１９は、取得した学習用画像を用いて、ニューラルネットワークによる第２モデルＮＮ２を学習させて、複数種類の食材間における相対的な配置関係を識別する第２特徴量を学習用画像から抽出し、抽出された第２特徴量により学習済み第２モデルＮＮ２を獲得する（ステップＳ１０５）。

その後、ステップＳ１０５で得られた学習済み第２モデルＮＮ２は第２メモリ１５Ｂに記憶される（ステップＳ１０６）。より詳細には、ステップＳ１０６では、さらに、学習済み第２モデルＮＮ２の演算結果に対する判断処理（後述のステップＳ１１２）で用いられる第２基準が第２メモリ１５Ｂに記憶される。

取得部１０は、カメラ１０５で撮影された検査用の画像を取得する（ステップＳ１０７）。次に、第１推定部１１は、ステップＳ１０３で第１メモリ１５Ａに記憶された学習済み第１モデルＮＮ１を読み込み、ステップＳ１０７で取得された画像を入力として、学習済み第１モデルＮＮ１の演算を行う（ステップＳ１０８）。

また、ステップＳ１０８において、第１推定部１１は、学習済み第１モデルＮＮ１を用いて、ステップＳ１０７で取得された画像における複数の食材の領域および食材の種類を推定し、推定された複数の食材の領域および種類を入力画像に関連付けた出力画像を含む第１推定結果を出力する。出力画像は、複数の食材の種類ごとに、対応する領域が任意の色で塗られたカラーパターン画像である。

第１推定結果に含まれる出力画像には、ピクセル情報、および位置情報が含まれる。本実施の形態では、第１モデルＮＮ１としてインスタンス・セグメンテーションを採用するため、画像に同一種類の食材が複数個盛り付けられている場合であっても、食材のインスタンスごとに区別して検出することが可能である。

次に、第１推定部１１は、第１推定結果を第２推定部１６に入力する（ステップＳ１０９）。第１推定部１１は、食材の領域ごとにカラーパターンが割り当てられた出力画像を含む第１推定結果を出力する。この第１推定結果は、第２推定部１６の入力画像として用いられる。なお、第１推定結果は、第１判断部１２にも渡される。

次に、第２推定部１６は、ステップＳ１０６で第２メモリ１５Ｂに記憶された学習済み第２モデルＮＮ２を読み込み、第１推定結果に含まれる出力画像を学習済み第２モデルＮＮ２に与え、学習済み第２モデルＮＮ２の演算を行い、演算結果を第２判断部１７へ渡す（ステップＳ１１０）。

より詳細には、第２推定部１６は、第１推定結果に含まれる出力画像を入力とする学習済み第２モデルＮＮ２を用いて、出力画像における複数種類の食材間の配置関係を推定し、推定された配置関係を出力画像に関連付けた第２推定結果を出力する。

次に、第１判断部１２は、ステップＳ１３での学習済み第１モデルＮＮ１の演算による第１推定結果に基づいて、食材の種類ごとの有無および過不足に関して予め設定された第１基準を満たすか否かを判断する（ステップＳ１１１）。より詳細には、第１判断部１２は、学習済み第１モデルＮＮ１と対応付けて第１メモリ１５Ａに記憶されているしきい値等を含む第１基準を第１メモリ１５Ａから読み出してステップＳ１１１の判断処理を行う。

例えば、第１判断部１２は、各食材の推定個数、つまり、同一種類の食材の領域あるいはカラーパターンの数に対するしきい値処理を行うことができる。また、第１判断部１２は、食材の種類ごとに推定された、食材の領域の画像内に占める面積に対するしきい値処理を行うことができる。

次に、第２判断部１７は、ステップＳ１１０で得られた第２推定結果に基づいて、複数種類の食材間の配置関係が、配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する（ステップＳ１１２）。より詳細には、第２判断部１７は、学習済み第２モデルＮＮ２と対応付けて第２メモリ１５Ｂに記憶されているしきい値等を含む第２基準を第２メモリ１５Ｂから読み出してステップＳ１１２の判断処理を行う。

次に、検査部１３は、ステップＳ１１１で得られた各食材の有無および過不足に関する判断結果、およびステップＳ１１２で得られた食材間の配置関係の妥当性に関する判断結果に基づいて、食品の容器等に配置された複数の食材の配置に関する検査を行う（ステップＳ１１３）。

例えば、検査部１３は、ステップＳ１１１において、すべての種類の食材が、個数および面積に係る第１基準を満たし、かつ、ステップＳ１１２において、食材間の配置関係が第２基準を満たす場合には、食品の容器等に配置された複数の食材の配置に関する検査は合格であるとの検査結果を出力することができる。本実施の形態において、容器等に配置された食材の配置に関する検査とは、食材各々の種類、その有無、数、量、および配置位置に関する食品の盛り付け検査が含まれる。

次に、提示部１４は、ステップＳ１１３で得られた食材の配置に関する検査結果を提示する（ステップＳ１１４）。

以上説明したように、第３の実施の形態によれば、検査装置１Ｂは学習装置を備え、第１学習部１８がインスタンス・セグメンテーションを実現する第１モデルＮＮ１を学習させ、かつ、第２学習部１９は、学習済み第１モデルＮＮ１からの出力画像を学習用画像として用いて食材間の配置関係の正誤を分類する第２モデルＮＮ２を学習する。そのため、より簡易な構成により学習処理から推定処理さらには検査までの処理を一つの検査装置１Ｂで行うことができる。

また、第３の実施の形態によれば、第２モデルＮＮ２は、学習済み第１モデルＮＮ１の出力画像を入力画像として用いる。そのため、第２モデルＮＮ２の学習用画像を容易に準備することができ、第２モデルＮＮ２の学習処理をより簡素化することができる。

また、第３の実施の形態によれば、学習用画像が容易に取得されるので、第１モデルＮＮ１および第２モデルＮＮ２を食品ごとに構築すれば、製造された食品が少量多品種である場合や製品の改廃が頻繁に行われる場合においても、少量多品種の製品に係る食品の盛り付け検査に容易に対応可能である。

また、第３の実施の形態においても、学習用画像を取得するにあたり、簡易に構築された画像の撮影環境を用い、かつ、取得された画像自体の処理は簡易な処理でよいため、画像処理を利用した食品の盛り付け検査が容易となる。

［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上述した第１から第３の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第２および第３の実施の形態では、第２学習部１９および第２推定部１６は、学習済み第１モデルＮＮ１の演算により得られた出力画像をそのまま学習用画像および推定処理のための入力画像として用いる場合について説明した。これに対して、第４の実施の形態では、第２学習部１９および第２推定部１６において用いられる学習用画像および入力画像を変換し、より単純化した画像を第２学習部１９の学習用画像として用いる。

［検査装置の機能ブロック］
図１４は、本実施の形態に係る検査装置１Ｃの構成を示すブロック図である。検査装置１Ｃは、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、メモリ１５、第２推定部１６、第２判断部１７、第１学習部１８、第２学習部１９、および変換部２０を備える。検査装置１Ｃは、変換部２０をさらに備える点で、第３の実施の形態の構成と異なる。以下、第１から第３の実施の形態と異なる構成を中心に説明する。

変換部２０は、第１推定部１１による第１推定結果に含まれる出力画像を変換してより単純化した変換画像を生成する。例えば、図１５の例に示すように、第１推定部１１からの出力画像は、食材の種類ごとに、対応する領域が食材の実際の形状を有する。また、各領域が任意の色で塗られたカラーパターン画像である。変換部２０は、カラーパターン画像の領域各々を同一形状のオブジェクトに置き換えたカラーパターン画像に変換する。例えば、変換部２０は、領域ａ１，ｂ１，ｃ１，ｄ１の形状を、円形等のオブジェクトに置き換えることができる。この場合、変換部２０によって変換された画像は、各領域のカラーパターンの色は互いに異なるが、形状が同一の画像となる。

図１５および図１６に示すように、カラーパターン画像は、各領域が実際の食材インスタンスの外形を有する複雑な形状を有する。そのため、変換部２０は、境界抽出に影響のない微細な変化は除去したより単純化したオブジェクトで各領域を置き換えて、第２モデルＮＮ２を用いた学習処理および推定処理での演算負荷を軽減する。

別の例を挙げると、図１６に示すように、変換部２０は、第１推定部１１からの出力画像のカラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えたオブジェクトのカラーパターンをすべて同一の色とした画像に変換することができる。つまり、変換部２０は、複雑な形状を有する領域を、食材の種類ごとに形状が異なる単純な形状のオブジェクトに置換する。例えば、領域の形状をより単純化した幾何学形状、例えば、三角、四角、丸、星形など、任意の形状の置換した変換画像を生成することができる。一例では、変換画像をモノクロの二値画像とすることができ、これにより、変換画像のデータサイズを小さくすることができる。

当然、変換部２０は、カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なる形状のオブジェクトに置き換え、かつ、置き換えたオブジェクトを、オブジェクトの形状ごとに異なる色とすることができるのは言うまでもない。

第２学習部１９は、変換部２０によって変換された画像を学習用画像として用いて、第２モデルＮＮ２の学習を行い、学習済み第２モデルＮＮ２を獲得する。

第２推定部１６は、変換部２０によって生成された変換画像を入力とする学習済み第２モデルＮＮ２を用いて、変換画像における複数の食材の間の相対的な配置関係の推定を行う。

以上説明したように、第４の実施の形態によれば、変換部２０において、第１推定部１１からの出力画像をより単純化した変換画像を生成し、変換画像を学習用画像として第２モデルＮＮ２の学習を行う。そのため、第２学習部１９における第２モデルＮＮ２の学習処理における演算負荷の軽減やメモリ量の削減が可能となる。また、第２推定部１６における学習済み第２モデルＮＮ２の演算を行う際の演算負荷が軽減され得る。

［第５の実施の形態］
次に、本発明の第５の実施の形態について説明する。なお、以下の説明では、上述した第１から第４の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第４の実施の形態では、第１推定部１１からの出力画像に含まれる、食材の領域ごとのカラーパターンを変換してより単純化した形状のオブジェクトに置き換えた変換画像を生成する場合について説明した。これに対し、第５の実施の形態では、第１推定部１１からの出力画像に含まれる、カラーパターンに含まれる不連続な部分を連続なものに補完した画像を生成し、第２モデルＮＮ２の学習に用いる。

［検査装置の機能ブロック］
図１７は、本実施の形態に係る検査装置１Ｄの構成を示すブロック図である。検査装置１Ｃは、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、メモリ１５、第２推定部１６、第２判断部１７、第１学習部１８、第２学習部１９、および加工部２１を備える。検査装置１Ｄは、加工部２１を備える点で、変換部２０を備えた第４の実施の形態の構成と異なる。以下、第１から第４の実施の形態と異なる構成を中心に説明する。

加工部２１は、第１推定部１１による推定結果の出力画像に含まれる食材の領域の推定外形線の最長のものの内部が、その食材の領域であるとして、カラーパターンの不連続性を補完して連続にした加工画像を生成する。

具体的には、図１８に示すように、第１推定部１１からの出力画像において、食材の領域ｂ１に不連続な部分が含まれているとする。例えば、食材自体の形状に空洞があるような場合、あるいは、食材の加工状態によっては隙間が形成されるような場合が考えられる。このような場合には、第２学習部１９におけるニューラルネットワークの学習負荷軽減の観点から、事前に領域内の全ての領域は、推定された食材を示していることを明確にしておくことが有効である。

そのため、加工部２１は、領域ｂ１の内部に含まれる穴は、食材ｂを示す領域であるとみなして、領域ｂ１に割り当てられているカラーパターンで領域ｂ１内の不連続な部分を補完して連続な部分とした加工画像を生成する。

第２学習部１９は、加工部２１によって加工されたカラーパターンの不連続な部分を補完して連続にした加工画像を学習用画像として用いて、第２モデルＮＮ２の学習を行って学習済み第２モデルＮＮ２を獲得する。

第２推定部１６は、加工部２１によって生成されたカラーパターンの不連続性を補完して連続にした出力画像の加工画像を入力として学習済み第２モデルＮＮ２の演算を行い、食材間の相対的な配置関係を推定し、推定された配置関係を出力画像に関連付けた第２推定結果を出力する。

以上説明したように、第５の実施の形態によれば、加工部２１において、第１推定部１１からの出力画像に含まれる食材の領域におけるカラーパターンの不連続な部分を補完して連続な部分とした加工画像を生成し、第２モデルＮＮ２の学習を行う。そのため、第２学習部１９における第２モデルＮＮ２の学習における演算負荷を軽減してより効率的に学習を行うことが可能となる。

［第６の実施の形態］
次に、本発明の第６の実施の形態について説明する。なお、以下の説明では、上述した実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

上述した第３の実施の形態では、第１モデルＮＮ１の学習を行う第１学習部１８、および第２モデルＮＮ２の学習を行う第２学習部１９を有する学習装置をさらに備える構成について説明した。また、第３の実施の形態では、第２学習部１９が第２モデルＮＮ２の学習を行う場合に、学習済み第１モデルＮＮ１の演算で得られた出力画像のみを学習用画像として用いる場合について説明した。これに対し、第６の実施の形態では、学習装置がデータ拡張を行って、第２モデルＮＮ２の学習で用いる学習用画像を水増しする。

図２０は、本実施の形態に係る検査装置１Ｅで行われるデータ拡張処理の概要を説明するための図である。図２０の破線枠ＤＡに示される画像データは、食材間の配置関係の正誤を分類する第２モデルＮＮ２を学習するための学習用データセットである。各学習用画像ｔには、食材間の配置関係が正しい、または誤っていることを示すラベル情報（「良」、「不良」）が付与されている。第２モデルＮＮ２の分類精度を向上させる場合、食材間の配置関係の正しい（以下、「良品」または「良」という場合がある。）、および配置関係が誤っている（以下、「不良品」または「不良」という場合がある。）両方のラベルに係る学習用画像の数を増やして学習を行うことが有効であると考えられる。

しかし、検査装置１Ｅを食品の製造ラインの検査に用いた場合、良品に係る学習用画像を多数取得することは比較的容易であるが、不良品に係る学習用画像はほとんど取得できない。特に、本実施の形態に係る第２モデルＮＮ２は、良品および不良品の２つのクラスを分類する分類器であり、精度の確保およびその向上のためには十分な量の不良品に係る学習用画像を用意して学習を行うことが望ましい。

例えば、非特許文献１から３は、学習用画像をデータ拡張処理によって生成する技術を開示している。また、特許文献２は、画像データの特徴部分の境界が不自然となることを防ぐため、拡張対象物の位置形態情報を特定してデータ拡張処理を行い、学習用画像を生成する技術を開示している。また、特許文献３は、画像の特徴部分を加工して、加工データに基づいてデータ拡張を行い、学習用画像を効率的に生成する技術を開示している。

しかし、非特許文献１から３、および特許文献２、３が開示する従来技術はいずれも、所謂良品画像のデータ拡張を行って、同じラベルである良品画像を大量に生成するものであり、良品画像に基づいたデータ拡張を行ってラベルの異なる不良品画像を大量に生成することは困難であった。

これに対し、本実施の形態では、第２モデルＮＮ２の学習用画像に特有の性質を利用することで、製造ラインで取得することが比較的困難な不良品に係る学習用画像を生成することを可能とする。より詳細には、本実施の形態では、第２モデルＮＮ２の学習用画像が、食材を互いに区別して食材が存在する画像内の領域をピクセル単位で識別するインスタンス・セグメンテーションで得られたカラーパターンの画像であること、および、学習用画像のラベル情報が食材間の相対的な位置関係の正誤であるということに着目する。

本実施の形態に係る検査装置１Ｅでは、これらの着目点に基づいて、比較的容易に取得可能な良品に係る対象画像のデータ拡張を行って、実際の製造ラインで取得することが比較的困難な不良品に係る学習用画像を大量に生成することを可能とする。

［検査装置の機能ブロック］
図１９は、本実施の形態に係る検査装置１Ｅの構成を示すブロック図である。検査装置１Ｅは、取得部１０、第１推定部１１、第１判断部１２、検査部１３、提示部１４、メモリ１５、第２推定部１６、第２判断部１７、第１学習部１８、第２学習部１９、抽出部２２、およびデータ拡張部２３を備える。検査装置１Ｅは、学習装置において抽出部２２およびデータ拡張部２３をさらに備える点で、特に、第３から第５の実施の形態の構成と異なる。以下、第３から第５の実施の形態と異なる構成を中心に説明する。

抽出部２２は、データ拡張を行う対象の画像（対象画像）から、食材の種類ごとの領域を抽出する。対象画像とは、後述のデータ拡張部２３がデータ拡張を行う対象の画像であり、予め食材間の相対的な位置関係の正誤に係るラベル情報が付与された画像である。例えば、第１推定部１１が出力した第１推定結果に含まれる、推定された食材の領域および種類が画像に関連付けられた出力画像を対象画像として用いることができる。あるいは、ユーザや技術者等が事前に作成した画像を対象画像として用いる場合等、ラベル情報が付与された画像を予め外部から取得して対象画像として用いることもできる。本実施の形態では、特に、食材ごとの領域がカラーパターンとして表される出力画像に、ラベル情報が付与された画像を対象画像として用いるものとする。抽出部２２は、設定に応じて、予め指定されたカラーパターンに係る食材の領域のみを対象画像から抽出することもできる。

例えば、図２１の対象画像データＤＡ０のフォルダに含まれる３枚の画像のうち、抽出部２２は、太枠で囲われた画像ｐ（以下、「対象画像ｐ」ということがある。）に含まれる食材ａ、ｂ、ｃ、およびｄの領域ａ１、ｂ１、ｃ１、およびｄ１を抽出する。対象画像ｐには、予め食材間の相対的な配置関係が正しいことを示す第１ラベル「良」が付与されている。また、抽出部２２が抽出する食材ａ、ｂ、ｃ、およびｄの領域ａ１、ｂ１、ｃ１、およびｄ１の情報には、それぞれの領域の色情報および座標情報が含まれる。

対象画像は、カラーパターンの出力画像である場合に限らず、例えば、第４の実施の形態で説明したように、カラーパターンの出力画像をさらに単純化した形状のオブジェクトに置き換えた変換画像を用いることもできる。同様に、対象画像として、第５の実施の形態で説明した、カラーパターンに含まれる不連続な部分を連続なものに補完した加工画像を用いることもできる。

データ拡張部２３は、食材の領域および種類が画像に関連付けられた対象画像のデータ拡張を行って学習用画像（第２学習用画像）を生成する。より具体的には、データ拡張部２３は、対象画像に付与されている、複数の食材の間の相対的な配置関係の妥当性に関するラベル情報に基づいて学習用画像を生成する。なお、ラベル情報は、第２判断部１７が、食品の容器等に配置された複数の種類の食材相互の相対的な配置関係の妥当性を判断するための第２基準に対応する情報である。つまり、第２基準を満たす画像には、予め第１ラベル「良」が付与され、第２基準を満たさない画像には、第２ラベル「不良」が付与される。

データ拡張部２３は、対象画像における複数の食材の間の相対的な配置関係が妥当であることを示す第１ラベル「良」が付与された対象画像のデータ拡張を行って、複数の食材の間の相対的な配置関係が妥当でないことを示す第２ラベル「不良」が付与された学習用画像を生成することができる。さらに、データ拡張部２３は、第１ラベル「良」が付与された対象画像のデータ拡張を行って、同じラベル情報である第１ラベル「良」が付与された学習用画像を生成することもできる。同様に、データ拡張部２３は、第２ラベル「不良」が付与された対象画像のデータ拡張を行って、さらに、第２ラベル「不良」が付与された学習用画像を生成することもできる。

例えば、データ拡張部２３は、対象画像における複数の食材の間の相対的な配置関係を維持しつつ、抽出部２２が抽出した領域を加工して学習用画像を生成することができる。具体的には、図２１のデータ拡張ＤＡ１に示すように、太枠で囲われた第１ラベル「良」が付与された対象画像ｐに含まれる領域ａ１、ｂ１、ｃ１、およびｄ１の互いの位置関係は維持したまま、領域ａ１、ｂ１、ｃ１、およびｄ１の各々を回転させて、連番で第１ラベル「良」の学習用画像を生成することができる。図２１のデータ拡張ＤＡ１の例では、左側に示す学習用画像は、対象画像ｐの領域ａ１を、中心座標を起点として、乱数角度分を回転させており、真ん中に示す学習用画像は、さらに領域ｂ１を回転させ、右側に示す学習用画像は、さらに領域ｃ１を回転させている。

このように、データ拡張部２３は、第１ラベル「良」が付与された１枚の対象画像ｐから領域ａ１、ｂ１、ｃ１、およびｄ１の各々の領域を回転させて、各領域を同じ位置に再配置することで、同じラベルに係る第１ラベル「良」が付与された学習用画像を連番で大量に生成することができる。図２１に示したデータ拡張ＤＡ１では、各領域を回転させる場合を例示したが、領域間の位置関係を維持しつつ行うことができる加工処理であれば、領域の大きさや形状を変更して、同じ位置に再配置する他の処理も含まれる。

次に、第１ラベル「良」が付与された対象画像のデータ拡張を行って、第２ラベル「不良」が付与された学習用画像を生成する例について説明する。この場合、データ拡張部２３は、抽出部２２が抽出した領域のうち、２つ以上の互いに異なる種類の食材に対応する領域の位置を互いに置き換えて学習用画像を生成することができる。

例えば、図２１に示すデータ拡張ＤＡ２では、対象画像データＤＡ０の第１ラベル「良」が付与された太枠の対象画像ｐの領域ｂ１とｃ１との互いの位置を置き換え、再配置して、左側に示す第２ラベル「不良」が付与された学習用画像を生成している。同様に、真ん中に示す画像は、対象画像ｐの領域ａ１とｄ１とを置き換え、かつ、再配置して生成された第２ラベル「不良」が付与された学習用画像である。右側に示す画像は、対象画像ｐの領域ｂ１とｄ１とを置き換え、かつ、再配置して生成された第２ラベル「不良」が付与された学習用画像である。

データ拡張部２３は、第１ラベル「良」が付与された対象画像に対し、任意の２色を置き換える組み合わせの数を計算し、そのすべての組み合わせの画像を生成することで、大量の第２ラベル「不良」が付与された学習用画像を生成することができる。

次に、第１ラベル「良」が付与された対象画像のデータ拡張を行って、第２ラベル「不良」が付与された学習用画像を生成する別の例について説明する。この場合、例えば、データ拡張部２３は、抽出部２２が抽出した領域のうちの１つ以上を対象画像から削除して学習用画像を生成することができる。

具体的には、図２１のデータ拡張ＤＡ３に示すように、データ拡張部２３は、第１ラベル「良」が付与された太枠の対象画像ｐに含まれる領域ａ１、ｂ１、ｃ１、およびｄ１のうち、１つの領域のみを抜き出して、その他の領域を削除および再配置することで第２ラベル「不良」を付与した学習用画像を生成している。

さらに、第１ラベル「良」が付与された対象画像のデータ拡張を行って、第２ラベル「不良」が付与された学習用画像を生成する別の例を挙げる。この場合、データ拡張部２３は、抽出部２２が抽出した領域の各々の反転、回転、膨張、および収縮のうちの少なくともいずれかを行って対象画像のデータ拡張を行うことができる。

例えば、図２１に示すデータ拡張ＤＡ４のように、データ拡張部２３は、第１ラベル「良」が付与された太枠の対象画像ｐを縦方向に上下反転させて再配置することで、第２ラベル「不良」を付与した学習用画像を生成することができる。

図２１に示すデータ拡張ＤＡ５では、データ拡張部２３は、第１ラベル「良」が付与された太枠の対象画像ｐを横方向に左右反転させて再配置することで、第２ラベル「不良」を付与した学習用画像を生成している。

データ拡張部２３は、対象画像のデータ拡張を行って得られた第１ラベル「良」または第２ラベル「不良」が付与された学習用画像のデータ拡張をさらに行って、第１ラベル「良」または第２ラベル「不良」が付与された学習用画像を生成してもよい。例えば、データ拡張部２３は、図２１のデータ拡張ＤＡ４で示したように、第１ラベル「良」を有する対象画像を垂直軸で鏡像させた第２ラベル「不良」を有する学習用画像に対して、各カラーパターンの領域の中心座標を起点に、発生させた乱数角度分を回転させて第２ラベル「不良」を付与した学習用画像を生成することができる。

このように、データ拡張部２３は、第１ラベル「良」が付与された対象画像に基づいて、第２ラベル「不良」が付与された学習用画像を所望の枚数だけ生成することができる。なお、データ拡張部２３がデータ拡張処理を繰り返して不良品に係る学習用画像を生成する際に、良品に係る学習用画像が生成される場合があるが、事前の設定により、生成される学習用画像から良品に係る学習用画像を除けばよい。

［検査装置の動作］
次に、上述した構成を有する検査装置１Ｅの動作について、図２２を参照して説明する。図２２は、検査装置１Ｅにおける第２モデルＮＮ２の学習用画像の生成から第２モデルＮＮ２の学習処理までの各ステップを示すフローチャートである。

まず、学習装置は、データ拡張を行う対象の画像である対象画像を取得する（ステップＳ２０１）。例えば、学習装置は、第１推定部１１による学習済みの第１モデルＮＮ１の演算結果として得られた複数の食材の領域および種類が入力画像ｉに関連付けられたカラーパターンの出力画像ｐを、対象画像として用いることができる。

次に、学習装置は、ステップＳ２０１で取得した対象画像のラベル情報を取得する（ステップＳ２０２）。例えば、学習装置は、外部からの入力による対象画像のラベル情報を取得することができる。

次に、学習装置は、学習用画像を生成する際の事前の設定を行う（ステップＳ２０３）。具体的には、ステップＳ２０２でラベル情報を取得した対象画像のうちから、特定の対象画像を選択することができる。また、ステップＳ２０３では、対象画像に含まれる食材ごとの領域のカラー数や、抽出部２２が抽出するカラーパターンの領域の色を指定することができる。さらに、ステップＳ２０３では、生成する学習用画像の枚数や、領域の回転角度範囲などを事前に設定する。

次に、抽出部２２は、ステップＳ２０３での設定情報に基づいて、食材の領域に係るカラーパターンを対象画像から抽出する（ステップＳ２０４）。続いて、データ拡張部２３は、抽出部２２によって抽出された領域の加工などを行い、対象画像のデータ拡張を行って、学習用画像を生成する（ステップＳ２０５）。

例えば、データ拡張部２３は、ステップＳ２０５で、第１ラベル「良」が付与された対象画像における複数の食材の間の相対的な配置関係を維持しつつ、抽出部２２がステップＳ２０２で抽出した領域を加工して学習用画像を生成することができる。この場合、データ拡張部２３は、生成した学習用画像に第２ラベル「不良」を付与する（ステップＳ２０６）。

次に、第２学習部１９は、ステップＳ２０６で得られた学習用画像を用いて第２モデルＮＮ２の学習を行い、学習済み第２モデルＮＮ２を獲得する（ステップＳ２０７）。ステップＳ２０７で用いる学習用画像には、第２モデルＮＮ２の分類精度の観点から十分な枚数の良品画像および不良品画像を含むことができる。

次に、学習装置は、ステップＳ２０７で得られた学習済みの第２モデルＮＮ２を第２メモリ１５Ｂに記憶する（ステップＳ２０８）。その後、処理は、例えば、図８のステップＳ１０に戻され、学習済みの第１モデルＮＮ１およびデータ拡張によって生成された学習用画像で学習した学習済みの第２モデルＮＮ２の演算を行い、食材の配置に関する検査を行うことができる（図８のステップＳ１０からＳ１９）。

以上説明したように、第６の実施の形態によれば、検査装置１Ｅは、インスタンス・セグメンテーションを用いた学習済み第１モデルＮＮ１の演算で得られた対象画像のデータ拡張を行い、第２モデルＮＮ２の学習に用いる学習用画像を水増しする。そのため、食品の製造ラインで取得することが比較的容易な良品画像に基づいて、その取得が比較的困難な不良品画像を大量に生成することができる。その結果として、十分な数の不良品に係る学習用画像を用意することができ、学習済み第２モデルＮＮ２の分類精度を一層向上させることができる。

［第７の実施の形態］
次に、本発明の第７の実施の形態について説明する。なお、以下の説明では、上述した第１から第６の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第１から第６の実施の形態では、インスタンス・セグメンテーションを行う学習済み第１モデルＮＮ１を用いて複数の食材の領域および種類を推定し、推定された食材の領域および種類を画像に関連付けた出力画像を含む第１推定結果を出力し、食材の配置に関する検査を行う場合について説明した。また、食材間の配置関係については、学習済み第２学習モデルＮＮ２を用いて分類を行った。

これに対し、第７の実施の形態では、第１モデルＮＮ１として、食材の種類（クラス）と画像内での位置をバウンディングボックスで囲って物体検出を行うモデルなど、例えば、Ｒ－ＣＮＮ，ＹＯＬＯ，Ｍａｓｋ Ｒ－ＣＮＮ，ＳＳＤ等の任意のディープラーニングモデルを用いることができる。なお、バウンディングボックスとは、画像内の物体を囲む境界線または境界領域のことであり、通常は矩形状を有することが当業者には理解される。

本実施の形態では、第１モデルＮＮ１は、取得部１０によって取得された食品の画像を入力あるいは学習用画像として用い、出力にはアンカーボックスとグリッドごとのラベルである各食材とバウンディングボックスを示す領域が含まれる。より詳細には、学習済み第１モデルＮＮ１の演算によって得られる出力は、例えば、食材を示すラベルによらずグリッド内に食材中心を含む確率（ｓｃｏｒｅ）、グリッド内に含まれる食材中心の分類ラベルである食材のクラス（ｃｌａｓｓ）、およびグリッド内に食材中心があるバウンディングボックスのグリッド内での相対位置（縦、横）とサイズ（幅、高さ）を示す位置情報が含まれる。

第１学習部１８は、取得部１０で取得された入力画像を学習用画像として用いて、学習用画像から食材のクラスとその食材を含むバウンディングボックスを予測するような特徴量を学習する。

第１推定部１１は、学習済み第１モデルＮＮ１の演算により、入力画像に含まれる各食材の種類と、その食材を囲むバウンディングボックスを推定することが可能である。第１推定部１１は、複数の食材の間の相対的な配置関係と、食材の種類とを推定し、推定された配置関係を画像に関連付けた出力画像を含む第１推定結果を出力する。

第１判断部１２は、第１推定結果に基づいて、配置関係が予め設定された基準を満たすか否かを判断する。また、第１判断部１２は、各食材の有無を第１推定部１１による推定結果から判断することができる。

ここで、同一種類の食材が複数の食材で構成される場合には、第１判断部１２は、推定された複数の食材のバウンディングボックスの４頂点や中心点に基づいて、食材間の相対的な配置関係が設定された基準を満たすか否かを判断することができる。このような構成により、第１判断部１２は同一種類の食材の並び方、あるいはばらけ方の程度についての妥当性を判断することができる。例えば、ピザのトッピングとして配置されるシュレッドチーズなどが一定の位置に配置されているか否かを判断することが可能となる。

検査部１３は、第１判断部１２による判断結果に基づいて、食品の容器等に配置されている複数の食材の配置に関する検査を行う。

以上説明したように、第７の実施の形態によれば、第１モデルＮＮ１として、画像内の食材の位置を特定してバウンディングボックスで囲む物体検出モデルを用いても、食品の容器等に配置された食材の有無、および食材の配置関係の妥当性を含む食品の盛り付け検査を行うことができる。

［検査装置の使用例］
ここで、本発明の実施の形態に係る検査装置１の使用例を図２３から図２５を参照して説明する。

図２３は、検査装置１が備える表示装置１０８に表示された検査画面の一例を示している。画面左側の画像ｉは、カメラ１０５で撮影された食品を示している。また、画面右側の画像ｓは、インスタンス・セグメンテーションを用いて推定された食材の盛り付け位置を示すカラーパターン画像と元画像ｉとを合成した画像である。本例では、食品の品種は「製品Ｂ」、検査対象の食材は「わさび」、「きざみのり」、「きゅうり」、「ねぎ」の４種である。

検査画面には、食材各々に対して設定された第１基準（「検査項目」）および判断結果（「結果総合」、「認識個数」、「認識総面積」）が表示されている。また、検査画面には、食材間における配置位置の分類結果が示されている（「場所検査（Ｃｌａｓｓ／Ｓｃｏｒｅ）、「０．９６０７６」）。また、検査対象の食品の検査結果は、合格「ＯＫ」であることが画面の右上に表示されている。食材間の配置位置に関する第２基準は項目「Ｓｃｏｒｅ閾値」に表示されている。

前述したように、検査装置１において、ユーザが、学習済みの第１モデルＮＮ１および学習済み第２モデルＮＮ２、ならびにこれらの演算結果に対するしきい値等の判断基準を食品の品種ごとに切り替えることで、１台の検査装置１で複数の異なる食品の盛り付け検査を行うことができる。ユーザは、例えば、検査画面に表示されたアイコンｍｃ（「検査設定変更」）をクリック、あるいは検査画面がタッチパネルである場合にはタッチ操作をして、検査対象の食品の品種の切り替え等の設定変更を行うことができる。

ユーザが、図２３に示す検査画面に表示されたアイコンｍｃをタッチ操作あるいはクリックすると、設定変更画面に遷移する前に、例えば、パスワード要求画面に切り替わる。検査対象の食品を別の品種の食品に変更する場合には、ユーザは、キーボード等を用いた入力操作を行って、ユーザ名およびパスワードを入力する。このようなパスワード要求を行うことで、ユーザに与えられた権限に応じて変更可能な設定項目を制限することができる。

図２４は、表示装置１０８に表示される設定変更画面の一例を示している。検査対象の食品の品種を変更する場合には、ユーザは、「検査設定ファイル」の設定画面に表示されたメニューｆ（「ファイル選択」）のプルダウンリストの品種から、所望とされる食品の品種を入力することができる。図２０の例では、食品「製品Ａ」、「製品Ｂ」、「製品Ｃ」の３種類の食品の品種の中から選択される。

例えば、ユーザが「製品Ｂ」を選択すると、メモリ１５から食品「製品Ｂ」に対応する学習済み第１モデルＮＮ１（「Ｓｅｇｍｅｎｔａｔｉｏｎモデル」）および学習済み第２モデルＮＮ２（「Ｃｌａｓｓｉｆｉｃａｔｉｏｎモデル」）が追従して呼び出される。さらに、学習済み第１モデルＮＮ１および学習済み第２モデルＮＮ２の演算結果に対する判断基準として用いられる食材毎のしきい値（「検査しきい値」、「検査項目」）なども、メモリ１５から呼び出される。

図２５の設定変更画面の一例に示すように、ユーザは、ファイル選択メニューｆで「製品Ｂ」を選択し、さらに確定アイコンｅによって品種の呼出しを確定する。設定変更画面の領域ｄｌ、ｃｔ等には、現在設定されている学習済み第１モデルＮＮ１、学習済み第２モデルＮＮ２、判断基準として用いられる食材毎のしきい値などが表示されている。また、図２５の例では、食材間の配置位置の検査に用いられるモデルとして、学習済み第２モデルＮＮ２の他に、予め用意された他の位置補正モデルが選択可能である。ユーザは、領域ｐｃにディレクトリ表示されている位置補正モデルあるいは、領域ｄｌに表示される学習済み第２モデルＮＮ２の何れかを選択することができる。

また、ユーザは、学習済み第１モデルＮＮ１の演算結果に対する判断基準として用いる食材毎のしきい値を含む第１基準（「検査項目」）を、食材ごとにプルダウン選択して変更することができる。例えば、ユーザは、食材「きゅうり」に対する「検査項目」について、「個数」「単一面積」「総面積」およびこれらの組み合わせと「未検査」をプルダウンで選択することができる。同様に、ユーザは各食材の検査項目に対して設定されるしきい値を、プルダウン選択で変更できる。

各食材の「検査項目」の変更、しきい値の変更などの設定変更を行った場合には、ユーザは、アイコンｗをクリックして設定の上書き保存、あるいはアイコンｎをクリックして新規ファイルを作成することができる。また、アイコンｄで不要となったファイルを削除することができる。

以上、本発明の検査装置および検査方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

例えば、説明した実施の形態では、検査装置による検査処理が開始されると、製造ラインにおける食品の製造の流れに応じて、カメラ１０５で撮影された検査対象の画像を取得部１０が取得する場合について説明した。しかし、検査装置は、食品の製造ラインで食品が製造されている際だけでなく、例えば、製造ラインが稼働していない場合であっても、過去に撮影された製造食品の画像を取得して、検査処理を行うこともできる。例えば、製造ラインのメンテナンスを行う場合などが挙げられる。

また、説明した実施の形態では、検査対象の食品として、製造ラインで製造され、食材が配置されて盛り付けられる加工麺、冷凍食品、弁当、および惣菜などが含まれる。なお、検査対象の食品は、食材が容器の中に配置されているものだけでなく、容器を用いずに食材が配置されているものも含まれる。

また、説明した実施の形態では、検査対象の食材の種類の数が複数である場合を例示したが、食材の種類の数は単数であってもよい。

なお、第１モデルＮＮ１および第２モデルＮＮ２の学習処理を行う学習装置は検査装置とは別個独立な構成とすることができる。

なお、ここで開示された実施の形態に関連して記述された様々の機能ブロック、モジュール、および回路は、汎用プロセッサ、ＧＰＵ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡあるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、または上述した機能を実現するために設計された上記いずれかの組み合わせを用いて実行されうる。

汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。

１…検査装置、１０…取得部、１１…第１推定部、１２…第１判断部、１３…検査部、１４…提示部、１５…メモリ、１５Ａ…第１メモリ、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信Ｉ／Ｆ、１０５…カメラ、１０６…補助記憶装置、１０７…入出力Ｉ／Ｏ、１０８…表示装置、ＮＷ…ネットワーク。

Claims (37)

1. 配置された食材が含まれる画像を取得する取得部と、
   学習済み第１モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第１推定結果を出力する第１推定部と、
   前記第１推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する第１判断部と、
   前記第１判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部と
   を備える検査装置。
2. 請求項１に記載の検査装置において、
   前記第１判断部は、前記食材の種類ごとに、前記領域の個数および大きさの少なくとも一方を特定して、前記領域の個数および大きさの少なくとも一方が前記第１基準を満たすか否かを判断する
   ことを特徴とする検査装置。
3. 請求項１または請求項２に記載の検査装置において、
   前記第１推定結果に含まれる前記出力画像を入力とする学習済み第２モデルを用いて、前記出力画像における複数の前記食材の間の相対的な配置関係を推定し、推定された配置関係を前記出力画像に関連付けた第２推定結果を出力する第２推定部と、
   前記第２推定結果に基づいて、前記配置関係が、前記配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する第２判断部と
   をさらに備え、
   前記検査部は、前記第２判断部による判断結果に基づいて、前記食材の配置に関する検査を行う
   ことを特徴とする検査装置。
4. 請求項３に記載の検査装置において、
   さらに、少なくとも前記検査部による検査結果を提示する提示部を備え、
   前記提示部は、前記画像、前記第１推定結果、前記第１判断部による判断結果、前記第２推定結果、前記第２判断部による判断結果、および前記検査部による検査結果を含む情報のうちの少なくともいずれかを提示する
   ことを特徴とする検査装置。
5. 請求項１から４のいずれか１項に記載の検査装置において、
   さらに、予め設定されたモデルを構築するための学習処理を行う学習装置を備え、
   前記学習装置は、
   配置された前記食材を含む画像を第１学習用画像として用い、ニューラルネットワークの第１モデルを学習させて、前記食材の領域および種類を識別する第１特徴量を抽出し、抽出された前記第１特徴量により前記学習済み第１モデルを獲得する第１学習部と、
   前記第１学習部で獲得された前記学習済み第１モデルを記憶する第１記憶部と
   を備え、
   前記第１推定部は、前記第１記憶部から前記学習済み第１モデルを読み込んで前記学習済み第１モデルによる前記画像における前記食材の領域および種類の推定を行う
   ことを特徴とする検査装置。
6. 請求項５に記載の検査装置において、
   前記第１モデルが、インスタンス・セグメンテーションによる画像認識モデルである
   ことを特徴とする検査装置。
7. 請求項５または請求項６に記載の検査装置において、
   前記学習装置は、
   前記第１推定部が出力する前記第１推定結果に含まれる前記出力画像を第２学習用画像として用いて、ニューラルネットワークの第２モデルを学習させて、前記第２学習用画像における複数の前記食材の間の相対的な配置関係を識別する第２特徴量を抽出し、抽出された前記第２特徴量により前記学習済みの第２モデルを獲得する第２学習部と、
   前記第２学習部で獲得された前記学習済みの第２モデルを記憶する第２記憶部と
   をさらに備えることを特徴とする検査装置。
8. 請求項７に記載の検査装置において、
   さらに、前記第１推定結果に含まれる前記出力画像を変換してより単純化した変換画像を生成する変換部を備え、
   前記第２学習部は、前記変換画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得する
   ことを特徴とする検査装置。
9. 請求項８に記載の検査装置において、
   前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、
   前記変換画像は、前記カラーパターン画像の領域各々を同一形状のオブジェクトに置き換えたカラーパターン画像である
   ことを特徴とする検査装置。
10. 請求項８に記載の検査装置において、
    前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、
    前記変換画像は、前記カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えた前記オブジェクトの色を形状ごとに異なる色とした画像である
    ことを特徴とする検査装置。
11. 請求項８に記載の検査装置において、
    前記第１推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、
    前記変換画像は、前記カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えた前記オブジェクトの色をすべて同一の色とした画像である
    ことを特徴とする検査装置。
12. 請求項７に記載の検査装置において、
    さらに、前記第１推定結果に含まれる前記出力画像の前記領域の推定外形線の最長のものの内部が、当該領域であるとして、前記出力画像を加工した加工画像を生成する加工部を備え、
    前記第２学習部は、前記加工画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得する
    ことを特徴とする検査装置。
13. 請求項７から１２のいずれか１項に記載の検査装置において、
    前記学習装置は、
    さらに、前記食材の領域および種類が前記画像に関連付けられた対象画像のデータ拡張を行って前記第２学習用画像を生成するデータ拡張部を備え、
    前記データ拡張部は、前記対象画像に付与されている、前記対象画像における複数の前記食材の間の相対的な配置関係の妥当性に関するラベル情報に基づいて前記第２学習用画像を生成する
    ことを特徴とする検査装置。
14. 請求項１３に記載の検査装置において、
    前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、前記第１ラベルを付与した前記第２学習用画像を生成する
    ことを特徴とする検査装置。
15. 請求項１３または請求項１４に記載の検査装置において、
    前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルを付与した前記第２学習用画像を生成する
    ことを特徴とする検査装置。
16. 請求項１３または請求項１５に記載の検査装置において、
    前記データ拡張部は、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された対象画像のデータ拡張を行って、前記第２ラベルを付与した前記第２学習用画像を生成する
    ことを特徴とする検査装置。
17. 請求項１３から１６のいずれか１項に記載の検査装置において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、
    前記データ拡張部は、前記対象画像における複数の前記食材の間の相対的な配置関係を維持しつつ、前記抽出部が抽出した前記領域を加工後再配置して前記第２学習用画像を生成する
    ことを特徴とする検査装置。
18. 請求項１３から１６のいずれか１項に記載の検査装置において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、
    前記データ拡張部は、前記抽出部が抽出した前記領域のうち、２つ以上の互いに異なる種類の前記食材に対応する領域の位置を互いに置き換えて前記第２学習用画像を生成する
    ことを特徴とする検査装置。
19. 請求項１３から１６のいずれか１項に記載の検査装置において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、
    前記データ拡張部は、前記抽出部が抽出した前記領域のうちの１つ以上を前記対象画像から削除して前記第２学習用画像を生成する
    ことを特徴とする検査装置。
20. 請求項１３から１６のいずれか１項に記載の検査装置において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する抽出部を備え、
    前記データ拡張部は、前記抽出部が抽出した前記領域の各々の反転、回転、膨張、および収縮のうちの少なくともいずれかを行って前記対象画像のデータ拡張を行う
    ことを特徴とする検査装置。
21. 配置された食材が含まれる画像を取得する取得部と、
    学習済み第１モデルを用いて、前記画像における前記食材の領域をバウンディングボックスで検出して、複数の前記食材の間の相対的な配置関係と、前記食材の種類とを推定し、推定された前記配置関係を前記画像に関連付けた出力画像を含む第１推定結果を出力する第１推定部と、
    前記第１推定結果に基づいて、前記配置関係が予め設定された基準を満たすか否かを判断する第１判断部と、
    前記第１判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部と
    を備える検査装置。
22. 請求項１から２１のいずれか１項に記載の検査装置を用いて検査される食品において、
    食品製造ラインで製造され、前記食材が配置されて盛り付けられる加工麺、冷凍食品、弁当、および惣菜を含む食品。
23. 配置された食材が含まれる画像を取得する第１ステップと、
    学習済み第１モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第１推定結果を出力する第２ステップと、
    前記第１推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第１基準を満たすか否かを判断する第３ステップと、
    前記第３ステップでの判断結果に基づいて、前記食材の配置に関する検査を行う第４ステップと
    を備える検査方法。
24. 請求項２３に記載の検査方法において、
    前記第３ステップは、前記食材の種類ごとに、前記領域の個数および大きさの少なくとも一方を特定して、前記領域の個数および大きさの少なくとも一方が前記第１基準を満たすか否かを判断し、
    前記第４ステップは、前記判断結果に基づいて、前記食材の配置に関する検査を行う
    ことを特徴とする検査方法。
25. 請求項２３または請求項２４に記載の検査方法において、
    前記第１推定結果に含まれる前記出力画像を入力とする学習済み第２モデルを用いて、前記出力画像における複数の前記食材の間の相対的な配置関係を推定し、推定された配置関係を前記出力画像に関連付けた第２推定結果を出力する第５ステップと、
    前記第２推定結果に基づいて、前記配置関係が、前記配置関係の妥当性に関して予め設定された第２基準を満たすか否かを判断する第６ステップと
    をさらに備え、
    前記第４ステップは、前記第６ステップでの判断結果に基づいて、前記食材の配置に関する検査を行う
    ことを特徴とする検査方法。
26. 請求項２３から２５のいずれか１項に記載の検査方法において、
    さらに、予め設定されたモデルを構築するための学習処理を行う学習ステップを備え、
    前記学習ステップは、
    配置された前記食材が含まれる画像を第１学習用画像として用い、ニューラルネットワークの第１モデルを学習させて、前記食材の領域および種類を識別する第１特徴量を抽出し、抽出された前記第１特徴量により前記学習済み第１モデルを獲得する第７ステップと、
    前記第７ステップで獲得された前記学習済み第１モデルを第１記憶部に記憶する第８ステップと
    を備え、
    前記第３ステップは、前記第１記憶部から前記学習済み第１モデルを読み込んで前記学習済み第１モデルによる前記画像における前記食材の領域および種類の推定を行う
    ことを特徴とする検査方法。
27. 請求項２６に記載の検査方法において、
    前記学習ステップは、
    前記第３ステップで出力する前記第１推定結果に含まれる前記出力画像を第２学習用画像として用いて、ニューラルネットワークの第２モデルを学習させて、前記第２学習用画像における複数の前記食材の間の相対的な配置関係を識別する第２特徴量を抽出し、抽出された前記第２特徴量により前記学習済みの第２モデルを獲得する第９ステップと、
    前記第９ステップで獲得された前記学習済みの第２モデルを第２記憶部に記憶する第１０ステップと
    をさらに備えることを特徴とする検査方法。
28. 請求項２７に記載の検査方法において、
    さらに、前記第１推定結果に含まれる前記出力画像の前記領域の推定外形線の最長のものの内部が、当該領域であるとして、前記出力画像を加工した加工画像を生成する第１１ステップを備え、
    前記第９ステップは、前記加工画像を前記第２学習用画像として用いて前記第２モデルを学習させ、前記学習済みの第２モデルを獲得する
    ことを特徴とする検査方法。
29. 請求項２７または請求項２８に記載の検査方法において、
    前記学習ステップは、
    さらに、前記食材の領域および種類が前記画像に関連付けられた対象画像のデータ拡張を行って前記第２学習用画像を生成する第１２ステップを備え、
    前記第１２ステップは、前記対象画像に付与されている、前記対象画像における複数の前記食材の間の相対的な配置関係の妥当性に関するラベル情報に基づいて前記第２学習用画像を生成する
    ことを特徴とする検査方法。
30. 請求項２９に記載の検査方法において、
    前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、前記第１ラベルが付与された前記第２学習用画像を生成する
    ことを特徴とする検査方法。
31. 請求項２９または請求項３０に記載の検査方法において、
    前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係が妥当であることを示す第１ラベルが付与された対象画像のデータ拡張を行って、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルを付与した前記第２学習用画像を生成する
    ことを特徴とする検査方法。
32. 請求項２９または請求項３１に記載の検査方法において、
    前記第１２ステップは、複数の前記食材の間の相対的な配置関係が妥当でないことを示す第２ラベルが付与された対象画像のデータ拡張を行って、前記第２ラベルを付与した前記第２学習用画像を生成する
    ことを特徴とする検査方法。
33. 請求項２９から３２のいずれか１項に記載の検査方法において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、
    前記第１２ステップは、前記対象画像における複数の前記食材の間の相対的な配置関係を維持しつつ、前記第１３ステップで抽出された前記領域を加工後再配置して前記第２学習用画像を生成する
    ことを特徴とする検査方法。
34. 請求項２９から３２のいずれか１項に記載の検査方法において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、
    前記第１２ステップは、前記第１３ステップで抽出された前記領域のうち、２つ以上の互いに異なる種類の前記食材に対応する領域の位置を互いに置き換えて前記第２学習用画像を生成する
    ことを特徴とする検査方法。
35. 請求項２９から３２のいずれか１項に記載の検査方法において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、
    前記第１２ステップは、前記第１３ステップで抽出された前記領域のうちの１つ以上を前記対象画像から削除して前記第２学習用画像を生成する
    ことを特徴とする検査方法。
36. 請求項２９から３２のいずれか１項に記載の検査方法において、
    さらに、前記食材の種類ごとの前記領域を、前記対象画像から抽出する第１３ステップを備え、
    前記第１２ステップは、前記第１３ステップで抽出された前記領域の各々の反転、回転、膨張、および収縮のうちの少なくともいずれかを行って前記対象画像のデータ拡張を行う
    ことを特徴とする検査方法。
37. 請求項２３から３６のずれか１項に記載の検査方法において、
    さらに、少なくとも前記第４ステップでの検査結果を提示する第１４ステップを備え、
    前記第１４ステップは、前記画像、前記第１推定結果、前記第３ステップでの判断結果、および前記第４ステップでの検査結果を含む情報のうちの少なくともいずれかを提示する
    ことを特徴とする検査方法。
    

Images