JP2021099809A - 画像分類装置、画像分類方法及び画像分類モデルの生成方法 - Google Patents

Abstract

【課題】有害生物などの画像の分類を機械学習によって精度良く実現する。【解決手段】複数のカテゴリにおいて判定対象の画像を分類する画像分類装置であって、カテゴリ毎の画像データに基づく機械学習によってそれぞれ構成される複数の分類器（５４ｂ）と、判定対象の画像を示す画像データを各分類器に入力して得られる情報に基づいて、複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するスコア算出部（５４ｃ）とを備える。複数の分類器は、複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下の個数を有し、各分類器は、互いに別々の組み合わせにおいて複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出する。スコア算出部は、判定対象の画像に関して各分類器により算出された複数の所属確率に基づいて、判定スコアを算出する。【選択図】図６

Description

本発明は、機械学習を用いて複数のカテゴリにおいて判定対象の画像を分類する画像分類装置、方法及び画像分類モデルの生成方法に関し、特に、病害を有する植物及び害虫といった有害生物の画像を分類する技術に関する。

特許文献１は、植物病の画像を複数の局所領域に分割し、診断対象として決定した一部の局所領域を、植物病の識別に最適化された深層学習器により分類する植物病診断システム等を提供している。このように画像特徴データをコンピュータによって自動的に抽出することで、画像から植物病の画像特徴データを人的に抽出する手間を省き、植物病の診断を容易化することを実現している。

特許第６５３９９０１号公報

SANDLER, Mark, et al. Mobilenetv2: Inverted residuals and linear bottlenecks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. p. 4510-4520.

特許文献１のシステムは、１つの深層学習器によって複数の植物病の診断を行うことを前提としており、実際の圃場で撮影される植物の画像にこのシステムを適用したとしても、機械学習で植物病の診断を精度良く行うことは実現し難いことに本発明者は着目した。本発明者は、従来技術では、病害を有する植物といった有害生物などの画像を機械学習では精度よく分類し難いという問題を解決するべく鋭意研究を重ねた。

本発明の目的は、有害生物などの画像の分類が、例えば機械学習によって精度良く実現できる画像分類装置、画像分類方法及び画像分類モデルとその生成方法を提供することにある。

本発明の一態様に係る画像分類装置は、複数のカテゴリにおいて判定対象の画像を分類する画像分類装置であって、複数の分類器と、スコア算出部とを備える。複数の分類器は、カテゴリ毎の画像データに基づく機械学習によってそれぞれ構成される。スコア算出部は、判定対象の画像を示す画像データを各分類器に入力して得られる情報に基づいて、複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出する。複数の分類器は、複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下の個数を有し、各分類器は、互いに別々の組み合わせにおいて複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出する。複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数は、カテゴリの数がｎである場合に、_ｎＣ_２で表される数を意味する。スコア算出部は、判定対象の画像に関して各分類器により算出された複数の所属確率に基づいて、判定スコアを算出する。

本発明の一態様に係る画像分類方法は、複数のカテゴリにおいて判定対象の画像を分類する画像分類方法であって、カテゴリ毎の画像データに基づく機械学習によってそれぞれ構成される複数の分類器に、判定対象の画像を示す画像データを入力するステップと、当該画像データを各分類器に入力して得られる情報に基づいて、複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するステップとを含む。複数の分類器の個数は、複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下であり、各分類器は、互いに別々の組み合わせにおいて複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出する。判定スコアを算出するステップは、判定対象の画像に関して各分類器により算出された複数の所属確率に基づいて行われる。

本発明の一態様に係る画像分類モデルの生成方法は、複数のカテゴリにおいて判定対象の画像を分類する画像分類モデルの生成方法であって、カテゴリ毎の画像データに基づいて複数の分類器の機械学習を行うステップと、学習済みの複数の分類器とスコア算出部とを含めて画像分類モデルを生成するステップとを含む。スコア算出部は、判定対象の画像を示す画像データを各分類器に入力して得られる情報に基づいて、複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するように構成される。複数の分類器の個数は、複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下である。機械学習を行うステップは、各分類器が、互いに別々の組み合わせにおいて複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出するように、各分類器の機械学習を行う。

本発明の一態様に係る画像分類モデルは、判定対象の画像を分類する画像分類モデルであって、判定対象の画像を示す画像データを入力する入力部と、入力された画像データについて、複数のカテゴリのカテゴリ毎の判定スコアを算出するスコア算出部と、カテゴリ及び対応する少なくとも一部の判定スコアを出力する出力部とを備える。スコア算出部は、複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率に基づいて、判定スコアを算出する。

本発明によれば、有害生物などの画像の分類において、例えば機械学習によって構成される複数の分類器に画像データを入力して、得られる複数の所属確率に基づき、画像を分類した判定結果を示す判定スコアを算出することにより、画像の分類が精度良く実現できる。

本実施形態に係る画像診断システム１００の構成を示す図 画像診断システム１００が診断する病害の植物の画像を例示する図 サーバ装置５０の構成を例示する図 携帯端末４０の構成を例示する図 サーバ装置５０の動作を例示するフローチャート 画像診断モデル５４のモデル構造を例示する図 画像診断モデル５４におけるスコア算出部５４ｃの動作を説明するための図 画像診断モデル５４を機械学習によって生成する方法を説明するためのフローチャート 分類器群５４ｂの各２群分類器を学習させる動作を説明するための図 分類器群５４ｂのうちの１つの２群分類器６１を例示する図 実施の形態２における画像診断モデル５４Ｃのモデル構造を例示する図 実施の形態３における画像診断モデル５４Ｒのモデル構造を例示する図 実施の形態３における２群分類器７１の動作を例示する図 実施の形態３におけるスコア算出部５４Ｒｃの動作を説明するための図 実施の形態１に係る画像診断モデルの性能評価を行った結果を示す図 実施の形態２及び３に係る画像診断モデルの性能評価を行った結果を示す図 実施の形態２に係る画像診断モデルの性能評価を行った結果を示す図

以下、添付の図面を参照して実施の形態に係る画像分類装置、画像分類方法、及び画像分類モデルの生成方法を説明する。以下の説明では、同様の構成要素には同一の符号を付している。それらの重複する説明については適宜、省略する。各実施の形態において、分類の一例としては、診断が挙げられる。本明細書において、「画像診断システム」、「画像診断モデル」、「診断情報」、「診断結果」、及び「診断カテゴリ」等は、それぞれ「画像分類システム」、「画像分類モデル」、「分類情報」、「分類結果」、及び「分類カテゴリ」等に置き換えることができる。

（実施の形態１）
実施の形態１では、本発明の画像分類装置を用いる一例として、病害を有する植物の画像から、画像分類技術を用いて病害の種類を判定する画像診断システムについて説明する。

〔１．構成〕
実施の形態１に係る画像診断システムの構成について、図１〜４を用いて説明する。

〔１−１．システム構成〕
図１は、本実施形態に係る画像診断システム１００の構成を示す図である。画像診断システム１００は、例えば、１つ又は複数の携帯端末４０と、機械学習により構築された画像診断モデル５４を備えるサーバ装置５０とを含む。本システム１００のユーザ３０は、例えば携帯端末４０により、病害を有する植物の画像を撮影すると、画像データ２０をネットワーク２００を介してサーバ装置５０に送信する。ユーザ３０は、サーバ装置５０の画像診断モデル５４による画像診断の結果として診断情報を、携帯端末４０等により確認することができる

図２は、画像診断システム１００に診断させる病害のカテゴリ毎の画像データを例示する。画像診断モデル５４の機械学習は、図２に例示するような画像データを予め用意して行われる。図２に例示する画像データは、ベト病、うどんこ病、さび病、及び黒星病という４種類の病害にかかったバラの葉を撮影した画像を示す。以下では、本実施形態の画像診断システム１００において、４種類の病害の種類を診断させる例を説明する便宜上、診断カテゴリをカテゴリＡ，Ｂ，Ｃ及びＤとして表記する。なお、診断カテゴリの病害の種類及び個数、並びに植物の種類は、特に図２の例に限定されるものではない。

本システム１００において画像診断モデル５４が診断の対象とする病害の植物の画像では、例えば顔の画像といった一般的な画像に比べ、画像の分類に効果的な特徴量を抽出する難度が高い。例えば、一般的な顔の画像であれば、目や口等の部位を特徴として捉えやすい。これに対して、病害の植物の画像は、病害の進行度合いによって、同じ病害であっても画像の特徴が異なる場合があり、一方で、異なる病害でも画像の特徴が類似する場合もある

さらには、本システム１００を運用するにあたり、ユーザ３０が画像を撮影する条件が様々であることから、画像の特徴が変動することが想定される。その上、機械学習に利用するために収集される画像の量が、制限されることも想定される。本システム１００は、そのような多様性と類似性を有する画像の分類に関して機械学習に利用可能な画像の量が制限されていたとしても、効率良く機械学習を行えて、画像の分類を精度良く行うことができる画像診断モデル５４（或いは画像分類装置）を提供する。

以下、本システム１００における画像分類装置の一例であるサーバ装置５０と携帯端末４０の構成例について説明する。

〔１−２．サーバ〕
図３は、サーバ装置５０の構成を例示する図である。サーバ装置５０は、例えばコンピュータのような情報処理装置で構成される。サーバ装置５０は、演算の処理を行う演算処理部５１と、データ及び／またはプログラムを記憶するＲＡＭ５６及びデータ格納部５７と、ネットワーク２００に接続するためのネットワークインタフェース５９とを備える。ネットワークインタフェース５９は、例えばＩＥＥＥ８０２．１１の規格に準拠して、または４Ｇ，５Ｇ等のシステムによって、データ通信を行う通信モジュールである。

演算処理部５１は、例えばＣＰＵまたはＭＰＵで構成される。演算処理部５１は、データ格納部５７に格納された画像診断モデル５４を実行することで、サーバ装置５０が本実施形態の画像分類装置としての機能を実現する。演算処理部５１はさらに、データ格納部５７に格納された所定の制御プログラム５５を実行することで、所定の機能を実現する。演算処理部５１により実行される画像診断モデル５４及び制御プログラム５５は、ネットワーク２００を介して提供されてもよい。

ＲＡＭ５６は、プログラム及びデータを一時的に格納する記憶素子であり、演算処理部５１の作業領域として機能する。データ格納部５７は、画像診断システム１００の機能を実現するために必要なパラメータ、データ及びプログラムを記憶する記録媒体であり、演算処理部５１で実行される画像診断モデル５４、制御プログラム５５及び各種のデータを格納している。画像診断モデル５４の詳細は後述する。

データ格納部５７は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）で構成される。データ格納部５７には、種々の機能を実現するための制御プログラム５５が予め格納されている。演算処理部５１は、制御プログラム５５を実行することで、例えば後述する画像診断モデル５４の学習といった種々の機能を実現する。データ格納部５７は、また、画像診断に関するデータベース５８を格納する。

データベース５８は、画像診断モデル５４の訓練データ、評価データ及びパラメータを管理する。訓練データ及び評価データは、画像診断モデル５４が診断する画像のカテゴリと、カテゴリに対応付けられた画像データとを含む。パラメータは、画像診断モデル５４が有する分類器群において学習されるパラメータを含む。

〔１−３．携帯端末〕
携帯端末４０は、ネットワーク２００を介してサーバ装置５０と通信可能である。携帯端末４０は、例えばスマートフォンであるが、カメラ付きの携帯電話、デジタルカメラ、又はスキャナ等であってもよい。

図４は、携帯端末４０の構成を例示する図である。携帯端末４０は、携帯端末４０の動作を制御するコントローラ４１と、画像を撮影するカメラ４２（撮像部）と、画像及び診断情報等を表示する表示部４３と、ユーザが操作を行う操作部４５と、プログラム及び／またはデータ等を格納するＲＡＭ４６及びデータ格納部４７と、ネットワークに接続するための通信インタフェース４９とを備える。

カメラ４２は、ＣＣＤまたはＣＭＯＳイメージセンサ等の画像センサを備え、被写体を撮像して画像データを生成する。

表示部４３は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成される。操作部４５は、例えば表示部４３の上面に重ねて配置され、ユーザによるタッチ操作を受け付けるタッチパネルを含む。操作部４５はさらに、操作ボタンを含んでよい。操作ボタンは、携帯端末４０の本体に物理的に設けられたボタン、及び表示部４３とタッチパネルにより実現される仮想的なボタンを含む。

通信インタフェース４９は、ネットワークと接続するための通信モジュールであり、例えば４Ｇ，５Ｇ等の技術によって、またはＩＥＥＥ８０２．１１の規格に従って、通信を行う。

ＲＡＭ４６は、プログラム及びデータを一時的に格納する記憶素子であり、コントローラ４１の作業領域として機能する。データ格納部４７は、プログラム及び種々のデータを格納する記録媒体であり、例えばハードディスクドライブ、半導体メモリまたは着脱可能なメモリカード等の記録媒体で構成される。データ格納部４７には、コントローラ４１により実行されるアプリケーションプログラム４８、ＯＳ及び各種データが格納される。

コントローラ４１は、例えばＣＰＵまたはＭＰＵにより構成され、データ格納部４７に格納されたアプリケーションプログラム４８を実行することで、画像データの送信、及び診断情報の受信と表示といった所定の機能を実現する。アプリケーションプログラム４８は、ネットワーク２００を介して提供されてもよい。

〔２．動作〕
以上のように構成された画像診断システム１００の動作を以下に説明する。

画像診断システム１００の全体動作を、図１及び図５を用いて説明する。図５は、画像診断システム１００におけるサーバ装置５０の動作を例示するフローチャートである。

画像診断システム１００において、図１に示すように、携帯端末４０は、診断の対象とする画像データ２０をユーザ３０の操作により取得して、インターネット等のネットワーク２００を介してサーバ装置５０に送信する。サーバ装置５０は、ネットワークインタフェース５９を介して画像データ２０を受信すると（Ｓ１）、画像診断モデル５４としての処理を実行して（Ｓ２）、画像データ２０の画像が分類される病害の種類を判定する。次に、サーバ装置５０は、病害の種類を含む診断情報を、ネットワークインタフェース５９からネットワーク２００を介して携帯端末４０に送信する（Ｓ３）。これにより、携帯端末４０は、受信した診断情報を表示することができる。

〔２−１．画像診断モデル〕
以下では、図５のステップＳ２において、サーバ装置５０が画像分類装置として、画像データ２０から植物の病害の種類（すなわち、画像データ２０の診断結果のカテゴリ）を判定する画像診断モデル５４の動作を説明する。

図６は、画像診断モデル５４のモデル構造を例示する図である。図６は、４つのカテゴリＡ，Ｂ，ＣおよびＤから１つのカテゴリを判定する例を示す。

本実施形態の画像診断モデル５４は、判定対象の画像データを入力する入力部５４ａと、複数の２群分類器６１〜６６を含む分類器群５４ｂと、分類器群５４ｂの出力に基づくスコアを算出するスコア算出部５４ｃと、スコアに基づいて診断情報を出力する出力部５４ｄとを含む。また、画像診断モデル５４は、減算部５４ｓを含んでもよい。

サーバ装置５０が受信した画像データは、入力部５４ａを介して、分類器群５４ｂの全ての２群分類器６１〜６６に入力される（以下「入力画像」という）。入力部５４ａは、後段の分類器群５４ｂにおける２群分類器６１〜６６の構成に応じて、入力画像のサイズを変更する処理等を画像データに適用してもよい。

本実施形態において、分類器群５４ｂは、分類するカテゴリＡ〜Ｄの個数が４つであることから、６個の２群分類器６１〜６６を含む。即ち、画像診断モデル５４における２群分類器の個数は、判定対象のカテゴリの組み合わせの数に対応する。図６の例において、各々の２群分類器６１〜６６は、判定対象の４つのカテゴリＡ〜Ｄから２つのカテゴリを選ぶ組み合わせに対応したそれぞれ異なる２つのカテゴリにおいて、画像データを分類するように設定される。すなわち、２群分類器６１はカテゴリＡとＢ、２群分類器６２はカテゴリＡとＣ、２群分類器６３はカテゴリＡとＤ、２群分類器６４はカテゴリＢとＣ、２群分類器６５はカテゴリＢとＤ、２群分類器６６はカテゴリＣとＤにおいて、いずれかのカテゴリに画像データを分類する。

２群分類器６１〜６６は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた機械学習による学習済みモデルである。２群分類器６１〜６６の機械学習については後述する。

２群分類器６１〜６６は、画像データの判定処理において、各々が分類する２つのカテゴリへの所属確率を算出する。所属確率は、２つのカテゴリ間の比較において、一方のカテゴリに属する可能性の程度を示す０以上１以下等の連続値である。例えば、２群分類器６１は、入力画像がカテゴリＡに属する所属確率Ｐ１Ａを算出する。この際、例えば画像診断モデル５４の減算部５４ｓは、上記の所属確率Ｐ１Ａと相補的に入力画像がカテゴリＢに属する所属確率Ｐ１Ｂ（＝１−Ｐ１Ａ）を算出する。

２群分類器６２は、カテゴリＡ，Ｂの代わりにカテゴリＡ，Ｃに関して、２群分類器６１と同様に、入力画像がカテゴリＡに属する所属確率Ｐ２Ａを算出する。この際の減算部５４ｓによる相補的な所属確率Ｐ２Ｃは、カテゴリＡとの比較においてカテゴリＣに属する確率を示す。このように、６個の２群分類器６１〜６６によると、画像データの判定処理において、各々が分類する２つのカテゴリへの所属確率Ｐ１Ａ〜Ｐ６Ｄが算出される。即ち、画像診断モデル５４の分類器群５４ｂによると、例えば４つのカテゴリＡ，Ｂ，Ｃ，Ｄの中から、所属の程度を確認する一のカテゴリと、比較基準としての他のカテゴリとを１つずつ選ぶ場合の数である１２通りと同数の所属確率Ｐ１Ａ，Ｐ１Ｂ，Ｐ２Ａ，Ｐ２Ｃ，Ｐ３Ａ，Ｐ３Ｄ，Ｐ４Ｂ，Ｐ４Ｃ，Ｐ５Ｂ，Ｐ５Ｄ，Ｐ６Ｃ，Ｐ６Ｄが得られる。

スコア算出部５４ｃは、入力画像について分類器群５４ｂによって得られた１２個の所属確率Ｐ１Ａ〜Ｐ６Ｄに基づき、判定対象のカテゴリＡ，Ｂ，Ｃ，Ｄごとの４つのスコアＳＡ，ＳＢ，ＳＣ，ＳＤを算出する。各スコアＳＡ〜ＳＤは、入力画像が各々のカテゴリＡ〜Ｄに分類されると判定されたかどうかの程度を示し、本実施形態における判定スコアの一例である。スコア算出部５４ｃの詳細については後述する。

出力部５４ｄは、スコアＳＡ〜ＳＤに基づき、画像データの診断結果のカテゴリを含む診断情報を出力する。出力部５４ｄは、例えばスコアＳＡ〜ＳＤを比較して、最大のスコアに対応するカテゴリを診断結果のカテゴリとして出力する。出力部５４ｄによって出力される各種の診断情報は、本実施形態における判定情報の一例である。なお、出力部５４ｄは、診断結果のカテゴリに限らず、例えばカテゴリＡ〜ＤをスコアＳＡ〜ＳＤの降順に並び替えて、カテゴリ及び対応するスコアの全て又は一部を出力してもよい。

以上のように画像診断モデル５４は、画像データが入力されると、複数の２群分類器６１〜６６により、２つのカテゴリ間の比較における所属確率Ｐ１Ａ〜Ｐ６Ｄを算出する。画像診断モデル５４は、所属確率Ｐ１Ａ〜Ｐ６Ｄに基づき、判定対象のカテゴリＡ〜ＤごとにスコアＳＡ〜ＳＤを算出して、診断結果のカテゴリを判定する。

この際、個々の２群分類器６１〜６６は対応する２つのカテゴリの組み合わせにおける分類さえできればよい。よって、病害が発生した植物の画像のような多様性と類似性を有する画像データを訓練データとして少量のみ利用可能な場合においても、単一の多群分類器を構築するより効率よく各分類器６１〜６６を学習させて画像のカテゴリ判定を実現することができる。加えて、２群分類器６１〜６６の性能が、単体では比較的高くない場合においても、２群分類器６１〜６６に基づく連続値の所属確率Ｐ１Ａ〜Ｐ６Ｄをスコア算出部５４ｃにより統合して用いることで、精度よく画像のカテゴリを判定することができる。

なお、画像診断モデル５４は減算部５４ｓを含まなくてもよく、減算部５４ｓの機能は分類器群５４ｂ又はスコア算出部５４ｃにおいて一体的に実現されてもよい。分類器群５４ｂの２群分類器６１〜６６は、それぞれ対応する２つのカテゴリへの所属確率を同時に算出してもよい。例えば、２群分類器６１は、所属確率Ｐ１ＡとＰ１Ｂを同時に算出してもよい。また、画像診断モデル５４において入力部５４ａと出力部５４ｄも適宜、省略されてもよい。

また、２群分類器６１〜６６は、後述する学習時においては、算出した所属確率を用いてカテゴリの判定を行う。例えば２群分類器６１は、所属確率Ｐ１ＡとＰ１Ｂに基づいて予測したカテゴリＡまたはＢの予測値を用いて学習される。

〔２−２．スコア算出〕
図７は、本実施形態の画像診断モデル５４におけるスコア算出部５４ｃの動作を説明するための図である。以下、図６の例においてスコアを算出する処理を説明する。

図６の例において、スコア算出部５４ｃは、複数の２群分類器６１〜６６による所属確率Ｐ１Ａ〜Ｐ６Ｄを統合して、カテゴリＡ〜Ｄに対応するスコアＳＡ〜ＳＤを算出する。図７は、図６の例においてスコアを算出する処理に用いる、４つのカテゴリＡ〜Ｄの分類における所属確率のテーブルＴ５４ｃを示す。テーブルＴ５４ｃにおいて、各行はスコアを算出する対象（以下「スコア算出対象」という）のカテゴリに対応し、Ａ〜Ｄ列は比較対象のカテゴリに対応する。例えばテーブルＴ５４ｃのＡ行Ｂ列は、カテゴリＡ，Ｂ間の比較においてＡに所属する所属確率Ｐ１Ａを示し、Ｂ行Ａ列は、カテゴリＡ，Ｂ間の比較においてＢに所属する所属確率Ｐ１Ｂを示す。

本実施形態のスコア算出部５４ｃは、各カテゴリのスコアとして、他のカテゴリ全てと比較した所属確率の総和を算出する。例えば、カテゴリＡのスコアＳＡは、ＳＡ＝Ｐ１Ａ＋Ｐ２Ａ＋Ｐ３Ａとして算出される。すなわち、スコアＳＡは、スコア算出対象のカテゴリＡと他のカテゴリＢ〜Ｄの各カテゴリとの比較において、カテゴリＡに所属する確率Ｐ１Ａ，Ｐ２Ａ及びＰ３Ａの全てを用いて算出される。

以上のようにスコア算出部５４ｃは、２群分類器６１〜６６の各々が分類する２つのカテゴリ間の比較において算出された所属確率Ｐ１Ａ〜Ｐ６Ｄから、スコア算出対象のカテゴリに属する所属確率を合計して、スコア算出対象のカテゴリのスコアを算出する。このように、スコア算出部５４ｃが各カテゴリのスコアを連続値で算出することで、出力部５４ｄは、例えばスコアの大小により入力画像データの診断結果のカテゴリを判定することができる。

これにより、例えば２群分類器６１〜６６がそれぞれ判定した離散値のカテゴリを用いて、出力部５４ｄが多数決により入力画像データの診断結果のカテゴリを判定する手法と比べ、画像診断モデル５４は、精度よく診断結果のカテゴリを判定可能である。具体的には、図７の例において多数決の手法が行われたとすると、実際はカテゴリＢと判定すべきであるにも拘わらず、５１％も９０％も同じ１票として扱われることにより、カテゴリＡが最多の３票を有することとなる。これに対して、本実施形態の画像診断モデル５４によると、各々の所属確率Ｐ１Ａ〜Ｐ６Ａの大小が考慮されることで、カテゴリＢのスコアＳＢ（＝２２９）が、カテゴリＡのスコアＳＡ（＝１９１）を超えて最大と判定できる。

上記のように、本実施形態のスコアによる診断結果のカテゴリの判定は、２群分類器６１〜６６の判定の誤り等が出力部５４ｄによる最終的な判定に与える影響を軽減することができる。さらに２群分類器の数が偶数の場合であっても、多数決における診断結果のカテゴリが判定不能になる事態を回避し易くすることができる。

なお、スコア算出部５４ｃは、図７の例において、スコア算出対象のカテゴリに所属する所属確率を同等の重みで合計してスコアを算出するが、これに限らない。例えばスコア算出部５４ｃは、スコア算出対象のカテゴリに所属する所属確率を異なる重みで加算してスコアを算出してもよい。重みは、例えば、所属確率から精度よく入力画像データの所属カテゴリを判定するように機械学習モデルを構築して、獲得されてもよい。

〔２−３．画像診断モデルの生成方法〕
以上のような画像診断モデル５４を、機械学習によって構築すなわち生成する方法について、図８を用いて説明する。

以下では、サーバ装置５０の演算処理部５１によって画像診断モデル５４の生成方法が実行される例を説明する。

サーバ装置５０において、演算処理部５１は、データベース５８から機械学習に用いる訓練データセットＤ６０を取得する（Ｓ１１）。演算処理部５１は、取得した訓練データセットＤ６０から、２群分類器６１〜６６毎に別々の組み合わせにおいて分類するカテゴリに対応して訓練データＤ６１〜Ｄ６６を抽出すると（Ｓ１２）、２群毎の訓練データＤ６１〜Ｄ６６を用いて、２群分類器６１〜６６の各々の機械学習を行う（Ｓ１３）。

次に、演算処理部５１は、２群分類器６１〜６６の学習結果に基づいて、画像診断モデル５４を生成する（Ｓ１４）。具体的に、演算処理部５１は、学習済みの２群分類器６１〜６６によって構成される分類器群５４ｂと、スコア算出部５４ｃとを含めて、画像診断モデル５４としてデータ格納部５７等に格納する。なお、本方法は、特にサーバ装置５０の演算処理部５１に限らず、別のハードウェア資源においても適宜、実行可能である。

以下では、図８のステップＳ１１〜Ｓ１３において分類器群５４ｂの２群分類器６１〜６６を学習させる動作について、図９を用いて説明する。

〔２−３−１．分類器群の学習〕
図９は、分類器群５４ｂの各２群分類器を学習させる動作を、図６の例における２群分類器６１〜６６を例示して説明するための図である。

分類器群５４ｂは、図２に示す病害の種類に対応したカテゴリＡ〜Ｄと、各病害を示す複数の画像データとを対応付けて記憶された訓練データセットＤ６０を用いて、学習される。例えば、サーバ装置５０の演算処理部５１は、データ格納部５７に格納された制御プログラム５５を読み出して実行し、分類器群５４ｂの学習を行う。

訓練データセットＤ６０は、例えばカテゴリあたり５０枚程度を収集した画像の画像データに、画像を多様化して水増しするデータ拡張の処理を適用して、カテゴリあたり５００枚程度の画像データを有するように作成される。データ拡張の処理は、例えば画像の反転、切り抜き、スケール変換、回転、及び画像の一部を隠すマスクの適用といった画像処理のいずれか、またはそれらの組み合わせにより行うことができる。訓練データセットＤ６０は、例えば、データ格納部５７のデータベース５８に記憶される。

演算処理部５１は、分類器群５４ｂの各２群分類器に用いる訓練データを訓練データセットＤ６０から抽出する。例えば、カテゴリＡとＢを分類する２群分類器６１用に、カテゴリＡとＢに係る訓練データが訓練データＤ６１として抽出され、カテゴリＡとＣを分類する２群分類器６２用に、カテゴリＡとＣに係る訓練データが訓練データＤ６２として抽出される。

演算処理部５１は、訓練データＤ６１を用いて２群分類器６１の学習を行う。具体的には、演算処理部５１は、訓練データＤ６１の画像データを２群分類器６１に入力し、２群分類器６１が出力するカテゴリＡまたはＢの予測値と、訓練データＤ６１において画像データに対応する正解のカテゴリＡまたはＢとを照合する。演算処理部５１は、照合の結果に基づき、２群分類器６１が有するパラメータを調整する。

２群分類器６１の学習と同様に、演算処理部５１は、訓練データＤ６２の画像データを２群分類器６２に入力して、２群分類器６２によるカテゴリＡまたはＣの予測値と、訓練データＤ６２における正解のカテゴリＡまたはＣとを照合して、２群分類器６２のパラメータを調整する。演算処理部５１は、訓練データＤ６１及びＤ６２を用いた２群分類器６１及び６２の学習と同様に、２群分類器６３〜６６の学習を行う。

以上のように、分類器群５４ｂの２群分類器６１〜６６は、各々が分類する２つのカテゴリに対応して、訓練データセットＤ６０から抽出された訓練データを用いて学習される。これにより、サーバ装置５０は、対応する２つのカテゴリを分類することに特化した２群分類器の学習を行って、画像診断モデル５４の分類器群５４ｂにおける学習済みモデルとして利用することができる。

〔２−３−２．各２群分類器について〕
図１０は、分類器群５４ｂのうちの１つの２群分類器６１を例示する。図１０の例で、２群分類器６１は、ＣＮＮの構成を有し、複数の畳み込み層と、プーリング層と、全結合層を含む。２群分類器６１は、畳み込み層により、画像データの特徴量を抽出するようにフィルタを適用した特徴マップを生成し、プーリング層により、特徴マップの所定領域内において例えば平均値をとって特徴量を間引く処理を行う。全結合層は、畳み込み層及びプーリング層による出力値の重み付き和をとる処理を行う。

２群分類器６１は、例えば全結合層によりニューラルネットワークにおける１つのユニットに特徴量を集約すると、シグモイド関数を適用して画像データのカテゴリＡへの所属確率ＰＡ１を出力する。２群分類器６１によると、例えば確率が閾値以上の場合、画像データの診断カテゴリをカテゴリＡと判定し、それ以外の場合、診断カテゴリをカテゴリＢと判定することが可能である。

２群分類器６１の学習は、上述の制御プログラム５５により実行される。２群分類器６１は、学習において、訓練データＤ６１からカテゴリＡ及びＢに対応付けられた画像データを入力として、入力された画像データのカテゴリを予測し、予測値と正解のカテゴリとを比較して誤差を計算する。制御プログラム５５は、誤差が小さくなるように、２群分類器６１における畳み込み層のフィルタ及び全結合層の重み等のパラメータを調整する。パラメータの調整は、例えば所定の量の訓練データに関して累計した誤差を小さくするように、勾配降下法を用いてパラメータを更新することで行う。

２群分類器６１が、カテゴリＡ及びＢに関して抽出した訓練データＤ６１を用いて学習されることにより、カテゴリの判定において、２群分類器６１が算出する確率はカテゴリＡとＢとの比較におけるカテゴリＡへの所属確率ＰＡとみなすことができる。また、カテゴリＡとＢとの比較におけるカテゴリＢへの所属確率ＰＢは、例えば減算部５４ｓによりＰＢ＝１−ＰＡとして算出することができる。

２群分類器６１を構成するＣＮＮとして、例えばＭｏｂｉｌｅＮｅｔＶ２（非特許文献１）を適用することができる。なお、ＣＮＮは、これに限らず、例えばプーリング層を有しない構成であってもよい。また、２群分類器６１として、予め別の大規模な訓練データによって学習された多群分類器が、例えば全結合層により２つのユニットに特徴量を集約してソフトマックス関数を適用するように変更され、本実施形態における訓練データＤ６１を用いてカテゴリＡまたはＢを判定するようにファインチューニングされてもよい。この場合２群分類器６１は、例えばソフトマックス関数の適用により算出される確率を所属確率として用いることができる。また、２群分類器６１として、決定木、ＳＶＭ、またはロジスティック回帰モデル等が用いられてもよい。

２群分類器６２〜６６は、２群分類器６１と同等の構成を有し、訓練データセットＤ６０から、２群分類器６２〜６６毎に別々の組み合わせにおいて分類するカテゴリを抽出した訓練データを用いて、上記と同様に学習される。

〔３．効果等〕
以上のように、本実施形態の画像診断システム１００において、サーバ装置５０は、画像診断モデル５４により、複数のカテゴリの一例として４つのカテゴリＡ〜Ｄにおいて判定対象の画像を分類する画像分類装置として機能する。画像分類装置は、複数の分類器の一例として２群分類器６１〜６６を含む分類器群５４ｂと、スコア算出部５４ｃとを備える。分類器群５４ｂの２群分類器６１〜６６は、カテゴリＡ〜Ｄ毎の画像データに基づく機械学習によってそれぞれ構成される。スコア算出部５４ｃは、判定対象の画像を示す画像データを２群分類器６１〜６６の各々に入力して得られる情報に基づいて、４つのカテゴリＡ〜Ｄにおいて当該画像を分類した判定結果を示す判定スコアの一例としてスコアＳＡ〜ＳＤを算出する。分類器群５４ｂは、４つのカテゴリＡ〜Ｄの中から２つのカテゴリを選ぶ組み合わせの数の個数分の２群分類器６１〜６６を有し、２群分類器６１〜６６の各々は、互いに別々の組み合わせにおいて４つのカテゴリＡ〜Ｄの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率Ｐ１Ａ〜Ｐ６Ｄを算出する。スコア算出部５４ｃは、判定対象の画像に関して２群分類器６１〜６６の各々により算出された複数の所属確率Ｐ１Ａ〜Ｐ６Ｄに基づいて、スコアＳＡ〜ＳＤを算出する。

以上の画像分類装置によると、機械学習によって構成される２群分類器６１〜６６と、２群分類器６１〜６６に画像データを入力して得られる所属確率Ｐ１Ａ〜Ｐ６Ｄに基づいて、画像を分類した判定結果を示すスコアＳＡ〜ＳＤを算出するスコア算出部５４ｃとを用い、精度良く画像の分類を実現できる。

本実施形態において、２群分類器６１〜６６の個数は、例えば４つのカテゴリＡ〜Ｄの中から、２つのカテゴリを選ぶ組み合わせ分の６個である。２群分類器６１〜６６の各々は、２つのカテゴリの組み合わせ毎に、入力された画像データが当該組み合わせの内の一方のカテゴリに属する確率として所属確率Ｐ１Ａ〜Ｐ６Ｄを算出する。これにより、例えば単一の多群分類器によって画像データのカテゴリを判定する手法と比べて、画像診断モデル５４は、２群分類器６１〜６６の各々が判定するカテゴリを絞って効率良く機械学習を行い、精度良くカテゴリを判定することができる。

本実施形態において、スコア算出部５４ｃは、複数のカテゴリＡ〜Ｄにおける一つのカテゴリに関して、当該一つのカテゴリと複数のカテゴリＡ〜Ｄにおける他のカテゴリとの組み合わせの分の所属確率を合計して、スコアを算出する。これにより、画像診断モデル５４は、所属確率に基づくスコアを連続値として算出して、画像データのカテゴリの判定に用いることができ、判定精度を向上させることができる。

本実施形態において、サーバ装置５０は、携帯端末４０（外部の情報端末）から画像データ２０を判定対象として受信して（Ｓ１）、スコアを含む判定情報を携帯端末４０に送信する（Ｓ３）ネットワークインタフェース５９（通信部）を備える。これにより、本実施形態の画像診断システム１００を実現することができる。なお、画像診断モデル５４は、例えばネットワーク２００を介して携帯端末４０に提供され、データ格納部４７に格納されて、携帯端末４０のコントローラ４１によって実行されてもよい。

本実施形態において、判定対象の画像は、病害を有する植物が撮像された画像であり、複数のカテゴリＡ〜Ｄは、病害を区分するカテゴリである。病害の植物の画像は、人の顔等の一般的な画像と比べて、画像データの分類に効果的な特徴量を抽出する難度が高く、訓練データとして利用可能なサンプル数が少ないことが想定される。複数の２群分類器の組み合わせにより学習効率と判定精度の向上を図る画像診断モデル５４は、このような判定対象の画像に適して利用可能である。

本実施形態において、画像診断モデル５４の処理（Ｓ２）は、複数のカテゴリにおいて判定対象の画像を分類する画像分類方法を提供する。本方法は、カテゴリＡ〜Ｄ毎の画像データに基づく機械学習によってそれぞれ構成される複数の分類器の一例として２群分類器６１〜６６に、判定対象の画像を示す画像データを入力するステップと、スコア算出部５４ｃにより、画像データを２群分類器６１〜６６の各々に入力して得られる所属確率Ｐ１Ａ〜Ｐ６Ｄに基づいて、複数のカテゴリＡ〜Ｄにおいて当該画像を分類した判定結果を示すスコアＳＡ〜ＳＤを算出するステップとを含む。２群分類器６１〜６６の個数は、複数のカテゴリＡ〜Ｄの中から２つのカテゴリを選ぶ組み合わせの数であり、２群分類器６１〜６６の各々は、互いに別々の組み合わせにおいて複数のカテゴリＡ〜Ｄの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出する。スコアＳＡ〜ＳＤを算出するステップは、判定対象の画像に関して２群分類器６１〜６６の各々により算出された所属確率Ｐ１〜Ｐ６Ｄに基づいて行われる。

以上の画像分類方法によると、画像の分類が機械学習により精度よく実現できる。なお、本実施形態において、以上の画像分類方法を演算処理部５１に実行させるための命令群を含んだプログラムは、例えば制御プログラム５５として、或いは画像診断モデル５４を含んだプログラムとして提供される。

本実施形態において、画像診断モデル５４を機械学習によって生成する方法（Ｓ１１〜Ｓ１４）は、複数のカテゴリにおいて判定対象の画像を分類する画像分類モデルの生成方法である。本方法は、カテゴリＡ〜Ｄ毎の画像データに基づいて、複数の分類器の一例として２群分類器６１〜６６の機械学習を行うステップ（Ｓ１３）と、学習済みの２群分類器６１〜６６及びスコア算出部５４ｃとを含めて画像診断モデルを生成するステップ（Ｓ１４）とを含む。スコア算出部５４ｃは、判定対象の画像を示す画像データを２群分類器６１〜６６の各々に入力して得られる情報に基づいて、スコア算出部５４ｃにより、複数のカテゴリＳＡ〜ＳＤにおいて当該画像を分類した判定結果を示すスコアＳＡ〜ＳＤを算出するように構成される。２群分類器６１〜６６の個数は、複数のカテゴリＡ〜Ｄの中から２つのカテゴリを選ぶ組み合わせの数である。機械学習を行うステップ（Ｓ１３）は、２群分類器６１〜６６が、互いに別々の組み合わせにおいて複数のカテゴリＡ〜Ｄの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率Ｐ１〜Ｐ６Ｄを算出するように、２群分類器６１〜６６の機械学習を行う。

以上の画像分類モデルの生成方法によると、画像の分類が機械学習により精度よく実現できる画像分類モデル（画像診断モデル５４）を生成することができる。

（実施の形態２）

実施の形態２では、判定対象の画像の一例として害虫の画像を用いて、多数のカテゴリがある場合に分類器の個数を効率良く低減できる画像分類方法について説明する。

図１１は、実施の形態２における画像診断モデル５４Ｃのモデル構造を例示する図である。図１１は、１３個のカテゴリＡ〜Ｎから１つのカテゴリを判定する例を示す。

実施の形態１の画像診断モデル５４は、判定させる全カテゴリの組み合わせ分の個数の分類器を含む分類器群５４ｂを用いた。本実施形態の画像診断モデル５４Ｃは、カテゴリ間の共通性の観点から層別化を導入することにより、全カテゴリの組み合わせの数よりも少ない個数の分類器を用いる。

図１１の例の画像診断モデル５４Ｃは、入力された画像データをカテゴリ間の共通性に基づいて２つのグループに大別する層別化分類器５４Ｃｂを有し、大別された各グループ内において、分類器群５４ｂ１及び５４ｂ２により実施の形態１と同様にカテゴリを判定する。

図１１の例において、画像診断モデル５４Ｃは、害虫の画像データから害虫の種類を判定する。以下の説明において、害虫の画像データは、１３種類の害虫に対応して、成虫等を示す「イモムシ非類似」の９種類のカテゴリＡ〜Ｉと、幼虫を示す「イモムシ類似」の４種類のカテゴリＪ〜Ｎに大別できるものとする。

本実施形態の画像診断モデル５４Ｃは、入力部５４ａを介して入力された画像データを、層別化分類器５４Ｃｂにより、９種類のカテゴリＡ〜Ｉに対応するイモムシ非類似の第１グループと、４種類のカテゴリＪ〜Ｎに対応するイモムシ類似の第２グループに分類する。

層別化分類器５４Ｃｂは、例えば実施の形態１における２群分類器６１と同様に、ＣＮＮ等を用いた２群分類器で構成される。層別化分類器５４Ｃｂは、イモムシ非類似またはイモムシ類似といったカテゴリ間の共通性により、第１グループまたは第２グループの２つのグループに分割するラベル付けを行った訓練データを用いて、各グループが含むカテゴリの画像データをラベル付けしたグループに分類するように学習される。なお、層別化分類器５４Ｃｂは、判定対象の画像を２つのグループに分類可能であれば、任意の分類モデルであってもよい。

画像診断モデル５４Ｃは、画像データが層別化分類器５４Ｃｂにより分類された第１グループまたは第２グループのいずれか一方のグループ（以下「対象グループ」という）において、各カテゴリに所属する所属確率を実施の形態１における分類器群５４ｂと同様に算出する。すなわち、対象グループが第１グループの場合、分類器群５４ｂ１により第１グループの各カテゴリＡ〜Ｉへの所属確率を算出する。一方、対象グループが第２グループの場合、分類器群５４ｂ２により第２グループの各カテゴリＪ〜Ｎへの所属確率を算出する。なお、図１１において減算部５４ｓは図示を省略している。

分類器群５４ｂ１及び５４ｂ２は、それぞれ判定対象のカテゴリの組合せの数に対応する個数の２群分類器を含む。すなわち、分類器群５４ｂ１は、判定対象の９個のカテゴリＡ〜Ｉから２個のカテゴリを選ぶ組合せの数に対応して、３６個の２群分類器を含む。分類器群５４ｂ２は、判定対象の４個のカテゴリＪ〜Ｎから２個のカテゴリを選ぶ組合せの数に対応して、６個の２群分類器を含む。よって、本実施形態の画像診断モデル５４Ｃは、１３個のカテゴリＡ〜Ｎに対して４２個の２群分類器を含んでおり、１３個のカテゴリＡ〜Ｎ全体から２つのカテゴリを選ぶ組み合わせ分の個数７８個よりも格段に２群分類器の個数を減らすことができる。

画像診断モデル５４Ｃは、対象グループ内において、スコア算出部５４ｃ１または５４ｃ２により、実施の形態１と同様に所属確率から各々の判定対象のカテゴリＡ〜ＩまたはＪ〜Ｎごとにスコアを算出する。画像診断モデル５４Ｃは、出力部５４ｄにより、対象グループ内のカテゴリから実施の形態１と同様に判定したカテゴリを含む診断情報を出力する。

以上のように、本実施形態において、複数のカテゴリの一例として１３個のカテゴリＡ〜Ｎは、カテゴリＡ〜Ｉのグループ（第１のグループ）と、第１のグループとは異なるカテゴリＪ〜Ｎのグループ（第２のグループ）を含む２つのグループ（複数のグループ）に区分される。本実施形態において、サーバ装置５０の画像診断モデル５４Ｃは、判定対象の画像を示す画像データに基づいて、２つのグループにおいて当該画像を分類して、複数の２群分類器を含む分類器群５４ｂ１及び５４ｂ２の中から画像データを入力する分類器を判定する層別化分類器５４Ｃｂを備える。

本実施形態において、画像診断システム１００の診断対象である害虫の画像は、生物の画像における多様性を有し、画像診断モデルの学習に利用可能な画像データのサンプル数が少ない場合がある。したがって、複数の２群分類器を用いる画像診断モデルは、害虫の画像を診断対象とする場合にも適用可能である。一方で、２群分類器の数は判定対象のカテゴリ数の組合せの数に対応するため、判定対象のカテゴリ数が多いとカテゴリ数の２乗のオーダーで増加する。これにより画像診断モデルの実行環境によっては、その学習及び判定処理に時間を要することがある。

本実施形態の画像診断モデル５４Ｃは、層別化分類器５４Ｃｂを用いることで、各分類器群５４ｂ１または５４ｂ２が含む２群分類器の数を抑制して、分類器群の学習及び画像診断モデル５４Ｃによるカテゴリの判定における実行時間を改善することができる。

なお、分類器群５４ｂ１及び５４ｂ２の学習は、各々に対応する訓練データを抽出して用いることで、実施の形態１における分類器群５４ｂの学習と同様に行うことができる。

また、層別化分類器５４Ｃｂは、入力された画像データを、２つのグループに限らず、３つ以上のグループに大別してもよい。この際、層別化分類器５４Ｃｂは、複数の２群分類器により構成されてもよく、３群以上の分類を行う多群分類器により構成されてもよい。

また、実施の形態１における画像診断モデル５４Ｃに、本実施形態の層別化を適用してもよい。これにより、例えば実施の形態１におけるカテゴリＡ〜Ｄに加えて、病害を有しない正常な植物の画像が属するカテゴリをカテゴリＥとして、病害の種類に対応するカテゴリＡ〜Ｄの画像を分類する画像診断モデルを実現できる。画像データは、層別化によりカテゴリＡ〜Ｄを含む第１のグループと、カテゴリＥを含む第２のグループに大別される。この場合、分類器群５４ｂの２群分類器の個数は、５個のカテゴリＡ〜Ｅにおける少なくとも第１のグループの中から、２つのカテゴリを選ぶ組み合わせの数の６個である。分類器群５４ｂの各２群分類器は、カテゴリＡ〜Ｄを含む第１のグループにおける２つのカテゴリの組み合わせ毎に、入力された画像データが当該組み合わせの内の一方のカテゴリに属する確率として所属確率Ｐ１Ａ〜Ｐ６Ｄを算出する。

（実施の形態３）
実施の形態３では、分類器の個数を減らす別例を説明する。以下、図１２〜１４を用いて、実施の形態３における画像診断モデル５４Ｒの構造及び動作を説明する。

図１２は、画像診断モデル５４Ｒのモデル構造を例示する図である。図１２は、４個のカテゴリＡ〜Ｄから１つのカテゴリを判定する例を示す。

実施の形態１の画像診断モデル５４及び実施の形態２の画像診断モデル５４Ｃは、判定対象のカテゴリから２個のカテゴリを選択する組合せの数に対応した個数の２群分類器を含む構造であった。これに対して本実施形態の画像診断モデル５４Ｒは、判定対象のカテゴリ数に対応した個数の２群分類器を含み、各２群分類器は、１つのカテゴリと他の全てのカテゴリとを判定する。

図１２において、画像診断モデル５４Ｒは分類器群５４Ｒｂを含み、分類器群５４Ｒｂは、判定対象の４つのカテゴリＡ〜Ｄの数に対応した４個の２群分類器７１〜７４を含む。

図１３は、２群分類器７１の動作を例示する図である。２群分類器７１は、入力された画像データが、カテゴリＡと、カテゴリＡ以外（即ちＢ，ＣまたはＤ）とのいずれであるかを予測するように学習される。図１３は、２群分類器７１により画像データの特徴空間においてカテゴリＡとカテゴリＢ〜Ｄとを判定する判定境界３００を例示する。このように、２群分類器７１は、１つのカテゴリＡと他のカテゴリＢ〜Ｄとを区別するが、カテゴリＢ〜Ｄの各カテゴリは区別しない「１対他」の判定を行う。図１２及び図１４においては、２群分類器７１が判定する２群を「Ａ ｏｒ ＮＯＴ」と表記する。

図１２に戻り、例えば２群分類器７１は、判定対象のカテゴリＡ〜Ｄから、カテゴリＡとカテゴリＢ，ＣまたはＤとの比較において、入力された画像データがカテゴリＡに所属する所属確率ＰＡを算出する。画像診断モデル５４Ｒは、例えば減算部５４ｓにより、画像データがカテゴリＢ，ＣまたはＤに所属する（すなわちカテゴリＡ以外に所属する）所属確率ＰｎＡ＝１−ＰＡを算出する。

本実施形態の画像診断モデル５４Ｒは、実施の形態１及び２のスコア算出部５４ｃとは異なるスコア算出部５４Ｒｃを含む。スコア算出部５４Ｒｃは、画像データがカテゴリＡ，Ｂ，Ｃ及びＤの各々に所属する所属確率ＰＡ，ＰＢ，ＰＣ及びＰＤと、カテゴリＡ，Ｂ，Ｃ及びＤの各々以外に所属する所属確率ＰｎＡ，ＰｎＢ，ＰｎＣ及びＰｎＤから、カテゴリＡ，Ｂ，Ｃ及びＤのスコアＺＡ，ＺＢ，ＺＣ及びＺＤを算出する。

図１４は、本実施形態のスコア算出部５４Ｒｃの動作を説明するための図である。図１４は、テーブルＴ５４Ｒｃを用いて、図１２の例における所属確率ＰＡ〜ＰＤ及びＰｎＡ〜ＰｎＡに基づいてスコアを算出する処理を示す。テーブルＴ５４Ｒｃの各行は、スコア算出対象のカテゴリを表し、列Ａ〜Ｄは、２群分類器７１〜７４が判定する２群を表す。

図１４のテーブルＴ５４Ｒｃにおいて、例えばＡ行Ａ列は、スコア算出対象のカテゴリＡと他のカテゴリとを判定する２群分類器７１が算出した画像データのカテゴリＡへの所属確率ＰＡを示す。Ｂ行Ａ列は、２群分類器７１によるカテゴリＡへの所属確率ＰＡとは相補的な所属確率ＰｎＡのカテゴリＢへの寄与率を示す。図１４において、所属確率ＰｎＡのカテゴリＢへの寄与率は、カテゴリＡ以外に所属する所属確率ＰｎＡ＝１−ＰＡを、スコア算出対象以外のカテゴリＢ〜Ｄの数に基づき３等分したＰｎＡ／３として算出される。

スコア算出部５４Ｒｃは、Ａ行Ａ列及びＢ行Ａ列の例と同様に、２群分類器７１〜７４が算出する所属確率ＰＡ〜ＰＤを用いてテーブルＴ５４Ｒｃを生成する。スコア算出部５４Ｒｃは、テーブルＴ５４Ｒｃに基づき、判定対象のカテゴリＡ〜ＤのスコアＺＡ〜ＺＤを算出する。例えば、カテゴリＡのスコアＺＡは、カテゴリＡ〜Ｄの各カテゴリと、それ以外のカテゴリとの比較において、カテゴリＡに所属する所属確率の２群分類器７１〜７４についての総和である。

画像診断モデル５４Ｒは、スコアＺＡ〜ＺＤを算出すると、実施の形態１と同様の出力部５４ｄにより、スコアＺＡ〜ＺＤに基づき診断情報を出力する。

以上のように、本実施形態において、２群分類器７１〜７４（複数の分類器）の個数は、４つのカテゴリＡ〜Ｄ（複数のカテゴリ）に含まれるカテゴリの個数４個であり、２群分類器７１〜７４の各々は、カテゴリＡ〜Ｄ毎に、入力された画像データが４つのカテゴリＡ〜Ｄの中で当該カテゴリに属する確率として所属確率ＰＡ〜ＰＤを算出する。本実施形態の画像診断モデル５４Ｒは、必要な２群分類器の数が判定対象のカテゴリ数であるため、カテゴリ数の組合せの数に対応する分類器を用いる場合と比べ、２群分類器の数をさらに抑えることができる。これにより、特に判定対象のカテゴリ数が多い場合に、効率よく学習及び判定の処理を行うことができる。

なお、本実施形態の画像診断モデル５４Ｒは、実施の形態２における層別化と併せて用いられてもよい。即ち、層別化分類器５４Ｃｂにより大別されたグループ内のカテゴリにおける分類に、画像診断モデル５４Ｒを適用してもよい。例えば実施の形態２において、層別化により、１３種類の害虫の画像データを９種類の「イモムシ非類似」のグループと４種類の「イモムシ類似」のグループに分類する。画像診断モデル５４Ｒは、層別化により分類されたいずれか一方のグループ内のカテゴリにおける分類に適用可能である。この際、本実施形態の分類器群５４Ｒｂにおける２群分類器（複数の分類器）の個数は、１３個のカテゴリ（複数のカテゴリ）において少なくともイモムシ類似のグループ（第１のグループ）に含まれるカテゴリの個数４個以上である。各２群分類器は、イモムシ類似のグループにおけるカテゴリ毎Ｊ〜Ｎに、入力された画像データがイモムシ類似のグループの中で当該カテゴリに属する確率として所属確率ＰＪ〜ＰＮを算出する。

このように実施の形態２における層別化と、実施の形態３における複数の１対他の２群分類器を組み合わせた画像診断モデルは、２群分類器の数をさらに抑制して効率良く学習を行い、高速に診断が可能である。

（実施例）
以上の実施の形態１〜３に関する実施例について、以下説明する。図１５及び図１６は、実施の形態１〜３に係る画像診断モデルの性能評価を行った結果を示す。

（１）実施の形態１に係る画像診断モデル５４の性能評価
実施の形態１に係る画像診断モデル５４は、入力された画像データから診断カテゴリを判定する。実施例（１）の性能評価は、図２に例示する植物の病害の診断カテゴリと画像データを対応付けたラベル付きデータを訓練データと評価データに分割して用いた。訓練データと評価データは、例えば９対１の割合に分割する。本性能評価は、訓練データを用いて構築した画像診断モデル５４に、訓練データとは別の評価データを入力して診断カテゴリの正解率を評価した。

図１５（１），（２）は、画像診断モデル５４の性能評価の結果を示す。図１５（２）は、各カテゴリに対応する画像データの枚数に偏りがあり、カテゴリＣに対応する画像データが欠損した訓練データ及び評価データを用いた例を示す。図１５（１）に示す結果から、正解率は、４種類の病害の中で、最低でもカテゴリＢの７５％であり、全体では８８．８％である。図１５（２）に示す結果から、カテゴリ間のデータ量に偏りがある場合でも、全体で９０％近い正解率を得られた。このように画像診断モデル５４は、一般的な画像と比べて分類が困難な病害の植物の画像を機械学習に少量用いる場合においても、画像の特徴を効率よく学習して精度良く診断カテゴリを判定することができると考えられる。

なお、本性能評価は病害が発生した植物の画像のみを用いたが、実施の形態２における層別化分類器を導入して、病害の有無により入力された画像データを大別してから、病害有りと判定された画像データに画像診断モデル５４を適用してもよい。

また、ラベル付きデータから、さらに検証データが分割されて用いられてもよい。例えば、画像診断モデル５４が含む各２群分類器の学習において必要な設定は、検証データを用いて行われてもよい。

（２）実施の形態２及び３に係る画像診断モデルの性能評価
実施の形態２に係る画像診断モデル５４Ｃは、画像データが入力されると、層別化分類器５４Ｃｂによりカテゴリのグループに大別して、分類されたグループ内のカテゴリから診断カテゴリを判定する。実施の形態３に係る画像診断モデル５４Ｒは、１対他の分類を行う２群分類器を判定対象のカテゴリ数だけ用いて診断カテゴリを判定する。実施例（２）は、層別化分類器を適用して分類されたグループ内のカテゴリの判定に、１対他の２群分類器を用いるモデル構造を画像診断モデル５４ＣＲとして、性能評価を行った。

実施例（２）の性能評価は、実施の形態２と同様な害虫の種類と画像データを対応付けたラベル付きデータを、訓練データと評価データに分割して用いた。訓練データ及び評価データは、実施の形態２と同様に、画像診断モデル５４ＣＲの学習及び評価において２つのグループに大別される。本性能評価は、実施例（１）と同様に、本実施例の訓練データを用いて構築した画像診断モデル５４ＣＲに、訓練データとは別の評価データを入力して診断カテゴリの正解率を評価した。

図１６は、画像診断モデル５４ＣＲの性能評価の結果を示す。図１６は、１００枚の画像データを含む評価データにおいて、１３種類の害虫の種類を判定した正解率を示す。図１６に示す結果から、正解率は、１３種類の中で「アブラムシ類」の６９．０％を除き、各種類において９０％以上である。このように、実施の形態２及び３における層別化分類器及び１対他の２群分類器を複数用いた画像診断モデル５４ＣＲは、２群分類器の数を抑制して効率よく学習を行うモデル構造において、なお精度良く診断カテゴリを判定可能であると考えられる。

（３）実施の形態２に係る画像診断モデル５４Ｃの性能評価
実施例（３）は、実施の形態２に係る画像診断モデル５４Ｃにおいて、図１６の例とは異なる害虫の種類の画像を用いて学習及び評価を行った。実施例（２）では、バラの葉に付く害虫の画像を判定対象としたが、本実施例では、複数の種類の農作物（キャベツ、トマト、キュウリ、ナス及びタマネギ）に付く害虫の画像を判定対象とする。本実施例では、害虫の画像データは、１１種類の害虫に対応して、イモムシ非類似の５種類のカテゴリと、イモムシ類似の６種類のカテゴリに大別される。

本実施例における画像診断モデル５４Ｃは、２群分類器の個数を除いて、図１１の例と同様のモデル構造を有する。本実施例の分類器群５４ｂ１は、判定対象の５個のカテゴリから２個のカテゴリを選ぶ組合せの数に対応して、１０個の２群分類器を含む。分類器群５４ｂ２は、判定対象の６個のカテゴリから２個のカテゴリを選ぶ組合せの数に対応して、１５個の２群分類器を含む。

実施例（３）の性能評価は、上記の１１個のカテゴリの害虫の種類と画像データを対応付けたラベル付きデータを、訓練データと評価データに分割して用いた。本性能評価は、実施例（１），（２）と同様に、本実施例の訓練データを用いて構築した画像診断モデル５４Ｃに、訓練データとは別の評価データを入力して診断カテゴリの正解率を評価した。

図１７は、画像診断モデル５４Ｃの性能評価を示す。図１７は、１１３枚の画像データを含む評価データにおいて、１１種類の害虫の種類を判定した正解率を示す。図１７に示す結果から、正解率は、１１種類の中で、最低でも「ハモグリバエ」の８２．４％であり、全体では９１．２％である。このように、画像診断モデル５４Ｃは、層別化分類器と、複数の２群分類器から構成される分類器群とを用いて、複数の種類の農作物に付く害虫のような多様性を有する画像においても、精度良く診断カテゴリを判定可能であることが確認された。

（他の実施の形態）
以上のように、本発明の例示として、実施の形態１〜３を説明した。しかしながら本発明は、これに限らず、他の実施の形態にも適用可能である。以下、他の実施の形態を例示する。

実施の形態では、画像診断システム１００は、病害を有する植物及び害虫が撮影された画像を診断する例を説明したが、本発明は、特にこれに限定されない。本発明は、種々の画像分類に適用可能であり、例えば工場等で部品の欠陥、傷、異常等の状態の判別又は検査をする品質管理において、傷等を有する部品が撮影された画像の診断又は分類に適用されてもよく、レントゲン、ＣＴ又はＭＲＩ等により生物の体の部位又は組織が撮影された画像の病気の診断又は分類に適用されてもよく、ドローン等の飛行物により撮影された農地等の土地の画像の作付け状況等の診断又は分類に適用されてもよい。

実施の形態１〜３は、病害の種類に対応する４種類のカテゴリ、または害虫の種類に対応する１３種類のカテゴリにおける画像の診断に画像診断システム１００を適用する例を示した。画像診断システム１００は、これ以外のカテゴリ数に対応する画像の診断に適用されてもよい。例えば、病害を有する植物の画像の診断において、４種類の病害に限らず、病害を有しない植物の画像を含めて、５種類のカテゴリとしてもよい。

実施の形態１〜３では、判定対象は、実施の形態１及び３において病害の植物の画像であり、実施の形態２において害虫の画像であった。本実施形態において、判定対象は、特にこれに限らず、例えば実施の形態１及び３において害虫の画像であって、実施の形態２において病害の植物の画像であってもよい。また、実施の形態２における層別化は、植物の画像に適用してもよい。

実施の形態１〜３では、１回の判定につき１枚の画像を画像分類モデルに送信する例を説明したが、本実施の形態は、特にこれに限定されない。例えば、１回の判定につき、判定対象を異なる方向から撮影した複数の画像を、同時に画像分類モデルに送信してもよい。同時に複数の画像を受信した画像分類モデルは、スコア算出部において画像毎にスコアを算出し、それらの中の最大のスコアを用いて判定対象が所属するカテゴリを判定してもよく、複数のスコアの平均値を用いて判定対象が所属するカテゴリを判定してもよく、１枚の画像から得られるスコアを用いて判定対象が所属するカテゴリの判定を複数回行い、その多数決の結果に基づいて、判定対象が所属するカテゴリを判定してもよい。

実施の形態１〜３では、分類器群５４ｂ，５４ｂ１，５４ｂ２及び５４Ｒｂは、複数の２群分類器により構成された。本実施形態において、分類器群は、必ずしも２群分類器に限らず、所属確率を算出可能な種々の分類器であってよい。

実施の形態１〜３では、画像分類装置の一例としてサーバ装置５０を説明した。画像分類装置は、サーバ装置５０に限定されない。例えば、携帯端末４０を画像分類装置として構成することもできる。本実施形態の画像分類装置は、判定対象の画像を撮像するカメラ４２（撮像部）と、判定スコアを含む判定情報を表示する表示部４３とを備えてもよい。

実施の形態１〜３では、画像分類モデルの一例である画像診断モデル５４，５４Ｃ及び５４Ｒは、分類器群５４ｂ，５４ｂ１，５４ｂ２及び５４Ｒｂを含んで構成された。本実施形態において、画像分類モデルは、必ずしも分類器群を含まなくてもよい。例えば、スコア算出部５４ｃ，５４ｃ１，５４ｃ２及び５４Ｒｃが分類器の機能を含んでもよい。また、分類器群は、画像分類モデル（或いは画像分類装置）の外部構成として、例えばネットワーク２００を介して画像データを受信し、所属確率を送信するように動作してもよい。この場合、スコア算出部は、外部の分類器群から所属確率を受け取って動作してもよい。

実施の形態１〜３では、画像分類モデルの一例である画像診断モデル５４，５４Ｃ及び５４Ｒは、機械学習によって実現された。本実施形態において、画像分類モデルは、必ずしも機械学習によって実現されなくてもよい。この場合であっても、画像分類モデルは、スコア算出部により連続値の判定スコアを出力することによって、画像の分類を精度良く実現可能にするという課題を解決することができる。

以上のように、本実施形態における画像分類モデルは、判定対象の画像を分類する画像分類モデルであって、判定対象の画像を示す画像データを入力する入力部と、入力された画像データについて、複数のカテゴリのカテゴリ毎の判定スコアを算出するスコア算出部と、カテゴリ及び対応する少なくとも一部の判定スコアを出力する出力部とを備える。スコア算出部は、複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率に基づいて、判定スコアを算出する。こうした画像分類モデルによっても、画像の分類を精度良く実現可能である。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像分類装置、方法及び画像分類モデルの生成方法に適用可能である。

１００ 画像診断システム
４０ 携帯端末
４２ カメラ
５０ サーバ装置
５４，５４Ｃ，５４Ｒ 画像診断モデル
５５ 制御プログラム
５８ データベース
５４ａ 入力部
５４ｂ，５４ｂ１，５４ｂ２，５４Ｒｂ 分類器群
５４ｃ，５４ｃ１，５４ｃ２，５４Ｒｃ スコア算出部
５４ｄ，５４ｄ１，５４ｄ２ 出力部
５４Ｃｂ 層別化分類器
６１，６１，６２，６３，６４，６５，６６，７１，７２，７３，７４ ２群分類器
Ｄ６０ 訓練データセット
２００ ネットワーク

Claims (12)

1. 複数のカテゴリにおいて判定対象の画像を分類する画像分類装置であって、
   前記カテゴリ毎の画像データに基づく機械学習によってそれぞれ構成される複数の分類器と、
   前記判定対象の画像を示す画像データを前記各分類器に入力して得られる情報に基づいて、前記複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するスコア算出部と、を備え、
   前記複数の分類器は、前記複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下の個数を有し、
   前記各分類器は、互いに別々の組み合わせにおいて前記複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出し、
   前記スコア算出部は、前記判定対象の画像に関して前記各分類器により算出された複数の所属確率に基づいて、前記判定スコアを算出する
   画像分類装置。
2. 前記複数の分類器の個数は、前記複数のカテゴリにおける少なくとも第１のグループの中から、２つのカテゴリを選ぶ組み合わせの数以上であり、
   前記各分類器は、前記第１のグループにおける２つのカテゴリの組み合わせ毎に、前記入力された画像データが当該組み合わせの内の一方のカテゴリに属する確率として前記所属確率を算出する
   請求項１に記載の画像分類装置。
3. 前記スコア算出部は、前記第１のグループにおける一のカテゴリに関して、当該一のカテゴリと前記第１のグループにおける他のカテゴリとの組み合わせの分の前記所属確率を合計して、前記判定スコアを算出する
   請求項２に記載の画像分類装置。
4. 前記複数の分類器の個数は、前記複数のカテゴリにおいて少なくとも第１のグループに含まれるカテゴリの個数以上であり、
   前記各分類器は、前記第１のグループにおけるカテゴリ毎に、前記入力された画像データが前記第１のグループの中で当該カテゴリに属する確率として前記所属確率を算出する
   請求項１に記載の画像分類装置。
5. 前記複数のカテゴリは、前記第１のグループと、前記第１のグループとは異なる第２のグループとを含む複数のグループに区分され、
   前記判定対象の画像を示す画像データに基づいて、前記複数のグループにおいて当該画像を分類して、前記複数の分類器の中から前記画像データを入力する分類器を判定する判定器をさらに備える
   請求項２から４のいずれか１つに記載の画像分類装置。
6. 外部の情報端末から画像データを判定対象として受信して、前記判定スコアを含む判定情報を前記情報端末に送信する通信部をさらに備える
   請求項１から５のいずれか１つに記載の画像分類装置。
7. 前記判定対象の画像を撮像する撮像部と、
   前記判定スコアを含む判定情報を表示する表示部とをさらに備える
   請求項１から５のいずれか１つに記載の画像分類装置。
8. 前記判定対象の画像は、病害を有する植物及び害虫の画像の少なくとも一つを含む有害生物が撮像された画像であり、
   前記複数のカテゴリは、前記有害生物を区分するカテゴリである
   請求項１から７のいずれか１つに記載の画像分類装置。
9. 複数のカテゴリにおいて判定対象の画像を分類する画像分類方法であって、
   前記カテゴリ毎の画像データに基づく機械学習によってそれぞれ構成される複数の分類器に、前記判定対象の画像を示す画像データを入力するステップと、
   当該画像データを前記各分類器に入力して得られる情報に基づいて、前記複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するステップと、を含み、
   前記複数の分類器の個数は、前記複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下であり、
   前記各分類器は、互いに別々の組み合わせにおいて前記複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出し、
   前記判定スコアを算出するステップは、前記判定対象の画像に関して前記各分類器により算出された複数の所属確率に基づいて行われる
   画像分類方法。
10. 請求項９に記載の画像分類方法をコンピュータに実行させるための命令群を含むプログラム。
11. 複数のカテゴリにおいて判定対象の画像を分類する画像分類モデルの生成方法であって、
    前記カテゴリ毎の画像データに基づいて、複数の分類器の機械学習を行うステップと、
    学習済みの前記複数の分類器と、スコア算出部とを含めて前記画像分類モデルを生成するステップとを含み、
    前記スコア算出部は、前記判定対象の画像を示す画像データを前記各分類器に入力して得られる情報に基づいて、前記複数のカテゴリにおいて当該画像を分類した判定結果を示す判定スコアを算出するように構成され、
    前記複数の分類器の個数は、前記複数のカテゴリの中から２つのカテゴリを選ぶ組み合わせの数以下であり、
    前記機械学習を行うステップは、前記各分類器が、互いに別々の組み合わせにおいて前記複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率を算出するように、前記各分類器の機械学習を行う
    画像分類モデルの生成方法。
12. 判定対象の画像を分類する画像分類モデルであって、
    判定対象の画像を示す画像データを入力する入力部と、
    入力された画像データについて、複数のカテゴリのカテゴリ毎の判定スコアを算出するスコア算出部と、
    カテゴリ及び対応する少なくとも一部の判定スコアを出力する出力部とを備え、
    前記スコア算出部は、前記複数のカテゴリの中の少なくとも２つのカテゴリの内の一方に、入力された画像データが属する確率を示す所属確率に基づいて、前記判定スコアを算出する
    画像分類モデル。

Images