JP2018151990A - 通知装置、通知方法、及びそのプログラム - Google Patents

Abstract

【課題】機械学習により学習を行った結果として新たな能力が獲得されたことを検出し、当該能力を必要とする利用者に通知するための技術を提供する。【解決手段】通知装置は、依頼者が指定する条件を受け付ける受付部と、機械学習により所定の学習がなされたことによって得られた学習結果を取得する取得部と、取得部によって取得された学習結果の獲得した能力が、受付部によって受け付けられた条件を満たすか否かを判定する判定部と、判定の結果に基づいて、必要な場合に、依頼者に対して通知をする通知部とを備える。【選択図】図１

Description

本発明は、通知装置、通知方法、及びそのプログラムに関する。

従来から、ニューラルネットワークなどの人工知能技術（以下、「ＡＩ技術」という。）に関する研究が、幅広く行われている（例えば、特許文献１参照）。特に、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）と呼ばれるＡＩ技術の台頭により、近年ＡＩ技術を実装した商品やサービスが見られるようになり、より幅広い分野への応用が期待されている。

特許第５８１６７７１号公報

深層学習などの機械学習においては、機械を学習させて所定の能力を獲得させることができる。学習の結果として獲得された能力は、例えば、学習済みのニューラルネットワークの構造とパラメータに関する情報としてデータ化することで、記憶媒体や通信手段を介して別の装置上で利用することが可能となる。

しかしながら、学習を行う学習装置と、学習の結果として得られた能力を利用する装置がそれぞれ別になると、学習結果の利用者は、どのような学習データを用いて、どのような学習を行わせたことにより得られた学習結果であるのかを把握することが難しい。今後、ＡＩ技術が普及するにつれて、様々な場所で多種多様な機械学習が行われるようになると、学習装置が出力した多数の学習結果が人の手を介さずに自動的に広範囲に拡散していく可能性があるが、この中から利用者が必要とする能力を獲得した新たな学習結果を見つけ出すことがますます困難になることが見込まれる。

そこで、本発明は、機械学習により学習を行った結果として新たな能力が獲得されたことを検出し、当該能力を必要とする利用者に通知するための技術を提供することを目的とする。

本発明の一側面に係る通知装置は、依頼者が指定する条件を受け付ける受付部と、機械学習により所定の学習がなされたことによって得られた学習結果を取得する取得部と、取得部によって取得された学習結果の獲得した能力が、受付部によって受け付けられた条件を満たすか否かを判定する判定部と、判定の結果に基づいて、必要な場合に、依頼者に対して通知をする通知部とを備える。この態様によれば、機械学習により学習を行った結果として新たな能力が獲得されたことを検出し、当該能力を必要とする利用者に通知することが可能になる。また、学習装置における学習の結果として出力される学習結果のうち、所定の条件を満たす場合に依頼者に通知するため、通信するデータ量を削減できる。

判定部は、取得部によって取得された学習結果の適用範囲が、受付部によって受け付けられた条件を満たすか否かを判定するものとしてもよい。判定部は、取得部によって取得された学習結果の学習対象が、受付部によって受け付けられた条件を満たすか否かを判定するものとしてもよい。これらの態様によれば、取得された学習結果が依頼者の指定した適用範囲から外れる場合には、更なる判定処理を行うことなく通知不要であることが分かるため、判定処理の処理速度が向上するとともに、処理プロセスが短縮されるためＣＰＵ等の処理装置の負荷が低減される。

判定部は、取得部によって取得された学習結果の獲得した能力が、所定の学習結果によって獲得された能力と比べて、依頼者の指定した条件の観点からみて同等であるか否かに基づいて判定を行うものとしてもよい。判定部は、取得部によって取得された学習結果の獲得した能力が、受付部によって受け付けられた条件を満たすか否かを判定するものとしてもよい。これらの態様によれば、比較判定を要するデータ量を抑えることができるため、判定処理の処理速度が向上するとともに、処理プロセスが短縮されるためＣＰＵ等の処理装置の負荷が低減される。

通知装置は、複数の学習結果を格納するデータベースに接続されてもよい。このとき、判定部は、取得部によって取得された学習結果の獲得した能力が、データベースに格納された複数の学習結果のそれぞれが獲得した能力と比較して依頼者の指定した条件を満たすか否かをさらに判定してもよい。この態様によれば、過去に存在する学習結果と比べて所定の条件を満たす場合に依頼者に通知するため、通信するデータ量を削減できる。

本発明の一側面に係る検査機は、所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用することができる。また、検査機、依頼者が指定する条件を受け付ける受付部と、機械学習により所定の学習がなされたことによって得られた学習結果を取得する取得部と、取得部によって取得された学習結果の獲得した能力が、受付部によって受け付けられた条件を満たすか否かを判定する判定部と、判定の結果に基づいて、必要な場合に、依頼者に対して通知をする通知部と、を備える。この態様によれば、機械学習により学習を行った結果として、検査機に適用可能な新たな能力が獲得されたことを検査機が自ら検出し、当該能力を必要とする利用者に通知することが可能になる。また、学習装置における学習の結果として出力される学習結果のうち、所定の条件を満たす場合に依頼者に通知するため、通信するデータ量を削減できる。

本発明の一側面に係る通知方法は、依頼者が指定する条件を受け付けるステップと、機械学習により所定の学習がなされたことによって得られた学習結果を取得するステップと、取得された学習結果の獲得した能力が受け付けられた条件を満たすか否かを判定するステップと、判定の結果に基づいて、必要な場合に依頼者に対して通知をするステップとを実行する。

本発明の一側面に係るプログラムは、コンピュータを、依頼者が指定する条件を受け付ける手段、機械学習により所定の学習がなされたことによって得られた学習結果を取得する手段、取得された学習結果の獲得した能力が、受け付けられた条件を満たすか否かを判定する手段、及び判定の結果に基づいて、必要な場合に依頼者に対して通知をする手段として機能させる。

本発明によれば、機械学習により学習を行った結果として新たな能力が獲得されたことを検出し、当該能力を必要とする利用者に通知するための技術を提供することができる。

本実施形態における学習システム１００全体の概略を示す図である。 学習システム１００による処理の流れを概念的に示す図である。 本実施形態における学習データ準備装置２１の機能ブロック図である。 本実施形態における学習依頼装置２２の機能ブロック図である。 本実施形態における学習結果利用装置２３の機能ブロック図である。 本実施形態における学習データベース１１の構成を示すブロック図である。 本実施形態における学習依頼受付装置１２の機能ブロック図である。 本実施形態における学習装置１３の機能ブロック図である。 本実施形態における能力判定装置１５の機能ブロック図である。 学習システム１００を構成する各装置のハードウェア構成の一例を示すブロック図である。 能力判定装置１５における能力判定処理のフローチャートである。 検査機の構成の一例を示すブロック図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。さらに、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。

＜１．システム概要＞
図１及び図２を参照して本実施形態におけるシステムの概要について説明する。

図１は、本実施形態における学習システム１００全体の概略を示す図である。本学習システム１００は、学習サービス提供システム１と学習依頼システム２とを含んで構成され、両者はインターネットなどのネットワークＮ０を介して互いに接続される。なお、本システムの構成は図示のものに限定されず、例えば、学習サービス提供システム１と学習依頼システム２とを物理的ないし論理的に一体のものとして構成してもよい。

図１に示すように、学習サービス提供システム１は、学習データベース１１と、学習依頼受付装置１２と、一又は複数の学習装置１３と、能力判定装置１５とを有し、これらがローカルネットワークＮ１を介して互いに接続されている。また、学習依頼システム２は、学習データ準備装置２１と、学習依頼装置２２と、一又は複数の学習結果利用装置２３とを有し、これらがローカルネットワークＮ２を介して互いに接続されている。また、各装置は、入力装置（不図示）を介して、学習依頼者等からの入力を受け付け可能に構成されている。

図２は、図１に示した学習システム１００による、学習依頼から学習結果を利用するまでの処理の流れを概念的に示す図である。まず、依頼者は、入力装置を介して、学習依頼装置２２に対して、学習の目標（例えば、特定の物を識別する等）を指定して、学習を依頼する。学習依頼装置２２は、依頼者から学習依頼を受け付けると、ネットワークＮ０を介して学習サービス提供システム１にアクセスし、機械学習を行うために必要な情報を含む学習依頼情報を、学習サービス提供システム１に送信する。（Ｓ１）。学習依頼情報には、例えば学習の目標や、学習結果を利用する装置を識別する情報、学習データ等が含まれる。

学習サービス提供システム１の学習依頼受付装置１２は、学習依頼情報を受け付けると、学習装置１３に対して、学習依頼情報に基づく機械学習の実行を指示する（Ｓ２）。学習装置１３は、学習依頼情報に基づいて、機械学習を実行する。これにより、例えば、所定の能力を獲得した学習済みのニューラルネットワークなどの学習結果が得られる。学習結果は、複製可能なパッケージ化されたデータに変換される（Ｓ３）。データ化された学習結果は、学習装置１３から学習依頼システム２の学習結果利用装置２３へと送信される（Ｓ４）。学習結果利用装置２３において、学習結果が利用されることによって、所定の能力が発揮される。

学習装置１３で得られた学習結果は、さらに、学習データベース１１に格納される。これにより、学習システム１００の任意の利用者が過去の学習結果を活用できるようになる。本実施形態においては、学習装置１３で新たな学習結果が得られたとき、当該新たに得られた学習結果と学習データベース１１に格納された過去の学習結果とを比較し、今般得られた学習結果が過去の学習結果と比べて新たな能力を獲得したか否かを能力判定装置１５が検出する。検出の結果、新たな能力が獲得されたものと判定された場合、能力判定装置１５は、当該能力を必要とする利用者に通知を行う。これにより、機械学習の結果として新たな能力が獲得されたことを、利用者は迅速に把握できる。

＜２．各装置の構成＞
＜２−１．学習依頼システム２＞
次に、図３乃至図５を参照して学習依頼システム２の構成について説明する。なお、学習依頼システム２に含まれる各装置の構成は、以下に説明する構成に限定されず、各装置は必要に応じて他の装置が備える任意の機能を備えるように改変してもよい。

図３は、本実施形態における学習データ準備装置２１の機能ブロック図である。学習データ準備装置２１は、学習モジュール（例えば後述するニューラルネットワーク２３３）を学習させるために必要なデータ（学習データ）を準備する機能を有する。図３に示すように、学習データ準備装置２１は、機能部として、操作部２１１と、学習データ取得部２１２と、学習データ記憶部２１３と、データ取得制御部２１４とを有している。

例えば、操作部２１１は、学習依頼システム２の利用者（以下、「依頼者」ともいう。）からの操作を受け付ける。学習データ取得部２１２は、カメラやセンサ、ネットワーク端末、自走型ロボットのセンサなど任意の入力装置から学習データを作成するために必要なデータを取得し、学習データ記憶部２１３に記憶する。データ取得制御部２１４は、操作部２１１や学習データ取得部２１２、学習データ記憶部２１３を制御して、学習に必要なデータを準備する。通信部２１６は、学習依頼システム２のローカルネットワークＮ２と接続し、データ取得制御部２１４が作成した学習に必要なデータを他の装置に送信する。

なお、学習データ準備装置２１は後述する学習結果利用装置２３と同一の装置を用いて構築する構成でもよい。この場合、学習データ準備装置２１は、学習結果利用装置２３に外部接続される入力装置として構築することも可能である。

図４は、本実施形態における学習依頼装置２２の機能ブロック図である。学習依頼装置２２は、学習依頼情報を学習サービス提供システム１に送信する機能を有する。図４に示すように、学習依頼受付装置１２は、学習依頼部２２１と、学習依頼内容記憶部２２２と、学習データ記憶部２２３と、通信部２２４とを有している。

学習依頼部２２１は、学習データ準備装置２１又は入力装置（不図示）を介して依頼者から学習依頼を受け付け、学習依頼情報を作成し、通信部２２４を介して学習依頼情報を学習サービス提供システム１へと送信する。このとき送信される学習依頼情報は、学習依頼内容記憶部２２２に記憶される。また、依頼者から依頼された学習を行うために必要な学習データを学習データ準備装置２１から取得して、学習サービス提供システム１に送信する。学習サービス提供システム１に送信される学習データは、学習データ記憶部２２３にも記憶される。

また、学習依頼部２２１は、依頼者が入力装置から指定した通知依頼を受け付け、通知依頼情報を作成し、通信部２２４を介して通知依頼情報を学習サービス提供システム１へと送信する。通知依頼情報は、例えば、依頼者が必要とする能力、依頼者が学習結果を利用する適用範囲、学習対象、出力要件等の条件の少なくとも１つが含まれる。このとき送信される通知依頼情報は、学習依頼内容記憶部２２２に記憶される。例えば、依頼者が農産物の等級を分類する能力を通知依頼したとき、通知依頼情報としては、依頼者が必要とする能力の条件が農産物の等級分類である旨の情報を含む。また、学習対象または適用範囲をより絞り込み、トマトの等級を分類することを通知依頼情報として含んでもよい。必要とする能力として、等級を５段階に分類することを通知依頼情報として含んでもよいし、出力要件として、既存の能力と比べて分類精度が所定ポイント以上改善されたことを通知の条件としてもよい。

さらに、学習依頼装置２２は、学習結果に識別情報が付与される場合には、学習結果に付与されている識別情報を参照し、入力された学習結果が利用目的に適合するか否かを判定してもよい。学習結果が利用目的に適合する場合には、学習依頼装置２２は、学習結果を学習結果利用装置２３に組み込み、学習結果を利用させる。他方で、学習結果が利用目的に適合しない場合には、学習依頼装置２２は学習サービス提供システム１に対して不適合を通知することができる。このとき、学習依頼装置２２は、条件を変えて再度学習を依頼してもよい。

図５は、本実施形態における学習結果利用装置２３の機能ブロック図である。学習結果利用装置２３は、学習結果を利用して、所定の能力をユーザに提供する機能を有する。図５に示すように、学習結果利用装置２３は、機能部として、学習結果入力部２３１と、ニューラルネットワーク設定部２３２と、ニューラルネットワーク２３３と、制御部２３４と、入力部２３５と、通信部２３６と、データ取得部２３７と、出力部２３８とを有している。

学習結果入力部２３１は、学習結果の入力を受け付ける。このとき、ニューラルネットワーク設定部２３２が利用目的に応じた設定をニューラルネットワーク２３３に対して行う。さらに制御部２３４は、データ取得部２３７及び入力部２３５を制御して学習結果の利用に必要なデータをニューラルネットワーク２３３に入力し、学習結果の利用を行う。なお、学習結果を利用した結果は、出力部２３８より出力される。

＜２−２．学習サービス提供システム１＞
図６乃至図１０を参照して学習サービス提供システム１の機能について説明する。なお、学習サービス提供システム１は、データセンターやクラウドを用いて実装することが可能である。この場合、学習サービス提供システム１の各装置は、ＰＣサーバやブレードＰＣを用いて構築することができる。学習サービス提供システム１の各装置を複数のＰＣで構築することで、深層学習等の繰り返し演算を実行する場合に処理時間を短縮することができる。なお、学習サービス提供システム１は、１台のＰＣで構築される構成や、組み込み装置によって実装される構成でもよい。

図６は、本実施形態における学習データベース１１の構成を示すブロック図である。学習データベース１１は、学習を行うときに必要となる様々な情報を格納する。図６に示すように、学習データベース１１は、学習データＤＢ１１１と、学習依頼ＤＢ１１２と、学習結果利用履歴ＤＢ１１３と、学習結果ＤＢ１１４と、学習プログラムＤＢ１１５と、学習対象ＤＢ１１６とを有している。

学習データＤＢ１１１は、学習に用いる学習データを格納する。例えば学習データＤＢ１１１は、学習データに、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の要件を関連づけて格納することができる。

学習依頼ＤＢ１１２は、学習依頼情報と、当該学習依頼情報を学習依頼装置２２から受け付けた場合に実施する学習の内容を格納する。例えば学習依頼ＤＢ１１２は、学習依頼情報に、学習依頼者に関する情報、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の依頼要件を関連づけて格納することができる。

学習結果利用履歴ＤＢ１１３は、学習結果の利用履歴を格納する。例えば学習結果利用履歴ＤＢ１１３は、学習結果として分類能力が獲得された場合には、獲得した分類能力を利用して、分類を行った結果に関する情報を格納できる。さらに学習結果利用履歴ＤＢ１１３は、学習結果の利用者に関する情報や、学習データの対象、学習データの内訳、学習データの範囲、学習の目的など学習の利用に関連づけて、学習結果の利用に関連する情報を格納することができる。さらに学習結果利用履歴ＤＢ１１３は、利用識別情報を含むことが好ましい。利用識別情報は、学習結果の利用を識別できる情報であり、例えば利用する装置のＩＤや能力に影響を与える設定（後述の基本要因や影響要因等）に関する情報を含む。獲得した能力は、利用される装置や利用される環境に応じて変化する場合があるため、学習利用履歴ＤＢ１３３が利用識別情報を含むことにより、より詳細に利用履歴を記録することができる。

学習結果ＤＢ１１４は、学習装置１３によって出力された学習結果を格納するものであり、過去の複数の学習結果が格納される。学習結果ＤＢ１１４に格納される学習結果は、データ化された学習結果を含む。また、学習結果に識別情報が付与されるとき、学習結果ＤＢ１１４に格納される情報には、学習結果の識別情報が含まれる。

学習プログラムＤＢ１１５は、学習を行うための学習プログラムを格納する。例えば学習プログラムＤＢ１１５は、学習の対象や、学習データの内容、学習の目標など学習の要件に関連づけて、学習プログラムを格納することができる。なお、学習プログラムＤＢ１１５には多数の学習プログラムを登録できることが好ましい。この場合、後述する学習装置１３は、学習の要件を指定することで、学習プログラムＤＢ１１５から学習プログラムを特定して、実行可能にすることができる。

学習対象ＤＢ１１６は、学習の対象に関する情報を格納する。学習対象としては、例えば、対象の種類を識別する対象識別装置、画像処理装置、製品の管理装置、ロボット、センサ信号の予測装置、車載装置などを含み得る。

図７は、本実施形態における学習依頼受付装置１２の機能ブロック図である。学習依頼受付装置１２は、学習依頼装置２２から学習依頼情報を受け付け、当該学習依頼情報を学習装置１３に送信する機能を有する。図７に示すように、学習依頼受付装置１２は、例えば、学習依頼受付部１２１と、学習データ記憶部１２３と、学習依頼内容記憶部１２４と、通信部１２５とを含んで構成される。

学習依頼受付部１２１は、学習依頼装置２２から学習依頼を受け付ける。学習依頼受付部１２１は受け付けた学習依頼に含まれる学習依頼情報を、学習依頼ＤＢ１１２に登録する。このとき学習依頼受付部１２１は、通信部１２５を介して、学習依頼を受け付けた旨の通知を学習管理装置１４に送信する。また、学習依頼受付装置１２は、受け付けた学習依頼を学習データ記憶部１２３や、学習依頼内容記憶部１２４に一時的に保存しておくことができる。

図８は、本実施形態における学習装置１３の機能ブロック図である。学習装置１３は、学習依頼情報に基づいて学習を行い、学習結果として所定の能力を獲得する機能を有する。図８に示すように、学習装置１３は、機能部として、学習制御部１３１と、ニューラルネットワーク１３２と、学習結果抽出部１３３と、通信部１３４と、学習結果出力部１３５とを有している。

学習装置１３においては、学習制御部１３１がニューラルネットワーク１３２を制御して、学習依頼情報に基づいて学習を行うことができる。学習結果は学習結果抽出部１３３によって抽出され、通信部１３４を介して、学習結果出力部１３５によって出力される。 学習装置１３において、複数回学習が行われると、複数の学習結果が得られる。それぞれの学習において、学習データ、学習プログラム、学習時間、学習の目標など、学習結果に影響を与える要件が相違すると、複数の学習結果によって得られる能力は同一ではない可能性がある。学習結果に識別情報を付与する場合、複数の学習結果によって得られる能力が同一ではない可能性がある場合には異なる識別情報を付与してバリエーションとして管理してもよい。

なお、学習装置１３は、自身が、学習依頼を行うことも可能である。この場合には、学習装置１３は、自律的な学習が可能となる。

図９は、本実施形態における能力判定装置１５の機能ブロック図である。能力判定装置１５は、学習装置１３における学習の結果として出力された学習結果の獲得した能力が、所定の条件を満たすものであるか判定する機能を有する。図９に示すように、能力判定装置１５は、能力判定制御部１５１と、比較対象選択部１５２と、学習結果比較部１５３と、識別情報生成部１５４と、通信部１５５とを有している。

能力判定制御部１５１は、能力判定装置１５の備える各部を制御して、後述する能力判定処理を行う。能力判定制御部１５１はさらに、受付部１５１１と、取得部１５１２と、判定部１５１３と、通知部１５１４とを備える。受付部１５１１は、依頼者が指定した条件を含む通知依頼情報を学習依頼装置２２から受け付ける。取得部１５１２は、学習装置１３から所定の学習がなされたことによって得られた学習結果を取得する。判定部１５１３は、比較対象選択部１５２や学習結果比較部１５３を用いて、取得部１５１２によって取得された学習結果の獲得した能力が、通知依頼情報に含まれる条件を満たす新たな能力であるか否かを判定する。通知部１５１４は、通知依頼情報に含まれる条件に基づいて新たな能力が獲得されたものと判定されたとき、通信部１５５を介して依頼者に通知を行う。比較対象選択部１５２は、学習データベース１１に格納された複数の学習結果の中から、今般得られた学習結果と比較するものを選択する。通知依頼情報に、適用範囲に関する条件と学習対象に関する条件が含まれるとき、これらの条件に基づいて選択処理が行われる。

学習結果比較部１５３は、学習装置１３から取得した学習結果を比較対象選択部１５２によって選択された一又は複数の学習結果と比較し、今般得られた学習結果によって新たな能力が獲得されたか否かを判定する。通知依頼情報に、出力要件に関する条件が含まれるとき、この条件に基づいて判定処理が行われる。

識別情報生成部１５４は、学習がなされたことによって所定の能力を獲得した学習結果に対して識別情報を付与する。ここで、学習結果に識別情報を付与するとは、学習結果と識別情報とを対応付けることを含む概念であり、例えば、学習結果に識別情報を付与することや、記憶装置に学習結果と識別情報を対応付けて記憶することを含む。また、学習結果と識別情報を直接対応付けることに加え、これらを間接的に対応付けることも含む。

＜２−３．各装置のハードウェア構成＞
図１０は、学習システム１００を構成する各装置のハードウェア構成の一例を示すブロック図である。能力判定装置１５などの各装置は、同図に示すように、ＣＰＵ１０１０、ＲＯＭ１０２０やＲＡＭ１０３０等のメモリ、各種の情報を記憶する記憶装置１０４０、入力出力部１０５０、通信部１０６０及びこれらを結ぶネットワークないしバスを備える汎用又は専用のコンピュータを適用することができる。

各装置において実装される機能は、ＣＰＵが、メモリ又は記憶装置に記憶された所定のプログラムを実行することにより実現される構成に限定されない。各装置に含まれる任意の機能は、ハードウェアによって実現される構成でもよい。例えば後述するニューラルネットワーク１３２、２３３はカスタムＬＳＩ（Ｌａｒｇｅ-Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＦＰＧＡ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の電子回路によって構成されてもよい。さらに、各装置の一部は、物理的な鍵やＤＮＡのような生化学的な方法、ホログラムなど光学的な方法による識別手段によって実現される構成でもよい。なお、プログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

＜３．処理フロー＞
次に、図１１を参照して本実施形態に係るシステムの処理フローについて説明する。

図１１は、能力判定装置１５における能力判定処理のフローチャートである。まず、能力判定制御部１５１の受付部１５１１は、学習依頼装置２２から依頼者の通知依頼情報を受け付ける（Ｓ１１１０）。受け付けられた通知依頼情報は、依頼者の通知先などの情報と対応付けて記憶装置に格納される。

その後、当該依頼者または他の依頼者からの学習依頼に基づいて学習装置１３が新たな学習結果を出力すると、学習装置１３から出力された学習結果を取得部１５１２が取得する（Ｓ１１２０）。そして、判定部１５１３は、比較対象選択部１５２や学習結果比較部１５３を用いて、取得した学習結果によって獲得された能力が通知依頼情報に含まれる条件を満たすか否か、すなわち、依頼者の必要とする新たな能力を獲得したか否かを判定する（Ｓ１１３０）。

具体的には、判定部１５１３は、以下に説明するステップＳ１１３１からＳ１１３４によって構成される判定処理を実行する。なお、ステップＳ１１３１からＳ１１３４の各処理は必ずしもすべて実行される必要はなく、通知依頼情報に含まれる条件に応じて、必要な処理を選択的に実行すればよい。また、処理の順序も以下に説明する順序に限定されず、処理内容に矛盾を生じない範囲で任意に変更可能である。

まず、ステップＳ１１２０で取得した学習結果または学習データベース１１に格納された複数の学習結果に対して、比較対象選択部１５２が適用範囲の限定処理を行う（Ｓ１１３１）。能力判定装置１５は、依頼者ごとに利用可能な範囲（以下、「適用範囲」ともいう。）で能力を比較及び判定できればよい。例えば、同じ種類の能力でも、入力あるいは出力の構成（入出力の数、入出力されるデータの種類等）が相違すれば利用範囲が異なる。あるいは、依頼者が利用できない学習結果は、新たな能力であるか判定する必要がない。依頼者は、通知依頼をする際に適用範囲を任意の条件で指定することができる。例えば、同等の学習対象に対応できる学習プログラムのグループごとに適用範囲を設定してもよい。また、同一依頼者の同一装置の異なる期間のデータによる複数回の学習に対して適用範囲を設定してもよい。学習結果が適用範囲を満たす場合は、ステップＳ１１３２の特定処理を実行する。他方、学習結果が適用範囲を満たさない場合は判定処理を終了する。

適用範囲の特定には、適用範囲特定条件を用いる。適用範囲特定条件は、適用範囲に含まれるか否かを特定するための条件であり、例えば、獲得する能力の目標に対して設定することができる。適用範囲特定条件は、適用範囲特定条件記憶部に記憶される。適用範囲特定条件の一例として、適用範囲の識別情報を用いることができる。例えば、入出力の構成や獲得する能力の目標を識別可能な識別情報を学習結果に付与し、同一の識別情報が付与された学習結果は、適用範囲が同等であるものと特定してもよい。適用範囲特定条件の他の一例として、適用範囲の同等性を判断するための範囲同等性判断ロジックを記憶しておき、当該ロジックを用いて、学習結果が適用範囲に含まれるか否かを特定させてもよい。なお、適用範囲特定条件の具体的な実装例は、これらに限定されず、他の任意の条件を用いることができる。

次に、比較対象選択部１５２は、適用範囲の限定処理によって選択された学習結果に対して、学習対象の特定処理を行う（Ｓ１１３２）。適用範囲に含まれていても、学習の対象が異なる場合、学習結果が相違していても、依頼者が求める新たな能力ではない。したがって、学習対象が新たな能力の獲得を検出したい学習対象であるかを判定して特定する必要がある。学習結果が学習対象の条件を満たす場合は、ステップＳ１１３３の判定処理を実行する。他方、学習結果が学習対象の条件を満たさない場合は判定処理を終了する。

学習結果の比較は、学習の対象ごとに行うことができる。例えば、画像の分類を行う学習装置と、センサ信号の予測を行う装置は、対象が異なるので学習結果が異なる。この両者の間で新たな能力であるかを判定することは可能であるが、システムの利用の観点からみて有用性が少ない。異なる対象に対して得られた学習結果を比較の対象から外し、同じ対象に対して得られた学習結果を比較することで、処理速度の向上を図ることができる。

学習対象の特定には、学習対象特定条件を用いる。学習対象特定条件は、所定の学習の集合に対して設定するようにできる。学習対象特定条件は、学習対象特定条件記憶部に記憶される。学習対象特定条件の一例として、学習対象に識別情報を付与してあらかじめ指定することにより、学習対象の同等性を特定してもよい。また、学習対象の同等性を判定するためのロジックを用いて、学習対象の同等性を特定してもよい。

学習対象を特定することにより、同じ学習対象に対して行った学習結果を比較することができる。この場合、学習対象が同じ複数の学習結果を比較して、それぞれの学習結果がどの程度異なるか比較することができる。例えば、学習対象が同じ２つの学習結果に対して、同等の入力を与えて、出力がどのように相違するかを見ることで、両者が同程度の能力を有するか、或いは、有意な差異のある能力を有するかを判定することができる。また、同じ学習対象に対して、複数の学習が行われると複数の学習結果が得られる。その後、同じ学習対象に対して新たに学習を行うと、以前の学習結果のいずれかと同程度の能力である場合と、いずれの学習結果とも同程度ではなく、有意な差異のある新たな能力が得られる場合がある。

なお、学習対象の同等性を判定する際に、学習対象が同じものに限らず、学習対象が類似するものまで含めて同等であるものとして学習結果を特定してもよい。これにより、同じ学習対象の学習結果が少ないときや、学習対象の範囲が拡張し得る場合に対応することができる。

ここで、適用範囲と学習対象の一例を具体的に説明する。本実施形態において、適用範囲と学習対象は、学習プログラムごとにそれぞれ設定することができる。学習対象は、学習結果として獲得される能力が対象とする物や事を含む。例えば、学習結果が農産物の等級を分類する能力であれば、学習対象は農産物である。このとき、学習プログラムや、学習に用いる学習データの範囲によって、学習対象である農産物の等級を分類する能力が異なり得る。例えば、キュウリ専用あるいはトマト専用の学習結果や、複数種の果菜類に適用可能な学習結果が出力されることがあり得るが、この場合、適用範囲はそれぞれキュウリ、トマト、果菜類となる。すなわち、適用範囲とは、学習結果を適用できる範囲を含むものである。なお、適用範囲は、階層的に定義してもよい。

学習プログラム全体で、適用範囲と学習対象の定義が共通に設定されると、新たな能力を見つけやすくなる点で好ましいが、必ずしも、学習プログラム全体で定義を共通に設定しなくてもよい。特定客先向けの学習など、学習結果の利用者が特定ないし限定されていれば、当該範囲内で、適用範囲と学習対象の定義を個別に設定してもよい。例えば、学習プログラムＡでは、学習対象が農産物、適用範囲が果菜類と設定され、他方、学習プログラムＢでは、学習に用いたデータに応じて、学習対象が果菜類で適用範囲がトマトの学習結果と、学習対象が果菜類で適用範囲がキュウリの学習結果が出力されてもよい。また、学習対象がトマトと設定され、学習範囲もトマトに設定されるものとしてもよい。

他の例として、学習結果がニュース記事の要約文を作成する能力であれば、学習対象はニュース記事である。この場合、例えば、国内ニュース専用の学習結果、経済ニュース専用の学習結果、どの分野にも対応できるニュース全般を適用範囲とする学習結果が想定される。また、学習結果が特定客先向けの組立装置の制御である場合には、以下のような事例を想定することができる。例えば、学習対象は、特定商品の組立装置の制御であって、生産ラインが１から５まである。このとき、学習結果１が生産ライン１にのみ対応するとき、学習結果１の適用範囲は生産ライン１である。また、学習結果２が生産ライン２〜５に対応するとき、学習結果２の適用範囲は生産ライン２〜５である。

次に、学習結果比較部１５３が、学習結果の同等性を判定する（Ｓ１１３３）。すなわち、比較対象選択部１５２によって選択された学習結果と比較して同等であるか否かを判定する。同等であると判定された場合、ステップＳ１１３４の出力要件判定処理を実行する。他方、同等でないものと判定された場合は判定処理を終了する。

一般に、機械学習が行われる際に、学習の条件がわずかでも違えば、学習結果が多少は相違する。したがって、新たな機械学習が行われたとき、それが以前に行われた学習と同等であるか否かを判定し、同等の学習ではないもの判定されたときには、今般の機械学習の結果、新たな能力が得られたものとみなしてもよい。また、学習プログラムが内部で乱数を用いている場合、乱数以外は全く同じ条件で複数回学習を行ったときに、それぞれの学習結果に相違が発生することがある。このとき、わずかに相違する能力をそれぞれ新たな能力と判定することもできる。しかし、その場合、新たな能力との通知を受けて、確認してみるとほとんど同じであることが大半となるため、新たな能力であるという情報の価値が大きく損なわれる可能性がある。

このような不都合を避けるために、同等性の比較、すなわち、複数の学習結果が同等であるか否かを比較する処理を行う。例えば、今般の学習で得られた学習結果と、適用範囲及び学習対象に基づいて絞り込まれた、過去の学習結果のそれぞれと対比することにより、同等性を比較する。

ここで、学習結果の同等性の判定は、学習結果同等性判定条件を用いて行われる。学習結果同等性判定条件は学習結果同等性判定条件記憶部に記憶される。以下に、学習結果同等性判定条件について説明する。

まず、同等性を比較する際の条件ないし基準（以下、単に「比較条件」ともいう。）は、能力の種類ごとに異なる。能力の種類ごとに、同等性の比較条件をあらかじめ記憶装置に登録しておく。具体的には、例えば学習プログラムごと、あるいは類似する学習プログラムのグループごとに比較条件を設定する。学習依頼者に応じて行うようにしてもよい。

学習の結果期待される要件を通知条件として含む場合は、当該要件を満たしているか否かを判定する。能力の程度を通知条件として含む場合は、例えば、所定の条件で選択された項目について改善の程度が所定以上あるか否かを判定する。

複数の学習結果を比較する際に、学習に用いられた学習データの種類が相違する場合は、学習プログラムの内部情報を用いることによって、それぞれの学習結果が相違する程度を判定することができる。学習データの種類は同じであるものの、学習に使用されたデータが相違する場合、学習データの相違に応じた能力の差異について比較することにより、それぞれの学習結果が相違する程度を判定することができる。同じ学習データを用いた学習結果の出力が相違する場合、相違する内容ごとに、相違に応じて比較条件を設定することにより、それぞれの学習結果が相違する程度を判定することができる。学習結果を比較する際の基準としては、例えば、学習の結果として得られた分類能力、予測能力、制御能力、言語能力等の能力を比較することができる。

次に、同等性の判定の結果、今般取得された学習結果が過去の学習結果と比べて同等でないものと判定されたとき、学習結果比較部１５３は出力要件の判定処理を行う（Ｓ１１３４）。すなわち、依頼者が期待する能力が通知されるように、学習結果の同等性の判定条件とは異なる所定の要件で、依頼者に通知すべきか否かを判定するための処理が行われる。同等性判定条件によって同等ではないものと判定された学習結果が全て外部に通知されると、依頼者の期待しない能力まで通知されるおそれがあり、不要な通知が多数出力されると、依頼者に無用の負担を強いることになる可能性があり望ましいとはいえないからである。

出力要件の判定処理において、学習結果が出力要件を満たすか否かは、依頼者が事前に指定した出力要件を用いて行われる。通知依頼情報に含まれた出力要件が出力要件判定条件記憶部に記憶される。出力要件としては、例えば、ニューラルネットワークの規模や学習結果利用装置に組み込んだときの応答時間などの学習結果利用装置に関する制約要件、カメラの解像度、センサの応答周期、センサの精度などの入力に関する制約要件、分類出力の数や出力周期などの出力に関する制約要件、対象に関する制約要件などの要件を設定することができる。

こうして、判定部１５１３による判定処理の結果、依頼者の必要とする新たな能力を獲得したものと判定されたとき、通知部１５１４によってその旨が依頼者に通知される（Ｓ１１４０）。

通知の内容は、学習結果を特定するための情報を含む。例えば、学習対象に関する情報、適用範囲に関する情報、同等性の判断に関する情報、出力要件に関する情報など、学習の内容を示す情報を通知内容に含むものとすることができる。また、所定の学習結果を示す識別情報を通知内容に含むものとしてもよい。依頼者との間で、あらかじめ所定の条件を満たす学習結果が得られたときに通知する識別情報を定めておくことにより、より少ない情報で、依頼者が期待する新たな能力が獲得できたことを速やかに知らせることが可能となる。

通知の対象は、通知依頼をした依頼者のほか、学習対象の関係者、学習プログラムの開発者、学習依頼者などを含み得る。通知の対象は、通知対象記憶部に記憶される。通知依頼の依頼者に加えて、通知対象選択部で選択された者が通知対象として通知対象記憶部に記憶される。

＜４．利用例＞
本学習システム１００の能力判定処理の利用例を説明する。

対象の種類を識別するための対象識別装置において、例えば、誤判定率が２０％以上改善されたとき、新たな作物に対応できるようになったとき、立体形状を使って識別できるようになったとき、学習データが大幅に増えて信頼性が上がったとき、新たな種類の動物を識別できるようになったとき等に、今般取得された学習結果により新たな能力が獲得されたことを依頼者に通知する。

画像処理装置においては、例えば、より大きな画像に対応できるようになったとき、扱える階調が増えたとき、分類する種類の数が増えたとき、リアルタイムで処理できる対象が増えたとき等に、依頼者に通知する。

観検査装置など、製品の管理装置においては、例えば、人の官能検査との一致率が向上したとき、新たな入力に対応できるようになったとき、１画像のみの検査から３画像を組み合わせて検査できるようになったとき、依頼者に通知する。

ロボットにおいては、例えば、新たな動作を行う能力を獲得したとき、能力を改善したとき、動作速度が向上したとき、動作精度が向上したとき、動作の評価結果が向上したとき等に、依頼者に通知する。

予測装置においては、例えば、直前までの入力データに基づいて次のデータや状態を予測することができるようになったとき、依頼者に通知する。

車載装置においては、例えば、 環境センサによって識別できる種類が増えたとき、トンネルと陸橋の識別などの誤判定率が向上したとき、発生が懸念される事象に関する不検出率が改善したとき等に、依頼者に通知する。

ゲームの機械プレイヤーにおいては、例えば、経験値やスキルが向上したとき、新たなゲームに対応できるようになったとき等に、依頼者に通知する。

＜５．検査機の実施例＞
本実施形態に係る通知装置を検査機に適用させる場合の例について説明する。例えば、電子回路基板の製造者Ｚは、検査機により製品の良品と不良品の選別を行っている。この例では、製造者Ｚは通知依頼者であり、検査機が製品の良品と不良品の選別をする能力を学習により獲得した学習結果を取得し、通知依頼に含まれる条件を満たす新たな能力が獲得されたものと判定された場合に製造者Ｚに通知し、当該学習結果を検査機に適用する場合について説明する。

まず、図１２を用いて検査機ａの構成について説明する。図１２は検査機ａの構成の一例を示すブロック図である。図１２に示すように検査機ａは、記憶部Ａ１と、入力部Ａ２と、判別部Ａ３と、出力部Ａ４とを備えている。記憶部Ａ１は、例えば学習サービス提供システム１によって行われた学習の学習結果が記憶される。入力部Ａ２は、検査対象の情報を取得する機能を有し、例えばカメラやマイク等のセンサにより構成される。判別部Ａ３は、入力部Ａ２から入力された検査対象の情報（例えば画像等）に基づいて、良品や不良品等の所定の検査対象を判別する機能を有している。また、出力部Ａ４は、判別部Ａ３の判定結果を出力する機能を有する。なお、ここで判定結果を出力するとは、例えば表示装置等に判定結果を表示させる等、判定結果をユーザに提示するだけでなく、所定の検査対象を他の検査対象から選り分ける等の検査機の動作を含むものである。検査機ａは、上記の検査機としての構成のほかに、受付手段と、取得手段と、判定手段と、通知手段部とをさらに備える。受付手段、取得手段、判定手段及び通知手段は、上記実施形態における受付部１５１１、取得部１５１２、判定部１５１３及び通知部１５１４と同等の機能を有するものである。

次に、新たな能力が獲得されたことを、処理検査機ａにおいて判定し、通知する処理について説明する。まず、製造者Ｚが、検査機ａに対して、所定の条件を満たす学習結果が取得された場合に通知するよう通知依頼すると、検査機ａの受付手段が通知依頼情報を受け付けて記憶部に記憶する。例えば、製造者Ｚは、検査機aに備えられたカメラによって撮像された電子回路基板の複数の画像に基づいて良品または不良品を判定する際に、検査機ａに実装されている学習モデルよりも正解率が１０％以上改善することを条件とする通知依頼を行う。

検査機ａの取得手段は、定期または不定期に、ネットワークを介して学習結果を取得する。例えば、学習サービス提供システム１にアクセスし、学習データベース１１から前回アクセスした以降に格納された学習結果とその識別情報を取得する。

検査機ａの判定手段は、取得された学習結果が、通知依頼情報に含まれる条件を満たすものであるか否かを判定し、条件を満たすものである場合には、通知手段により製造者Ｚに通知する。検査機ａは、製造者Ｚからの指示等に応答して、検査機ａに適用する学習モデルを、現在適用してものから今般新たに取得された学習結果に置換することができる。このように、本実施形態に係る通知装置を検査機に適用することによって、検査機ａは実装する学習モデルを自律的に更新できるようになり、検査機の信頼性がより向上する。

以上、本発明の一実施形態について説明した。なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更ないし改良され得るものである。また、上述の処理フローにおける各ステップは処理内容に矛盾を生じない範囲で各ステップの一部を省略したり、各処理ステップの順番を任意に変更して又は並列に実行することができる。

上述の実施形態では、学習依頼と通知依頼を別のものとして説明したが、学習依頼が通知依頼を含むものとしてもよい。すなわち、依頼者が指定した依頼内容に基づいて、学習依頼装置２２が、学習依頼情報と通知依頼情報を作成し、学習サービス提供システム１へと送信する。その後の処理は上述のとおりであり、依頼者は学習依頼に基づく学習結果を受領した後、さらに、依頼者が必要とする能力について新たな能力が獲得されたときに通知を受けることができる。

なお、本明細書において、「部」ないし「手段」とは、単に物理的構成を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」ないし「手段」や装置が有する機能が２つ以上の物理的構成や装置により実現されても、２つ以上の「部」ないし「手段」や装置の機能が１つの物理的手段や装置により実現されてもよい。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
少なくとも１つのハードウェアプロセッサを備え、
前記ハードウェアプロセッサは、
依頼者が指定する条件を受け付け、
機械学習により所定の学習がなされたことによって得られた学習結果を取得し、
前記取得された学習結果の獲得した能力が、前記受け付けられた条件を満たすか否かを判定し、
前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をする
ことを特徴とする通知装置。
（付記２）
少なくとも１つ以上のハードウェアプロセッサによって、
依頼者が指定する条件を受け付けるステップと、
機械学習により所定の学習がなされたことによって得られた学習結果を取得するステップと、
前記取得された学習結果の獲得した能力が、前記受け付けられた条件を満たすか否かを判定するステップと、
前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をするステップと、
を実行する通知方法。

１ 学習サービス提供システム、２ 学習依頼システム、１１ 学習データベース、１２ 学習依頼受付装置、１３ 学習装置、１４ 学習管理装置、１５ 能力判定装置、２１ 学習データ準備装置、２２ 学習依頼装置、２３ 学習結果利用装置、１００ 学習システム、１２１ 学習依頼受付部、１２３ 学習データ記憶部、１２４ 学習依頼内容記憶部、１２５ 通信部、１３１ 学習制御部、１３２ ニューラルネットワーク、１３３ 学習結果抽出部、１３４ 通信部、１３５ 学習結果出力部、１５１ 能力判定制御部、１５１１ 受付部、１５１２ 取得部、１５１３ 判定部、１５１４ 通知部、１５２ 比較対象選択部、１５３ 学習結果比較部、１５４ 識別情報生成部、１５５ 通信部、２１１ 操作部、２１２ 学習データ取得部、２１３ 学習データ記憶部、２１４ データ取得制御部、２１６ 通信部、２２１ 学習依頼部、２２２ 学習依頼内容記憶部、２２３ 学習データ記憶部、２２４ 通信部、２３１ 学習結果入力部、２３２ ニューラルネットワーク設定部、２３３ ニューラルネットワーク、２３４ 制御部、２３５ 入力部、２３６ 通信部、２３７ データ取得部、２３８ 出力部、１０１０ ＣＰＵ、１０２０ ＲＯＭ、１０３０ ＲＡＭ、１０４０ 記憶装置、１０５０ 入力出力部、１０６０ 通信部

Claims (9)

1. 依頼者が指定する条件を受け付ける受付部と、
   機械学習により所定の学習がなされたことによって得られた学習結果を取得する取得部と、
   前記取得部によって取得された学習結果の獲得した能力が、前記受付部によって受け付けられた条件を満たすか否かを判定する判定部と、
   前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をする通知部と、
   を備える通知装置。
2. 前記判定部は、前記取得部によって取得された学習結果の適用範囲が、前記受付部によって受け付けられた条件を満たすか否かを判定する、
   請求項１記載の通知装置。
3. 前記判定部は、前記取得部によって取得された学習結果の学習対象が、前記受付部によって受け付けられた条件を満たすか否かを判定する、
   請求項１又は２記載の通知装置。
4. 前記判定部は、前記取得部によって取得された学習結果の獲得した能力が、所定の学習結果によって獲得された能力と比べて、前記条件の観点からみて同等であるか否かに基づいて前記判定を行う、
   請求項１乃至３のいずれかに記載の通知装置。
5. 前記判定部は、前記取得部によって取得された学習結果の獲得した能力が、前記受付部によって受け付けられた条件を満たすか否かを判定する、
   請求項１乃至４のいずれかに記載の通知装置。
6. 複数の学習結果を格納するデータベースに接続され、
   前記判定部は、前記取得部によって取得された学習結果の獲得した能力が、前記データベースに格納された複数の学習結果のそれぞれが獲得した能力と比較して前記条件を満たすか否かをさらに判定する、
   請求項１乃至５のいずれかに記載の通知装置。
7. 所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用可能な検査機であって、
   依頼者が指定する条件を受け付ける受付部と、
   機械学習により所定の学習がなされたことによって得られた学習結果を取得する取得部と、
   前記取得部によって取得された学習結果の獲得した能力が、前記受付部によって受け付けられた条件を満たすか否かを判定する判定部と、
   前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をする通知部と、
   を備える検査機。
8. コンピュータが、
   依頼者が指定する条件を受け付けるステップと、
   機械学習により所定の学習がなされたことによって得られた学習結果を取得するステップと、
   前記取得された学習結果の獲得した能力が、前記受け付けられた条件を満たすか否かを判定するステップと、
   前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をするステップと、
   を実行する通知方法。
9. コンピュータを、
   依頼者が指定する条件を受け付ける手段、
   機械学習により所定の学習がなされたことによって得られた学習結果を取得する手段、
   前記取得された学習結果の獲得した能力が、前記受け付けられた条件を満たすか否かを判定する手段、及び
   前記判定の結果に基づいて、必要な場合に、前記依頼者に対して通知をする手段、
   として機能させるプログラム。