JP2020161167A - Server device, learned model providing program, learned model providing method, and learned model providing system - Google Patents

Server device, learned model providing program, learned model providing method, and learned model providing system Download PDF

Info

Publication number
JP2020161167A
JP2020161167A JP2020103320A JP2020103320A JP2020161167A JP 2020161167 A JP2020161167 A JP 2020161167A JP 2020103320 A JP2020103320 A JP 2020103320A JP 2020103320 A JP2020103320 A JP 2020103320A JP 2020161167 A JP2020161167 A JP 2020161167A
Authority
JP
Japan
Prior art keywords
model
information
data
conditions
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020103320A
Other languages
Japanese (ja)
Other versions
JP6986597B2 (en
Inventor
圭悟 河合
Keigo Kawai
圭悟 河合
将平 比戸
Shohei Hito
将平 比戸
展行 久保田
Nobuyuki Kubota
展行 久保田
田中 大輔
Daisuke Tanaka
大輔 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019506582A external-priority patent/JP6720402B2/en
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Priority to JP2020103320A priority Critical patent/JP6986597B2/en
Publication of JP2020161167A publication Critical patent/JP2020161167A/en
Priority to JP2021192435A priority patent/JP7280935B2/en
Application granted granted Critical
Publication of JP6986597B2 publication Critical patent/JP6986597B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a server device, a learned model providing program, a learned model providing method, and a learned model providing system that can select and supply optimal learned models for various devices with different environments, conditions, and the like.SOLUTION: A server device 10 capable of communicating via a communication network with at least one or more devices each equipped with a learner that uses a learned model to perform processing includes: a storage unit 15 that is made to a plurality of shared models that have learned in advance according to environments and conditions of various devices; a device data acquisition unit 11 that acquires device data including information on the environment and condition from the devices; a target shared model selection unit 12 that selects a shared model optimal for the device based on the acquired device data; and a transmission unit that transmits the selected shared model to the device.SELECTED DRAWING: Figure 1

Description

本発明は、深層学習等による学習済みモデルを用いて判定・分類等の処理を行う産業上の装置に対して、低コストで学習済みモデルの導入及び最適化を行うための技術に関するものである。 The present invention relates to a technique for introducing and optimizing a trained model at low cost for an industrial device that performs processing such as judgment and classification using a trained model by deep learning or the like. ..

従来、工作機械等のデバイスや完成品の異常検出装置等において、深層学習等によって生成された学習済みモデルを用いて作業対象の特定や異常検出処理等が行われてきた。これらのデバイスにおいては、それぞれのデバイスの作業環境・作業条件等に特化した学習を行うことで作業精度、異常検出精度の向上を図っている。 Conventionally, in devices such as machine tools and abnormality detection devices for finished products, work targets have been identified and abnormality detection processing has been performed using a learned model generated by deep learning or the like. In these devices, the work accuracy and abnormality detection accuracy are improved by performing learning specialized in the work environment and work conditions of each device.

このような学習済モデルを用いたデバイスとしては、例えば、特許文献1及び特許文献2が挙げられる。特許文献1に記載の進化型画像自動分類装置は、様々な特徴量から学習器によって画像を分類する装置であり、特許文献2に記載の金属の表面品質評価装置は、金属の表面を撮影した画像に基づいて学習器で金属の表面品質評価を行うための装置である。 Examples of the device using such a trained model include Patent Document 1 and Patent Document 2. The advanced image automatic classification device described in Patent Document 1 is a device that classifies images by a learner from various feature quantities, and the metal surface quality evaluation device described in Patent Document 2 photographs the surface of metal. It is a device for evaluating the surface quality of metal with a learning device based on an image.

特開2007−213480号公報Japanese Unexamined Patent Publication No. 2007-21340 特開2011−191252号公報Japanese Unexamined Patent Publication No. 2011-191252

特許文献1及び特許文献2を含め、機械学習等によって学習させた学習器を利用して判定・分類等を行う場合には、デバイスの作業環境・作業条件等に特化した学習器の構成を設定した上で学習を行う必要がある。そのような設定を行ってゼロから学習させて精度の高い判定・分類を行えるようになるまでには相当のコストを要する。そして、そのようにしてコストをかけて学習済モデルを得たとしても、作業環境・作業条件等が異なるデバイスにおいては同じ学習済モデルを使用することはできないので、また一から学習を行わせる必要があるという問題があった。 When making judgments, classifications, etc. using a learning device learned by machine learning, etc., including Patent Document 1 and Patent Document 2, the configuration of the learning device specialized for the working environment, working conditions, etc. of the device is used. It is necessary to set and then learn. It takes a considerable cost to make such a setting, learn from scratch, and perform highly accurate judgment / classification. And even if the trained model is obtained at such a cost, the same trained model cannot be used on devices with different working environments, working conditions, etc., so it is necessary to train from scratch again. There was a problem that there was.

これを解決するために、様々な作業環境・作業条件等に対応可能な汎用的な学習モデルを用意するという方法が考えられる。しかし、汎用的な学習モデルは様々な作業環境・作業条件等に対応できるため様々な状況に適用できるメリットがあるが、汎用であるがため、どのような各環境・条件においてはそれに特化したモデルと比べると精度が低くなるという問題があった。また、モデルの複雑性が増し、それを実現するために必要な情報量が大きくなってしまい、演算コストの増加、メモリコストの増加が生じてしまうという問題があった。さらには、各デバイス個体特有の特性をもつ場合、その個体差をも吸収するような汎用性を担保しなければいけないという問題もあった。 In order to solve this, a method of preparing a general-purpose learning model that can correspond to various work environments, work conditions, etc. can be considered. However, the general-purpose learning model has the advantage that it can be applied to various situations because it can correspond to various work environments and work conditions, but because it is general-purpose, it is specialized in any environment and condition. There was a problem that the accuracy was lower than that of the model. In addition, there is a problem that the complexity of the model increases, the amount of information required to realize it increases, the calculation cost increases, and the memory cost increases. Furthermore, when each device has individual characteristics, there is also a problem that versatility must be ensured to absorb the individual differences.

本発明は、上記問題点に鑑みなされたものであり、環境・条件等の異なる様々なデバイスに対して最適な学習済モデルを選択して供給可能なサーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システムを提供することを目的とする。 The present invention has been made in view of the above problems, and is a server device capable of selecting and supplying an optimum trained model for various devices having different environments, conditions, etc., a trained model providing program, and trained. The purpose is to provide a model providing method and a trained model providing system.

本発明に係るサーバ装置は、学習済モデルを用いて処理を行う学習器を具備した少なくとも1以上のデバイスと通信ネットワークを介して通信可能なサーバ装置であって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを複数記憶させた記憶部と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得部と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択部と、選択した共有モデルを当該デバイスに対して送信する送信部とを具備してなることを特徴とする。 The server device according to the present invention is a server device capable of communicating with at least one device provided with a learning device that performs processing using a trained model via a communication network, and can be used in various device environments and conditions. Optimal for the device based on the storage unit that stores a plurality of shared models that have been learned in advance, the device data acquisition unit that acquires device data including environment and condition information from the device, and the acquired device data. It is characterized by including a target shared model selection unit for selecting a shared model and a transmission unit for transmitting the selected shared model to the device.

また、本発明に係るサーバ装置は、共有モデルの追加学習を行うためのサンプルデータを利用して共有モデルに対して追加学習を行う追加学習処理部と、追加学習済モデルを記憶して管理する追加学習済モデル管理部とを具備し、前記送信部は、共有モデルに対して追加学習を行った際には当該デバイスに対して追加学習済モデルを送信するようにしたことを特徴とする。 Further, the server device according to the present invention stores and manages an additional learning processing unit that performs additional learning on the shared model using sample data for performing additional learning of the shared model, and an additional learning model. It is characterized in that it includes an additional learning model management unit, and the transmission unit transmits the additional learning model to the device when additional learning is performed on the shared model.

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、デバイスデータ取得部において取得したデバイスデータの内容が、前記追加学習済モデル管理部によって記憶された他のデバイスに基づく追加学習済モデルを適用可能なものである場合には、共有モデルよりも当該追加学習済モデルを優先して選択するようにし、前記送信部は、選択された追加学習済モデルを当該デバイスに送信するようにしたことを特徴とする。 Further, in the server device according to the present invention, in the target shared model selection unit, the content of the device data acquired by the device data acquisition unit has been additionally learned based on another device stored by the additional learning model management unit. If the model is applicable, the additional trained model should be selected in preference to the shared model, and the transmitter should transmit the selected additional trained model to the device. It is characterized by having done it.

また、本発明に係るサーバ装置は、共有モデルに対して追加学習処理を行う機能を有したデバイスから送信された追加学習済モデルを受信して記憶部に記憶させる追加学習済モデル管理部を備えたことを特徴とする。 Further, the server device according to the present invention includes an additional learning model management unit that receives an additional learning model transmitted from a device having a function of performing additional learning processing on the shared model and stores it in the storage unit. It is characterized by that.

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、前記デバイスから得たデバイスデータに基づいて各共有モデルの当該デバイスに対する適合度を評価したスコアをそれぞれ算出し、そのスコアに従って共有モデルの選択を行うようにしたことを特徴とする。 Further, in the server device according to the present invention, the target shared model selection unit calculates a score for evaluating the suitability of each shared model for the device based on the device data obtained from the device, and shares the score according to the score. The feature is that the model is selected.

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、デバイスデータに基づいて機械学習を使って最適な共有モデルを選択すること予め学習した学習済モデルによって共有モデルを選択するようにしたことを特徴とする。 Further, in the server device according to the present invention, the target shared model selection unit selects the optimum shared model by using machine learning based on the device data. The shared model is selected by the trained model learned in advance. It is characterized by having done it.

本発明に係る学習済モデル提供プログラムは、学習済モデルを用いて処理を行う学習器を具備した少なくとも1以上のデバイスと通信ネットワークを介して通信可能なサーバ装置に学習済モデルの選択処理を実行させるための各機能を実現させるための学習済モデル提供プログラムであって、前記サーバ装置に、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを記憶手段によって複数記憶させる記憶機能と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得機能と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択機能と、選択した共有モデルを当該デバイスに対して送信する送信機能とを実現させることを特徴とする。 The trained model providing program according to the present invention executes a trained model selection process on a server device capable of communicating with at least one device provided with a learning device that performs processing using the trained model via a communication network. It is a trained model providing program for realizing each function for making the data, and is a storage function for storing a plurality of shared models that have been learned in advance according to the environment and conditions of various devices in the server device by a storage means. A device data acquisition function that acquires device data including environment and condition information from the device, a target sharing model selection function that selects the optimum sharing model for the device based on the acquired device data, and selected sharing. It is characterized by realizing a transmission function of transmitting a model to the device.

本発明に係る学習済モデル提供方法は、学習済モデルを用いて処理を行う学習器を具備したデバイスに対して最適な学習済モデルを選択して提供する処理を実行するための学習済モデル提供方法であって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを記憶手段によって複数記憶させる記憶処理と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得処理と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択処理と、選択した共有モデルを当該デバイスに対して送信する送信処理とを含むことを特徴とする。 The trained model providing method according to the present invention provides a trained model for executing a process of selecting and providing an optimum trained model for a device provided with a learning device that performs processing using the trained model. It is a method, which is a storage process in which a plurality of shared models learned in advance according to various device environments and conditions are stored by a storage means, and device data for acquiring device data including environment and condition information from the device. It is characterized by including an acquisition process, a target shared model selection process for selecting the optimum shared model for the device based on the acquired device data, and a transmission process for transmitting the selected shared model to the device. ..

本発明に係る学習済モデル提供システムは、学習済モデルを用いて処理を行う学習器を具備した少なくとも1以上のデバイスと、前記デバイスと通信ネットワークを介して通信可能な少なくとも1以上のサーバ装置とを具備してなる学習済モデル提供システムであって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを少なくとも1以上記憶させた記憶部を前記サーバ装置及び/又はデバイスに備え、学習済モデルを必要とするデバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得部と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを検索して選択する対象共有モデル選択部とを前記サーバ装置に備え、選択された共有モデルを学習済モデルを必要とする前記デバイスに対して送信する送信部をサーバ装置及び/又はデバイスに備えていることを特徴とする。 The trained model providing system according to the present invention includes at least one device provided with a learning device that performs processing using the trained model, and at least one server device capable of communicating with the device via a communication network. The server device and / or device is provided with a storage unit that stores at least one shared model that has been trained in advance according to the environment and conditions of various devices. , The device data acquisition unit that acquires device data including environment and condition information from the device that requires the trained model, and the target sharing that searches and selects the most suitable sharing model for the device based on the acquired device data. The server device is provided with a model selection unit, and the server device and / or the device is provided with a transmission unit for transmitting the selected shared model to the device that requires a trained model.

また、本発明に係る学習済モデル提供システムは、前記対象共有モデル選択部は、学習済モデルを必要とするデバイスから得たデバイスデータに基づいて各共有モデルの当該デバイスに対する適合度を評価したスコアをそれぞれ算出し、そのスコアに従って共有モデルの選択を行うようにしたことを特徴とする。 Further, in the trained model providing system according to the present invention, the target shared model selection unit evaluates the goodness of fit of each shared model to the device based on the device data obtained from the device that requires the trained model. Is calculated respectively, and the shared model is selected according to the score.

また、本発明に係る学習済モデル提供システムは、前記デバイスは、共有モデルに対して追加学習処理を行う機能を有しており、前記サーバ装置は、前記デバイスから送信された追加学習済モデルを受信して記憶部に記憶させる追加学習済モデル管理部を備えており、前記サーバ装置の対象共有モデル選択部は、共有モデルに加えて追加学習済モデルも選択肢に含めて選択を行うようにしたことを特徴とする。 Further, in the trained model providing system according to the present invention, the device has a function of performing additional learning processing on the shared model, and the server device uses the additional learning model transmitted from the device. It is equipped with an additional trained model management unit that receives and stores it in the storage unit, and the target shared model selection unit of the server device selects the additional trained model in addition to the shared model. It is characterized by that.

また、本発明に係る学習済モデル提供システムは、前記デバイスは、共有モデルに対して追加学習処理を行う機能を有し、また、追加学習済モデルを記憶させる記憶部と、追加学習済モデルの選択に必要な情報を前記サーバ装置に送信する追加学習済モデル情報送信部とを備えており、前記サーバ装置の対象共有モデル選択部は、前記共有モデルに加えて前記デバイスの記憶部に記憶された追加学習済モデルも選択肢に含めて選択を行うようにしたことを特徴とする。 Further, in the trained model providing system according to the present invention, the device has a function of performing additional learning processing on the shared model, and also has a storage unit for storing the additional trained model and an additional trained model. It is provided with an additional learned model information transmission unit that transmits information necessary for selection to the server device, and the target shared model selection unit of the server device is stored in a storage unit of the device in addition to the shared model. The feature is that the additional trained model is also included in the options to make the selection.

本発明によれば、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルをその環境や条件に応じて分類されて複数記憶させたサーバ装置において最適な共有モデルを選択してデバイスに送信することで、上述したようなこれまでの汎用的な学習モデルを使った場合に対して、状況に合わせた高精度な判別/分類を実現しつつ、かつ学習モデルで表現する複雑性が減少するために演算およびメモリのコストは下げられるメリットがある。またデバイスで独自に学習済モデルを生成する場合に比較して導入コストを大幅に低減できるというメリットがある。また、追加学習処理機能を持たせることで、デバイスの環境・条件により特化した追加学習済モデルを得られるため、デバイスにおいて精度の高い推論処理を追加的に実施することが可能となる。この追加学習処理において、デバイスの環境・条件に応じて適切な共有モデルをベースに追加学習を行うことによって、転移学習と呼ばれる作用の効果を多く得ることができる。転移学習は、デバイスの環境・条件が全く同一ではない環境間において、他環境で作成した共有モデルの重みをうまく使うことによって、追加学習させたい環境で、効率よく学習を行うことを期待するものである。
また、追加学習済モデルをサーバ装置においても記憶させて管理するようにすることで、同一環境・条件の他のデバイスから要求があった時に、追加学習済モデルを即座に提供することが可能となる。これは、汎用的な学習モデルを利用する場合に比較して、追加学習のための演算コスト及びメモリコストを縮小することが可能となる。さらに、少なくとも1以上のデバイスと少なくとも1以上のサーバ装置とを具備してなる学習済モデル提供システムを構成することで、複数のサーバ装置及び/又はデバイスの記憶部に記憶された共有モデルから最適な共有モデルを選択してデバイスに提供することが可能となるため、より膨大なデータの選択肢の中から最適な共有モデルを選択可能となる。
According to the present invention, a device is selected by selecting the optimum shared model in a server device in which a plurality of shared models that have been learned in advance according to the environment and conditions of various devices are classified according to the environment and conditions and stored. By sending to, the complexity of expressing with the learning model while realizing highly accurate discrimination / classification according to the situation compared to the case of using the conventional general-purpose learning model as described above There is an advantage that the cost of calculation and memory can be reduced because it is reduced. In addition, there is an advantage that the introduction cost can be significantly reduced as compared with the case where the trained model is generated independently by the device. Further, by providing the additional learning processing function, it is possible to obtain an additional learning model specialized according to the environment and conditions of the device, so that it is possible to additionally perform highly accurate inference processing on the device. In this additional learning process, by performing additional learning based on an appropriate shared model according to the environment and conditions of the device, many effects of an action called transfer learning can be obtained. Transfer learning is expected to efficiently perform learning in an environment where additional learning is desired by making good use of the weights of shared models created in other environments between environments where the device environment and conditions are not exactly the same. Is.
In addition, by storing and managing the additionally trained model in the server device, it is possible to immediately provide the additionally trained model when there is a request from another device with the same environment and conditions. Become. This makes it possible to reduce the calculation cost and the memory cost for additional learning as compared with the case of using a general-purpose learning model. Further, by configuring a trained model providing system including at least one or more devices and at least one server device, the shared model stored in the storage units of the plurality of server devices and / or the devices is optimized. Since it is possible to select an appropriate sharing model and provide it to the device, it is possible to select the optimum sharing model from a larger amount of data options.

本発明に係るサーバ装置10の構成を表したブロック図である。It is a block diagram which showed the structure of the server apparatus 10 which concerns on this invention. 追加学習の学習処理の流れを示したフローチャート図である。It is a flowchart which showed the flow of the learning process of additional learning. デバイス20において推論処理を行うまでの流れを示したフローチャート図である。It is a flowchart which showed the flow until the inference processing is performed in a device 20.

[第1の実施の形態]
以下、図面を参照しながら、第1の実施の形態に係るサーバ装置の例について説明する。図1は、本発明に係るサーバ装置10の構成を表したブロック図である。サーバ装置10は、複数のデバイス201、202、・・・、20nと通信ネットワーク30を介して通信可能に接続されている。なお、サーバ装置10及びデバイス201〜20nは、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、サーバ装置10及びデバイス201〜20nは、一般的なコンピュータが通常備えているであろうCPU(Central Processing Unit:中央演算処理装置)、GPU(Graphics Processing Unit:画像処理装置)、メモリ、ハードディスクドライブ等のストレージなどを適宜備えているものとする(図示省略)。また、これらの一般的なコンピュータを本例のサーバ装置10として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
[First Embodiment]
Hereinafter, an example of the server device according to the first embodiment will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a server device 10 according to the present invention. The server device 10 is communicably connected to a plurality of devices 201, 202, ..., 20n via the communication network 30. The server device 10 and the devices 201 to 20n may be devices designed as dedicated machines, but can be realized by a general computer. In this case, the server device 10 and the devices 201 to 20n include a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a memory that a general computer would normally have. , Storage such as a hard disk drive, etc. shall be provided as appropriate (not shown). Further, it goes without saying that various processes are executed by the program in order to make these general computers function as the server device 10 of this example.

サーバ装置10は、デバイスデータ取得部11と、対象共有モデル選択部12と、追加学習処理部13と、追加学習済モデル管理部14と、記憶部15とを少なくとも備えている。 The server device 10 includes at least a device data acquisition unit 11, a target sharing model selection unit 12, an additional learning processing unit 13, an additional learning model management unit 14, and a storage unit 15.

デバイスデータ取得部11は、デバイス201〜20nの何れかにおいて生成されたデバイスの環境、条件の情報を含むデバイスデータを取得する機能を有する。ここで、デバイスデータとは、デバイスの環境、条件、データの単位等の属性を定義するために必要なデータ、追加で学習を行うために必要なラベル情報付のサンプルデータ、実際のデバイスにおけるセンサデータ、ネットワークのログデータなどデバイスで取得可能な様々なデータを含むものである。少なくとも、共有モデルを選択するために必要なデータを含んだデバイスデータである必要がある。具体的には、工場のロボットの位置データやアクチュエータトルク量、加速度センサデータ、車載カメラやレーザーレーダーなどで取得されるデプスを含むもしくは含まない画像データ、変位センサデータ、プロセスオートメーションの各種プロセスデータ、インフラや農業、バイオヘルスケアなどにおける各種データなどのセンサデータ、ネットワークのログデータや、正常品や異常品を含む製品の写真データや、音声データ、機械の種類、ワークの種類、センサの種類、地理的情報など、様々なデータがデバイスデータとして使用され得る。 The device data acquisition unit 11 has a function of acquiring device data including information on the device environment and conditions generated in any of the devices 201 to 20n. Here, the device data is data necessary for defining attributes such as device environment, conditions, and data units, sample data with label information necessary for additional learning, and sensors in an actual device. It includes various data that can be acquired by the device, such as data and network log data. At a minimum, it must be device data that contains the data needed to select a shared model. Specifically, factory robot position data, actuator torque amount, acceleration sensor data, image data including or not including depth acquired by in-vehicle cameras and laser radar, displacement sensor data, various process data of process automation, Sensor data such as various data in infrastructure, agriculture, bio-healthcare, network log data, photo data of products including normal and abnormal products, voice data, machine type, work type, sensor type, Various data, such as geographic information, can be used as device data.

また、デバイスの環境、条件は、例えば、デバイスがピッキングを行う作業機械である場合であってピッキングの対象となるワーク形状の種類がいくつかに分かれているといった場合などのように、デバイスに要求される環境、条件等は個別に異なる。また、製品を異常品と正常品を判定する装置なのか、製品を複数項目に分類するための装置なのかなど、学習器に求められる機能もデバイスごとに異なる。そのため、デバイスごとに異なる個別の環境、条件等の情報をデバイスデータとして取得する必要がある。この環境、条件等の情報は、フォーマットに従ってデバイス側で入力されるものであってもよいし、様々なデータからサーバ装置10において判別して環境、条件等の情報を定義するようにしてもよい。その際には、取得したデータを用いて機械学習によって環境、条件等の情報の定義を特定する手法であってもよい。 In addition, the device environment and conditions are required of the device, for example, when the device is a work machine for picking and the types of work shapes to be picked are divided into several types. The environment and conditions to be used differ individually. In addition, the functions required of the learning device, such as whether the product is a device for judging an abnormal product and a normal product or a device for classifying the product into a plurality of items, also differ depending on the device. Therefore, it is necessary to acquire information such as individual environments and conditions that differ for each device as device data. The information such as the environment and conditions may be input on the device side according to the format, or the information such as the environment and conditions may be defined by discriminating from various data in the server device 10. .. In that case, it may be a method of specifying the definition of information such as environment and conditions by machine learning using the acquired data.

対象共有モデル選択部12は、デバイスデータ取得部11において取得したデバイスデータに基づいて、当該デバイスに最適な共有モデルを選択する機能を有する。ここで、共有モデルとは、様々なデバイスの環境、条件に合わせて予め学習を行ったモデルのことをいい、後述する記憶部15に複数の共有モデルを予め記憶させておく。予め行う学習の程度としてはどのような水準に設定してもよいが、少なくとも、デバイスでゼロから学習を行うよりも効率が良くコストダウンに寄与する程度に学習が行われているものであることが好ましい。この対象共有モデル選択部12における選択は、取得したデバイスデータに基づいて行うが、取得したデバイスデータのうち何れを共有モデルの選択のために利用するかは適宜決定可能なものである。また共有モデルの選択の方法は、デバイスデータの各項目の一致度から自動的に選択してもよいし、一致度の高い共有モデルを複数個複数個ユーザに提示してユーザに選択させるようにしてもよい。項目の一致度は、例えば、デバイスデータの各項目が一致するか否かを項目ごとに判定して、項目の一致数によって判定する。なお、デバイスの環境、条件等の定義にマッチした共有モデルが見つからない場合には、その定義に適したニューラルネットワークの構造からなる新規のモデルを生成するようにしてもよい。なお、対象となる共有モデルの選択方法は、予め設定した規則に基づいて共有モデルが選択される方法であってもよいし、最適な共有モデルを選択するための学習モデルを学習させた共有モデル選択についての学習済モデル(共有モデル及び追加学習済モデルとは異なる学習済モデルであり、共有モデルの選択行為を学習したもの)によって共有モデルを選択する方法であってもよい。 The target shared model selection unit 12 has a function of selecting the optimum shared model for the device based on the device data acquired by the device data acquisition unit 11. Here, the shared model refers to a model that has been trained in advance according to the environment and conditions of various devices, and a plurality of shared models are stored in advance in the storage unit 15 described later. The degree of learning to be performed in advance may be set to any level, but at least the learning is performed to the extent that it is more efficient than learning from scratch on the device and contributes to cost reduction. Is preferable. The selection in the target shared model selection unit 12 is performed based on the acquired device data, but it is possible to appropriately determine which of the acquired device data is used for selecting the shared model. Further, the method of selecting the shared model may be automatically selected from the degree of matching of each item of the device data, or a plurality of shared models having a high degree of matching are presented to the user so that the user can select the shared model. You may. The degree of matching of items is determined by, for example, determining whether or not each item of device data matches for each item, and determining by the number of matching items. If a shared model that matches the definition of the device environment, conditions, etc. is not found, a new model having a neural network structure suitable for the definition may be generated. The method of selecting the target shared model may be a method of selecting the shared model based on a preset rule, or a shared model in which a learning model for selecting the optimum shared model is trained. It may be a method of selecting a shared model by a trained model for selection (a trained model different from the shared model and the additional trained model, which has learned the selection action of the shared model).

また、対象共有モデル選択部12において最適な共有モデルを選択する手法として、前記デバイスから得た環境、条件をもとに各共有モデルに対して評価したスコアをそれぞれ算出し、そのスコアに従って選択を行うようにしてもよい。共有モデルの適合度の評価であるスコアは、機械の種類、ワークの種類、センサの種類、地理的情報などのベースとなる環境・条件についてのデバイスデータに加えて、工場のロボットの位置データやアクチュエータトルク量、加速度センサデータ、車載カメラやレーザーレーダーなどで取得されるデプスを含むもしくは含まない画像データ、変位センサデータ、プロセスオートメーションの各種プロセスデータ、インフラや農業、バイオヘルスケアなどにおける各種データなどのセンサデータ、ネットワークのログデータや、正常品や異常品を含む製品の写真データや、音声データなどのより詳細なデバイスデータを加味して評価を行う。これらの各項目をどのように評価してスコア化するかを予め設定しておき、共有モデルごとに項目毎の点数を合計した合計スコアを算出する。実際の共有モデルの選択は、最もスコアの高い共有モデルを自動的に選択するようにしてもよいし、スコアの高い共有モデルを複数個ユーザに提示してユーザに選択させるようにしてもよい。なお、適合度の評価であるスコアを算出して最適な共有モデルを選択するための学習モデルを学習させて学習済モデルによって共有モデルを選択する方法であってもよい。この場合、各デバイスデータをどのようにスコア化するかについても学習モデルが学習していくため、最適な共有モデルの選択が可能となる。 In addition, as a method of selecting the optimum shared model in the target shared model selection unit 12, a score evaluated for each shared model is calculated based on the environment and conditions obtained from the device, and selection is made according to the score. You may do it. The score, which is an evaluation of the suitability of the shared model, includes device data on the underlying environment and conditions such as machine type, work type, sensor type, and geographical information, as well as factory robot position data and Actuator torque amount, acceleration sensor data, image data including or not including depth acquired by in-vehicle camera or laser radar, displacement sensor data, various process data of process automation, various data in infrastructure, agriculture, bio-healthcare, etc. The evaluation is performed by adding more detailed device data such as sensor data, network log data, photo data of products including normal and abnormal products, and voice data. How to evaluate and score each of these items is set in advance, and the total score is calculated by summing the points for each item for each shared model. The actual shared model may be selected by automatically selecting the shared model having the highest score, or by presenting a plurality of shared models with the highest score to the user and letting the user select the shared model. In addition, a method may be used in which a learning model for calculating a score which is an evaluation of goodness of fit and selecting an optimum shared model is trained and a shared model is selected by a trained model. In this case, since the learning model also learns how to score each device data, it is possible to select the optimum shared model.

追加学習処理部13は、対象共有モデル選択部12において選択された共有モデルに対して追加学習を行う機能を有する。共有モデルは、予め学習が行われているとはいえ、そのデバイスに特化した環境、条件での学習は行っていない状況であるため、高精度の判定、分類等を行うためには、追加の学習を行って微調整することが好ましい。そこで、デバイスデータ取得部11において、追加学習において入力データとして用いるためのサンプルデータを併せて取得し、取得したサンプルデータを用いて共有モデルの追加学習を行う。ここで追加学習においては、ニューラルネットワークの全層を対象にして重みを再学習することに限らず、一部をフリーズさせておいてそれ以外の層だけを学習しなおすことや、層をさらに追加することも含まれる。これにより、そのデバイスに特化した環境、条件での学習内容が追加されて、より最適なモデルとして微調整された追加学習済モデルを生成することができる。追加学習処理部13として機能するためには、学習器として機能するための構成がサーバ装置10に求められる。 The additional learning processing unit 13 has a function of performing additional learning on the shared model selected by the target shared model selection unit 12. Although the shared model has been trained in advance, it is not trained under the environment and conditions specialized for the device, so it is added in order to perform high-precision judgment, classification, etc. It is preferable to perform fine adjustment by learning. Therefore, the device data acquisition unit 11 also acquires sample data to be used as input data in the additional learning, and additionally learns the shared model using the acquired sample data. Here, in the additional learning, the weight is not limited to re-learning for all layers of the neural network, but a part of the neural network is frozen and only the other layers are relearned, or additional layers are added. It also includes doing. As a result, the learning content under the environment and conditions specialized for the device is added, and the additionally trained model finely tuned as a more optimal model can be generated. In order to function as the additional learning processing unit 13, the server device 10 is required to have a configuration for functioning as a learning device.

追加学習済モデル管理部14は、追加学習処理部13において生成された追加学習済モデルを後述する記憶部15に対して記憶させるとともに、対象となるデバイスに対して追加学習済モデルを送信する機能を有する。また、追加学習済モデルを条件の一致する他のデバイスで利用可能なように、その環境、条件等の定義情報を設定した上で管理する機能を有する。このように、追加学習済モデルに対しても環境、条件等の定義情報を定めておくことにより、対象共有モデル選択部12において、デバイスに適した共有モデルを選択する際に、他のデバイスに基づいて生成された追加学習済モデルについても選択肢の候補とすることが可能となる。 The additional learning model management unit 14 has a function of storing the additional learning model generated in the additional learning processing unit 13 in the storage unit 15 described later and transmitting the additional learning model to the target device. Have. In addition, it has a function to manage the additionally trained model after setting definition information such as its environment and conditions so that it can be used by other devices having matching conditions. In this way, by defining the definition information such as the environment and conditions for the additionally trained model, when the target shared model selection unit 12 selects the shared model suitable for the device, the other device can be selected. The additional trained model generated based on the above can also be a candidate for the option.

記憶部15は、様々なデバイスの環境、条件に合わせて予め学習を行った複数の共有モデルを記憶させる機能を有する。また、共有モデルに対してデバイスに特化した環境、条件を学習させるためのサンプルデータを適用して学習させた追加学習済モデルについても、この記憶部15に記憶させる。なお、記憶部15は、必ずしもサーバ装置10にある必要はなく、デバイス側に具備されているようなシステムでもよい。その場合には、サーバ装置10において対象となる共有モデルが何れに格納されているかの情報を保持し、必要に応じて格納場所からデバイスに転送する。 The storage unit 15 has a function of storing a plurality of shared models that have been learned in advance according to the environment and conditions of various devices. Further, the storage unit 15 also stores the additionally trained model trained by applying the sample data for training the device-specific environment and conditions to the shared model. The storage unit 15 does not necessarily have to be in the server device 10, and may be a system provided on the device side. In that case, the server device 10 retains information on where the target shared model is stored, and transfers it from the storage location to the device as needed.

次に、サーバ装置10において共有モデルを選択し、追加学習を行うまでの処理の流れについて説明を行う。図2に示すのは、追加学習の学習処理の流れを示したフローチャート図である。この図2において、先ず、デバイスに適した共有モデルを選択するために、デバイスデータを収集する(S11)。具体的には、デバイス20から送信されるデバイスデータをデバイスデータ取得部11において受信してデバイスデータを収集する。収集したデバイスデータに基づいて、デバイスデータの属性を定義する(S12)。デバイスデータの属性とは、共有モデルを選択するために必要なデバイスの環境、条件等の情報であり、これを定義する。そして、定義したデバイスデータの属性に基づいて、共有モデルを検索する(S13)。このときの検索対象として、他のデバイスで追加学習を行って生成された追加学習済モデルも含めるようにしてもよい。検索の結果、該当する共有モデルが存在するか否かを判定する(S14)。該当する共有モデルが存在した場合には、当該共有モデルを選択して次のステップ(S16)に進み、該当する共有モデルが存在しなかった場合には、デバイス20の条件に一致したニューラルネットワークの構成からなる学習モデルを新規に生成して(S15)、次のステップ(S16)に進む。 Next, the flow of processing from selecting the shared model in the server device 10 to performing additional learning will be described. FIG. 2 is a flowchart showing the flow of learning processing for additional learning. In FIG. 2, first, device data is collected in order to select a shared model suitable for the device (S11). Specifically, the device data acquisition unit 11 receives the device data transmitted from the device 20 and collects the device data. Based on the collected device data, the attributes of the device data are defined (S12). The device data attribute is information such as the device environment and conditions required to select the shared model, and defines this. Then, the shared model is searched based on the defined device data attributes (S13). The search target at this time may include an additionally trained model generated by performing additional learning on another device. As a result of the search, it is determined whether or not the corresponding shared model exists (S14). If the corresponding shared model exists, the shared model is selected and the process proceeds to the next step (S16). If the corresponding shared model does not exist, the neural network that matches the conditions of the device 20 is used. A new learning model consisting of the configuration is generated (S15), and the process proceeds to the next step (S16).

共有モデルを選択、若しくは、新規に学習モデルを生成した後に、その共有モデル若しくは新規学習モデルに対して、学習器によって追加の学習を実施する(S16)。追加の学習は、デバイス20から収集した追加学習を行うためのサンプルデータを利用して行う。追加学習の完了後、生成した追加学習済モデルを記憶部15に記憶させる(S17)。サーバ装置10は、この生成した追加学習済モデルをデバイス20に送信する。 After selecting the shared model or generating a new learning model, additional learning is performed on the shared model or the new learning model by the learner (S16). The additional learning is performed by using the sample data for performing the additional learning collected from the device 20. After the completion of the additional learning, the generated additional learning model is stored in the storage unit 15 (S17). The server device 10 transmits the generated additional trained model to the device 20.

なお、デバイス20側において追加学習処理を行う機能を備えている場合や、選択された共有モデルが追加学習の必要のない状態でデバイス20の条件にマッチしている場合には、この図2のステップ(S16)とステップ(S17)は省略して、選択された共有モデルをそのままデバイス20に送信することもあり得る。 If the device 20 has a function to perform additional learning processing, or if the selected shared model matches the conditions of the device 20 without the need for additional learning, FIG. 2 shows. It is possible that step (S16) and step (S17) are omitted and the selected shared model is transmitted to the device 20 as it is.

次に、デバイス20において共有モデルをダウンロードして、推論処理を行うまでの流れについて説明を行う。図3に示すのは、デバイス20において推論処理を行うまでの流れを示したフローチャート図である。この図3において、推論処理を行いたいデバイス20は、先ず、デバイスデータの収集を行う(S21)。収集したデバイスデータに基づいて、デバイスデータの属性を定義する(S22)。なお、このデバイスデータの属性の定義は、サーバ装置10側において行ってもよい。そして、デバイスデータを用いて最適な共有モデルを検索するために、サーバ装置10に対してデバイスデータを送信する(S23)。デバイスデータを受信したサーバ装置10では、最適な共有モデルの選択が行われ、必要に応じて追加学習が行われる。そして、デバイス20において、サーバ装置10で選択された共有モデル若しくは追加学習済モデルを学習器にダウンロードして記憶させる(S24)。最後に、デバイス20では、共有モデル若しくは追加学習済モデルを学習器に記憶させた状態において、デバイスデータを利用して学習器において推論処理を行って、出力データとしての推論結果を得る(S25)。 Next, the flow from downloading the shared model to the device 20 and performing the inference process will be described. FIG. 3 is a flowchart showing a flow until the inference process is performed in the device 20. In FIG. 3, the device 20 that wants to perform inference processing first collects device data (S21). Based on the collected device data, the attributes of the device data are defined (S22). The attribute of the device data may be defined on the server device 10 side. Then, the device data is transmitted to the server device 10 in order to search for the optimum shared model using the device data (S23). In the server device 10 that has received the device data, the optimum sharing model is selected, and additional learning is performed as necessary. Then, in the device 20, the shared model or the additionally trained model selected by the server device 10 is downloaded to the learner and stored (S24). Finally, in the device 20, in a state where the shared model or the additionally trained model is stored in the learner, the device data is used to perform inference processing in the learner to obtain the inference result as output data (S25). ..

出力データは、行う推論処理によって全く異なるものであるが、例えば、予定している行動の正しさの判定、部品の異常度の判定、システム異常度の判定、良品か不良品かの検査結果、映像に映ったオブジェクトの名前(分類処理)、映像に映った人物の人種、性別などの特徴、特定のルールに基づいて加工された写真、音声、文章などが出力データとして出力される。 The output data is completely different depending on the inference processing to be performed. For example, judgment of correctness of planned action, judgment of abnormality degree of parts, judgment of system abnormality degree, inspection result of good or defective product, The name (classification process) of the object shown in the video, the characteristics such as the race and gender of the person shown in the video, the photograph, sound, text, etc. processed based on a specific rule are output as output data.

なお、デバイス20に側において追加学習処理を行う機能を備えている場合には、図3のステップ(S24)の後で、共有モデルに対して追加学習を行うようにしてもよい。デバイス20側で追加学習を行った場合には、その追加学習済モデルをサーバ装置10にアップロードする構成とすれば、デバイス20側で追加学習を行った追加学習済モデルについても、他のデバイスで利用することが可能となる。 If the device 20 has a function of performing additional learning processing on the side, additional learning may be performed on the shared model after the step (S24) of FIG. When the additional learning is performed on the device 20 side, the additional learning model is uploaded to the server device 10, so that the additional learning model on the device 20 side can also be uploaded to the server device 10 on another device. It will be possible to use it.

図1の状態を例に本発明の具体的な運用例を説明すると、例えば、デバイス201がサーバ装置10に対してデバイスデータを送信して選択された共有モデルが「モデルA」であり、デバイス201のデバイスデータに含まれるサンプルデータに基づいて追加学習を行って得られた追加学習済モデルが「モデルA’」であったとする。また、デバイス202がサーバ装置10に対してデバイスデータを送信して選択された共有モデルが「モデルB」であり、デバイス202のデバイスデータに含まれるサンプルデータに基づいて追加学習を行って得られた追加学習済モデルが「モデルB’」であったとする。このように、デバイス201、202はそれぞれ、自身のデバイスの環境、条件等の情報を含むデバイスデータをサーバ装置10に送信するだけで最適かつ追加学習済みの学習済モデルを取得できるので、デバイス201、202において独自に学習済モデルを生成する場合に比較して導入コストを大幅に低減できるというメリットがある。 Explaining a specific operation example of the present invention by taking the state of FIG. 1 as an example, for example, the shared model selected by the device 201 transmitting device data to the server device 10 is the “model A”, and the device. It is assumed that the additionally trained model obtained by performing additional training based on the sample data included in the device data of 201 is "model A'". Further, the shared model selected by the device 202 transmitting the device data to the server device 10 is the "model B", which is obtained by performing additional learning based on the sample data included in the device data of the device 202. It is assumed that the additional trained model is "model B'". In this way, the devices 201 and 202 can acquire the optimum and additionally trained trained model only by transmitting the device data including the information such as the environment and conditions of their own devices to the server device 10, respectively. , 202 has an advantage that the introduction cost can be significantly reduced as compared with the case where the trained model is independently generated.

また、図1において、デバイス20nがサーバ装置10に対してデバイスデータを送信して共有モデルを要求したときに、デバイス20nのデバイスデータから定義される環境、条件等がデバイス201と同一であり、同じ学習済モデルを適用できるとサーバ装置10が判断した場合には、「モデルA」に基づいて追加学習を行うのではなく、追加学習済モデルである「モデルA’」をデバイス20nに送信すれば、デバイス20nでそのまま推論処理が可能となる。このように、同一環境、条件の他のデバイスに基づいて生成された追加学習済モデルが存在する場合には直接それを利用することが可能となるため、より一層導入コストを抑え、かつ、導入までの時間短縮が可能となる。また、汎用的な学習モデルを利用する場合に比較して、最適なニューラルネットワークのサイズを適用できるため、追加学習のための演算コスト及びメモリコストを縮小することが可能となる。 Further, in FIG. 1, when the device 20n transmits device data to the server device 10 and requests a shared model, the environment, conditions, and the like defined from the device data of the device 20n are the same as those of the device 201. When the server device 10 determines that the same trained model can be applied, the additional trained model "model A'" is transmitted to the device 20n instead of performing additional training based on the "model A". For example, the device 20n can perform inference processing as it is. In this way, if there is an additional trained model generated based on other devices in the same environment and conditions, it can be used directly, so the introduction cost can be further reduced and the introduction can be performed. It is possible to shorten the time until. Further, since the optimum neural network size can be applied as compared with the case of using a general-purpose learning model, it is possible to reduce the calculation cost and the memory cost for additional learning.

また、同一工場内において扱う製品が変更されるような状況において、従来は製品が変わる度にゼロから学習を行う必要があったが、本発明のサーバ装置10によれば、扱う製品の変更のタイミングで最適な共有モデルを再度検索してダウンロードすればよいことになる。すなわち、同一のデバイス20における処理内容が変更されるような場合に最適な共有モデルの導入が容易であるというメリットがある。そして、同じ処理内容の他のデバイスによって追加学習済モデルが生成されていれば、追加学習処理の手間をかけることなる精度の高い推論処理を行える追加学習済モデルを即座に導入できるというメリットがある。このように、多数のデバイス201〜20nがサーバ装置10にアクセスして追加学習済モデルのデータが蓄積されていくという点も、本発明のサーバ装置10のメリットである。 Further, in a situation where the products handled in the same factory are changed, it is conventionally necessary to learn from scratch every time the products are changed, but according to the server device 10 of the present invention, the products handled are changed. You can search for and download the optimal sharing model again at the right time. That is, there is an advantage that it is easy to introduce the optimum shared model when the processing content in the same device 20 is changed. If the additional trained model is generated by another device with the same processing content, there is an advantage that the additional trained model that can perform highly accurate inference processing that requires time and effort for the additional learning process can be immediately introduced. .. As described above, it is also an advantage of the server device 10 of the present invention that a large number of devices 201 to 20n access the server device 10 and the data of the additionally learned model is accumulated.

前記第1の実施の形態においては、共有モデルと追加学習済モデルとを分けて説明を行っていたが、学習の程度が異なるというだけで、どちらも学習済モデルであることには変わりがない。すなわち、他のデバイスから見たときに、学習の程度に応じて共有モデルと追加学習済モデルを適宜選択可能であれば、必ずしも、図1の記憶部15のように、区別して記憶させておく必要はない。共有モデルや追加学習済モデルに対して検索時に最適なモデルを検索するための情報が付されていれば、同じ学習済モデルとして扱ってしまって差し支えないといえる。この場合には、追加学習済モデル管理部14がなくとも本発明のサーバ装置10が機能するといえる。 In the first embodiment, the shared model and the additionally trained model have been described separately, but both are still trained models, only the degree of learning is different. .. That is, if the shared model and the additionally trained model can be appropriately selected according to the degree of learning when viewed from another device, they are necessarily stored separately as in the storage unit 15 of FIG. No need. It can be said that if the shared model and the additionally trained model are provided with information for searching for the optimum model at the time of searching, they can be treated as the same trained model. In this case, it can be said that the server device 10 of the present invention functions without the additional learned model management unit 14.

前記第1の実施の形態においては、サーバ装置10に追加学習処理部13を設けていたが、これに限定されるものではなく、追加学習処理部13に相当する追加学習処理機能を各デバイス20側に設けるものであってもよい。この場合に、デバイス20側で生成した追加学習済モデルをサーバ装置10に送信する構成であってもよいが、追加学習済モデル全体はサーバ装置10には送信せずに、追加学習済モデルの選択に必要な情報のみをサーバ装置10に送信する構成であってもよい。他のデバイス20が同じ追加学習済モデルを必要としたときにだけ、サーバ装置10若しくは必要とするデバイス20に直接送信する構成とすることができる。これにより、サーバ装置10に必要なデータ領域を縮小することが可能となる。 In the first embodiment, the server device 10 is provided with the additional learning processing unit 13, but the present invention is not limited to this, and each device 20 is provided with an additional learning processing function corresponding to the additional learning processing unit 13. It may be provided on the side. In this case, the additional trained model generated on the device 20 side may be transmitted to the server device 10, but the entire additional trained model is not transmitted to the server device 10 and is the additional trained model. The configuration may be such that only the information necessary for selection is transmitted to the server device 10. It can be configured to send directly to the server device 10 or the required device 20 only when the other device 20 needs the same additionally trained model. This makes it possible to reduce the data area required for the server device 10.

前記第1の実施の形態においては、図1に示すように、1つのサーバ装置10と複数のデバイス201〜20nが通信ネットワーク30を介して接続される構成を例に説明を行ったが、これに限定されるものではなく、例えば、複数のサーバ装置10が格納された共有モデル(追加学習済モデルも含む)を相互に認識した状態で通信ネットワーク30を介して通信可能に構成することで、他のサーバ装置10から共有モデルを検索してデバイスに対して提供可能としてもよい。このように複数のサーバ装置と複数のデバイスからなる学習済モデル提供システムを構成することで、複数のサーバ装置10の何れかに記憶された共有モデルをデバイス20に対して提供可能となるため、より膨大なデータの選択肢の中から最適な共有モデルを選択可能となる。 In the first embodiment, as shown in FIG. 1, a configuration in which one server device 10 and a plurality of devices 201 to 20n are connected via a communication network 30 has been described as an example. For example, by configuring the shared model (including the additionally trained model) in which a plurality of server devices 10 are stored so as to be able to communicate with each other via the communication network 30 in a state of mutual recognition. The shared model may be searched from another server device 10 and provided to the device. By configuring the trained model providing system including the plurality of server devices and the plurality of devices in this way, it is possible to provide the shared model stored in any of the plurality of server devices 10 to the device 20. The optimal sharing model can be selected from a larger amount of data options.

前記第1の実施の形態においては、追加学習処理部13における追加学習の対象データは、そのデバイスでのみ取得したデバイスデータを使って学習していたが、これにとどまる必要はなく、同一環境・条件の他のデバイスで取得したデータを使用したり、同一環境・条件の他のデバイスで生成した学習済モデルを使用して更新したりしてもよい。また、同一環境・条件の複数のデバイスにおいてそれぞれ生成された追加学習済モデルを混合して混合学習済モデルを生成するようにしてもよい。学習モデルの混合については、既知の様々な手法が適用可能である。 In the first embodiment, the target data for additional learning in the additional learning processing unit 13 was learned using the device data acquired only on that device, but it is not necessary to stay there, and the same environment and The data acquired by another device of the condition may be used, or the trained model generated by another device of the same environment and condition may be used for updating. Further, the additionally trained models generated in each of a plurality of devices under the same environment and conditions may be mixed to generate a mixed learning model. Various known methods can be applied to the mixing of learning models.

本発明は、学習済モデルを用いた推論処理を必要とする分野であればどのような分野であっても適用可能な技術であり、学習済モデルのデータベースとして運用することが可能である。 The present invention is a technique that can be applied to any field that requires inference processing using a trained model, and can be operated as a database of trained models.

10 サーバ装置
11 デバイスデータ取得部
12 対象共有モデル選択部
13 追加学習処理部
14 追加学習済モデル管理部
15 記憶部
20、201〜20n デバイス
30 通信ネットワーク
10 Server device 11 Device data acquisition unit 12 Target shared model selection unit 13 Additional learning processing unit 14 Additional learning model management unit 15 Storage unit 20, 201-20n device 30 Communication network

Claims (17)

予め学習された異なる特性の複数のモデルを記憶する少なくとも1つの記憶装置と、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
第1デバイスに関する情報を、取得することと、
前記第1デバイスに関する情報に基づいて、前記複数のモデルから前記第1デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第1デバイスに送信することと、
を実行するように構成され、
前記第1デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記第1デバイスに関する情報は、少なくとも、前記第1デバイスの環境、前記第1デバイスの条件のいずれか1つに関する情報を含む、
モデル送信装置。
At least one storage device that stores multiple models with different characteristics learned in advance,
With at least one processor,
The at least one processor
To get information about the first device
To select a model to be transmitted to the first device from the plurality of models based on the information about the first device.
Sending the selected model to the first device and
Is configured to run
The first device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information regarding the first device includes at least information regarding the environment of the first device and any one of the conditions of the first device.
Model transmitter.
前記第1デバイスに送信される前記モデルは、前記第1デバイスではなく、前記モデル送信装置によって決定される、
請求項1に記載のモデル送信装置。
The model transmitted to the first device is determined by the model transmitter, not by the first device.
The model transmitter according to claim 1.
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なモデルである、
請求項1又は請求項2に記載のモデル送信装置。
Each of the plurality of models is a model capable of inputting device data and outputting an inference result regarding the device data.
The model transmitter according to claim 1 or 2.
前記第1デバイスに送信する前記モデルは、前記第1デバイスが備える外界センサによってセンシングされるデータに関する推論結果を出力可能なモデルである、
請求項1から請求項3のいずれかに記載のモデル送信装置。
The model transmitted to the first device is a model capable of outputting an inference result regarding data sensed by an external sensor included in the first device.
The model transmitter according to any one of claims 1 to 3.
前記第1デバイスは、前記作業機械であって、
前記第1デバイスに関する情報は、前記作業機械の作業対象物に関する情報を含む、
請求項1から請求項4のいずれかに記載のモデル送信装置。
The first device is the work machine and
The information about the first device includes information about the work object of the work machine.
The model transmitter according to any one of claims 1 to 4.
前記第1デバイスに関する情報は、前記第1デバイスの環境に関する情報であり、
前記少なくとも1つのプロセッサは、前記複数のモデルから前記第1デバイスの環境に適合するモデルを選択する、
請求項1から請求項5のいずれかに記載のモデル送信装置。
The information regarding the first device is information regarding the environment of the first device.
The at least one processor selects a model suitable for the environment of the first device from the plurality of models.
The model transmitter according to any one of claims 1 to 5.
前記第1デバイスに関する情報は、前記第1デバイスの条件に関する情報であり、
前記少なくとも1つのプロセッサは、前記複数のモデルから前記第1デバイスの条件に適合するモデルを選択する、
請求項1から請求項6のいずれかに記載のモデル送信装置。
The information regarding the first device is information regarding the conditions of the first device.
The at least one processor selects a model that meets the conditions of the first device from the plurality of models.
The model transmitter according to any one of claims 1 to 6.
少なくとも1つの記憶装置と、
少なくとも1つのプロセッサと、を備えたデバイスであって、
前記少なくとも1つのプロセッサは、
デバイスに関する情報を、モデル送信装置に送信することと、
前記デバイスに関する情報に基づいて前記モデル送信装置によって選択されたモデルを、前記モデル送信装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行するように構成され、
前記デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記デバイスに関する情報は、少なくとも、前記デバイスの環境、前記デバイスの条件のいずれか1つに関する情報を含む、
デバイス。
With at least one storage device
A device with at least one processor,
The at least one processor
Sending information about the device to the model transmitter,
Receiving a model selected by the model transmitter based on information about the device from the model transmitter and
Acquiring device data and
Obtaining the inference result regarding the device data using the received model,
Is configured to run
The device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information about the device includes at least information about the environment of the device and any one of the conditions of the device.
device.
受信した前記モデルは、前記モデル送信装置によって前記デバイスに送信されることが決定されたものである、
請求項8に記載のデバイス。
The received model is determined to be transmitted to the device by the model transmitter.
The device according to claim 8.
外界センサをさらに備え、
前記デバイスデータは、前記外界センサによって取得されたデータである、
請求項8又は請求項9に記載のデバイス。
Equipped with an external sensor
The device data is data acquired by the external sensor.
The device according to claim 8 or 9.
前記作業機械であって、
前記デバイスに関する情報は、前記作業機械の作業対象物に関する情報を含む、
請求項8から請求項10のいずれかに記載のデバイス。
The work machine
The information about the device includes information about the work object of the work machine.
The device according to any one of claims 8 to 10.
前記デバイスに関する情報は、環境に関する情報であり、
受信した前記モデルは、前記デバイスの環境に適合するモデルである、
請求項8から請求項11のいずれかに記載のデバイス。
The information about the device is information about the environment.
The received model is a model suitable for the environment of the device.
The device according to any one of claims 8 to 11.
前記デバイスに関する情報は、前記デバイスの条件に関する情報であり、
受信した前記モデルは、前記デバイスの条件に適合するモデルである、
請求項8から請求項12のいずれかに記載のデバイス。
The information about the device is information about the conditions of the device.
The received model is a model that meets the conditions of the device.
The device according to any one of claims 8 to 12.
少なくとも1つのプロセッサによって、
第1デバイスに関する情報を、取得することと、
前記第1デバイスに関する情報に基づいて、予め学習された異なる特性の複数のモデルから前記第1デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第1デバイスに送信することと、
を備えるモデル送信方法であって、
前記第1デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記第1デバイスに関する情報は、少なくとも、前記第1デバイスの環境、前記第1デバイスの条件のいずれか1つに関する情報を含む、
モデル送信方法。
By at least one processor
To get information about the first device
To select a model to be transmitted to the first device from a plurality of models having different characteristics learned in advance based on the information about the first device.
Sending the selected model to the first device and
Is a model transmission method that includes
The first device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information regarding the first device includes at least information regarding the environment of the first device and any one of the conditions of the first device.
Model transmission method.
デバイスに備えられる少なくとも1つのプロセッサによって、
前記デバイスに関する情報を、モデル送信装置に送信することと、
前記デバイスに関する情報に基づいて前記モデル送信装置によって選択されたモデルを、前記モデル送信装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を備える方法であって、
前記デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記デバイスに関する情報は、少なくとも、前記デバイスの環境、前記デバイスの条件のいずれか1つに関する情報を含む、
方法。
By at least one processor on the device
Sending information about the device to the model transmitter
Receiving a model selected by the model transmitter based on information about the device from the model transmitter and
Acquiring device data and
Obtaining the inference result regarding the device data using the received model,
Is a way to prepare
The device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information about the device includes at least information about the environment of the device and any one of the conditions of the device.
Method.
少なくとも1つのプロセッサに、
第1デバイスに関する情報を、取得することと、
前記第1デバイスに関する情報に基づいて、予め学習された異なる特性の複数のモデルから前記第1デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第1デバイスに送信することと、
を実行させるプログラムであって、
前記第1デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記第1デバイスに関する情報は、少なくとも、前記第1デバイスの環境、前記第1デバイスの条件のいずれか1つに関する情報を含む、
プログラム。
On at least one processor
To get information about the first device
To select a model to be transmitted to the first device from a plurality of models having different characteristics learned in advance based on the information about the first device.
Sending the selected model to the first device and
Is a program that executes
The first device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information regarding the first device includes at least information regarding the environment of the first device and any one of the conditions of the first device.
program.
デバイスに備えられる少なくとも1つのプロセッサに、
前記デバイスに関する情報を、モデル送信装置に送信することと、
前記デバイスに関する情報に基づいて前記モデル送信装置によって選択されたモデルを、前記モデル送信装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行させるプログラムであって、
前記デバイスは、少なくとも、ロボット、自動車、プロセスオートメーション装置、インフラ機器、農業機器、ヘルスケア装置、作業機械、異常検出装置、分類装置のいずれか1つであって、
前記デバイスに関する情報は、少なくとも、前記デバイスの環境、前記デバイスの条件のいずれか1つに関する情報を含む、
プログラム。
On at least one processor on the device
Sending information about the device to the model transmitter
Receiving a model selected by the model transmitter based on information about the device from the model transmitter and
Acquiring device data and
Obtaining the inference result regarding the device data using the received model,
Is a program that executes
The device is at least one of a robot, an automobile, a process automation device, an infrastructure device, an agricultural device, a healthcare device, a work machine, an abnormality detection device, and a classification device.
The information about the device includes at least information about the environment of the device and any one of the conditions of the device.
program.
JP2020103320A 2017-03-21 2020-06-15 Server device, trained model providing program, trained model providing method and trained model providing system Active JP6986597B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020103320A JP6986597B2 (en) 2017-03-21 2020-06-15 Server device, trained model providing program, trained model providing method and trained model providing system
JP2021192435A JP7280935B2 (en) 2017-03-21 2021-11-26 Server Device, Trained Model Providing Program, Trained Model Providing Method, and Trained Model Providing System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019506582A JP6720402B2 (en) 2017-03-21 2017-03-21 Server device, learned model providing program, learned model providing method, and learned model providing system
JP2020103320A JP6986597B2 (en) 2017-03-21 2020-06-15 Server device, trained model providing program, trained model providing method and trained model providing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019506582A Division JP6720402B2 (en) 2017-03-21 2017-03-21 Server device, learned model providing program, learned model providing method, and learned model providing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021192435A Division JP7280935B2 (en) 2017-03-21 2021-11-26 Server Device, Trained Model Providing Program, Trained Model Providing Method, and Trained Model Providing System

Publications (2)

Publication Number Publication Date
JP2020161167A true JP2020161167A (en) 2020-10-01
JP6986597B2 JP6986597B2 (en) 2021-12-22

Family

ID=72639607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103320A Active JP6986597B2 (en) 2017-03-21 2020-06-15 Server device, trained model providing program, trained model providing method and trained model providing system

Country Status (1)

Country Link
JP (1) JP6986597B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067906A1 (en) 2021-10-22 2023-04-27 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
WO2023073910A1 (en) * 2021-10-29 2023-05-04 日本電気株式会社 Model analysis device, model analysis method, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083531A1 (en) * 2004-02-27 2005-09-09 Matsushita Electric Industrial Co., Ltd. Device control method and device control apparatus
WO2015138757A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Behavioral analysis for securing peripheral devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083531A1 (en) * 2004-02-27 2005-09-09 Matsushita Electric Industrial Co., Ltd. Device control method and device control apparatus
WO2015138757A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Behavioral analysis for securing peripheral devices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MATSUMOTO, EIICHI: "深層学習でバラ積みロボットの0から学習", PREFERRED NETWORKS RESEARCH & DEVELOPMENT / BLOG [ONLINE], JPN6021026477, 7 December 2015 (2015-12-07), ISSN: 0004545232 *
鈴木彼方 ほか: "CNNによる二次元物体画像から実ロボットでの把持動作生成", ロボティクス・メカトロニクス講演会2016講演会論文集, vol. No.16-2, JPN6021026478, 8 June 2016 (2016-06-08), JP, pages 1 - 2, ISSN: 0004545231 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067906A1 (en) 2021-10-22 2023-04-27 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
WO2023073910A1 (en) * 2021-10-29 2023-05-04 日本電気株式会社 Model analysis device, model analysis method, and recording medium

Also Published As

Publication number Publication date
JP6986597B2 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
JP6720402B2 (en) Server device, learned model providing program, learned model providing method, and learned model providing system
US11475289B2 (en) Learning device unit
US20200019864A1 (en) Systems and methods for artificial-intelligence-based automated object identification and manipulation
JP6986597B2 (en) Server device, trained model providing program, trained model providing method and trained model providing system
CN107977706A (en) Modularized distribution type artificial neural network
KR20170015377A (en) Methods and systems for generating instructions for a robotic system to carry out a task
JP6915195B2 (en) Designated reception system, search system, search terminal, designated reception program, search program and search terminal control program
WO2021172058A1 (en) Adaptive co-distillation model
CN110704659B (en) Image list ordering method and device, storage medium and electronic device
WO2018154360A1 (en) Processing method, system, program, and storage medium for generating learning data, and method and system for generating learning data
Jegorowa et al. Deep learning methods for drill wear classification based on images of holes drilled in melamine faced chipboard
KR20180086021A (en) Image analyzing method based on random tree cnn and image analyzing method based on forest cnn
US11931895B2 (en) Robot control system and robot control method
JP7280935B2 (en) Server Device, Trained Model Providing Program, Trained Model Providing Method, and Trained Model Providing System
US11120383B2 (en) System and methods for operator profiling for improving operator proficiency and safety
CN113383328A (en) Cloud platform and method for efficiently processing collected data
Vidal-Soroa et al. An approach to 3D object detection in real-time for cognitive robotics experiments
CN113711538A (en) Method, apparatus, system, computing device, medium, and article of manufacture for configuring parameters
WO2024057626A1 (en) Device, system, method, and program for learning fish species
JP2019067330A (en) Server device
JP7037815B2 (en) Server device
US20230075551A1 (en) Data transmission using data prioritization
US11543804B2 (en) System and method for remotely managing configuration of industrial machines
KR20240104147A (en) object recognition
WO2021059460A1 (en) Engineering tool, learning device, and data collection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210709

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6986597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150