JP2019184575A - Measurement operation parameter adjustment device, machine learning device, and system - Google Patents
Measurement operation parameter adjustment device, machine learning device, and system Download PDFInfo
- Publication number
- JP2019184575A JP2019184575A JP2019001207A JP2019001207A JP2019184575A JP 2019184575 A JP2019184575 A JP 2019184575A JP 2019001207 A JP2019001207 A JP 2019001207A JP 2019001207 A JP2019001207 A JP 2019001207A JP 2019184575 A JP2019184575 A JP 2019184575A
- Authority
- JP
- Japan
- Prior art keywords
- measurement operation
- measurement
- learning
- operation parameter
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
Abstract
Description
本発明は、測定動作パラメータ調整装置、機械学習装置及びシステムに関する。 The present invention relates to a measurement operation parameter adjustment device, a machine learning device, and a system.
従来、図11に例示されるように、接触式のタッチセンサ等や非接触式の視覚センサ等を機械的な機構部に取付けて、該機構部を移動させることでセンサを移動させて、測定対象物の位置を測定することが行われている。図11に示した例では、接触式センサを用いる場合には、接触式センサがワークに接触したことを検知した時の機構部を座標値に基づいて測定対象物の位置を測定し、非接触センサを用いる場合には、非接触センサに対抗する物体の距離が変化した時、即ち非接触センサが測定対象物の端部に差し掛かった時の機構部を座標値に基づいて測定対象物の位置を測定することができる。 Conventionally, as illustrated in FIG. 11, a contact type touch sensor or a non-contact type visual sensor or the like is attached to a mechanical mechanism, and the sensor is moved by moving the mechanism to perform measurement. Measuring the position of an object is performed. In the example shown in FIG. 11, when a contact sensor is used, the position of the measurement object is measured based on the coordinate value of the mechanism unit when it is detected that the contact sensor is in contact with the workpiece, and the non-contact is performed. When using a sensor, the position of the measurement object is determined based on the coordinate value when the distance of the object that opposes the non-contact sensor changes, that is, when the non-contact sensor reaches the end of the measurement object. Can be measured.
機械的な機構部に取付けられたセンサにより測定対象物の位置を検出する際には、測定動作開始時における機構部の位置や測定動作時の機構部の移動の速度を予め決定しておく必要がある。この様な位置と速度を決定する従来技術として、例えば特許文献1には、測定を行う前に測定対象物に対してセンサを接触させ、その時の位置に基づいて測定動作開始時における機構部の位置等を決定する技術が開示されている。
When detecting the position of an object to be measured by a sensor attached to a mechanical mechanism, the position of the mechanism at the start of the measurement operation and the speed of movement of the mechanism at the time of the measurement must be determined in advance. There is. As a conventional technique for determining such a position and speed, for example, in
特許文献1に開示される技術は、測定対象物の大きさや設置位置にバラつきが無い場合には有効では有るものの、実際の現場では接触式センサが接触する位置や非接触センサが距離の変化を検出する位置は同品種の測定対象物であってもバラつきが発生する。例えば、下部に穴部を備え、該穴部を台の上に設けられた突部に嵌合させて設置された測定対象物の位置を測定する場合、理想的には常に同じ位置に設置されていると考えられるが、実際には穴部と突部の間にあそびが設けられ、測定対象物の設置位置には若干ではあるがずれが生じる。また、測定対象物の形状そのものにバラつきがある場合や、同じ測定機構で異なる品種の測定対象物の位置を測定する場合もある。この様な状況に対応するためには、特許文献1に開示される技術では、最もバラつきが大きい場合を想定してマージンを持たせた測定動作開始位置を一律に設定するしかなく、状況に応じてタクトタイムを短くすることが難しい。
Although the technique disclosed in
また、接触式センサが測定対象物に接触してデジタル信号を検出するまでの時間や、非接触式センサが測定対象物の端部に差し掛かってからデジタル信号を検出するまでの時間は、センサの種類が同じであっても個体差があるためにバラつきがあり、このバラつきを考慮してセンサの移動速度を設定しなければ、(接触式)センサが測定対象物にぶつかってセンサ、機構部、測定対象物が損傷する問題や、測定対象物の設置位置がずれてしまうという問題が生じる場合がある。更に、測定動作におけるセンサを移動させる速度は一定の速度でないと測定される測定対象物の位置にバラつきが生じるので、測定動作におけるセンサを移動させる速度は全体を考慮すれば一定の遅い速度に設定することとなるが、それではタクトタイムが遅くなってしまうという別の問題が有る。 In addition, the time from when the contact sensor touches the measurement object to detect a digital signal or the time from when the non-contact sensor reaches the end of the measurement object until the detection of the digital signal is Even if the type is the same, there are variations due to individual differences, and if the movement speed of the sensor is not set taking this variation into account, the (contact type) sensor will hit the object to be measured and the sensor, mechanism, There may be a problem that the measurement object is damaged or that the installation position of the measurement object is shifted. Furthermore, if the speed of moving the sensor in the measurement operation is not constant, the position of the measurement object to be measured will vary, so the speed of moving the sensor in the measurement operation is set to a constant slow speed considering the whole. However, there is another problem that the tact time becomes slow.
そこで、測定対象物の設置位置や大きさ、品種にバラつきが有る場合であっても効率よく測定対象物の設置位置を測定することを可能とする測定動作パラメータ調整装置、機械学習装置及びシステムが望まれている。 Therefore, a measurement operation parameter adjustment device, a machine learning device, and a system that can efficiently measure the installation position of the measurement object even when the installation position, size, and type of the measurement object vary. It is desired.
本発明の一態様は、測定対象物の設置位置を測定する測定装置で実行される測定動作の測定動作パラメータを調整する測定動作パラメータ調整装置であって、前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた学習乃至意思決定をする機械学習装置を備える、測定動作パラメータ調整装置である。 One aspect of the present invention is a measurement operation parameter adjustment device that adjusts a measurement operation parameter of a measurement operation executed by a measurement device that measures the installation position of a measurement object, the measurement indicating the measurement operation parameter of the measurement operation A learning model in which the operation parameter data and the measurement time data indicating the time taken for the measurement operation are observed as a state variable representing the current state of the environment, and the adjustment of the measurement operation parameter is modeled based on the state variable. It is a measurement operation parameter adjustment device provided with a machine learning device for performing learning or decision making.
本発明の他の態様は、測定対象物の設置位置を測定する測定装置で実行される測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた学習乃至意思決定をする、機械学習装置である。 In another aspect of the present invention, the measurement operation parameter data indicating the measurement operation parameter of the measurement operation executed by the measurement apparatus that measures the installation position of the measurement object, and the measurement time data indicating the time required for the measurement operation are A machine learning device that observes as a state variable representing a current state of an environment and performs learning or decision making using a learning model in which adjustment of the measurement operation parameter is modeled based on the state variable.
本発明の他の態様は、複数の装置がネットワークを介して相互に接続されたシステムであって、前記複数の装置は、少なくとも請求項1に記載された第1の測定動作パラメータ調整装置を含むシステムである。
Another aspect of the present invention is a system in which a plurality of devices are connected to each other via a network, and the plurality of devices include at least a first measurement operation parameter adjusting device according to
本発明の他の態様は、測定対象物の設置位置を測定する測定装置で実行される測定動作の測定動作パラメータの調整の機械学習に係る方法であって、環境の現在状態を表す状態変数として観測された、前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データに基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた前記測定動作パラメータの調整の機械学習に係る処理をするステップを実行する、測定動作パラメータの調整の機械学習に係る方法である。 Another aspect of the present invention is a method related to machine learning of adjustment of measurement operation parameters of a measurement operation executed by a measurement apparatus that measures an installation position of a measurement object, as a state variable representing a current state of an environment Based on the observed measurement operation parameter data indicating the measurement operation parameter of the measurement operation and measurement time data indicating the time taken for the measurement operation, the learning model using the adjustment of the measurement operation parameter as a model is used. It is a method related to machine learning of adjustment of a measurement operation parameter, which executes a process related to machine learning of adjustment of a measurement operation parameter.
本発明により、測定対象物の設置位置や大きさ、品種にバラつきが有る場合であっても、そのバラつき具合を機械学習装置により学習させることで、効率よく測定対象物の設置位置を測定することを可能となる。 According to the present invention, even when there is a variation in the installation position, size, and type of the measurement object, the installation position of the measurement object can be efficiently measured by causing the machine learning device to learn the variation state. Is possible.
以下、本発明の実施形態を図面と共に説明する。
図1は一実施形態による測定動作パラメータ調整装置の要部を示す概略的なハードウェア構成図である。測定動作パラメータ調整装置1は、例えばロボット等の製造機械等を制御する制御装置や、製造機械等に併設されたパソコンとして実装することができる。また、測定動作パラメータ調整装置1は、製造機械等に有線/無線のネットワークを介して接続されたセルコンピュータ、エッジコンピュータ、フォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータとして実装することができる。本実施形態では、測定動作パラメータ調整装置1を、製造機械等に併設されたパソコンとして実装した場合の例を示す。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic hardware configuration diagram illustrating a main part of a measurement operation parameter adjusting apparatus according to an embodiment. The measurement operation parameter adjusting
本実施形態による測定動作パラメータ調整装置1が備えるCPU11は、測定動作パラメータ調整装置1を全体的に制御するプロセッサである。CPU11は、ROM12に格納されたシステム・プログラムをバス20を介して読み出し、該システム・プログラムに従って測定動作パラメータ調整装置1の全体を制御する。RAM13には一時的な計算データやディスプレイ等の表示装置70に表示する表示データ、キーボードやマウス、タッチパネル等の入力装置71を介してオペレータが入力した各種データ等が一時的に格納される。
The CPU 11 provided in the measurement operation
不揮発性メモリ14は、例えば図示しないバッテリでバックアップされるなどして、測定動作パラメータ調整装置1の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ14には、入力装置71を介して入力されたプログラム、測定動作パラメータ調整装置1の各部やセンサを把持したロボット等の測定装置2から取得された各種データ(例えば、測定装置2が測定する座標系内での測定装置2の位置、測定装置2が備えるセンサの測定動作開始時の位置、測定装置2が備えるセンサの測定動作時の移動速度、測定動作時のセンサが測定対象物を検出するまでの測定動作会指示からの時間、測定対象物の品種、作業者が入力したセンサや測定対象物の状態情報等)が記憶されている。不揮発性メモリ14に記憶されたプログラムや各種データは、実行時/利用時にはRAM13に展開されても良い。また、ROM12には、公知の解析プログラムなどの各種のシステム・プログラム(後述する機械学習装置100とのやりとりを制御するためのシステム・プログラムを含む)があらかじめ書き込まれている。
The
インタフェース21は、測定動作パラメータ調整装置1と機械学習装置100とを接続するためのインタフェースである。機械学習装置100は、機械学習装置100全体を統御するプロセッサ101と、システム・プログラム等を記憶したROM102、機械学習に係る各処理における一時的な記憶を行うためのRAM103、及び学習モデル等の記憶に用いられる不揮発性メモリ104を備える。機械学習装置100は、インタフェース21を介して測定動作パラメータ調整装置1で取得可能な各情報(例えば、測定装置2が測定する座標系内での測定装置2の位置、測定装置2が備えるセンサの測定動作開始時の位置、測定装置2が備えるセンサの測定動作時の移動速度、測定動作時のセンサが測定対象物を検出するまでの測定動作会指示からの時間、測定対象物の品種、作業者が入力したセンサや測定対象物の状態情報等)を観測することができる。また、測定動作パラメータ調整装置1は、機械学習装置100から出力される測定動作パラメータの調整指令を受けて、測定装置2による測定動作パラメータの設定を行う。
The
図2は、一実施形態による測定動作パラメータ調整装置1と機械学習装置100の概略的な機能ブロック図である。図2に示した各機能ブロックは、図1に示した測定動作パラメータ調整装置1が備えるCPU11、及び機械学習装置100のプロセッサ101が、それぞれのシステム・プログラムを実行し、測定動作パラメータ調整装置1及び機械学習装置100の各部の動作を制御することにより実現される。
FIG. 2 is a schematic functional block diagram of the measurement operation
本実施形態の測定動作パラメータ調整装置1は、機械学習装置100から出力された測定動作パラメータの調整指令に基づいて測定装置2を制御する測定動作パラメータ設定部34を備える。測定動作パラメータ設定部34は、測定装置2による測定動作で用いられる測定動作パラメータの調整をする機能手段である。測定動作パラメータ設定部34は、少なくとも測定装置2が測定対象物の位置を測定する際の測定動作開始位置と測定動作速度とを設定することができる。
The measurement operation
一方、測定動作パラメータ調整装置1が備える機械学習装置100は、測定動作に掛かる時間に対する測定動作の測定動作パラメータの調整を、いわゆる機械学習により自ら学習するためのソフトウェア(学習アルゴリズム等)及びハードウェア(プロセッサ101等)を含む。測定動作パラメータ調整装置1が備える機械学習装置100が学習するものは、測定動作に掛かる時間と、測定動作の測定動作パラメータの調整との、相関性を表すモデル構造に相当する。
On the other hand, the
図2に機能ブロックで示すように、測定動作パラメータ調整装置1が備える機械学習装置100は、測定動作の測定動作パラメータを示す測定動作パラメータデータS1、及び測定動作に掛かる時間を示す測定時間データS2を含む環境の現在状態を表す状態変数Sとして観測する状態観測部106と、調整された測定動作の測定動作パラメータに基づいて実行された測定動作の良否を判定するための測定動作判定データD1を含む判定データDを取得する判定データ取得部108と、状態変数Sと判定データDとを用いて、測定動作に掛かる時間と、測定動作の測定動作パラメータの調整を関連付けて学習する学習部110とを備える。
As shown by functional blocks in FIG. 2, the
状態観測部106が観測する状態変数Sのうち、測定動作パラメータデータS1は、測定装置2において行われる測定動作の測定動作パラメータとして取得することができる。測定動作の測定動作パラメータは、例えば測定装置2による測定動作の開始時のセンサの位置、測定装置2による測定動作におけるセンサの移動速度等が例示される。これらの測定動作パラメータは、測定装置2に設定されている現在のパラメータや測定装置2を動作させるプログラムを解析して得られたパラメータ、測定動作パラメータ調整装置1に設定され、不揮発性メモリ14等のメモリに記憶されている1学習周期前に測定装置2に設定した測定動作パラメータ等から取得することができる。
Among the state variables S observed by the state observation unit 106, the measurement operation parameter data S1 can be acquired as measurement operation parameters of a measurement operation performed in the
測定動作パラメータデータS1は、機械学習装置100が学習部110の学習結果に基づいて1つ前の学習周期における測定動作に掛かる時間に対して、当該学習周期において調整した測定動作の測定動作パラメータをそのまま用いることができる。このような手法を取る場合には、機械学習装置100は測定動作の測定動作パラメータを学習周期毎にRAM103に一時的に記憶しておき、状態観測部106は、RAM103から1つ前の学習周期での測定動作の測定動作パラメータを今回の学習周期の測定動作パラメータデータS1として取得するようにしても良い。
The measurement operation parameter data S1 includes measurement operation parameters of the measurement operation adjusted in the learning cycle with respect to the time taken by the
状態観測部106が観測する状態変数Sのうち、測定時間データS2は、不揮発性メモリ14に記録された測定装置2で実行された測定動作の開始時からセンサが測定対象物を検出するまでにかかった時間をとして取得することができる。
Among the state variables S observed by the state observation unit 106, the measurement time data S2 is from the start of the measurement operation performed by the
判定データ取得部108は、測定動作判定データD1として、調整された測定動作の測定動作パラメータに基づいて測定動作が行われた場合の該測定動作の適否の判定結果を用いることができる。判定データ取得部108が用いる測定動作判定データD1としては、例えば、調整された測定動作パラメータで測定動作を行った場合に、測定動作時のセンサの移動距離が予め定めた所定の閾値よりも小さいか(適)、大きいか(否)、測定動作時により測定対象物や測定装置2の機構部乃至センサが破損したか(否)、測定動作時により測定対象物が動いてしまったか(否)といったものを使用すれば良い。
The determination
なお、判定データ取得部108は、学習部110による学習の段階では必須の構成となるが、学習部110による測定動作に掛かる時間と測定動作の測定動作パラメータの調整とを関連付けた学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置100を顧客に出荷する場合等には、判定データ取得部108を取り外して出荷するようにしても良い。
The determination
学習部110に対して同時に入力される状態変数Sは、学習部110による学習周期で考えた場合、判定データDが取得された1学習周期前のデータに基づくものとなる。このように、測定動作パラメータ調整装置1が備える機械学習装置100が学習を進める間、環境においては、測定時間データS2の取得、取得した各データに基づいて調整された測定動作パラメータデータS1に基づいた測定装置2による測定動作の実行、判定データDの取得が繰り返し実施される。
The state variable S input to the
学習部110は、機械学習と総称される任意の学習アルゴリズムに従い、測定動作に掛かる時間に対する、測定動作の測定動作パラメータの調整を学習する。学習部110は、前述した状態変数Sと判定データDとを含むデータ集合に基づく学習を反復実行することができる。測定動作に掛かる時間に対する、測定動作の測定動作パラメータの学習サイクルの反復中、状態変数Sは、上記したように1学習周期前における測定動作に掛かる時間、及び1学習周期前において調整された測定動作の測定動作パラメータから取得し、また判定データDは、調整された測定動作の測定動作パラメータに基づいて行われた測定動作の適否判定結果とする。
The
このような学習サイクルを繰り返すことにより、学習部110は、測定動作に掛かる時間と、測定動作の測定動作パラメータの調整との相関性を暗示する特徴を識別することができるようになる。学習アルゴリズムの開始時には測定動作に掛かる時間と、測定動作の測定動作パラメータの調整の相関性は実質的に未知であるが、学習部110は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。測定動作に掛かる時間と、測定動作の測定動作パラメータの調整との相関性が、ある程度信頼できる水準まで解釈されると、学習部110が反復出力する学習結果は、現在状態(つまり測定動作に掛かる時間)に対して、測定動作の測定動作パラメータをどう調整するべきかという行動の選択(つまり意思決定)を行うために使用できるものとなる。つまり学習部110は、学習アルゴリズムの進行に伴い、測定動作に掛かる時間に対して測定動作の測定動作パラメータをどのように調整するべきかという行動との、相関性を最適解に徐々に近づけることができる。
By repeating such a learning cycle, the
意思決定部122は、学習部110が学習した結果に基づいて、測定動作の測定動作パラメータを調整し、調整した測定動作の測定動作パラメータを測定動作パラメータ設定部34へと出力する。意思決定部122は、学習部110による学習が測定動作パラメータの調整に利用可能な状態になった段階において、機械学習装置100に測定動作に掛かる時間が入力されると、測定動作の測定動作パラメータ(測定動作開始時のセンサの位置及びセンサの移動速度の少なくともいずれか等)を出力する。意思決定部122は、状態変数Sと学習部110が学習した結果に基づいて、適切な測定動作の測定動作パラメータを調整する。
The
上記したように、測定動作パラメータ調整装置1が備える機械学習装置100は、状態観測部106が観測した状態変数Sと判定データ取得部108が取得した判定データDとを用いて、学習部110が機械学習アルゴリズムに従い、測定動作に掛かる時間に対する測定動作の測定動作パラメータの調整を学習するものである。状態変数Sは、測定動作パラメータデータS1、及び測定時間データS2といったデータで構成され、また判定データDは、測定装置2による測定動作時に取得された情報から一義的に求められる。したがって、測定動作パラメータ調整装置1が備える機械学習装置100によれば、学習部110の学習結果を用いることで、測定動作に掛かる時間に応じた、測定動作の測定動作パラメータの調整を、自動的かつ正確に行うことが可能となる。
As described above, the
そして、測定動作の測定動作パラメータの調整を、自動的に行うことができれば、測定動作に掛かる時間(測定時間データS2)を把握するだけで、測定動作の測定動作パラメータの適切な値を迅速に調整することができる。したがって、測定動作の測定動作パラメータの調整を効率よく行うことができる。 If the measurement operation parameter of the measurement operation can be automatically adjusted, an appropriate value of the measurement operation parameter of the measurement operation can be quickly obtained only by grasping the time (measurement time data S2) required for the measurement operation. Can be adjusted. Therefore, the measurement operation parameter of the measurement operation can be adjusted efficiently.
測定動作パラメータ調整装置1が備える機械学習装置100の一変形例として、状態観測部106は、測定動作パラメータデータS1、及び測定時間データS2に加えて、測定対象物の品種情報を示す品種データS3を、状態変数Sとして観測するようにしても良い。品種データS3としては、測定対象物の種類が一意に定まるように付与した識別番号等を用いることができる。品種データS3を状態変数Sとして用いることにより、測定対象物の品種に応じた測定動作の開始時のセンサの位置や移動速度を学習し、測定動作パラメータの調整に反映することができるようになる。
As a modification of the
測定動作パラメータ調整装置1が備える機械学習装置100の他の変形例として、状態観測部106は、測定動作パラメータデータS1、及び測定時間データS2に加えて、測定動作が実行される時間帯や季節、温度、湿度等の測定環境を示す測定環境データS4を、状態変数Sとして観測するようにしても良い。測定対象物によっては、温度や湿度、時期等によって大きさや強度のバラつきが変化する物(パンや餅等の加工食品や、果物、野菜等)があり、このような測定対象物を観測する測定動作においては、状態変数として測定環境データS4を観測して用いることで、より適切な測定動作パラメータの調整を行うことができるようになる。
As another modification of the
上記構成を有する機械学習装置100では、学習部110が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図3は、図2に示す測定動作パラメータ調整装置1の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部110を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態(つまり入力)を観測するとともに現在状態で所定の行動(つまり出力)を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策(本願の機械学習装置では測定動作の測定動作パラメータ)を最適解として学習する手法である。
In the
図3に示す測定動作パラメータ調整装置1が備える機械学習装置100において、学習部110は、状態変数Sに基づいて測定動作の測定動作パラメータの調整がされ、調整された測定動作の測定動作パラメータに基づく測定装置2による測定動作の適否判定結果(状態変数Sが取得された次の学習周期で用いられる判定データDに相当)に関連する報酬Rを求める報酬計算部112と、報酬Rを用いて、測定動作の測定動作パラメータの価値を表す関数Qを更新する価値関数更新部114とを備える。学習部110は、価値関数更新部114が関数Qの更新を繰り返すことによって測定動作に掛かる時間に対する測定動作の測定動作パラメータの調整を学習する。
In the
学習部110が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Q学習(Q−learning)として知られるものであって、行動主体の状態sと、その状態sで行動主体が選択し得る行動aとを独立変数として、状態sで行動aを選択した場合の行動の価値を表す関数Q(s,a)を学習する手法である。状態sで価値関数Qが最も高くなる行動aを選択することが最適解となる。状態sと行動aとの相関性が未知の状態でQ学習を開始し、任意の状態sで種々の行動aを選択する試行錯誤を繰り返すことで、価値関数Qを反復して更新し、最適解に近付ける。ここで、状態sで行動aを選択した結果として環境(つまり状態s)が変化したときに、その変化に応じた報酬(つまり行動aの重み付け)rが得られるように構成し、より高い報酬rが得られる行動aを選択するように学習を誘導することで、価値関数Qを比較的短時間で最適解に近付けることができる。
An example of the reinforcement learning algorithm executed by the
価値関数Qの更新式は、一般に下記の数1式のように表すことができる。数1式において、st及びatはそれぞれ時刻tにおける状態及び行動であり、行動atにより状態はst+1に変化する。rt+1は、状態がstからst+1に変化したことで得られる報酬である。maxQの項は、時刻t+1で最大の価値Qになる(と時刻tで考えられている)行動aを行ったときのQを意味する。α及びγはそれぞれ学習係数及び割引率であり、0<α≦1、0<γ≦1で任意設定される。
The updating formula of the value function Q can be generally expressed as the following
学習部110がQ学習を実行する場合、状態観測部106が観測した状態変数S及び判定データ取得部108が取得した判定データDは、更新式の状態sに該当し、現在状態(つまり、測定動作に掛かる時間)に対する測定動作の測定動作パラメータをどのように調整するべきかという行動は、更新式の行動aに該当し、報酬計算部112が求める報酬Rは、更新式の報酬rに該当する。よって価値関数更新部114は、現在状態に対する測定動作の測定動作パラメータの価値を表す関数Qを、報酬Rを用いたQ学習により繰り返し更新する。
When the
報酬計算部112が求める報酬Rは、例えば、測定動作の測定動作パラメータを調整した後に行われる、調整された測定動作の測定動作パラメータに基づいて行われた測定動作の適否判定結果が「適」と判定される場合(例えば、測定動作に掛かる時間が予め定めた所定の閾値以下である場合等)に正(プラス)の報酬Rとし、測定動作の測定動作パラメータを調整した後に行われる、調整された測定動作の測定動作パラメータに基づいて行われた測定動作の適否判定結果が「否」と判定される場合(例えば、測定動作に掛かる時間が予め定めた所定の閾値を超える場合、センサが測定対象物に衝突した場合、測定対象物が動いてしまった場合等)に負(マイナス)の報酬Rとすることができる。正負の報酬Rの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データDに含まれる複数の値を組み合わせて判定するようにしても良い。 The reward R calculated by the reward calculation unit 112 is, for example, “appropriate” as a result of determining whether or not the measurement operation is performed based on the measurement operation parameter of the adjusted measurement operation performed after adjusting the measurement operation parameter of the measurement operation. Adjustment is performed after the measurement operation parameter of the measurement operation is adjusted with the positive reward R when the measurement operation is determined (for example, when the time taken for the measurement operation is equal to or less than a predetermined threshold value). If the determination result of the suitability of the measurement operation performed based on the measurement operation parameter of the measured operation is determined as “No” (for example, if the time taken for the measurement operation exceeds a predetermined threshold value, the sensor In the case of a collision with the measurement object, the measurement object moves, etc.), it can be set as a negative (minus) reward R. The absolute values of the positive and negative rewards R may be the same or different. Further, as a determination condition, a plurality of values included in the determination data D may be combined for determination.
また、調整された測定動作パラメータに基づく測定動作の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、測定動作に掛かる時間の閾値がTmaxである場合、測定動作に掛かる時間Tが、0≦T<Tmax/5のときは報酬R=5を与え、Tmax/5≦T<Tmax/2のときは報酬R=3を与え、Tmax/2≦T<Tmaxのときは報酬R=1を、Tmax≦Tのときは報酬R=−3(マイナスの報酬)を与えるような構成とすることができる。 Further, the determination result of the suitability of the measurement operation based on the adjusted measurement operation parameter can be set in a plurality of stages as well as two ways of “suitable” and “denied”. For example, when the threshold value of the time required for the measurement operation is T max , a reward R = 5 is given when the time T required for the measurement operation is 0 ≦ T <T max / 5, and T max / 5 ≦ T < Reward R = 3 when T max / 2, Reward R = 1 when T max / 2 ≦ T <T max , Reward R = −3 (negative reward) when T max ≦ T It can be set as the structure which gives.
更に、学習の初期段階は判定に用いる閾値を比較的大きく設定し、学習が進行するにつれて判定に用いる閾値を縮小する構成とすることもできる。 Furthermore, the threshold used for determination may be set to a relatively large value in the initial stage of learning, and the threshold used for determination may be reduced as learning progresses.
価値関数更新部114は、状態変数Sと判定データDと報酬Rとを、関数Qで表される行動価値(例えば数値)と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部114が関数Qを更新するという行為は、価値関数更新部114が行動価値テーブルを更新するという行為と同義である。Q学習の開始時には環境の現在状態と測定動作の測定動作パラメータの調整との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Sと判定データDと報酬Rとが、無作為に定めた行動価値の値(関数Q)と関連付けた形態で用意されている。なお報酬計算部112は、判定データDが分かれば、これに対応する報酬Rを直ちに算出でき、算出した値Rが行動価値テーブルに書き込まれる。
The value
測定装置2の動作の適否判定結果に応じた報酬Rを用いてQ学習を進めると、より高い報酬Rが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態(つまり状態変数S及び判定データD)に応じて、現在状態で行う行動についての行動価値の値(関数Q)が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値(関数Q)は、適正な行動(本発明の場合、測定対象物、測定装置2の機構部やセンサが壊れたり、測定対象物が動かない範囲で、測定動作開始時のセンサの位置を測定対象物に近づけたり、センサの移動速度を増加させたり等、測定動作の測定動作パラメータを調整する行動)であるほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態(測定動作に掛かる時間)とそれに対する行動(測定動作の測定動作パラメータの調整)との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、測定動作に掛かる時間と、測定動作の測定動作パラメータの調整との関係が最適解に徐々に近づけられる。
When Q learning is advanced using the reward R corresponding to the determination result of the suitability of the operation of the measuring
図4を参照して、学習部110が実行する上記したQ学習のフロー(つまり機械学習方法の一形態)をさらに説明する。まずステップSA01で、価値関数更新部114は、その時点での行動価値テーブルを参照しながら、状態観測部106が観測した状態変数Sが示す現在状態で行う行動として測定動作の測定動作パラメータの調整行動を無作為に選択する。次に価値関数更新部114は、ステップSA02で、状態観測部106が観測している現在状態の状態変数Sを取り込み、ステップSA03で、判定データ取得部108が取得している現在状態の判定データDを取り込む。次に価値関数更新部114は、ステップSA04で、判定データDに基づき、調整された測定動作の測定動作パラメータによる測定動作が適当であったか否かを判断し、適当であった場合、ステップSA05で、報酬計算部112が求めた正の報酬Rを関数Qの更新式に適用し、次いでステップSA06で、現在状態における状態変数S及び判定データDと報酬Rと行動価値の値(更新後の関数Q)とを用いて行動価値テーブルを更新する。ステップSA04で、調整された測定動作の測定動作パラメータによる測定動作が適当でなかったと判断した場合、ステップSA07で、報酬計算部112が求めた負の報酬Rを関数Qの更新式に適用し、次いでステップSA06で、現在状態における状態変数S及び判定データDと報酬Rと行動価値の値(更新後の関数Q)とを用いて行動価値テーブルを更新する。学習部110は、ステップSA01〜SA07を繰り返すことで行動価値テーブルを反復して更新し、測定動作の測定動作パラメータの調整の学習を進行させる。なお、ステップSA04からステップSA07までの報酬Rを求める処理及び価値関数の更新処理は、判定データDに含まれるそれぞれのデータについて実行される。
With reference to FIG. 4, the above-described Q-learning flow (that is, one form of the machine learning method) executed by the
前述した強化学習を進める際に、例えばニューラルネットワークを応用することができる。図5Aは、ニューロンのモデルを模式的に示す。図5Bは、図5Aに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。 When proceeding with the above-described reinforcement learning, for example, a neural network can be applied. FIG. 5A schematically shows a model of a neuron. FIG. 5B schematically shows a model of a three-layer neural network configured by combining the neurons shown in FIG. 5A. The neural network can be configured by, for example, an arithmetic device or a storage device imitating a neuron model.
図5Aに示すニューロンは、複数の入力x(ここでは一例として、入力x1〜入力x3)に対する結果yを出力するものである。各入力x1〜x3には、この入力xに対応する重みw(w1〜w3)が掛けられる。これにより、ニューロンは、次の数2式により表現される出力yを出力する。なお、数2式において、入力x、出力y及び重みwは、すべてベクトルである。また、θはバイアスであり、fkは活性化関数である。
The neuron shown in FIG. 5A outputs a result y for a plurality of inputs x (here, as an example, inputs x 1 to x 3 ). Each input x 1 ~x 3, the weight w corresponding to the input x (w 1 ~w 3) is multiplied. As a result, the neuron outputs an output y expressed by the following equation (2). In
図5Bに示す三層のニューラルネットワークは、左側から複数の入力x(ここでは一例として、入力x1〜入力x3)が入力され、右側から結果y(ここでは一例として、結果y1〜結果y3)が出力される。図示の例では、入力x1、x2、x3のそれぞれに対応の重み(総称してW1で表す)が乗算されて、個々の入力x1、x2、x3がいずれも3つのニューロンN11、N12、N13に入力されている。 In the three-layer neural network shown in FIG. 5B, a plurality of inputs x (in this example, inputs x1 to x3) are input from the left side, and a result y (in this case, as an example, results y1 to y3) is input from the right side. Is output. In the illustrated example, each of the inputs x1, x2, and x3 is multiplied by a corresponding weight (generically expressed as W1), and each of the inputs x1, x2, and x3 is assigned to three neurons N11, N12, and N13. Have been entered.
図5Bでは、ニューロンN11〜N13の各々の出力を、総称してz1で表す。z1は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルz1のそれぞれに対応の重み(総称してW2で表す)が乗算されて、個々の特徴ベクトルz1がいずれも2つのニューロンN21、N22に入力されている。特徴ベクトルz1は、重みW1と重みW2との間の特徴を表す。 In FIG. 5B, the outputs of the neurons N11 to N13 are collectively represented by z1. z1 can be regarded as a feature vector obtained by extracting the feature amount of the input vector. In the illustrated example, each feature vector z1 is multiplied by a corresponding weight (generically represented by W2), and each feature vector z1 is input to two neurons N21 and N22. The feature vector z1 represents a feature between the weight W1 and the weight W2.
図5Bでは、ニューロンN21〜N22の各々の出力を、総称してz2で表す。z2は、特徴ベクトルz1の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルz2のそれぞれに対応の重み(総称してW3で表す)が乗算されて、個々の特徴ベクトルz2がいずれも3つのニューロンN31、N32、N33に入力されている。特徴ベクトルz2は、重みW2と重みW3との間の特徴を表す。最後にニューロンN31〜N33は、それぞれ結果y1〜y3を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。
In FIG. 5B, the outputs of the neurons N21 to N22 are collectively represented by z2. z2 can be regarded as a feature vector obtained by extracting the feature amount of the feature vector z1. In the illustrated example, each feature vector z2 is multiplied by a corresponding weight (generically represented by W3), and each feature vector z2 is input to three neurons N31, N32, and N33. The feature vector z2 represents a feature between the weight W2 and the weight W3. Finally, the neurons N31 to N33 output the results y1 to y3, respectively.
It is also possible to use a so-called deep learning method using a neural network having three or more layers.
測定動作パラメータ調整装置1が備える機械学習装置100においては、ニューラルネットワークをQ学習における価値関数として用い、状態変数Sと行動aとを入力xとして、学習部110が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値(結果y)を出力することもできる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みwを学習し、学習した重みwを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。
In the
上記した測定動作パラメータ調整装置1の構成は、プロセッサ101が実行する機械学習方法(或いはソフトウェア)として記述できる。この機械学習方法は、測定動作の測定動作パラメータの調整を学習する機械学習方法であって、コンピュータのCPUが、測定動作パラメータデータS1、及び測定時間データS2を、測定装置2が動作する環境の現在状態を表す状態変数Sとして観測するステップと、調整された測定動作の測定動作パラメータに基づく測定動作の適否判定結果を示す判定データDを取得するステップと、状態変数Sと判定データDとを用いて、測定時間データS2と、測定動作の測定動作パラメータの調整とを関連付けて学習するステップとを有する。
The configuration of the measurement operation
以下の第2〜4の実施形態では、第1の実施形態による測定動作パラメータ調整装置1が、クラウドサーバやホストコンピュータ、フォグコンピュータ、エッジコンピュータ(ロボットコントローラ、制御装置等)を含む複数の装置と有線/無線のネットワークを介して相互に接続した実施形態について説明する。図6に例示されるように、以下の第2〜4の実施形態では、複数の装置のそれぞれがネットワークに接続された状態でクラウドサーバ6等を含む層、フォグコンピュータ7等を含む層、エッジコンピュータ8(セル9に含まれるロボットコントローラ、制御装置等)等を含む層の、3つの階層に論理的に分けて構成されているシステムを想定する。この様なシステムにおいて、測定動作パラメータ調整装置1は、クラウドサーバ6、フォグコンピュータ7、エッジコンピュータ8のいずれの上にも実装することが可能であり、それぞれの複数の装置との間でネットワークを介して相互に学習データを共有して分散学習をしたり、生成した学習モデルをフォグコンピュータ7やクラウドサーバ6に収集して大規模な解析を行ったり、更に、生成した学習モデルの相互再利用等をしたりすることができる。図6に例示されるシステムにおいて、セル9は各地の工場にそれぞれ複数設けられ、それぞれのセル9を所定の単位(工場単位、同じ製造業者の複数の工場単位等)で上位層のフォグコンピュータ7が管理する。そして、これらフォグコンピュータ7が収集、解析したデータを、更に上位層のクラウドサーバ6で収集、解析等を行い、その結果として得られた情報を各々のエッジコンピュータの制御等に活用することができる。
In the following second to fourth embodiments, the measurement operation
図7は、測定動作パラメータ調整装置1を備えた第2の実施形態によるシステム170を示す。システム170は、エッジコンピュータやフォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータの一部として実装された少なくとも1台の測定動作パラメータ調整装置1と、測定動作パラメータの調整の対象となる複数の測定装置2と、測定動作パラメータ調整装置1、測定装置2を互いに接続する有線/無線のネットワーク172とを備える。
FIG. 7 shows a
上記構成を有するシステム170は、機械学習装置100を備える測定動作パラメータ調整装置1が、学習部110の学習結果を用いて、測定動作に掛かる時間に対する測定動作の測定動作パラメータの調整を、それぞれの測定装置2毎に自動的かつ正確に求めることができる。また、測定動作パラメータ調整装置1の機械学習装置100が、複数の測定装置2のそれぞれについて得られた状態変数S及び判定データDに基づき、全ての測定装置2に共通する測定動作の測定動作パラメータの調整を学習し、その学習結果を全ての測定装置2の動作において共有するように構成できる。したがってシステム170によれば、より多様なデータ集合(状態変数S及び判定データDを含む)を入力として、測定動作の測定動作パラメータの調整の学習の速度や信頼性を向上させることができる。
In the
図8は、測定動作パラメータ調整装置1を備えた第3の実施形態によるシステム170を示す。システム170は、セルコンピュータやフォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータ5の上に実装された少なくとも1台の機械学習装置100’と、測定装置2が設置されている機械3を制御する制御装置(エッジコンピュータ)として実装された少なくとも1台の測定動作パラメータ調整装置1と、コンピュータ5及び測定動作パラメータ調整装置1を互いに接続する有線/無線のネットワーク172とを備える。
FIG. 8 shows a
上記構成を有するシステム170では、機械学習装置100’を備えるコンピュータ5が、各々の機械3を制御する測定動作パラメータ調整装置1(制御装置)から、該測定動作パラメータ調整装置1が備える機械学習装置100による機械学習の結果として得られた学習モデルを取得する。そして、コンピュータ5が備える機械学習装置100’は、これら複数の学習モデルに基づく知識の最適化や効率化の処理を行うことで、新たに最適化乃至効率化された学習モデルを生成し、生成した学習モデルを各々の機械3(測定装置2)を制御する測定動作パラメータ調整装置1に対して配布する。
In the
機械学習装置100’が行う学習モデルの最適化乃至効率化の例としては、各測定動作パラメータ調整装置1から取得した複数の学習モデルに基づいた蒸留モデルの生成が挙げられる。この場合、本実施形態による機械学習装置100’は、学習モデルに対して入力する入力データを作成し、該入力モデルを各々の学習モデルに対して入力した結果として得られる出力を用いて、1から学習を行うことで新たに学習モデル(蒸留モデル)を生成する。このようにして生成された蒸留モデルは、上記でも説明したように、外部記憶媒体やネットワーク等を介した他の装置に対する配布により適している。
An example of optimization or efficiency improvement of a learning model performed by the
機械学習装置100’が行う学習モデルの最適化乃至効率化の他の例としては、各測定動作パラメータ調整装置1から取得した複数の学習モデルに対して蒸留を行う過程において、入力データに対する各学習モデルの出力の分布を一般的な統計的手法で解析し、入力データと出力データの組の外れ値を抽出し、該外れ値を除外した入力データと出力データの組を用いて蒸留を行うことも考えられる。このような過程を経ることで、それぞれの学習モデルから得られる入力データと出力データの組から例外的な推定結果を除外し、該例外的な推定結果を除外した入力データと出力データの組を用いて蒸留モデルを生成することができる。このようにして生成された蒸留モデルは、複数の測定動作パラメータ調整装置1で生成された学習モデルから、当該測定動作パラメータ調整装置1が制御する機械3(測定装置2)に対して汎用的な蒸留モデルを生成することができる。
なお、他の一般的な学習モデルの最適化乃至効率化の手法(各学習モデルを解析し、その解析結果に基づいて学習モデルのハイパパラメータを最適化する等)も適宜導入することが可能である。
As another example of optimization or efficiency improvement of the learning model performed by the
In addition, other general learning model optimization or efficiency methods (such as analyzing each learning model and optimizing the hyperparameters of the learning model based on the analysis result) can be introduced as appropriate. is there.
本実施形態によるシステムでは、例えばエッジコンピュータとしての複数の測定動作パラメータ調整装置1の管理をするために設けられたフォグコンピュータとしてのコンピュータ5の上に機械学習装置100’を配置し、各々の測定動作パラメータ調整装置1で生成された学習モデルをフォグコンピュータ上に集約して記憶しておき、記憶した複数の学習モデルに基づいた最適化乃至効率化を行った上で、最適化乃至効率化された学習モデルを必要に応じて各測定動作パラメータ調整装置1に対して再配布するという運用を行うことができる。
In the system according to the present embodiment, for example, a
また、本実施形態によるシステムでは、例えばフォグコンピュータとしてのコンピュータ5の上に集約して記憶された学習モデルや、フォグコンピュータ上で最適化乃至効率化された学習モデルを、更に上位のホストコンピュータやクラウドサーバ上に集め、これら学習モデルを用いて工場や測定装置2のメーカでの知的作業への応用(上位サーバでの更なる汎用的な学習モデルの構築及び再配布、学習モデルの解析結果に基づく測定装置2の保守作業の支援、各々の測定装置2の性能等の分析、新しい機械の開発への応用等)を行うことができる。
Further, in the system according to the present embodiment, for example, a learning model aggregated and stored on the computer 5 as a fog computer, or a learning model optimized or made efficient on the fog computer, a higher-level host computer or Collected on the cloud server and applied to intelligent work at the factory and the manufacturer of the measuring
図9は、図8で示したコンピュータ5の概略的なハードウェア構成図である。
コンピュータ5が備えるCPU511は、コンピュータ5を全体的に制御するプロセッサである。CPU511は、ROM512に格納されたシステム・プログラムをバス520を介して読み出し、該システム・プログラムに従ってコンピュータ5全体を制御する。RAM513には一時的な計算データ、入力装置531を介して作業者が入力した各種データ等が一時的に格納される。
FIG. 9 is a schematic hardware configuration diagram of the computer 5 shown in FIG.
A
不揮発性メモリ514は、例えば図示しないバッテリでバックアップされたメモリやSSD(Solid State Drive)等で構成され、コンピュータ5の電源がオフされても記憶状態が保持される。不揮発性メモリ514には、コンピュータ5の動作に係る設定情報が格納される設定領域や、入力装置531から入力されたデータ、各測定動作パラメータ調整装置1から取得される学習モデル、図示しない外部記憶装置やネットワークを介して読み込まれたデータ等が記憶される。不揮発性メモリ514に記憶されたプログラムや各種データは、実行時/利用時にはRAM513に展開されても良い。また、ROM512には、各種データを解析するための公知の解析プログラム等を含むシステム・プログラムが予め書き込まれている。
The
コンピュータ5は、インタフェース516を介してネットワーク172と接続されている。ネットワーク172には、少なくとも1つの測定動作パラメータ調整装置1や他のコンピュータ等が接続され、コンピュータ5との間で相互にデータのやり取りを行っている。
The computer 5 is connected to the
表示装置530には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース517を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置531は、作業者による操作に基づく指令、データ等をインタフェース518を介してCPU511に渡す。
なお、機械学習装置100については、コンピュータ5のCPU511と協働して学習モデルの最適化乃至効率化に用いられる点を除けば、図1で説明したものと同様のハードウェア構成を備える。
The
The
図10は、測定動作パラメータ調整装置1を備えた第4の実施形態によるシステム170を示す。システム170は、測定装置2が設置されている機械3を制御する制御装置(エッジコンピュータ)として実装された少なくとも1台の測定動作パラメータ調整装置1と、複数台の他の測定装置2が設置されている機械3を制御する制御装置4と、これらを互いに接続する有線/無線のネットワーク172とを備える。
FIG. 10 shows a
上記構成を有するシステム170では、機械学習装置100を備える測定動作パラメータ調整装置1は、制御対象となる機械3(測定装置2)から取得された状態データや判定データ、(機械学習装置100を備えていない)他の制御装置4から取得した状態データや判定データに基づいた機械学習を行い、学習モデルを生成する。このようにして生成された学習モデルは、自身の制御する機械(測定装置2)の測定動作における測定動作パラメータの調整に用いられる他、機械学習装置100を備えていない他の機械3(測定装置2)を制御する制御装置4からの要求に応じて該他の機械3(測定装置2)における測定動作パラメータの調整にも用いられる。また、新たに学習モデル生成前の機械学習装置100を備えた測定動作パラメータ調整装置1が導入された際には、ネットワーク172を介して学習モデルを備えた他の測定動作パラメータ調整装置1から該学習モデルを取得して利用することも可能となる。
In the
本実施形態によるシステムでは、いわゆるエッジコンピュータとしての複数の測定動作パラメータ調整装置1や制御装置4の間で学習に用いるデータや学習モデルを共有して活用することが可能となるため、機械学習の効率の向上や、機械学習にかけるコストの削減(1台の制御装置(測定動作パラメータ調整装置1)にのみ機械学習装置100を導入し、他の制御装置4との間で共有するなど)をすることができる。
In the system according to the present embodiment, it is possible to share and use data and learning models used for learning among a plurality of measurement operation
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and can be implemented in various modes by making appropriate changes.
例えば、機械学習装置100が実行する学習アルゴリズムや演算アルゴリズム、測定動作パラメータ調整装置1が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。
For example, the learning algorithm and arithmetic algorithm executed by the
また、上記した実施形態では測定動作パラメータ調整装置1と機械学習装置100が異なるCPUを有する装置として説明しているが、機械学習装置100は測定動作パラメータ調整装置1が備えるCPU11と、ROM12に記憶されるシステム・プログラムにより実現するようにしても良い。
In the above-described embodiment, the measurement operation
1 測定動作パラメータ調整装置
2 測定装置
3 機械
4 制御装置
5 コンピュータ
6 クラウドサーバ
7 フォグコンピュータ
8 エッジコンピュータ
9 セル
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
17,18,19 インタフェース
20 バス
21 インタフェース
70 表示装置
71 入力装置
100 機械学習装置
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
106 状態観測部
108 判定データ取得部
109 ラベルデータ取得部
110 学習部
112 報酬計算部
114 価値関数更新部
122 意思決定部
170 システム
172 ネットワーク
511 CPU
512 ROM
513 RAM
514 不揮発性メモリ
516、516,517 インタフェース
520 バス
530 表示装置
531 入力装置
DESCRIPTION OF
12 ROM
13 RAM
14
103 RAM
DESCRIPTION OF
512 ROM
513 RAM
514
Claims (18)
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた学習乃至意思決定をする機械学習装置を備える、
測定動作パラメータ調整装置。 A measurement operation parameter adjustment device that adjusts measurement operation parameters of a measurement operation executed by a measurement device that measures an installation position of a measurement object,
The measurement operation parameter data indicating the measurement operation parameter of the measurement operation and the measurement time data indicating the time taken for the measurement operation are observed as a state variable indicating the current state of the environment, and the measurement operation is performed based on the state variable. A machine learning device that performs learning or decision making using a learning model that models parameter adjustment,
Measurement operation parameter adjustment device.
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記測定動作の測定動作パラメータに基づいて実行された測定動作の適否を判定する測定動作判定データを、前記測定動作の適否判定結果を示す判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記測定動作に掛かる時間と、前記測定動作の測定動作パラメータの調整とを関連付けて学習した前記学習モデルを生成する学習部と、
を備える請求項1に記載の測定動作パラメータ調整装置。 The machine learning device includes:
A state observation unit that observes measurement operation parameter data indicating measurement operation parameters of the measurement operation and measurement time data indicating time taken for the measurement operation as a state variable indicating the current state of the environment;
A determination data acquisition unit for acquiring measurement operation determination data for determining the suitability of the measurement operation performed based on the measurement operation parameters of the measurement operation, as determination data indicating the suitability determination result of the measurement operation;
Using the state variable and the determination data, a learning unit that generates the learning model that learns by associating the time required for the measurement operation and the adjustment of the measurement operation parameter of the measurement operation;
The measurement operation parameter adjustment device according to claim 1, comprising:
前記学習部は、前記測定動作に掛かる時間及び前記測定対象物の品種情報と、前記測定動作の測定動作パラメータの調整とを関連付けて学習する、
請求項2に記載の測定動作パラメータ調整装置。 The state observation unit further observes product type data indicating product type information of the measurement object as a state variable indicating the current state of the environment,
The learning unit learns by associating the time taken for the measurement operation and the type information of the measurement object, and the adjustment of the measurement operation parameter of the measurement operation,
The measurement operation parameter adjusting device according to claim 2.
前記適否判定結果に関連する報酬を求める報酬計算部と、
前記報酬を用いて、前記測定動作に掛かる時間に対する前記測定動作の測定動作パラメータの調整行動の価値を表す関数を更新する価値関数更新部と、
を備え、
前記報酬計算部は、前記測定動作に掛かる時間が短い程、高い報酬を与え、前記測定動作に掛かる時間が遅い程、また、前記測定対象物、前記測定装置に破損が生じた場合、前記測定対象物が動いてしまった場合、低い報酬を与える、
請求項2又は3に記載の測定動作パラメータ調整装置。 The learning unit
A reward calculation unit for calculating a reward related to the suitability determination result;
A value function updating unit that updates a function representing the value of the adjustment action of the measurement operation parameter of the measurement operation with respect to the time required for the measurement operation using the reward;
With
The reward calculation unit gives a higher reward as the time required for the measurement operation is shorter, and as the time required for the measurement operation is slower, or when the measurement object or the measurement device is damaged, the measurement is performed. If the object moves, give a low reward,
The measurement operation parameter adjustment device according to claim 2 or 3.
請求項1〜3のいずれか1つに記載の測定動作パラメータ調整装置。 The learning unit calculates the state variable and the determination data in a multilayer structure.
The measurement operation parameter adjustment device according to any one of claims 1 to 3.
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測する状態観測部と、
測定動作に掛かる時間と、測定動作の測定動作パラメータの調整とを関連付けて学習した前記学習モデルを備えた学習部と、
前記状態観測部が観測した状態変数と、前記学習モデルとに基づいて、測定動作の測定動作パラメータの調整を決定する意思決定部と、
を備える請求項1に記載の測定動作パラメータ調整装置。 The machine learning device includes:
A state observation unit that observes measurement operation parameter data indicating measurement operation parameters of the measurement operation and measurement time data indicating time taken for the measurement operation as a state variable indicating the current state of the environment;
A learning unit including the learning model learned by associating the time required for the measurement operation with the adjustment of the measurement operation parameter of the measurement operation;
A decision-making unit that determines the adjustment of the measurement operation parameter of the measurement operation based on the state variable observed by the state observation unit and the learning model;
The measurement operation parameter adjustment device according to claim 1, comprising:
請求項1〜6のいずれか1つに記載の測定動作パラメータ調整装置。 The machine learning device exists in a cloud server,
The measurement operation parameter adjustment device according to any one of claims 1 to 6.
機械学習装置。 A state variable representing the current state of the environment is measured operation parameter data indicating measurement operation parameters of a measurement operation executed by a measurement apparatus that measures the installation position of the measurement object, and measurement time data indicating a time required for the measurement operation. Observe as, based on the state variable, learning or decision making using a learning model that models the adjustment of the measurement operation parameter,
Machine learning device.
前記測定動作の測定動作パラメータに基づいて実行された測定動作の適否を判定する測定動作判定データを、前記測定動作の適否判定結果を示す判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記測定動作に掛かる時間と、前記測定動作の測定動作パラメータの調整とを関連付けて学習した前記学習モデルを生成する学習部と、
を備える請求項8に記載の機械学習装置。 A state observation unit that observes measurement operation parameter data indicating measurement operation parameters of the measurement operation and measurement time data indicating time taken for the measurement operation as a state variable indicating the current state of the environment;
A determination data acquisition unit for acquiring measurement operation determination data for determining the suitability of the measurement operation performed based on the measurement operation parameters of the measurement operation, as determination data indicating the suitability determination result of the measurement operation;
Using the state variable and the determination data, a learning unit that generates the learning model that learns by associating the time required for the measurement operation and the adjustment of the measurement operation parameter of the measurement operation;
A machine learning device according to claim 8.
測定動作に掛かる時間と、測定動作の測定動作パラメータの調整とを関連付けて学習した前記学習モデルを備えた学習部と、
前記状態観測部が観測した状態変数と、前記学習モデルとに基づいて、測定動作の測定動作パラメータの調整を決定する意思決定部と、
を備える請求項8に記載の機械学習装置。 A state observation unit that observes measurement operation parameter data indicating measurement operation parameters of the measurement operation and measurement time data indicating time taken for the measurement operation as a state variable indicating the current state of the environment;
A learning unit including the learning model learned by associating the time required for the measurement operation with the adjustment of the measurement operation parameter of the measurement operation;
A decision-making unit that determines the adjustment of the measurement operation parameter of the measurement operation based on the state variable observed by the state observation unit and the learning model;
A machine learning device according to claim 8.
前記複数の装置は、少なくとも請求項1に記載された第1の測定動作パラメータ調整装置を含む
システム。 A system in which a plurality of devices are connected to each other via a network,
The system includes at least a first measurement operation parameter adjustment device according to claim 1.
前記コンピュータは、前記測定動作パラメータ調整装置の前記学習部における学習により生成された少なくとも1つの学習モデルを取得し、
前記コンピュータが備える機械学習装置は、取得した前記学習モデルに基づいて最適化乃至効率化を行う、
請求項11に記載のシステム。 The plurality of devices includes a computer equipped with a machine learning device,
The computer obtains at least one learning model generated by learning in the learning unit of the measurement operation parameter adjustment device;
The machine learning device provided in the computer performs optimization or efficiency based on the acquired learning model.
The system of claim 11.
前記第1の測定動作パラメータ調整装置が備える学習部による学習モデルは、前記第2の測定動作パラメータ調整装置と共有される、
請求項11に記載のシステム。 The plurality of devices include a second measurement operation parameter adjustment device different from the first measurement operation parameter adjustment device,
The learning model by the learning unit included in the first measurement operation parameter adjustment device is shared with the second measurement operation parameter adjustment device.
The system of claim 11.
前記制御装置において取得された前記測定装置に係るデータは、前記ネットワークを介して前記第1の測定動作パラメータ調整装置が備える学習部による学習に利用可能である、
請求項11に記載のシステム。 The plurality of devices includes a control device that controls the measurement device,
Data relating to the measurement device acquired in the control device can be used for learning by a learning unit included in the first measurement operation parameter adjustment device via the network.
The system of claim 11.
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた学習乃至意思決定をするステップと、
を実行する測定動作パラメータの調整乃至意思決定の備える、
測定動作パラメータ調整装置。 A method for learning or making a decision regarding adjustment of a measurement operation parameter of a measurement operation executed by a measurement apparatus that measures an installation position of a measurement object,
The measurement operation parameter data indicating the measurement operation parameter of the measurement operation and the measurement time data indicating the time taken for the measurement operation are observed as a state variable indicating the current state of the environment, and the measurement operation is performed based on the state variable. Learning or decision making using a learning model that models parameter adjustments;
For adjustment of measurement operating parameters or decision making
Measurement operation parameter adjustment device.
環境の現在状態を表す状態変数として観測された、前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データに基づいて、前記測定動作パラメータの調整をモデル化した学習モデルを用いた前記測定動作パラメータの調整の機械学習に係る処理をするステップを実行する、
測定動作パラメータの調整の機械学習に係る方法。 A method related to machine learning of adjustment of measurement operation parameters of a measurement operation executed by a measurement device that measures an installation position of a measurement object,
The measurement operation parameter is adjusted based on the measurement operation parameter data indicating the measurement operation parameter of the measurement operation and the measurement time data indicating the time taken for the measurement operation, which are observed as state variables representing the current state of the environment. Performing a process related to machine learning of adjustment of the measurement operation parameter using a modeled learning model;
A method related to machine learning for adjustment of measurement operation parameters.
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測するステップと、
前記測定動作の測定動作パラメータに基づいて実行された測定動作の適否を判定する測定動作判定データを、前記測定動作の適否判定結果を示す判定データとして取得するステップと、
前記状態変数と前記判定データとを用いて、前記測定動作に掛かる時間と、前記測定動作の測定動作パラメータの調整とを関連付けて学習する学習するステップと、
を実行する請求項16に記載の測定動作パラメータの調整の学習方法。 The steps of learning or making decisions using a learning model are:
Observing measurement operation parameter data indicating a measurement operation parameter of the measurement operation and measurement time data indicating a time required for the measurement operation as a state variable indicating a current state of the environment;
Obtaining measurement operation determination data for determining the suitability of the measurement operation performed based on the measurement operation parameter of the measurement operation as determination data indicating a result of the suitability determination of the measurement operation;
Learning using the state variable and the determination data in association with the time taken for the measurement operation and the adjustment of the measurement operation parameter of the measurement operation;
The method of learning adjustment of the measurement operation parameter according to claim 16, wherein:
前記測定動作の測定動作パラメータを示す測定動作パラメータデータ、及び該測定動作に掛かる時間を示す測定時間データを、環境の現在状態を表す状態変数として観測するステップと、
観測した状態変数と、測定動作に掛かる時間及び測定動作の測定動作パラメータの調整を関連付けて学習した学習結果とに基づいて、測定動作の測定動作パラメータの調整を決定するステップと、
を実行する請求項16に記載の測定動作パラメータの調整方法。 The steps of learning or making decisions using a learning model are:
Observing measurement operation parameter data indicating a measurement operation parameter of the measurement operation and measurement time data indicating a time required for the measurement operation as a state variable indicating a current state of the environment;
Determining the adjustment of the measurement operation parameter of the measurement operation based on the observed state variable and the learning result obtained by associating the time taken for the measurement operation and the adjustment of the measurement operation parameter of the measurement operation;
The method for adjusting a measurement operation parameter according to claim 16, wherein:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019002506.7A DE102019002506A1 (en) | 2018-04-05 | 2019-04-04 | Device for adjusting measurement parameters, machine learning device and system |
US16/374,753 US11579000B2 (en) | 2018-04-05 | 2019-04-04 | Measurement operation parameter adjustment apparatus, machine learning device, and system |
CN201910271366.5A CN110340884A (en) | 2018-04-05 | 2019-04-04 | Measure action parameter adjustment device, machine learning device and system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018073356 | 2018-04-05 | ||
JP2018073356 | 2018-04-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019184575A true JP2019184575A (en) | 2019-10-24 |
JP6829271B2 JP6829271B2 (en) | 2021-02-10 |
Family
ID=68340927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019001207A Active JP6829271B2 (en) | 2018-04-05 | 2019-01-08 | Measurement operation parameter adjustment device, machine learning device and system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6829271B2 (en) |
DE (1) | DE102019002506A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115244558A (en) * | 2020-03-31 | 2022-10-25 | 大金工业株式会社 | Adjustment system and adjustment method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11201737A (en) * | 1998-01-17 | 1999-07-30 | Sumitomo Metal Mining Co Ltd | Three-dimensional object measuring device and three-dimensional object measuring method with it |
JP2010014504A (en) * | 2008-07-02 | 2010-01-21 | Panasonic Corp | Inspection condition determination method, inspection condition determining device, visual inspection machine, and program |
JP2010217182A (en) * | 2009-03-18 | 2010-09-30 | Helmut Fischer Gmbh Inst Fuer Elektronik & Messtechnik | Measuring stand and its electric control method |
JP2012515911A (en) * | 2009-01-20 | 2012-07-12 | レニショウ パブリック リミテッド カンパニー | Method for optimizing the measurement cycle of a contact-type coordinate positioning device |
JP2015195328A (en) * | 2014-03-28 | 2015-11-05 | 株式会社ダイヘン | Workpiece processing apparatus and workpiece transfer system |
US20160305777A1 (en) * | 2015-04-14 | 2016-10-20 | Hexagon Metrology, Inc. | Cmm probe path controller and method |
JP2017064910A (en) * | 2015-07-31 | 2017-04-06 | ファナック株式会社 | Machine learning device for learning taking-out operation of workpiece, robot system, and machine learning method |
JP2017163782A (en) * | 2016-03-11 | 2017-09-14 | ファナック株式会社 | Automatic measuring apparatus for axis accuracy of motor |
-
2019
- 2019-01-08 JP JP2019001207A patent/JP6829271B2/en active Active
- 2019-04-04 DE DE102019002506.7A patent/DE102019002506A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11201737A (en) * | 1998-01-17 | 1999-07-30 | Sumitomo Metal Mining Co Ltd | Three-dimensional object measuring device and three-dimensional object measuring method with it |
JP2010014504A (en) * | 2008-07-02 | 2010-01-21 | Panasonic Corp | Inspection condition determination method, inspection condition determining device, visual inspection machine, and program |
JP2012515911A (en) * | 2009-01-20 | 2012-07-12 | レニショウ パブリック リミテッド カンパニー | Method for optimizing the measurement cycle of a contact-type coordinate positioning device |
JP2010217182A (en) * | 2009-03-18 | 2010-09-30 | Helmut Fischer Gmbh Inst Fuer Elektronik & Messtechnik | Measuring stand and its electric control method |
JP2015195328A (en) * | 2014-03-28 | 2015-11-05 | 株式会社ダイヘン | Workpiece processing apparatus and workpiece transfer system |
US20160305777A1 (en) * | 2015-04-14 | 2016-10-20 | Hexagon Metrology, Inc. | Cmm probe path controller and method |
JP2017064910A (en) * | 2015-07-31 | 2017-04-06 | ファナック株式会社 | Machine learning device for learning taking-out operation of workpiece, robot system, and machine learning method |
JP2017163782A (en) * | 2016-03-11 | 2017-09-14 | ファナック株式会社 | Automatic measuring apparatus for axis accuracy of motor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115244558A (en) * | 2020-03-31 | 2022-10-25 | 大金工业株式会社 | Adjustment system and adjustment method |
Also Published As
Publication number | Publication date |
---|---|
JP6829271B2 (en) | 2021-02-10 |
DE102019002506A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10121107B2 (en) | Machine learning device and method for optimizing frequency of tool compensation of machine tool, and machine tool having the machine learning device | |
JP6680756B2 (en) | Control device and machine learning device | |
JP6652549B2 (en) | Chip removal device and information processing device | |
US10949740B2 (en) | Machine learning device, numerical controller, machine tool system, manufacturing system, and machine learning method for learning display of operation menu | |
JP2019162712A (en) | Control device, machine learning device and system | |
JP6923484B2 (en) | Machining condition adjustment device and machine learning device | |
US20190041808A1 (en) | Controller and machine learning device | |
JP6499710B2 (en) | Acceleration / deceleration control device | |
JP6836577B2 (en) | Abrasive tool wear prediction device, machine learning device and system | |
CN110116371B (en) | Abrasive tool wear amount prediction device, machine learning device, and system | |
US10796226B2 (en) | Laser processing apparatus and machine learning device | |
JP6767416B2 (en) | Machining condition adjustment device and machine learning device | |
JP6659652B2 (en) | Processing condition adjustment device and machine learning device | |
JP6781242B2 (en) | Controls, machine learning devices and systems | |
US20190291270A1 (en) | Controller, machine learning device, and system | |
JP6813532B2 (en) | Simulation equipment | |
US10908572B2 (en) | Programmable controller and machine learning device | |
JP2018190068A (en) | Control device and machine learning device | |
JP2019141869A (en) | Controller and machine learning device | |
JP6841852B2 (en) | Control device and control method | |
US11579000B2 (en) | Measurement operation parameter adjustment apparatus, machine learning device, and system | |
US11953866B2 (en) | Prediction control development device, prediction control development method, and computer readable storage medium | |
JP6829271B2 (en) | Measurement operation parameter adjustment device, machine learning device and system | |
JP6940425B2 (en) | Control device and machine learning device | |
JP2019136818A (en) | Control device and machine learning device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6829271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |