JP2019040365A - Information processing device, method, and program - Google Patents
Information processing device, method, and program Download PDFInfo
- Publication number
- JP2019040365A JP2019040365A JP2017161476A JP2017161476A JP2019040365A JP 2019040365 A JP2019040365 A JP 2019040365A JP 2017161476 A JP2017161476 A JP 2017161476A JP 2017161476 A JP2017161476 A JP 2017161476A JP 2019040365 A JP2019040365 A JP 2019040365A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- pipeline
- error
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
開示の技術は、情報処理装置、方法、及びプログラムに関する。 The disclosed technology relates to an information processing apparatus, a method, and a program.
従来、神経回路網の抽象化モデルである多層ネットワークの学習時間を大幅に短縮する神経回路網学習装置が知られている。この神経回路網学習装置は、問題データを情報源とした前向き伝搬処理、及び出力値の誤差を情報源とした後向き伝搬処理を、幾つかの基本演算要素に分解し、更に、重みの同期修正機構と、処理の中間結果を格納するスタックを付加した構成を有する。 2. Description of the Related Art Conventionally, a neural network learning device that significantly shortens the learning time of a multilayer network that is an abstract model of a neural network is known. This neural network learning device decomposes forward propagation processing using problem data as an information source and backward propagation processing using output value error as an information source into several basic arithmetic elements, and further, synchronization correction of weights It has a configuration in which a mechanism and a stack for storing intermediate results of processing are added.
また、パイプライン方法と並列学習方法とを組み合わせることによって、誤差逆伝搬学習を加速化する技術が知られている。 Further, a technique for accelerating error back propagation learning by combining a pipeline method and a parallel learning method is known.
パイプライン学習によってニューラルネットワークを学習させる場合、パイプライン学習の初期における学習速度は、通常の学習処理の学習速度に比べ速い。しかし、パイプライン学習の後期においては、通常の学習処理の学習速度よりもパイプライン学習の学習速度の方が遅くなる場合がある。 When the neural network is learned by pipeline learning, the learning speed in the initial stage of pipeline learning is faster than the learning speed of the normal learning process. However, in the later stage of pipeline learning, the learning speed of pipeline learning may be slower than the learning speed of normal learning processing.
一つの側面では、開示の技術は、ニューラルネットワークをパイプライン学習のみによって学習させる場合に比べ、ニューラルネットワークを高速に学習させることが目的である。 In one aspect, the disclosed technique aims to train a neural network at a higher speed than when the neural network is trained only by pipeline learning.
開示の技術は、一つの実施態様では、情報処理装置の学習部は、学習パターンを用いてニューラルネットワークを学習させる。学習部は、ニューラルネットワークを学習させる際に、パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返す。そして、学習部は、学習の進捗に関する指標に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える。 In one embodiment, the disclosed technology causes the learning unit of the information processing apparatus to learn the neural network using the learning pattern. The learning unit repeatedly learns the neural network by pipeline learning when learning the neural network. And a learning part switches to the learning of the said neural network by the normal learning different from the said pipeline learning according to the parameter | index regarding the progress of learning.
一つの側面として、ニューラルネットワークをパイプライン学習のみによって学習させる場合に比べ、ニューラルネットワークを高速に学習させることができる、という効果を有する。 As one aspect, there is an effect that the neural network can be learned at a higher speed than when the neural network is learned only by pipeline learning.
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。 Hereinafter, an example of an embodiment of the disclosed technology will be described in detail with reference to the drawings.
＜第１の実施形態＞ <First Embodiment>
図１に示すように、第１の実施形態に係る情報処理装置１０は、学習パターン記憶部１２と、学習部１４と、誤差記憶部１６と、モデル記憶部１８とを備えている。 As illustrated in FIG. 1, the information processing apparatus 10 according to the first embodiment includes a learning pattern storage unit 12, a learning unit 14, an error storage unit 16, and a model storage unit 18.
学習パターン記憶部１２には、複数の学習パターンが格納されている。複数の学習パターンは、例えば、図２に示されるように、テーブルの形式で格納される。図２に示すテーブルには、学習パターンの識別情報を表す学習パターンＩＤと、学習パターンと、学習パターンに対する期待値とが対応付けられて格納される。 The learning pattern storage unit 12 stores a plurality of learning patterns. The plurality of learning patterns are stored in the form of a table, for example, as shown in FIG. In the table shown in FIG. 2, a learning pattern ID representing learning pattern identification information, a learning pattern, and an expected value for the learning pattern are stored in association with each other.
学習部１４は、学習パターン記憶部１２に格納された複数の学習パターンを用いて、ニューラルネットワークを学習させる。例えば、学習部１４は、図２に示されているテーブルに格納された学習パターンＸＸＸがニューラルネットワークへ入力された場合には、ニューラルネットワークから期待値ＹＹＹが出力されるように、ニューラルネットワークの各レイヤーの結合係数を学習させる。 The learning unit 14 learns the neural network using a plurality of learning patterns stored in the learning pattern storage unit 12. For example, when the learning pattern XXX stored in the table shown in FIG. 2 is input to the neural network, the learning unit 14 outputs each expected value YYY from the neural network so that the expected value YYY is output from the neural network. Learn the coupling coefficient of the layer.
図３に、ニューラルネットワークを説明するための説明図を示す。図３に示されるように、ニューラルネットワークＮは、複数のニューロン素子Ｎｅをフィードフォワード型に接続した構造を持つ。ニューラルネットワークＮはニューロン素子Ｎｅ同士の結合係数Ｗを適切に設定する事により優れた推論能力を持たせることができる。 FIG. 3 is an explanatory diagram for explaining the neural network. As shown in FIG. 3, the neural network N has a structure in which a plurality of neuron elements Ne are connected in a feedforward type. The neural network N can have excellent inference ability by appropriately setting the coupling coefficient W between the neuron elements Ne.
フィードフォワード型のネットワーク構造を持つニューラルネットワークの学習においては、バックプロパゲーション法を用いた学習方法が主に用いられる。バックプロパゲーション法では、図３に示されるように、学習パターンＬＰをニューラルネットワークＮへ入力してフォワード方向に演算しながら伝搬させた後、出力側の誤差を入力側に向かってバックワード側に伝搬させる。具体的には、フォワード方向の演算を表す推論処理Ｅと、バックワード側の演算を表す学習処理Ｌとが交互に行われる。この際、１つの学習パターンに対する学習処理Ｌにおいて、ニューラルネットワークの結合係数が更新され、結合係数が最適値に近くなるように学習される。そして、１つの学習パターンに対する学習処理Ｌにおいて、ニューラルネットワークの全ての結合係数の更新が終了した後、次の学習パターンがニューラルネットワークへ入力される。ニューラルネットワークのニューロン素子の数が多く、かつ深いレイヤー構造を持つニューラルネットワークの学習においては、学習対象の結合係数の数が非常に多いため、学習処理に時間がかかる。 In learning of a neural network having a feed-forward type network structure, a learning method using a back-propagation method is mainly used. In the backpropagation method, as shown in FIG. 3, after the learning pattern LP is input to the neural network N and propagated while calculating in the forward direction, the error on the output side is shifted toward the input side toward the backward side. Propagate. Specifically, an inference process E that represents an operation in the forward direction and a learning process L that represents an operation on the backward side are alternately performed. At this time, in the learning process L for one learning pattern, the coupling coefficient of the neural network is updated and learning is performed so that the coupling coefficient is close to the optimum value. Then, in the learning process L for one learning pattern, after all the coupling coefficients of the neural network are updated, the next learning pattern is input to the neural network. In learning of a neural network having a large number of neuron elements and a deep layer structure in the neural network, the number of coupling coefficients to be learned is very large, so that the learning process takes time.
この方法に対して、ニューラルネットワークの各レイヤーの演算をパイプライン化することによって学習処理を高速化させるパイプライン学習が知られている。パイプライン学習では、特定の学習パターンによる結合係数の更新が終了する前に、次の学習パターンをニューラルネットワークへ入力し、ニューラルネットワークの各レイヤーを並列動作させる。そのため、パイプライン学習では、ニューラルネットワークの各ニューロン素子で行われるフォワード側の演算とバックワード側の演算とが並列に行われる。 In contrast to this method, pipeline learning is known that speeds up the learning process by pipelining the operation of each layer of the neural network. In pipeline learning, before the update of the coupling coefficient by a specific learning pattern is completed, the next learning pattern is input to the neural network, and the layers of the neural network are operated in parallel. For this reason, in pipeline learning, a forward-side operation and a backward-side operation performed in each neuron element of the neural network are performed in parallel.
図４に、パイプライン学習を説明するための説明図を示す。図４では、ニューラルネットワークの推論処理と学習処理との時系列の関係が示されている。 FIG. 4 is an explanatory diagram for explaining pipeline learning. FIG. 4 shows a time-series relationship between the inference processing of the neural network and the learning processing.
図４に示されるように、通常学習ＮＬでは、学習パターン１についての推論処理Ｅと学習処理Ｌとが行われた後に、学習パターン２についての推論処理Ｅと学習処理Ｌとが行われる。通常の学習では、入力される１つの学習パターンで全てのレイヤーの結合係数が学習し終えてから次の学習パターンが入力される。 As shown in FIG. 4, in the normal learning NL, after the inference process E and the learning process L for the learning pattern 1 are performed, the inference process E and the learning process L for the learning pattern 2 are performed. In normal learning, the next learning pattern is input after the coupling coefficients of all layers have been learned with one input learning pattern.
一方、パイプライン学習では、１つの学習パターンによる学習が終了する前に、次々と他の学習パターンが入力される。具体的には、図４に示されるように、パイプライン学習ＰＬでは、学習パターン１についての推論処理Ｅが行われているときに、学習パターン１とは異なる学習パターン（図４に示される例では、学習パターン２、学習パターン３、及び学習パターン４）の推論処理が開始される。また、学習パターン１についての学習処理Ｌが行われているときに、学習パターン１とは異なる学習パターン（図４に示される例では、学習パターン２、学習パターン３、及び学習パターン４）の学習処理が開始される。 On the other hand, in pipeline learning, other learning patterns are successively input before learning by one learning pattern is completed. Specifically, as illustrated in FIG. 4, in the pipeline learning PL, when the inference process E for the learning pattern 1 is performed, a learning pattern different from the learning pattern 1 (example illustrated in FIG. 4). Then, the inference process of learning pattern 2, learning pattern 3, and learning pattern 4) is started. Further, when the learning process L for the learning pattern 1 is performed, learning of learning patterns different from the learning pattern 1 (in the example shown in FIG. 4, the learning pattern 2, the learning pattern 3, and the learning pattern 4) is performed. Processing begins.
パイプライン学習では、ニューラルネットワークの各レイヤーが並列の動作をするため、学習の高速化が可能となる。しかし、パイプライン学習では、１つの学習パターンによる結合係数の更新が終わる前に、次の学習パターンの入力が行われるため、正しくない推論処理が行われ、フォワード側の演算において誤差を含むデータが伝搬されてしまう。なお、ニューラルネットワークの入力に近いレイヤーから、誤差を含むデータが伝搬されることが多い。ニューラルネットワークの入力に近いレイヤーでは、学習パターンがニューラルネットワークへ入力されてから結合係数の更新までに長い時間を要するためである。 In pipeline learning, each layer of the neural network operates in parallel, so that the learning speed can be increased. However, in pipeline learning, since the next learning pattern is input before the update of the coupling coefficient by one learning pattern is completed, incorrect inference processing is performed, and data including an error in forward calculation is generated. Propagated. Note that data including an error is often propagated from a layer close to the input of the neural network. This is because, in a layer close to the input of the neural network, it takes a long time to update the coupling coefficient after the learning pattern is input to the neural network.
このため、パイプライン学習による学習の初期の段階では、パイプライン化によって学習速度を大幅に向上させることができるが、学習の後期の段階では学習速度が低下する。そのため、パイプライン学習を用いてニューラルネットワークを学習させる場合には、通常学習と比較して学習品質が許容値に達するまでの学習速度が低下する場合がある。このため、パイプライン学習を用いてニューラルネットワークを学習させる場合、所定の時間内では、通常学習で得られる学習品質に到達しない場合がある。 For this reason, at the initial stage of learning by pipeline learning, the learning speed can be significantly improved by pipelining, but at the later stage of learning, the learning speed decreases. Therefore, when the neural network is learned using pipeline learning, the learning speed until the learning quality reaches an allowable value may be reduced as compared with normal learning. For this reason, when learning a neural network using pipeline learning, the learning quality obtained by normal learning may not be reached within a predetermined time.
図５に、パイプライン学習による学習速度と通常学習による学習速度とを説明するための図を示す。図５に示されるように、学習の初期の段階Ｔ１では、通常学習の学習曲線ＮＬｃに比べパイプライン学習の学習曲線ＰＬｃの方が誤認識率の低下速度が速く、高速に学習が行われる。しかし、学習の後期の段階Ｔ２では、パイプライン学習の学習曲線ＰＬｃと比べ通常学習の学習曲線ＮＬｃの方が誤認識率の低下速度が速くなる。そのため、図５に示されるように、誤認識率が許容値Ｔｈに達するまでには、ニューラルネットワークを通常学習によって学習させる場合には時刻ｔ１を要するが、パイプライン学習ではより多くの学習時間を要する。このことから、パイプライン学習の後期においては、学習の収束性に関してパイプライン学習が寄与しないことがわかる。 FIG. 5 is a diagram for explaining the learning speed by pipeline learning and the learning speed by normal learning. As shown in FIG. 5, at the initial stage T1 of learning, the learning curve PLc for pipeline learning has a lower rate of error recognition rate faster than the learning curve NLc for normal learning, and learning is performed at high speed. However, at the later stage T2 of learning, the learning curve NLc for normal learning has a faster rate of decrease in the false recognition rate than the learning curve PLc for pipeline learning. Therefore, as shown in FIG. 5, when the neural network is learned by normal learning until the misrecognition rate reaches the allowable value Th, time t1 is required, but pipeline learning requires more learning time. Cost. This shows that pipeline learning does not contribute to the convergence of learning in the later stage of pipeline learning.
図３に示されるように、パイプライン学習は、ニューラルネットワークのニューロン素子を並列に演算させることでレイヤー方向Ｌｙのニューロン素子に対する動作の並列化に適している方法である。一方、パイプライン学習では、フォワード側で誤差のあるデータが出力方向Ｆｗに伝搬されるため、１つの学習パターンによる学習に着目すると、通常学習の方が結合係数の最適値に近づけやすい。 As shown in FIG. 3, pipeline learning is a method suitable for paralleling operations on neuron elements in the layer direction Ly by calculating in parallel the neuron elements of the neural network. On the other hand, in pipeline learning, data with an error on the forward side is propagated in the output direction Fw, so that focusing on learning by one learning pattern makes normal learning more likely to approach the optimum value of the coupling coefficient.
ニューラルネットワークの学習が開始される際には、結合係数はランダムな値に設定されるため、結合係数の値は最適値に対して大きく異なっていることが多い。このため、パイプライン学習が行われるときに、フォワード側の誤差が大きい場合であっても、結合係数の更新には影響が少なく、各レイヤーのニューロン素子の演算の並列化による学習の高速化の効果が大きい。一方、パイプライン学習の後期においては、パイプライン学習によって発生するフォワード側の誤差の影響の方が顕著になり、より正確な結合係数の更新が行われる通常学習によって学習を行う方が高速になる。 When learning of the neural network is started, since the coupling coefficient is set to a random value, the value of the coupling coefficient is often greatly different from the optimum value. For this reason, when pipeline learning is performed, even if the error on the forward side is large, there is little effect on the update of the coupling coefficient, and the learning speed is improved by parallelizing the operations of the neuron elements of each layer. Great effect. On the other hand, in the later stage of pipeline learning, the effect of forward errors caused by pipeline learning becomes more prominent, and learning is faster with normal learning in which more accurate coupling coefficients are updated. .
このため、本実施形態では、ニューラルネットワークの学習の初期の段階ではパイプライン学習を用い、ニューラルネットワークの学習の後期の段階では通常学習を用いることにより、ニューラルネットワークの学習の高速化を図る。 Therefore, in this embodiment, pipeline learning is used in the initial stage of learning of the neural network, and normal learning is used in the later stage of learning of the neural network, thereby speeding up the learning of the neural network.
図６に、本実施形態における学習処理を説明するための説明図を示す。図６に示されるように、本実施形態では、パイプライン学習ＰＬと通常学習ＮＬとの２つのモードを適切なタイミングＣで切り替える。タイミングＣでパイプライン学習ＰＬから通常学習ＮＬへ切り替えることにより、学習期間Ｔａの学習の高速性が学習期間Ｔｂへ移行される。このため、学習の初期においてはパイプライン学習の学習処理の高速性が活かされ、かつ学習の後期においては通常学習の学習処理の収束性が活かされるため、認識誤差が高速に低下する。これにより、図６に示されるように、本実施形態の学習による学習曲線はＭＬｃとなり、学習時間が低減される。 FIG. 6 is an explanatory diagram for explaining the learning process in the present embodiment. As shown in FIG. 6, in the present embodiment, the two modes of the pipeline learning PL and the normal learning NL are switched at an appropriate timing C. By switching from pipeline learning PL to normal learning NL at timing C, the learning speed of the learning period Ta is shifted to the learning period Tb. For this reason, since the high speed of the learning process of pipeline learning is utilized in the early stage of learning, and the convergence of the learning process of normal learning is utilized in the latter stage of learning, the recognition error is rapidly reduced. Thereby, as shown in FIG. 6, the learning curve by learning of this embodiment becomes MLc, and the learning time is reduced.
ニューラルネットワークの学習においては、ニューラルネットワークの出力値とその期待値とが比較される。第１の実施形態では、学習パターンをニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差に応じて、パイプライン学習と通常学習とを切り替える。一般に、出力誤差が大きい場合は、結合係数の値が最適値から大きくずれていることを示しており、出力誤差が小さい場合には、結合係数の値が最適値に近づき学習が進んでいることを示す。 In neural network learning, the output value of the neural network and its expected value are compared. In the first embodiment, pipeline learning and normal learning are switched according to an output error representing an error between an output value and an expected value when a learning pattern is input to a neural network. In general, when the output error is large, it indicates that the value of the coupling coefficient is greatly deviated from the optimal value. When the output error is small, the value of the coupling coefficient approaches the optimal value and learning progresses. Indicates.
学習部１４は、パイプライン学習によってニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標の一例である出力誤差が、予め定められた出力誤差に関する閾値より小さい場合に、パイプライン学習を通常学習に切り替える。そして、学習部１４は、通常学習によってニューラルネットワークを学習させる。第１の実施形態では、１つ目の学習パターンを学習させたときの出力誤差Ｅ（１）に対して所定の係数Ａ１を乗算した値を、予め定められた出力誤差に関する閾値として用いる。なお、所定の係数Ａ１は、０＜Ａ１＜１を満たす固定値である。 The learning unit 14 repeatedly learns the neural network through pipeline learning, and when the output error, which is an example of an index related to learning progress, is smaller than a predetermined threshold value related to the output error, the pipeline learning is normally learned. Switch to. And the learning part 14 is made to learn a neural network by normal learning. In the first embodiment, a value obtained by multiplying the output error E (1) when the first learning pattern is learned by a predetermined coefficient A1 is used as a threshold value related to a predetermined output error. The predetermined coefficient A1 is a fixed value that satisfies 0 <A1 <1.
誤差記憶部１６には、パイプライン学習によってニューラルネットワークを学習させる際の出力誤差Ｅが格納される。出力誤差Ｅは、例えば、図７に示されるように、テーブルの形式で格納される。図７に示すテーブルには、学習パターンの番号ｉと、その学習パターンに対する出力誤差Ｅとが対応付けられて格納される。 The error storage unit 16 stores an output error E when the neural network is learned by pipeline learning. The output error E is stored in the form of a table, for example, as shown in FIG. In the table shown in FIG. 7, a learning pattern number i and an output error E for the learning pattern are stored in association with each other.
モデル記憶部１８には、学習部１４によって学習されたニューラルネットワークの結合係数Ｗが格納される。 The model storage unit 18 stores the coupling coefficient W of the neural network learned by the learning unit 14.
情報処理装置１０は、例えば、図８に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。 The information processing apparatus 10 can be realized by, for example, a computer 50 illustrated in FIG. The computer 50 includes a CPU 51, a memory 52 as a temporary storage area, and a nonvolatile storage unit 53. In addition, the computer 50 reads / writes (R / R) that controls reading and writing of data with respect to an input / output interface (I / F) 54 and a recording medium 59 to which a display device, an input / output device and the like (not shown) are connected. W) A portion 55 is provided. The computer 50 also includes a network I / F 56 connected to a network such as the Internet. The CPU 51, memory 52, storage unit 53, input / output I / F 54, R / W unit 55, and network I / F 56 are connected to each other via a bus 57.
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を情報処理装置１０として機能させるための情報処理プログラム６０が記憶されている。情報処理プログラム６０は、学習プロセス６２を有する。情報記憶領域６３には、学習パターン記憶部１２を構成する情報と、誤差記憶部１６を構成する情報と、モデル記憶部１８を構成する情報とが記憶される。 The storage unit 53 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. An information processing program 60 for causing the computer 50 to function as the information processing apparatus 10 is stored in the storage unit 53 as a storage medium. The information processing program 60 has a learning process 62. In the information storage area 63, information configuring the learning pattern storage unit 12, information configuring the error storage unit 16, and information configuring the model storage unit 18 are stored.
ＣＰＵ５１は、情報処理プログラム６０を記憶部５３から読み出してメモリ５２に展開し、情報処理プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、学習プロセス６２を実行することで、図１に示す学習部１４として動作する。また、ＣＰＵ５１は、情報記憶領域６３から情報を読み出して、学習パターン記憶部１２をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域６３から情報を読み出して、誤差記憶部１６をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域６３から情報を読み出して、モデル記憶部１８をメモリ５２に展開する。これにより、情報処理プログラム６０を実行したコンピュータ５０が、情報処理装置１０として機能することになる。ソフトウェアである情報処理プログラム６０を実行するＣＰＵ５１はハードウェアである。 The CPU 51 reads the information processing program 60 from the storage unit 53 and develops it in the memory 52, and sequentially executes the processes included in the information processing program 60. The CPU 51 operates as the learning unit 14 illustrated in FIG. 1 by executing the learning process 62. Further, the CPU 51 reads information from the information storage area 63 and develops the learning pattern storage unit 12 in the memory 52. In addition, the CPU 51 reads information from the information storage area 63 and develops the error storage unit 16 in the memory 52. Further, the CPU 51 reads information from the information storage area 63 and develops the model storage unit 18 in the memory 52. As a result, the computer 50 that has executed the information processing program 60 functions as the information processing apparatus 10. The CPU 51 that executes the information processing program 60 that is software is hardware.
なお、情報処理プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。 Note that the functions realized by the information processing program 60 can be realized by, for example, a semiconductor integrated circuit, more specifically, an application specific integrated circuit (ASIC).
次に、第１の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、ニューラルネットワークをパイプライン学習によって学習させ、出力誤差Ｅ（ｉ）を誤差記憶部１６へ逐次格納する。そして、情報処理装置１０は、図９に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the first embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 learns the neural network by pipeline learning and sequentially stores the output error E (i) in the error storage unit 16. Then, the information processing apparatus 10 executes the information processing routine shown in FIG.
ステップＳ１００において、学習部１４は、誤差記憶部１６に格納された、最新の番号ｉの学習パターンについての出力誤差Ｅ（ｉ）と、番号１の学習パターンについての出力誤差Ｅ（１）とを取得する。 In step S100, the learning unit 14 uses the output error E (i) for the latest learning pattern with number i and the output error E (1) for the learning pattern with number 1 stored in the error storage unit 16. get.
ステップＳ１０２において、学習部１４は、上記ステップＳ１００で取得した出力誤差Ｅ（ｉ）と出力誤差Ｅ（１）とに基づき、出力誤差Ｅ（ｉ）が出力誤差Ｅ（１）に対して所定の係数Ａ１を乗算した値よりも小さいか否かを判定する。出力誤差Ｅ（ｉ）が、出力誤差Ｅ（１）に対して所定の係数Ａ１を乗算した値よりも小さい場合には、ステップＳ１０４へ進む。一方、出力誤差Ｅ（ｉ）が、出力誤差Ｅ（１）に対して所定の係数Ａ１を乗算した値以上の場合には、ステップＳ１００へ戻る。 In step S102, the learning unit 14 determines that the output error E (i) is a predetermined amount with respect to the output error E (1) based on the output error E (i) and the output error E (1) acquired in step S100. It is determined whether or not the value is smaller than the value multiplied by the coefficient A1. When the output error E (i) is smaller than the value obtained by multiplying the output error E (1) by the predetermined coefficient A1, the process proceeds to step S104. On the other hand, when the output error E (i) is not less than the value obtained by multiplying the output error E (1) by the predetermined coefficient A1, the process returns to step S100.
ステップＳ１０４において、学習部１４は、パイプライン学習を通常学習へ切り替えるための指示信号を結果として出力する。学習部１４は、パイプライン学習を通常学習へ切り替えるための指示信号に基づき、通常学習によってニューラルネットワークを学習させる。 In step S104, the learning unit 14 outputs an instruction signal for switching the pipeline learning to the normal learning as a result. The learning unit 14 causes the neural network to learn by normal learning based on an instruction signal for switching pipeline learning to normal learning.
以上説明したように、本実施形態に係る情報処理装置は、出力誤差が予め定められた出力誤差に関する閾値より小さい場合に、パイプライン学習によるニューラルネットワークの学習から通常学習によるニューラルネットワークの学習へ切り替える。これにより、ニューラルネットワークをパイプライン学習のみによって学習させる場合に比べ、ニューラルネットワークを高速に学習させることができる。 As described above, the information processing apparatus according to the present embodiment switches from learning of a neural network by pipeline learning to learning of a neural network by normal learning when the output error is smaller than a predetermined threshold value related to the output error. . Thereby, compared with the case where a neural network is learned only by pipeline learning, a neural network can be learned at high speed.
＜第２の実施形態＞ <Second Embodiment>
次に、第２の実施形態について説明する。第２の実施形態では、前時刻の出力誤差と現時刻の出力誤差との間の比較結果に応じて、パイプライン学習から通常学習へ切り替える点が第１の実施形態と異なる。なお、第２の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. The second embodiment is different from the first embodiment in that the pipeline learning is switched to the normal learning according to the comparison result between the output error at the previous time and the output error at the current time. In addition, since the structure of 2nd Embodiment becomes a structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第２の実施形態では、番号ｉ−１の学習パターンをニューラルネットワークへ学習させたときの前時刻の出力誤差Ｅ（ｉ−１）と、番号ｉの学習パターンをニューラルネットワークへ学習させたときの現時刻の出力誤差Ｅ（ｉ）との比較結果に応じて、パイプライン学習を通常学習へ切り替える。 In the second embodiment, the output error E (i-1) at the previous time when the learning pattern of number i-1 was learned by the neural network and the learning pattern of number i when learned by the neural network were learned. Pipeline learning is switched to normal learning according to the comparison result with the output error E (i) at the current time.
具体的には、学習部１４は、現時刻の出力誤差Ｅ（ｉ）が、前時刻の出力誤差Ｅ（ｉ−１）に対して所定の係数Ａ２を乗算した値よりも大きい場合に、ニューラルネットワークの学習をパイプライン学習から通常学習へ切り替える。なお、所定の係数Ａ２は、０＜Ａ２＜１を満たす固定値である。 Specifically, the learning unit 14 determines that the output error E (i) at the current time is greater than a value obtained by multiplying the output error E (i−1) at the previous time by a predetermined coefficient A2, and Switch network learning from pipeline learning to normal learning. The predetermined coefficient A2 is a fixed value that satisfies 0 <A2 <1.
次に、第２の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、ニューラルネットワークをパイプライン学習によって学習させ、出力誤差Ｅ（ｉ）を誤差記憶部１６へ逐次格納する。そして、情報処理装置１０は、図１０に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the second embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 learns the neural network by pipeline learning and sequentially stores the output error E (i) in the error storage unit 16. Then, the information processing apparatus 10 executes the information processing routine shown in FIG.
ステップＳ２００において、誤差記憶部１６に格納された、現時刻の出力誤差Ｅ（ｉ）と、前時刻の出力誤差Ｅ（ｉ−１）とを取得する。 In step S200, the output error E (i) at the current time and the output error E (i-1) at the previous time stored in the error storage unit 16 are acquired.
ステップＳ２０２において、学習部１４は、現時刻の出力誤差Ｅ（ｉ）が、前時刻の出力誤差Ｅ（ｉ−１）に対して所定の係数Ａ２を乗算した値よりも大きいか否かを判定する。現時刻の出力誤差Ｅ（ｉ）が、前時刻の出力誤差Ｅ（ｉ−１）に対して所定の係数Ａ２を乗算した値よりも大きい場合には、ステップＳ１０４へ進む。一方、現時刻の出力誤差Ｅ（ｉ）が、前時刻の出力誤差Ｅ（ｉ−１）に対して所定の係数Ａ２を乗算した値以下の場合には、ステップＳ２００へ戻る。 In step S202, the learning unit 14 determines whether or not the output error E (i) at the current time is greater than a value obtained by multiplying the output error E (i-1) at the previous time by a predetermined coefficient A2. To do. When the output error E (i) at the current time is larger than the value obtained by multiplying the output error E (i−1) at the previous time by a predetermined coefficient A2, the process proceeds to step S104. On the other hand, if the output error E (i) at the current time is equal to or less than the value obtained by multiplying the output error E (i-1) at the previous time by a predetermined coefficient A2, the process returns to step S200.
以上説明したように、本実施形態に係る情報処理装置は、前時刻の出力誤差と現時刻の出力誤差との間の比較結果に応じて、パイプライン学習によるニューラルネットワークの学習から通常学習によるニューラルネットワークの学習へ切り替える。これにより、前時刻の出力誤差と現時刻の出力誤差とに基づき、前時刻の出力誤差に比べ現時刻の出力誤差が低下していない場合に、パイプライン学習から通常学習へ切り替えることができる。 As described above, the information processing apparatus according to the present embodiment performs neural network learning from normal learning to learning from a neural network based on pipeline learning according to a comparison result between the output error at the previous time and the output error at the current time. Switch to network learning. Thus, based on the output error at the previous time and the output error at the current time, when the output error at the current time is not lower than the output error at the previous time, it is possible to switch from pipeline learning to normal learning.
＜第３の実施形態＞ <Third Embodiment>
次に、第３の実施形態について説明する。第３の実施形態では、複数の学習パターンによる学習を表すエポックを用いたパイプライン学習によってニューラルネットワークを学習させることを繰り返す。そして、エポックの複数の学習パターンの各々をニューラルネットワークへ入力したときの出力誤差の総和を表す誤差積分が、予め定められた誤差積分に関する閾値より小さい場合にパイプライン学習から通常学習へ切り替える点が第１又は第２の実施形態と異なる。なお、第３の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a third embodiment will be described. In the third embodiment, the neural network is repeatedly learned by pipeline learning using an epoch representing learning by a plurality of learning patterns. When the error integral representing the sum of the output errors when each of the plurality of learning patterns of the epoch is input to the neural network is smaller than a predetermined threshold value relating to the error integral, the point of switching from pipeline learning to normal learning is that Different from the first or second embodiment. In addition, since the structure of 3rd Embodiment becomes a structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
ニューラルネットワークの学習処理において、一般に、学習パターンは１度だけ使われるのではなく、繰り返し何度も使われることが多い。複数の学習パターンを表す１組のデータを入力する過程は、一般にはエポックと称される。１エポックを用いた学習が終了すると、同一の学習パターンがニューラルネットワークへ入力され、学習が行われる。 In a neural network learning process, in general, a learning pattern is not used only once, but is often used repeatedly. The process of inputting a set of data representing a plurality of learning patterns is generally called an epoch. When learning using one epoch is completed, the same learning pattern is input to the neural network and learning is performed.
第１及び第２の実施形態では、１つの学習パターンの出力誤差を基準として、パイプライン学習と通常学習とを切り替える場合を例に説明したが、学習パターン毎の出力誤差の変動は大きい場合がある。そのため、１つの学習パターンの出力誤差を判断基準にする場合には、パイプライン学習と通常学習との間の切り替えのタイミングが適切ではない場合がある。 In the first and second embodiments, the case where the pipeline learning and the normal learning are switched based on the output error of one learning pattern has been described as an example. However, the variation in the output error for each learning pattern may be large. is there. Therefore, when the output error of one learning pattern is used as a criterion, there are cases where the timing for switching between pipeline learning and normal learning is not appropriate.
そこで、第３の実施形態の学習部１４は、学習の進捗に関する指標の一例である、エポックに含まれる複数の学習パターンの各々をニューラルネットワークへ入力したときの出力誤差の総和を表す誤差積分に応じて、パイプライン学習から通常学習へ切り替える。 Therefore, the learning unit 14 of the third embodiment is an example of an index related to the progress of learning, which is an error integral that represents the sum of output errors when each of a plurality of learning patterns included in the epoch is input to the neural network. Accordingly, switch from pipeline learning to normal learning.
具体的には、第３の実施形態の学習部１４は、複数の学習パターンによる学習を表す１エポックの間の出力誤差の総和を表す誤差積分を算出する。ｊ番目のエポックに含まれる複数の学習パターンの各々をニューラルネットワークへ入力したときの出力誤差Ｅ（ｉ，ｊ）の総和を表す誤差積分は、以下の式（１）によって表される。なお、ｉは学習パターンの番号を表す。 Specifically, the learning unit 14 of the third embodiment calculates an error integral that represents the sum of output errors during one epoch that represents learning by a plurality of learning patterns. An error integral representing the sum of output errors E (i, j) when each of the plurality of learning patterns included in the j-th epoch is input to the neural network is expressed by the following equation (1). Note that i represents a learning pattern number.
（１）
(1)
そして、学習部１４は、エポックの誤差積分が、予め定められた誤差積分に関する閾値より小さい場合に、パイプライン学習から通常学習へ切り替える。本実施形態では、１つ目のエポックによる学習の誤差積分に対して所定の係数Ｂ１を乗算した値を、予め定められた誤差積分に関する閾値として用いる。なお、所定の係数Ｂ１は、０＜Ｂ１＜１を満たす固定値である。具体的には、学習部１４は、以下の式（２）を満たす場合に、ニューラルネットワークの学習処理をパイプライン学習から通常学習へ切り替える。 Then, the learning unit 14 switches from pipeline learning to normal learning when the error integration of the epoch is smaller than a predetermined threshold for error integration. In this embodiment, a value obtained by multiplying the error integration of learning by the first epoch by a predetermined coefficient B1 is used as a predetermined threshold value for error integration. The predetermined coefficient B1 is a fixed value that satisfies 0 <B1 <1. Specifically, the learning unit 14 switches the learning processing of the neural network from pipeline learning to normal learning when the following expression (2) is satisfied.
（２）
(2)
エポックに含まれる学習パターンの出力誤差を積算することにより、学習パターン毎の出力誤差の変動が緩和されるため、学習の切り替えのタイミングを適切に設定することができる。 By accumulating the output errors of the learning patterns included in the epoch, fluctuations in the output error for each learning pattern are alleviated, so that the learning switching timing can be set appropriately.
次に、第３の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、ニューラルネットワークをパイプライン学習によって学習させ、上記式（１）によって得られる誤差積分を誤差記憶部１６へ逐次格納する。そして、情報処理装置１０は、図１１に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the third embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 learns the neural network by pipeline learning, and sequentially stores the error integral obtained by the above equation (1) in the error storage unit 16. Then, the information processing apparatus 10 executes the information processing routine shown in FIG.
ステップＳ３００において、学習部１４は、誤差記憶部１６に格納された、最新のエポックの番号ｊについての誤差積分ΣｉＥ（ｉ，ｊ）と、エポックの番号１についての誤差積分ΣｉＥ（ｉ，１）とを取得する。 In step S300, the learning unit 14, stored in the error storage unit 16, error integrator sigma i E (i, j) for the number j of the latest epoch and, error integrator sigma i E for numbers 1 epoch ( i, 1).
ステップＳ３０２において、学習部１４は、上記ステップＳ３００で取得した誤差積分ΣｉＥ（ｉ，ｊ）と誤差積分ΣｉＥ（ｉ，１）とに基づき、上記式（２）が満たされるか否かを判定する。上記式（２）が満たされる場合には、ステップＳ１０４へ進む。一方、上記式（２）が満たされない場合には、ステップＳ３００へ戻る。 In step S302, the learning unit 14 determines whether the above equation (2) is satisfied based on the error integral Σ i E (i, j) and the error integral Σ i E (i, 1) acquired in step S300. Determine whether. If the above equation (2) is satisfied, the process proceeds to step S104. On the other hand, if the above equation (2) is not satisfied, the process returns to step S300.
以上説明したように、第３の実施形態に係る情報処理装置は、複数の学習パターンによる学習を表すエポックを用いたパイプライン学習によってニューラルネットワークを学習させることを繰り返す。そして、エポックの複数の学習パターンの各々をニューラルネットワークへ入力したときの出力誤差の総和を表す誤差積分が、予め定められた誤差積分に関する閾値より小さい場合に、パイプライン学習から通常学習へ切り替える。これにより、学習パターン毎の出力誤差の変動が大きい場合であっても、適切なタイミングでパイプライン学習から通常学習へ切り替えることができる。 As described above, the information processing apparatus according to the third embodiment repeatedly learns a neural network by pipeline learning using an epoch representing learning by a plurality of learning patterns. Then, when the error integration representing the sum of output errors when each of the plurality of learning patterns of the epoch is input to the neural network is smaller than a predetermined threshold value related to error integration, the pipeline learning is switched to the normal learning. Thereby, even if the variation of the output error for each learning pattern is large, it is possible to switch from pipeline learning to normal learning at an appropriate timing.
＜第４の実施形態＞ <Fourth Embodiment>
次に、第４の実施形態について説明する。第４の実施形態では、第３の実施形態と同様に、複数の学習パターンによる学習を表すエポックを用いたパイプライン学習によってニューラルネットワークを学習させることを繰り返す。第４の実施形態では、前時刻の誤差積分と現時刻の誤差積分との間の比較結果に応じて、パイプライン学習から通常学習へ切り替える点が第３の実施形態と異なる。なお、第４の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a fourth embodiment will be described. In the fourth embodiment, similar to the third embodiment, the neural network is repeatedly learned by pipeline learning using an epoch representing learning by a plurality of learning patterns. The fourth embodiment is different from the third embodiment in that the pipeline learning is switched to the normal learning according to the comparison result between the error integration at the previous time and the error integration at the current time. In addition, since the structure of 4th Embodiment becomes a structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
具体的には、第４の実施形態の学習部１４は、第３の実施形態と同様に、上記式（１）に従って、１エポックの誤差積分を算出する。そして、学習部１４は、以下の式（３）を満たす場合に、ニューラルネットワークの学習処理をパイプライン学習から通常学習へ切り替える。なお、所定の係数Ｂ２は、０＜Ｂ２＜１を満たす固定値である。 Specifically, the learning unit 14 of the fourth embodiment calculates an error integral of one epoch according to the above equation (1), as in the third embodiment. And the learning part 14 switches the learning process of a neural network from pipeline learning to normal learning, when the following formula | equation (3) is satisfy | filled. The predetermined coefficient B2 is a fixed value that satisfies 0 <B2 <1.
（３）
(3)
上記式（３）が満たされる場合に学習方法を切り替えることにより、エポック間で誤差積分が変動しなくなった場合に、学習が十分進んだものとして、パイプライン学習から通常学習へ切り替えることができる。 By switching the learning method when the above equation (3) is satisfied, it is possible to switch from pipeline learning to normal learning, assuming that learning has sufficiently progressed when the error integration does not change between epochs.
次に、第４の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、ニューラルネットワークをパイプライン学習によって学習させ、上記式（１）によって得られる誤差積分を誤差記憶部１６へ逐次格納する。そして、情報処理装置１０は、図１２に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the fourth embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 learns the neural network by pipeline learning, and sequentially stores the error integral obtained by the above equation (1) in the error storage unit 16. Then, the information processing apparatus 10 executes the information processing routine shown in FIG.
ステップＳ４００において、学習部１４は、誤差記憶部１６に格納された、現時刻のエポックの番号ｊについての誤差積分ΣｉＥ（ｉ，ｊ）と、前時刻のエポックの番号ｊ−１についての誤差積分ΣｉＥ（ｉ，ｊ−１）とを取得する。 In step S400, the learning unit 14 stores the error integration Σ i E (i, j) for the epoch number j at the current time and the epoch number j−1 at the previous time stored in the error storage unit 16. An error integral Σ i E (i, j−1) is obtained.
ステップＳ４０２において、学習部１４は、上記ステップＳ４００で取得した誤差積分ΣｉＥ（ｉ，ｊ）と誤差積分ΣｉＥ（ｉ，ｊ−１）とに基づき、上記式（３）が満たされるか否かを判定する。上記式（３）が満たされる場合には、ステップＳ１０４へ進む。一方、上記式（３）が満たされない場合には、ステップＳ４００へ戻る。 In step S402, the learning unit 14 satisfies the above equation (3) based on the error integral Σ i E (i, j) and the error integral Σ i E (i, j-1) acquired in step S400. It is determined whether or not. If the above equation (3) is satisfied, the process proceeds to step S104. On the other hand, if the above equation (3) is not satisfied, the process returns to step S400.
以上説明したように、第４の実施形態に係る情報処理装置は、前時刻の誤差積分と現時刻の誤差積分との間の比較結果に応じて、パイプライン学習から通常学習へ切り替える。これにより、前時刻の誤差積分に比べ現時刻の誤差積分が低下していない場合に、パイプライン学習から通常学習へ切り替えることができる。 As described above, the information processing apparatus according to the fourth embodiment switches from pipeline learning to normal learning according to the comparison result between the error integration at the previous time and the error integration at the current time. As a result, when the error integration at the current time is not lower than the error integration at the previous time, it is possible to switch from pipeline learning to normal learning.
＜第５の実施形態＞ <Fifth Embodiment>
次に、第５の実施形態について説明する。第５の実施形態では、第１〜第４の実施形態と同様に、パイプライン学習によってニューラルネットワークを学習させることを繰り返す。そして、学習パターンとは異なる、期待値が付与されたテスト用パターンをニューラルネットワークへ入力したときの出力誤差を表すテスト誤差が予め定められたテスト誤差に関する閾値より小さい場合に、パイプライン学習から通常学習に切り替える。なお、第５の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a fifth embodiment will be described. In the fifth embodiment, similar to the first to fourth embodiments, the neural network is repeatedly learned by pipeline learning. When the test error representing the output error when a test pattern with an expected value different from the learning pattern is input to the neural network is smaller than a predetermined threshold for the test error, the pipeline learning is normally performed. Switch to learning. In addition, since the structure of 5th Embodiment becomes a structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第１〜第４の実施形態では、学習パターンの出力誤差を用いてパイプライン学習から通常学習へ切り替えを行うが、ニューラルネットワークの学習結果の品質は、学習に使用しないテストデータによって測定される。 In the first to fourth embodiments, switching from pipeline learning to normal learning is performed using the output error of the learning pattern, but the quality of the learning result of the neural network is measured by test data not used for learning.
そこで、第５の実施形態では、学習に使用しないテストデータの誤認識率を表すテスト誤差を用いて、パイプライン学習から通常学習へ切り替える。なお、テストデータを用いて学習結果の品質を測定することをバリデーションという。学習結果の品質の測定方法は、ニューラルネットワークの出力値と期待値との差によって測定されるため、テスト誤差は出力誤差と同等であるが、入力データが未知である点が異なる。 Therefore, in the fifth embodiment, the pipeline learning is switched to the normal learning using a test error that represents an erroneous recognition rate of test data that is not used for learning. In addition, measuring the quality of a learning result using test data is called validation. Since the method of measuring the quality of the learning result is measured by the difference between the output value of the neural network and the expected value, the test error is equivalent to the output error, but the input data is unknown.
第５の実施形態の学習部１４は、学習の進捗に関する指標の一例であるテスト誤差が予め定められたテスト誤差に関する閾値Ｃより小さい場合に、パイプライン学習から通常学習に切り替える。なお、閾値Ｃは、０＜Ｃ＜１を満たす固定値である。 The learning unit 14 of the fifth embodiment switches from pipeline learning to normal learning when a test error, which is an example of an index related to learning progress, is smaller than a predetermined threshold C related to a test error. The threshold C is a fixed value that satisfies 0 <C <1.
次に、第５の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、予め設定されたエポック数分のパイプライン学習によってニューラルネットワークを学習させる。そして、情報処理装置１０は、図１３に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the fifth embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 causes the neural network to learn by pipeline learning for a preset number of epochs. Then, the information processing apparatus 10 executes the information processing routine shown in FIG.
ステップＳ５００において、学習部１４は、学習パターンとは異なる、期待値が付与されたテスト用パターンをニューラルネットワークへ入力したときのテスト誤差ｒを算出することにより、バリデーションを実行する。 In step S500, the learning unit 14 performs validation by calculating a test error r when a test pattern to which an expected value different from the learning pattern is input to the neural network.
ステップＳ５０２において、学習部１４は、上記ステップＳ５００で算出されたテスト誤差ｒが、テスト誤差に関する閾値Ｃより小さいか否かを判定する。テスト誤差ｒが、テスト誤差に関する閾値Ｃより小さい場合には、ステップＳ１０４へ進む。一方、テスト誤差ｒが、テスト誤差に関する閾値Ｃ以上の場合には、ステップＳ５０６へ進む。 In step S502, the learning unit 14 determines whether or not the test error r calculated in step S500 is smaller than a threshold C related to the test error. If the test error r is smaller than the threshold C for the test error, the process proceeds to step S104. On the other hand, if the test error r is greater than or equal to the threshold C related to the test error, the process proceeds to step S506.
ステップＳ５０６において、学習部１４は、パイプライン学習を継続するための指示信号を結果として出力する。学習部１４は、パイプライン学習を継続するための指示信号に基づき、パイプライン学習によってニューラルネットワークを学習させる。 In step S506, the learning unit 14 outputs an instruction signal for continuing the pipeline learning as a result. The learning unit 14 causes the neural network to learn by pipeline learning based on an instruction signal for continuing pipeline learning.
以上説明したように、第５の実施形態に係る情報処理装置は、テスト誤差が予め定められたテスト誤差に関する閾値より小さい場合に、パイプライン学習から通常学習に切り替える。これにより、ニューラルネットワークの学習結果の品質を表すバリデーションの結果に応じて、パイプライン学習から通常学習に切り替えることができる。 As described above, the information processing apparatus according to the fifth embodiment switches from pipeline learning to normal learning when the test error is smaller than a predetermined threshold related to the test error. Thereby, it is possible to switch from pipeline learning to normal learning according to the result of validation representing the quality of the learning result of the neural network.
＜第６の実施形態＞ <Sixth Embodiment>
次に、第６の実施形態について説明する。第６の実施形態では、第１〜第５の実施形態と同様に、パイプライン学習によってニューラルネットワークを学習させることを繰り返す。そして、第５の実施形態では、前時刻のテスト誤差と現時刻のテスト誤差との間の比較結果に応じて、パイプライン学習から通常学習に切り替える点が第５の実施形態と異なる。なお、第６の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。 Next, a sixth embodiment will be described. In the sixth embodiment, similar to the first to fifth embodiments, the neural network is repeatedly learned by pipeline learning. The fifth embodiment is different from the fifth embodiment in that the pipeline learning is switched to the normal learning according to the comparison result between the test error at the previous time and the test error at the current time. In addition, since the structure of 6th Embodiment becomes a structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
具体的には、第６の実施形態の学習部１４は、第５の実施形態と同様に、学習に使用しないテストデータの誤認識率を表すテスト誤差を算出する。そして、学習部１４は、以下の式（４）を満たす場合に、ニューラルネットワークの学習処理をパイプライン学習から通常学習へ切り替える。 Specifically, as in the fifth embodiment, the learning unit 14 of the sixth embodiment calculates a test error that represents an erroneous recognition rate of test data that is not used for learning. And the learning part 14 switches the learning process of a neural network from pipeline learning to normal learning, when the following formula | equation (4) is satisfy | filled.
ｒ（ｋ）＞Ｄ*ｒ（ｋ−１） （４） r (k)> D * r (k-1) (4)
なお、ｋはバリデーションを識別するための番号である。ｒ（ｋ）は、現時刻のバリデーションによるテスト誤差を表す。また、ｒ（ｋ−１）は、前時刻のバリデーションによるテスト誤差を表す。なお、所定の係数Ｄは、０＜Ｄ＜１を満たす固定値である。 Note that k is a number for identifying validation. r (k) represents a test error due to validation at the current time. R (k-1) represents a test error due to validation at the previous time. The predetermined coefficient D is a fixed value that satisfies 0 <D <1.
次に、第６の実施形態に係る情報処理装置１０の作用について説明する。情報処理装置１０は、ニューラルネットワークの学習処理に関する指示信号を受け付けると、予め設定されたエポック数分のパイプライン学習によってニューラルネットワークを学習させる。そして、情報処理装置１０は、図１４に示す情報処理ルーチンを実行する。 Next, the operation of the information processing apparatus 10 according to the sixth embodiment will be described. When the information processing apparatus 10 receives an instruction signal related to the learning process of the neural network, the information processing apparatus 10 causes the neural network to learn by pipeline learning for a preset number of epochs. Then, the information processing apparatus 10 executes an information processing routine shown in FIG.
ステップＳ６０１において、学習部１４は、ステップＳ５００で算出されたテスト誤差を誤差記憶部１６へ格納する。ステップＳ６０１で格納されたテスト誤差は、次回の情報処理ルーチンの実行の際に用いられる。 In step S601, the learning unit 14 stores the test error calculated in step S500 in the error storage unit 16. The test error stored in step S601 is used when the information processing routine is executed next time.
ステップＳ６０２において、学習部１４は、誤差記憶部１６へ格納された前時刻ｋ−１のテスト誤差ｒ（ｋ−１）を読み出す。そして、学習部１４は、ステップＳ５００で取得されたテスト誤差ｒ（ｋ）と読み出したテスト誤差ｒ（ｋ−１）とに基づき、上記式（４）が満たされるか否かを判定する。上記式（４）が満たされる場合には、ステップＳ１０４へ進む。一方、上記式（４）が満たされない場合には、ステップＳ５０６へ進む。 In step S <b> 602, the learning unit 14 reads the test error r (k−1) at the previous time k−1 stored in the error storage unit 16. Then, the learning unit 14 determines whether or not the above equation (4) is satisfied based on the test error r (k) acquired in step S500 and the read test error r (k−1). If the above equation (4) is satisfied, the process proceeds to step S104. On the other hand, if the above equation (4) is not satisfied, the process proceeds to step S506.
以上説明したように、第６の実施形態に係る情報処理装置は、前時刻のテスト誤差と現時刻のテスト誤差との間の比較結果に応じて、パイプライン学習から通常学習に切り替える。これにより、ニューラルネットワークの学習結果の品質を表すバリデーションの結果に応じて、前時刻のバリデーションの結果に比べ現時刻のバリデーションの結果が向上していない場合に、パイプライン学習から通常学習へ切り替えることができる。 As described above, the information processing apparatus according to the sixth embodiment switches from pipeline learning to normal learning according to the comparison result between the test error at the previous time and the test error at the current time. This enables switching from pipeline learning to normal learning when the result of validation at the current time is not improved compared to the result of validation at the previous time, according to the result of validation representing the quality of the learning result of the neural network. Can do.
なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。 In the above description, the mode in which each program is stored (installed) in advance in the storage unit has been described. However, the present invention is not limited to this. The program according to the disclosed technology can be provided in a form recorded on a recording medium such as a CD-ROM, a DVD-ROM, or a USB memory.
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。 All documents, patent applications and technical standards mentioned in this specification are to the same extent as if each individual document, patent application and technical standard were specifically and individually stated to be incorporated by reference. Incorporated by reference in the book.
＜実施例＞
図１５に、パイプライン学習、通常学習、及びパイプライン学習と通常学習とを組み合わせた学習（本実施形態に係る方法）についてのシミュレーション結果を示す。
<Example>
FIG. 15 shows simulation results for pipeline learning, normal learning, and learning that combines pipeline learning and normal learning (method according to the present embodiment).
図１５に示される例は、５段のＣＮＮ（Convolutional Neural Network）構造のニューラルネットワークに、手書き数字の認識処理を行わせるための学習処理のシミュレーション結果である。図１５では、実線がパイプライン学習の学習曲線ＰＬｃを表し、一点差線が通常学習の学習曲線ＮＬｃを表し、点線が本実施形態の手法での学習処理の学習曲線ＭＬｃを表す。 The example shown in FIG. 15 is a simulation result of learning processing for causing a neural network having a five-stage CNN (Convolutional Neural Network) structure to perform recognition processing of handwritten numerals. In FIG. 15, the solid line represents the learning curve PLc for pipeline learning, the one-point difference line represents the learning curve NLc for normal learning, and the dotted line represents the learning curve MLc for learning processing according to the method of the present embodiment.
図１５に示されるように、通常学習の学習曲線ＮＬｃにおいては、誤認識率１％の許容値Ｘに学習時間Ｔｘ２で到達する。一方、本実施形態の手法による学習処理の学習曲線ＭＬｃにおいては、誤認識率１％の許容値Ｘに学習時間Ｔｘ１で到達する。図１５に示されるように、本実施形態の手法による学習処理によって、学習時間は約１０倍短縮されていることがわかる。また、パイプライン学習の単独の学習処理に比べて、１００倍以上の学習速度の高速化が可能であることがわかる。 As shown in FIG. 15, in the learning curve NLc for normal learning, the allowable value X with an error recognition rate of 1% is reached in the learning time Tx2. On the other hand, in the learning curve MLc of the learning process according to the method of the present embodiment, the allowable value X with an error recognition rate of 1% is reached in the learning time Tx1. As shown in FIG. 15, it can be seen that the learning time is reduced by about 10 times by the learning process according to the method of the present embodiment. Further, it can be seen that the learning speed can be increased by 100 times or more compared to the single learning process of pipeline learning.
次に、各実施形態の変形例を説明する。 Next, a modified example of each embodiment will be described.
上記各実施形態では、パイプライン学習と通常学習とを単に切り替える場合を例に説明したがこれに限定されるものではない。例えば、ニューラルネットワークの各レイヤーのパイプライン化の度合いを段階的に切り替えてニューラルネットワークを学習させても良い。パイプライン化の度合いを段階的に切り替える場合には、例えば、パイプラインの学習の並列の度合いに関する複数の閾値を予め設定する。そして、学習の進捗に関する指標としての、出力誤差、誤差積分、及びテスト誤差の少なくとも１つと、パイプラインの学習の並列の度合いに関する複数の閾値とに応じて、パイプラインの学習の並列の度合いを段階的に切り替えるようにしてもよい。例えば、第１のパイプライン学習によってニューラルネットワークを学習させ、学習の進捗に関する指標に応じて、第１のパイプライン学習とは異なる第２のパイプライン学習によるニューラルネットワークの学習に切り替えるようにすることができる。この場合、第１のパイプライン学習と第２のパイプライン学習とで、ニューラルネットワークの各レイヤーの学習の並列の度合いが異なる。 In each of the above embodiments, the case where the pipeline learning and the normal learning are simply switched has been described as an example, but the present invention is not limited to this. For example, the neural network may be learned by gradually switching the degree of pipelining of each layer of the neural network. In the case of switching the degree of pipelining step by step, for example, a plurality of threshold values relating to the degree of parallel learning of pipelines are set in advance. Then, according to at least one of the output error, the error integration, and the test error as an index related to the progress of learning, and a plurality of threshold values related to the parallel degree of learning of the pipeline, the degree of parallel learning of the pipeline is determined. You may make it switch in steps. For example, the neural network is learned by the first pipeline learning, and switching to the learning of the neural network by the second pipeline learning different from the first pipeline learning is performed in accordance with the learning progress index. Can do. In this case, the parallel degree of learning of each layer of the neural network differs between the first pipeline learning and the second pipeline learning.
また、上記各実施形態は、所定の係数であるＡ１，Ａ２，Ｂ１，Ｂ２，Ｃ，Ｄは予め設定されている場合を例に説明したが、外部装置から適宜設定できるようにしてもよい。その場合には、例えば、Ａ１，Ａ２，Ｂ１，Ｂ２，Ｃ，Ｄは、シミュレーション実験結果から設定されるようにしてもよい。 Moreover, although each said embodiment demonstrated as an example the case where A1, A2, B1, B2, C, and D which are predetermined coefficients were preset, you may enable it to set suitably from an external apparatus. In that case, for example, A1, A2, B1, B2, C, and D may be set based on simulation experiment results.
また、上記第１及び第２の実施形態は、短時間で学習処理を収束させることができる。上記第３及び第４の実施形態は、上記第１及び第２の実施形態に比べ、出力誤差毎の変動がある場合であっても、学習処理を短時間で収束させることができる。更に、上記第３及び第４の実施形態は、実際の学習品質としてのバリデーション結果に応じて、学習処理を短時間で収束させることができる。 The first and second embodiments can converge the learning process in a short time. Compared to the first and second embodiments, the third and fourth embodiments can converge the learning process in a short time even when there is a variation for each output error. Furthermore, the third and fourth embodiments can converge the learning process in a short time according to the validation result as the actual learning quality.
また、第１及び第２の実施形態では、他の実施形態と比較し、パイプライン学習から通常学習への切り替えタイミングの判定を簡易に行うことができる。一方、第５及び第６の実施形態では、テスト誤差を用いるため、他の実施形態と比較し、パイプライン学習から通常学習への切り替えタイミングの判定を精度良く行うことができる。このため、パイプライン学習から通常学習への切り替えタイミングの判定の簡易性を求める場合には、第１及び第２の実施形態の何れか一方を用いることができる。一方、パイプライン学習から通常学習への切り替えタイミングの判定の確実性を求める場合には、第５及び第６の実施形態の何れか一方を用いることができる。第３及び第４の実施形態は、パイプライン学習から通常学習への切り替えタイミングの判定の簡易性及び確実性については、第１及び第２の実施形態と第５及び第６の実施形態との間に位置する手法である。 Further, in the first and second embodiments, it is possible to easily determine the timing for switching from pipeline learning to normal learning as compared to the other embodiments. On the other hand, in the fifth and sixth embodiments, since the test error is used, it is possible to accurately determine the switching timing from the pipeline learning to the normal learning as compared with the other embodiments. For this reason, when calculating | requiring the simplicity of determination of the switching timing from pipeline learning to normal learning, any one of 1st and 2nd embodiment can be used. On the other hand, when the certainty of the determination of the switching timing from the pipeline learning to the normal learning is obtained, any one of the fifth and sixth embodiments can be used. In the third and fourth embodiments, the simplification and certainty of the determination timing for switching from pipeline learning to normal learning are the same as those in the first and second embodiments and the fifth and sixth embodiments. It is a technique located between.
以上の各実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiments, the following additional notes are disclosed.
（付記１）
学習パターンを用いてニューラルネットワークを学習させる際に、パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える学習部
を備える情報処理装置。
(Appendix 1)
When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning An information processing apparatus comprising a learning unit that switches to learning.
（付記２）
前記学習部は、前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差が予め定められた出力誤差に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記１に記載の情報処理装置。
(Appendix 2)
The learning unit repeatedly learns the neural network by the pipeline learning, and an error between an output value and an expected value when a learning pattern is input to the neural network as an index related to the progress of the learning When the output error representing is smaller than a predetermined threshold for the output error, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to attachment 1.
（付記３）
前記学習部は、前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す前時刻の出力誤差と現時刻の前記出力誤差との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記２に記載の情報処理装置。
(Appendix 3)
The learning unit repeatedly learns the neural network by the pipeline learning, and an error between an output value and an expected value when a learning pattern is input to the neural network as an index related to the progress of the learning According to the comparison result between the output error at the previous time and the output error at the current time representing, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to attachment 2.
（付記４）
前記学習部は、複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す誤差積分が、予め定められた誤差積分に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記２に記載の情報処理装置。
(Appendix 4)
The learning unit repeatedly learns the neural network by the pipeline learning using epochs representing learning by the plurality of learning patterns, and the learning patterns of the epoch as an index related to the progress of the learning When the error integral representing the sum of output errors representing the error between the output value and the expected value when each of the above is input to the neural network is smaller than a predetermined threshold for error integral, the pipeline learning Switching to learning of the neural network by normal learning different from
The information processing apparatus according to attachment 2.
（付記５）
前記学習部は、複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す現時刻の誤差積分と現時刻の前記誤差積分との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記２に記載の情報処理装置。
(Appendix 5)
The learning unit repeatedly learns the neural network by the pipeline learning using epochs representing learning by the plurality of learning patterns, and the learning patterns of the epoch as an index related to the progress of the learning According to the comparison result between the error integral at the current time and the error integral at the current time, which represents the sum of output errors representing the error between the output value and the expected value when each of the above is input to the neural network , Switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to attachment 2.
（付記６）
前記学習部は、前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記学習パターンとは異なる、期待値が付与されたテスト用パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差を表すテスト誤差が予め定められたテスト誤差に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記２に記載の情報処理装置。
(Appendix 6)
The learning unit repeatedly learns the neural network by the pipeline learning, and provides a test pattern with an expected value, which is different from the learning pattern, as an index related to the progress of the learning to the neural network. When a test error indicating an output error indicating an error between an output value when input and an expected value is smaller than a predetermined threshold for a test error, the neural network is configured by normal learning different from the pipeline learning. Switch to learning,
The information processing apparatus according to attachment 2.
（付記７）
前記学習部は、前記学習の進捗に関する指標としての、前記学習パターンとは異なる、期待値が付与されたテスト用パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差を表す前時刻のテスト誤差と現時刻の前記テスト誤差との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記２に記載の情報処理装置。
(Appendix 7)
The learning unit is configured to calculate an error between an output value and an expected value when a test pattern provided with an expected value, which is different from the learned pattern, is input to the neural network as an index related to the progress of the learning. According to the comparison result between the test error of the previous time representing the output error to represent and the test error of the current time, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to attachment 2.
（付記８）
学習パターンを用いてニューラルネットワークを学習させる際に、第１のパイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標に応じて、前記第１のパイプライン学習とは前記ニューラルネットワークの各レイヤーの学習の並列の度合いが異なる第２のパイプライン学習による前記ニューラルネットワークの学習に切り替える学習部
を備える情報処理装置。
(Appendix 8)
When the neural network is learned using the learning pattern, the neural network is repeatedly learned by the first pipeline learning, and the first pipeline learning is the neural network according to an index related to learning progress. An information processing apparatus comprising: a learning unit that switches to learning of the neural network by second pipeline learning in which the parallel degree of learning of each layer of the network is different.
（付記９）
学習パターンを用いてニューラルネットワークを学習させる際に、パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
処理をコンピュータに実行させるためのプログラム。
(Appendix 9)
When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning Switch to learning,
A program that causes a computer to execute processing.
（付記１０）
前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差が予め定められた出力誤差に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記９に記載のプログラム。
(Appendix 10)
An output error representing an error between an output value and an expected value when a learning pattern is input to the neural network as an index relating to the progress of the learning is repeatedly obtained by learning the neural network through the pipeline learning. Switching to learning of the neural network by normal learning, which is different from the pipeline learning, when smaller than a predetermined threshold for the output error,
The program according to appendix 9.
（付記１１）
前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す前時刻の出力誤差と現時刻の前記出力誤差との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記９に記載のプログラム。
(Appendix 11)
Repeating the learning of the neural network by the pipeline learning, as an index relating to the progress of the learning, the previous time representing the error between the output value and the expected value when the learning pattern is input to the neural network According to the comparison result between the output error and the output error at the current time, switching to learning of the neural network by normal learning different from the pipeline learning,
The program according to appendix 9.
（付記１２）
複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す誤差積分が、予め定められた誤差積分に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記９に記載のプログラム。
(Appendix 12)
The neural network is repeatedly learned by the pipeline learning using an epoch representing learning by a plurality of learning patterns, and each of the plurality of learning patterns of the epoch is used as the index related to the progress of the learning. Normal learning that is different from pipeline learning when the error integral that represents the sum of the output errors that represent the error between the output value when input to the network and the expected value is smaller than a predetermined threshold for error integration. Switching to learning of the neural network by
The program according to appendix 9.
（付記１３）
複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す現時刻の誤差積分と現時刻の前記誤差積分との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記９に記載のプログラム。
(Appendix 13)
The neural network is repeatedly learned by the pipeline learning using an epoch representing learning by a plurality of learning patterns, and each of the plurality of learning patterns of the epoch is used as the index related to the progress of the learning. The pipeline learning according to a comparison result between the error integration at the current time and the error integration at the current time, which represents the sum of output errors representing the error between the output value when input to the network and the expected value. Switching to learning of the neural network by normal learning different from
The program according to appendix 9.
（付記１４）
前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記学習パターンとは異なる、期待値が付与されたテスト用パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差を表すテスト誤差が予め定められたテスト誤差に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記９に記載のプログラム。
(Appendix 14)
Repeated learning of the neural network by the pipeline learning, and an output when a test pattern to which an expected value different from the learning pattern is given as an index related to the progress of the learning is input to the neural network Switching to learning of the neural network by normal learning different from the pipeline learning when a test error representing an output error representing an error between a value and an expected value is smaller than a predetermined threshold for test error;
The program according to appendix 9.
（付記１５）
学習パターンを用いてニューラルネットワークを学習させる際に、パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
処理をコンピュータに実行させるための情報処理方法。
(Appendix 15)
When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning Switch to learning,
An information processing method for causing a computer to execute processing.
（付記１６）
前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差が予め定められた出力誤差に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記１６に記載の情報処理方法。
(Appendix 16)
An output error representing an error between an output value and an expected value when a learning pattern is input to the neural network as an index relating to the progress of the learning is repeatedly obtained by learning the neural network through the pipeline learning. Switching to learning of the neural network by normal learning, which is different from the pipeline learning, when smaller than a predetermined threshold for the output error,
The information processing method according to attachment 16.
（付記１７）
前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、学習パターンを前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す前時刻の出力誤差と現時刻の前記出力誤差との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記１７に記載の情報処理方法。
(Appendix 17)
Repeating the learning of the neural network by the pipeline learning, as an index relating to the progress of the learning, the previous time representing the error between the output value and the expected value when the learning pattern is input to the neural network According to the comparison result between the output error and the output error at the current time, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing method according to appendix 17.
（付記１８）
複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す誤差積分が、予め定められた誤差積分に関する閾値より小さい場合に、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記１７に記載の情報処理方法。
(Appendix 18)
The neural network is repeatedly learned by the pipeline learning using an epoch representing learning by a plurality of learning patterns, and each of the plurality of learning patterns of the epoch is used as the index related to the progress of the learning. Normal learning that is different from pipeline learning when the error integral that represents the sum of the output errors that represent the error between the output value when input to the network and the expected value is smaller than a predetermined threshold for error integration. Switching to learning of the neural network by
The information processing method according to appendix 17.
（付記１９）
複数の前記学習パターンによる学習を表すエポックを用いた前記パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、前記学習の進捗に関する指標としての、前記エポックの複数の前記学習パターンの各々を前記ニューラルネットワークへ入力したときの出力値と期待値との間の誤差を表す出力誤差の総和を表す現時刻の誤差積分と現時刻の前記誤差積分との間の比較結果に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
付記１７に記載の情報処理方法。
(Appendix 19)
The neural network is repeatedly learned by the pipeline learning using an epoch representing learning by a plurality of learning patterns, and each of the plurality of learning patterns of the epoch is used as the index related to the progress of the learning. The pipeline learning according to a comparison result between the error integration at the current time and the error integration at the current time, which represents the sum of output errors representing the error between the output value when input to the network and the expected value. Switching to learning of the neural network by normal learning different from
The information processing method according to appendix 17.
（付記２０）
学習パターンを用いてニューラルネットワークを学習させる際に、パイプライン学習によって前記ニューラルネットワークを学習させることを繰り返し、学習の進捗に関する指標に応じて、前記パイプライン学習とは異なる通常学習による前記ニューラルネットワークの学習に切り替える、
処理をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
(Appendix 20)
When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning Switch to learning,
A storage medium storing a program for causing a computer to execute processing.
１０ 情報処理装置
１２ 学習パターン記憶部
１４ 学習部
１６ 誤差記憶部
１８ モデル記憶部
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記録媒体
６０ 情報処理プログラム
DESCRIPTION OF SYMBOLS 10 Information processing apparatus 12 Learning pattern memory | storage part 14 Learning part 16 Error memory | storage part 18 Model memory | storage part 50 Computer 51 CPU
52 Memory 53 Storage Unit 59 Recording Medium 60 Information Processing Program
Claims (10)
を備える情報処理装置。 When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning An information processing apparatus comprising a learning unit that switches to learning.
請求項１に記載の情報処理装置。 The learning unit repeatedly learns the neural network by the pipeline learning, and an error between an output value and an expected value when a learning pattern is input to the neural network as an index related to the progress of the learning When the output error representing is smaller than a predetermined threshold for the output error, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to claim 1.
請求項１に記載の情報処理装置。 The learning unit repeatedly learns the neural network by the pipeline learning, and an error between an output value and an expected value when a learning pattern is input to the neural network as an index related to the progress of the learning According to the comparison result between the output error at the previous time and the output error at the current time representing, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to claim 1.
請求項１に記載の情報処理装置。 The learning unit repeatedly learns the neural network by the pipeline learning using epochs representing learning by the plurality of learning patterns, and the learning patterns of the epoch as an index related to the progress of the learning When the error integral representing the sum of output errors representing the error between the output value and the expected value when each of the above is input to the neural network is smaller than a predetermined threshold for error integral, the pipeline learning Switching to learning of the neural network by normal learning different from
The information processing apparatus according to claim 1.
請求項１に記載の情報処理装置。 The learning unit repeatedly learns the neural network by the pipeline learning using epochs representing learning by the plurality of learning patterns, and the learning patterns of the epoch as an index related to the progress of the learning According to the comparison result between the error integral at the current time and the error integral at the current time, which represents the sum of output errors representing the error between the output value and the expected value when each of the above is input to the neural network , Switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to claim 1.
請求項１に記載の情報処理装置。 The learning unit repeatedly learns the neural network by the pipeline learning, and provides a test pattern with an expected value, which is different from the learning pattern, as an index related to the progress of the learning to the neural network. When a test error indicating an output error indicating an error between an output value when input and an expected value is smaller than a predetermined threshold for a test error, the neural network is configured by normal learning different from the pipeline learning. Switch to learning,
The information processing apparatus according to claim 1.
請求項１に記載の情報処理装置。 The learning unit is configured to calculate an error between an output value and an expected value when a test pattern provided with an expected value, which is different from the learned pattern, is input to the neural network as an index related to the progress of the learning. According to the comparison result between the test error of the previous time representing the output error to represent and the test error of the current time, switching to learning of the neural network by normal learning different from the pipeline learning,
The information processing apparatus according to claim 1.
を備える情報処理装置。 When the neural network is learned using the learning pattern, the neural network is repeatedly learned by the first pipeline learning, and the first pipeline learning is the neural network according to an index related to learning progress. An information processing apparatus comprising: a learning unit that switches to learning of the neural network by second pipeline learning in which the parallel degree of learning of each layer of the network is different.
処理をコンピュータに実行させるためのプログラム。 When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning Switch to learning,
A program that causes a computer to execute processing.
処理をコンピュータに実行させるための情報処理方法。 When learning a neural network using a learning pattern, repeatedly learning the neural network by pipeline learning, and according to an index relating to the progress of learning, the neural network by normal learning different from the pipeline learning Switch to learning,
An information processing method for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017161476A JP7047283B2 (en) | 2017-08-24 | 2017-08-24 | Information processing equipment, methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017161476A JP7047283B2 (en) | 2017-08-24 | 2017-08-24 | Information processing equipment, methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019040365A true JP2019040365A (en) | 2019-03-14 |
| JP7047283B2 JP7047283B2 (en) | 2022-04-05 |
Family
ID=65726535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017161476A Active JP7047283B2 (en) | 2017-08-24 | 2017-08-24 | Information processing equipment, methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7047283B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021130915A1 (en) * | 2019-12-25 | 2021-07-01 | 日本電気株式会社 | Learning device, learning method, and learning program |
| JP2022179307A (en) * | 2021-05-19 | 2022-12-02 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Neural network training method, apparatus, electronic device, media, and program product |
| US11901074B2 (en) | 2019-12-26 | 2024-02-13 | Canon Medical Systems Corporation | Medical information processing apparatus, medical information processing method, and non-transitory computer-readable storage medium storing program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07302249A (en) * | 1992-08-11 | 1995-11-14 | Hitachi Ltd | Learning method for feedforward neural net |
| JP2017138867A (en) * | 2016-02-05 | 2017-08-10 | 富士通株式会社 | Arithmetic processing circuit, and information processing unit |
-
2017
- 2017-08-24 JP JP2017161476A patent/JP7047283B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07302249A (en) * | 1992-08-11 | 1995-11-14 | Hitachi Ltd | Learning method for feedforward neural net |
| JP2017138867A (en) * | 2016-02-05 | 2017-08-10 | 富士通株式会社 | Arithmetic processing circuit, and information processing unit |
| US20170228634A1 (en) * | 2016-02-05 | 2017-08-10 | Fujitsu Limited | Arithmetic processing circuit and information processing apparatus |
Non-Patent Citations (1)
| Title |
|---|
| 竹谷 史生, 外5名: ""自己組織化学習アルゴリズムのＦＰＧＡシステムによる高速化"", 情報処理学会研究報告, vol. 98, no. 113, JPN7021001715, 11 December 1998 (1998-12-11), JP, pages 23 - 30, ISSN: 0004508647 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021130915A1 (en) * | 2019-12-25 | 2021-07-01 | 日本電気株式会社 | Learning device, learning method, and learning program |
| JPWO2021130915A1 (en) * | 2019-12-25 | 2021-07-01 | ||
| JP7327512B2 (en) | 2019-12-25 | 2023-08-16 | 日本電気株式会社 | LEARNING DEVICE, LEARNING METHOD AND LEARNING PROGRAM |
| US11901074B2 (en) | 2019-12-26 | 2024-02-13 | Canon Medical Systems Corporation | Medical information processing apparatus, medical information processing method, and non-transitory computer-readable storage medium storing program |
| JP2022179307A (en) * | 2021-05-19 | 2022-12-02 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Neural network training method, apparatus, electronic device, media, and program product |
| JP7285977B2 (en) | 2021-05-19 | 2023-06-02 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Neural network training methods, devices, electronics, media and program products |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7047283B2 (en) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6620439B2 (en) | Learning method, program, and learning apparatus | |
| US20210342699A1 (en) | Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation | |
| US11610131B2 (en) | Ensembling of neural network models | |
| JP2023139057A (en) | Resource constrained neural network architecture search | |
| CN110663049B (en) | Neural Network Optimizer Search | |
| US11475180B2 (en) | System and method for determination of air entrapment in ladles | |
| JP7047283B2 (en) | Information processing equipment, methods, and programs | |
| JP2017097585A (en) | Learning device, program, and learning method | |
| US20190042943A1 (en) | Cooperative neural network deep reinforcement learning with partial input assistance | |
| WO2018150798A1 (en) | Model estimation system, method, and program | |
| US11182665B2 (en) | Recurrent neural network processing pooling operation | |
| JP2005004658A (en) | Change point detection device, change point detection method and change point-detecting program | |
| JP6528884B1 (en) | Learning program, learning method, and information processing apparatus | |
| CN112819151A (en) | Method and apparatus for recognizing image and training method | |
| Neumann et al. | Quantum reinforcement learning: Comparing quantum annealing and gate-based quantum computing with classical deep reinforcement learning | |
| CN106662867A (en) | Transferring failure samples using conditional models for machine condition monitoring | |
| KR20220032861A (en) | Neural architecture search method and attaratus considering performance in hardware | |
| JP2020194442A (en) | Optimization device and optimization device | |
| JP2024003643A (en) | Method of learning neural network, computer program, and remaining life prediction system | |
| CN111738407B (en) | Clock error prediction method, device, medium and terminal based on deep learning | |
| KR102255470B1 (en) | Method and apparatus for artificial neural network | |
| KR102001781B1 (en) | Method of improving learning accuracy of neural networks and apparatuses performing the same | |
| JP2021125223A (en) | Neural network derivation method | |
| CN115362452A (en) | Method for selecting a data set for updating an artificial intelligence module | |
| TWI795155B (en) | Method and system for building a process prediction model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7047283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |