JP2019125128A

JP2019125128A - Information processing device, control method and program

Info

Publication number: JP2019125128A
Application number: JP2018004709A
Authority: JP
Inventors: 剛早川; Takeshi Hayakawa; 栗田　裕二; Yuji Kurita; 裕二栗田; 純一気屋村; Junichi Kiyamura; 安利深谷; Yasutoshi Fukaya
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2018-01-16
Filing date: 2018-01-16
Publication date: 2019-07-25
Anticipated expiration: 2038-01-16
Also published as: JP7107544B2

Abstract

To speed-up an analysis process that utilizes a neural network.SOLUTION: An information processing device obtains two-dimensional data. The information processing device executes a feature quantity extracting process on a first block 20 within the obtained two-dimensional data, and creates feature quantity information for the first block 20. The information processing device extracts multiple second blocks 30 from the first block 20. The information processing device executes, for each second block 30, a totally coupling process using the feature quantity of this second block 30 contained in the feature quantity information. Each second block 30 has an overlapping data region with at least one other second block 30.SELECTED DRAWING: Figure 1

Description

本発明はニューラルネットワークに関する。 The present invention relates to neural networks.

機械学習を利用したデータ解析が行われている。機械学習のモデルの一形態として、ニューラルネットワークが広く利用されている。ニューラルネットワークは、ニューロンと呼ばれる処理単位を複数層につなぎ合わせた構成を持つ。ニューラルネットワークには、Convolutional Neural Network（CNN）、Recurrent Neural Network、Recursive Neural Network などといった様々な形態がある。 Data analysis using machine learning is performed. A neural network is widely used as a form of machine learning model. A neural network has a configuration in which processing units called neurons are connected in multiple layers. There are various forms of neural networks such as Convolutional Neural Network (CNN), Recurrent Neural Network, Recursive Neural Network, and so on.

ニューラルネットワークを利用したデータ解析に関する先行技術文献には、例えば特許文献１と２がある。特許文献１や２には、CNN を利用した画像解析に関する技術が開示されている。 Prior art documents related to data analysis using a neural network include, for example, Patent Documents 1 and 2. Patent Literatures 1 and 2 disclose techniques related to image analysis using CNN.

特開２００５−３４６４７２号公報JP 2005-346472 A 特開２０１７−１８７９５４号公報JP, 2017-187954, A

Josh Patterson 及び Adam Gibson、「Deep Learning: A Practitioner's Approach」、Oreilly & Associates Inc.、２０１７年８月１９日Josh Patterson and Adam Gibson, "Deep Learning: A Practitioner's Approach", Oreilly & Associates Inc., August 19, 2017

本発明者は、CNN における解析処理に高速化の余地があることを見出した。本発明の目的の一つは、ニューラルネットワークを利用した解析処理を高速化する技術を提供することである。 The inventor has found that there is room for speeding up analysis processing in CNN. One of the objects of the present invention is to provide a technique for speeding up analysis processing using a neural network.

本発明の情報処理装置は、１）二次元データを取得し、二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出手段と、２）第１ブロックの中から複数の第２ブロックを抽出し、各第２ブロックについて、特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理手段と、を有する。
第１ブロックに含まれる各第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する。 The information processing apparatus according to the present invention 1) acquires two-dimensional data, executes processing of a feature extraction layer of Convolutional Neural Network (CNN) for a first block which is a data area in the two-dimensional data, and Feature quantity extraction means for generating feature quantity information indicating feature quantities of a plurality of image areas in the block; 2) extracting a plurality of second blocks from the first block, and for each second block, the feature quantity Using all the joint layers of the CNN by using the feature quantities of the second block contained in the information;
In each second block included in the first block, at least one other second block and a partial data area thereof overlap.

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）二次元データを取得し、二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出ステップと、２）第１ブロックの中から複数の第２ブロックを抽出し、各第２ブロックについて、特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理ステップと、を有する。
第１ブロックに含まれる各第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する。 The control method of the present invention is implemented by a computer. The control method 1) acquires two-dimensional data, executes processing of the feature extraction layer of Convolutional Neural Network (CNN) for the first block which is a data region in the two-dimensional data, and Feature quantity extraction step of generating feature quantity information indicating feature quantities of each of a plurality of image regions, and 2) extracting a plurality of second blocks from the first block, and including each second block in the feature quantity information And (c) performing all coupled layer processing of the CNN using the features of the second block.
In each second block included in the first block, at least one other second block and a partial data area thereof overlap.

本発明のプログラムは、コンピュータに、本発明の制御方法が有する各ステップを実行させる。 The program of the present invention causes a computer to execute the steps of the control method of the present invention.

本発明によれば、ニューラルネットワークを利用した解析処理を高速化する技術が提供される。 According to the present invention, a technique for speeding up analysis processing using a neural network is provided.

情報処理装置が処理するデータを例示する図である。It is a figure which illustrates the data which an information processor processes. 情報処理装置における解析処理の様子を例示する図である。It is a figure which illustrates the mode of the analysis process in an information processing apparatus. 既存の CNN で図２の第１ブロックを処理する様子を例示する図である。It is a figure which illustrates a mode that the existing CNN processes the 1st block of FIG. 実施形態１の情報処理装置の機能構成を例示する図である。FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus of the first embodiment. 情報処理装置を実現するための計算機を例示する図である。It is a figure which illustrates the computer for realizing an information processor. 情報処理装置の利用環境を例示する図である。It is a figure which illustrates the use environment of an information processor. 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。5 is a flowchart illustrating the flow of processing executed by the information processing apparatus of the first embodiment; 第２ブロックの大きさに合わせて第１ブロックを変形する様子を例示する図である。It is a figure which illustrates a mode that a 1st block is deform | transformed according to the magnitude | size of a 2nd block. 間引き処理を例示する図である。It is a figure which illustrates thinning-out processing.

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same components are denoted by the same reference numerals, and the description thereof will be appropriately omitted. Further, in each block diagram, each block represents a configuration of a function unit, not a configuration of a hardware unit, unless otherwise described.

［実施形態１］
＜概要＞
図１及び図２は、実施形態１の情報処理装置（図４に示す情報処理装置２０００）の概要を説明するための図である。以下で説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は以下の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。 Embodiment 1
<Overview>
1 and 2 are diagrams for explaining an outline of the information processing apparatus (the information processing apparatus 2000 shown in FIG. 4) according to the first embodiment. The operation of the information processing apparatus 2000 described below is an example for facilitating the understanding of the information processing apparatus 2000, and the operation of the information processing apparatus 2000 is not limited to the following example. Details and variations of the operation of the information processing apparatus 2000 will be described later.

図１は、情報処理装置２０００が処理するデータを例示する図である。情報処理装置２０００は二次元データ（行列データ）１０を扱う。例えば二次元データ１０は画像データである。画像データは、画素の位置（x 座標と y 座標の組み合わせ）に対応づけて、その画素の値を示す行列データである。 FIG. 1 is a diagram illustrating data processed by the information processing apparatus 2000. The information processing apparatus 2000 handles two-dimensional data (matrix data) 10. For example, two-dimensional data 10 is image data. The image data is matrix data indicating the value of the pixel in association with the position of the pixel (combination of the x coordinate and the y coordinate).

第１ブロック２０は、二次元データ１０の一部又は全体のデータ領域である。すなわち、第１ブロック２０のサイズは、二次元データ１０のサイズと同一又はそれ以下である。第２ブロック３０は、第１ブロック２０の一部の画像領域である。すなわち、第１ブロック２０のサイズは、第２ブロック３０のサイズよりも大きい。そのため第１ブロック２０からは、互いに位置が異なる複数の第２ブロック３０を抽出することができる。二次元データ１０が画像データである場合、第１ブロック２０は二次元データ１０の一部又は全体の画像領域であり、第２ブロック３０は第１ブロック２０内の一部の画像領域である。 The first block 20 is a data area of a part or the whole of the two-dimensional data 10. That is, the size of the first block 20 is equal to or less than the size of the two-dimensional data 10. The second block 30 is a part of the image area of the first block 20. That is, the size of the first block 20 is larger than the size of the second block 30. Therefore, a plurality of second blocks 30 whose positions are different from each other can be extracted from the first block 20. When the two-dimensional data 10 is image data, the first block 20 is an image area of a part or the whole of the two-dimensional data 10, and the second block 30 is an image area of a part in the first block 20.

情報処理装置２０００は、第１ブロック２０から複数の第２ブロック３０を抽出し、これら複数の第２ブロック３０について解析処理を行う。ここで、各第２ブロック３０は、少なくとも１つの第２ブロック３０とその一部が重複する。例えば情報処理装置２０００は、第２ブロック３０と同じ大きさを持つスライディングウインドウを第１ブロック２０内で移動させながら、各位置におけるスライディングウインドウ内のデータ領域を第２ブロック３０として抽出する。スライディングウインドウのずらし量は、そのずらし方向における第２ブロック３０の大きさ（例えばずらし方向が横方向であれば、第２ブロック３０の横幅）よりも小さい。 The information processing apparatus 2000 extracts a plurality of second blocks 30 from the first block 20 and performs analysis processing on the plurality of second blocks 30. Here, each second block 30 partially overlaps with at least one second block 30. For example, while moving the sliding window having the same size as the second block 30 in the first block 20, the information processing apparatus 2000 extracts the data area in the sliding window at each position as the second block 30. The amount of displacement of the sliding window is smaller than the size of the second block 30 in the displacement direction (e.g., the lateral width of the second block 30 if the displacement direction is the lateral direction).

例えば二次元データ１０が画像データであれば、第２ブロック３０について行われる解析処理は、第２ブロック３０に人や物などのオブジェクトが含まれていないかどうかを判定する処理や、第２ブロック３０に含まれているオブジェクトを特定する処理などの画像解析処理である。 For example, if the two-dimensional data 10 is image data, the analysis process performed on the second block 30 may be a process of determining whether the second block 30 includes an object such as a person or a thing, the second block 30 is an image analysis process such as a process of specifying an object included in the H.30.

概念的には、情報処理装置２０００は、多層で構成されたニューラルネットワークを用いて解析処理を行う。なお、ここでいう解析処理には、ニューラルネットワークを学習させるためにトレーニングデータを解析する処理と、学習済みのニューラルネットワークを利用して新たなデータを解析する処理の双方が含まれる。情報処理装置２０００が利用するニューラルネットワークは、少なくとも、特徴量抽出層と全結合層を有する。この特徴量抽出層と全結合層で行われる処理はそれぞれ、ニューラルネットワークの一形態である CNN の特徴量抽出層と全結合層で行われる処理に相当する（非特許文献１参照）。特徴量抽出層では、入力された二次元データから特徴量を抽出する処理（以下、特徴量抽出処理）が行われる。全結合層では、特徴量抽出層からの出力を用いた判定や分類等の解析処理（以下、全結合処理）が行われる。例えば二次元データ１０が画像データである場合、全結合層では、特徴量抽出処理で抽出された特徴量を用いて、第２ブロック３０に所定のオブジェクトが含まれているか否かを判定する処理や、第２ブロック３０に含まれているオブジェクトの種類を特定（分類）する処理などが行われる。 Conceptually, the information processing apparatus 2000 performs analysis processing using a neural network configured in multiple layers. The analysis processing referred to here includes both processing of analyzing training data to learn a neural network, and processing of analyzing new data using a learned neural network. The neural network used by the information processing apparatus 2000 has at least a feature quantity extraction layer and a total connection layer. The processes performed in the feature quantity extraction layer and the total connection layer respectively correspond to the processes performed in the feature quantity extraction layer and the total connection layer of CNN, which is a form of neural network (see Non-Patent Document 1). In the feature amount extraction layer, processing of extracting a feature amount from the input two-dimensional data (hereinafter, feature amount extraction processing) is performed. In all the combined layers, analysis processing such as determination and classification using the output from the feature amount extraction layer (hereinafter, all combined processing) is performed. For example, when the two-dimensional data 10 is image data, processing to determine whether or not a predetermined object is included in the second block 30 using the feature amounts extracted in the feature amount extraction processing in all the combined layers Also, processing for specifying (classifying) the type of object included in the second block 30 is performed.

ここで情報処理装置２０００は、第１ブロック２０について特徴量抽出処理を行った後に、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについて全結合層処理を行う。図２は、情報処理装置２０００における解析処理の様子を例示する図である。情報処理装置２０００はまず、第１ブロック２０について特徴量抽出処理を行う。その結果、第１ブロック２０に含まれる複数のデータ領域それぞれについての特徴量を示す情報（以下、特徴量情報）が生成される。特徴量情報には、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについての特徴量が含まれることとなる。 Here, after performing the feature amount extraction process on the first block 20, the information processing apparatus 2000 performs the entire combined layer process on each of the plurality of second blocks 30 included in the first block 20. FIG. 2 is a diagram illustrating the state of analysis processing in the information processing apparatus 2000. First, the information processing apparatus 2000 performs feature amount extraction processing for the first block 20. As a result, information (hereinafter, feature amount information) indicating the feature amounts of each of the plurality of data areas included in the first block 20 is generated. The feature amount information includes the feature amounts of each of the plurality of second blocks 30 included in the first block 20.

例えば図２において、第１ブロック２０から抽出される第２ブロック３０は、第２ブロック３０−１から第２ブロック３０−３の３つである。情報処理装置２０００は、第１ブロック２０を対象とした特徴量抽出処理により、特徴量情報４０を生成する。特徴量情報４０には、第２ブロック３０−１の特徴量、第２ブロック３０−２の特徴量、及び第２ブロック３０−３の特徴量が含まれている。 For example, in FIG. 2, the second blocks 30 extracted from the first block 20 are three of the second block 30-1 to the second block 30-3. The information processing apparatus 2000 generates feature amount information 40 by the feature amount extraction process targeting the first block 20. The feature amount information 40 includes the feature amount of the second block 30-1, the feature amount of the second block 30-2, and the feature amount of the second block 30-3.

情報処理装置２０００は、第１ブロック２０について生成された特徴量情報４０を利用して、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについて全結合処理を行う。図２の例において、情報処理装置２０００は、１）特徴量情報４０に含まれる第２ブロック３０−１の特徴量を利用して、第２ブロック３０−１についての全結合処理を行い、２）特徴量情報４０に含まれる第２ブロック３０−２の特徴量を利用して、第２ブロック３０−２についての全結合処理を行い、３）特徴量情報４０に含まれる第２ブロック３０−３の特徴量を利用して、第２ブロック３０−３についての全結合処理を行う。 The information processing apparatus 2000 performs full combination processing on each of the plurality of second blocks 30 included in the first block 20 using the feature amount information 40 generated for the first block 20. In the example of FIG. 2, the information processing apparatus 2000 performs 1) full combination processing on the second block 30-1 using the feature amounts of the second block 30-1 included in the feature amount information 40. ) Using the feature amounts of the second block 30-2 included in the feature amount information 40, all combination processing is performed on the second block 30-2, and 3) the second block 30-included in the feature amount information 40 The entire combination process for the second block 30-3 is performed using the feature amounts of three.

＜作用・効果＞
既存の CNN と比較しながら、情報処理装置２０００によってもたらされる作用効果について説明する。既存の CNN では、全結合処理の対象となるデータ領域ごとに特徴量抽出処理が行われる。図３は、既存の CNN で図２の第１ブロック２０を処理する様子を例示する図である。図３では、第２ブロック３０−１、第２ブロック３０−２、及び第２ブロック３０−３について個々に特徴量抽出処理が行われる。そして、第２ブロック３０−１から抽出された特徴量、第２ブロック３０−２から抽出された特徴量、第２ブロック３０−３から抽出された特徴量のそれぞれを用いて、第２ブロック３０−１、第２ブロック３０−２、及び第２ブロック３０−３についての全結合処理がそれぞれ行われる。 <Operation and effect>
The effects brought about by the information processing apparatus 2000 will be described in comparison with the existing CNN. In the existing CNN, feature value extraction processing is performed for each data area that is the target of full join processing. FIG. 3 illustrates the processing of the first block 20 of FIG. 2 with the existing CNN. In FIG. 3, feature amount extraction processing is individually performed for the second block 30-1, the second block 30-2, and the second block 30-3. Then, using the feature quantities extracted from the second block 30-1, the feature quantities extracted from the second block 30-2, and the feature quantities extracted from the second block 30-3, the second block 30 is used. The entire combination process for -1, the second block 30-2 and the second block 30-3 is performed respectively.

ここで前述したように、第２ブロック３０は他の第２ブロック３０と一部が重複している。例えば図２と図３では、第２ブロック３０−１の一部と第２ブロック３０−２の一部が互いに重複している。そのため、第２ブロック３０−１と第２ブロック３０−２について個々に特徴量抽出処理を行うと、これらの重複部分については、特徴量抽出処理が複数回（図３では２回）実行されることになる。同様に、第２ブロック３０−２と第２ブロック３０−３についても、その重複部分について特徴量抽出処理が複数回実行される。このように既存の CNN では、同じデータ領域について特徴量を複数回抽出することになるため、処理に無駄が生じている。 Here, as described above, the second block 30 partially overlaps with the other second blocks 30. For example, in FIG. 2 and FIG. 3, a part of the second block 30-1 and a part of the second block 30-2 overlap each other. Therefore, when the feature amount extraction process is individually performed for the second block 30-1 and the second block 30-2, the feature amount extraction process is performed multiple times (two times in FIG. 3) for these overlapping parts. It will be. Similarly, also for the second block 30-2 and the second block 30-3, the feature amount extraction process is executed multiple times for the overlapping portion. As described above, in the existing CNN, the feature amount is extracted a plurality of times for the same data area, so processing is wasted.

これに対し、本実施形態の情報処理装置２０００は、全結合層処理が行われる単位である第２ブロック３０よりも大きい単位の第１ブロック２０についてまとめて特徴抽出処理が行われる。そして、その結果生成される特徴量情報から、複数の第２ブロック３０それぞれについての特徴量を参照することで、各第２ブロック３０についての全結合処理が実行される。この方法によれば、第１ブロック２０に含まれる複数の第２ブロック３０については、特徴量抽出処理が重複して行われることがない。よって、既存の CNN と比較し、二次元データの解析を効率的に行うことができ、二次元データの解析処理に要する時間を削減できるという効果や、二次元データの解析に要する計算機資源を削減できるという効果がもたらされる。 On the other hand, in the information processing apparatus 2000 according to the present embodiment, the feature extraction process is performed collectively on the first block 20 of a unit larger than the second block 30 which is a unit in which the all joint layer process is performed. Then, referring to the feature amounts for each of the plurality of second blocks 30 from the feature amount information generated as a result, the entire combination process for each second block 30 is executed. According to this method, feature amount extraction processing is not performed redundantly on the plurality of second blocks 30 included in the first block 20. Therefore, compared with the existing CNN, analysis of two-dimensional data can be performed efficiently, and the time required for analysis processing of two-dimensional data can be reduced, and computer resources required for analysis of two-dimensional data can be reduced. The effect of being able to

以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。 Hereinafter, the information processing apparatus 2000 according to the present embodiment will be described in more detail.

＜情報処理装置２０００の機能構成の例＞
図４は、実施形態１の情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は特徴量抽出部２０２０及び全結合処理部２０４０を有する。特徴量抽出部２０２０は二次元データ１０を取得する。特徴量抽出部２０２０は、取得した二次元データ１０内の第１ブロック２０について特徴量抽出処理を実行し、第１ブロック２０について特徴量情報４０を生成する。前述したように、特徴量情報４０は、第１ブロック２０内に含まれる全ての第２ブロック３０の特徴量に関する情報を含む。 <Example of Functional Configuration of Information Processing Apparatus 2000>
FIG. 4 is a diagram illustrating the functional configuration of the information processing apparatus 2000 of the first embodiment. The information processing apparatus 2000 includes a feature extraction unit 2020 and an all combination processing unit 2040. The feature amount extraction unit 2020 acquires two-dimensional data 10. The feature quantity extraction unit 2020 executes feature quantity extraction processing for the first block 20 in the acquired two-dimensional data 10, and generates feature quantity information 40 for the first block 20. As described above, the feature amount information 40 includes information on the feature amounts of all the second blocks 30 included in the first block 20.

全結合処理部２０４０は、各第２ブロック３０について、特徴量情報４０に含まれるその第２ブロック３０の特徴量を用いて全結合処理を実行する。前述したように、各第２ブロック３０は、少なくとも１つの他の第２ブロック３０とその一部のデータ領域が重複する。 The all combination processing unit 2040 executes all combination processing for each second block 30 using the feature amount of the second block 30 included in the feature amount information 40. As described above, each second block 30 overlaps a portion of the data area with at least one other second block 30.

＜情報処理装置２０００のハードウエア構成＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Hardware Configuration of Information Processing Apparatus 2000>
Each functional component of the information processing apparatus 2000 may be realized by hardware (for example, a hard-wired electronic circuit or the like) that realizes each functional component, or a combination of hardware and software (for example: It may be realized by a combination of an electronic circuit and a program for controlling it. Hereinafter, the case where each functional configuration unit of the information processing apparatus 2000 is realized by a combination of hardware and software will be further described.

図５は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどである。また、計算機１０００は組み込みシステムであってもよい。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 5 is a diagram illustrating a computer 1000 for realizing the information processing apparatus 2000. The computer 1000 is an arbitrary computer. For example, the computer 1000 is a personal computer (PC) or a server machine. The computer 1000 may also be an embedded system. The computer 1000 may be a dedicated computer designed to realize the information processing apparatus 2000, or may be a general-purpose computer.

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。 The computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, and an input / output interface 1100. The bus 1020 is a data transmission path for the processor 1040, the memory 1060, the storage device 1080, and the input / output interface 1100 to mutually transmit and receive data. However, the method of connecting the processors 1040 and the like to each other is not limited to the bus connection.

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。なお、プロセッサ１０４０だけでなく、計算機１０００全体を FPGA などの集積回路で実現してもよい。 The processor 1040 is any of various processors such as a central processing unit (CPU), a graphics processing unit (GPU), or a field-programmable gate array (FPGA). Not only the processor 1040 but also the entire computer 1000 may be realized by an integrated circuit such as an FPGA.

メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。 The memory 1060 is a main storage device implemented using a random access memory (RAM) or the like. The storage device 1080 is an auxiliary storage device implemented using a hard disk, a solid state drive (SSD), a memory card, or a read only memory (ROM).

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。 The input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device. For example, an input device such as a keyboard and an output device such as a display device are connected to the input / output interface 1100.

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。 The storage device 1080 stores program modules for realizing the respective functional components of the information processing apparatus 2000. The processor 1040 implements the functions corresponding to each program module by reading the program modules into the memory 1060 and executing them.

＜情報処理装置２０００の利用例＞
情報処理装置２０００の理解を容易にするため、情報処理装置２０００の利用環境を例示する。図６は、情報処理装置２０００の利用環境を例示する図である。図６では、車両６０にカメラ７０及び情報処理装置２０００が設けられている。ただし情報処理装置２０００は、必ずしも車両６０に常設される据え置き型の計算機として実現される必要は無く、車両６０から取り外し可能な可搬型の計算機として実現されてもよい。 <Example of Use of Information Processing Device 2000>
In order to facilitate understanding of the information processing apparatus 2000, a usage environment of the information processing apparatus 2000 is illustrated. FIG. 6 is a diagram illustrating a use environment of the information processing apparatus 2000. In FIG. 6, the vehicle 60 is provided with a camera 70 and an information processing device 2000. However, the information processing apparatus 2000 does not necessarily have to be realized as a stationary computer always installed in the vehicle 60, and may be realized as a portable computer that can be removed from the vehicle 60.

情報処理装置２０００は、カメラ７０によって生成される画像データを二次元データ１０として取得し、その画像データについて画像解析を行う。例えば情報処理装置２０００は、車両の周囲の環境を構成する種々の情報を得るために利用される。具体的には、標識、信号、看板、建物、歩行者、又は他の車両などを認識するために利用される。 The information processing apparatus 2000 acquires image data generated by the camera 70 as the two-dimensional data 10, and performs image analysis on the image data. For example, the information processing device 2000 is used to obtain various pieces of information constituting the environment around the vehicle. Specifically, it is used to recognize signs, signals, signs, buildings, pedestrians, or other vehicles.

車両の周囲の環境は時間と共に変化する。そのため情報処理装置２０００は、カメラ７０によって生成される映像を構成する画像データ（動画フレーム）それぞれを画像解析する必要がある。すなわち、各画像データを短い時間で画像解析する必要がある。この点、前述したように、本実施形態の情報処理装置２０００によれば、二次元データの解析に要する時間を削減することができる。そのため情報処理装置２０００は、図６に示す利用環境のように、短時間で二次元データを解析する必要がある環境において、特に好適である。 The environment around the vehicle changes with time. Therefore, the information processing apparatus 2000 needs to perform image analysis on each of the image data (moving image frame) constituting the video generated by the camera 70. That is, it is necessary to analyze each image data in a short time. In this regard, as described above, according to the information processing apparatus 2000 of the present embodiment, it is possible to reduce the time required for analysis of two-dimensional data. Therefore, the information processing apparatus 2000 is particularly suitable in an environment where it is necessary to analyze two-dimensional data in a short time, as in the use environment shown in FIG.

また、情報処理装置２０００を車両に載せる際には、情報処理装置２０００を実現する計算機を小型化することが好ましい。この点、前述したように、情報処理装置２０００によれば、二次元データの解析に要する計算機資源を削減できるため、情報処理装置２０００を実現する計算機のサイズを小さくすることができる。そのため、情報処理装置２０００は、図６に示す利用環境のように、二次元データの解析に利用される計算機のサイズを小さくすることが求められる環境において、特に好適である。 Further, when mounting the information processing apparatus 2000 on a vehicle, it is preferable to miniaturize a computer for realizing the information processing apparatus 2000. In this regard, as described above, according to the information processing apparatus 2000, since computer resources required for analysis of two-dimensional data can be reduced, the size of a computer for realizing the information processing apparatus 2000 can be reduced. Therefore, the information processing apparatus 2000 is particularly suitable in an environment where it is required to reduce the size of a computer used to analyze two-dimensional data, as in the use environment shown in FIG.

＜処理の流れ＞
図７は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００は、二次元データ１０を取得する（Ｓ１０２）。ループ処理Ａ（Ｓ１０４からＳ１１４）は、二次元データ１０に含まれる第１ブロック２０それぞれについて実行されるループ処理である。Ｓ１０４において、特徴量抽出部２０２０は、二次元データ１０から１つの第１ブロック２０を選択する。ここで選択された第１ブロック２０を第１ブロックｉと呼ぶ。なお、処理すべき全ての第１ブロック２０を対象として既にループ処理Ａが実行されている場合、情報処理装置２０００の処理は終了する。 <Flow of processing>
FIG. 7 is a flowchart illustrating the flow of processing executed by the information processing apparatus 2000 of the first embodiment. The information processing apparatus 2000 acquires two-dimensional data 10 (S102). The loop process A (S104 to S114) is a loop process executed for each of the first blocks 20 included in the two-dimensional data 10. In S104, the feature quantity extraction unit 2020 selects one first block 20 from the two-dimensional data 10. The first block 20 selected here is called a first block i. When the loop process A has already been executed for all the first blocks 20 to be processed, the process of the information processing apparatus 2000 ends.

特徴量抽出部２０２０は、第１ブロックｉについて特徴抽出処理を行う（Ｓ１０６）。 The feature quantity extraction unit 2020 performs feature extraction processing on the first block i (S106).

ループ処理Ｂ（Ｓ１０８からＳ１１２）は、第１ブロックｉに含まれる第２ブロック３０それぞれについて実行されるループ処理である。全結合処理部２０４０は、第１ブロックｉの中から、第２ブロック３０を１つ抽出する。ここで抽出される第２ブロック３０を第２ブロックｊと呼ぶ。なお、第１ブロックｉに含まれる全ての第２ブロック３０について既にループ処理Ｂが実行されている場合、図５の処理はＳ１１４に進む。 The loop process B (S108 to S112) is a loop process executed for each of the second blocks 30 included in the first block i. The all-coupling processing unit 2040 extracts one second block 30 from the first block i. The second block 30 extracted here is called a second block j. When the loop process B has already been executed for all the second blocks 30 included in the first block i, the process of FIG. 5 proceeds to S114.

全結合処理部２０４０は、第２ブロックｊについて全結合処理を行う（Ｓ１１０）。Ｓ１１２はループ処理Ｂの終端であるため、図７の処理はＳ１０８に戻る。 The all combination processing unit 2040 performs all combination processing on the second block j (S110). Since S112 is the end of the loop process B, the process of FIG. 7 returns to S108.

Ｓ１１４はループ処理Ｂの終端であるため、図７の処理はＳ１１４からＳ１０６に戻る。 Since S114 is the end of the loop process B, the process of FIG. 7 returns from S114 to S106.

情報処理装置２０００によって実行される処理の流れは図７に示した流れに限定されない。例えば二次元データ１０全体を第１ブロック２０として扱う場合には、Ｓ１０６からＳ１１２をループ処理とする必要はない。その他にも例えば、情報処理装置２０００は、同一の第１ブロック２０に含まれる複数の第２ブロック３０について全結合処理を並列又は並行に処理してもよい。なお、並列処理や並行処理を実現する具体的な手法には、既存の技術を利用することができる。例えば、情報処理装置２０００を構成するプロセッサ１０４０をマルチコアプロセッサにしたり、情報処理装置２０００に複数のプロセッサ１０４０を設けたりすることが考えられる。また、情報処理装置２０００を複数の計算機で実現してもよい。同様に、複数の第２ブロック３０についての一連の処理を並列又は並行に行ってもよい。 The flow of processing executed by the information processing apparatus 2000 is not limited to the flow shown in FIG. For example, in the case where the entire two-dimensional data 10 is treated as the first block 20, it is not necessary to perform S106 to S112 as loop processing. In addition, for example, the information processing apparatus 2000 may process all combination processing in parallel or in parallel for a plurality of second blocks 30 included in the same first block 20. In addition, the existing technique can be utilized for the specific method which implement | achieves parallel processing and parallel processing. For example, it can be considered that the processor 1040 constituting the information processing device 2000 is a multi-core processor, or the information processing device 2000 is provided with a plurality of processors 1040. Further, the information processing apparatus 2000 may be realized by a plurality of computers. Similarly, a series of processes for the plurality of second blocks 30 may be performed in parallel or in parallel.

情報処理装置２０００が図７の一連の処理を実行するタイミングは様々である。例えば情報処理装置２０００は、定期的に図７の一連の処理を実行する。その他にも例えば、情報処理装置２０００は、他の装置から送信された二次元データ１０を受信したことに応じ、Ｓ１０４以降の処理を実行するように構成されていてもよい。 The timing at which the information processing apparatus 2000 executes the series of processes in FIG. 7 is various. For example, the information processing apparatus 2000 periodically executes the series of processes in FIG. 7. In addition, for example, the information processing apparatus 2000 may be configured to execute the process of S104 and later in response to receiving the two-dimensional data 10 transmitted from another apparatus.

＜二次元データ１０の取得：Ｓ１０２＞
特徴量抽出部２０２０は二次元データ１０を取得する（Ｓ１０２）。ここで、情報処理装置２０００が二次元データ１０を取得する方法は様々である。例えば特徴量抽出部２０２０は、二次元データ１０を生成する装置から二次元データ１０を取得する。例えば二次元データ１０が画像データである場合、二次元データ１０を生成する装置はカメラである。 <Obtaining of two-dimensional data 10: S102>
The feature quantity extraction unit 2020 acquires two-dimensional data 10 (S102). Here, there are various methods by which the information processing apparatus 2000 acquires the two-dimensional data 10. For example, the feature quantity extraction unit 2020 acquires two-dimensional data 10 from an apparatus that generates two-dimensional data 10. For example, when the two-dimensional data 10 is image data, an apparatus for generating the two-dimensional data 10 is a camera.

その他にも例えば、特徴量抽出部２０２０は、二次元データ１０が記憶されている記憶装置から二次元データ１０を取得してもよい。その他にも例えば、特徴量抽出部２０２０は、他の装置によって送信される二次元データ１０を受信することで、二次元データ１０を取得してもよい。 Besides, for example, the feature quantity extraction unit 2020 may acquire the two-dimensional data 10 from the storage device in which the two-dimensional data 10 is stored. Besides, for example, the feature quantity extraction unit 2020 may acquire the two-dimensional data 10 by receiving the two-dimensional data 10 transmitted by another device.

＜第１ブロック２０について＞
第１ブロック２０が二次元データ１０の全体である場合、特徴量抽出部２０２０は、二次元データ１０の全体を第１ブロック２０として処理する。一方、第１ブロック２０が二次元データ１０の一部である場合、特徴量抽出部２０２０は、二次元データ１０から第１ブロック２０を抽出する。例えば特徴量抽出部２０２０は、第１ブロック２０を定める情報（二次元データ１０内における第１ブロック２０の位置及び大きさを定める情報）を取得し、その情報に基づいて第１ブロック２０を抽出する。 <About the first block 20>
When the first block 20 is the whole of the two-dimensional data 10, the feature quantity extraction unit 2020 processes the whole of the two-dimensional data 10 as the first block 20. On the other hand, when the first block 20 is a part of the two-dimensional data 10, the feature quantity extraction unit 2020 extracts the first block 20 from the two-dimensional data 10. For example, the feature quantity extraction unit 2020 acquires information defining the first block 20 (information defining the position and size of the first block 20 in the two-dimensional data 10), and extracts the first block 20 based on the information Do.

二次元データ１０から抽出する第１ブロック２０は、１つであってもよいし、複数であってもよい。後者の場合、例えば特徴量抽出部２０２０は、第１ブロック２０のサイズのスライディングウインドウを利用して、二次元データ１０から第１ブロック２０を順次抽出していく。スライディングウインドウのずらし量は任意である。 The first block 20 extracted from the two-dimensional data 10 may be one or more. In the latter case, for example, the feature quantity extraction unit 2020 sequentially extracts the first block 20 from the two-dimensional data 10 using a sliding window of the size of the first block 20. The sliding window shift amount is arbitrary.

＜特徴量抽出処理＞
特徴量抽出部２０２０は、第１ブロック２０について特徴量抽出処理を行う。前述したように、特徴量抽出部２０２０が行う特徴量抽出処理は、CNN における特徴量抽出層で実行される処理に相当する。具体的には、特徴量抽出部２０２０は、CNN における畳み込み層（Convolution layer）の処理を第１ブロック２０に対して行う。すなわち特徴量抽出部２０２０は、第１ブロック２０に対して、特徴量抽出に利用するフィルタを畳み込むことで、第１ブロック２０に含まれる複数のデータ領域それぞれから特徴量を抽出し、特徴量情報４０を生成する。例えばフィルタとしては、エッジを検出するためのエッジ検出フィルタなどが利用できる。第１ブロック２０に対して畳み込むフィルタは、予め特徴量抽出部２０２０からアクセス可能な記憶装置（例えばストレージデバイス１０８０）に記憶させておく。 <Feature extraction process>
The feature extraction unit 2020 performs feature extraction processing on the first block 20. As described above, the feature quantity extraction process performed by the feature quantity extraction unit 2020 corresponds to the process executed by the feature quantity extraction layer in CNN. Specifically, the feature quantity extraction unit 2020 performs the process of the convolution layer in CNN on the first block 20. That is, the feature quantity extraction unit 2020 extracts a feature quantity from each of a plurality of data areas included in the first block 20 by convoluting a filter used for feature quantity extraction in the first block 20, and feature quantity information Generate 40 For example, as a filter, an edge detection filter for detecting an edge can be used. The filter to be convoluted to the first block 20 is stored in advance in a storage device (for example, storage device 1080) accessible from the feature extraction unit 2020.

また、特徴量抽出処理では、畳み込み層の処理に加え、CNN におけるプーリング層（Pooling Layer）の処理を行ってもよい。プーリング層では、畳み込み層で得られた特徴量情報４０のサイズを減らす処理が行われる。例えば、特徴量情報４０の複数の領域それぞれについて、その領域内の複数の特徴量を１つの代表値に置き換える処理を行うことで、特徴量情報４０のサイズを減らすことができる。なお、プーリング層において行われる具体的な処理については、既存の技術を利用することができる。 Also, in the feature value extraction process, in addition to the process of the convolutional layer, the process of the pooling layer in CNN may be performed. In the pooling layer, processing is performed to reduce the size of feature amount information 40 obtained in the convolutional layer. For example, the size of the feature amount information 40 can be reduced by performing processing of replacing a plurality of feature amounts in each of the plurality of regions of the feature amount information 40 with one representative value. In addition, the existing technique can be utilized about the specific process performed in a pooling layer.

特徴量抽出部２０２０は、生成した特徴量情報を記憶装置（例えばストレージデバイス１０８０）に記憶させる。なお、情報処理装置２０００を FPGA として構成する場合、特徴量抽出部２０２０は、FPGA に内蔵されている記憶装置に特徴量情報を記憶させることが好適である。 The feature amount extraction unit 2020 stores the generated feature amount information in a storage device (for example, the storage device 1080). When the information processing apparatus 2000 is configured as an FPGA, it is preferable that the feature extraction unit 2020 store the feature information in a storage device incorporated in the FPGA.

＜＜第１ブロック２０の変形＞＞
ここで特徴量抽出部２０２０は、特徴量抽出処理を行う前に第２ブロック３０の大きさに基づいて第１ブロック２０を変形し、変形後の第１ブロック２０について特徴量抽出処理を行ってもよい。図８は、第２ブロック３０の大きさに合わせて第１ブロック２０を変形する様子を例示する図である。例えば特徴量抽出部２０２０は、いずれか一つの方向（以下、第１の方向）について、第１ブロック２０の大きさが第２ブロック３０の大きさと同じになるように、第１ブロック２０を分割する。例えば図８では、y 軸方向について第１ブロック２０の大きさが第２ブロック３０の大きさと同じ dy になるように、第１ブロック２０を複数のデータ領域に分割している。すなわち、第１ブロック２０の縦幅が第２ブロック３０の縦幅と同一になるように変形している。 << Modification of first block 20 >>
Here, the feature quantity extraction unit 2020 deforms the first block 20 based on the size of the second block 30 before performing the feature quantity extraction process, and performs the feature quantity extraction process on the first block 20 after the transformation. It is also good. FIG. 8 is a view illustrating how the first block 20 is deformed in accordance with the size of the second block 30. As shown in FIG. For example, the feature quantity extraction unit 2020 divides the first block 20 so that the size of the first block 20 is the same as the size of the second block 30 in any one direction (hereinafter, the first direction). Do. For example, in FIG. 8, the first block 20 is divided into a plurality of data areas so that the size of the first block 20 in the y-axis direction is the same as the size of the second block 30. That is, the vertical width of the first block 20 is modified to be the same as the vertical width of the second block 30.

その後、特徴量抽出部２０２０は、上記分割で得られた複数のデータ領域を、第１の方向とは異なる方向において連結する。例えば図８では、元の第１ブロック２０を分割することで得られた複数のデータ領域を、x 軸方向において連結する。こうすると、全結合処理部２０４０は、スライディングウインドウを利用して第１ブロック２０から第２ブロック３０を抽出する際、スライディングウインドウを一つの方向（図８では x 方向）に移動するだけで、第１ブロック２０全体から第２ブロック３０を抽出できるようになる。 Thereafter, the feature quantity extraction unit 2020 links the plurality of data areas obtained by the above division in a direction different from the first direction. For example, in FIG. 8, a plurality of data areas obtained by dividing the original first block 20 are connected in the x-axis direction. Thus, when extracting the second block 30 from the first block 20 using the sliding window, the all-join processing unit 2040 only moves the sliding window in one direction (the x direction in FIG. 8). The second block 30 can be extracted from the entire one block 20.

なお、第１ブロック２０を分割する方向（例えば図８における y 軸方向）において、第１ブロック２０の大きさが第２ブロック３０の大きさの整数倍にならないこともある。この場合、例えば特徴量抽出部２０２０は、第１ブロック２０の分割方向における末端（図８の例では最も下）のデータ領域についてゼロパディング等の手法を適用することで、第１ブロック２０の分割方向において、第１ブロック２０の大きさが第２ブロック３０の大きさの整数倍になるように調整する。 The size of the first block 20 may not be an integral multiple of the size of the second block 30 in the direction in which the first block 20 is divided (for example, the y-axis direction in FIG. 8). In this case, for example, the feature extraction unit 2020 divides the first block 20 by applying a method such as zero padding to a data area at the end (the lowermost in the example of FIG. 8) in the division direction of the first block 20. In the direction, the size of the first block 20 is adjusted to be an integral multiple of the size of the second block 30.

第２ブロック３０の大きさに基づいて第１ブロック２０を変形する方法は、上述の方法に限定されない。例えば特徴量抽出部２０２０は、第１ブロック２０の大きさと第２ブロック３０の大きさとに基づき、第１ブロック２０の画素を所定の規則で間引く処理を行ってもよい。図９は、間引き処理を例示する図である。図９の y 方向において、第１ブロック２０の大きさは第２ブロック３０の大きさの N 倍である。そこで、特徴量抽出部２０２０は、y 方向について、連続する N 画素ごとに N-1 画素を間引く処理を行う。これにより、y 方向について、第１ブロック２０のサイズが第２ブロック３０のサイズと同一になる。特徴量抽出部２０２０は、間引き処理後の第１ブロック２０において、スライディングウインドウを x 方向に移動することで、第２ブロック３０を抽出していく。 The method of deforming the first block 20 based on the size of the second block 30 is not limited to the method described above. For example, based on the size of the first block 20 and the size of the second block 30, the feature amount extraction unit 2020 may thin the pixels of the first block 20 according to a predetermined rule. FIG. 9 is a diagram illustrating the thinning process. In the y direction of FIG. 9, the size of the first block 20 is N times the size of the second block 30. Therefore, the feature extraction unit 2020 thins out N-1 pixels for each of the N consecutive pixels in the y direction. Thereby, the size of the first block 20 becomes the same as the size of the second block 30 in the y direction. The feature quantity extraction unit 2020 extracts the second block 30 by moving the sliding window in the x direction in the first block 20 after the thinning process.

なお、上述の例では、スライディングウインドウを移動させる方向（図９の x 方向）については画素が間引かれていない。しかし、特徴量抽出部２０２０は、スライディングウインドウを移動させる方向についても画素を間引いてもよい。例えば特徴量抽出部２０２０は、スライディングウインドウを移動させる方向についての間引きを、他方の方向についての間引きと同様に行う（例えば図９のケースでは、x 方向についても、連続する N 画素ごとに N-1 画素を間引く）。 In the above example, pixels are not thinned in the direction of moving the sliding window (the x direction in FIG. 9). However, the feature quantity extraction unit 2020 may also thin pixels in the direction in which the sliding window is moved. For example, the feature extraction unit 2020 performs thinning in the direction in which the sliding window is moved in the same manner as thinning in the other direction (for example, in the case of FIG. Thin out one pixel).

なお、上述のいずれの変形を利用しても、全結合処理部２０４０で行われる処理は同一である。そのため、FPGA 等のハードウエアで情報処理装置２０００を実装する際に、計算機資源を抑えることができる。 Note that the processing performed by the all-coupling processing unit 2040 is the same regardless of which of the above modifications is used. Therefore, when the information processing apparatus 2000 is implemented by hardware such as an FPGA, computer resources can be suppressed.

＜全結合処理＞
全結合処理部２０４０は、第１ブロック２０から複数の第２ブロック３０を抽出する。例えば前述したように、全結合処理部２０４０は、スライディングウインドウを利用して、第１ブロック２０から第２ブロック３０を抽出する。なお、特徴量抽出部２０２０が第１ブロック２０を第２ブロック３０の大きさに基づいて変形した後に特徴量抽出処理を行う場合、全結合処理部２０４０は、変形後の第１ブロック２０から第２ブロック３０の抽出を行う。 <All join processing>
The total combination processing unit 2040 extracts the plurality of second blocks 30 from the first block 20. For example, as described above, the full combination processing unit 2040 extracts the second block 30 from the first block 20 using the sliding window. When the feature quantity extraction unit 2020 performs the feature quantity extraction process after the feature quantity extraction unit 2020 deforms the first block 20 based on the size of the second block 30, the all combination processing unit 2040 2. Extract two blocks 30.

さらに全結合処理部２０４０は、特徴量抽出部２０２０によって生成された特徴量情報に含まれる各第２ブロック３０の特徴量を利用して、各第２ブロック３０について全結合処理を行う。前述したように、全結合処理部２０４０が行う全結合処理は、CNN の全結合層で行われる処理に相当する。全結合処理を実現する具体的な手法については、目的に応じた既存の手法を利用することができる。なお、全結合処理部２０４０は、特徴量情報が記憶されている記憶装置から特徴量情報を読み出して利用する。 Furthermore, the all combination processing unit 2040 performs all combination processing on each second block 30 using the feature amounts of each second block 30 included in the feature amount information generated by the feature amount extraction unit 2020. As described above, the total bonding processing performed by the total bonding processor 2040 corresponds to the processing performed in the total bonding layer of CNN. As a specific method for realizing the full combination processing, an existing method according to the purpose can be used. The all combination processing unit 2040 reads and uses the feature amount information from the storage device in which the feature amount information is stored.

なお、記憶領域の使用量を削減するため、不要となったデータを記憶装置から適宜削除することが好適である。例えば特徴量抽出部２０２０が第１ブロック２０を変形する場合、情報処理装置２０００は、変形後の第１ブロック２０を表すデータを、変形後の第１ブロック２０を利用した特徴量抽出処理を終えたタイミングで削除することが好適である。また、情報処理装置２０００は、全結合処理に用いる特徴量情報を、その特徴量情報を用いた全結合処理を終えたタイミングで削除することが好適である。 In order to reduce the amount of use of the storage area, it is preferable to appropriately delete unnecessary data from the storage device. For example, when the feature quantity extraction unit 2020 deforms the first block 20, the information processing apparatus 2000 finishes the feature quantity extraction process using data representing the first block 20 after deformation using the first block 20 after deformation. It is preferable to delete at the right timing. Further, it is preferable that the information processing apparatus 2000 delete the feature amount information used for the all combination process at the timing when the all combination process using the feature amount information is finished.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are merely examples of the present invention, and various configurations other than the above can also be adopted.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．二次元データを取得し、前記二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、前記第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出手段と、
前記第１ブロックの中から複数の第２ブロックを抽出し、各前記第２ブロックについて、前記特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理手段と、を有し、
前記第１ブロックに含まれる各前記第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する、情報処理装置。
２．前記全結合処理手段は、前記第１ブロックについて特徴量情報を生成する処理が完了した後に、前記全結合層の処理を実行する、１．に記載の情報処理装置。
３．前記特徴量抽出手段が実行する処理は、CNN の畳み込み層の処理及びプーリング層の処理を含む、１．又は２．に記載の情報処理装置。
４．前記特徴量抽出手段は、第１の方向における大きさが前記第２ブロックの大きさと同じになるように前記第１ブロックを変形し、前記変形後の第１ブロックについて前記特徴量情報の生成を行い、
前記全結合処理手段は、前記変形後の第１ブロックから前記第２ブロックを抽出する、１．乃至３．いずれか一つに記載の情報処理装置。
５．前記全結合処理手段は、前記第２ブロックと同じサイズのスライディングウインドウを前記変形後の第１ブロック内で移動させ、前記スライディングウインドウ内のデータ領域を前記第２ブロックとして抽出することで、前記変形後の第１ブロックから複数の前記第２ブロックを抽出し、
前記スライディングウインドウを移動させる方向は、前記第１の方向とは異なる方向である、４．に記載の情報処理装置。
６．前記特徴量抽出手段と前記全結合処理手段はハードウエア回路で実装される、１．乃至５．いずれか一つに記載の情報処理装置。
７．前記ハードウエア回路は FPGA（Field-Programmable Gate Array）である、６．に記載の情報処理装置。
８．前記特徴量抽出手段は、前記特徴量情報を前記 FPGA に内蔵された記憶装置に記憶させ、
前記全結合処理手段は、前記記憶装置から前記特徴量情報を読み出して、前記全結合層の処理を実行する、７．に記載の情報処理装置。 Some or all of the above embodiments may be described as in the following appendices, but is not limited to the following.
1. Two-dimensional data is acquired, and processing of a feature quantity extraction layer of Convolutional Neural Network (CNN) is executed for the first block which is a data area in the two-dimensional data, and a plurality of image areas in the first block are respectively processed. Feature amount extraction means for generating feature amount information indicating feature amounts of
A plurality of second blocks are extracted from the first block, and for each of the second blocks, processing of all combined layers of CNN is executed using the feature amounts of the second block included in the feature amount information And all coupling processing means
An information processing apparatus, wherein each of the second blocks included in the first block has at least one other second block and a partial data area of the second block overlap.
2. The all combination processing unit executes the processing of the all combination layer after the process of generating the feature amount information for the first block is completed. The information processing apparatus according to claim 1.
3. The processing performed by the feature extraction means includes the processing of the convolution layer of CNN and the processing of the pooling layer. Or 2. The information processing apparatus according to claim 1.
4. The feature quantity extraction unit deforms the first block so that the size in the first direction is the same as the size of the second block, and generates the feature quantity information for the first block after the deformation. Do,
The total combination processing unit extracts the second block from the first block after the deformation; To 3. The information processing apparatus according to any one.
5. The all combination processing unit moves the sliding window having the same size as the second block in the first block after the deformation, and extracts the data area in the sliding window as the second block, thereby the deformation. Extract a plurality of the second blocks from the first block after
The direction in which the sliding window is moved is a direction different from the first direction, 4. The information processing apparatus according to claim 1.
6. The feature quantity extraction unit and the all combination processing unit are implemented by a hardware circuit. To 5. The information processing apparatus according to any one.
7. The hardware circuit is an FPGA (Field-Programmable Gate Array); The information processing apparatus according to claim 1.
8. The feature amount extraction unit stores the feature amount information in a storage device incorporated in the FPGA.
The all combination processing unit reads the feature amount information from the storage device, and executes the processing of the all combination layer. The information processing apparatus according to claim 1.

９．コンピュータによって実行される制御方法であって、
二次元データを取得し、前記二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、前記第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出ステップと、
前記第１ブロックの中から複数の第２ブロックを抽出し、各前記第２ブロックについて、前記特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理ステップと、を有し、
前記第１ブロックに含まれる各前記第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する、制御方法。
１０．前記全結合処理ステップにおいて、前記第１ブロックについて特徴量情報を生成する処理が完了した後に、前記全結合層の処理を実行する、９．に記載の制御方法。
１１．前記特徴量抽出ステップにおいて実行する処理は、CNN の畳み込み層の処理及びプーリング層の処理を含む、９．又は１０．に記載の制御方法。
１２．前記特徴量抽出ステップにおいて、第１の方向における大きさが前記第２ブロックの大きさと同じになるように前記第１ブロックを変形し、前記変形後の第１ブロックについて前記特徴量情報の生成を行い、
前記全結合処理ステップにおいて、前記変形後の第１ブロックから前記第２ブロックを抽出する、９．乃至１１．いずれか一つに記載の制御方法。
１３．前記全結合処理ステップにおいて、前記第２ブロックと同じサイズのスライディングウインドウを前記変形後の第１ブロック内で移動させ、前記スライディングウインドウ内のデータ領域を前記第２ブロックとして抽出することで、前記変形後の第１ブロックから複数の前記第２ブロックを抽出し、
前記スライディングウインドウを移動させる方向は、前記第１の方向とは異なる方向である、１２．に記載の制御方法。 9. A control method implemented by a computer,
Two-dimensional data is acquired, and processing of a feature quantity extraction layer of Convolutional Neural Network (CNN) is executed for the first block which is a data area in the two-dimensional data, and a plurality of image areas in the first block are respectively processed. A feature amount extraction step of generating feature amount information indicating a feature amount of
A plurality of second blocks are extracted from the first block, and for each of the second blocks, processing of all combined layers of CNN is executed using the feature amounts of the second block included in the feature amount information And all coupled processing steps
The control method in which each of the second blocks included in the first block has at least one other second block and a partial data area of the second block overlap.
10. 8. In the all combination processing step, after the processing of generating feature amount information for the first block is completed, the processing of the all combination layer is performed, Control method described in.
11. The processing executed in the feature extraction step includes processing of a convolution layer of CNN and processing of a pooling layer. Or 10. Control method described in.
12. In the feature quantity extraction step, the first block is deformed so that the size in the first direction is equal to the size of the second block, and generation of the feature quantity information for the first block after the deformation is performed. Do,
8. extracting the second block from the deformed first block in the total combination processing step; To 11. The control method according to any one.
13. In the total combination processing step, the sliding window of the same size as the second block is moved in the first block after the deformation, and a data area in the sliding window is extracted as the second block, thereby the deformation Extract a plurality of the second blocks from the first block after
The direction in which the sliding window is moved is a direction different from the first direction. Control method described in.

１４．９．乃至１３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。 14. 9. To 13. A program that causes a computer to execute each step of the control method described in any one.

１０二次元データ
２０第１ブロック
３０第２ブロック
４０特徴量情報
６０車両
７０カメラ
１０００計算機
１０２０バス
１０４０プロセッサ
１０６０メモリ
１０８０ストレージデバイス
１１００入出力インタフェース
２０００情報処理装置
２０２０特徴量抽出部
２０４０全結合処理部 10 two-dimensional data 20 first block 30 second block 40 feature amount information 60 vehicle 70 camera 1000 computer 1020 bus 1040 processor 1060 memory 1080 storage device 1100 input / output interface 2000 information processing device 2020 feature amount extraction unit 2040 total combination processing unit

Claims

Two-dimensional data is acquired, and processing of a feature quantity extraction layer of Convolutional Neural Network (CNN) is executed for the first block which is a data area in the two-dimensional data, and a plurality of image areas in the first block are respectively processed. Feature amount extraction means for generating feature amount information indicating feature amounts of
A plurality of second blocks are extracted from the first block, and for each of the second blocks, processing of all combined layers of CNN is executed using the feature amounts of the second block included in the feature amount information And all coupling processing means
An information processing apparatus, wherein each of the second blocks included in the first block has at least one other second block and a partial data area of the second block overlap.

The information processing apparatus according to claim 1, wherein the all combination processing unit executes the process of the all combination layer after the process of generating the feature amount information for the first block is completed.

The information processing apparatus according to claim 1, wherein the processing performed by the feature quantity extraction unit includes processing of a convolution layer of CNN and processing of a pooling layer.

The feature quantity extraction unit deforms the first block so that the size in the first direction is the same as the size of the second block, and generates the feature quantity information for the first block after the deformation. Do,
The information processing apparatus according to any one of claims 1 to 3, wherein the all combination processing unit extracts the second block from the first block after the deformation.

The all combination processing unit moves the sliding window having the same size as the second block in the first block after the deformation, and extracts the data area in the sliding window as the second block, thereby the deformation. Extract a plurality of the second blocks from the first block after
The information processing apparatus according to claim 4, wherein a direction in which the sliding window is moved is a direction different from the first direction.

The information processing apparatus according to any one of claims 1 to 5, wherein the feature amount extraction unit and the all connection processing unit are implemented by a hardware circuit.

The information processing apparatus according to claim 6, wherein the hardware circuit is an FPGA (Field-Programmable Gate Array).

The feature amount extraction unit stores the feature amount information in a storage device incorporated in the FPGA.
The information processing apparatus according to claim 7, wherein the all combination processing unit reads the feature amount information from the storage device and executes processing of the all combination layer.

A control method implemented by a computer,
Two-dimensional data is acquired, and processing of a feature quantity extraction layer of Convolutional Neural Network (CNN) is executed for the first block which is a data area in the two-dimensional data, and a plurality of image areas in the first block are respectively processed. A feature amount extraction step of generating feature amount information indicating a feature amount of
A plurality of second blocks are extracted from the first block, and for each of the second blocks, processing of all combined layers of CNN is executed using the feature amounts of the second block included in the feature amount information And all coupled processing steps
The control method in which each of the second blocks included in the first block has at least one other second block and a partial data area of the second block overlap.

A program that causes a computer to execute each step of the control method according to claim 9.