JP2022142879A - Sensor data processing system - Google Patents

Sensor data processing system Download PDF

Info

Publication number
JP2022142879A
JP2022142879A JP2021043129A JP2021043129A JP2022142879A JP 2022142879 A JP2022142879 A JP 2022142879A JP 2021043129 A JP2021043129 A JP 2021043129A JP 2021043129 A JP2021043129 A JP 2021043129A JP 2022142879 A JP2022142879 A JP 2022142879A
Authority
JP
Japan
Prior art keywords
sensor data
contribution
point
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021043129A
Other languages
Japanese (ja)
Other versions
JP7094411B1 (en
Inventor
哲朗 西岡
Tetsuro Nishioka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021043129A priority Critical patent/JP7094411B1/en
Application granted granted Critical
Publication of JP7094411B1 publication Critical patent/JP7094411B1/en
Publication of JP2022142879A publication Critical patent/JP2022142879A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

To obtain a sensor data processing system capable of reducing the processing load of sensor data while maintaining the detection accuracy of an object.SOLUTION: The sensor data processing system comprises an inference device 100 and a learning device 200. The inference device 100 stores sensor data including a point group input from sensor devices 11 and 12 in a sensor data storage section 101, and a contribution inference section 102 infers contribution to object detection at each point of the point group in the sensor data. After a low contribution point deletion section 103 deletes a low contribution point from the point group, a sensor data processing section 104 performs processing such as sensor fusion to perform object detection. A contribution learning section 203 of the learning device 200 acquires the sensor data and a sensor data processing result from the inference device 100, learns a relation between them, and derives the contribution calculation algorithm used for inference by the contribution inference section 102.SELECTED DRAWING: Figure 1

Description

本願は、センサデータ処理システムに関するものである。 The present application relates to sensor data processing systems.

近年、物体を検知するセンサを利用して、車両、障害物を検知し、自動車の自動運転あるいは衝突低減機能に応用するシステムが多く提案されている。さらに、特定域内にセンサが内蔵された路側装置を設置して、自動車のセンサ死角を補う狭域自動運転システムも研究開発・実証実験が盛んに行われている。
このようなシステムで必要となる技術として、特許文献１には、複数の異種センサを統合して、各センサの観測値から実際の物体の形状、運動などを算出するセンサフュージョン技術が開示されている。さらに、昨今では、一定間隔ごとに光線を照射して、障害物の位置を座標点の集合（点群）で表すセンサが多く用いられている。 In recent years, many systems have been proposed that use sensors that detect objects to detect vehicles and obstacles and apply them to automatic driving or collision reduction functions of automobiles. Furthermore, research and development and demonstration experiments are actively being conducted on a narrow-area automatic driving system that compensates for sensor blind spots of automobiles by installing a roadside device with a built-in sensor within a specific area.
As a technology required for such a system, Patent Document 1 discloses a sensor fusion technology that integrates a plurality of different types of sensors and calculates the shape and motion of an actual object from the observation values of each sensor. there is Furthermore, these days, many sensors are used that emit light rays at regular intervals and express the position of an obstacle by a set of coordinate points (point group).

ＷＯ２０２０／００３７７６号公報（第１７～１８頁、第２図）WO2020/003776 (pages 17-18, FIG. 2)

しかしながら、従来技術には、以下のような課題がある。
上述のようなシステムにあっては、特にセンサから出力される点群が膨大であり、処理を高速化することが困難である。
また、センサデータを自動運転に応用するシステムでは、リアルタイム性が求められることが多く、高速なハードウェア要件が求められるため、システムのコストが大きくなるという課題があった。
一方で、単純に一定のパターンで点群を削減すると、センサの精度劣化となり、物体の誤検知あるいは検知もれを誘発する恐れがあるため、上述のシステムのように、センサの精度劣化が致命的になる場合では、点群の削減が困難になるという課題もあった。 However, the prior art has the following problems.
In the system as described above, the point cloud output from the sensor is particularly large, and it is difficult to speed up the processing.
In addition, systems that apply sensor data to autonomous driving often require real-time performance and high-speed hardware requirements, which raises the issue of high system costs.
On the other hand, if the point cloud is simply reduced in a fixed pattern, the accuracy of the sensor deteriorates, and there is a risk of erroneous detection or failure to detect objects. There was also a problem that it was difficult to reduce the point cloud when it became a target.

本願は、上記のような課題を解決するための技術を開示するものであり、物体の検知精度を維持しつつ、センサデータの処理負荷を低減できるセンサデータ処理システムを提供することを目的とする。 The present application discloses a technology for solving the above problems, and aims to provide a sensor data processing system that can reduce the processing load of sensor data while maintaining object detection accuracy. .

本願に開示されるセンサデータ処理システムは、センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、この処理装置の処理内容を学習する学習装置を備え、処理装置は、センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、この寄与度推測部により推測された寄与度が低い点を、センサデータから削除する低寄与点削除部と、この低寄与点削除部により削除されたセンサデータを処理して物体検知を行うセンサデータ処理部とを有し、学習装置は、センサデータと物体検知との関連を学習して、寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有するものである。 A sensor data processing system disclosed in the present application includes a processing device that performs processing for detecting an object based on sensor data input from a sensor device, a learning device that learns the processing content of the processing device, and a processing device is a contribution estimation unit that estimates the contribution of each point in the point cloud in the sensor data to object detection, and a low-contribution point that deletes the low-contribution points estimated by this contribution estimation unit from the sensor data. and a sensor data processing unit that processes the sensor data deleted by the low contribution point deletion unit to perform object detection. It has a contribution learning unit for deriving a contribution calculation algorithm for estimation by the contribution estimation unit.

本願に開示されるセンサデータ処理システムによれば、物体の検知精度を維持しつつ、センサデータの処理負荷を低減することができる。 According to the sensor data processing system disclosed in the present application, it is possible to reduce the processing load of sensor data while maintaining object detection accuracy.

実施の形態１によるセンサデータ量削減システムの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a sensor data amount reduction system according to Embodiment 1; FIG. 実施の形態１によるセンサデータ量削減システムの寄与度学習部を示す構成図である。2 is a configuration diagram showing a contribution degree learning unit of the sensor data amount reduction system according to Embodiment 1; FIG. 実施の形態１によるセンサデータ量削減システムの処理フローを示すタイミング図である。4 is a timing chart showing a processing flow of the sensor data amount reduction system according to Embodiment 1; FIG. 実施の形態２によるセンサデータ量削減システムの概略構成を示すブロック図である。FIG. 9 is a block diagram showing a schematic configuration of a sensor data amount reduction system according to Embodiment 2; 実施の形態２によるセンサデータ量削減システムの全体構成の処理フローを示すタイミング図である。FIG. 11 is a timing chart showing the processing flow of the overall configuration of the sensor data amount reduction system according to Embodiment 2; 実施の形態２によるセンサデータ量削減システムの別の概略構成を示すブロック図である。FIG. 9 is a block diagram showing another schematic configuration of the sensor data amount reduction system according to Embodiment 2; 実施の形態１、２による推論装置および学習装置のハードウェア構成を示す図である。2 is a diagram showing hardware configurations of an inference device and a learning device according to Embodiments 1 and 2; FIG.

実施の形態１．
図１は、実施の形態１によるセンサデータ量削減システムの概略構成を示すブロック図である。
図１において、センサデータ量削減システム（センサデータ処理システム）は、推論装置１００（処理装置）と学習装置２００とを有する。推論装置１００と学習装置２００は、それぞれ同一の機器、またはサーバと路側装置などの分離した機器であってもよい。 Embodiment 1.
FIG. 1 is a block diagram showing a schematic configuration of a sensor data amount reduction system according to Embodiment 1. FIG.
In FIG. 1 , the sensor data amount reduction system (sensor data processing system) has an inference device 100 (processing device) and a learning device 200 . The inference device 100 and the learning device 200 may be the same device, or separate devices such as a server and a roadside device.

推論装置１００は、次のように構成されている。
センサ装置１１は、ＬｉＤＡＲ（Ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）装置であり、点群を含むセンサデータを取得し、後述するセンサデータ記憶部１０１、寄与度推測部１０２に出力する。
センサ装置１２は、ミリ波レーダ、カメラなどの他のセンサ装置であり、点群を含むセンサデータを取得し、後述するセンサデータ記憶部１０１、寄与度推測部１０２に出力する。
センサデータ記憶部１０１は、各センサ装置１１、１２からの入力値を同期的に保存する。 The inference device 100 is configured as follows.
The sensor device 11 is a LiDAR (Light detection and ranging) device, acquires sensor data including point groups, and outputs the acquired sensor data to a sensor data storage unit 101 and a contribution degree estimation unit 102, which will be described later.
The sensor device 12 is another sensor device such as a millimeter wave radar and a camera, acquires sensor data including a point group, and outputs the sensor data to the sensor data storage unit 101 and the contribution degree estimation unit 102, which will be described later.
The sensor data storage unit 101 synchronously stores input values from the sensor devices 11 and 12 .

寄与度推測部１０２は、あらかじめ、後述する寄与度学習部２０３から取得した寄与度算出アルゴリズム、または初期状態の寄与度算出アルゴリズムのどちらか１つを用いて、入力されたセンサデータの点群について、点ごとに寄与度を割り当てる。
低寄与点削除部１０３は、寄与度付きの点群を参照し、与えられた削除ポリシ１３に当てはまる条件の低寄与度をもつ点群の点を削除する。
センサデータ処理部１０４は、低寄与点削除部１０３により低寄与点が取り除かれた点群を入力として、センサフュージョンなどの任意の処理を行い、物体検知を行う。すなわち、センサデータ処理部１０４は、点群を処理し、その点群処理結果が、センサデータ処理結果１４であり、物体検知結果である。センサデータ処理部１０４のセンサデータ処理結果１４は、センサデータ記憶部１０１に、センサデータと対にして記憶されるようになっている。 The contribution estimation unit 102 uses either one of the contribution calculation algorithm acquired in advance from the contribution learning unit 203 described later or the contribution calculation algorithm in the initial state to calculate the point group of the input sensor data. , to assign a contribution to each point.
The low-contribution point deletion unit 103 refers to the point cloud with the degree of contribution, and deletes the points of the point cloud having the low-contribution degree that satisfies the given deletion policy 13 .
The sensor data processing unit 104 receives as input the point group from which the low contribution points have been removed by the low contribution point removal unit 103, performs arbitrary processing such as sensor fusion, and performs object detection. That is, the sensor data processing unit 104 processes the point group, and the point group processing result is the sensor data processing result 14 and the object detection result. The sensor data processing result 14 of the sensor data processing unit 104 is stored in the sensor data storage unit 101 in a pair with the sensor data.

学習装置２００は、寄与度学習部２０３を有する。
寄与度学習部２０３は、点群を含むセンサデータとセンサデータ処理結果から、各点の寄与度を算出する。ここで、寄与度は、点ごとに割り当てられ、点群処理結果（物体検知結果）に影響力が高い点ほど高い寄与度が設定される。
また、寄与度学習部２０３は、センサデータと、算出した各寄与度との関係から、その傾向を学習して、任意の点に対して、寄与度を算出するための寄与度算出アルゴリズムを導出する。 The learning device 200 has a contribution degree learning section 203 .
The contribution learning unit 203 calculates the contribution of each point from the sensor data including the point group and the sensor data processing result. Here, a contribution is assigned to each point, and a higher contribution is set for a point having a higher influence on the point group processing result (object detection result).
Further, the contribution learning unit 203 learns the tendency from the relationship between the sensor data and each calculated contribution, and derives a contribution calculation algorithm for calculating the contribution for an arbitrary point. do.

図２は、実施の形態１によるセンサデータ量削減システムの寄与度学習部を示す構成図である。
図２において、寄与度学習部２０３は、寄与度算出部２０４と学習部２０５とを有する。寄与度算出部２０４は、センサデータ処理結果１４と、点群を含むセンサデータ１５を、与えられた寄与式２２に入力して寄与度を得る。
学習部２０５は、点群とその各点の寄与度の間にある関係性を定式化し、点群を入力とした寄与度算出アルゴリズム２４を導出する。学習部２０５は、指定された任意の学習ポリシ（学習アルゴリズム）２３を用いて、寄与度算出アルゴリズム２４を導出する。
ここで、学習ポリシ２３は、ニューラルネットワーク、ロジスティック回帰のような、機械学習、あるいは、一定時間範囲で寄与度の低い点が多発する座標範囲を取得するなどの統計的な手法であってもよい。 FIG. 2 is a configuration diagram showing a contribution degree learning unit of the sensor data amount reduction system according to the first embodiment.
In FIG. 2 , contribution degree learning section 203 has contribution degree calculation section 204 and learning section 205 . The contribution calculation unit 204 inputs the sensor data processing result 14 and the sensor data 15 including the point group into the given contribution formula 22 to obtain the contribution.
The learning unit 205 formulates the relationship between the point group and the contribution of each point, and derives the contribution calculation algorithm 24 with the point group as input. The learning unit 205 derives a contribution calculation algorithm 24 using an arbitrary specified learning policy (learning algorithm) 23 .
Here, the learning policy 23 may be a neural network, machine learning such as logistic regression, or a statistical method such as acquiring a coordinate range in which points with low contribution frequently occur within a certain time range. .

図３は、実施の形態１によるセンサデータ量削減システムの処理フローを示すタイミング図である。
図３において、符号１１、１２、１００～１０４、２０３は図１におけるものと同一のものである。図３は、図１の各部による処理の流れを示している。 FIG. 3 is a timing chart showing the processing flow of the sensor data amount reduction system according to the first embodiment.
3, reference numerals 11, 12, 100 to 104 and 203 are the same as those in FIG. FIG. 3 shows the flow of processing by each unit in FIG.

次に、実施の形態１によるセンサデータ量削減システムの動作について説明する。
学習装置２００の寄与度学習部２０３は、センサデータ（点群含む）とセンサデータ処理結果（点群処理結果）から、各点の寄与度を算出する。寄与度は、点群の点ごとに割り当てられ、点群処理結果に影響力が高い点ほど、高い寄与度が設定される。
そして、寄与度学習部２０３は、算出した各寄与度とセンサデータの関係から、任意の点に対して寄与度を算出する寄与度算出アルゴリズムを導出する。
推論装置１００では、現時刻にセンサ装置１１、１２から得た点群から、学習装置２００が導出した寄与度算出アルゴリズムを用いて、点群の各点の寄与度を算出し、一定の寄与度未満の点を削除する。削除後に残った点からなる点群を、センサデータ処理部１０４で処理する。
また、同時にセンサ装置１１、１２から得たセンサデータ（点群）を、センサデータ記憶部１０１が、センサデータ処理部１０４の処理結果と対にして保存する。 Next, the operation of the sensor data amount reduction system according to Embodiment 1 will be described.
The contribution learning unit 203 of the learning device 200 calculates the contribution of each point from the sensor data (including the point group) and the sensor data processing result (point group processing result). A contribution is assigned to each point of the point cloud, and a higher contribution is set for a point having a higher influence on the point cloud processing result.
Then, the contribution degree learning unit 203 derives a contribution degree calculation algorithm for calculating the contribution degree for an arbitrary point from the relation between the calculated contribution degree and the sensor data.
The inference device 100 uses the contribution calculation algorithm derived by the learning device 200 from the point cloud obtained from the sensor devices 11 and 12 at the current time to calculate the contribution of each point of the point cloud. Remove points less than The sensor data processing unit 104 processes a point cloud composed of points remaining after the deletion.
At the same time, the sensor data (point cloud) obtained from the sensor devices 11 and 12 is paired with the processing result of the sensor data processing unit 104 and stored in the sensor data storage unit 101 .

次に、実施の形態１によるセンサデータ量削減システムのより詳細な動作について、図３を用いて説明する。
まず、フローａで、センサ装置１１、１２から、点群を含むセンサデータが、センサデータ記憶部１０１、寄与度推測部１０２に入力される。
センサデータ記憶部１０１は、各センサ装置１１、１２からの入力値（センサデータ）を同期的に保存する。 Next, more detailed operation of the sensor data amount reduction system according to Embodiment 1 will be described with reference to FIG.
First, in flow a, sensor data including point groups are input from the sensor devices 11 and 12 to the sensor data storage unit 101 and contribution degree estimation unit 102 .
The sensor data storage unit 101 synchronously stores input values (sensor data) from the sensor devices 11 and 12 .

次に、寄与度推測部１０２は、あらかじめ学習部２０５から取得した寄与度算出アルゴリズム、または初期状態の寄与度算出アルゴリズムのどちらか１つを用いて、入力された点群の各点に寄与度を割り当てる。そして、フローｂで、寄与度が割り当てられた点群を低寄与点削除部１０３に出力する。 Next, the contribution estimation unit 102 uses either the contribution calculation algorithm acquired in advance from the learning unit 205 or the contribution calculation algorithm in the initial state to determine the contribution of each point in the input point group. assign. Then, in flow b, the point group to which the degree of contribution has been assigned is output to the low-contribution point elimination unit 103 .

低寄与点削除部１０３は、寄与度付きの点群を参照し、与えられた削除ポリシ１３に当てはまる条件の低寄与度をもつ点を点群から削除する。そして、フローｃで、削除後の点群をセンサデータ処理部１０４に出力する。 The low-contribution point deletion unit 103 refers to the point cloud with the degree of contribution, and deletes the points having the low contribution degree that satisfies the given deletion policy 13 from the point cloud. Then, in flow c, the point cloud after deletion is output to the sensor data processing unit 104 .

センサデータ処理部１０４は、低寄与点削除部１０３により低寄与点が取り除かれた点群を入力として、センサフュージョンなどの任意の処理を行う。
そして、フローｄで、センサデータ処理結果１４をセンサデータ記憶部１０１に出力し、センサデータ記憶部１０１で、センサデータ処理結果１４をセンサデータに対応付けて記憶させる。 The sensor data processing unit 104 receives as input the point group from which the low contribution points have been removed by the low contribution point removal unit 103, and performs arbitrary processing such as sensor fusion.
Then, in flow d, the sensor data processing result 14 is output to the sensor data storage unit 101, and the sensor data processing result 14 is stored in the sensor data storage unit 101 in association with the sensor data.

次に、フローｅで、学習装置２００における寄与度学習部２０３が、推論装置１００とは非同期、かつ前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などに、推論装置１００のセンサデータ記憶部１０１に対して、点群を含むセンサデータを要求する。
センサデータ記憶部１０１は、フローｆで、寄与度学習部２０３からの要求をもとに、寄与度学習部２０３に対して、蓄積していたセンサデータとセンサデータ処理結果を送信する。 Next, in flow e, the contribution degree learning unit 203 in the learning device 200 is asynchronous with the inference device 100, and when a specified time has passed since the previous reading, or when the point cloud is fixed compared to the previous time is observed, the sensor data storage unit 101 of the inference device 100 is requested to send sensor data including the point cloud.
In flow f, the sensor data storage unit 101 transmits accumulated sensor data and sensor data processing results to the contribution degree learning unit 203 based on a request from the contribution degree learning unit 203 .

次に、寄与度学習部２０３は、受信したセンサデータとセンサデータ処理結果から、寄与度算出アルゴリズムを導出し、フローｇで、推論装置１００の寄与度推測部１０２に出力する。
推論装置１００の寄与度推測部１０２は、寄与度算出アルゴリズムを更新する。 Next, the contribution degree learning unit 203 derives a contribution degree calculation algorithm from the received sensor data and the sensor data processing result, and outputs it to the contribution degree estimation unit 102 of the inference device 100 in flow g.
The contribution degree estimation unit 102 of the inference device 100 updates the contribution degree calculation algorithm.

実施の形態１によれば、センサデータ処理結果に対する寄与度の低い点のみを点群から取り除くことで、センサデータ処理の精度に及ぼす影響を低減しつつ、処理の高速化が得られる。 According to Embodiment 1, by removing from the point cloud only points that contribute less to the result of sensor data processing, it is possible to speed up the processing while reducing the impact on the accuracy of sensor data processing.

実施の形態２．
図４は、実施の形態２によるセンサデータ量削減システムの概略構成を示すブロック図である。
図４において、符号１１～１４、１００～１０４、２００、２０３は図１におけるものと同一のものである。図４では、学習装置２００に、センサデータ再生部２０１とセンサデータ処理部２０２（学習装置側センサデータ処理部）とを設けている
センサデータ再生部２０１は、推論装置１００のセンサデータ記憶部１０１から、点群（センサデータ）を読み込み、センサデータ処理部２０２に入力する。センサデータ処理部２０２は、推論装置１００のセンサデータ処理部１０４と同一の機能を持ち、推論装置１００と同一のセンサデータ処理結果２１を得る。得られたセンサデータ処理結果２１には、点群から算出された物体座標等が含まれている。 Embodiment 2.
FIG. 4 is a block diagram showing a schematic configuration of a sensor data amount reduction system according to Embodiment 2. As shown in FIG.
4, reference numerals 11-14, 100-104, 200 and 203 are the same as those in FIG. In FIG. 4, the learning device 200 is provided with a sensor data reproducing unit 201 and a sensor data processing unit 202 (sensor data processing unit on the learning device side). , the point cloud (sensor data) is read and input to the sensor data processing unit 202 . The sensor data processing unit 202 has the same function as the sensor data processing unit 104 of the inference device 100 and obtains the same sensor data processing result 21 as the inference device 100 . The obtained sensor data processing result 21 includes object coordinates and the like calculated from the point cloud.

なお、センサデータ再生部２０１が、センサデータ記憶部１０１内に保存された点群（センサデータ）を読み込むタイミングは、前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などでもよい。 The timing at which the sensor data reproducing unit 201 reads the point cloud (sensor data) stored in the sensor data storage unit 101 is when a specified time has elapsed since the previous reading, or when the point cloud is read at the previous time. A case where a certain difference is observed by comparison may also be used.

図５は、実施の形態２によるセンサデータ量削減システムの全体構成の処理フローを示すタイミング図である。
図５において、符号１１、１２、１００～１０４、２００、２０３は図１におけるものと、２０１、２０２は図４におけるものとそれぞれ同一のものである。図５は、推論装置１００と学習装置２００内の各部の処理の流れを示している。 FIG. 5 is a timing chart showing the processing flow of the overall configuration of the sensor data amount reduction system according to the second embodiment.
5, reference numerals 11, 12, 100 to 104, 200 and 203 are the same as those in FIG. 1, and 201 and 202 are the same as those in FIG. FIG. 5 shows the processing flow of each unit in the inference device 100 and the learning device 200. As shown in FIG.

図６は、実施の形態２によるセンサデータ量削減システムの別の概略構成を示すブロック図である。
図６において、符号１１～１４、２１、１００～１０４、２００～２０３は図４におけるものと同一のものである。図６では、センサデータ再生部２０１に教師データ２５が入力される。教師データ２５は、センサデータ記憶部１０１と同じく、各センサ装置１１、１２の出力データとセンサデータ処理結果が対になったものである。 FIG. 6 is a block diagram showing another schematic configuration of the sensor data amount reduction system according to the second embodiment.
6, reference numerals 11-14, 21, 100-104 and 200-203 are the same as in FIG. In FIG. 6, teacher data 25 is input to the sensor data reproducing unit 201 . As with the sensor data storage unit 101, the teacher data 25 is a pair of the output data of the sensor devices 11 and 12 and the sensor data processing result.

次に、実施の形態２によるセンサデータ量削減システムの動作について説明する。
実施の形態２によるセンサデータ量削減システムでは、学習装置２００が推論装置１００のセンサデータ処理部１０４と同一機能のセンサデータ処理部２０２をもつ。
学習装置２００内で推論装置１００と同様のセンサデータ処理を行うことで、推論装置１００で観測されるセンサデータに依存することなく、学習装置２００内でセンサデータ処理結果を再現できるようになる。 Next, the operation of the sensor data amount reduction system according to Embodiment 2 will be described.
In the sensor data amount reduction system according to the second embodiment, the learning device 200 has the sensor data processing section 202 having the same function as the sensor data processing section 104 of the inference device 100 .
By performing the same sensor data processing as the inference device 100 in the learning device 200 , the sensor data processing results can be reproduced in the learning device 200 without depending on the sensor data observed by the inference device 100 .

次に、実施の形態２によるセンサデータ量削減システムのより詳細な動作について、図５を用いて説明する。
フローａ、ｂ、ｃまでの処理の流れは、図３におけるものと同じものであり、その説明を省略する。
センサデータ処理部１０４は、低寄与点削除部１０３が低寄与点を取り除いた点群（センサデータ）を入力として、センサフュージョンなどの任意の処理を行う。 Next, more detailed operation of the sensor data amount reduction system according to Embodiment 2 will be described using FIG.
The flow of processing up to flows a, b, and c is the same as that in FIG. 3, and the description thereof is omitted.
The sensor data processing unit 104 receives as input the point group (sensor data) from which the low contribution point deletion unit 103 has removed the low contribution points, and performs arbitrary processing such as sensor fusion.

次いで、学習装置２００におけるセンサデータ再生部２０１が、推論装置１００とは非同期、かつ前回の読み込みから指定された時間が経過した場合、あるいは点群に前時間と比較して一定の差が観測された場合などに、推論装置１００のセンサデータ記憶部１０１に対して、フローｈで、点群（センサデータ）を要求する。
センサデータ記憶部１０１は、フローｉで、この要求をもとに、センサデータ再生部２０１に対して、蓄積していたセンサデータを送信する。 Next, when the sensor data reproducing unit 201 in the learning device 200 is asynchronous with the inference device 100 and a specified time has passed since the previous reading, or a certain difference is observed in the point cloud compared to the previous time. In such a case, the sensor data storage unit 101 of the inference device 100 is requested in flow h for a point group (sensor data).
Based on this request, the sensor data storage unit 101 transmits the accumulated sensor data to the sensor data reproduction unit 201 in flow i.

このとき、図６に示すように、センサデータ再生部２０１は、センサデータ記憶部１０１に記憶されたセンサデータではなく、任意の教師データ２５を入力に用いてもよい。教師データ２５は、センサデータ記憶部１０１に記憶されたセンサデータと同じく、センサ装置１１、１２の出力データとセンサデータ処理結果が対になっており、推論装置１００で生成されるセンサデータ処理結果に依存しない学習が可能となる。 At this time, as shown in FIG. 6, the sensor data reproducing unit 201 may use arbitrary teacher data 25 instead of the sensor data stored in the sensor data storage unit 101 as an input. As with the sensor data stored in the sensor data storage unit 101, the teacher data 25 is a pair of the output data of the sensor devices 11 and 12 and the sensor data processing result, and is the sensor data processing result generated by the inference device 100. It is possible to learn without depending on

次に、センサデータ再生部２０１は、フローｊで、取得した点群をセンサデータ処理部２０２に送り、フローｋで、同じ点群を寄与度学習部２０３に送る。
センサデータ処理部２０２は、推論装置１００と同一のセンサデータを用いた処理を行い、処理結果を、フローｌで、寄与度学習部２０３に送る。 Next, the sensor data reproducing unit 201 sends the obtained point group to the sensor data processing unit 202 in flow j, and sends the same point group to the contribution degree learning unit 203 in flow k.
The sensor data processing unit 202 performs processing using the same sensor data as the inference device 100, and sends the processing result to the contribution degree learning unit 203 in flow l.

寄与度学習部２０３は、センサデータ再生部２０１とセンサデータ処理部２０２との出力値から、寄与度算出アルゴリズム２４を導出し、フローｍで、推論装置１００の寄与度推測部１０２における寄与度算出アルゴリズムの更新を行う。 The contribution learning unit 203 derives the contribution calculation algorithm 24 from the output values of the sensor data reproduction unit 201 and the sensor data processing unit 202, and in flow m, the contribution calculation in the contribution estimation unit 102 of the inference device 100. Algorithm update.

実施の形態２によれば、学習装置２００内で推論装置１００と同様のセンサデータ処理を行うことで、推論装置１００で観測されるセンサデータに依存することなく、学習装置２００内でセンサデータ処理結果を再現することができる。 According to the second embodiment, by performing sensor data processing similar to that of the inference device 100 in the learning device 200, sensor data processing can be performed in the learning device 200 without depending on the sensor data observed by the inference device 100. Results can be reproduced.

なお、推論装置１００および学習装置２００は、ハードウェアの一例を図７に示すように、プロセッサ１０００と記憶装置１００１から構成される。記憶装置は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１０００は、記憶装置１００１から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０００にプログラムが入力される。また、プロセッサ１０００は、演算結果等のデータを記憶装置１００１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。 Note that the inference device 100 and the learning device 200 are each composed of a processor 1000 and a storage device 1001, as shown in FIG. 7 as an example of hardware. Although not shown, the storage device includes a volatile storage device such as a random access memory and a non-volatile auxiliary storage device such as a flash memory. Also, an auxiliary storage device such as a hard disk may be provided instead of the flash memory. Processor 1000 executes a program input from storage device 1001 . In this case, the program is input to the processor 1000 from the auxiliary storage device via the volatile storage device. Further, the processor 1000 may output data such as calculation results to the volatile storage device of the storage device 1001, or may store data in an auxiliary storage device via the volatile storage device.

本開示は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。 While this disclosure describes various exemplary embodiments and examples, various features, aspects, and functions described in one or more of the embodiments may vary from particular embodiment to embodiment. The embodiments are applicable singly or in various combinations without being limited to the application.
Accordingly, numerous variations not illustrated are envisioned within the scope of the technology disclosed herein. For example, modification, addition or omission of at least one component, extraction of at least one component, and combination with components of other embodiments shall be included.

１１ センサ装置、１２ センサ装置、１３ 削除ポリシ、
１４ センサデータ処理結果、１５ センサデータ、２１ センサデータ処理結果、
２２ 寄与式、２３ 学習ポリシ、２４ 寄与度算出アルゴリズム、
２５ 教師データ、１００ 推論装置、１０１ センサデータ記憶部、
１０２ 寄与度推測部、１０３ 低寄与点削除部、１０４ センサデータ処理部、
２００ 学習装置、２０１ センサデータ再生部、２０２ センサデータ処理部、
２０３ 寄与度学習部、２０４ 寄与度算出部、２０５ 学習部、
１０００ プロセッサ、１００１ 記憶装置 11 sensor device, 12 sensor device, 13 deletion policy,
14 sensor data processing result, 15 sensor data, 21 sensor data processing result,
22 contribution formula, 23 learning policy, 24 contribution calculation algorithm,
25 teacher data, 100 inference device, 101 sensor data storage unit,
102 contribution degree estimation unit, 103 low contribution point deletion unit, 104 sensor data processing unit,
200 learning device, 201 sensor data reproduction unit, 202 sensor data processing unit,
203 contribution degree learning unit, 204 contribution degree calculation unit, 205 learning unit,
1000 processor, 1001 storage device

本願に開示されるセンサデータ処理システムは、センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、この処理装置の処理内容を学習する学習装置を備え、処理装置は、センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、この寄与度推測部により推測された寄与度が低い点を、センサデータから削除する低寄与点削除部と、この低寄与点削除部により削除されたセンサデータを処理して物体検知を行うセンサデータ処理部とを有し、学習装置は、センサ装置から入力されたセンサデータと物体検知との関連を、当該センサデータに対応するセンサデータ処理部による物体検知結果を用いて学習して、寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有するものである。


A sensor data processing system disclosed in the present application includes a processing device that performs processing for detecting an object based on sensor data input from a sensor device, a learning device that learns the processing content of the processing device, and a processing device is a contribution estimation unit that estimates the contribution of each point in the point cloud in the sensor data to object detection, and a low-contribution point that deletes the low-contribution points estimated by this contribution estimation unit from the sensor data. The learning device has a deletion unit and a sensor data processing unit that processes the sensor data deleted by the low contribution point deletion unit and performs object detection. It has a contribution learning unit that learns the association using the result of object detection by the sensor data processing unit corresponding to the sensor data, and derives a contribution calculation algorithm for estimation by the contribution estimation unit.

Claims (7)

センサ装置から入力されるセンサデータに基づき、物体を検知するための処理を行う処理装置、
この処理装置の処理内容を学習する学習装置を備え、
上記処理装置は、
上記センサデータにおける点群の各点の物体検知への寄与度を推測する寄与度推測部と、
この寄与度推測部により推測された寄与度が低い点を、上記センサデータから削除する低寄与点削除部と、
この低寄与点削除部により削除された上記センサデータを処理して物体検知を行うセンサデータ処理部とを有し、
上記学習装置は、
上記センサデータと物体検知との関連を学習して、上記寄与度推測部による推測のための寄与度算出アルゴリズムを導出する寄与度学習部を有することを特徴とするセンサデータ処理システム。 a processing device that performs processing for detecting an object based on sensor data input from the sensor device;
Equipped with a learning device for learning the processing content of this processing device,
The processing device is
a contribution estimation unit for estimating the contribution of each point of the point cloud in the sensor data to object detection;
a low-contribution-point deletion unit that deletes, from the sensor data, a point with a low contribution estimated by the contribution estimation unit;
a sensor data processing unit that processes the sensor data deleted by the low contribution point deletion unit to detect an object;
The above learning device
A sensor data processing system, comprising: a contribution degree learning unit that learns a relationship between the sensor data and object detection and derives a contribution degree calculation algorithm for estimation by the contribution degree estimation unit. 上記寄与度学習部は、上記センサデータ処理部による処理結果を、上記学習に用いるようにしたことを特徴とする請求項１に記載のセンサデータ処理システム。 2. The sensor data processing system according to claim 1, wherein the contribution learning unit uses a processing result of the sensor data processing unit for the learning. 上記学習装置は、
上記処理装置から取得したセンサデータを用いて、上記センサデータ処理部と同じ処理を行う学習装置側センサデータ処理部を有し、
上記寄与度学習部は、上記学習装置側センサデータ処理部による処理結果を、上記学習に用いるようにしたことを特徴とする請求項１に記載のセンサデータ処理システム。 The above learning device
Having a learning device-side sensor data processing unit that performs the same processing as the sensor data processing unit using sensor data acquired from the processing device,
2. The sensor data processing system according to claim 1, wherein the contribution degree learning section uses a processing result of the learning device side sensor data processing section for the learning. 上記寄与度学習部は、予め準備された、センサデータとこのセンサデータの処理結果とが対になった教師データを、上記学習に用いるようにしたことを特徴とする請求項１に記載のセンサデータ処理システム。 2. The sensor according to claim 1, wherein the contribution degree learning unit uses teacher data prepared in advance, which is a pair of sensor data and a processing result of the sensor data, for the learning. data processing system. 上記寄与度学習部は、上記センサデータと、このセンサデータの処理結果との関連に基づき、上記点群の各点の寄与度を算出するとともに、算出した寄与度を用いて、上記点群の各点と、当該点の寄与度の傾向を学習して、寄与度算出アルゴリズムを導出するようにしたことを特徴とする請求項１から請求項４のいずれか一項に記載のセンサデータ処理システム。 The contribution learning unit calculates the contribution of each point of the point group based on the relationship between the sensor data and the processing result of the sensor data, and uses the calculated contribution to calculate the contribution of the point group. 5. The sensor data processing system according to any one of claims 1 to 4, wherein each point and the tendency of contribution of the point are learned to derive a contribution calculation algorithm. . 上記寄与度推測部は、上記寄与度学習部によって導出された寄与度算出アルゴリズムに基づき、上記点群の各点に対する寄与度を算出するようにしたことを特徴とする請求項１から請求項５のいずれか一項に記載のセンサデータ処理システム。 Claims 1 to 5, wherein the contribution degree estimation unit calculates the degree of contribution to each point of the point group based on the contribution degree calculation algorithm derived by the contribution degree learning unit. The sensor data processing system according to any one of Claims 1 to 3. 上記低寄与点削除部は、上記寄与度推測部により推測された上記点群の点ごとの寄与度が、予め準備された削除ポリシに合致する場合に、当該点を削除するようにしたことを特徴とする請求項１から請求項６のいずれか一項に記載のセンサデータ処理システム。 The low-contribution point deletion unit deletes the point when the contribution of each point of the point group estimated by the contribution estimation unit matches a deletion policy prepared in advance. A sensor data processing system according to any one of claims 1 to 6.
JP2021043129A 2021-03-17 2021-03-17 Sensor data processing system Active JP7094411B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021043129A JP7094411B1 (en) 2021-03-17 2021-03-17 Sensor data processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021043129A JP7094411B1 (en) 2021-03-17 2021-03-17 Sensor data processing system

Publications (2)

Publication Number Publication Date
JP7094411B1 JP7094411B1 (en) 2022-07-01
JP2022142879A true JP2022142879A (en) 2022-10-03

Family

ID=82257932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021043129A Active JP7094411B1 (en) 2021-03-17 2021-03-17 Sensor data processing system

Country Status (1)

Country Link
JP (1) JP7094411B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136287A1 (en) 2022-01-12 2023-07-20 三井化学株式会社 Copolymer composition, foam molded body, crosslinked molded body, and production methods of these

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109644A1 (en) * 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking
JP2019074458A (en) * 2017-10-18 2019-05-16 株式会社東芝 Information processor, learned model, method for processing information, and program
JP2019091393A (en) * 2017-11-10 2019-06-13 アジア航測株式会社 Point group kind estimating apparatus using red three-dimensional map image, and point group kind estimating program using red three-dimensional map image
JP2019153188A (en) * 2018-03-05 2019-09-12 学校法人 芝浦工業大学 Object recognition device and object recognition method
JP2019191874A (en) * 2018-04-24 2019-10-31 ディヴァース インコーポレイテッド Data processing device and data processing method
JP2020537140A (en) * 2017-10-10 2020-12-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Methods and devices for generating inverse sensor models, and methods for detecting obstacles
CN112365582A (en) * 2020-11-17 2021-02-12 电子科技大学 Countermeasure point cloud generation method, storage medium and terminal

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109644A1 (en) * 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking
JP2020537140A (en) * 2017-10-10 2020-12-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Methods and devices for generating inverse sensor models, and methods for detecting obstacles
JP2019074458A (en) * 2017-10-18 2019-05-16 株式会社東芝 Information processor, learned model, method for processing information, and program
JP2019091393A (en) * 2017-11-10 2019-06-13 アジア航測株式会社 Point group kind estimating apparatus using red three-dimensional map image, and point group kind estimating program using red three-dimensional map image
JP2019153188A (en) * 2018-03-05 2019-09-12 学校法人 芝浦工業大学 Object recognition device and object recognition method
JP2019191874A (en) * 2018-04-24 2019-10-31 ディヴァース インコーポレイテッド Data processing device and data processing method
CN112365582A (en) * 2020-11-17 2021-02-12 电子科技大学 Countermeasure point cloud generation method, storage medium and terminal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SARODE, VINIT ET AL.: "Mask Net: A Fully-Convolutional Network to Estimate Inlier Points", 2020 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), JPN6022007763, 19 January 2021 (2021-01-19), US, pages 1029 - 1038, ISSN: 0004716988 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136287A1 (en) 2022-01-12 2023-07-20 三井化学株式会社 Copolymer composition, foam molded body, crosslinked molded body, and production methods of these

Also Published As

Publication number Publication date
JP7094411B1 (en) 2022-07-01

Similar Documents

Publication Publication Date Title
CN109782763B (en) Mobile robot path planning method in dynamic environment
US20200175401A1 (en) Machine learning models operating at different frequencies for autonomous vehicles
US20180211119A1 (en) Sign Recognition for Autonomous Vehicles
US20200057160A1 (en) Multi-object tracking based on lidar point cloud
US20210001839A1 (en) Method and Apparatus for Avoidance Control of Vehicle, Electronic Device and Storage Medium
US9881219B2 (en) Self-recognition of autonomous vehicles in mirrored or reflective surfaces
GB2557461A (en) Multi-sensor probabilistic object detection and automated braking
JP2019518932A (en) How to predict the motion of an object
US11126190B2 (en) Learning systems and methods
EP3739361A1 (en) Method and system for fusing occupancy maps
CN111127551A (en) Target detection method and device
CN113010959A (en) Method for determining continuous information about an expected trajectory of an object
US11541885B2 (en) Location prediction for dynamic objects
JP2022142879A (en) Sensor data processing system
CN110426714A (en) A kind of obstacle recognition method
CN111126213B (en) Lane line detection method and device based on historical cache data and storage medium
CN114954523A (en) Method for predicting cut-in probability of peripheral target of autonomous vehicle and storage medium
US20220024518A1 (en) Lane keeping assist system of vehicle and lane keeping method using the same
KR20220119824A (en) Apparatus and method for object tracking using deep learning model region of interest
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals
WO2021059747A1 (en) Information processing method, program, and information processing device
CN112784705A (en) Vehicle side edge determining method and device
KR20220020700A (en) Apparatus for controlling object tracking and method thereof
Fu et al. Behavior analysis of distant vehicles using LIDAR point cloud
JP7180574B2 (en) Steering control device and steering control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R151 Written notification of patent or utility model registration

Ref document number: 7094411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151