JP2021051542A

JP2021051542A - Learning data collection device

Info

Publication number: JP2021051542A
Application number: JP2019174028A
Authority: JP
Inventors: 賢司堀口; Kenji Horiguchi; 正雄山中; Masao Yamanaka; 俊明大串; Toshiaki Ogushi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2021-04-01
Anticipated expiration: 2039-09-25
Also published as: JP7383954B2

Abstract

To provide a learning data collecting device capable of efficiently collecting learning data of a learned model for improving detection accuracy of road obstacles in an image.SOLUTION: For a plurality of frames of images photographed by an on-vehicle camera, which are obtained by detecting a road obstacle in the images using pre-learned learned models and detecting a substance in the images, a learning data collection device outputs, of images between two images in which the road obstacle is detected, an image, in which the road obstacle is not detected and the substance is detected in an area where the road obstacle is presumed to exist, as learning data of the learned model.SELECTED DRAWING: Figure 8

Description

本発明は、学習用データ収集装置に関する。 The present invention relates to a learning data collection device.

特許文献１には、機械学習によって得られた学習済みモデルを用いて、車載カメラにより撮影された画像中の路上障害物を検出する路上障害物検出装置が開示されている。 Patent Document 1 discloses a road obstacle detection device that detects a road obstacle in an image taken by an in-vehicle camera using a trained model obtained by machine learning.

特開２０１８−１９４９１２号公報JP-A-2018-194912

特許文献１に記載されているような学習済みモデルを用いて画像中の路上障害物を検出する技術では、路上障害物の検出精度を向上させるために、学習済みモデルを更新するための学習用データを効率的に収集できることが好ましい。しかしながら、特許文献１では、学習済みモデルの学習用データを効率的に収集することは考慮されていない。 In the technique of detecting road obstacles in an image using a trained model as described in Patent Document 1, for learning to update the trained model in order to improve the detection accuracy of road obstacles. It is preferable that the data can be collected efficiently. However, Patent Document 1 does not consider efficiently collecting training data of a trained model.

本発明は、以上の事実を考慮して成されたもので、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することを目的とする。 The present invention has been made in consideration of the above facts, and an object of the present invention is to efficiently collect training data of a trained model for improving the detection accuracy of road obstacles in an image.

請求項１に記載の学習用データ収集装置は、予め学習された学習済みモデルを用いて画像中の路上障害物を検出する障害物検出部と、前記画像中の物体を検出する物体検出部と、車載カメラにより撮影された複数フレームの画像について、前記障害物検出部により路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ前記物体検出部により物体が検出された画像を、前記学習済みモデルの学習用データとして出力する出力部と、を備える。 The learning data collecting device according to claim 1 includes an obstacle detection unit that detects a road obstacle in an image using a trained model learned in advance, and an object detection unit that detects an object in the image. With respect to the images of a plurality of frames taken by the in-vehicle camera, among the images between the two images in which the road obstacle is detected by the obstacle detection unit, the above-mentioned in the area where the road obstacle is presumed to exist. It includes an output unit that outputs an image in which an obstacle on the road is not detected and an object is detected by the object detection unit as learning data of the trained model.

請求項１に記載の学習用データ収集装置によれば、予め学習された学習済みモデルを用いて画像中の路上障害物が検出され、画像中の物体が検出される。そして、車載カメラにより撮影された複数フレームの画像について、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像が、学習済みモデルの学習用データとして出力される。従って、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる。 According to the learning data collecting device according to claim 1, a road obstacle in an image is detected using a learned model learned in advance, and an object in the image is detected. Then, among the images of the plurality of frames taken by the in-vehicle camera, among the images between the two images in which the road obstacle is detected, the road obstacle is not detected in the area where the road obstacle is presumed to exist. , And the image in which the object is detected is output as training data of the trained model. Therefore, it is possible to efficiently collect training data of the trained model for improving the detection accuracy of road obstacles in the image.

本発明によれば、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる、という効果が得られる。 According to the present invention, it is possible to efficiently collect training data of a trained model for improving the detection accuracy of road obstacles in an image.

学習用データ収集システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the data collection system for learning. 制御装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of a control device. 学習済みモデルを説明するための図である。It is a figure for demonstrating a trained model. 画像中の物体の位置を推定するための近似式を説明するための図である。It is a figure for demonstrating the approximate expression for estimating the position of an object in an image. 近似式を算出するための測定データの一例を示す図である。It is a figure which shows an example of the measurement data for calculating the approximate expression. 制御装置の機能的な構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of a control device. 実施形態に係る学習用データの収集処理を説明するための図である。It is a figure for demonstrating the collection process of learning data which concerns on embodiment. 学習用データとして収集される画像の一例を示す図である。It is a figure which shows an example of the image collected as learning data. 画像保存処理の一例を示すフローチャートである。It is a flowchart which shows an example of an image preservation process. 学習用データ収集処理の一例を示すフローチャートである。It is a flowchart which shows an example of the learning data collection process. 変形例に係る学習用データの収集処理を説明するための図である。It is a figure for demonstrating the collection process of learning data which concerns on a modification.

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。 Hereinafter, examples of embodiments for carrying out the present invention will be described in detail with reference to the drawings.

まず、図１を参照して、本実施形態に係る学習用データ収集システム１０の構成を説明する。図１に示すように、学習用データ収集システム１０は、情報処理装置１６と、車両１２に搭載された制御装置１４とを含む。制御装置１４及び情報処理装置１６は、それぞれネットワークＮに接続され、ネットワークＮを介して情報の送受信が可能とされる。制御装置１４の例としては、ＥＣＵ（Electronic Control Unit）が挙げられ、情報処理装置１６の例としては、サーバコンピュータが挙げられる。 First, the configuration of the learning data collection system 10 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the learning data collection system 10 includes an information processing device 16 and a control device 14 mounted on the vehicle 12. The control device 14 and the information processing device 16 are each connected to the network N, and information can be transmitted and received via the network N. An example of the control device 14 is an ECU (Electronic Control Unit), and an example of the information processing device 16 is a server computer.

次に、図２を参照して、本実施形態に係る制御装置１４のハードウェア構成を説明する。図２に示すように、制御装置１４は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、制御装置１４は、無線通信によってネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２３、及び入出力Ｉ／Ｆ２４を含む。入出力Ｉ／Ｆ２４には、車速センサ２６及び車載カメラ２７が接続される。ＣＰＵ２０、メモリ２１、記憶部２２、ネットワークＩ／Ｆ２３、及び入出力Ｉ／Ｆ２４は、バス２５に接続される。制御装置１４が、開示の技術に係る学習用データ収集装置の一例である。 Next, the hardware configuration of the control device 14 according to the present embodiment will be described with reference to FIG. As shown in FIG. 2, the control device 14 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a non-volatile storage unit 22. Further, the control device 14 includes a network I / F (InterFace) 23 connected to the network N by wireless communication, and an input / output I / F 24. A vehicle speed sensor 26 and an in-vehicle camera 27 are connected to the input / output I / F 24. The CPU 20, the memory 21, the storage unit 22, the network I / F23, and the input / output I / F24 are connected to the bus 25. The control device 14 is an example of a learning data collection device according to the disclosed technology.

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、学習用データ収集プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から学習用データ収集プログラム３０を読み出してからメモリ２１に展開し、展開した学習用データ収集プログラム３０を実行する。また、記憶部２２には、学習済みモデル３２及び近似式データ３４が記憶される。 The storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The learning data collection program 30 is stored in the storage unit 22 as a storage medium. The CPU 20 reads the learning data collection program 30 from the storage unit 22, expands it into the memory 21, and executes the expanded learning data collection program 30. Further, the learned model 32 and the approximate expression data 34 are stored in the storage unit 22.

車速センサ２６は、車両１２の車速を検出し、検出した車速を制御装置１４に出力する。車載カメラ２７は、車両１２の車室内に搭載され、車両１２の前方を撮影して得られた画像を制御装置１４に出力する。 The vehicle speed sensor 26 detects the vehicle speed of the vehicle 12 and outputs the detected vehicle speed to the control device 14. The in-vehicle camera 27 is mounted in the vehicle interior of the vehicle 12, and outputs an image obtained by photographing the front of the vehicle 12 to the control device 14.

学習済みモデル３２は、情報処理装置１６による機械学習によって予め学習されたモデルであり、入力の画像中の路上障害物を検出するために使用される。制御装置１４は、情報処理装置１６から学習済みモデル３２を取得し、取得した学習済みモデル３２を記憶部２２に記憶する。一例として図３に示すように、本実施形態に係る学習済みモデル３２には、車載カメラ２７により撮影された画像が入力される。また、学習済みモデル３２は、入力された画像の画素毎に、Ｍ個の意味的ラベルのそれぞれに属する確率Ｐ_ｍ（ｍは、１からＭまでの整数）を出力する。 The trained model 32 is a model pre-learned by machine learning by the information processing device 16 and is used to detect road obstacles in the input image. The control device 14 acquires the learned model 32 from the information processing device 16, and stores the acquired learned model 32 in the storage unit 22. As an example, as shown in FIG. 3, an image taken by the in-vehicle camera 27 is input to the learned model 32 according to the present embodiment. _{Further, the trained model 32 outputs the probability P m} (m is an integer from 1 to M) belonging to each of the M semantic labels for each pixel of the input image.

ここでいう意味的ラベルとは、画像中の物体を表すラベルである。意味的ラベルの例としては、空、道路（例えば、舗装路及び白線等）、車両（例えば、乗用車、トラック、及び自動二輪車等）、自然（例えば、山、森林、及び街路樹等）、人工建築物（例えば、街灯、鉄柱、及びガードレール等）、及び路上障害物等が挙げられる。 The semantic label here is a label representing an object in an image. Examples of semantic labels are sky, roads (eg paved roads and white lines, etc.), vehicles (eg, passenger cars, trucks, and motorcycles, etc.), nature (eg, mountains, forests, and roadside trees, etc.), artificial. Examples include buildings (for example, street lights, iron pillars, guardrails, etc.), road obstacles, and the like.

近似式データ３４は、１フレーム前の画像中の物体の位置を推定するために用いられる近似式を表すデータである。近似式データ３４が表す近似式は、例えば、車両１２を用いた実験によって予め得られる。 The approximate expression data 34 is data representing an approximate expression used for estimating the position of an object in the image one frame before. The approximate expression represented by the approximate expression data 34 is obtained in advance by, for example, an experiment using the vehicle 12.

具体的には、まず、図４に示すように、路上に物体を設置し、一定の車速で車両１２を物体に近づく方向に走行させながら、車載カメラ２７により予め定められたフレームレートで撮影を行い、車載カメラ２７により撮影された画像中の物体の移動量を測定する。以下では、画像の左右方向をｘ軸方向とし、上下方向をｙ軸方向とする。また、以下では、画像中の物体の下端部の位置を画像中の物体の位置とし、物体の位置を画像の予め定められた基準位置（例えば、画像の左上端部の位置）を原点としたｙ座標で表す。なお、画像中の物体の位置は、物体の下端部の位置に限定されず、例えば、物体の重心の位置を用いてもよい。 Specifically, first, as shown in FIG. 4, an object is placed on the road, and while the vehicle 12 is driven in a direction approaching the object at a constant vehicle speed, an in-vehicle camera 27 takes a picture at a predetermined frame rate. Then, the amount of movement of the object in the image taken by the in-vehicle camera 27 is measured. In the following, the horizontal direction of the image is the x-axis direction, and the vertical direction is the y-axis direction. Further, in the following, the position of the lower end of the object in the image is defined as the position of the object in the image, and the position of the object is defined as the origin of the predetermined reference position of the image (for example, the position of the upper left edge of the image). Expressed in y coordinates. The position of the object in the image is not limited to the position of the lower end of the object, and for example, the position of the center of gravity of the object may be used.

このように測定されたｎ−１フレーム目の画像中の物体の位置、ｎフレーム目の画像中の物体の位置、及び測定時の車速の一例を図５に示す。図５の例では、５０ｋｍ／ｈ及び１００ｋｍ／ｈのそれぞれの車速で車両１２を走行させながら、６フレーム（すなわち、ｎ＝２〜６）の画像を１０ｆｐｓ（frames per second）で車載カメラ２７により撮影した際の各画像中の物体の位置を示している。 FIG. 5 shows an example of the position of the object in the image of the n-1th frame measured in this way, the position of the object in the image of the nth frame, and the vehicle speed at the time of measurement. In the example of FIG. 5, while the vehicle 12 is running at the respective vehicle speeds of 50 km / h and 100 km / h, an image of 6 frames (that is, n = 2 to 6) is captured by the in-vehicle camera 27 at 10 fps (frames per second). It shows the position of the object in each image when it was taken.

以上の測定結果から、最小二乗法等の近似手法によって、以下の（１）式で表される近似式が算出される。（１）式におけるａ_１及びａ_２は係数であり、ｂは定数である。また、（１）式におけるｘ_１はｎフレーム目の画像中の物体の位置を表す変数であり、ｘ_２は車速を表す変数であり、ｙはｎ−１フレーム目の画像中の物体の位置を表す変数である。
ｙ＝ａ_１×ｘ_１＋ａ_２×ｘ_２＋ｂ・・・（１） From the above measurement results, an approximate expression represented by the following equation (1) is calculated by an approximate method such as the least squares method. In equation (1), a ₁ and a ₂ are coefficients, and b is a constant. _{Further, x 1 in the} equation (1) is a variable representing the position of the object in the image of the nth frame, x ₂ is a variable representing the vehicle speed, and y is the position of the object in the image of the n-1th frame. It is a variable that represents.
y = a ₁ x x ₁ + a ₂ x x ₂ + b ... (1)

図５の測定結果から実際に算出された近似式を、以下の（２）式に示す。
ｙ＝0.555449×ｘ_１−0.0795×ｘ_２＋9.024482・・・（２） The approximate expression actually calculated from the measurement result of FIG. 5 is shown in the following equation (2).
y = 0.555449 × x ₁ −0.0795 × x ₂ +9.024482 ・・・ (2)

近似式データ３４は、以上のように算出された近似式を表すデータである。従って、近似式データ３４が表す近似式を用いて、ｎフレーム目の画像中の物体の位置及び車速から、ｎ−１フレーム目の画像中の物体の位置を推定することができる。なお、本実施形態では、車載カメラ２７のフレームレートを固定値とする例を説明するが、これに限定されない。例えば、車載カメラ２７のフレームレートの設定値をユーザが変更可能な場合は、設定可能なフレームレート毎に近似式を予め算出しておけばよい。 The approximate expression data 34 is data representing the approximate expression calculated as described above. Therefore, the position of the object in the image of the n-1st frame can be estimated from the position of the object in the image of the nth frame and the vehicle speed by using the approximate expression represented by the approximate expression data 34. In this embodiment, an example in which the frame rate of the in-vehicle camera 27 is set to a fixed value will be described, but the present invention is not limited to this. For example, when the user can change the frame rate setting value of the in-vehicle camera 27, an approximate expression may be calculated in advance for each settable frame rate.

次に、図６を参照して、本実施形態に係る制御装置１４の機能的な構成を説明する。図６に示すように、制御装置１４は、取得部４０、障害物検出部４２、物体検出部４４、判定部４６、及び出力部４８を含む。制御装置１４のＣＰＵ２０が記憶部２２に記憶された学習用データ収集プログラム３０を実行することにより、図６に示す取得部４０、障害物検出部４２、物体検出部４４、判定部４６、及び出力部４８として機能する。 Next, the functional configuration of the control device 14 according to the present embodiment will be described with reference to FIG. As shown in FIG. 6, the control device 14 includes an acquisition unit 40, an obstacle detection unit 42, an object detection unit 44, a determination unit 46, and an output unit 48. When the CPU 20 of the control device 14 executes the learning data collection program 30 stored in the storage unit 22, the acquisition unit 40, the obstacle detection unit 42, the object detection unit 44, the determination unit 46, and the output shown in FIG. It functions as a unit 48.

取得部４０は、車速センサ２６により検出された車速を取得する。また、取得部４０は、車載カメラ２７により撮影された画像を取得する。 The acquisition unit 40 acquires the vehicle speed detected by the vehicle speed sensor 26. In addition, the acquisition unit 40 acquires an image taken by the in-vehicle camera 27.

障害物検出部４２は、学習済みモデル３２を用いて、取得部４０により取得された画像中の路上障害物を検出する。具体的には、障害物検出部４２は、取得部４０により取得された画像を学習済みモデル３２に対して入力する。この入力に対応して、学習済みモデル３２からは、入力された画像の画素毎に、Ｍ個の意味的ラベルのそれぞれに属する確率Ｐ_ｍが出力される。 The obstacle detection unit 42 detects a road obstacle in the image acquired by the acquisition unit 40 by using the trained model 32. Specifically, the obstacle detection unit 42 inputs the image acquired by the acquisition unit 40 to the trained model 32. Corresponding to this input, the trained model 32 outputs the _{probability P m} belonging to each of the M semantic labels for each pixel of the input image.

また、障害物検出部４２は、取得部４０により取得された画像をＮ個の局所領域Ｓ_ｎ（ｎは、１からＮまでの整数）に分割する。この分割処理は、スーパーピクセル化処理とも呼ばれる。それぞれの局所領域は連続した領域であり、かつ内部の各点の特徴量が互いに類似する領域である。特徴量としては、色と輝度、エッジ強度、又はテクスチャ等を用いることができる。局所領域は、前景と背景との境界を跨がない領域とも表現できる。 Further, the obstacle detection unit 42 divides the image acquired by the acquisition unit 40 into N local regions _Sn (n is an integer from 1 to N). This division process is also called a super-pixelation process. Each local region is a continuous region, and the features of each internal point are similar to each other. As the feature amount, color and brightness, edge strength, texture, or the like can be used. The local area can also be expressed as an area that does not straddle the boundary between the foreground and the background.

障害物検出部４２は、画像を分割して得られた局所領域Ｓ_ｎと、学習済みモデル３２から出力された確率Ｐ_ｍとに基づいて、画像のｉ（ｉは、１からＮまでの整数）番目の局所領域Ｓ_ｉにおける路上障害物らしさＬ_ｉを算出する。そして、障害物検出部４２は、算出した路上障害物Ｌ_ｉらしさに基づいて、取得部４０により取得された画像中の路上障害物を検出する。以上の障害物検出部４２による学習済みモデル３２を用いた路上障害物の検出処理の詳細は、特開２０１８−１９４９１２号公報に開示されているため、これ以上の詳細な説明を省略する。 Obstacle detection unit 42, a local region S _n obtained by dividing an image, on the basis of the probability P _m outputted from the learned model 32, i (i images are integers from 1 to N ) th to the calculated road obstacle likelihood L _i in a local area S _i. The obstacle detection unit 42 based on the calculated road obstacle L _i likeness, detects a road obstacle in an image acquired by the acquisition unit 40. Since the details of the road obstacle detection process using the trained model 32 by the obstacle detection unit 42 are disclosed in Japanese Patent Application Laid-Open No. 2018-194912, further detailed description thereof will be omitted.

物体検出部４４は、取得部４０により取得された画像に対して公知の物体検出処理を行うことによって、取得部４０により取得された画像中の物体を検出する。この物体検出処理の例としては、ＦａｓｔｅｒＲ−ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、又はＳＳＤ（Single Shot Multibox Detector）等が挙げられる。すなわち、物体検出部４４は、路上障害物であるか否かを考慮せずに、取得部４０により取得された画像中の物体を検出する。これに対し、前述した障害物検出部４２は、取得部４０により取得された画像中の物体のうち、路上障害物を検出する。 The object detection unit 44 detects an object in the image acquired by the acquisition unit 40 by performing a known object detection process on the image acquired by the acquisition unit 40. Examples of this object detection process include Faster R-CNN (Regions with Convolutional Neural Networks), YOLO (You Only Look Once), SSD (Single Shot Multibox Detector), and the like. That is, the object detection unit 44 detects the object in the image acquired by the acquisition unit 40 without considering whether or not it is an obstacle on the road. On the other hand, the obstacle detection unit 42 described above detects an obstacle on the road among the objects in the image acquired by the acquisition unit 40.

判定部４６は、取得部４０により取得された連続する複数フレームの画像について、障害物検出部４２により路上障害物が検出された２つの画像の間の画像において、以下の判定を行う。判定部４６は、上記２つの画像の間の画像において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。 The determination unit 46 makes the following determinations on the images of a plurality of consecutive frames acquired by the acquisition unit 40 in the image between the two images in which the obstacle detection unit 42 has detected an obstacle on the road. In the image between the two images, the determination unit 46 has an image in which the road obstacle is not detected in the area where the road obstacle is presumed to exist, and the object is detected by the object detection unit 44. Judge whether or not.

図７を参照して、判定部４６による判定処理の詳細を説明する。図７に示すように、ここでは、説明の分かりやすさのために、連続する３フレームの画像を例に挙げ、各フレームの画像を区別するために、各フレームの画像に１〜３の番号を付して説明する。 The details of the determination process by the determination unit 46 will be described with reference to FIG. 7. As shown in FIG. 7, here, for the sake of clarity of explanation, a continuous three-frame image is taken as an example, and in order to distinguish the images of each frame, the images of each frame are numbered 1 to 3. Will be explained with.

また、図７における「ｙ座標」は、フレーム番号が１〜３の画像について、障害物検出部４２による路上障害物の検出結果、及び物体検出部４４による物体の検出結果を示している。具体的には、図７の「路上障害物」の「ｙ座標」の数値は、障害物検出部４２により検出された路上障害物の下端部のｙ座標を示す。また、図７の「物体」の「ｙ座標」の数値は、物体検出部４４により検出された物体の下端部のｙ座標を示す。また、図７の「ｙ座標」が「−」の箇所は、そのフレーム番号の画像について、路上障害物又は物体が検出されなかったことを表す。すなわち、図７の例では、フレーム番号が１、３の画像については、障害物検出部４２により路上障害物が検出され、かつ物体検出部４４により物体が検出されたことを表している。また、図７の例では、フレーム番号が２の画像については、障害物検出部４２により路上障害物が検出されず、かつ物体検出部４４により物体が検出されたことを表している。 Further, the "y coordinate" in FIG. 7 indicates the detection result of the road obstacle by the obstacle detection unit 42 and the detection result of the object by the object detection unit 44 for the images having the frame numbers 1 to 3. Specifically, the numerical value of the "y coordinate" of the "road obstacle" in FIG. 7 indicates the y coordinate of the lower end portion of the road obstacle detected by the obstacle detection unit 42. Further, the numerical value of the "y coordinate" of the "object" in FIG. 7 indicates the y coordinate of the lower end portion of the object detected by the object detection unit 44. Further, the portion where the “y coordinate” in FIG. 7 is “−” indicates that no road obstacle or object was detected in the image of the frame number. That is, in the example of FIG. 7, for the images having frame numbers 1 and 3, it means that the obstacle detection unit 42 detected the road obstacle and the object detection unit 44 detected the object. Further, in the example of FIG. 7, for the image having the frame number 2, it shows that the obstacle detection unit 42 did not detect the obstacle on the road and the object detection unit 44 detected the object.

判定部４６は、路上障害物が検出された画像について、路上障害物のｙ座標と、その画像の撮影時に取得部４０により取得された車速と、を用いて、近似式データ３４が表す上記（１）式に従って、１フレーム前の画像中の路上障害物のｙ座標の推定値を算出する。同様に、判定部４６は、物体が検出された画像について、物体のｙ座標と、その画像の撮影時に取得部４０により取得された車速と、を用いて、上記（１）式に従って、１フレーム前の画像中の物体のｙ座標の推定値を算出する。図７の例における「１フレーム前のｙ座標」は、このように算出されたｙ座標の推定値を表している。 The determination unit 46 uses the y-coordinate of the road obstacle and the vehicle speed acquired by the acquisition unit 40 at the time of taking the image of the image in which the road obstacle is detected, and is represented by the approximate expression data 34 ( According to the equation 1), the estimated value of the y-coordinate of the road obstacle in the image one frame before is calculated. Similarly, the determination unit 46 uses the y-coordinate of the object and the vehicle speed acquired by the acquisition unit 40 at the time of shooting the image for the image in which the object is detected, according to the above equation (1), for one frame. Calculate the estimated y-coordinate of the object in the previous image. The "y-coordinate one frame before" in the example of FIG. 7 represents the estimated value of the y-coordinate calculated in this way.

また、判定部４６は、路上障害物が検出された画像について、「１フレーム前のｙ座標」と、１フレーム前の画像の「ｙ座標」との差の絶対値が、予め定められた閾値ＴＨ１（例えば、「１」）以下である場合に、その画像と１フレーム前の画像との対応が有ると判定する。同様に、判定部４６は、物体が検出された画像について、「１フレーム前のｙ座標」と、１フレーム前の画像の「ｙ座標」との差の絶対値が、閾値ＴＨ１以下である場合に、その画像と１フレーム前の画像との対応が有ると判定する。図７の例における「対応有無」は、このように判定された対応の有無を表している。すなわち、図７の例では、路上障害物については各フレームの画像間で対応が無く、物体についてはフレーム番号が１と２の画像間、及びフレーム番号が２と３の画像間で対応が有ることを表している。図７の例では、判定部４６は、３個の連続するフレームの画像から検出された物体は、同じ物体であると判定する。なお、物体検出部４４が、検出した物体の物体名も検出可能な場合、判定部４６は、物体の「ｙ座標」が対応していることに加えて、更に検出された物体名が同じである場合に、同じ物体であると判定してもよい。 Further, the determination unit 46 sets a predetermined threshold value for the absolute value of the difference between the "y-coordinate of one frame before" and the "y-coordinate" of the image one frame before for the image in which the road obstacle is detected. When it is TH1 (for example, "1") or less, it is determined that there is a correspondence between the image and the image one frame before. Similarly, the determination unit 46 determines that the absolute value of the difference between the "y-coordinate of one frame before" and the "y-coordinate" of the image one frame before is equal to or less than the threshold value TH1 for the image in which the object is detected. It is determined that there is a correspondence between the image and the image one frame before. The “presence / absence of correspondence” in the example of FIG. 7 indicates the presence / absence of correspondence determined in this way. That is, in the example of FIG. 7, there is no correspondence between the images of each frame for road obstacles, and there is a correspondence between the images of frame numbers 1 and 2 and the images of frame numbers 2 and 3 for objects. It represents that. In the example of FIG. 7, the determination unit 46 determines that the objects detected from the images of the three consecutive frames are the same object. When the object detection unit 44 can also detect the object name of the detected object, the determination unit 46 has the same detected object name in addition to the corresponding "y-coordinate" of the object. In some cases, it may be determined that they are the same object.

また、判定部４６は、各フレームの画像について、路上障害物のｙ座標と物体のｙ座標との差の絶対値が、予め定められた閾値ＴＨ２（例えば、「２」）以下の場合、路上障害物と物体とが対応していると判定する。すなわち、図７の例では、判定部４６は、フレーム番号が１の画像及び３の画像のそれぞれについて、検出された路上障害物と物体とが対応していると判定する。そして、判定部４６は、フレーム番号が２の画像については、検出された物体に対応するエリア、すなわち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されていないと判定する。 Further, the determination unit 46 determines that the absolute value of the difference between the y-coordinate of the road obstacle and the y-coordinate of the object is equal to or less than a predetermined threshold value TH2 (for example, “2”) for the image of each frame on the road. It is determined that the obstacle and the object correspond to each other. That is, in the example of FIG. 7, the determination unit 46 determines that the detected road obstacle and the object correspond to each of the image having the frame number 1 and the image having the frame number 3. Then, the determination unit 46 determines that the road obstacle is not detected in the area corresponding to the detected object, that is, the area where the road obstacle is presumed to exist for the image having the frame number 2. ..

以上の処理により、判定部４６は、連続する複数フレームの画像について、路上障害物が検出された２つの画像（図７の例では、フレーム番号が１の画像と３の画像）の間の画像（図７の例では、フレーム番号が２の画像）において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。なお、判定部４６は、連続する複数フレームの画像として４つ以上の画像を用いてもよい。また、車両１２の車速が遅いほど、同じ物体が写る画像数は多くなると考えられる。そこで、判定部４６は、車両１２の車速が遅いほど、連続する複数フレームの画像として多い枚数の画像を用いてもよい。 Through the above processing, the determination unit 46 determines that the images of a plurality of consecutive frames are between two images in which road obstacles are detected (in the example of FIG. 7, an image having a frame number of 1 and an image having a frame number of 3). (In the example of FIG. 7, the image having the frame number 2), there is an image in which the road obstacle is not detected in the area where the road obstacle is presumed to exist and the object is detected by the object detection unit 44. Determine whether or not to do so. The determination unit 46 may use four or more images as continuous images of a plurality of frames. Further, it is considered that the slower the vehicle speed of the vehicle 12, the larger the number of images in which the same object is captured. Therefore, the determination unit 46 may use a larger number of images as continuous images of a plurality of frames as the vehicle speed of the vehicle 12 is slower.

出力部４８は、判定部４６により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして出力する。本実施形態では、出力部４８は、判定部４６により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして、ネットワークＮを介して情報処理装置１６に出力（すなわち、送信）する。 The output unit 48 outputs an image determined by the determination unit 46 to exist between the two images as training data of the trained model 32. In the present embodiment, the output unit 48 outputs an image determined by the determination unit 46 to exist between the two images as training data of the trained model 32 to the information processing device 16 via the network N. (That is, send).

判定部４６により、上記２つの画像の間に存在すると判定された画像は、検出された物体が、路上障害物である可能性が比較的高いにもかかわらず、障害物検出部４２により路上障害物として検出されなかった画像である。この画像は、具体的な一例として図８に示すフレームｎの画像である。図８の例では、フレームｎ−１、ｎ＋１の画像では、車線変更を指示する物体（矩形の破線で囲まれた物体）が路上障害物及び物体として検出されている。これに対し、フレームｎの画像では、車線変更を指示する物体が物体としては検出されているが、路上障害物としては検出されていない。従って、このような画像を用いて学習済みモデル３２を更に学習させて更新することによって、学習済みモデル３２を用いた画像中の路上障害物の検出精度が向上する。 The image determined by the determination unit 46 to exist between the above two images has a relatively high possibility that the detected object is a road obstacle, but the obstacle detection unit 42 indicates a road obstacle. It is an image that was not detected as an object. This image is an image of frame n shown in FIG. 8 as a specific example. In the example of FIG. 8, in the images of frames n-1 and n + 1, an object instructing a lane change (an object surrounded by a rectangular broken line) is detected as a road obstacle and an object. On the other hand, in the image of the frame n, the object instructing the lane change is detected as an object, but is not detected as an obstacle on the road. Therefore, by further learning and updating the trained model 32 using such an image, the detection accuracy of road obstacles in the image using the trained model 32 is improved.

次に、図９及び図１０を参照して、本実施形態に係る制御装置１４の作用について説明する。なお、図９は、制御装置１４のＣＰＵ２０により実行される画像保存処理の流れの一例を示すフローチャートである。また、図１０は、制御装置１４のＣＰＵ２０により実行される学習用データ収集処理の流れの一例を示すフローチャートである。図９に示す画像保存処理及び図１０に示す学習用データ収集処理は、記憶部２２に記憶された学習用データ収集プログラム３０をＣＰＵ２０が実行することにより実行される。図９に示す画像保存処理は、例えば、車載カメラ２７のフレームレートに応じた撮影の時間間隔毎に実行される。また、図１０に示す学習用データ収集処理は、１時間に１回等の定期的なタイミングに実行される。なお、図１０に示す学習用データ収集処理は、図９に示す画像保存処理により所定数（例えば、１００枚）の画像が記憶部２２に記憶される毎に実行されてもよいし、車載カメラ２７により画像が撮影される毎に実行されてもよい。 Next, the operation of the control device 14 according to the present embodiment will be described with reference to FIGS. 9 and 10. Note that FIG. 9 is a flowchart showing an example of the flow of the image storage process executed by the CPU 20 of the control device 14. Further, FIG. 10 is a flowchart showing an example of a flow of learning data collection processing executed by the CPU 20 of the control device 14. The image storage process shown in FIG. 9 and the learning data collection process shown in FIG. 10 are executed by the CPU 20 executing the learning data collection program 30 stored in the storage unit 22. The image storage process shown in FIG. 9 is executed, for example, at each shooting time interval according to the frame rate of the in-vehicle camera 27. Further, the learning data collection process shown in FIG. 10 is executed at a regular timing such as once an hour. The learning data collection process shown in FIG. 10 may be executed every time a predetermined number (for example, 100 images) of images are stored in the storage unit 22 by the image storage process shown in FIG. It may be executed every time an image is taken by 27.

図９のステップＳ１０で、取得部４０は、車載カメラ２７により撮影された画像を取得する。ステップＳ１２で、取得部４０は、車速センサ２６により検出された車速を取得する。ステップＳ１４で、取得部４０は、ステップＳ１０で取得した画像と、ステップＳ１２で取得した車速とを対応付けて記憶部２２に記憶する。ステップＳ１４の処理が終了すると、画像保存処理が終了する。 In step S10 of FIG. 9, the acquisition unit 40 acquires an image taken by the in-vehicle camera 27. In step S12, the acquisition unit 40 acquires the vehicle speed detected by the vehicle speed sensor 26. In step S14, the acquisition unit 40 stores the image acquired in step S10 and the vehicle speed acquired in step S12 in association with each other in the storage unit 22. When the process of step S14 is completed, the image saving process is completed.

図１０のステップＳ２０で、障害物検出部４２は、前述したように、学習済みモデル３２を用いて、上記の画像保存処理により記憶部２２に記憶された全ての画像中の路上障害物を検出する。ステップＳ２２で、物体検出部４４は、前述したように、上記の画像保存処理により記憶部２２に記憶された全ての画像に対して公知の物体検出処理を行うことによって、記憶部２２に記憶された全ての画像中の物体を検出する。 In step S20 of FIG. 10, the obstacle detection unit 42 detects road obstacles in all the images stored in the storage unit 22 by the above image storage process using the trained model 32 as described above. To do. In step S22, as described above, the object detection unit 44 is stored in the storage unit 22 by performing a known object detection process on all the images stored in the storage unit 22 by the above image storage process. Detects objects in all images.

ステップＳ２４で、判定部４６は、前述したように、上記の画像保存処理により記憶部２２に記憶された全ての画像における連続する複数フレームの画像について、障害物検出部４２により路上障害物が検出された２つの画像の間の画像において、以下の判定を行う。判定部４６は、上記２つの画像の間の画像において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。判定部４６は、上記の画像保存処理により記憶部２２に記憶された全ての画像における連続する複数フレーム（例えば、３フレーム）の全組合せについて上記の判定を行う。この判定が否定判定となった場合は、学習用データ収集処理が終了し、肯定判定となった場合は、処理はステップＳ２６に移行する。 In step S24, as described above, the determination unit 46 detects road obstacles by the obstacle detection unit 42 with respect to the images of a plurality of consecutive frames in all the images stored in the storage unit 22 by the image storage process. The following determination is made in the image between the two images. In the image between the two images, the determination unit 46 has an image in which the road obstacle is not detected in the area where the road obstacle is presumed to exist, and the object is detected by the object detection unit 44. Judge whether or not. The determination unit 46 makes the above determination for all combinations of a plurality of consecutive frames (for example, 3 frames) in all the images stored in the storage unit 22 by the image storage process. If this determination is a negative determination, the learning data collection process is completed, and if the determination is affirmative, the process proceeds to step S26.

ステップＳ２６で、出力部４８は、前述したように、ステップＳ２４の処理により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして情報処理装置１６に出力する。ステップＳ２６の処理が終了すると、学習用データ収集処理が終了する。 In step S26, as described above, the output unit 48 outputs the image determined to exist between the two images by the process of step S24 to the information processing device 16 as learning data of the trained model 32. .. When the process of step S26 is completed, the learning data collection process is completed.

ステップＳ２６の処理により制御装置１４から学習用データとして送信された画像は、情報処理装置１６により受信される。ユーザは、情報処理装置１６が受信した画像における障害物検出部４２により検出されなかった路上障害物に、路上障害物という意味的ラベルを付与する。情報処理装置１６は、自装置の記憶部に記憶された学習済みモデル３２を、ユーザにより意味的ラベルが付与された画像を用いて学習させることによって更新する。情報処理装置１６は、更新した学習済みモデル３２を制御装置１４に送信する。制御装置１４は、情報処理装置１６から送信された新たな学習済みモデル３２によって記憶部２２の学習済みモデル３２を更新する。これにより、学習済みモデル３２を用いた路上障害物の検出精度が向上する。 The image transmitted as learning data from the control device 14 by the process of step S26 is received by the information processing device 16. The user assigns a semantic label of a road obstacle to a road obstacle that is not detected by the obstacle detection unit 42 in the image received by the information processing device 16. The information processing device 16 updates the trained model 32 stored in the storage unit of its own device by training the trained model 32 using an image to which a semantic label is given by the user. The information processing device 16 transmits the updated learned model 32 to the control device 14. The control device 14 updates the trained model 32 of the storage unit 22 with the new trained model 32 transmitted from the information processing device 16. As a result, the accuracy of detecting road obstacles using the trained model 32 is improved.

以上説明したように、本実施形態によれば、複数フレームの画像について、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像を、学習済みモデル３２の学習用データとして出力する。従って、画像中の路上障害物の検出精度を向上させるための学習済みモデル３２の学習用データを効率的に収集することができる。 As described above, according to the present embodiment, with respect to the image of a plurality of frames, the road obstacle is located in the area where the road obstacle is presumed to exist among the images between the two images in which the road obstacle is detected. The image in which the object is not detected and the object is detected is output as the training data of the trained model 32. Therefore, it is possible to efficiently collect the training data of the trained model 32 for improving the detection accuracy of the road obstacle in the image.

なお、上記実施形態では、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像を、学習済みモデル３２の学習用データとして出力する場合について説明したが、これに限定されない。例えば、図１１に示すように、物体が検出された２つの画像の間の画像のうち、物体が存在すると推定されるエリア内に物体が検出されず、かつ路上障害物が検出された画像を、物体検出部４４が物体の検出に用いる学習済みモデルの学習用データとして出力する形態としてもよい。この場合、図１１におけるフレーム番号が２の画像が学習用データとして収集される。なお、図１１における各項目は図７と同様である。 In the above embodiment, of the images between the two images in which the road obstacle is detected, the road obstacle is not detected and the object is detected in the area where the road obstacle is presumed to exist. The case where the image is output as the training data of the trained model 32 has been described, but the present invention is not limited to this. For example, as shown in FIG. 11, of the images between the two images in which the object is detected, the image in which the object is not detected in the area where the object is presumed to exist and the road obstacle is detected is detected. , The object detection unit 44 may output as training data of the trained model used for detecting the object. In this case, the image having the frame number 2 in FIG. 11 is collected as learning data. Each item in FIG. 11 is the same as in FIG. 7.

また、上記実施形態において、制御装置１４が障害物検出部４２及び物体検出部４４の何れかを備えてもよい。この場合、制御装置１４が備える何れかの機能部による検出結果が安定しない場合に、物体又は路上障害物が検出されなかった画像を学習用データとして出力する形態が例示される。また、物体検出部４４が、更に物体名を検出してもよい。この場合、物体検出部４４が、連続する複数フレームの画像のそれぞれについて検出した物体が対応する物体ではあるが、物体名が異なる場合に、各フレームの画像を物体検出部４４が物体の検出に用いる学習済みモデルの学習用データとして出力する形態が例示される。 Further, in the above embodiment, the control device 14 may include either the obstacle detection unit 42 or the object detection unit 44. In this case, when the detection result by any of the functional units included in the control device 14 is not stable, an image in which no object or road obstacle is detected is output as learning data. Further, the object detection unit 44 may further detect the object name. In this case, the object detected by the object detection unit 44 for each of the images of a plurality of consecutive frames is the corresponding object, but when the object names are different, the object detection unit 44 uses the image of each frame to detect the object. An example is a form of outputting as training data of the trained model to be used.

また、上記実施形態では、１フレーム前の画像における物体の位置の推定に、ｙ軸方向の物体の移動量を用いた場合について説明したが、これに限定されない。例えば、１フレーム前の画像における物体の位置の推定に、ｘ軸方向の物体の移動量を加えてもよい。この場合のｙ軸方向及びｘ軸方向の物体の移動量は、例えば、ヨーレート及び車速から算出することができる。 Further, in the above embodiment, the case where the movement amount of the object in the y-axis direction is used for estimating the position of the object in the image one frame before has been described, but the present invention is not limited to this. For example, the amount of movement of the object in the x-axis direction may be added to the estimation of the position of the object in the image one frame before. In this case, the amount of movement of the object in the y-axis direction and the x-axis direction can be calculated from, for example, the yaw rate and the vehicle speed.

また、上記実施形態におけるＣＰＵ２０により行われる処理は、プログラムを実行することにより行われるソフトウェア処理として説明したが、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで行われる処理としてもよい。また、ＣＰＵ２０により行われる処理は、ソフトウェア及びハードウェアの双方を組み合わせて行われる処理としてもよい。また、記憶部２２に記憶される学習用データ収集プログラム３０は、各種記憶媒体に記憶して流通させてもよい。 Further, the processing performed by the CPU 20 in the above embodiment has been described as software processing performed by executing a program, but GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), and FPGA (Field-Programmable Gate Array). ) Etc. may be used as the processing performed by the hardware. Further, the process performed by the CPU 20 may be a process performed by combining both software and hardware. Further, the learning data collection program 30 stored in the storage unit 22 may be stored in various storage media and distributed.

また、本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。 Further, the present invention is not limited to the above-mentioned embodiment, and it is needless to say that the present invention can be variously modified and implemented within a range not deviating from the gist thereof other than the above-mentioned embodiment.

１０学習用データ収集システム
１２車両
１４制御装置（学習用データ収集装置）
１６情報処理装置
２０ＣＰＵ（障害物検出部、物体検出部、出力部）
３０学習用データ収集プログラム
３２学習済みモデル
４０取得部
４２障害物検出部
４４物体検出部
４６判定部
４８出力部 10 Learning data collection system 12 Vehicle 14 Control device (learning data collection device)
16 Information processing device 20 CPU (obstacle detection unit, object detection unit, output unit)
30 Learning data collection program 32 Learned model 40 Acquisition unit 42 Obstacle detection unit 44 Object detection unit 46 Judgment unit 48 Output unit

Claims

An obstacle detection unit that detects road obstacles in an image using a pre-learned model, and an obstacle detection unit.
An object detection unit that detects an object in the image,
With respect to a plurality of frames of images taken by an in-vehicle camera, among the images between two images in which a road obstacle is detected by the obstacle detection unit, the road obstacle is presumed to exist in the road. An output unit that outputs an image in which an obstacle is not detected and an object is detected by the object detection unit as training data of the trained model, and an output unit.
Data collection device for learning equipped with.