JP2021056939A

JP2021056939A - Information processing device

Info

Publication number: JP2021056939A
Application number: JP2019181596A
Authority: JP
Inventors: 義博大栄; Yoshihiro Daiei
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2021-04-08

Abstract

To efficiently improve accuracy of image recognition with respect to an image to be captured by a camera of a vehicle.SOLUTION: An information processing device to be mounted on a vehicle includes: a recognition section for performing image recognition by using an image recognition model concerning an image to be captured by a camera mounted on the vehicle; a request section for outputting labelling request with respect to an object which has not been successfully image-recognized; a reception section for receiving an input of a label with respect to the object; and a re-learning section for re-learning an image recognition model of the image recognition based on an input label.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置に関する。 The present invention relates to an information processing device.

自動運転技術又は運転支援技術においては、カメラによって撮像された画像について、ニューラルネットワーク等の画像認識モデルを用いて画像認識が行われる。画像認識により、画像内に含まれている各物体が何であるかが認識され、各物体に対してラベルが付与される。 In the automatic driving technology or the driving support technology, the image captured by the camera is image-recognized using an image recognition model such as a neural network. Image recognition recognizes what each object contained in the image is and assigns a label to each object.

特開２０１８−１４２９２１号公報JP-A-2018-142921

しかしながら、画像認識モデルを用いた認識結果であっても、常に正しいとは限らない。また、路上には、落下物等、路上に存在することが想定されていない物体が存在する可能性も有り、このような物体について学習対象とされていなければ、画像認識を正しく行えない可能性が有る。 However, even the recognition result using the image recognition model is not always correct. In addition, there is a possibility that there are objects on the road that are not supposed to exist on the road, such as falling objects, and if such objects are not targeted for learning, image recognition may not be performed correctly. There is.

本発明は、上記の点に鑑みてなされたものであって、車両のカメラで撮像される画像に対する画像認識の精度を効率的に向上させること目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to efficiently improve the accuracy of image recognition for an image captured by a vehicle camera.

本発明の実施の形態の情報処理装置は、
車両に搭載される情報処理装置であって、
前記車両に搭載されたカメラによって撮像される画像について画像認識モデルを用いて画像認識を実行する認識部と、
前記画像認識に失敗した物体に対するラベル付けの要求を出力する要求部と、
前記物体に対するラベルの入力を受け付ける受付部と、
入力されたラベルに基づいて、前記画像認識の画像認識モデルを再学習する再学習部と、
を有する。 The information processing device according to the embodiment of the present invention
An information processing device installed in a vehicle
A recognition unit that executes image recognition using an image recognition model for an image captured by a camera mounted on the vehicle, and a recognition unit.
A request unit that outputs a request for labeling an object that has failed in image recognition, and a request unit.
A reception unit that accepts label input for the object,
A re-learning unit that relearns the image recognition model of the image recognition based on the input label, and
Have.

このため、画像認識に失敗した物体について、当該物体の実物を見た可能性の高い者によってラベル付けが行われ、当該ラベルに基づいて画像認識モデルについて再学習が行われる。 Therefore, the object for which image recognition has failed is labeled by a person who has a high possibility of seeing the actual object, and the image recognition model is relearned based on the label.

したがって、車両のカメラで撮像される画像に対する画像認識の精度を効率的に向上させることができる。 Therefore, the accuracy of image recognition for the image captured by the vehicle camera can be efficiently improved.

車両のカメラで撮像される画像に対する画像認識の精度を効率的に向上させることができる。 It is possible to efficiently improve the accuracy of image recognition for an image captured by a vehicle camera.

本発明の実施の形態における車両３０の構成例を示す図である。It is a figure which shows the structural example of the vehicle 30 in embodiment of this invention. 本発明の実施の形態における車載器１０のハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of the vehicle-mounted device 10 in embodiment of this invention. 本発明の実施の形態における車載器１０の機能構成例を示す図である。It is a figure which shows the functional structure example of the vehicle-mounted device 10 in embodiment of this invention. 車載器１０が実行する処理手順の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the processing procedure executed by the vehicle-mounted device 10.

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における車両３０の構成例を示す図である。図１において、車両３０は、例えば、エンジン又はモータ等で駆動する自動車である。車両３０には、車載器１０及びカメラ２０が搭載される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration example of a vehicle 30 according to an embodiment of the present invention. In FIG. 1, the vehicle 30 is, for example, an automobile driven by an engine, a motor, or the like. The vehicle 30 is equipped with the vehicle-mounted device 10 and the camera 20.

カメラ２０は、車両３０の前方を撮像可能なように車両３０に設置され、車両３０の前方の画像を撮像するデジタルカメラである。 The camera 20 is a digital camera installed in the vehicle 30 so as to be able to take an image of the front of the vehicle 30 and capture an image of the front of the vehicle 30.

車載器１０は、情報処理機能及び通信機能を有する装置である。例えば、車載器１０は、ナビゲーションシステムを含んでもよい。車載器１０は、カメラ２０に接続され、カメラ２０によって撮像される画像を入力し、当該画像について画像認識を行う。画像認識の結果は、自動運転技術又は運転支援技術等に利用されてもよい。なお、カメラ２０は、例えば、ドライブレコーダや運転支援の目的で設置されているカメラ２０であってもよい。 The vehicle-mounted device 10 is a device having an information processing function and a communication function. For example, the vehicle-mounted device 10 may include a navigation system. The vehicle-mounted device 10 is connected to the camera 20, inputs an image captured by the camera 20, and performs image recognition on the image. The result of image recognition may be used for automatic driving technology, driving assistance technology, or the like. The camera 20 may be, for example, a drive recorder or a camera 20 installed for the purpose of driving support.

図２は、本発明の実施の形態における車載器１０のハードウェア構成例を示す図である。図２の車載器１０は、ドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、通信装置１０５、表示装置１０６及び入力装置１０７等を有する。 FIG. 2 is a diagram showing a hardware configuration example of the vehicle-mounted device 10 according to the embodiment of the present invention. The vehicle-mounted device 10 of FIG. 2 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, a communication device 105, a display device 106, an input device 107, and the like.

車載器１０での処理を実現するプログラムは、ＳＤメモリカード等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。 The program that realizes the processing in the vehicle-mounted device 10 is provided by the recording medium 101 such as an SD memory card. When the recording medium 101 storing the program is set in the drive device 100, the program is installed in the auxiliary storage device 102 from the recording medium 101 via the drive device 100. However, the program does not necessarily have to be installed from the recording medium 101, and may be downloaded from another computer via the network. The auxiliary storage device 102 stores the installed program and also stores necessary files, data, and the like.

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って車載器１０に係る機能を実現する。通信装置１０５は、無線通信によってネットワークに接続するための装置である。通信装置１０５は、例えば、ＤＣＭ（Data Communication Module）を用いて実現されてもよい。表示装置１０６は、例えば、液晶ディスプレイ等であり、プログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、ユーザから様々な操作指示を入力させるために用いられる。例えば、入力装置１０７は、タッチパネルでもよい。 The memory device 103 reads and stores the program from the auxiliary storage device 102 when the program is instructed to start. The CPU 104 realizes the function related to the vehicle-mounted device 10 according to the program stored in the memory device 103. The communication device 105 is a device for connecting to a network by wireless communication. The communication device 105 may be realized by using, for example, a DCM (Data Communication Module). The display device 106 is, for example, a liquid crystal display or the like, and displays a GUI (Graphical User Interface) or the like by a program. The input device 107 is used to input various operation instructions from the user. For example, the input device 107 may be a touch panel.

図３は、本発明の実施の形態における車載器１０の機能構成例を示す図である。図３において、車載器１０は、画像入力部１１、画像認識部１２、ラベル付与要求部１３、ラベル受付部１４及び再学習部１５等を有する。これら各部は、車載器１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。車載器１０は、また、パラメータ記憶部１６を利用する。パラメータ記憶部１６は、例えば、補助記憶装置１０２等を用いて実現可能である。 FIG. 3 is a diagram showing a functional configuration example of the vehicle-mounted device 10 according to the embodiment of the present invention. In FIG. 3, the vehicle-mounted device 10 includes an image input unit 11, an image recognition unit 12, a label assignment request unit 13, a label reception unit 14, a relearning unit 15, and the like. Each of these parts is realized by a process of causing the CPU 104 to execute one or more programs installed in the vehicle-mounted device 10. The vehicle-mounted device 10 also utilizes the parameter storage unit 16. The parameter storage unit 16 can be realized by using, for example, an auxiliary storage device 102 or the like.

以下、車載器１０が実行する処理手順について説明する。図４は、車載器１０が実行する処理手順の一例を説明するためのフローチャートである。図４の処理手順は、車両３０のイグニションがＯＮにされてから逐次的に実行されてもよいし、例えば、運転支援機能又は自動運転機能がＯＮにされた状態において逐次的に実行されてもよい。 Hereinafter, the processing procedure executed by the vehicle-mounted device 10 will be described. FIG. 4 is a flowchart for explaining an example of the processing procedure executed by the vehicle-mounted device 10. The processing procedure of FIG. 4 may be sequentially executed after the ignition of the vehicle 30 is turned on, or may be sequentially executed, for example, in a state where the driving support function or the automatic driving function is turned on. Good.

ステップＳ１０１において、画像入力部１１は、カメラ２０によって撮像された画像データ（以下、「対象画像データ」という。）を入力する。続いて、画像認識部１２は、画像認識モデルを用いて対象画像データに対して画像認識を実行し、当該画像データが示す画像内の各物体を認識する（Ｓ１０２）。すなわち、各物体に対して当該物体を識別するためのラベルが付与される。なお、画像認識モデルとは、例えば、画像認識タスクについての学習済みのモデル（ニューラルネットワーク及びその学習パラメータ）である。画像認識モデルに対する学習パラメータは、パラメータ記憶部１６に記憶されている。 In step S101, the image input unit 11 inputs image data (hereinafter, referred to as “target image data”) captured by the camera 20. Subsequently, the image recognition unit 12 executes image recognition on the target image data using the image recognition model, and recognizes each object in the image indicated by the image data (S102). That is, a label for identifying the object is given to each object. The image recognition model is, for example, a trained model (neural network and its learning parameters) for an image recognition task. The learning parameters for the image recognition model are stored in the parameter storage unit 16.

画像認識部１２による画像認識に失敗した（画像認識部１２が認識できなかった）物体が有る場合（Ｓ１０３）、ラベル付与要求部１３は、当該物体（以下、「対象物体」という。）についてのラベル付けの要求を出力する（Ｓ１０４）。例えば、対象画像データにおいて対象物体の位置又は範囲を示す図形（矢印又は矩形等）が重畳された画像と共に、ラベル付けを促す（当該物体が何であるのかを質問する）メッセージが表示装置１０６に出力されてもよい。又は、対象画像データ全体ではなく、対象画像データから対象物体が切り出された画像（すなわち、対象画像データの一部分）がメッセージと共に出力されてもよい。 When there is an object (S103) in which the image recognition by the image recognition unit 12 has failed (the image recognition unit 12 could not recognize), the labeling requesting unit 13 refers to the object (hereinafter referred to as "target object"). Output the labeling request (S104). For example, a message prompting labeling (asking what the object is) is output to the display device 106 together with an image in which a figure (arrow, rectangle, etc.) indicating the position or range of the target object is superimposed on the target image data. May be done. Alternatively, instead of the entire target image data, an image obtained by cutting out the target object from the target image data (that is, a part of the target image data) may be output together with the message.

ラベル付けの要求に応じ、車両３０の搭乗者は、対象物体を認識し、対象物体の名称（ラベル）を車載器１０に対して入力する。ラベル受付部１４は、斯かるラベルの入力を受け付ける（Ｓ１０５）。ここで、当該搭乗者は、対象物体の実物を肉眼で目視している可能性が高い。したがって、画像を見ただけでは、判別しづらい物体であっても、実物を目視することで、正しいラベルが入力される可能性が高い。なお、入力する者が運転手以外の同乗者である場合には、入力装置１０７（タッチパネル等）が用いられてラベルの入力が行われてもよい。一方、入力する者が運転手である可能性が有る場合、ラベルは、音声入力されてもよい。この場合、ラベル受付部１４は、入力された音声について音声認識を適用して、当該音声をラベルを示す文字列に変換する。 In response to the labeling request, the passenger of the vehicle 30 recognizes the target object and inputs the name (label) of the target object to the vehicle-mounted device 10. The label receiving unit 14 receives the input of such a label (S105). Here, it is highly possible that the passenger is visually observing the actual object. Therefore, even if it is difficult to distinguish an object just by looking at the image, there is a high possibility that the correct label will be input by visually observing the actual object. When the person who inputs is a passenger other than the driver, the input device 107 (touch panel or the like) may be used to input the label. On the other hand, if there is a possibility that the person who inputs is a driver, the label may be input by voice. In this case, the label receiving unit 14 applies voice recognition to the input voice and converts the voice into a character string indicating the label.

続いて、再学習部１５は、入力されたラベルと、対象物体の画像とに基づいて、画像認識のモデルの再学習を実行する（Ｓ１０６）。その結果、パラメータ記憶部１６に記憶されている学習パラメータが更新される。 Subsequently, the re-learning unit 15 relearns the image recognition model based on the input label and the image of the target object (S106). As a result, the learning parameters stored in the parameter storage unit 16 are updated.

上述したように、本実施の形態によれば、画像認識に失敗した物体について、当該物体の実物を見た可能性の高い者によってラベル付けが行われ、当該ラベルに基づいて画像認識用のモデルについて再学習が行われる。したがって、車両３０のカメラ２０で撮像される画像に対する画像認識の精度を効率的に向上させることができる。 As described above, according to the present embodiment, an object whose image recognition has failed is labeled by a person who has a high possibility of seeing the actual object, and a model for image recognition is performed based on the label. Is re-learned. Therefore, the accuracy of image recognition for the image captured by the camera 20 of the vehicle 30 can be efficiently improved.

なお、各車両３０における再学習の結果（学習パラメータ）は、センタサーバにアップロードされてもよい。センタサーバは、収集された学習パラメータの更新結果を統合した結果を、各車両３０に配信してもよい。そうすることで、各車両３０による再学習の結果を他の車両３０に反映することができる。 The result of re-learning (learning parameter) in each vehicle 30 may be uploaded to the center server. The center server may distribute the result of integrating the collected update results of the learning parameters to each vehicle 30. By doing so, the result of re-learning by each vehicle 30 can be reflected in the other vehicles 30.

また、ラベルの入力は、車両３０の走行の安全性に鑑みて、自動運手時に限られて可能とされてもよい。自動運転中において、運転手の注意力は鈍る可能性が高くなることが予想されるが、ラベル付けという作業を与えることで、注意力の鈍化を回避することができる。ラベル付けに対して対価が支払われるようにして、ラベル付けに対してインセンティブを付与してもよい。 Further, the input of the label may be possible only at the time of automatic transportation in consideration of the running safety of the vehicle 30. It is expected that the driver's attention will be dull during automatic driving, but by giving the task of labeling, it is possible to avoid the dullness of attention. Incentives may be given for labeling by allowing compensation to be paid for labeling.

なお、本実施の形態において、車載器１０は、情報処理装置の一例である。画像認識部１２は、認識部の一例である。ラベル付与要求部１３は、要求部の一例である。ラベル受付部１４は、受付部の一例である。 In the present embodiment, the on-board unit 10 is an example of an information processing device. The image recognition unit 12 is an example of a recognition unit. The label assignment request unit 13 is an example of the request unit. The label reception unit 14 is an example of the reception unit.

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various aspects are within the scope of the gist of the present invention described in the claims. It can be transformed and changed.

１０車載器
１１画像入力部
１２画像認識部
１３ラベル付与要求部
１４ラベル受付部
１５再学習部
１６パラメータ記憶部
２０カメラ
３０車両
１００ドライブ装置
１０１記録媒体
１０２補助記憶装置
１０３メモリ装置
１０４ＣＰＵ
１０５通信装置
１０６表示装置
１０７入力装置
Ｂバス 10 On-board unit 11 Image input unit 12 Image recognition unit 13 Labeling request unit 14 Label reception unit 15 Relearning unit 16 Parameter storage unit 20 Camera 30 Vehicle 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 CPU
105 Communication device 106 Display device 107 Input device B Bus

Claims

An information processing device installed in a vehicle
A recognition unit that executes image recognition using an image recognition model for an image captured by a camera mounted on the vehicle, and a recognition unit.
A request unit that outputs a request for labeling an object that has failed in image recognition, and a request unit.
A reception unit that accepts label input for the object,
A re-learning unit that relearns the image recognition model of the image recognition based on the input label, and
Information processing device with.