JP2019106166A - Information processing method, information processing apparatus and program - Google Patents
Information processing method, information processing apparatus and program Download PDFInfo
- Publication number
- JP2019106166A JP2019106166A JP2018139709A JP2018139709A JP2019106166A JP 2019106166 A JP2019106166 A JP 2019106166A JP 2018139709 A JP2018139709 A JP 2018139709A JP 2018139709 A JP2018139709 A JP 2018139709A JP 2019106166 A JP2019106166 A JP 2019106166A
- Authority
- JP
- Japan
- Prior art keywords
- data
- types
- travel
- information processing
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、学習用データとするセンシングデータを選択する情報処理方法、情報処理装置およびプログラムに関する。 The present disclosure relates to an information processing method, an information processing apparatus, and a program for selecting sensing data to be learning data.
特許文献1には、得られた検出値が予め設定された閾値以上である画像データの中から、学習に用いる情報を選択実行者または学習エージェントに選択させる異常判定装置について開示されている。
しかし、特許文献1では、異常判定装置による検出値を使用しているため、特定の異常判定装置における学習に有効なデータを選択することとなる。よって、特許文献1の技術では、不特定の装置の構成または手法に対して学習用データの多様性を確保できるとは限らない。
However, in
そこで本開示では、不特定の装置の構成または手法に対して学習用データの多様性を向上させることができる情報処理方法、情報処理装置およびプログラムを提供することを目的とする。 Thus, the present disclosure aims to provide an information processing method, an information processing apparatus, and a program that can improve the diversity of learning data with respect to an unspecified device configuration or method.
本開示に係る情報処理方法は、コンピュータを用いて、車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、前記センシングデータと前記1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定し、前記逸脱度に応じて前記センシングデータを学習用データとして選択する。 An information processing method according to the present disclosure acquires sensing data obtained from a sensor mounted on a vehicle and one or more types of traveling data of the vehicle using a computer, and executes the sensing data and the one or more types of traveling Determining the degree of departure of the one or more types of travel data with respect to one or more other travel data associated with the data, and correlating the data with the one or more other sensing data; Select data as training data.
また、本開示の他の一態様に係る情報処理方法は、コンピュータを用いて、車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、前記センシングデータと前記1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定するための計算モデルを生成し、前記計算モデルを提供する。 In addition, an information processing method according to another aspect of the present disclosure acquires sensing data obtained from a sensor mounted on a vehicle and one or more types of travel data of the vehicle using a computer, and the sensing data To associate the one or more types of travel data with each other and to determine the degree of deviation of the one or more types of travel data from one or more other travel data associated with one or more other sensing data Generate a computational model and provide the computational model.
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these general or specific aspects may be realized by a system, a device, an integrated circuit, a computer program, or a recording medium such as a computer readable CD-ROM, and the system, the device, the integrated circuit, the computer program And any combination of recording media.
本開示に係る情報処理方法、情報処理装置およびプログラムは、不特定の装置の構成または手法に対して学習用データの多様性を向上させることができる。 The information processing method, the information processing apparatus, and the program according to the present disclosure can improve the diversity of learning data with respect to an unspecified apparatus configuration or method.
(本発明の基礎となった知見)
近年、自動運転、監視カメラ、ロボットなどの分野において、カメラによって撮像された画像に対する、ディープラーニングなどの機械学習を用いた物体検出が活用されている。このような物体検出には、機械学習に用いる教師データが大量に必要となる。このため、さまざまなカメラで撮像された大量の画像が収集され、収集された画像に対して、人が正解を付与することで教師データを生成している。
(Findings that formed the basis of the present invention)
BACKGROUND In recent years, in the fields of automated driving, surveillance cameras, robots, etc., object detection using machine learning such as deep learning has been used for images taken by cameras. Such object detection requires a large amount of teacher data used for machine learning. For this reason, a large number of images captured by various cameras are collected, and a teacher corrects the collected images to generate teacher data.
しかしながら、人が画像に対して正解を付与することにはコストがかかるため、単純に得られた全ての大量の画像から教師データを生成することは好ましくない。また、コストを考慮することなく、大量の画像の全てに対して正解を付与した教師データが得られたとしても、得られた大量の教師データについて機械学習を実行する必要があるため、機械学習にかかる処理負荷が大きくなり、また、処理時間も長くなる。よって、効率よく機械学習を行うためには、大量の画像の中から機械学習に有効な画像を選択することが必要である。 However, since it is costly for a person to give a correct answer to an image, it is not preferable to generate teacher data from all the large amounts of images obtained simply. In addition, even if teacher data in which the correct answer is given to all of a large number of images is obtained without considering the cost, it is necessary to execute machine learning on the obtained large amount of teacher data. Processing load increases, and processing time also increases. Therefore, in order to perform machine learning efficiently, it is necessary to select an image effective for machine learning from a large number of images.
ここで、機械学習には利用される大量の画像は、互いに異なるさまざまな状況で撮像された複数の画像により構成されること、つまり、多様性のある複数の画像により構成されることが必要である。言い換えると、互いに似た状況で撮像された複数の画像を用いるよりも、互いに異なる状況で撮像された複数の画像を用いる方が、効率のよい機械学習を実現するために効果的である。 Here, it is necessary that a large number of images used for machine learning be composed of a plurality of images captured in various different situations from each other, that is, be composed of a plurality of images having variety. is there. In other words, using a plurality of images captured in different situations is more effective for realizing efficient machine learning than using a plurality of images captured in similar situations.
上述したように、特許文献1の異常判定装置では、得られた画像データの中から、画像データに基づく検出値が予め設定された閾値以上である画像データに絞り込み、絞り込んだ画像データの中から学習に用いる情報を選択実行者または学習エージェントに選択させる。つまり、この異常判定装置では、画像データを機械学習に用いる画像として絞り込むための選択指標として、当該異常判定装置における検出結果を用いている。このため、特定の異常判定装置での機械学習に有効な画像データを絞り込むことには、適している手法であると考えられる。
As described above, in the abnormality determination device of
しかしながら、装置の構成または手法が変化すれば得られる検出値が変化するために、特許文献1の異常判定装置において絞り込まれた画像データが、他の構成の装置または手法でも効率よい機械学習を実現できるとは限らない。つまり、従来技術では、取得した多くのセンシングデータから、装置の構成または手法に関わらず効率のよい機械学習を実行するためのセンシングデータを選択することが難しい。
However, if the configuration or method of the device changes, the detected values obtained change, so that the image data narrowed down by the abnormality determination device of
このような問題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータを用いて、車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、前記センシングデータと前記1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定し、前記逸脱度に応じて前記センシングデータを学習用データとして選択する。 In order to solve such a problem, an information processing method according to an aspect of the present disclosure uses a computer to perform sensing data obtained from a sensor mounted on a vehicle, and one or more types of travel data of the vehicle. Deviation of the one or more types of travel data with respect to one or more other travel data acquired, corresponding to the sensing data and the one or more types of travel data, and associated with one or more other sensing data The degree is determined, and the sensing data is selected as learning data according to the deviation degree.
これによれば、機械学習に利用される学習用データとして既に選択されたセンシングデータに対応付けられた1つ以上の他の走行データに対する、取得した1種類以上の走行データの逸脱度を判定し、判定した逸脱度が所定の閾値以上の1種類以上の走行データに対応付けられたセンシングデータを学習用データとして選択する。このため、既に選択されたセンシングデータに対応付けられた1つ以上の他の走行データとは類似しない1種類以上の走行データに対応付けられたセンシングデータを選択することができ、異なる状況でセンシングされたセンシングデータを選択することができる。よって、上記情報処理方法では、不特定の装置の構成または手法に対して学習用データの多様性を向上させることができる。すなわち、取得した多くのセンシングデータから、装置の構成または手法に関わらず効率のよい機械学習を実行するためのセンシングデータを選択することができる。 According to this, the deviation degree of the acquired one or more types of traveling data with respect to the one or more other traveling data associated with the sensing data already selected as learning data used for machine learning is determined The sensing data associated with one or more types of traveling data having the determined deviation degree equal to or more than a predetermined threshold value is selected as learning data. For this reason, it is possible to select sensing data associated with one or more types of travel data that is not similar to one or more other travel data associated with the sensing data already selected, and sensing in different situations Selected sensing data. Therefore, in the above information processing method, it is possible to improve the diversity of learning data with respect to the configuration or method of an unspecified device. That is, sensing data for performing efficient machine learning can be selected from many acquired sensing data regardless of the configuration or method of the apparatus.
また、さらに、前記学習用データとして選択されたセンシングデータに対応付けられた1種類以上の走行データを、前記1つ以上の他の走行データに加えてもよい。 Furthermore, one or more types of travel data associated with the sensing data selected as the learning data may be added to the one or more other travel data.
これにより、1つ以上の他の走行データが更新されるため、判定では、新たなセンシングデータに対応付けられた複数の走行データの逸脱度を適切に判定することができる。 Thereby, since one or more other travel data are updated, it is possible to appropriately determine the degree of deviation of the plurality of travel data associated with the new sensing data in the determination.
また、前記対応付けでは、前記センシングデータと、当該センシングデータのセンシング時の1種類以上の走行データとを対応付けてもよい。 Further, in the association, the sensing data may be associated with one or more types of travel data at the time of sensing of the sensing data.
これによれば、センシングデータをセンシング時に得られた1種類以上の走行データを用いて、学習用データとするセンシングデータを選択するため、効率のよい機械学習を実行するためのセンシングデータより精度よく選択することができる。 According to this, in order to select sensing data to be learning data using one or more types of travel data obtained at the time of sensing, sensing data is more accurate than sensing data for executing efficient machine learning It can be selected.
また、前記1種類以上の走行データは、2種類以上の走行データであり、前記選択では、前記2種類以上の走行データを用いて判定された前記逸脱度に応じて前記センシングデータを前記学習用データとして選択してもよい。 In addition, the one or more types of travel data are two or more types of travel data, and in the selection, the sensing data is used for the learning according to the deviation degree determined using the two or more types of travel data. You may select as data.
これによれば、2種類以上の走行データを用いて、機械学習を実行するためのセンシングデータを選択するため、効率のよい機械学習を実行するためのセンシングデータより精度よく選択することができる。 According to this, since sensing data for performing machine learning is selected using two or more types of traveling data, it is possible to select with higher accuracy than sensing data for performing efficient machine learning.
また、前記判定では、前記2種類以上の走行データの組み合わせを用いて前記逸脱度を判定し、前記選択では、前記組み合わせを用いて判定された前記逸脱度に応じて前記センシングデータを前記学習用データとして選択してもよい。 Further, in the determination, the deviation degree is determined using a combination of the two or more types of travel data, and in the selection, the sensing data is used for the learning according to the deviation degree determined using the combination. You may select as data.
また、前記判定では、2種類以上の走行データを用いて種類ごとに前記逸脱度を判定し、前記選択では、前記2種類以上の走行データの種類毎に判定した2以上の前記逸脱度に応じて前記センシングデータを前記学習用データとして選択してもよい。 Further, in the determination, the deviance degree is determined for each type using two or more types of travel data, and in the selection, the degeneracy is determined according to the two or more deviance degrees determined for each type of the two or more types of travel data. The sensing data may be selected as the learning data.
また、前記選択では、前記2以上の逸脱度を統合し、統合結果に応じて前記センシングデータを前記学習用データとして選択してもよい。 In the selection, the two or more deviation degrees may be integrated, and the sensing data may be selected as the learning data according to the integration result.
また、前記判定では、2種類以上の走行データを用いて種類毎に重み付けを用いて前記逸脱度を判定してもよい。 Further, in the determination, the deviation degree may be determined using weighting for each type using two or more types of travel data.
また、前記選択では、前記逸脱度が所定の閾値以上である走行データに対応付けられた前記センシングデータを前記学習用データとして選択してもよい。 Further, in the selection, the sensing data associated with traveling data whose deviation degree is equal to or more than a predetermined threshold may be selected as the learning data.
また、前記1種類以上の走行データは、位置、時間、天候、温度、走行状態、走行速度、走行制御、およびドライバー属性のいずれか1つを含んでいてもよい。 Further, the one or more types of traveling data may include any one of position, time, weather, temperature, traveling state, traveling speed, traveling control, and driver attribute.
また、前記センサは、光学センサであってもよい。 The sensor may be an optical sensor.
また、さらに、前記1種類以上の走行データを正規化し、前記判定では、正規化された前記1種類以上の走行データを用いて前記逸脱度を判定してもよい。 Furthermore, the one or more types of travel data may be normalized, and in the determination, the degree of deviation may be determined using the one or more types of normalized travel data.
また、本開示の他の一態様に係る情報処理方法は、コンピュータを用いて、車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、前記センシングデータと前記1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定するための計算モデルを生成し、前記計算モデルを提供する。 In addition, an information processing method according to another aspect of the present disclosure acquires sensing data obtained from a sensor mounted on a vehicle and one or more types of travel data of the vehicle using a computer, and the sensing data To associate the one or more types of travel data with each other and to determine the degree of deviation of the one or more types of travel data from one or more other travel data associated with one or more other sensing data Generate a computational model and provide the computational model.
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 Note that these general or specific aspects may be realized by a system, a device, an integrated circuit, a computer program, or a recording medium such as a computer readable CD-ROM, and the system, the device, the integrated circuit, the computer program Or it may be realized by any combination of recording media.
以下、本発明の一態様に係る情報処理方法、情報処理装置およびプログラムについて、図面を参照しながら具体的に説明する。 Hereinafter, an information processing method, an information processing apparatus, and a program according to an aspect of the present invention will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Each embodiment described below shows one specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and the present invention is not limited thereto. Further, among the components in the following embodiments, components not described in the independent claim indicating the highest concept are described as arbitrary components.
(実施の形態1)
以下、図1〜図9を用いて、実施の形態1を説明する。
The first embodiment will be described below with reference to FIGS. 1 to 9.
[1−1.構成]
図1は、実施の形態1に係る情報処理システムの外観図を示す図である。
[1-1. Constitution]
FIG. 1 is an external view of the information processing system according to the first embodiment.
具体的には、図1において、情報処理装置100、車両200、通信ネットワーク300および移動通信システムの基地局310が示されている。例えば、情報処理システム1は、これらの構成要素のうち、情報処理装置100および車両200を備える。なお、図1では、車両200は、1台示されているが、2台以上でもよく、1台以上であれば何台でもよい。
Specifically, in FIG. 1, an
情報処理装置100は、車両200が備えるカメラ205により撮像された複数の画像を取得し、取得した複数の画像の中から機械学習のための学習用データを選択する装置である。情報処理装置100は、例えば、サーバである。
The
車両200は、カメラ205を備え、カメラ205により得られた画像を用いて得られる物体検出の結果を用いて、自動運転または運転支援を行う車両200である。
The
通信ネットワーク300は、インターネットなどの汎用のネットワークであってもよいし、専用のネットワークであってもよい。基地局310は、例えば、第3世代移動通信システム(3G)、第4世代移動通信システム(4G)、または、LTE(登録商標)などのような移動通信システムで利用される基地局である。
次に、情報処理装置100のハードウェア構成の具体例について図2を用いて説明する。
Next, a specific example of the hardware configuration of the
図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the embodiment.
図2に示すように、情報処理装置100は、ハードウェア構成として、プロセッサ101と、メインメモリ102と、ストレージ103と、通信IF(Interface)104とを備える。
As illustrated in FIG. 2, the
プロセッサ101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。
The
メインメモリ102は、プロセッサ101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
The
ストレージ103は、制御プログラム、または、画像データ、走行データなどの各種データを保持する不揮発性の記憶領域である。
The
通信IF104は、通信ネットワークを介して車両200と通信する通信インタフェースである。通信IF104は、例えば、有線LANインタフェースである。なお、通信IF104は、無線LANインタフェースであってもよい。また、通信IF104は、LANインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
The communication IF 104 is a communication interface that communicates with the
次に、車両200のハードウェア構成の具体例について図3を用いて説明する。
Next, a specific example of the hardware configuration of the
図3は、実施の形態1に係る車両のハードウェア構成の一例を示すブロック図である。 FIG. 3 is a block diagram showing an example of the hardware configuration of the vehicle according to the first embodiment.
図3に示すように、車両200は、ハードウェア構成として、プロセッサ201と、メインメモリ202と、ストレージ203と、通信IF(Interface)204と、カメラ205と、IMU(Inertial Measurement Unit)206と、GNSS(Global Navigation Satellite System)207と、CAN(Controller Area Network)側機器208とを備える。
As shown in FIG. 3, the
プロセッサ201は、ストレージ203等に記憶された制御プログラムを実行するプロセッサである。プロセッサ201は、車両200の自動運転または運転支援を行うためのECUに用いられるプロセッサを含んでいてもよい。
The
メインメモリ202は、プロセッサ201が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
The
ストレージ203は、制御プログラム、または、画像データ、走行データなどの各種データを保持する不揮発性の記憶領域である。
The
通信IF204は、通信ネットワーク300を介して情報処理装置100と通信する通信インタフェースである。つまり、通信IF204は、通信ネットワーク300に通信接続できる通信インタフェースであればよい。具体的には、通信IF204は、移動通信システムの基地局310との通信接続により、通信ネットワーク300と通信接続する通信インタフェースである。通信IF204は、例えば、第3世代移動通信システム(3G)、第4世代移動通信システム(4G)、または、LTE(登録商標)などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。また、通信IF204は、例えば、IEEE802.11a、b、g、n、ac規格に適合した無線LAN(Local Area Network)インタフェースであってもよく、図示しないルータ(例えば、モバイル無線LANルータ)との通信接続により、通信ネットワーク300と通信接続する通信インタフェースであってもよい。
The communication IF 204 is a communication interface that communicates with the
カメラ205は、レンズなどの光学系およびイメージセンサを有する光学センサであり、車両200に搭載されるセンサの一例である。
The
IMU206は、加速度センサおよびジャイロセンサを含むセンサ機器である。加速度センサは、車両200の異なる3方向のそれぞれにかかる加速度を検出するセンサである。ジャイロセンサは、車両200の異なる3方向を軸とした3軸周りそれぞれの回転における角速度を検出するセンサである。
The
GNSS207は、GPS(Global Positioning System)衛星を含む人工衛星から当該GNSS207の位置を示す情報を受信する。つまり、GNSS207は、車両200の現在位置を検出する。
The
CAN側機器208は、車両200の走行速度を検出する車速メータ208aと、車両200が備える各種機器の制御または状態の監視を行う複数のECU(Electronic Control Unit)210とを含む。CAN側機器208は、上記各種機器を含んでいてもよい。複数のECU208bが制御する各種機器とは、例えば、エンジン、ステアリング、ブレーキ、アクセル、シフトレバーなどであり、CANデータを検出する。
CAN-
図4は、CANデータの一例を示す図である。 FIG. 4 is a diagram showing an example of CAN data.
CANデータは、走行速度、エンジンのトルク、エンジンの回転数、ステアリングによる操舵角、ブレーキの油圧、アクセル開度、シフトポジションなどの車両200の走行状態、または、ステアリングに対する操舵角の制御量、エンジンのトルクの制御量、エンジンの回転数の制御量、ブレーキの油圧の制御量、アクセル開度の制御量などの走行制御を示すデータである。
CAN data includes travel speed, engine torque, engine speed, steering angle by steering, hydraulic pressure of brake, accelerator opening degree, travel position of
次に、情報処理システム1の機能構成について図5を用いて説明する。
Next, the functional configuration of the
図5は、実施の形態1に係る情報処理システムの機能構成の一例を示すブロック図である。なお、図5では、図1における通信ネットワーク300および基地局310を省略している。
FIG. 5 is a block diagram showing an example of a functional configuration of the information processing system according to the first embodiment. In FIG. 5, the
まず、車両200の機能構成について説明する。
First, the functional configuration of the
車両200は、機能構成として、検出部210と、記憶部220と、送信部230とを備える。
検出部210は、車両200のセンシングデータとしての画像データと、車両200の走行データとを検出する。
検出部210は、複数の異なるタイミングで複数の画像データを検出する。例えば、複数の画像データは、カメラ205が撮像することにより得られた動画像または複数の静止画像を示すデータである。
The
検出部210は、複数の異なるタイミングで走行データを検出する。走行データは、1種類以上のデータにより構成され、例えば、位置、走行速度、走行状態、走行制御のうちのいずれか1つを含むデータである。走行データのうちの位置は、GNSS207により検出された車両200の位置を示す。走行データのうちの走行速度は、車速メータ208aにより検出された車両200の走行速度を示す。なお、走行速度は、IMU206による検出値を用いて算出された速度であってもよく、車速メータ208aによる検出値およびIMU206による検出値を用いて算出された速度であってもよい。走行データのうちの走行状態は、複数のECU208bにより検出された車両200の走行状態を示す。走行状態は、上述したように、例えば、走行速度、エンジンのトルク、エンジンの回転数、ステアリングによる操舵角、ブレーキの油圧、アクセル開度、シフトポジションなどである。走行データのうちの走行制御は、ドライバーによる車両200を運転する操作に基づく制御量であって、車両200の走行に係る各機器を制御するための制御量を示してもよいし、プロセッサ201における自動運転または運転支援による車両200の走行に係る各機器を制御するための制御量を示してもよい。走行制御は、上述したように、例えば、ステアリングに対する操舵角の制御量、エンジンのトルクの制御量、エンジンの回転数の制御量、ブレーキの油圧の制御量、アクセル開度の制御量などである。これらの制御量は、例えば、各ECU208bから検出される。
The
検出部210は、複数の画像データを、複数の画像データを構成する複数のフレーム、または、複数の静止画像のそれぞれと、当該フレームまたは当該静止画像を撮像した時刻である撮像タイミングとを対応付けて記憶部220に記憶させる。また、検出部210は、上記の1種類以上の走行データについて、種類毎に検出した複数の走行データのそれぞれと、当該走行データを検出した時刻である検出タイミングとを対応付けて記憶部220に記憶させる。
The
なお、検出部210は、走行データとして、時間、天候、外気温などの温度、外気の湿度、車両200のドライバー属性などを検出してもよい。
Note that the
走行データのうちの時間は、走行データを検出した時刻であってもよいし、当該時刻が属する時間帯を示していてもよい。時間帯は、例えば、明け方、昼間、夜間などに区分されてもよく、夏期、冬期、中間期などの年間の時期に応じて区分が変化してもよい。 The time of the traveling data may be a time when the traveling data is detected, or may indicate a time zone to which the time belongs. The time zone may be divided into, for example, the morning, the daytime, and the night, and the division may change according to the yearly time such as summer, winter, and intermediate seasons.
走行データのうちの天候は、車両200が位置する位置での天候を示す。検出部210は、天候を、カメラ205により撮像された画像を画像解析することにより検出してもよいし、時刻および車両200の位置に基づいて当該時刻における当該位置を含む地域の天候を天候情報を有する外部サーバから検索することで検出してもよい。
The weather in the traveling data indicates the weather at the position where the
走行データのうちのドライバー属性は、車両200を運転しているドライバーの属性を示す情報であって、例えば、ドライバーの性別、年齢などを示す情報である。検出部210は、ドライバー属性を、ドライバーに車両200に対して予め登録させることで検出してもよいし、ドライバーが所持するスマートフォンなどの端末と通信することで検出してもよい。なお、検出部210は、ドライバー属性を、一度検出すれば、次に、新たなドライバー属性を検出するまで、繰り返し複数のタイミングで検出しなくてもよい。
The driver attribute of the traveling data is information indicating the attribute of the driver driving the
検出部210は、例えば、カメラ205、IMU206、GNSS207、車速メータ208a、複数のECU208bなどにより実現される。
The
記憶部220は、検出部210により検出された複数の画像データを、複数の画像データのそれぞれの撮像タイミングと共に記憶する。また、記憶部220は、検出部210により検出された複数の走行データを、複数の走行データのそれぞれの検出タイミングと共に記憶する。記憶部220は、例えば、ストレージ203により実現される。
The
送信部230は、記憶部220に記憶された複数の画像データおよび複数の走行データを情報処理装置100に送信する。送信部230は、例えば、1日毎、1週間毎などのように、定期的に検出部210により検出された複数の画像データおよび複数の走行データを情報処理装置100に送信してもよい。また、送信部230は、例えば、車両200がドライバーの自宅などの当該車両200の保管場所に駐車されているときに、駐車までの間の走行により得られた複数の画像データおよび複数の走行データを、情報処理装置に送信してもよい。また、送信部230は、このときに、まだ情報処理装置100に送信していない複数の画像データおよび複数の走行データがあれば、当該複数の画像データおよび当該複数の走行データを、情報処理装置100に送信してもよい。
The
送信部230は、例えば、プロセッサ201、メインメモリ202、ストレージ203、通信IF204などにより実現される。
The
次に、情報処理装置100の機能構成について説明する。
Next, the functional configuration of the
情報処理装置100は、機能構成として、取得部110と、対応付け部120と、判定部130と、選択部140とを備える。情報処理装置100は、さらに、学習DB(Database)150を備えていてもよい。
The
取得部110は、車両200に搭載されるカメラ205から得られるセンシングデータとしての画像データ、および、車両200の1種類以上の走行データを取得する。取得部110は、画像データおよび1種類以上の走行データを車両200から取得する。取得部110は、例えば、プロセッサ101、メインメモリ102、ストレージ103および通信IF104などにより実現される。
The
対応付け部120は、取得部110により取得された画像データと、1種類以上の走行データとを対応付ける。対応付け部120は、画像データと、当該画像データの撮像時の1種類以上の走行データとを対応付ける。
The associating
図6は、情報処理装置の対応付け部による画像データと走行データとの対応付けを説明するための図である。図6のaは、位置情報およびCANデータを含む走行データの検出タイミングと、画像データの撮像タイミングとの一例を示す概略図である。図6のbは、図6のaで示される各タイミングで検出された複数の画像データおよび複数の走行データの関係において、複数の画像データのそれぞれと、当該画像データに対応付けられる走行データとで構成される組み合わせ(セット)の一例を示す図である。 FIG. 6 is a diagram for describing association between image data and travel data by the association unit of the information processing apparatus. FIG. 6A is a schematic diagram showing an example of detection timing of traveling data including position information and CAN data, and imaging timing of image data. B of FIG. 6 is a relationship between a plurality of image data and a plurality of travel data detected at each timing shown in a of FIG. 6, and each of the plurality of image data and the travel data associated with the image data It is a figure which shows an example of the combination (set) comprised by these.
図6のaに示すように、複数の位置情報P1〜P7は、複数の異なる第1タイミングで検出された、複数のCANデータD1〜D4は、複数の異なる第2タイミングで検出され、画像データI1〜I4は、複数の異なる第3タイミングで検出される。位置情報P1〜P7を検出するGNSS207と、CANデータD1〜D4を検出するCAN側機器208と、画像データI1〜I4を撮像するカメラ205とは、一般的には互いに同期して検出または撮像を実行しないため、第1タイミング、第2タイミング、および第3タイミングは、互いに異なるタイミングである可能性が高い。図6のaの例では、位置情報P1〜P5は、それぞれ、タイミングt1、t3、t5、t8、t10で検出され、CANデータD1〜D3は、それぞれ、タイミングt2、t6、t9で検出され、画像データI1〜I3は、それぞれ、タイミングt4、t7、t11で検出される。これらのタイミングt1〜t11は、全て異なるタイミングである。このように、画像データが撮像されるタイミングと、走行データが検出されるタイミングとには、厳密にはズレがある。
As shown in a of FIG. 6, a plurality of pieces of positional information P1 to P7 are detected at a plurality of different first timings, and a plurality of CAN data D1 to D4 are detected at a plurality of different second timings. I1 to I4 are detected at a plurality of different third timings. In general, the
このため、対応付け部120は、例えば、当該画像データが撮像された時において最新の走行データを対応付けることで、画像データが撮像された時の走行データを対応付ける。つまり、対応付け部120は、画像データが撮像された時までにおいて検出されていた走行データのうちで最も後のタイミングで検出された走行データを画像データに対応付ける。
Therefore, the associating
具体的には、対応付け部120は、画像データI1が撮像されたタイミングt4までにおいて検出されていた位置情報のうちで最新のタイミングt3で検出された位置情報P2と、タイミングt4までにおいて検出されていたCANデータのうちで最新のタイミングt2で検出されたCANデータD1とを、画像データI1に対応付ける。これにより、図6のbに示すように、位置情報P2と、CANデータD1と、画像データI1とが対応付けられた組み合わせC1が得られる。
Specifically, the associating
同様に、対応付け部120は、画像データI2が撮像されたタイミングt7までにおいて検出されていた位置情報のうちで最新のタイミングt5で検出された位置情報P3と、タイミングt7までにおいて検出されていたCANデータのうちで最新のタイミングt6で検出されたCANデータD2とを、画像データI2に対応付ける。これにより、図6のbに示すように、位置情報P3と、CANデータD2と、画像データI2とが対応付けられた組み合わせC2が得られる。
Similarly, the associating
同様に、対応付け部120は、画像データI3が撮像されたタイミングt11までにおいて検出されていた位置情報のうちで最新のタイミングt10で検出された位置情報P5と、タイミングt11までにおいて検出されていたCANデータのうちで最新のタイミングt9で検出されたCANデータD3とを、画像データI3に対応付ける。これにより、図6のbに示すように、位置情報P5と、CANデータD3と、画像データI3とが対応付けられた組み合わせC3が得られる。対応付け部120は、これらの組み合わせC1〜C3に、それぞれ、画像データI1〜I3の撮像タイミングであるタイミングt4、t7、t11を走行データとして対応付けてもよい。これにより、例えば、図7に示すように、画像データと、走行データとの対応付けがなされる。
Similarly, the associating
図7は、対応付けされた画像データと走行データとの組み合わせの一例を示す図である。 FIG. 7 is a diagram showing an example of a combination of associated image data and travel data.
なお、図6のaでは、画像データとして、4枚の画像データI1〜I4が示されているがこれに限らずに、5枚以上または3枚以下の画像データが撮像されていてもよい。また、同様に、走行データとして7つの位置情報P1〜P7および4つのCANデータD1〜D4が示されているが、6以下または8以上の位置情報および3以下または5以上のCANデータが検出されていてもよい。 In FIG. 6A, four pieces of image data I1 to I4 are shown as the image data. However, the present invention is not limited to this, and five or more or three or less pieces of image data may be captured. Similarly, although seven position information P1 to P7 and four CAN data D1 to D4 are shown as traveling data, position information of six or less or eight or more and CAN data of three or less or five or more are detected. It may be
また、図6のaでは、CANデータとして1つのデータを取得することを例にして説明しているが、CANデータに含まれる各種データは、種類毎に異なるタイミングで検出される。よって、CANデータに複数種類のデータが含まれる場合には、種類毎に検出されたタイミングを考慮して、画像データと対応付けられてもよい。この場合の対応付けでは、上記と同様に、画像データが撮像された時においてCANデータの複数種類のデータの種類毎に最新のデータが、当該画像データに対応付けられることとなる。 Further, in FIG. 6A, acquisition of one data as CAN data is described as an example, but various data included in the CAN data are detected at different timings for each type. Therefore, when CAN data includes plural types of data, it may be associated with the image data in consideration of the timing detected for each type. In the association in this case, as described above, the latest data is associated with the image data for each of the plurality of types of data of CAN data when the image data is captured.
また、対応付け部120は、全ての画像データI1〜I4のそれぞれについて、上記の対応付けを行うとしたが、これに限らない。対応付け部120は、複数の画像データのうち、連続して撮像されたN枚(Nは、2以上の整数)の画像データ毎に、N枚の画像データを代表する画像データに対して上記の対応付けを行ってもよい。つまり、対応付け部120は、時系列で連続している複数の画像データのうち、N−1枚置きに撮像された画像データごとに、走行データを対応付けてもよい。これにより、複数の画像データが動画像より構成されており、1枚の画像データが得られてから次の画像データが得られるまでの時間が例えば数秒未満の短い時間である場合などのように、大量の類似する画像データが得られる場合に、対応付けの対象とする画像データを、予め絞り込んでおいてもよい。
In addition, although the associating
また、対応付け部120は、画像データが撮像された時において最新の走行データを対応付けるとしたが、これに限らない。例えば、対応付け部120は、画像データが撮像されたタイミングに最も近いタイミングで検出された走行データを、当該画像データに対応付けてもよい。また、対応付け部120は、画像データが撮像されたタイミングより後において、最初に検出された走行データを、当該画像データに対応付けてもよい。また、GNSS207と、CAN側機器208と、カメラ205とが、互いに同期したタイミングで検出または撮像を実行している場合には、画像データと、当該画像データをカメラ205が撮像したタイミングにおいて検出された走行データとを対応付けてもよい。
Further, although the associating
学習DB150は、複数の他の画像データに対応付けられた複数の他の走行データを含むデータベースである。複数の他の走行データは、例えば、上述したような複数種類の走行データである。学習DB150は、複数の他の画像データを含んでいてもよいし、含んでいなくてもよい。複数の他の画像データとは、機械学習に利用される学習用データとして既に選択された画像データである。複数の他の走行データとは、複数の他の画像データのそれぞれに対応付けられている他の走行データであって、当該他の画像データの撮像時に検出された他の走行データである。ここでいう、他の走行データは、上述した走行データに対応する走行データである。なお、複数の他の画像データと、複数の他の走行データとの対応付けは、対応付け部120が実行する対応付けと同じ処理により行われてもよい。なお、学習DB150は、複数の他の画像データに対応付けられた複数の他の走行データを含んでいなくてもよく、1つの画像データに対応付けられた1つの他の走行データを含むデータベースであってもよい。学習DB150は、例えば、ストレージ103に記憶されている。
The learning
判定部130は、取得部110により取得された複数種類の走行データの組み合わせを用いて、学習DB150の複数の他の走行データに対する、複数種類の走行データの逸脱度を判定する。判定部130は、例えば、学習DB150を構成する複数種類の他の走行データの複数のデータ値を用いて、種類毎に次元を設定した正規分布である多変量正規分布を推定する。そして、判定部130は、推定した多変量正規分布からの、取得部110により取得された複数種類の走行データのマハラノビス距離を算出することで、学習DB150の複数の他の走行データに対する、当該複数種類の走行データの逸脱度を判定する。判定部130は、逸脱度としてマハラノビス距離を算出しているが、これに限らずに、マハラノビス距離と相関を有する度数、ランク、分類、走行データの分布が一様分布に近い場合には、保有している走行データの確率密度関数に対する尤度の和などを逸脱度として判定してもよい。判定部130は、走行データの種類ごとの値の大小の影響を除くために、複数種類の走行データに対して、前処理として最大値および最小値がそれぞれ一定値になるように線形変換する正規化を行ってもよい。判定部130は、例えば、プロセッサ101、メインメモリ102およびストレージ103などにより実現される。
The
判定部130は、取得部110により取得された複数種類の走行データの組み合わせを用いて、学習DB150の複数の他の走行データに対する、複数種類の走行データの逸脱度を判定するとしたが、これに限らない。例えば、取得部110により取得された走行データが1種類の場合には、判定部130は、学習DB150の複数の他の走行データに対する、取得された1種類の走行データの逸脱度を判定してもよい。この場合、判定部130は、学習DB150のうちの対応する種類の走行データの平均値、中央値などの基準値からの差分を、逸脱度として算出する。
Although the
選択部140は、判定部130により複数種類以上の走行データの組み合わせを用いて判定された逸脱度に応じて、当該逸脱度が判定された組み合わせの複数種類の走行データが対応付けられた画像データを学習用データとして選択する。選択部140は、例えば、判定部130により逸脱度として算出されたマハラノビス距離が所定の閾値以上であるか否かを判定し、逸脱度が所定の閾値以上である走行データに対応付けられた画像データを学習用データとして選択する。
The
図8は、複数種類の走行データの正規分布を一次元的に表現した概念図である。 FIG. 8 is a conceptual diagram expressing normal distribution of a plurality of types of traveling data in a one-dimensional manner.
選択部140は、図8に示すように、一次元的に複数種類の走行データの正規分布が表された分布曲線から算出される基準値から、逸脱度が所定の閾値Th未満の範囲に属する複数種類の走行データに対応付けられた画像データを学習用データとして選択せず、逸脱度が上記範囲外にある複数種類の走行データに対応付けられた画像データを学習用データとして選択する。選択部140は、例えば、所定の閾値Th未満の範囲内にある逸脱度Dd1である複数種類の走行データに対応付けられた画像データを学習用データとして選択せず、所定の閾値Th未満の範囲外にある逸脱度Dd2、Dd3である複数種類の走行データに対応付けられた画像データを学習用データとして選択する。
As shown in FIG. 8, the
また、選択部140は、学習用データとして選択した画像データに対応付けられた複数種類の走行データを、学習DB150の複数の他の走行データに加えてもよい。これにより、学習DB150が更新されるため、判定部130は、新たな画像データに対応付けられた複数の走行データの逸脱度を適切に判定することができる。
Further, the
選択部140は、例えば、プロセッサ101、メインメモリ102およびストレージ103などにより実現される。
The
なお、情報処理装置100により学習用データとして選択された画像データは、学習用データとして利用される。例えば、当該画像データに正解が付与されることにより、機械学習に用いる教師データが生成される。
The image data selected as learning data by the
[1−2.動作]
次に、実施の形態1に係る情報処理システム1の動作について説明する。
[1-2. Operation]
Next, the operation of the
図9は、情報処理システムにおける動作の一例を示すシーケンス図である。 FIG. 9 is a sequence diagram showing an example of an operation in the information processing system.
まず、車両200では、検出部210がセンシングデータとしての画像データおよび複数種類の走行データをそれぞれのタイミングで検出する(S11)。検出部210により検出された画像データおよび複数種類の走行データは、記憶部220に記憶される。
First, in the
次に、車両200の送信部230は、記憶部220に記憶されている画像データおよび複数種類の走行データを通信ネットワーク300を介して情報処理装置100に送信する(S12)。
Next, the
情報処理装置100では、取得部110が車両200により送信された画像データおよび複数種類の走行データを取得する(S21)。
In the
そして、情報処理装置100の対応付け部120は、画像データと複数種類の走行データとを対応付ける(S22)。
Then, the associating
次に、情報処理装置100の判定部130は、複数種類の走行データの逸脱度を判定する(S23)。
Next, the
その後、情報処理装置100の選択部140は、判定部130により判定された逸脱度に応じて、当該逸脱度が判定された複数種類の走行データに対応付けられた画像データを学習用データとして選択する(S24)。
Thereafter, the
なお、ステップS11、S12、S21〜S24の各処理部による処理の詳細は、図5を用いた車両200の機能構成、および、情報処理装置100の機能構成において説明しているため、省略する。
The details of the processing performed by the processing units in steps S11, S12, and S21 to S24 are omitted because they are described in the functional configuration of the
[1−3.効果など]
本実施の形態に係る情報処理方法は、車両200に搭載されるカメラ205から得られる画像データ、および車両200の複数種類の走行データを取得し、画像データと複数種類以上の走行データとを対応付け、複数の他の画像データに対応付けられた複数の他の走行データに対する複数の走行データの逸脱度を判定し、逸脱度に応じて画像データを学習用データとして選択する。
[1-3. Effect etc]
The information processing method according to the present embodiment acquires image data obtained from the
これによれば、機械学習に利用される学習用データとして既に選択された画像データに対応付けられた複数の他の走行データに対する、取得した複数種類の走行データの逸脱度を判定し、判定した逸脱度が所定の閾値以上の複数種類の走行データに対応付けられた画像データを学習用データとして選択する。このため、既に選択された画像データに対応付けられた複数の他の走行データとは類似しない複数種類の走行データに対応付けられた画像データを選択することができ、異なる状況で撮像された画像データを選択することができる。よって、上記情報処理方法では、不特定の装置の構成または手法に対して学習用データの多様性を向上させることができる。すなわち、取得した多くの画像データから、装置の構成または手法に関わらず効率のよい機械学習を実行するための画像データを選択することができる。 According to this, the deviation degree of the acquired plurality of types of travel data with respect to the plurality of other travel data associated with the image data already selected as learning data used for machine learning is determined and determined. Image data associated with a plurality of types of travel data having a deviation degree equal to or more than a predetermined threshold value is selected as data for learning. For this reason, it is possible to select image data associated with a plurality of types of travel data that are not similar to a plurality of other travel data associated with the image data already selected, and an image captured in a different situation Data can be selected. Therefore, in the above information processing method, it is possible to improve the diversity of learning data with respect to the configuration or method of an unspecified device. That is, image data for performing efficient machine learning can be selected from many acquired image data regardless of the configuration or method of the apparatus.
また、本実施の形態に係る情報処理方法によれば、画像データを撮像時に得られた1種類以上の走行データを用いて、学習用データとする画像データを選択するため、効率のよい機械学習を実行するための画像データより精度よく選択することができる。 Further, according to the information processing method according to the present embodiment, since one or more types of travel data obtained at the time of imaging image data are used to select image data to be learning data, efficient machine learning It is possible to select more accurately than the image data for executing.
また、本実施の形態に係る情報処理方法によれば、2種類以上の走行データを用いて、機械学習を実行するための画像データを選択するため、効率のよい機械学習を実行するための画像データより精度よく選択することができる。 Further, according to the information processing method according to the present embodiment, since image data for performing machine learning is selected using two or more types of travel data, an image for performing efficient machine learning It can be selected more accurately than the data.
(実施の形態2)
次に、図10および図11を用いて実施の形態2を説明する。
Second Embodiment
A second embodiment will now be described with reference to FIGS. 10 and 11.
実施の形態1に係る情報処理装置100は、車両200の外部のサーバであるとしたが、これに限らずに、車両200に搭載されていてもよい。
Although the
図10は、実施の形態2に係る車両の機能構成の一例を示す図である。 FIG. 10 is a diagram showing an example of a functional configuration of a vehicle according to the second embodiment.
図10に示すように、車両200Aは、検出部210と、情報処理装置100Aとを備える。検出部210は、実施の形態1と同様であるため説明を省略する。
As shown in FIG. 10, a
情報処理装置100Aは、実施の形態1に係る情報処理装置100と比較して、判定部130Aおよび記憶部150Aを有する点が異なる。その他の構成は、実施の形態1に係る情報処理装置100と同様であるので説明を省略する。
The
記憶部150Aには、機械学習に利用される学習用データとして既に選択された画像データに対応付けられている他の走行データに基づく分布を示す情報が記憶されている。例えば、分布とは、複数種類の他の走行データの複数のデータ値を用いて推定される多変量正規分布であって、種類毎に次元を設定した正規分布である多変量正規分布である。なお、上記分布を示す情報は、逸脱度を判定するための計算モデルの一例である。
The
判定部130Aは、多変量正規分布を推定せずに、記憶部150Aに記憶されている分布を示す情報で示される多変量正規分布からの、取得部110により取得された複数種類の走行データのマハラノビス距離を算出することで、既存の複数の他の走行データに対する、当該複数種類の走行データの逸脱度を判定する。
The
図11は、実施の形態2に係る車両の動作の一例を示すフローチャートである。 FIG. 11 is a flowchart showing an example of the operation of the vehicle according to the second embodiment.
まず、車両200では、検出部210がセンシングデータとしての画像データおよび複数種類の走行データをそれぞれのタイミングで検出する(S11)。
First, in the
ステップS11により、検出部210が画像データおよび複数種類の走行データを検出することで、情報処理装置100では、取得部110が車両200により送信された画像データおよび複数種類の走行データを取得する(S21)。
In step S11, the
そして、情報処理装置100の対応付け部120は、画像データと複数種類の走行データとを対応付ける(S22)。
Then, the associating
次に、情報処理装置100の判定部130Aは、複数種類の走行データの逸脱度を判定する(S23A)。
Next, the
その後、情報処理装置100の選択部140は、判定部130により判定された逸脱度に応じて、当該逸脱度が判定された複数種類の走行データに対応付けられた画像データを学習用データとして選択する(S24)。
Thereafter, the
なお、ステップS11、S21、S22およびS24の各処理は、実施の形態1と同様である。また、ステップS23Aの判定部130Aの処理の詳細は、図10を用いた車両200の機能構成において説明しているため、省略する。
The processes in steps S11, S21, S22 and S24 are the same as in the first embodiment. The details of the process of the
本実施の形態に係る情報処理装置100Aは、車両200Aにおいて、撮像された複数の画像データから学習用データとする画像データを選択するため、例えば、選択した画像データのみを外部のサーバなどの情報処理装置に送信することができる。このため、車両200Aから外部のサーバへの通信量を削減することができ、通信負荷を低減することができる。
Since
なお、情報処理装置100Aでは、記憶部150Aに機械学習に利用される学習用データとして既に選択された画像データに対応付けられている他の走行データに基づく分布を示す情報が記憶されているとしたが、これに限らない。情報処理装置100Aは、上記分布を示す情報を、外部サーバなどの他の情報処理装置から取得する構成であってもよい。
In the
この場合、他の情報処理装置は、車両200に搭載されるセンサから得られるセンシングデータ、および車両200の1種類以上の走行データを取得し、センシングデータと1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する1種類以上の走行データの逸脱度を判定するための計算モデルを生成し、生成した計算モデルを提供する。なお、他の情報処理装置による、センシングデータおよび1種類以上の走行データの取得、および、対応付けの各処理は、実施の形態1に係る情報処理装置100の取得部110および対応付け部120で行われる処理と同様である。逸脱度を判定するための計算モデルとは、機械学習に利用される学習用データとして既に選択された画像データに対応付けられている他の走行データに基づく分布の他に、複数の種類毎の走行データの平均値、中央値などの基準値であってもよい。
In this case, the other information processing apparatus acquires sensing data obtained from the sensor mounted on the
[3.変形例]
[3−1.変形例1]
上記実施の形態1または2に係る情報処理装置100、100Aでは、判定部130、130Aは、複数の走行データの組み合わせを用いて逸脱度を判定するとしたが、これに限らずに、複数の走行データを用いて種類毎に逸脱度を判定してもよい。この場合、選択部140は、複数の走行データの種類毎に判定した2以上の逸脱度に応じて、画像データを学習用データとして選択する。
[3. Modified example]
[3-1. Modification 1]
In the
選択部140は、2以上の逸脱度のそれぞれについて、当該逸脱度に予め定められた所定の閾値と比較し、全ての逸脱度がそれぞれ対応する所定の閾値以上である場合、複数の走行データに対応付けられた画像データを学習用データとして選択してもよい。
The
また、選択部140は、2以上の逸脱度を統合し、統合結果に応じて画像データを学習用データとして選択してもよい。選択部140は、例えば、2以上の逸脱度の総和、平均、中央値などを算出することで2以上の逸脱度を統合し、統合結果が所定の閾値以上である場合、複数の走行データに対応付けられた画像データを学習用データとして選択してもよい。
Further, the
また、判定部130Aは、2種類以上の走行データを用いて種類毎に重み付けを用いて逸脱度を判定してもよい。判定部130Aは、例えば、走行データの種類毎に予め定められた重み付けを用いて、当該種類毎に得られた逸脱度を統合し、統合結果が所定の閾値以上である場合、複数の走行データに対応付けられた画像データを学習用データとして選択してもよい。例えば、判定部130Aは、走行データの種類毎に得られる分散値などの、各走行データの分布に基づく指標に応じて決定した重み付けを用いて逸脱度を判定してもよい。
In addition, the
[3−2.変形例2]
上記実施の形態1または2に係る情報処理装置100、100Aでは、対応付け部120は、画像データと複数種類の走行データとを対応付けるとしたが、画像データには1種類の走行データを対応付けてもよい。この場合の1種類の走行データは、位置、走行速度、走行状態、走行制御、時間、天候、外気温などの温度、外気の湿度、車両200のドライバー属性のうちの1つである。
[3-2. Modification 2]
In the
[3−3.変形例3]
上記実施の形態1または2に係る情報処理装置100、100Aでは、センシングデータの一例として画像データを用いているが、これに限らずに、LIDAR(Light Detection and Ranging)による検出データを用いてもよい。つまり、車両200は、カメラ205の代わりに光学センサの一種であるLIDARを備えていてもよい。また、情報処理装置100、100Aは、センシングデータとして画像データおよびLIDARの検出データの両方を採用してもよい。また、センシングデータとしては、他の光学センサによる検出データが採用されてもよい。
[3-3. Modification 3]
In the
[4.その他]
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法などを実現するソフトウェアは、次のようなプログラムである。
[4. Other]
In the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory. Here, software for realizing the information processing method and the like according to each of the above-described embodiments is the following program.
すなわち、このプログラムは、コンピュータに、車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、前記センシングデータと前記1種類以上の走行データとを対応付け、1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定するための計算モデルを生成し、前記計算モデルを提供する情報処理方法を実行させる。 That is, this program acquires, on a computer, sensing data obtained from a sensor mounted on a vehicle, and one or more types of travel data of the vehicle, and associates the sensing data with the one or more types of travel data , Generating a calculation model for determining the degree of deviation of the one or more types of travel data with respect to one or more other travel data associated with one or more other sensing data, and providing the calculation model Execute the information processing method.
以上、本発明の一つまたは複数の態様に係る情報処理方法、情報処理装置およびプログラムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。 Although the information processing method, the information processing apparatus, and the program according to one or more aspects of the present invention have been described above based on the embodiments, the present invention is not limited to the embodiments. Without departing from the spirit of the present invention, various modifications as may occur to those skilled in the art may be applied to this embodiment, or a configuration constructed by combining components in different embodiments may be one or more of the present invention. It may be included within the scope of the embodiments.
本開示は、不特定の装置の構成または手法に対して学習用データの多様性を向上させることができる情報処理方法、情報処理装置およびプログラムなどとして有用である。 The present disclosure is useful as an information processing method, an information processing device, a program, and the like that can improve the diversity of learning data with respect to unspecified device configurations or methods.
1 情報処理システム
100、100A 情報処理装置
101、201 プロセッサ
102、202 メインメモリ
103、203 ストレージ
104、204 通信IF
110 取得部
120 対応付け部
130、130A 判定部
140 選択部
150 学習DB
150A 記憶部
200、200A 車両
205 カメラ
206 IMU
207 GNSS
208 CAN側機器
208a 車速メータ
208b ECU
210 検出部
220 記憶部
230 送信部
300 通信ネットワーク
310 基地局
1
DESCRIPTION OF
207 GNSS
208
210
Claims (15)
車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、
前記センシングデータと前記1種類以上の走行データとを対応付け、
1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定し、
前記逸脱度に応じて前記センシングデータを学習用データとして選択する
情報処理方法。 Using a computer
Acquiring sensing data obtained from a sensor mounted on a vehicle, and one or more types of traveling data of the vehicle,
Associating the sensing data with the one or more types of travel data;
Determining a deviation of the one or more types of travel data from one or more other travel data associated with one or more other sensing data,
An information processing method, comprising: selecting the sensing data as learning data according to the deviation degree.
前記学習用データとして選択されたセンシングデータに対応付けられた1種類以上の走行データを、前記1つ以上の他の走行データに加える
請求項1に記載の情報処理方法。 further,
The information processing method according to claim 1, wherein one or more types of travel data associated with the sensing data selected as the learning data is added to the one or more other travel data.
請求項1または2に記載の情報処理方法。 The information processing method according to claim 1, wherein in the association, the sensing data is associated with one or more types of travel data at the time of sensing of the sensing data.
前記選択では、前記2種類以上の走行データを用いて判定された前記逸脱度に応じて前記センシングデータを前記学習用データとして選択する
請求項1から3のいずれか1項に記載の情報処理方法。 The one or more types of travel data are two or more types of travel data,
The information processing method according to any one of claims 1 to 3, wherein, in the selection, the sensing data is selected as the learning data according to the deviation degree determined using the two or more types of travel data. .
前記選択では、前記組み合わせを用いて判定された前記逸脱度に応じて前記センシングデータを前記学習用データとして選択する
請求項4に記載の情報処理方法。 In the determination, the deviation degree is determined using a combination of the two or more types of travel data,
The information processing method according to claim 4, wherein in the selection, the sensing data is selected as the learning data according to the deviation degree determined using the combination.
前記選択では、前記2種類以上の走行データの種類毎に判定した2以上の前記逸脱度に応じて前記センシングデータを前記学習用データとして選択する
請求項4に記載の情報処理方法。 In the determination, the deviance degree is determined for each type using two or more types of travel data,
5. The information processing method according to claim 4, wherein, in the selection, the sensing data is selected as the learning data according to two or more degrees of deviation determined for each of the two or more types of travel data.
請求項6に記載の情報処理方法。 The information processing method according to claim 6, wherein in the selection, the two or more deviation degrees are integrated, and the sensing data is selected as the learning data according to an integration result.
請求項6または7に記載の情報処理方法。 The information processing method according to claim 6, wherein in the determination, the deviation degree is determined using weighting for each type using two or more types of travel data.
請求項1から8のいずれか1項に記載の情報処理方法。 The information processing method according to any one of claims 1 to 8, wherein, in the selection, the sensing data associated with traveling data having the deviation degree equal to or more than a predetermined threshold value is selected as the learning data.
請求項1から9のいずれか1項に記載の情報処理方法。 The information according to any one of claims 1 to 9, wherein the one or more types of travel data include any one of position, time, weather, temperature, travel state, travel speed, travel control, and driver attribute. Processing method.
請求項1から10のいずれか1項に記載の情報処理方法。 The information processing method according to any one of claims 1 to 10, wherein the sensor is an optical sensor.
前記判定では、正規化された前記1種類以上の走行データを用いて前記逸脱度を判定する
請求項1から11のいずれか1項に記載の情報処理方法。 Furthermore, normalize the one or more types of travel data,
The information processing method according to any one of claims 1 to 11, wherein in the determination, the deviance degree is determined using the one or more types of travel data normalized.
車両に搭載されるセンサから得られるセンシングデータ、および前記車両の1種類以上の走行データを取得し、
前記センシングデータと前記1種類以上の走行データとを対応付け、
1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定するための計算モデルを生成し、
前記計算モデルを提供する
情報処理方法。 Using a computer
Acquiring sensing data obtained from a sensor mounted on a vehicle, and one or more types of traveling data of the vehicle,
Associating the sensing data with the one or more types of travel data;
Generating a calculation model for determining the degree of deviation of the one or more types of travel data with respect to one or more other travel data associated with the one or more other sensing data;
An information processing method for providing the calculation model.
前記センシングデータと前記1種類以上の走行データとを対応付ける対応付け部と、
1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定するための計算モデルを用いて前記逸脱度を判定する判定部と、
前記逸脱度に応じて前記センシングデータを学習用データとして選択する選択部と、を備える
情報処理装置。 An acquisition unit for acquiring sensing data obtained from a sensor mounted on a vehicle, and one or more types of travel data of the vehicle;
An associating unit that associates the sensing data with the one or more types of travel data;
A determination unit that determines the degree of departure using a calculation model for determining the degree of departure of the one or more types of travel data with respect to one or more other travel data associated with one or more other sensing data When,
An selecting unit configured to select the sensing data as learning data according to the deviation degree.
前記センシングデータと前記1種類以上の走行データとを対応付け、
1つ以上の他のセンシングデータに対応付けられた1つ以上の他の走行データに対する前記1種類以上の走行データの逸脱度を判定ための計算モデルを用いて前記逸脱度を判定し、
前記逸脱度に応じて前記センシングデータを学習用データとして選択する
情報処理方法をコンピュータに実行させるためのプログラム。 Acquiring sensing data obtained from a sensor mounted on a vehicle, and one or more types of traveling data of the vehicle,
Associating the sensing data with the one or more types of travel data;
The deviation degree is determined using a calculation model for determining the deviation degree of the one or more types of travel data with respect to one or more other travel data associated with one or more other sensing data,
A program for causing a computer to execute an information processing method, which selects the sensing data as learning data according to the deviation degree.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18211072.6A EP3499419A1 (en) | 2017-12-14 | 2018-12-07 | Information processing method, information processing apparatus, and program |
US16/214,557 US20190188599A1 (en) | 2017-12-14 | 2018-12-10 | Information processing method, information processing apparatus, and program |
CN201811510260.8A CN109978174A (en) | 2017-12-14 | 2018-12-11 | Information processing method, information processing unit and program recorded medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762598745P | 2017-12-14 | 2017-12-14 | |
US62/598,745 | 2017-12-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106166A true JP2019106166A (en) | 2019-06-27 |
JP7156844B2 JP7156844B2 (en) | 2022-10-19 |
Family
ID=67062425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018139709A Active JP7156844B2 (en) | 2017-12-14 | 2018-07-25 | Information processing method, information processing device and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7156844B2 (en) |
CN (1) | CN109978174A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403343B2 (en) | 2019-07-26 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Retrieval of video and vehicle behavior for a driving scene described in search text |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127657A (en) * | 1997-06-27 | 1999-01-29 | Matsushita Electric Ind Co Ltd | Path image information recording and reproducing device and path image information recording method |
JP2011071642A (en) * | 2009-09-24 | 2011-04-07 | Denso Corp | Moving picture storage system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101235815B1 (en) * | 2005-04-25 | 2013-02-21 | 가부시키가이샤 지오 기쥬츠켄큐쇼 | Imaging position analyzing device, imaging position analyzing method, recording medium, and image data acquiring device |
EP2025178A2 (en) * | 2006-05-31 | 2009-02-18 | TRX Systems, Inc. | Method and system for locating and monitoring first responders |
US7972087B2 (en) * | 2007-09-07 | 2011-07-05 | Food Processing Equipment Company | Vacuum transfer apparatus and process with improved product weighing controls |
KR101555444B1 (en) * | 2014-07-10 | 2015-10-06 | 현대모비스 주식회사 | An apparatus mounted in vehicle for situational awareness and a method thereof |
JP6323249B2 (en) * | 2014-08-11 | 2018-05-16 | 株式会社デンソー | Information processing system, terminal device, and program |
JP2016173682A (en) * | 2015-03-16 | 2016-09-29 | シャープ株式会社 | Abnormality determination device and abnormality determination method |
JP2017191555A (en) * | 2016-04-15 | 2017-10-19 | 富士ゼロックス株式会社 | Moving body control device and moving body control program |
-
2018
- 2018-07-25 JP JP2018139709A patent/JP7156844B2/en active Active
- 2018-12-11 CN CN201811510260.8A patent/CN109978174A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127657A (en) * | 1997-06-27 | 1999-01-29 | Matsushita Electric Ind Co Ltd | Path image information recording and reproducing device and path image information recording method |
JP2011071642A (en) * | 2009-09-24 | 2011-04-07 | Denso Corp | Moving picture storage system |
Non-Patent Citations (1)
Title |
---|
浮田 宗伯: "解説 基礎研究", 画像ラボ 第25巻 第7号, vol. 第25巻, JPN6022011164, 2014, JP, ISSN: 0004742105 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403343B2 (en) | 2019-07-26 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Retrieval of video and vehicle behavior for a driving scene described in search text |
Also Published As
Publication number | Publication date |
---|---|
CN109978174A (en) | 2019-07-05 |
JP7156844B2 (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
CN110809790B (en) | Vehicle information storage method, vehicle travel control method, and vehicle information storage device | |
US10960893B2 (en) | System and method for driver profiling corresponding to automobile trip | |
CN109099920B (en) | Sensor target accurate positioning method based on multi-sensor association | |
US11408739B2 (en) | Location correction utilizing vehicle communication networks | |
US10776642B2 (en) | Sampling training data for in-cabin human detection from raw video | |
JP2021051737A (en) | Object location analysis | |
US11023775B2 (en) | Information processing method and information processing system | |
US11200434B2 (en) | System and method for tracking objects using multi-edge bounding box factors | |
CN116415202A (en) | Multi-source data fusion method, system, electronic equipment and storage medium | |
US11076264B2 (en) | Localization of a mobile device based on image and radio words | |
CN114968187A (en) | Platform for perception system development of an autopilot system | |
JP7156844B2 (en) | Information processing method, information processing device and program | |
KR20090113746A (en) | A method of robot localization using spatial semantics of objects | |
EP3499419A1 (en) | Information processing method, information processing apparatus, and program | |
JPWO2020003764A1 (en) | Image processors, mobile devices, and methods, and programs | |
JP7294323B2 (en) | Moving body management device, moving body management system, moving body management method, and computer program | |
CN113325415B (en) | Fusion method and system of vehicle radar data and camera data | |
US20220198714A1 (en) | Camera to camera calibration | |
JP6980497B2 (en) | Information processing method and information processing equipment | |
CN114968189A (en) | Platform for perception system development of an autopilot system | |
WO2018100675A1 (en) | Congestion state predicting system and method, and program | |
US20240185612A1 (en) | Systems and methods for controlling a vehicle by detecting and tracking objects through associated detections | |
US10838422B2 (en) | Information processing method and information processing apparatus | |
LUNDGREN | A study of EKF-SLAM for vehicle state estimation. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7156844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |