JP2018114894A - Automatic driving system for vehicle - Google Patents

Automatic driving system for vehicle Download PDF

Info

Publication number
JP2018114894A
JP2018114894A JP2017007769A JP2017007769A JP2018114894A JP 2018114894 A JP2018114894 A JP 2018114894A JP 2017007769 A JP2017007769 A JP 2017007769A JP 2017007769 A JP2017007769 A JP 2017007769A JP 2018114894 A JP2018114894 A JP 2018114894A
Authority
JP
Japan
Prior art keywords
automatic driving
intersection
vehicle
learning
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017007769A
Other languages
Japanese (ja)
Inventor
廣夫 渡部
Hiroo Watabe
廣夫 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2017007769A priority Critical patent/JP2018114894A/en
Publication of JP2018114894A publication Critical patent/JP2018114894A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an automatic driving system for a vehicle suitable to perform a pedestrian-friendly safety driving.SOLUTION: Image processing means comprises: a detection function for detecting, by image processing, presence of people in an image captured by a camera, presence of a traffic light and an illuminated color of the traffic light, as object information at an intersection; and a detection function for detecting a shape of the intersection in an image of a map around a current position, as feature information at the intersection. Control means comprises: a learning mode for learning automatic driving patterns on the basis of the object information at the intersection and behavior patterns of the vehicle at detection time of the information; and an automatic driving mode for outputting control signals required for automatically driving the vehicle on the basis of the automatic driving patters acquired through the learning and the feature information at the intersection.SELECTED DRAWING: Figure 1

Description

本発明は、自動車の運転をコンピュータによって代行するシステム(以下「自動車自動運転システム」という)に関し、特に、歩行者に優しい安全な自動車の自度運転を行うことができるようにしたものである。   The present invention relates to a system for substituting driving of a car by a computer (hereinafter referred to as “automatic driving system”), and in particular, enables a self-driving of a safe car friendly to a pedestrian.

近年、自動車の運転をコンピュータによって代行するシステム(自動車自動運転システム)の技術開発が盛んに進められている。この技術開発のうち、例えば特許文献1においては、自動車に搭載したカメラで走行方向前方を撮影するとともに、そのカメラによる撮影画像の中から道路の走行レーン(具体的には白線)を認識して、自動車の運転支援や自動運転を行うことを開示している(特許文献1の要約を参照)。   2. Description of the Related Art In recent years, technical development of a system (automatic driving system) that substitutes a computer for driving a car has been actively promoted. Among these technical developments, for example, in Patent Document 1, the front of the traveling direction is photographed with a camera mounted on an automobile, and a road lane (specifically, a white line) is recognized from a photographed image by the camera. Discloses driving assistance and automatic driving of an automobile (see the summary of Patent Document 1).

しかしながら、例えば、道路の交差点には、道路を横断しようとする歩行者がいる場合もある。このため、特許文献1で開示している技術のように、道路の走行レーンを認識するだけでは、安全な自動車の自動運転を行うことは困難であるという問題点がある。   However, for example, there may be a pedestrian trying to cross the road at the intersection of the road. For this reason, there is a problem that it is difficult to perform automatic driving of a safe car simply by recognizing a road lane as in the technique disclosed in Patent Document 1.

特開2000−207563号公報JP 2000-207563 A

本発明は、前記問題点を解決するためになされたものであり、その目的は、歩行者に優しい安全な自動車の自度運転を行うのに好適な自動車自動運転システムを提供することである。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an automatic vehicle driving system suitable for self-driving a safe vehicle friendly to pedestrians.

前記目的を達成するために、本発明は、自動車の周囲を撮影するカメラと、前記自動車の現在地周辺マップ画像を取得するマップ取得手段と、前記カメラによる撮影画像や前記現在地周辺マップ画像を処理する画像処理手段と、前記画像処理手段での処理結果に基づいて前記自動車を制御する制御手段と、を有し、前記画像処理手段は、画像処理により、交差点物体情報として、前記カメラによる撮影画像の中から、人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、前記現在地周辺マップ画像の中から交差点の形状を検出する機能を備え、前記制御手段は、前記交差点物体情報とこれを検出した時点における前記自動車の行動パターンとに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと交差点特徴情報とに基づいて自動運転に必要な制御情報S1を制御系装置類41に対して出力する自動運転モードと、を備えていることを特徴とする。   In order to achieve the above object, the present invention processes a camera that captures the periphery of a car, map acquisition means that acquires a map around the current location of the vehicle, and an image captured by the camera and the map around the current location. Image processing means, and control means for controlling the automobile based on the processing result of the image processing means, wherein the image processing means performs image processing of an image taken by the camera as intersection object information. The function of detecting the presence or absence of a human shadow, the presence or absence of a traffic light and the color of the traffic light, and the function of detecting the shape of an intersection from the current location surrounding map image as the intersection feature information, the control means, A learning mode for learning an automatic driving pattern based on intersection object information and the behavior pattern of the vehicle at the time of detecting the intersection object information; Characterized in that it includes a an automatic operation mode for outputting the control information S1 required for automatic operation with respect to control system devices such 41 based on the automatic operation pattern and intersection feature information obtained by learning.

前記本発明において、前記自動運転パターンの学習は、前記交差点物体情報と前記自動車の行動パターンを一組の学習基礎データとしてデータ記憶部に複数組格納する処理と、前記データ記憶部に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含むことを特徴としてもよい。   In the present invention, the learning of the automatic driving pattern is a process of storing a plurality of sets of the intersection object information and the behavior pattern of the car as a set of learning basic data in a data storage unit, and stored in the data storage unit. And a process of extracting learning basic data having the same content from a plurality of sets of learning basic data and obtaining an automatic driving pattern based on the learning basic data having the largest number of extractions.

前記本発明において、前記カメラは、その取付け位置を中心として360°の回転が可能に設けられることにより、当該自動車の前方、左右両側方、後方を撮影可能であることを特徴としてもよい。   In the present invention, the camera may be capable of photographing the front, the left and right sides, and the rear of the automobile by being provided so as to be able to rotate 360 ° around the mounting position.

前記本発明において、前記カメラは、前記自動車の前後左右4方向を撮影する手段として、それぞれの方向に対応して複数設けられていることを特徴としてもよい。   In the present invention, a plurality of cameras may be provided corresponding to the respective directions as means for photographing the four directions of front, rear, left and right of the automobile.

前記本発明において、前記カメラによる撮影画像の中には、前記自動車のドアミラーの画像が含まれていることを特徴としてもよい。   In the present invention, the image captured by the camera may include an image of a door mirror of the automobile.

前記本発明において、前記学習によって得られた前記自動運転パターンは、インターネット通信網を経由して自動運転監視サーバへ送信され、前記自動運転監視サーバは、前記自動運転パターンを蓄積するデータベースと、前記データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有し、前記情報処理機能は、前記データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、前記グループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループにおける代表自動運転パターンとして採用する処理と、を含むことを特徴としてもよい。   In the present invention, the automatic driving pattern obtained by the learning is transmitted to an automatic driving monitoring server via an Internet communication network, and the automatic driving monitoring server stores the automatic driving pattern, the database, An information processing function for processing the automatic driving pattern stored in the database as information, and the information processing function has the same intersection feature information from the automatic driving patterns stored in the database. Extracting the automatic driving pattern, grouping the extracted automatic driving pattern as one intersection common group, and referring to one intersection common group obtained by the grouping process, and within the referenced intersection common group The automatic operation pattern with the same content is extracted from the A process of employing a rolling pattern as a representative automatic driving pattern in the one crossing common group, may be characterized by including.

本発明にあっては、自動車自動運転システムの具体的な構成として、前記のように、人影の有無、信号機の有無および信号機の色などのような交差点物体情報とこれを検出した時点における自動車の行動パターンとに基づいて自動運転パターンを学習し、学習によって得られた自動運転パターンと交差点特徴情報(具体的には交差点の形状)とに基づいて自動車の自動運転に必要な制御信号を出力するという構成を採用した。このため、例えば自動運転パターンを学習する学習モードの実行時において、交差点に歩行者が現れた場合は、この状況に対応した自動運転パターンを学習するので、歩行者に優しい安全な自動車の自度運転を行うのに好適な自動車自動運転システムを提供できる。   In the present invention, as a specific configuration of the automobile automatic driving system, as described above, intersection object information such as the presence or absence of a human figure, the presence or absence of a traffic light, the color of a traffic light, and the like of the automobile at the time when this is detected. Based on the behavior pattern, learn the automatic driving pattern, and output the control signal necessary for the automatic driving of the car based on the automatic driving pattern obtained by learning and the intersection feature information (specifically, the shape of the intersection) The configuration is adopted. For this reason, for example, when a pedestrian appears at an intersection during the execution of a learning mode for learning an automatic driving pattern, an automatic driving pattern corresponding to this situation is learned. An automatic vehicle driving system suitable for driving can be provided.

図1は本発明を適用した自動車自動運転システムのブロック図。FIG. 1 is a block diagram of an automatic vehicle driving system to which the present invention is applied. 図2は図1の自動車自動運転システムにおけるカメラの取付け構成図。FIG. 2 is a configuration diagram of the camera in the automatic driving system of FIG. 図3(a)は自動車自動運転システムで利用する現在地周辺マップ画像(十字路交差点の例)、図3(b)は同システムで利用するカメラによる撮影画像(十字路交差点の例)、図3(c)は現在地周辺マップ画像(三叉路交差点の例)、図3(d)は現在地周辺マップ画像(多差路交差点の例)の説明図。FIG. 3A is a map around the current location used in the automatic driving system of the vehicle (an example of a crossroad intersection), FIG. 3B is a photographed image (example of a crossroad intersection) used in the system, and FIG. ) Is the current location map image (an example of a three-way intersection), and FIG. 3D is an explanatory diagram of the current location map image (an example of a multi-difference intersection). 図4は図1の自動車自動運転システムにおけるデータ記憶部の説明図。4 is an explanatory diagram of a data storage unit in the automobile automatic driving system of FIG. 図5は図1の自動車自動運転システムにおける学習モードをプログラムによるソフトウエア処理として構成したときの、当該プログラムで利用するデータの取得の流れの説明図。FIG. 5 is an explanatory diagram of a flow of acquiring data used in the program when the learning mode in the automobile automatic driving system of FIG. 1 is configured as software processing by the program. 図6は学習モードを実現するメイン処理プログラムのフローチャート図。FIG. 6 is a flowchart of a main processing program for realizing a learning mode. 図7はメイン処理プログラムで使用するサブ処理プログラム(データ収集処理プログラム)のフローチャート図。FIG. 7 is a flowchart of a sub processing program (data collection processing program) used in the main processing program. 図8は図1の自動車自動運転システムにおける情報ネットワークの説明図。FIG. 8 is an explanatory diagram of an information network in the automatic driving system of FIG.

以下、本発明を実施するための最良の形態について、添付した図面を参照しながら詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the accompanying drawings.

図1は本発明を適用した自動車自動運転システムのブロック図、図2は図1の自動車自動運転システムにおけるカメラの取付け構成図であり、図3(a)は自動車自動運転システムで利用する現在地周辺マップ画像(十字路交差点の例)、図3(b)は同システムで利用するカメラによる撮影画像(十字路交差点の例)、図3(c)は現在地周辺マップ画像(三叉路交差点の例)、図3(d)は現在地周辺マップ画像(多差路交差点の例)の説明図である。   FIG. 1 is a block diagram of an automatic vehicle driving system to which the present invention is applied, FIG. 2 is a configuration diagram of a camera in the automatic driving system of FIG. 1, and FIG. 3B is a map image (an example of a crossroad intersection), FIG. 3B is an image taken by a camera used in the system (an example of a crossroad intersection), FIG. 3C is a map image of the current location surroundings (an example of a three-way intersection), and FIG. (D) is explanatory drawing of the present location periphery map image (example of a multi-difference road intersection).

《自動車自動運転システムの概要》
図1の自動車自動運転システムSは、自動車の周囲を撮影する図2のカメラ1と、自動車の現在地周辺マップ画像D1を取得するマップ取得手段2と、自動車に搭載する車載コンピュータ3と、公知の各種車載機器4を含んで構成される。
《Outline of Autonomous Driving System》
The automatic vehicle driving system S of FIG. 1 includes a camera 1 of FIG. 2 that captures the surroundings of a vehicle, a map acquisition unit 2 that acquires a current location map image D1 of the vehicle, an in-vehicle computer 3 that is mounted on the vehicle, It is comprised including various vehicle equipment 4.

車載コンピュータ3は、CPU31、入出力インターフェース32、SSDやPOM若しくはRAM等からなるデータ記憶部33、および、通信モジュール34等のハードウエアで構成されるとともに、カメラ1による撮影画像D2やマップ取得手段2で取得した現在地周辺マップ画像D1を処理する画像処理手段5、および、各種車載機器4と連携して自動車を制御する制御手段6として機能する。   The in-vehicle computer 3 includes a CPU 31, an input / output interface 32, a data storage unit 33 including an SSD, a POM, or a RAM, and hardware such as a communication module 34. 2 functions as image processing means 5 for processing the current location surrounding map image D1 acquired in 2 and control means 6 for controlling the automobile in cooperation with various in-vehicle devices 4.

《各種車載機器の概要》
各種車載機器4は、自動車を制御するための制御系装置類41と自動車の状態を計測するための計測機器類42とに大別でき、制御系装置類41は、公知のエンジン制御装置411、ブレーキ制御装置412、ステアリング制御装置413などを備えた構成になっており、また、計測機器42類は、公知の走行速度計測器421や舵角計測器422などを備えた構成になっている。
《Outline of various in-vehicle devices》
The various in-vehicle devices 4 can be broadly classified into a control system device 41 for controlling the vehicle and a measurement device 42 for measuring the state of the vehicle. The control system device 41 includes a known engine control device 411, The brake control device 412, the steering control device 413, and the like are provided, and the measuring device 42 includes a known travel speed measuring device 421, a steering angle measuring device 422, and the like.

エンジン制御装置411は車載コンピュータ3から制御情報S1を受信し、受信した制御情報S1に基づいて自動車エンジンを制御する。ブレーキ制御装置412もステアリング制御装置413も同様に制御情報S1を受信し、受信した制御情報S1に基づいて自動車ブレーキ装置や自動車ステアリング装置を制御する。   The engine control device 411 receives the control information S1 from the in-vehicle computer 3, and controls the automobile engine based on the received control information S1. Similarly, the brake control device 412 and the steering control device 413 receive the control information S1, and control the vehicle brake device and the vehicle steering device based on the received control information S1.

計測機器類42で計測したデータ、すなわち、走行速度計測器421で計測した自動車の走行速度や舵角計測器422で計測したステアリングの舵角などは、計測情報D3として、時系列的に車載コンピュータ3へ出力される。   The data measured by the measuring instruments 42, that is, the traveling speed of the vehicle measured by the traveling speed measuring instrument 421, the steering angle measured by the steering angle measuring instrument 422, etc., are time-sequentially used as the in-vehicle computer. 3 is output.

《カメラの構成》
カメラ1の具体的な構成として、図1の自動車自動運転システムSでは、図2に示したように当該カメラ1を自動車の屋根に取付け、取付けたカメラ1で自動車の走行方向前方を撮影するように構成しているが、このようなカメラ構成に限定されることはない。なお他のカメラ構成については後述する。
<Camera configuration>
As a specific configuration of the camera 1, in the automatic vehicle driving system S of FIG. 1, the camera 1 is attached to the roof of the vehicle as shown in FIG. However, the present invention is not limited to such a camera configuration. Other camera configurations will be described later.

《マップ取得手段の構成説明》
マップ取得手段2の具体的な構成として、図1の自動車自動運転システムSでは、公知のカーナビゲーション装置から自動車の現在地周辺マップ画像D1を取得するように構成しているが、このような構成に限定されることはなく、他の公知の方式で現在地位周辺マップ画像D1を取得してもよい。
<Description of the configuration of the map acquisition means>
As a specific configuration of the map acquisition unit 2, the automatic vehicle driving system S of FIG. 1 is configured to acquire a current vehicle location map image D <b> 1 from a known car navigation device. Without being limited, the current position surrounding map image D1 may be acquired by other known methods.

《画像処理手段および制御手段の構成》
車載コンピュータ3を画像処理手段5として具体的に機能させるために、車載コンピュータ3には、入出力インターフェース32を介して、カメラ1から出力される撮影画像D1やマップ取得手段2(カーナビゲーション装置)から出力される現在地周辺マップ画像D2が入力されるように構成してある。
<< Configuration of image processing means and control means >>
In order for the in-vehicle computer 3 to specifically function as the image processing means 5, the in-vehicle computer 3 has a captured image D1 output from the camera 1 and a map acquisition means 2 (car navigation device) via the input / output interface 32. The present location surrounding map image D2 output from is input.

また、車載コンピュータ3を制御手段6として具体的に機能させるために、車載コンピュータ1は、各種車載機器4の制御系装置類41に対し、入出力インターフェース32を介して制御情報S1(例えばエンジン制御信号、ブレーキ制御信号、ステアリング制御信号など)を出力できるように構成してある。   In order to make the in-vehicle computer 3 function specifically as the control means 6, the in-vehicle computer 1 sends control information S <b> 1 (for example, engine control) to the control system devices 41 of various in-vehicle devices 4 via the input / output interface 32. Signal, brake control signal, steering control signal, etc.).

画像処理手段5は、画像処理により、交差点物体情報として、カメラ1による撮影画像D1の中から人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、現在地周辺マップ画像D2の中から交差点の形状(図3(a)(c)または(d)を参照)を検出する機能を備える。   The image processing means 5 performs a function of detecting the presence / absence of a human shadow, the presence / absence of a traffic light and the color of the traffic light from the photographed image D1 taken by the camera 1 as the intersection object information, and the current location map as the intersection feature information. A function of detecting the shape of an intersection (see FIGS. 3A, 3C, or 3D) from the image D2 is provided.

画像処理手段5において、カメラ1による撮影画像D1の中から人影の有無を検出するための画像処理は、例えば人(ヒト)形の参照画像を予めデータ記憶部33の所定エリアに登録しておき、登録した参照画像にマッチングする画像が撮影画像D1の中に含まれているかどうかを調べる方式を採用してもよい。撮影画像D1の中から信号機の有無や信号機の色を検出するための画像処理も同様である。   In the image processing means 5, image processing for detecting the presence or absence of a human shadow from the photographed image D 1 by the camera 1 is performed by, for example, registering a human (human) reference image in a predetermined area of the data storage unit 33 in advance. A method of checking whether or not an image that matches the registered reference image is included in the captured image D1 may be adopted. The same applies to image processing for detecting the presence / absence of a traffic light and the color of the traffic light from the photographed image D1.

また、画像処理手段5において、現在地周辺マップ画像D2の中から交差点の形状を検出するための画像処理としては、例えば、現在地周辺マップ画像D2全体に対して公知の輪郭抽出処理または輪郭強調処理を施すことにより、現在地周辺マップ画像D2に含まれている交差点の輪郭形状が浮き上がるように処理することで、交差点の形状を検出してもよい。   In the image processing means 5, as the image processing for detecting the shape of the intersection from the current location surrounding map image D2, for example, a known contour extraction processing or contour enhancement processing is performed on the entire current location surrounding map image D2. By performing the processing so that the contour shape of the intersection included in the current location surrounding map image D2 is raised, the shape of the intersection may be detected.

以上説明した画像処理は、プログラムによるソフトウエア処理として実現することができ、この場合、そのプログラムは、車載コンピュータ3のデータ記憶部33の所定エリアに格納し、同車載コンピュータ3のCPU31によって実行されるように構成することができる。   The image processing described above can be realized as software processing by a program. In this case, the program is stored in a predetermined area of the data storage unit 33 of the in-vehicle computer 3 and is executed by the CPU 31 of the in-vehicle computer 3. Can be configured.

図4は図1の自動車自動運転システムにおけるデータ記憶部の説明図である。   FIG. 4 is an explanatory diagram of a data storage unit in the automobile automatic driving system of FIG.

図4を参照すると、車載コンピュータ3のデータ記憶部33は、人(ヒト)形の参照画像やプログラムを記憶する所定エリアのほか、更に複数のデータ記憶エリアA1、A2を有している。このデータ記憶エリアA1、A2には、第1のデータPM1として画像処理手段5で検出した人影の有無(交差点物体情報)、第2のデータPM2として画像処理手段5で検出した信号機の有無(交差点物体情報)、第3のデータPM3として画像処理手段5で検出した信号機の色(交差点物体情報)が格納されるとともに、これに加えて更に、第4のデータPM4として後述のメイン処理プログラムでの判定の処理により特定される自動車の行動パターン、そして、第5のデータPM5として画像処理手段5で検出した交差点の形状(交差点特徴情報)がそれぞれ格納される。なお、第4のデータPM4として格納される自動車の行動パターンや、第5のデータPM5として格納される交差点の形状(交差点特徴情報)は、画像処理手段5で人影の有無などの交差点物体情報を検出した時点に対応するものである。   Referring to FIG. 4, the data storage unit 33 of the in-vehicle computer 3 has a plurality of data storage areas A1 and A2 in addition to a predetermined area for storing a human (human) reference image and a program. In the data storage areas A1 and A2, the presence / absence of a human shadow detected by the image processing means 5 as the first data PM1 (intersection object information) and the presence / absence of the traffic light detected by the image processing means 5 as the second data PM2 (intersection) Object information) and the traffic light color (intersection object information) detected by the image processing means 5 are stored as third data PM3, and in addition to this, fourth data PM4 is stored in a main processing program described later. The behavior pattern of the automobile specified by the determination process and the shape of the intersection (intersection feature information) detected by the image processing means 5 are stored as the fifth data PM5. Note that the behavior pattern of the car stored as the fourth data PM4 and the shape of the intersection (intersection feature information) stored as the fifth data PM5 are the intersection object information such as the presence / absence of a human shadow by the image processing means 5. It corresponds to the time of detection.

図5は、図1の自動車自動運転システムにおける学習モードをプログラムによるソフトウエア処理として構成したときの、当該プログラムで利用するデータの取得の流れの説明図である。   FIG. 5 is an explanatory diagram of a flow of acquiring data used in the program when the learning mode in the automobile automatic driving system of FIG. 1 is configured as software processing by the program.

図5を参照すると、例えば交差点の直前で、画像処理手段5がその交差点の形状や信号機を検出するとともに、信号機の色として赤色を検出し、更に人影も検出した場合において、自動車が停止したという事例では、第1のデータPM1は“信号機あり”、第2のデータPM2は“赤”、第3のデータPM3は“人影あり”、
第4のデータPM4は“停止”という情報(値)になり、また、第5のデータPM5はその交差点の形状を特定する情報になる。
Referring to FIG. 5, for example, immediately before an intersection, the image processing means 5 detects the shape of the intersection and a traffic light, detects red as the color of the traffic light, and further detects a human figure. In the example, the first data PM1 is “with a traffic light”, the second data PM2 is “red”, the third data PM3 is “with a human figure”,
The fourth data PM4 is information (value) “stop”, and the fifth data PM5 is information specifying the shape of the intersection.

自動車の行動パターンは、“停止”のほか、“速度維持”、“減速・徐行”、“発車”を採用することができるが、これらの行動パターンに限定されることはない。   In addition to “stop”, “speed maintenance”, “deceleration / deceleration”, and “departure” can be adopted as the behavior pattern of the automobile, but the behavior pattern is not limited to these.

自動車の行動パターンを特定する方式としては各種考えられる。例えば、前記の通り計測機器類42から車載コンピュータ3に対して出力される計測情報D3(走行速度や舵角などの情報)のうち、走行速度の計測情報から交差点の直前で自動車がどのような行動を採ったのか、その自動車の行動パターンを特定してもよい。   There are various methods for identifying the behavior pattern of an automobile. For example, as described above, of the measurement information D3 (information such as travel speed and rudder angle) output from the measurement device 42 to the in-vehicle computer 3, what kind of vehicle is immediately before the intersection from the travel speed measurement information. The behavior pattern of the car may be specified whether the behavior is taken.

制御手段5は、交差点物体情報(具体的には、先に説明した第1〜第3のデータPM1〜PM3)とこれを検出した時点における自動車の行動パターン(具体的には、先に説明した第4のデータPM4)とに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと交差点特徴情報(具体的には、先に説明した第5のデータPM5)とに基づいて自動運転に必要な制御情報S1を制御系装置類41に対して出力する自動運転モードと、を備えている。   The control means 5 is the intersection object information (specifically, the first to third data PM1 to PM3 described above) and the behavior pattern of the automobile at the time of detecting this (specifically, described above). A learning mode for learning an automatic driving pattern based on the fourth data PM4), an automatic driving pattern obtained by the learning, and intersection feature information (specifically, the fifth data PM5 described above); And an automatic operation mode in which control information S1 necessary for automatic operation is output to the control system devices 41.

学習モードにおける自動運転パターンの学習は、前記のように第1から第5のデータPM1〜PM5をデータ記憶部33のデータ記憶エリアに格納する処理、すなわち(1)交差点物体情報と自動車の行動パターンと交差点特徴情報とを一組の学習基礎データとしてデータ記憶部33に複数組格納する処理と、(2)そのようにデータ記録部33に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含む構成になっている。   As described above, the learning of the automatic driving pattern in the learning mode is a process of storing the first to fifth data PM1 to PM5 in the data storage area of the data storage unit 33, that is, (1) intersection object information and car action pattern. And a process of storing a plurality of sets of intersection feature information as a set of learning basic data in the data storage unit 33, and (2) the same among a plurality of sets of learning basic data stored in the data recording unit 33 as described above A process of extracting learning basic data of contents and obtaining an automatic driving pattern based on the learning basic data having the largest number of extractions.

《学習モードの詳細説明》
学習モードは、車載コンピュータのCPUで実行されるプログラムによるソフトウエア処理として構成することができる。
《Detailed explanation of learning mode》
The learning mode can be configured as software processing by a program executed by the CPU of the in-vehicle computer.

図6は、学習モードを実現するメイン処理プログラムのフローチャート図、図7は、メイン処理プログラムで使用するサブ処理プログラム(データ収集処理プログラム)のフローチャート図である。   FIG. 6 is a flowchart of a main processing program for realizing the learning mode, and FIG. 7 is a flowchart of a sub processing program (data collection processing program) used in the main processing program.

図6のメイン処理プログラムは、図1の車載コンピュータ3のデータ記憶部33に格納され、図示しない学習モードの選択ボタンを押下することによってスタートし、車載コンピュータ1のCPU31で実行される。なお、学習モードの時は、実際に運転者がハンドルを持って自動車を運転操作する。   The main processing program in FIG. 6 is stored in the data storage unit 33 of the in-vehicle computer 3 in FIG. 1, starts when a learning mode selection button (not shown) is pressed, and is executed by the CPU 31 of the in-vehicle computer 1. In the learning mode, the driver actually drives the vehicle with the handle.

図6のメイン処理プログラムでは、スタート直後の初期処理として、第1から第5のデータPM1〜PM5を記憶するためのデータ記憶部33のデータ記憶エリア、並びに、データ収集カウンタをクリアし(ST1)、交差点の直前かどうかを判定する(ST2)。   In the main processing program of FIG. 6, as the initial processing immediately after the start, the data storage area of the data storage unit 33 for storing the first to fifth data PM1 to PM5 and the data collection counter are cleared (ST1). It is determined whether or not it is immediately before the intersection (ST2).

交差点の直前かどうかの判定の処理は、例えば、マップ取得手段2(カーナビゲーション装置)から車載コンピュータ3に対して交差点接近情報を出力させるように構成するとともに、その出力をトリガとして交差点の直前であると判定してもよい。   For example, the map acquisition means 2 (car navigation device) is configured to output the vehicle approach information to the in-vehicle computer 3, and the output is used as a trigger immediately before the intersection. You may determine that there is.

前記ST2において、交差点の直前ではないと判定した場合は、ST1に戻って交差点の直前かどうかの判定を行う(ST2のNo)。この一方、前記ST2において、交差点の直前であると判定した場合は、図7のサブ処理プログラムに移行し、データ収集処理を行なう(ST3)。   If it is determined in ST2 that it is not immediately before the intersection, the process returns to ST1 to determine whether it is immediately before the intersection (No in ST2). On the other hand, if it is determined in ST2 that it is immediately before the intersection, the process proceeds to the sub-processing program of FIG. 7 and data collection processing is performed (ST3).

図7を参照すると、データ収集処理では、初めに、第1〜第5のデータPM1〜PM5を取得する(ST31)。取得したデータPM1〜PM5は、データ記憶部33の第1のデータ記憶エリアA1に格納する(例えば、図4に示したデータNo.1の例を参照)。   Referring to FIG. 7, in the data collection process, first, first to fifth data PM1 to PM5 are acquired (ST31). The acquired data PM1 to PM5 are stored in the first data storage area A1 of the data storage unit 33 (see, for example, the example of data No. 1 shown in FIG. 4).

ここで、例えば、信号機のない交差点を歩行者が横断しているときに、その交差点の直前で自動車が停止した場合は、画像処理手段5が“信号機なし”および“人影あり”を検出するため、第1のデータPM1として“信号機なし”、第2のデータPM2として何も値のない“null値”、第3のデータPM3として“人影あり”、第4のデータPM4として“停止”、そして、第5のデータPM5として当該交差点の形状を特定する情報を取得し格納することになる(ST31)。   Here, for example, when a pedestrian crosses an intersection without a traffic light and the car stops immediately before the intersection, the image processing means 5 detects “no traffic light” and “with a human shadow”. , “No signal” as the first data PM1, “null value” with no value as the second data PM2, “with a human figure” as the third data PM3, “stop” as the fourth data PM4, and Then, information specifying the shape of the intersection is acquired and stored as the fifth data PM5 (ST31).

次に、前記のように取得し格納した第4のデータPM4、すなわち自動車の行動パターンが“停止”であるかどうかを判定する(ST32)。   Next, it is determined whether or not the fourth data PM4 acquired and stored as described above, that is, the behavior pattern of the automobile is “stop” (ST32).

ここで、停止ではないと判定した場合は、メイン処理プログラムのST4へ移行する(ST32のNo、ST33)。この一方、停止であると判定した場合は、停止した自動車がその後どのような行動を採ったのか、当該自動車の行動パターンを特定するために、ST31の処理に戻り(ST32のYes)、ST31とST32の処理を繰り返す。   If it is determined that the operation is not stopped, the process proceeds to ST4 of the main processing program (No in ST32, ST33). On the other hand, if it is determined that the vehicle is stopped, the process returns to ST31 in order to identify the behavior of the stopped vehicle and the behavior pattern of the vehicle (Yes in ST32). The process of ST32 is repeated.

なお、前記のようにST31とST32の処理を繰り返し実行した結果、最終的に停止ではないという判定が得られた場合には、その最終的な判定直前のST31の処理で取得した第1から第4のデータPM4を追加データとしてデータ記憶部33の第2のデータ記憶エリアA2に格納してから、メイン処理プログラムのST4の処理へ移行する(ST32のNo、ST33)。   As a result of repeatedly executing the processes of ST31 and ST32 as described above, if it is finally determined that the process is not stopped, the first to the first acquired in the process of ST31 immediately before the final determination are obtained. 4 data PM4 is stored in the second data storage area A2 of the data storage unit 33 as additional data, and then the process proceeds to ST4 of the main processing program (No in ST32, ST33).

その後、メイン処理プログラムでは、データ収集カウンタのカウント値をカウントアップし(ST4)、そのカウント値が所定値n(例えば、n=1000)に達したか否かを判定する(ST5)。   Thereafter, the main processing program counts up the count value of the data collection counter (ST4), and determines whether or not the count value has reached a predetermined value n (for example, n = 1000) (ST5).

ここで、前記カウント値が所定値nでない場合は、第1〜第5のデータPM1〜PM5を追加取得するため、ST2の処理に戻り、ST2からST5までの処理を繰り返し実行する。この一方、前記カウント値が所定値nになったら、後述するST6の学習まとめ処理を行なってから、ST2の処理に戻る。   Here, when the count value is not the predetermined value n, the process returns to ST2 to repeatedly acquire the first to fifth data PM1 to PM5, and the processes from ST2 to ST5 are repeatedly executed. On the other hand, when the count value reaches the predetermined value n, a learning summary process in ST6 described later is performed, and then the process returns to ST2.

前記ST2からST5までの処理の繰り返しによって、データ記憶部33のデータ記憶エリアA1、A2には、交差点物体情報(第1から第3のデータPM1〜PM3)とその交差点物体情報を検出した時点における自動車の行動パターン(第4のデータPM4)とからなる一組の学習基礎データが図8のように複数組格納されることになる。   By repeating the processing from ST2 to ST5, the data storage areas A1 and A2 of the data storage unit 33 have the intersection object information (first to third data PM1 to PM3) and the intersection object information detected at the time of detection. A plurality of sets of learning basic data composed of automobile behavior patterns (fourth data PM4) are stored as shown in FIG.

図8の例では、前述のデータ収集カウンタの所定値nを“n=4”に設定したので、データNO.1から4までの4組の学習基礎データが存在する状態になっている。   In the example of FIG. 8, since the predetermined value n of the above-described data collection counter is set to “n = 4”, the data NO. There are four sets of basic learning data from 1 to 4.

ST6の学習まとめ処理は、前記のようにデータ記憶部33のデータ記憶エリアA1、A2に格納した複数組の学習基礎データ(図8の例ではデータNO.1から4までの4組の学習基礎データ)の中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて最終的に自動運転パターンを学習する処理である。   As described above, the learning summary process in ST6 includes a plurality of sets of learning basic data stored in the data storage areas A1 and A2 of the data storage unit 33 (in the example of FIG. 8, four sets of learning basics from data Nos. 1 to 4). This is a process of extracting learning basic data having the same content from the data and finally learning an automatic driving pattern based on the learning basic data having the largest number of extractions.

図8の例では、データ記憶部33の第1のデータ記憶エリアA1に格納されているデータNO.1から4のうちデータNO.1と2と4の学習基礎データが同じ内容である、つまり、同じ内容の学習基礎データが3つ存在するので、データNO.1と2と4の学習基礎データが同じ内容の学習基礎データとして抽出される。これに関連付けてデータ記憶部33の第2のデータ記憶エリアA2に格納されているデータNO.1と2と4の学習基礎データも一緒に抽出される。この際、同じ内容の学習基礎データの抽出数は3であり、最大であるから、図8の例では、データNO.1と2と4の学習基礎データに基づいて所定の自動運転パターンを学習する。   In the example of FIG. 8, the data No. 1 stored in the first data storage area A1 of the data storage unit 33 is displayed. 1 to 4 of data NO. The learning basic data of 1, 2 and 4 have the same contents, that is, there are three learning basic data with the same contents. The learning basic data of 1, 2 and 4 are extracted as learning basic data having the same content. In association with this, the data No. 2 stored in the second data storage area A2 of the data storage unit 33 is stored. The basic learning data of 1, 2 and 4 are also extracted together. At this time, the number of extracted learning basic data having the same content is 3, which is the maximum, so in the example of FIG. A predetermined automatic driving pattern is learned based on the learning basic data of 1, 2, and 4.

図8の例で学習により得られる自動運転パターンは、データNO.1と2と4の学習基礎データに基づくので、信号なしの交差点で人影が有ったら自動車を停止し、人影が無くなったら自動車を発車するという一連の動作になる。   The automatic driving pattern obtained by learning in the example of FIG. Since it is based on the basic learning data of 1, 2, and 4, it is a series of operations in which a car is stopped when there is a person at an intersection without a signal and a car is started when there is no person.

また、先に説明した学習により得られる自動運転パターンには、付加情報として交差点特徴情報(具体的には、データNO.1と2と4に含まれている第5のデータPM5)が付加される。例えば、図8の例で学習により得られる自動運転パターンが図3に示した交差点の直前で得た学習基礎データに基づくものであるなら、その図3の交差点の形状を特定する情報(第5のデータPM5)が交差点特徴情報として付加されることになる。   In addition, intersection feature information (specifically, fifth data PM5 included in data Nos. 1, 2 and 4) is added as additional information to the automatic driving pattern obtained by the learning described above. The For example, if the automatic driving pattern obtained by learning in the example of FIG. 8 is based on the learning basic data obtained immediately before the intersection shown in FIG. 3, the information specifying the shape of the intersection in FIG. Data PM5) is added as intersection feature information.

以上説明した学習により得られる自動運転パターンは、車載コンピュータ3のデータ記憶部33の所定エリアに格納され、自動運転モードで参照される。   The automatic driving pattern obtained by the learning described above is stored in a predetermined area of the data storage unit 33 of the in-vehicle computer 3 and is referred to in the automatic driving mode.

《自動運転モードの詳細説明》
自動運転モードもまた、車載コンピュータ3のCPU31で実行されるプログラムによるソフトウエア処理として構成することができる。
<Detailed explanation of automatic operation mode>
The automatic operation mode can also be configured as software processing by a program executed by the CPU 31 of the in-vehicle computer 3.

先に説明した画像処理手段5は、現在地周辺マップ画像の中から交差点の形状に加えて更に、その交差点に繋がっている道路の形状も画像処理によって検出することができ、自動運転モードでは、その画像処理手段5で検出した道路の形状に沿って自動運転を行うために必要な制御情報S1を、車載コンピュータ3から入出力インターフェース32を介して自動車の制御系装置類41へ出力する。   In addition to the shape of the intersection, the image processing means 5 described above can detect the shape of the road connected to the intersection from the current location map image by image processing. Control information S1 necessary for automatic driving along the road shape detected by the image processing means 5 is output from the in-vehicle computer 3 to the control system devices 41 of the automobile via the input / output interface 32.

また、自動運転モードでは、先に説明した学習モードと同じように、交差点の直前かどうかを判定し、交差点の直前であると判定した場合は、前記のように学習した自動運転パターンを参照し、参照した自動運転パターン通りの自動運転を行うために必要な制御情報S1を、車載コンピュータ1から入出力インターフェース32を介して自動車の制御系装置類41へ出力する。   Also, in the automatic driving mode, as in the learning mode described above, it is determined whether or not it is immediately before the intersection, and when it is determined that it is immediately before the intersection, the automatic driving pattern learned as described above is referred to. Then, the control information S1 necessary for performing the automatic driving in accordance with the referred automatic driving pattern is output from the in-vehicle computer 1 to the control system devices 41 of the automobile via the input / output interface 32.

さらに、自動運転モードでは、前記交差点で自動車が右折または左折の動作に入る場合は、その交差点の直前で画像処理手段5が検出した交差点特徴情報、すなわち交差点の形状に沿って自動運転を行うために必要な制御情報S1も、車載コンピュータ3から入出力インターフェース32を介して自動車の制御系装置類41へ出力する。   Further, in the automatic driving mode, when the vehicle enters a right turn or left turn at the intersection, the automatic driving is performed along the intersection feature information detected by the image processing means 5 immediately before the intersection, that is, the shape of the intersection. The control information S1 necessary for the control is also output from the in-vehicle computer 3 to the control system devices 41 of the automobile via the input / output interface 32.

ところで、画像処理手段5は、カメラ1による撮影画像の中から交差点での対向車を画像処理によって検出するように構成してもよい。このような構成を採用した場合の自動運転モードでは、例えば交差点で右折をしようとする場合、画像処理手段5によって人影を検出できず、かつ、対向車も検出できなくなった場合に初めて、交差点の形状に沿って自動運転を行うために必要な制御信号S1を出力してもよい。   By the way, the image processing means 5 may be configured to detect an oncoming vehicle at an intersection from an image captured by the camera 1 by image processing. In the automatic driving mode when such a configuration is adopted, for example, when trying to make a right turn at an intersection, it is not possible to detect a human figure by the image processing means 5 and no oncoming vehicle can be detected. You may output control signal S1 required in order to perform an automatic driving | running along a shape.

《情報ネットワークの説明》
図8は、図1の自動車自動運転システムにおける情報ネットワークの説明図である。
<Description of information network>
FIG. 8 is an explanatory diagram of an information network in the automatic vehicle driving system of FIG.

図9を参照すると、前記学習によって得られた自動運転パターンは、インターネット通信網100を経由して自動運転監視サーバ101へ送信される。この際、その自動運転パターンには前述の通り交差点特徴情報(交差点の形状)が付加されているので、その交差点特徴情報も自動運転パターンの付加情報として自動運転監視サーバ100へ送信されることになる。   Referring to FIG. 9, the automatic driving pattern obtained by the learning is transmitted to the automatic driving monitoring server 101 via the Internet communication network 100. At this time, since the intersection feature information (intersection shape) is added to the automatic driving pattern as described above, the intersection feature information is also transmitted to the automatic driving monitoring server 100 as additional information of the automatic driving pattern. Become.

インターネット通信網への接続方法としては、車載コンピュータ3に設けられている通信モジュール34を使ってインターネット通信網100に直接接続してもよいし、また通信モジュール34からスマートフォンを介してインターネット通信網100に接続してもよい。   As a connection method to the Internet communication network, the communication module 34 provided in the in-vehicle computer 3 may be used to connect directly to the Internet communication network 100, or the communication module 34 may connect to the Internet communication network 100 via a smartphone. You may connect to.

自動運転監視サーバ100は、自動運転パターン(交差点特徴情報を含む)を蓄積するデータベースと、データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有している。   The automatic driving monitoring server 100 has a database that stores automatic driving patterns (including intersection feature information), and an information processing function that processes the automatic driving patterns stored in the database as information.

自動運転監視サーバ100の情報処理機能は、データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、このグループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループにおける代表自動運転パターンとして採用する処理と、を含む。この代表自動運転パターンを採用する処理は、定期的に行うなど、所定のタイミングで行うことができる。   The information processing function of the automatic driving monitoring server 100 extracts the automatic driving pattern having the same intersection feature information from the automatic driving patterns stored in the database, and the extracted automatic driving pattern as one intersection common group Refers to the grouping process and one intersection common group obtained by this grouping process, extracts the automatic driving pattern of the same content from the referenced intersection common group, and the automatic driving with the largest number of extraction And a process of adopting the pattern as a representative automatic driving pattern in the one intersection common group. The process of adopting the representative automatic driving pattern can be performed at a predetermined timing such as periodically.

前記代表自動運転パターンは、例えば、自動運転監視サーバ101からインターネット通信網100を介して各自動車の車載コンピュータ3に対してフィードバックすることにより、それぞれの自動車が個別に自ら学習した自動運転パターンを修正するデータとして活用してもよい。   The representative automatic driving pattern is corrected, for example, by the automatic driving monitoring server 101 via the Internet communication network 100 to the in-vehicle computer 3 of each car, thereby automatically correcting the automatic driving pattern learned by each car. It may be used as data to be used.

《他の実施形態について》
前記カメラ1の具体的な構成として、図1の自動車自動運転システムSでは、前述の通り当該カメラ1を自動車の屋根に取付け、取付けた当該カメラ1で自動車の走行方向前方を撮影するという構成を採用したが、これに加えて更に、前方以外の方向(例えば、自動車の左右両側方や後方)を撮影できるように構成してもよい。
<< About other embodiments >>
As a specific configuration of the camera 1, the automatic vehicle driving system S of FIG. 1 has a configuration in which the camera 1 is attached to the roof of the vehicle as described above and the front of the vehicle in the traveling direction is photographed with the camera 1 attached. In addition to this, in addition to this, it may be configured to be able to photograph directions other than the front (for example, both right and left sides of the automobile and the rear).

この場合、カメラ1は、図示しない回転駆動機構を介して図1のように自動車の屋根に取付け、その取付け位置を中心として360°回転できるように設けることで、自動車の前方、左右両側方、後方を撮影できるように構成してもよい。   In this case, the camera 1 is attached to the roof of the automobile as shown in FIG. 1 via a rotation drive mechanism (not shown), and is provided so as to be able to rotate 360 ° around the attachment position. You may comprise so that the back can be image | photographed.

また、カメラ1は、自動車の前後左右4方向を撮影する手段として、それぞれの方向に対応して複数(例えば4台)設けられる構成を採用することもできる。この場合、カメラの台数は撮影する方向に応じて適宜増減することができる。   In addition, the camera 1 may employ a configuration in which a plurality (for example, four) of cameras are provided corresponding to each direction as means for photographing the front, rear, left, and right directions of the automobile. In this case, the number of cameras can be appropriately increased or decreased according to the shooting direction.

また、カメラ1は、その撮影方向や取付け位置の設定によって、撮影画像の中に自動車のドアミラーの画像が含まれるように構成してもよい。   Further, the camera 1 may be configured such that an image of an automobile door mirror is included in the captured image depending on the setting of the capturing direction and the mounting position.

S 自動車自動運転システム
1 カメラ
2 マップ取得手段
3 車載コンピュータ
31 CPU
32 CPU
33 データ記憶部
34 通信モジュール
4 各種車載機器
41 制御系装置類
411 エンジン制御装置
412 ブレーキ制御装置
413 ステアリング制御装置
42 計測機器類
421 走行速度計測器
422 舵角計測器
5 画像処理手段
6 制御手段
100 インターネット通信網
101 自動運転監視サーバ
A1、A2 データ記憶エリア
D1 現在地周辺マップ画像
D2 撮影画像
D3 計測情報
S1 制御情報
S Automobile driving system 1 Camera 2 Map acquisition means 3 In-vehicle computer 31 CPU
32 CPU
33 Data storage unit 34 Communication module 4 Various in-vehicle devices 41 Control system devices 411 Engine control device 412 Brake control device 413 Steering control device 42 Measuring devices 421 Traveling speed measuring device 422 Steering angle measuring device 5 Image processing means 6 Control means 100 Internet communication network 101 Automatic operation monitoring server A1, A2 Data storage area D1 Current location map image D2 Captured image D3 Measurement information S1 Control information

Claims (6)

自動車の周囲を撮影するカメラと、
前記自動車の現在地周辺マップ画像を取得するマップ取得手段と、
前記カメラによる撮影画像や前記現在地周辺マップ画像を処理する画像処理手段と、
前記画像処理手段での処理結果に基づいて前記自動車を制御する制御手段と、を有し、
前記画像処理手段は、画像処理により、交差点物体情報として、前記カメラによる撮影画像の中から人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、前記現在地周辺マップ画像の中から交差点の形状を検出する機能を備え、
前記制御手段は、前記交差点物体情報とこれを検出した時点における前記自動車の行動パターンとに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと前記交差点特徴情報とに基づいて自動車の自動運転に必要な制御情報を出力する自動運転モードと、を備えること
を特徴とする自動車自動運転システム。
A camera that captures the area around the car,
Map acquisition means for acquiring a map around the current location of the vehicle;
Image processing means for processing an image captured by the camera and the current location map image;
Control means for controlling the automobile based on a processing result in the image processing means,
The image processing means is configured to detect the presence / absence of a human shadow, the presence / absence of a traffic light, and the color of a traffic light from the image captured by the camera as intersection object information by image processing, and the current location map as intersection feature information It has a function to detect the shape of the intersection from the image,
The control means includes a learning mode for learning an automatic driving pattern based on the intersection object information and the behavior pattern of the automobile at the time of detecting the intersection object information, an automatic driving pattern obtained by the learning, and the intersection feature information, And an automatic driving mode for outputting control information necessary for automatic driving of the vehicle based on the vehicle.
前記自動運転パターンの学習は、
前記交差点物体情報と前記自動車の行動パターンを一組の学習基礎データとしてデータ記憶部に複数組格納する処理と、
前記データ記憶部に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含むこと
を特徴とする請求項1に記載の自動車自動運転システム。
The learning of the automatic driving pattern is as follows:
A process of storing a plurality of sets of the intersection object information and the behavior pattern of the automobile as a set of learning basic data in a data storage unit;
Processing for extracting learning basic data having the same content from a plurality of sets of learning basic data stored in the data storage unit and obtaining an automatic driving pattern based on the learning basic data having the largest number of extractions. The automatic vehicle driving system according to claim 1.
前記カメラは、その取付け位置を中心として360°の回転が可能に設けられることにより、当該自動車の前方、左右両側方、後方を撮影可能であること
を特徴とする請求項1または2のいずれか1項に記載の自動車自動運転システム。
3. The camera according to claim 1, wherein the camera can be photographed in front, left and right sides, and rear of the vehicle by being provided so as to be able to rotate 360 ° around the mounting position. The automobile automatic driving system according to item 1.
前記カメラは、前記自動車の前後左右4方向を撮影する手段として、それぞれの方向に対応して複数設けられていること
を特徴とする請求項1または2のいずれか1項に記載の自動車自動運転システム。
3. The automatic driving of a vehicle according to claim 1, wherein a plurality of the cameras are provided corresponding to each direction as means for photographing four directions of front, rear, left and right of the vehicle. 4. system.
前記カメラによる撮影画像の中には、前記自動車のドアミラーの画像が含まれていること
を特徴とする請求項1または2のいずれか1項に記載の自動車自動運転システム。
The vehicle automatic driving system according to claim 1, wherein an image of the door mirror of the automobile is included in an image captured by the camera.
前記学習によって得られた前記自動運転パターンは、インターネット通信網を経由して自動運転監視サーバへ送信され、
前記自動運転監視サーバは、
前記自動運転パターンを蓄積するデータベースと、
前記データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有し、
前記情報処理機能は、
前記データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、
前記グループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループの代表自動運転パターンとして採用する処理と、を含むこと
を特徴とする請求項1から5のいずれか1項に記載の自動車自動運転システム。
The automatic driving pattern obtained by the learning is transmitted to the automatic driving monitoring server via the Internet communication network,
The automatic operation monitoring server is
A database for accumulating the automatic driving patterns;
An information processing function for processing the automatic driving pattern stored in the database as information, and
The information processing function is
Extracting the automatic driving pattern having the same intersection feature information from the automatic driving pattern stored in the database, and grouping the extracted automatic driving pattern as one intersection common group,
Refers to one intersection common group obtained by the grouping process, extracts an automatic driving pattern having the same contents from the referenced intersection common group, and selects the automatic driving pattern having the largest number of extractions as the common intersection of the one intersection 6. The automatic vehicle driving system according to claim 1, further comprising: a process employed as a group representative automatic driving pattern.
JP2017007769A 2017-01-19 2017-01-19 Automatic driving system for vehicle Pending JP2018114894A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017007769A JP2018114894A (en) 2017-01-19 2017-01-19 Automatic driving system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007769A JP2018114894A (en) 2017-01-19 2017-01-19 Automatic driving system for vehicle

Publications (1)

Publication Number Publication Date
JP2018114894A true JP2018114894A (en) 2018-07-26

Family

ID=62983756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007769A Pending JP2018114894A (en) 2017-01-19 2017-01-19 Automatic driving system for vehicle

Country Status (1)

Country Link
JP (1) JP2018114894A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298186A (en) * 2019-07-23 2021-02-02 丰田自动车株式会社 Signal interpretation system and vehicle control system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298186A (en) * 2019-07-23 2021-02-02 丰田自动车株式会社 Signal interpretation system and vehicle control system
CN112298186B (en) * 2019-07-23 2024-05-28 丰田自动车株式会社 Signal interpretation system and vehicle control system

Similar Documents

Publication Publication Date Title
US11011062B2 (en) Pedestrian detection apparatus and pedestrian detection method
US9443153B1 (en) Automatic labeling and learning of driver yield intention
CN108230731B (en) Parking lot navigation system and method
CN106503653B (en) Region labeling method and device and electronic equipment
JP6888950B2 (en) Image processing device, external world recognition device
CN112349144B (en) Monocular vision-based vehicle collision early warning method and system
KR102448358B1 (en) Camera evaluation technologies for autonomous vehicles
EP3400556A1 (en) Systems and methods for estimating future paths
WO2018046015A1 (en) Alarm method, device and terminal for vehicle
WO2013011952A1 (en) Traffic lane recognition apparatus
CN109501807B (en) Automatic driving attention detection system and method
US11423673B2 (en) Method and device for detecting state of holding steering wheel
CN109664889B (en) Vehicle control method, device and system and storage medium
US10964137B2 (en) Risk information collection device mounted on a vehicle
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN111351474B (en) Vehicle moving target detection method, device and system
JP7461399B2 (en) Method and device for assisting the running operation of a motor vehicle, and motor vehicle
JP2017129973A (en) Driving support apparatus and driving support method
JP2006236094A (en) Obstacle recognition system
JP2018114894A (en) Automatic driving system for vehicle
WO2022244356A1 (en) Light interference detection during vehicle navigation
US11807264B2 (en) Driving assistance apparatus, driving assistance method, and medium
US9881233B2 (en) Image recognition apparatus
JP2009159241A (en) Parking-time stop assisting system
JP7030000B2 (en) Information processing methods, information processing systems, and programs