JP2015222479A - Vehicle exterior environment recognition device - Google Patents

Vehicle exterior environment recognition device Download PDF

Info

Publication number
JP2015222479A
JP2015222479A JP2014106207A JP2014106207A JP2015222479A JP 2015222479 A JP2015222479 A JP 2015222479A JP 2014106207 A JP2014106207 A JP 2014106207A JP 2014106207 A JP2014106207 A JP 2014106207A JP 2015222479 A JP2015222479 A JP 2015222479A
Authority
JP
Japan
Prior art keywords
light
traffic
color
vehicle
light emitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014106207A
Other languages
Japanese (ja)
Other versions
JP6270624B2 (en
Inventor
匡史 松田
Tadashi Matsuda
匡史 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2014106207A priority Critical patent/JP6270624B2/en
Publication of JP2015222479A publication Critical patent/JP2015222479A/en
Application granted granted Critical
Publication of JP6270624B2 publication Critical patent/JP6270624B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow identification accuracy of a traffic light to be enhanced.SOLUTION: A vehicle exterior environment recognition device 120 comprises: an object identification unit 164 that identifies a light emitting body of a traffic light and a traffic light color of the light emitting body; a three-dimensional location information generation unit 162 that derives a location of the light emitting body; and an object exclusion unit 166 that excludes a light emitting body of a red traffic light color from an object serving as a control object with the light emitting body as a condition where a light emitting body of other traffic light color exists at the same distance as a relative distance to the light emitting body of the red traffic light color, and above the light emitting body of the red traffic light color with the light emitting body of the red traffic light color as a reference when the light emitting body is plurally detected and at least one light emitting body is the red traffic light color.

Description

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、信号機を特定するのに適した車外環境認識装置に関する。   The present invention relates to a vehicle environment recognition device that recognizes an environment outside the host vehicle, and more particularly to a vehicle environment recognition device that is suitable for identifying a traffic light.

従来、自車両の前方に位置する車両や信号機等の特定物を検出し、先行車両との衝突を回避したり(衝突回避制御)、信号機の信号色を認識しつつ、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている(例えば、特許文献1)。   Conventionally, a specific object such as a vehicle or a traffic light located in front of the host vehicle is detected to avoid a collision with the preceding vehicle (collision avoidance control), or the distance between the preceding vehicle and the signal color of the traffic signal is recognized. There is known a technique (cruise control) for controlling the vehicle so as to keep it at a safe distance (for example, Patent Document 1).

このような特定物は、自車両前方の車外環境を撮像した画像から、その輝度や距離に基づいて抽出される。例えば、車外のカラー画像を撮像し、隣接する画素同士をグループ化して、距離、大きさ、高さ、および、自車両の進行路に対する位置等に基づいて信号機等の発光体(ランプ)を認識する技術が知られている(例えば、特許文献2)。   Such a specific object is extracted from an image obtained by capturing an environment outside the vehicle ahead of the host vehicle based on the luminance and distance. For example, color images outside the vehicle are captured, adjacent pixels are grouped together, and light emitters (lamps) such as traffic lights are recognized based on distance, size, height, and position of the host vehicle with respect to the traveling path. The technique to do is known (for example, patent document 2).

特許第3349060号公報Japanese Patent No. 3349060 特開2010−224925号公報JP 2010-224925 A

ところで、信号機のなかには、自動車に対して設けられた自動車用信号機に、例えば路面電車に対して設けられた路面電車用信号機が併設されているものがある。このような信号機では、自動車用信号機および路面電車用信号機それぞれの発光体が同時に発光する。したがって、自動車用信号機および路面電車用信号機それぞれの発光体の信号色を単純に特定物として特定してしまうと、特許文献1のような技術では、路面電車用信号機の信号色に基づいても自車両を制御してしまうことになる。そこで、自動車用信号機以外の信号機が併設されている場合であっても、自動車用信号機の信号色のみを精度よく特定することが望まれている。   By the way, some of the traffic signals are provided with a traffic signal for a streetcar provided for a streetcar, for example, in addition to a traffic signal for a vehicle provided for a vehicle. In such a traffic light, the light emitters of the car traffic light and the streetcar traffic light each emit light simultaneously. Therefore, if the signal colors of the light emitters of the car traffic signal and the tramway traffic signal are simply specified as specific objects, the technique as in Patent Document 1 will automatically be based on the signal color of the tramway traffic signal. The vehicle will be controlled. Therefore, it is desired to accurately specify only the signal color of the automobile traffic signal even when a traffic signal other than the automobile traffic signal is provided.

本発明は、このような課題に鑑み、信号機の特定精度を高めることが可能な車外環境認識装置を提供することを目的としている。   In view of such a problem, an object of the present invention is to provide a vehicle environment recognition apparatus that can increase the accuracy of identifying a traffic light.

上記課題を解決するために、本発明の車外環境認識装置は、信号機の発光体、および、該発光体の信号色を特定する信号機特定部と、前記発光体の位置を導出する位置情報生成部と、前記発光体が複数検出され、かつ、少なくとも1の該発光体が赤色信号色である場合、該赤色信号色の発光体を基準として、該赤色信号色の発光体と相対距離が同一とされる距離で、かつ、該赤色信号色の発光体の上方に他の該信号色の発光体があることを条件として、該赤色信号色の発光体を制御対象となる対象物から除外する対象物除外部と、を備える。   In order to solve the above-described problems, an external environment recognition apparatus according to the present invention includes a light emitter of a traffic light, a traffic light identifying unit that identifies a signal color of the light emitter, and a position information generating unit that derives the position of the light emitter. A plurality of the light emitters and at least one of the light emitters has a red signal color, the relative distance is the same as the light emitter of the red signal color on the basis of the light emitter of the red signal color. A target that excludes the red signal light emitter from the control target object, provided that there is another light emitter of the signal color above the light emitter of the red signal color. An object exclusion unit.

また、前記信号機には、自動車に対する自動車用信号機と、前記自動車以外の移動体に対する信号機とが含まれ、前記自動車用信号機は、該自動車以外の移動体に対する信号機の上方に配置されているとよい。   In addition, the traffic signal includes a traffic signal for a vehicle for a vehicle and a traffic signal for a moving body other than the vehicle, and the traffic signal for the vehicle may be disposed above a traffic signal for a moving body other than the vehicle. .

本発明によれば、信号機の特定精度を高めることが可能となる。   According to the present invention, it is possible to increase the accuracy of identifying a traffic light.

環境認識システムの接続関係を示したブロック図である。It is the block diagram which showed the connection relation of the environment recognition system. 車外環境認識装置の概略的な機能を示した機能ブロック図である。It is the functional block diagram which showed the schematic function of the external environment recognition apparatus. 輝度画像と距離画像を説明するための説明図である。It is explanatory drawing for demonstrating a luminance image and a distance image. 信号機特定部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a traffic signal specific | specification part. 自動車用信号機および路面電車用信号機が併設された信号機を示す図である。It is a figure which shows the traffic signal with which the traffic signal for motor vehicles and the traffic signal for streetcars were attached. 対象物除外処理を説明するためのフローチャートである。It is a flowchart for demonstrating a target object exclusion process.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ(ACC:Adaptive Cruise Control)、所謂衝突防止機能を搭載した車両が普及しつつある。   In recent years, an in-vehicle camera mounted on a vehicle images a road environment ahead of the host vehicle, identifies an object such as a preceding vehicle based on color information and position information in the image, and collides with the identified object. Vehicles equipped with a so-called anti-collision function, which avoids the above-mentioned problem and keeps the inter-vehicle distance from the preceding vehicle at a safe distance (ACC: Adaptive Cruise Control), are becoming popular.

このような車外環境を認識する車外環境認識装置を搭載した車両では、車両前方に位置する信号機の信号色によって自車両の走行状態を制御することも考えられる。例えば、ACCでの走行中に前方の信号機の信号色が赤色であれば、車両を制動して停止状態に移行させること等が考えられる。   In a vehicle equipped with such a vehicle environment recognition device for recognizing the vehicle environment, it is conceivable to control the traveling state of the host vehicle based on the signal color of a traffic light located in front of the vehicle. For example, if the signal color of the traffic light ahead is red while traveling in ACC, it may be possible to brake the vehicle and shift to a stopped state.

しかしながら、信号機のなかには、自動車に対して設けられた自動車用信号機に、例えば路面電車に対して設けられた路面電車用信号機が併設されているものがある。このような信号機では、自動車用信号機および路面電車用信号機それぞれのいずれかの発光体(ランプ)が同時に発光する場合がある。したがって、車外環境認識装置では、複数の発光体が認識された場合、その複数の発光体から、自動車に対して設けられた自動車用信号機の信号色を特定し、その信号色に基づいて自車両の走行状態を制御する必要がある。そこで、本実施形態では、他の移動体(路面電車)に対して設けられた信号機の信号色を制御対象から除外することで、信号機の特定精度を高めることが可能な車外環境認識装置を提供する。   However, some of the traffic lights are provided with a traffic signal for a streetcar provided for a streetcar, for example, in addition to a traffic signal for an automobile provided for a vehicle. In such a traffic light, the light emitters (lamps) of either the traffic light for automobiles and the traffic light for streetcars may emit light simultaneously. Therefore, when a plurality of light emitters are recognized, the vehicle exterior environment recognition device identifies a signal color of a traffic signal for an automobile provided for the automobile from the plurality of light emitters, and the host vehicle is based on the signal color. It is necessary to control the running state. Therefore, in the present embodiment, an outside environment recognition device is provided that can improve the accuracy of identifying a traffic signal by excluding the signal color of the traffic signal provided for another moving body (tram) from the control target. To do.

(環境認識システム100)
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
(Environment recognition system 100)
FIG. 1 is a block diagram showing a connection relationship of the environment recognition system 100. The environment recognition system 100 includes an imaging device 110, a vehicle exterior environment recognition device 120, and a vehicle control device (ECU: Engine Control Unit) 130 provided in the host vehicle 1.

撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方に相当する環境を撮像し、3つの色相(R(赤)、G(緑)、B(青))からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置110で撮像されたカラー画像を輝度画像と呼び、後述する距離画像と区別する。   The imaging device 110 includes an imaging element such as a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS), captures an environment corresponding to the front of the host vehicle 1, and captures three hues (R ( A color image or a monochrome image composed of (red), G (green), and B (blue) can be generated. Here, the color image picked up by the image pickup device 110 is called a luminance image, and is distinguished from a distance image described later.

また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する対象物を撮像した画像データを、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路(進行路)、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。   In addition, the imaging devices 110 are arranged in a substantially horizontal direction so that the optical axes of the two imaging devices 110 are substantially parallel on the traveling direction side of the host vehicle 1. The imaging device 110 continuously generates image data obtained by imaging an object existing in the detection area in front of the host vehicle 1, for example, every 1/60 second frame (60 fps). Here, the object to be recognized is not only a three-dimensional object that exists independently, such as a vehicle, a pedestrian, a traffic light, a road (traveling path), and a guardrail, but also one of three-dimensional objects such as taillights, blinkers, and lighting parts of traffic lights. The thing which can be specified as a part is also included. Each functional unit in the following embodiment performs each process for each frame in response to such update of the image data.

車外環境認識装置120は、2つの撮像装置110それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報(後述する相対距離に相当)を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置120は、輝度画像に基づく輝度、および、距離画像に基づく自車両1との相対距離を用いて自車両1前方の検出領域における対象物がいずれの特定物に対応するかを特定する。   The vehicle exterior environment recognition device 120 acquires image data from each of the two imaging devices 110, derives parallax using so-called pattern matching, and associates the derived parallax information (corresponding to a relative distance described later) with the image data. Generate a distance image. The luminance image and the distance image will be described in detail later. Further, the outside environment recognition device 120 uses the luminance based on the luminance image and the relative distance from the own vehicle 1 based on the distance image to which specific object the target in the detection area in front of the own vehicle 1 corresponds. Is identified.

車外環境認識装置120は、特定物を特定すると、その特定物(例えば、信号機の信号色)に基づいて、自車両1の進行を許可または自車両1を停止させるように、車両制御装置130に対して、その旨を示す情報を出力する。   When the outside environment recognition apparatus 120 identifies a specific object, the vehicle control apparatus 130 instructs the vehicle control apparatus 130 to permit the travel of the host vehicle 1 or stop the host vehicle 1 based on the specific object (for example, the signal color of the traffic light). On the other hand, information indicating that is output.

車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転者の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、駆動機構144、制動機構146を制御する。   The vehicle control device 130 receives a driver's operation input through the steering wheel 132, the accelerator pedal 134, and the brake pedal 136, and controls the host vehicle 1 by transmitting it to the steering mechanism 142, the drive mechanism 144, and the brake mechanism 146. In addition, the vehicle control device 130 controls the drive mechanism 144 and the braking mechanism 146 in accordance with instructions from the outside environment recognition device 120.

以下、車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、制御入力となる信号機の特定手順と、その前提となる、自車両1が進行する軌跡である進行軌跡について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。   Hereinafter, the configuration of the outside environment recognition device 120 will be described in detail. Here, the procedure for specifying a traffic signal as a control input, which is characteristic of the present embodiment, and the travel trajectory that is the trajectory of the host vehicle 1 that is the premise thereof will be described in detail, and are irrelevant to the features of the present embodiment. The description of the configuration is omitted.

(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
(Vehicle environment recognition device 120)
FIG. 2 is a functional block diagram showing a schematic function of the outside environment recognition device 120. As shown in FIG. 2, the vehicle exterior environment recognition device 120 includes an I / F unit 150, a data holding unit 152, and a central control unit 154.

I/F部150は、撮像装置110や車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置110から受信した画像データを一時的に保持する。   The I / F unit 150 is an interface for performing bidirectional information exchange with the imaging device 110 and the vehicle control device 130. The data holding unit 152 includes a RAM, a flash memory, an HDD, and the like. The data holding unit 152 holds various pieces of information necessary for the processing of each function unit described below, and temporarily holds image data received from the imaging device 110. To do.

中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、画像処理部160、3次元位置情報生成部162、対象物特定部164、対象物除外部166、制御指示出力部168としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、対象物除外処理、制御指示出力処理といった順に詳細な動作を説明する。   The central control unit 154 is configured by a semiconductor integrated circuit including a central processing unit (CPU), a ROM storing a program, a RAM as a work area, and the like, and through the system bus 156, an I / F unit 150, a data holding unit 152 and the like are controlled. In the present embodiment, the central control unit 154 also functions as an image processing unit 160, a three-dimensional position information generation unit 162, an object specifying unit 164, an object excluding unit 166, and a control instruction output unit 168. In the following, detailed operations of such functional units will be described in the order of image processing, target object specifying process, target object excluding process, and control instruction output process based on the general purpose.

(画像処理)
画像処理部160は、2つの撮像装置110それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。
(Image processing)
The image processing unit 160 acquires image data from each of the two imaging devices 110, and selects a block corresponding to a block arbitrarily extracted from one image data (for example, an array of horizontal 4 pixels × vertical 4 pixels) as the other image data. The parallax is derived using so-called pattern matching that is searched from the above. Here, “horizontal” indicates the horizontal direction of the captured luminance image, and “vertical” indicates the vertical direction of the captured luminance image.

このパターンマッチングとしては、2つの画像データ間において、任意の画像位置を示すブロック単位で輝度(Y色差信号)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理部160は、このようなブロック単位の視差導出処理を検出領域(例えば水平600画素×垂直180画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。   As this pattern matching, it is conceivable to compare the luminance (Y color difference signal) in units of blocks indicating an arbitrary image position between two pieces of image data. For example, SAD (Sum of Absolute Difference) that takes a luminance difference, SSD (Sum of Squared Intensity Difference) that uses the difference squared, or NCC that takes the similarity of a variance value obtained by subtracting an average value from the luminance of each pixel There are methods such as (Normalized Cross Correlation). The image processing unit 160 performs such a block-unit parallax derivation process for all blocks displayed in the detection area (for example, horizontal 600 pixels × vertical 180 pixels). Here, the block is assumed to be horizontal 4 pixels × vertical 4 pixels, but the number of pixels in the block can be arbitrarily set.

ただし、画像処理部160では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位(例えばブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差情報(後述する相対距離に相当)を画像データに対応付けた画像を距離画像という。   However, the image processing unit 160 can derive the parallax for each block, which is a unit of detection resolution, but cannot recognize what kind of target object the block is. Accordingly, the disparity information is derived independently not in units of objects but in units of detection resolution (for example, blocks) in the detection region. Here, an image in which the parallax information derived in this way (corresponding to a relative distance described later) is associated with image data is referred to as a distance image.

図3は、輝度画像210と距離画像212を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域214について図3(a)のような輝度画像(画像データ)210が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像210の一方のみを模式的に示している。本実施形態において、画像処理部160は、このような輝度画像210からブロック毎の視差を求め、図3(b)のような距離画像212を形成する。距離画像212における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。   FIG. 3 is an explanatory diagram for explaining the luminance image 210 and the distance image 212. For example, it is assumed that a luminance image (image data) 210 as illustrated in FIG. 3A is generated for the detection region 214 through the two imaging devices 110. However, only one of the two luminance images 210 is schematically shown here for easy understanding. In the present embodiment, the image processing unit 160 obtains a parallax for each block from such a luminance image 210 and forms a distance image 212 as shown in FIG. Each block in the distance image 212 is associated with the parallax of the block. Here, for convenience of description, blocks from which parallax is derived are represented by black dots.

図2に戻って説明すると、3次元位置情報生成部162は、画像処理部160で生成された距離画像212に基づいて検出領域214内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む3次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置110に対する相対距離を導出する方法である。このとき、3次元位置情報生成部162は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像212上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。かかる相対距離の導出処理や3次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。   Returning to FIG. 2, the three-dimensional position information generation unit 162 uses the so-called stereo method to calculate disparity information for each block in the detection region 214 based on the distance image 212 generated by the image processing unit 160. Convert into 3D position information including horizontal distance, height and relative distance. Here, the stereo method is a method of deriving a relative distance of the target object from the imaging device 110 from the parallax of the target object by using a triangulation method. At this time, the three-dimensional position information generation unit 162 determines the target based on the relative distance of the target part and the detected distance on the distance image 212 between the point on the road surface and the target part at the same relative distance as the target part. The height of the part from the road surface is derived. Since various known techniques can be applied to the relative distance deriving process and the three-dimensional position specifying process, description thereof is omitted here.

(対象物特定処理)
対象物特定部164は、輝度画像210に基づく輝度および距離画像212に基づく3次元の位置情報を用いて検出領域214における対象部位(画素やブロック)がいずれの対象物に対応するかを特定する。また、対象物特定部164は、特定すべき対象物に応じて、様々な特定部として機能する。例えば、本実施形態においては、自車両1の前方に位置する1または複数の信号機の発光体(ランプ)と、1または複数の発光体それぞれの信号色(赤色信号色、黄色信号色、青色信号色)を特定する信号機特定部として機能する。
(Object identification processing)
The target object specifying unit 164 specifies which target object (pixel or block) in the detection region 214 corresponds to using the luminance based on the luminance image 210 and the three-dimensional position information based on the distance image 212. . The object specifying unit 164 functions as various specifying units depending on the object to be specified. For example, in the present embodiment, the light emitters (lamps) of one or more traffic lights located in front of the host vehicle 1 and the signal colors (red signal color, yellow signal color, blue signal) of each of the one or more light emitters. It functions as a traffic light specifying unit that specifies a color).

図4は、信号機特定部の動作を説明するための説明図である。ここでは、信号機特定部による信号機の赤色信号色の特定処理を例に挙げて、その特定手順を説明する。まず、信号機特定部は、輝度画像210における任意の対象部位の輝度が、対象物(赤色信号色の発光体)の輝度範囲(例えば、基準値を輝度(R)として、輝度(G)は基準値(R)の0.5倍以下、輝度(B)は基準値(R)の0.38倍以下)に含まれるか否か判定する。そして、対象となる輝度範囲に含まれれば、その対象部位に当該対象物を示す識別番号を付す。ここでは、図4の拡大図に示すように、対象物(赤色信号色の発光体)に対応する対象部位に識別番号「1」を付している。   FIG. 4 is an explanatory diagram for explaining the operation of the traffic light specifying unit. Here, the procedure for specifying the red signal color of the traffic light by the traffic signal specifying unit will be described as an example and the specifying procedure will be described. First, the traffic light identifying unit determines that the luminance of an arbitrary target part in the luminance image 210 is a luminance range (for example, a reference value is luminance (R) and luminance (G) is a reference). It is determined whether the value (R) is 0.5 times or less and the luminance (B) is 0.38 times or less of the reference value (R). And if it is contained in the brightness | luminance range used as object, the identification number which shows the said target object will be attached | subjected to the object site | part. Here, as shown in the enlarged view of FIG. 4, the identification number “1” is given to the target portion corresponding to the target object (light emitting body of red signal color).

次に、信号機特定部は、任意の対象部位を基点として、その対象部位と、水平距離の差分および高さの差分(さらに相対距離の差分を含めてもよい)が予め定められた所定範囲内にある、同一の対象物に対応するとみなされた(同一の識別番号が付された)対象部位をグループ化し、その対象部位も一体的な対象部位群とする。ここで、所定範囲は実空間上の距離で表され、任意の値(例えば、1.0m等)に設定することができる。また、信号機特定部は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分および高さの差分が所定範囲内にある、対象物(赤色信号色の発光体)が等しい対象部位をグループ化する。結果的に、同一の識別番号が付された対象部位同士の距離が所定範囲内であれば、それら全ての対象部位がグループ化されることとなる。ここでは、図4の拡大図に示すように、識別番号「1」が付された対象部位同士のグループ化された対象部位群220となる。   Next, the traffic signal specifying unit uses an arbitrary target part as a base point, and a difference between the target part and a horizontal distance and a height difference (which may further include a relative distance difference) are within a predetermined range. The target parts that are considered to correspond to the same target object (with the same identification number) are grouped, and the target parts are also made into an integrated target part group. Here, the predetermined range is represented by a distance in the real space, and can be set to an arbitrary value (for example, 1.0 m). In addition, the traffic light identifying unit also has a target object (a red signal color of a red signal color) that has a horizontal distance difference and a height difference within a predetermined range with respect to a target part newly added by grouping. Target regions having the same illuminant are grouped. As a result, if the distances between the target parts with the same identification number are within a predetermined range, all the target parts are grouped. Here, as shown in the enlarged view of FIG. 4, the target part group 220 is formed by grouping the target parts with the identification number “1”.

続いて、信号機特定部は、グループ化した対象部位群220が、その対象物に関連付けられた高さ範囲(例えば、4.5〜7.0m)、幅範囲(例えば、0.05〜0.2m)、奥行範囲(例えば、60m〜120m)等、所定の条件が成立しているか否か判定する。そして、所定の条件が成立していれば、そのグループ化された対象部位群220を対象物(赤色信号色の発光体)として決定する。なお、奥行範囲が定められている理由は、対象物(赤色信号色の発光体)を特定してから自車両1を制御するまでの時間的な差を考慮したものであり、自車両1が信号機に近づいてはじめて対象物を特定すると、自車両1の制御が遅れるおそれがあるからである。また、ここでは、対象物として赤色信号色を特定する例を挙げたが、信号機特定部が黄色信号色や青色信号色等も特定できることは言うまでもない。   Subsequently, the traffic signal specifying unit includes a group of target region group 220 in which a height range (for example, 4.5 to 7.0 m) and a width range (for example, 0.05 to 0.00) associated with the target object. 2m), a depth range (for example, 60 m to 120 m), and the like are determined. If the predetermined condition is satisfied, the grouped target part group 220 is determined as a target (light emitting body of red signal color). The reason why the depth range is determined is that the time difference from when the object (light emitting body of red signal color) is specified until the own vehicle 1 is controlled is considered. This is because if the object is specified for the first time after approaching the traffic light, the control of the host vehicle 1 may be delayed. In addition, here, an example in which a red signal color is specified as an object has been described, but it goes without saying that a traffic light specifying unit can also specify a yellow signal color, a blue signal color, and the like.

また、対象部位群220が、その対象物特有の特徴を有する場合、その特徴を条件に対象物として決定されてもよい。例えば、信号機の発光体がLED(Light Emitting Diode)で構成されている場合、その発光体は、人の目では把握できない周期(例えば100Hz)で点滅している。したがって、信号機特定部は、LEDの点滅タイミングと非同期に取得した輝度画像210の対象部位の輝度の時間方向の変化に基づいて対象物(赤色信号色)を決定することもできる。   Moreover, when the target part group 220 has the characteristic peculiar to the target object, it may be determined as a target object on the condition. For example, when the light emitter of the traffic light is configured by an LED (Light Emitting Diode), the light emitter blinks at a cycle (for example, 100 Hz) that cannot be grasped by human eyes. Therefore, the traffic light specifying unit can determine the target (red signal color) based on the change in the time direction of the luminance of the target portion of the luminance image 210 acquired asynchronously with the blinking timing of the LED.

(対象物除外処理)
図5は、自動車用信号機および路面電車用信号機が併設された信号機を示す図である。図5に示すように、信号機300は、自動車に対して設けられた自動車用信号機310に、例えば路面電車に対して設けられた路面電車用信号機320が併設されている。このような信号機300では、一般的に、自動車用信号機310が路面電車用信号機320の上方(鉛直上方)に設置されている。自動車用信号機310は、青色信号色の発光体311、黄色信号色の発光体312および赤色信号色の発光体313が設けられている。また、路面電車用信号機320は、例えば、左方向を向いた矢印型をした橙色信号色の発光体321、停止指示を示す「×」型をした赤色信号色の発光体322、および、右方向を向いた矢印型をした橙色信号色の発光体323が設けられている。ただし、路面電車用信号機320の発光体の数および自動車用信号機310との水平方向の相対位置は、かかる場合に限らず、様々な態様が採用されるのが一般的である。
(Object exclusion process)
FIG. 5 is a diagram showing a traffic signal in which an automobile traffic signal and a tramway traffic signal are provided. As shown in FIG. 5, in the traffic light 300, for example, a traffic signal 320 for a streetcar provided for a streetcar is provided in addition to a traffic signal 310 for an automobile. In such a traffic light 300, an automobile traffic signal 310 is generally installed above (vertically above) a streetcar traffic signal 320. The vehicle traffic signal 310 is provided with a blue signal color light emitter 311, a yellow signal color light emitter 312 and a red signal color light emitter 313. In addition, the streetcar traffic signal 320 includes, for example, an orange signal color light emitter 321 that has an arrow shape facing leftward, a red signal color light emitter 322 that has an “x” shape indicating a stop instruction, and a right direction. A light-emitting body 323 having an orange signal color in the shape of an arrow facing the direction is provided. However, the number of light emitters of the streetcar traffic signal 320 and the relative position in the horizontal direction with respect to the automobile traffic signal 310 are not limited to this, and various modes are generally employed.

ここで、路面電車用信号機320の発光体322が点灯している場合、対象物特定部164は、自動車用信号機310のいずれかの発光体の信号色と、路面電車用信号機320の発光体322の赤色信号色とを対象物として特定することになる。そうすると、従来の車両制御装置では、路面電車用信号機320の発光体322の赤色信号色に基づいて自車両1が制御されてしまうおそれがある。なお、発光体322の形状を特定することで自車両1に対する信号機の信号色を特定する方法も考えられる。しかしながら、発光体322の形状を特定するためには、撮像装置110の解像度や撮像環境にもよるが、自車両1が発光体322にある程度近づかなければならず、上記した奥行範囲(例えば、60m〜120m)では発光体322の形状を特定することが困難である。また、奥行範囲を自車両1に近づけることも考えられるが、そうすると、上述したように、自車両1に対する制御が遅れ、または、車両制御が行えなくなってしまうといったことにもなりかねない。   Here, when the light emitter 322 of the traffic light 320 for the streetcar is lit, the object specifying unit 164 outputs the signal color of any light emitter of the traffic light 310 for the vehicle and the light emitter 322 of the traffic light 320 for the streetcar. The red signal color is specified as an object. If it does so, in the conventional vehicle control apparatus, there exists a possibility that the own vehicle 1 may be controlled based on the red signal color of the light-emitting body 322 of the traffic signal 320 for streetcars. In addition, the method of specifying the signal color of the traffic light with respect to the own vehicle 1 by specifying the shape of the light emitter 322 is also conceivable. However, in order to specify the shape of the light emitter 322, the host vehicle 1 must approach the light emitter 322 to some extent depending on the resolution and the imaging environment of the imaging device 110, and the above-described depth range (for example, 60 m) ~ 120 m), it is difficult to specify the shape of the light emitter 322. Although it is conceivable to bring the depth range closer to the own vehicle 1, in that case, as described above, the control on the own vehicle 1 may be delayed or the vehicle control may not be performed.

そこで、対象物除外部166は、所定の条件を満たす場合、例えば、複数の信号機の発光体が特定され、かつ、そのうちに赤色信号色の発光体が特定された場合、赤色信号色の発光体と相対距離が同一とされる距離で、かつ、赤色信号色の発光体の上方に他の信号色の発光体があることを条件として、赤色信号色の発光体を制御対象となり得る対象物から除外する。以下、具体的な特定物除外処理について説明する。   Therefore, when the predetermined condition is satisfied, for example, when the light emitters of the plurality of traffic lights are specified, and the light emitter of the red signal color is specified, the object excluder 166 emits the red signal color. And a red signal color light emitter from a target that can be controlled, provided that there is a light signal emitter of another signal color above the red signal light emitter. exclude. Hereinafter, specific specific object exclusion processing will be described.

例えば、図5において、自動車用信号機310の発光体311、および、路面電車用信号機320の発光体322が点灯していたとすると、対象物特定部164は、発光体311の青色信号色、および、発光体322の赤色信号色とを特定することになる。このような場合、特定物除外処理では、発光体311および発光体322の相対距離が同一とされる距離で、かつ、発光体322の上方に発光体311があるので、赤色信号色の発光体322を制御対象となり得る対象物から除外する。   For example, in FIG. 5, if the light emitter 311 of the automobile traffic light 310 and the light emitter 322 of the streetcar traffic light 320 are turned on, the object specifying unit 164 displays the blue signal color of the light emitter 311, and The red signal color of the light emitter 322 is specified. In such a case, in the specific object exclusion process, the relative distance between the light emitter 311 and the light emitter 322 is the same distance, and the light emitter 311 is located above the light emitter 322. 322 is excluded from objects that can be controlled.

図6は、対象物除外部166による対象物除外処理を説明するためのフローチャートである。図6を参照すると、対象物除外部166は、まず、対象物特定部164によって特定された発光体(信号色)の数を確認する(S400)。   FIG. 6 is a flowchart for explaining the object exclusion process by the object exclusion unit 166. Referring to FIG. 6, the object excluding unit 166 first checks the number of light emitters (signal colors) specified by the object specifying unit 164 (S400).

そして、対象物除外部166は、確認された発光体の数が1以下であるか判定する(S402)。その結果、確認された発光体の数が1以下であると判定されれば(S402においてYES)、対象物除外部166は、対象物除外処理を終了する。   And the target object exclusion part 166 determines whether the number of confirmed light-emitting bodies is 1 or less (S402). As a result, if it is determined that the number of confirmed light emitters is 1 or less (YES in S402), target object excluding unit 166 ends the object excluding process.

一方、確認された発光体の数が1以下でないと判定されれば(S402におけるNO)、対象物除外部166は、対象物特定部164によって特定された発光体の信号色を確認する(S404)。   On the other hand, if it is determined that the number of confirmed illuminants is not 1 or less (NO in S402), the object excluding unit 166 confirms the signal color of the illuminant identified by the object identifying unit 164 (S404). ).

そして、対象物除外部166は、確認された信号色のなかに少なくとも1の赤色信号色があるか判定する(S406)。その結果、確認された信号色のなかに赤色信号色がないと判定されれば(S406においてNO)、対象物除外部166は、対象物除外処理を終了する。   Then, the object exclusion unit 166 determines whether there is at least one red signal color among the confirmed signal colors (S406). As a result, if it is determined that there is no red signal color among the confirmed signal colors (NO in S406), object exclusion unit 166 ends the object exclusion process.

一方、確認された信号色のなかに赤色信号色があると判定されれば(S406においてYES)、対象物除外部166は、3次元位置情報生成部162により導出された3次元位置に基づいて、1または複数の赤色信号色の発光体のうち1の赤色信号色の発光体を基準として、所定範囲内の他の発光体それぞれの位置を検索する(S408)。なお、この所定範囲とは、赤色信号色の発光体を基準として、水平方向に例えば1mである。   On the other hand, if it is determined that there is a red signal color among the confirmed signal colors (YES in S406), object exclusion unit 166 is based on the three-dimensional position derived by three-dimensional position information generation unit 162. The position of each of the other light emitters within a predetermined range is searched using one light signal light emitter of one or a plurality of red signal colors as a reference (S408). The predetermined range is, for example, 1 m in the horizontal direction with reference to the red signal light emitter.

続いて、対象物除外部166は、検索した他の発光体の位置に基づいて、基準とした赤色信号色の発光体と同一とされる相対距離であり、かつ、基準とした赤色信号色の発光体の上方に位置している発光体があるか判定する(S410)。なお、同一とされる相対距離とは、例えば、基準とした赤色信号色から前後方向に1m以内である。   Subsequently, the object excluding unit 166 has a relative distance that is the same as the light emitting body of the reference red signal color based on the searched position of the other light emitting body and has the red signal color of the reference. It is determined whether there is a light emitter located above the light emitter (S410). Note that the same relative distance is, for example, within 1 m in the front-rear direction from the reference red signal color.

その結果、基準とした赤色信号色の発光体と同一とされる相対距離であり、かつ、基準とした赤色信号色の発光体の上方に位置している発光体があれば(S410においてYES)、対象物除外部166は、基準とした赤色信号色の発光体を制御対象となり得る対象物から除外する(S412)。一方、基準とした赤色信号色の発光体と同一とされる相対距離である発光体がない、または、基準とした赤色信号色の発光体の上方に位置している発光体がなければ(S410においてNO)、対象物除外部166は、基準とした赤色信号色の発光体を制御対象となり得る対象物から除外しないでそのまま維持する(S414)。   As a result, if there is a light emitter that has the same relative distance as the light emitter of the reference red signal color and is located above the light emitter of the reference red signal color (YES in S410). The object excluding unit 166 excludes the illuminant of the reference red signal color from the objects that can be controlled (S412). On the other hand, if there is no illuminant having the same relative distance as the illuminant of the reference red signal color, or there is no illuminant located above the illuminant of the reference red signal color (S410). In step S414, the target object excluding unit 166 maintains the reference red light-emitting body as it is without excluding it from the target object that can be controlled.

次に、対象物除外部166は、確認された赤色信号色の発光体が複数あり、その全てについてステップS408〜ステップS414の処理を行ったかを判定する(S416)。そして、ステップS408〜ステップS414の処理を行っていない赤色信号色の発光体があれば(S416においてYES)、対象物除外部166は、ステップS408の処理に戻り、ステップS408〜ステップS414の処理を行っていない赤色信号色の発光体がなければ(S416においてNO)、対象物除外部166は、対象物除外処理を終了する。   Next, the target object exclusion unit 166 determines whether or not there are a plurality of confirmed red light-emitting illuminants, and the processes of Steps S408 to S414 have been performed for all of them (S416). If there is a light-emitting body with a red signal color that has not been subjected to the processing in steps S408 to S414 (YES in S416), the object excluding unit 166 returns to the processing in step S408 and performs the processing in steps S408 to S414. If there is no illuminant having a red signal color that has not been performed (NO in S416), the object excluding unit 166 ends the object excluding process.

このように、対象物除外部166は、複数の発光体が特定され、かつ、赤色信号色の発光体が特定された場合、赤色信号色の発光体と同一とされる相対距離であり、かつ、赤色信号色の発光体の上方に位置している発光体があることを条件として、赤色信号色の発光体を対象物から除外する。これにより、図5に示した信号機300のように、自動車用信号機310と路面電車用信号機320とが併設されており、路面電車用信号機320の発光体322が点灯していても、赤色信号色の発光体322を対象物から除外することができる。これにより、後述する制御指示出力処理において、赤色信号色の発光体322に基づいて、自車両1を停止させる指示情報を車両制御装置130に出力することを防止することができる。   In this way, the object exclusion unit 166 has a relative distance that is the same as the red signal color light emitter when a plurality of light emitters are specified and a red signal color light emitter is specified, and On the condition that there is a light emitter located above the light emitter of the red signal color, the light emitter of the red signal color is excluded from the object. Thus, like the traffic light 300 shown in FIG. 5, the car traffic signal 310 and the streetcar traffic signal 320 are provided side by side, and even if the light emitter 322 of the streetcar traffic light 320 is lit, the red signal color Can be excluded from the object. Thereby, in the control instruction output process described later, it is possible to prevent the instruction information for stopping the host vehicle 1 from being output to the vehicle control device 130 based on the light emitting body 322 of the red signal color.

(制御指示出力処理)
制御指示出力部168は、対象物特定部164で特定され、かつ、対象物除外部166で除外されていない発光体の信号色を特定物として、当該特定物に基づいて、自車両1を制御するための指示情報を車両制御装置130に出力する。例えば、対象物特定部164で特定された発光体の信号色が赤色信号色である場合には、自車両1を停止させるための指示情報を車両制御装置130に出力し、自車両1を停止させる。
(Control instruction output processing)
The control instruction output unit 168 controls the host vehicle 1 based on the specific object, with the signal color of the illuminant specified by the object specifying unit 164 and not excluded by the object excluding unit 166 as the specific object. Instruction information is output to the vehicle control device 130. For example, when the signal color of the light emitter specified by the object specifying unit 164 is a red signal color, instruction information for stopping the host vehicle 1 is output to the vehicle control device 130, and the host vehicle 1 is stopped. Let

以上、説明したように、本実施形態の車外環境認識装置120では、自動車用信号機および路面電車用信号機が上下に併設されていたとしても、赤色信号色の発光体と他の信号色の発光体とが同一とされる相対距離にあり、かつ、赤色信号色の発光体の上方に他の信号色の発光体がある場合には、当該赤色信号色の発光体を対象物から除外する。これにより、路面電車用信号機の信号色を誤って対象物として特定することを防止することができ、信号機の特定精度をさらに高めることが可能となる。   As described above, in the outside environment recognition device 120 according to the present embodiment, even if the traffic signal for a car and the traffic signal for a streetcar are provided side by side, a light emitter with a red signal color and a light emitter with another signal color. Are in the same relative distance and there is a light emitter of another signal color above the light emitter of the red signal color, the light emitter of the red signal color is excluded from the object. Accordingly, it is possible to prevent the signal color of the traffic light for the tram from being erroneously specified as an object, and it is possible to further increase the accuracy of specifying the traffic light.

なお、自動車用信号機のなかには、青色信号色、黄色信号色および赤色信号色の発光体の下方に、進行可能な方向を指示する矢印型の発光体が設けられていることがあるが、これら矢印型の発光体は青色信号色に発光するものであり、赤色信号色の発光体が上記した対象物除外処理により除外されることはない。   Note that some of the traffic lights for automobiles are provided with arrow-shaped light emitters that indicate the direction in which they can travel below the light emitters of the blue signal color, the yellow signal color, and the red signal color. The type of illuminant emits light in a blue signal color, and the illuminant of red signal color is not excluded by the above-described object exclusion process.

また、自動車用信号機のなかには、青色信号色、黄色信号色および赤色信号色の発光体の上方に、進行可能な方向を指示する矢印型をした青色信号色の発光体が設けられていることがある。このような場合には、赤色信号色の発光体と、矢印型をした青色信号色の発光体とが同時に点灯するので、赤色信号色の発光体が上記した対象物除外処理により除外されることになるが、矢印型をした発光体の青色信号色を特定することで自車両1の制御が可能となる。   In addition, in a traffic signal for an automobile, a blue signal color light emitter having an arrow shape that indicates a travelable direction is provided above the blue signal color, yellow signal color, and red signal color light emitters. is there. In such a case, the red signal color illuminant and the arrow-shaped blue signal color illuminant are turned on at the same time, so the red signal color illuminant is excluded by the object exclusion process described above. However, the vehicle 1 can be controlled by specifying the blue signal color of the arrow-shaped light emitter.

また、自動車用信号機と相対距離が同一とされる位置に歩行者用信号機が配置されている場合であっても、歩行者用信号機は自動車用信号機の下方に配置されることになる。したがって、歩行者用信号機の赤色信号色が特定されても、当該赤色信号色が上記した対象物除外処理により対象物から除外され、自動車用信号機が特定されることになり、信号機の特定精度を高めることが可能となる。   Further, even when the pedestrian traffic light is disposed at a position where the relative distance is the same as that of the automotive traffic signal, the pedestrian traffic light is disposed below the automotive traffic signal. Therefore, even if the red signal color of the pedestrian traffic light is specified, the red signal color is excluded from the target object by the above-described target object exclusion process, and the car traffic signal is specified. It becomes possible to raise.

また、コンピュータを、車外環境認識装置120として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。   Also provided are a program that causes a computer to function as the vehicle exterior environment recognition device 120 and a computer-readable storage medium that stores the program, such as a flexible disk, magneto-optical disk, ROM, CD, DVD, and BD. Here, the program refers to data processing means described in an arbitrary language or description method.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.

なお、上述した対象物除外処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。   It should be noted that each step of the object exclusion process described above does not necessarily have to be processed in time series in the order described as a flowchart, and may include processes in parallel or by a subroutine.

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、信号機を特定するのに適した車外環境認識装置に利用することができる。   The present invention relates to a vehicle environment recognition device that recognizes the environment outside the host vehicle, and can be used particularly for a vehicle environment recognition device that is suitable for identifying a traffic light.

1 車両
120 車外環境認識装置
162 3次元位置情報生成部
164 対象物特定部(信号機特定部)
166 対象物除外部
DESCRIPTION OF SYMBOLS 1 Vehicle 120 Outside-vehicle environment recognition apparatus 162 Three-dimensional position information generation part 164 Target object specific part (traffic signal specific part)
166 Object exclusion part

Claims (2)

信号機の発光体、および、該発光体の信号色を特定する信号機特定部と、
前記発光体の位置を導出する位置情報生成部と、
前記発光体が複数検出され、かつ、少なくとも1の該発光体が赤色信号色である場合、該赤色信号色の発光体を基準として、該赤色信号色の発光体と相対距離が同一とされる距離で、かつ、該赤色信号色の発光体の上方に他の該信号色の発光体があることを条件として、該赤色信号色の発光体を制御対象となる対象物から除外する対象物除外部と、
を備えることを特徴とする車外環境認識装置。
A light emitter of a traffic light, and a traffic light specifying unit for specifying a signal color of the light emitter;
A position information generator for deriving the position of the light emitter;
When a plurality of the light emitters are detected and at least one of the light emitters has a red signal color, the relative distance is the same as the light emitter of the red signal color with reference to the light emitter of the red signal color. Object exclusion that excludes the red signal color light emitter from the object to be controlled, provided that there is another light signal light emitter above the red signal color light emitter at a distance And
A vehicle exterior environment recognition device comprising:
前記信号機には、自動車に対する自動車用信号機と、該自動車以外の移動体に対する信号機とが含まれ、
前記自動車用信号機は、前記自動車以外の移動体に対する信号機の上方に配置されていることを特徴とする請求項1に記載の車外環境認識装置。
The traffic signal includes a traffic signal for an automobile and a traffic signal for a moving body other than the automobile,
The vehicle exterior environment recognition device according to claim 1, wherein the vehicle traffic signal is disposed above a traffic signal for a moving body other than the vehicle.
JP2014106207A 2014-05-22 2014-05-22 Outside environment recognition device Active JP6270624B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014106207A JP6270624B2 (en) 2014-05-22 2014-05-22 Outside environment recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014106207A JP6270624B2 (en) 2014-05-22 2014-05-22 Outside environment recognition device

Publications (2)

Publication Number Publication Date
JP2015222479A true JP2015222479A (en) 2015-12-10
JP6270624B2 JP6270624B2 (en) 2018-01-31

Family

ID=54785451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014106207A Active JP6270624B2 (en) 2014-05-22 2014-05-22 Outside environment recognition device

Country Status (1)

Country Link
JP (1) JP6270624B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509479A (en) * 2017-02-10 2020-03-26 コンティネンタル オートモーティヴ フランスContinental Automotive France A method for detecting misjudgments on traffic lights
WO2023228318A1 (en) * 2022-05-25 2023-11-30 株式会社日立製作所 Signal recognition device, signal recognition method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004058969A (en) * 2002-07-31 2004-02-26 Nippon Signal Co Ltd:The Point control system for tramcar
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2007034693A (en) * 2005-07-27 2007-02-08 Denso Corp Safe driving support system
JP2010224925A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Environment recognition device
JP2012238244A (en) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004058969A (en) * 2002-07-31 2004-02-26 Nippon Signal Co Ltd:The Point control system for tramcar
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2007034693A (en) * 2005-07-27 2007-02-08 Denso Corp Safe driving support system
JP2010224925A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Environment recognition device
JP2012238244A (en) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509479A (en) * 2017-02-10 2020-03-26 コンティネンタル オートモーティヴ フランスContinental Automotive France A method for detecting misjudgments on traffic lights
JP7004731B2 (en) 2017-02-10 2022-01-21 コンティネンタル オートモーティヴ フランス How to detect false positives about traffic lights
WO2023228318A1 (en) * 2022-05-25 2023-11-30 株式会社日立製作所 Signal recognition device, signal recognition method, and program

Also Published As

Publication number Publication date
JP6270624B2 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
JP5886809B2 (en) Outside environment recognition device
US9978276B2 (en) Vehicle exterior environment recognition device
JP5537492B2 (en) Environment recognition device
US9975551B2 (en) Vehicle exterior environment recognition device
JP6564424B2 (en) Vehicle control device
JP2015052548A (en) Vehicle exterior environment recognition device
JP6240475B2 (en) Outside environment recognition device
JP6270624B2 (en) Outside environment recognition device
JP6591188B2 (en) Outside environment recognition device
JP2015170240A (en) Vehicular outside environment recognition system
JP7356319B2 (en) Vehicle exterior environment recognition device
JP7261006B2 (en) External environment recognition device
JP2016186702A (en) Outside-vehicle environment recognition device
JP6254825B2 (en) Vehicle control device
JP6764378B2 (en) External environment recognition device
JP6174960B2 (en) Outside environment recognition device
JP6378594B2 (en) Outside environment recognition device
JP6335065B2 (en) Outside environment recognition device
JP6389667B2 (en) Hybrid car
JP6378547B2 (en) Outside environment recognition device
JP6523694B2 (en) Outside environment recognition device
JP6273156B2 (en) Pedestrian recognition device
JP6254870B2 (en) Outside environment recognition device
JP2020038446A (en) Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle
JP2015069567A (en) Filtering device and environment recognition system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R150 Certificate of patent or registration of utility model

Ref document number: 6270624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250