JP2013061787A - Turning prediction device for vehicle - Google Patents

Turning prediction device for vehicle Download PDF

Info

Publication number
JP2013061787A
JP2013061787A JP2011199661A JP2011199661A JP2013061787A JP 2013061787 A JP2013061787 A JP 2013061787A JP 2011199661 A JP2011199661 A JP 2011199661A JP 2011199661 A JP2011199661 A JP 2011199661A JP 2013061787 A JP2013061787 A JP 2013061787A
Authority
JP
Japan
Prior art keywords
vehicle
light source
oncoming
preceding vehicle
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011199661A
Other languages
Japanese (ja)
Other versions
JP5601300B2 (en
Inventor
Tsuneharu Imaeda
恒治 今枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011199661A priority Critical patent/JP5601300B2/en
Publication of JP2013061787A publication Critical patent/JP2013061787A/en
Application granted granted Critical
Publication of JP5601300B2 publication Critical patent/JP5601300B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a turning prediction device which predicts turning of a vehicle by a new method not conventionally available.SOLUTION: A turning prediction device acquiring camera information from an image sensor mounted on a vehicle 10 to predict turning of the vehicle acquires position coordinates of a first light source during photographic imaging of the image sensor, position coordinates of a second light source, information indicating that the first light source is a light source of a preceding vehicle, and information indicating that the second light source is a light source of an oncoming vehicle as camera information when the preceding vehicle 20 and the oncoming vehicle 30 exist within a photographic range of the image sensor, and determines whether or not the first light source is present on the right side of the second light source on the basis of the camera information. When this determination is affirmative, it is determined that a curve exists in the travel direction of the own vehicle, and when the determination is negative, it is determined that the own vehicle is not scheduled to turn.

Description

本発明は、車両の旋回予測装置に関するものである。   The present invention relates to a turning prediction device for a vehicle.

従来、自車両のこれからの旋回の有無を判定するために、ナビゲーション装置に記録された道路形状データを用いたり、レーン認識によって検出した白線の形状を用いたりする技術が知られている(例えば、特許文献1参照)。   Conventionally, in order to determine whether or not the vehicle will turn in the future, a technique is known that uses road shape data recorded in a navigation device or a white line shape detected by lane recognition (for example, Patent Document 1).

特開平11−198714号公報JP-A-11-198714

本発明は、従来にない新たな方法で車両の旋回を予測する装置を提供することを目的とする。   An object of this invention is to provide the apparatus which estimates the turning of a vehicle by the new method which is not in the past.

上記目的を達成するための請求項1に記載の発明は、車両に搭載される画像センサ(12)からカメラ情報を取得し、前記カメラ情報に基づいて前記車両の旋回を予測する旋回予測装置であって、前記画像センサ(12)の撮影範囲内に1台の先行車両と1台の対向車両があるとき、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を取得し、取得した前記撮影画像中の第1の光源の位置座標、第2の光源の位置座標、前記第1の光源が先行車両の光源であることを示す情報、および、前記第2の光源が対向車両の光源であることを示す情報を、前記カメラ情報として出力すると、出力された前記カメラ情報を取得するカメラ情報取得手段(120)と、前記第1の光源が前記第2の光源よりも右側にあるか否かを判定する判定手段(130)と、前記判定手段(130)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(130)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、140〜160)と、を備えた旋回予測装置である。   In order to achieve the above object, the invention according to claim 1 is a turning prediction apparatus that acquires camera information from an image sensor (12) mounted on a vehicle and predicts turning of the vehicle based on the camera information. Then, when there is one preceding vehicle and one oncoming vehicle within the shooting range of the image sensor (12), the image sensor (12) acquires a shot image by shooting the front of the vehicle. The position coordinates of the first light source, the position coordinates of the second light source, the information indicating that the first light source is the light source of the preceding vehicle, and the second light source are opposed to each other. When information indicating that it is a light source of a vehicle is output as the camera information, camera information acquisition means (120) for acquiring the output camera information, and the first light source is on the right side of the second light source Whether or not When the determination results of the determination means (130) and the determination means (130) are positive, it is determined that there is a curve in the traveling direction of the vehicle, and when the determination result of the determination means (130) is negative, A turn prediction device comprising prediction means (115, 140 to 160) for determining that the vehicle has no turn plan.

このように、撮影画像中において先行車両が対向車両の右側にいることに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。   In this way, by determining that there is a curve in the traveling direction of the vehicle based on the fact that the preceding vehicle is on the right side of the oncoming vehicle in the captured image, the vehicle using the behavior of the oncoming vehicle in the captured image is used. Can be predicted.

また、請求項2に記載の発明は、請求項1に記載の旋回予測装置において、前記カメラ情報取得手段(120)は、前記画像センサ(12)の撮影範囲内に1台の前記先行車両と1台の前記対向車両があるとき、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を取得し、取得した前記撮影画像中の第1の光源の位置座標、第2の光源の位置座標、前記第1の光源が先行車両の光源であることを示す情報、前記第2の光源が対向車両の光源であることを示す情報、および、前記第1の光源および前記第2の光源のうちどちらが前記車両に近いかを示す情報を、前記カメラ情報として出力すると、出力された前記カメラ情報を取得し、前記予測手段(115、140〜160)は、前記判定手段(130)の判定結果が肯定的な場合、前記カメラ情報によれば前記第2の光源よりも前記第1の光源の方が前記車両に近いことに基づいて、前記車両の進行方向に左カーブがあると判定し、前記カメラ情報によれば前記第1の光源よりも前記第2の光源の方が前記車両に近いことに基づいて、前記車両の進行方向に右カーブがあると判定することを特徴とする。このようにすることで、車両の左旋回および右旋回を区別して予測することができる。   According to a second aspect of the present invention, in the turning prediction apparatus according to the first aspect, the camera information acquisition means (120) includes one preceding vehicle within the photographing range of the image sensor (12). When there is one oncoming vehicle, the image sensor (12) acquires the captured image by capturing the front of the vehicle, and the position coordinates of the first light source in the acquired captured image, the second Position coordinates of light source, information indicating that the first light source is a light source of a preceding vehicle, information indicating that the second light source is a light source of an oncoming vehicle, and the first light source and the second light source When the information indicating which of the light sources is closer to the vehicle is output as the camera information, the output camera information is acquired, and the prediction means (115, 140 to 160) is configured to determine the determination means (130). Is positive In this case, the camera information determines that the first light source is closer to the vehicle than the second light source, and determines that there is a left curve in the traveling direction of the vehicle. Accordingly, it is determined that there is a right curve in the traveling direction of the vehicle based on the fact that the second light source is closer to the vehicle than the first light source. In this way, it is possible to distinguish and predict the left turn and the right turn of the vehicle.

また、請求項3に記載の発明は、車両の前方を撮影するカメラの撮影画像に基づいて、前記車両の旋回を予測する旋回予測装置であって、前記カメラの撮影範囲内に1台の先行車両と1台の対向車両があるとき、前記撮影画像に基づいて、前記先行車両が前記対向車両よりも右側にあるか否かを判定する判定手段(130)と、前記判定手段(130)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(130)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、140〜160)と、を備えた旋回予測装置である。   According to a third aspect of the present invention, there is provided a turning prediction device for predicting turning of the vehicle based on a photographed image of a camera photographing the front of the vehicle, wherein one preceding device is within the photographing range of the camera. When there is a vehicle and one oncoming vehicle, a determination means (130) for determining whether the preceding vehicle is on the right side of the oncoming vehicle based on the captured image, and a determination means (130) When the determination result is affirmative, it is determined that there is a curve in the traveling direction of the vehicle, and when the determination result of the determination means (130) is negative, the prediction means (115, 140-160).

このように、撮影画像中において先行車両が対向車両の右側にいることに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。   In this way, by determining that there is a curve in the traveling direction of the vehicle based on the fact that the preceding vehicle is on the right side of the oncoming vehicle in the captured image, the vehicle using the behavior of the oncoming vehicle in the captured image is used. Can be predicted.

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .

本発明の実施形態に係る車両前照灯制御システム1の構成図である。1 is a configuration diagram of a vehicle headlamp control system 1 according to an embodiment of the present invention. ECUが実行する旋回予測処理のフローチャートである。It is a flowchart of the turning prediction process which ECU performs. 第2の事例を示す図である。It is a figure which shows the 2nd example. 第3の事例を示す図である。It is a figure which shows the 3rd example. 第4の事例を示す図である。It is a figure which shows the 4th example.

以下、本発明の第1実施形態について説明する。図1に、本実施形態に係る車両前照灯制御システム1の構成を示す。   The first embodiment of the present invention will be described below. In FIG. 1, the structure of the vehicle headlamp control system 1 which concerns on this embodiment is shown.

車両前照灯制御システム1は、車両に搭載され、車両の2つのヘッドランプ(前照灯)11を制御するためのシステムであり、画像センサ12、ヘッドランプ駆動部13、ECU14等を有している。   The vehicle headlamp control system 1 is a system that is mounted on a vehicle and controls two headlamps (headlamps) 11 of the vehicle, and includes an image sensor 12, a headlamp drive unit 13, an ECU 14, and the like. ing.

画像センサ12は、カメラ部および検出部を備えている。カメラ部は、車両の前方の路面等を繰り返し(例えば、定期的に1/30秒周期で)撮影し、撮影結果の撮影画像を逐次検出部に出力する。検出部は、カメラ部から出力された撮影画像に対して、周知の検出処理を逐次行うことで、撮影画像中に写された光源(所定値以上の輝度、形、色などにより車両と認識できる物体)の検出を試みる。そして、撮影画像中で1つ以上の光源を検出できた場合、それら光源のうち、最も左にある左端光源の位置座標、最も右にある右端光源の位置座標、および、最も下にある下端光源の位置座標を特定し、更に、左端光源、右端光源、下端光源のそれぞれが先行車の光源か対向車両の光源を示す先行車/対向車両情報を作成し、更に、それら検出できた光源のうち自車両に最も近い最短光源の位置座標、および、当該最短光源から自車両までの距離を特定する。   The image sensor 12 includes a camera unit and a detection unit. The camera unit repeatedly captures the road surface in front of the vehicle (for example, periodically at a 1/30 second period), and sequentially outputs captured images to the detection unit. The detection unit sequentially recognizes the photographed image output from the camera unit, thereby recognizing the vehicle as a light source (luminance, shape, color, etc. greater than a predetermined value) captured in the photographed image. Try to detect (object). If one or more light sources can be detected in the captured image, among the light sources, the position coordinates of the leftmost light source at the leftmost position, the position coordinates of the rightmost light source at the rightmost, and the lowermost light source at the bottom In addition, the left end light source, the right end light source, and the bottom end light source respectively generate preceding vehicle / oncoming vehicle information indicating the light source of the preceding vehicle or the light source of the oncoming vehicle, and further, among the light sources that can be detected The position coordinate of the shortest light source closest to the host vehicle and the distance from the shortest light source to the host vehicle are specified.

そして、検出部は、このようにして取得した左端光源、右端光源、下端光源のそれぞれの(撮影画像中の)位置座標、ならびに、先行車/対向車両情報、最短光源の位置座標および当該最短光源から自車両までの距離の情報を、カメラ情報としてECU14に出力する。   The detection unit obtains the position coordinates (in the captured image) of the left end light source, right end light source, and lower end light source acquired in this way, the preceding vehicle / oncoming vehicle information, the position coordinates of the shortest light source, and the shortest light source. Information on the distance from the vehicle to the host vehicle is output to the ECU 14 as camera information.

なお、左端光源、右端光源、下端光源のそれぞれが先行車の光源(すなわち、光っているテールランプ)か対向車両の光源(すなわち、光っているヘッドランプ)かについては、当該光源の色および形状に基づいて判定する。具体的には、例えば、1つの光源(左端光源、右端光源、下端光源のいずれでもよい)について、当該1つの光源と上下方向の位置がほぼ同じでかつ左または右に他の光源があり、かつ、当該他の光源と当該1つの光源の特徴量(例えば、形状と色)が所定の基準以上に類似していれば、当該1つの光源を、他の車両の光源(ヘッドランプまたはテールランプ)であると判定する。そして、当該1つの光源の色が赤色よりも白色に近い場合は、当該1つの光源を対向車両の光源(ヘッドランプ)であると判定し、当該1つの光源の色が白色よりも赤色に近い場合は、当該1つの光源を先行車の光源(テールランプ)であると判定する。   Whether the left-end light source, right-end light source, or lower-end light source is the light source of the preceding vehicle (ie, the shining tail lamp) or the light source of the oncoming vehicle (ie, the shining headlamp) depends on the color and shape of the light source. Judgment based on. Specifically, for example, with respect to one light source (which may be any of a left end light source, a right end light source, and a lower end light source), the vertical position is substantially the same as the one light source, and there is another light source on the left or right, In addition, if the feature quantities (for example, shape and color) of the other light source and the one light source are similar to a predetermined reference or more, the one light source is used as a light source (head lamp or tail lamp) of another vehicle. It is determined that When the color of the one light source is closer to white than red, it is determined that the one light source is a light source (headlamp) of the oncoming vehicle, and the color of the one light source is closer to red than white. In this case, it is determined that the one light source is the light source (tail lamp) of the preceding vehicle.

また、検出できた光源のうち自車両に最も近い最短光源を特定するためには、各光源から自車両までの距離を特定する必要がある。光源までの距離を特定する方法としては、下記の2つの特定方法1、2のいずれかを採用してもよいし、あるいは、両方を併用してもよい。   In order to specify the shortest light source closest to the host vehicle among the detected light sources, it is necessary to specify the distance from each light source to the host vehicle. As a method for specifying the distance to the light source, one of the following two specifying methods 1 and 2 may be employed, or both may be used in combination.

特定方法1:画像センサ12のカメラ部は、車両の異なる位置(具体的には、自車両の左右方向に離れた位置であり、かつ、自車両の前後方向位置は同じ)に設けられた2つのカメラを備え、それら2つのカメラで同時に撮影し、その結果得られた2つの撮影画像中の光源の位置のずれに基づいて、当該前後方向位置から当該光源までの距離を特定する。このようなステレオ画像撮影による被写体の距離特定方法は、周知の技術であり、例えば特開平7−306037号公報に記載されている。   Identification method 1: The camera unit of the image sensor 12 is provided at different positions of the vehicle (specifically, the position of the own vehicle is a position separated in the left-right direction and the position of the own vehicle in the front-rear direction is the same). Two cameras are provided and images are taken simultaneously by the two cameras, and the distance from the front-rear direction position to the light source is specified based on the deviation of the position of the light source in the two captured images obtained as a result. Such a method for specifying the distance of a subject by photographing a stereo image is a well-known technique and is described in, for example, Japanese Patent Laid-Open No. 7-306037.

特定方法2:撮影画像中で、1台の車両の光源として左右方向に並んだ2つの光源のペア(ヘッドランプまたはテールランプ)を特定する。左右方向に並んだ2つの光源が1台の車両の光源のペアであるか否かは、それら2つの光源の特徴量(例えば、形状と色)が所定の基準以上に類似しているか否かで判定する。そして、撮影画像中におけるそれらペア間の距離Aを特定し、この距離から、当該ペアの光源から自車両までの距離Bを特定する。距離Aと距離Bとの対応関係は、あらかじめ対応関係マップとして検出部に記録しておいたものを参照して決定する。対応関係マップにおいては、距離Aが大きくなるほど距離Bは小さくなるようになっている。この対応関係マップについては、車両のヘッドランプ間の距離およびテールランプ間の距離が一定であると仮定した上で、カメラの特性に応じた対応関係マップを作成する。このような特定方法2も周知であり、特開平6−276524号公報および特開昭62−121599号公報に記載されている。   Identification method 2: Identify a pair of light sources (head lamp or tail lamp) arranged in the left-right direction as the light source of one vehicle in the captured image. Whether or not two light sources arranged in the left-right direction are a pair of light sources of one vehicle is whether or not the feature quantities (for example, shape and color) of the two light sources are more than a predetermined reference Judge with. And the distance A between those pairs in a picked-up image is specified, and the distance B from the light source of the said pair to the own vehicle is specified from this distance. The correspondence between the distance A and the distance B is determined with reference to what is recorded in the detection unit in advance as a correspondence map. In the correspondence relationship map, the distance B decreases as the distance A increases. As for this correspondence map, a correspondence map corresponding to the characteristics of the camera is created on the assumption that the distance between the headlamps and the distance between the taillamps of the vehicle is constant. Such a specifying method 2 is also well known and is described in JP-A-6-276524 and JP-A-62-1121599.

この画像センサ12のような、カメラ部および検出部を備え、上述のようなカメラ情報を出力する装置は、既に実用化されている。具体的には、トヨタ自動車株式会社が米国で販売するレクサスLSの全グレードに標準装備されており、オートマチックハイビーム機能を実現するために使用されている。   An apparatus such as the image sensor 12 that includes a camera unit and a detection unit and outputs the camera information as described above has already been put into practical use. Specifically, it is standard on all Lexus LS grades that Toyota Motor Corporation sells in the United States, and is used to achieve an automatic high beam function.

ヘッドランプ駆動部13は、ヘッドランプ11の点灯、消灯、照射方向、照射範囲等を制御するためのアクチュエータである。このヘッドランプ駆動部13は、ヘッドランプ11毎に、当該ヘッドランプ11の照射方向を車両の左右方向に変化させる(すなわち、スイブルさせる)ためのスイブルモータ等を有している。   The headlamp driving unit 13 is an actuator for controlling lighting, extinguishing, irradiation direction, irradiation range, and the like of the headlamp 11. The headlamp driving unit 13 includes, for each headlamp 11, a swivel motor for changing the irradiation direction of the headlamp 11 in the left-right direction of the vehicle (that is, swiveling).

ECU14(旋回予測装置の一例に相当する)は、マイクロコンピュータ等を備えた電子制御装置であり、あらかじめECU14に記録されたプログラムを実行することで、ヘッドランプ11の光軸制御のための各種処理を実行する。   The ECU 14 (corresponding to an example of a turning prediction device) is an electronic control device provided with a microcomputer or the like, and executes various programs for controlling the optical axis of the headlamp 11 by executing a program recorded in the ECU 14 in advance. Execute.

以下、このような車両前照灯制御システム1の、ヘッドランプ11点灯時(例えば夜間)における作動について説明する。ECU14は、基本制御として、図示しない車両のステアリング角センサからの検出信号を取得し、取得した検出信号に基づいて、車両のステアリング角に応じて決定した車両の進行方向に、ヘッドランプ11の光軸を向けるため、ヘッドランプ駆動部13のスイブルモータを制御する。   Hereinafter, the operation of the vehicle headlamp control system 1 when the headlamp 11 is turned on (for example, at night) will be described. As basic control, the ECU 14 acquires a detection signal from a steering angle sensor of a vehicle (not shown), and based on the acquired detection signal, the light of the headlamp 11 in the traveling direction of the vehicle determined according to the steering angle of the vehicle. In order to turn the axis, the swivel motor of the headlamp driving unit 13 is controlled.

具体的には、ステアリング角が中央位置(つまり、自車両が直進する位置)から所定の遊び角度(例えば30°)以内である場合は、ヘッドランプ11の光軸を車両のまっすぐ前方に向け、ステアリング角が中央位置から上記遊び角度を超えて右に角度αだけずれている場合は、車両のまっすぐ前方よりも右側に所定角度βだけずれた方向に、ヘッドランプ11の光軸を向ける。同様に、ステアリング角が中央位置から上記遊び角度を超えて左に角度αだけずれている場合は、車両のまっすぐ前方よりも左側に所定角度βだけずれた方向に、ヘッドランプ11の光軸を向ける。ここで、角度βは角度αが大きくなるほど大きくなる値であってもよい。また、角度βは、自車両の車速に応じて変化してもよい。   Specifically, when the steering angle is within a predetermined play angle (for example, 30 °) from the center position (that is, the position where the host vehicle goes straight), the optical axis of the headlamp 11 is directed straight ahead of the vehicle, When the steering angle deviates from the center position by more than the play angle to the right by the angle α, the optical axis of the headlamp 11 is directed in a direction deviated by the predetermined angle β from the straight front side of the vehicle to the right side. Similarly, when the steering angle deviates from the center position by more than the play angle to the left by an angle α, the optical axis of the headlamp 11 is shifted in a direction deviated by a predetermined angle β to the left side rather than straight ahead of the vehicle. Turn. Here, the angle β may be a value that increases as the angle α increases. Further, the angle β may change according to the vehicle speed of the host vehicle.

ECU14は、以上のような基本制御によって、自車両がカーブに進入すると、車両の前方ではなく進行方向にヘッドランプ11の光軸を向けるので、カーブにおける道路の視認性が向上する。   When the host vehicle enters the curve by the basic control as described above, the ECU 14 directs the optical axis of the headlamp 11 not in front of the vehicle but in the traveling direction, thereby improving the visibility of the road on the curve.

またECU14は、上記のような基本制御に加え、カーブの手前において、まだステアリング角が上記中央位置から上記遊び角度以内にある場合でも、車両の進行方向にカーブがあることを判定し、あらかじめヘッドランプ11の光軸をそのカーブの方向(右カーブなら右方向)に移動させる制御を行う。   In addition to the basic control as described above, the ECU 14 determines that there is a curve in the traveling direction of the vehicle even if the steering angle is still within the play angle from the center position before the curve. Control is performed to move the optical axis of the lamp 11 in the direction of the curve (or right if the curve is right).

このために、ECU14は、ステアリング角が上記中央位置から上記遊び角度以内にある場合に、図2に示すような車両旋回予測処理を繰り返し実行するようになっている。以下、この図2の車両旋回予測処理に従って、車両前照灯制御システム1の作動を、事例毎に説明する。   For this purpose, the ECU 14 repeatedly executes the vehicle turning prediction process as shown in FIG. 2 when the steering angle is within the play angle from the center position. Hereinafter, according to the vehicle turning prediction process of FIG. 2, the operation of the vehicle headlamp control system 1 will be described for each case.

[事例1]
まず、自車両が夜間またはトンネル内走行時に直進道路を走行しており、カメラ部の撮影範囲に車両がいない事例について説明する。この場合、ECU14は、まずステップ110で、画像センサ12のカメラ部が正常か否かを判定する。ヘッドランプ11のカメラ部は、自機に故障等があると、所定の故障信号をECU14に出力するようになっており、ECU14は、この故障信号の有無に応じて、故障信号がなければカメラ部が正常であると判定し、故障信号があれば正常でないと判定する。正常でないと判定すると、ステップ115に進み、旋回予定なしと判定し、処理をステップ110に戻す。この場合、ヘッドランプ11の光軸は変化しない。
[Case 1]
First, a case will be described in which the host vehicle is traveling on a straight road at night or when traveling in a tunnel, and the vehicle is not in the shooting range of the camera unit. In this case, the ECU 14 first determines in step 110 whether or not the camera unit of the image sensor 12 is normal. The camera unit of the headlamp 11 outputs a predetermined failure signal to the ECU 14 when there is a failure or the like in its own device. The ECU 14 determines whether there is a failure signal according to the presence or absence of the failure signal. The part is determined to be normal, and if there is a failure signal, it is determined not to be normal. If it is determined that it is not normal, the process proceeds to step 115, where it is determined that there is no plan to turn, and the process returns to step 110. In this case, the optical axis of the headlamp 11 does not change.

正常であると判定すると、ステップ120に進む。ステップ120では、画像センサ12からカメラ情報を取得し、ステップ130に進む。本事例のように、カメラ部の撮影範囲に車両がない状態では、画像センサ12の検出部は、撮影画像内に光源を発見することができないので、光源がないことを示す信号を、カメラ情報としてECU14に出力する。   If it is determined to be normal, the process proceeds to step 120. In step 120, camera information is acquired from the image sensor 12, and the process proceeds to step 130. As in this example, in a state where there is no vehicle in the shooting range of the camera unit, the detection unit of the image sensor 12 cannot find a light source in the shot image. To the ECU 14.

ステップ130では、直前のステップ120で取得したカメラ情報に基づいて、「右端光源が先行車両であり、かつ、左端光源が対向車である」という条件が満たされるか否かを判定する。本事例では、そもそも光源が検出できなかったので、当該条件が満たされないと判定し、ステップ115に進み、旋回予定なしと判定し、処理をステップ110に戻す。この場合、ヘッドランプ11の光軸は変化しない。したがって本事例では、車両がカーブに入ってドライバがステアリングを切り、ステアリング角が中央位置から遊び角度を超えた角度にならない限り、ステップ110、120、130、115の処理をこの順に繰り返すことになり、ヘッドランプ11の光軸は自車両10の前方を向いたままとなる。   In step 130, based on the camera information acquired in the immediately preceding step 120, it is determined whether or not the condition “the right end light source is a preceding vehicle and the left end light source is an oncoming vehicle” is satisfied. In this case, since the light source could not be detected in the first place, it is determined that the condition is not satisfied, the process proceeds to step 115, it is determined that there is no plan to turn, and the process returns to step 110. In this case, the optical axis of the headlamp 11 does not change. Therefore, in this case, unless the vehicle enters the curve and the driver turns the steering wheel and the steering angle does not exceed the play angle from the center position, the processing of steps 110, 120, 130, and 115 is repeated in this order. The optical axis of the headlamp 11 remains facing the front of the host vehicle 10.

[事例2]
次に、図3に示すように、自車両10が夜間またはトンネル内走行時に直進道路を走行しており、カメラ部の撮影範囲内にある車両は、1台の先行車両20および1台の対向車両30のみとなっている事例について説明する。
[Case 2]
Next, as shown in FIG. 3, the vehicle 10 is traveling on a straight road at night or when traveling in a tunnel, and a vehicle that is within the photographing range of the camera unit is opposed to one preceding vehicle 20 and one vehicle. A case where only the vehicle 30 is provided will be described.

車両が直進道路を走行している場合は、左側通行の原則に従えば、自車両10から見て、先行車両20よりも対向車両30の方が右側にあるはずである。したがって、本事例では、画像センサ12の検出部は、先行車両20の光源(左側テールランプ)を左端光源(第1の光源の一例に相当する)として検出し、対向車両30の光源(左側ヘッドランプ)を右端光源(第2の光源の一例に相当する)として検出する。また、先行車両20の2つの光源(左右のテールランプ)および対向車両30の2つの光源(左右のヘッドランプ)のうちいずれか1つを下端光源として検出する。   When the vehicle is traveling on a straight road, the oncoming vehicle 30 should be on the right side of the preceding vehicle 20 when viewed from the own vehicle 10 according to the principle of left-hand traffic. Therefore, in this example, the detection unit of the image sensor 12 detects the light source (left tail lamp) of the preceding vehicle 20 as the left end light source (corresponding to an example of the first light source), and the light source (left head lamp) of the oncoming vehicle 30. ) As the right end light source (corresponding to an example of a second light source). In addition, any one of the two light sources (left and right tail lamps) of the preceding vehicle 20 and the two light sources (left and right head lamps) of the oncoming vehicle 30 is detected as a lower end light source.

また、先行車両20の2つの光源(左右のテールランプ)および対向車両30の2つの光源(左右のヘッドランプ)のうちいずれか1つを最短光源として検出する。本事例では、図3のように、先行車両20の方が対向車両30よりも自車両10に近いので、先行車両20の2つの光源のうちいずれか1つが最短光源として検出される。もし、対向車両30の方が先行車両20よりも自車両10に近い場合は、逆に、対向車両30の2つの光源のうちいずれか1つが最短光源として検出される。   In addition, one of the two light sources (left and right tail lamps) of the preceding vehicle 20 and the two light sources (left and right head lamps) of the oncoming vehicle 30 is detected as the shortest light source. In this example, as shown in FIG. 3, the preceding vehicle 20 is closer to the host vehicle 10 than the oncoming vehicle 30, so one of the two light sources of the preceding vehicle 20 is detected as the shortest light source. If the oncoming vehicle 30 is closer to the host vehicle 10 than the preceding vehicle 20, conversely, one of the two light sources of the oncoming vehicle 30 is detected as the shortest light source.

そして検出部は、これら左端光源、右端光源、下端光源のそれぞれの位置座標、ならびに、先行車/対向車両情報、最短光源の位置座標および当該最短光源から自車両までの距離の情報を、カメラ情報としてECU14に出力する。このとき、先行車/対向車両情報には、左端光源が先行車両の光源であるという情報、および、右端光源が対向車両の光源であるという情報が含まれる。   Then, the detection unit detects the position coordinates of each of the left end light source, the right end light source, and the lower end light source, the preceding vehicle / oncoming vehicle information, the position coordinates of the shortest light source, and information on the distance from the shortest light source to the host vehicle. To the ECU 14. At this time, the preceding vehicle / oncoming vehicle information includes information that the left end light source is the light source of the preceding vehicle and information that the right end light source is the light source of the oncoming vehicle.

また、ECU14は、本事例では、ステップ110でカメラ部が正常であると判定してステップ120に進み、ステップ120では、上述のようなカメラ情報を取得し、続いてステップ130で、当該カメラ情報に基づいて、「右端光源が先行車両の光源であり、かつ、左端光源が対向車両の光源である」という条件が満たされるか否か判定する。しかし、取得したカメラ情報には、逆に、左端光源が先行車両の光源であるという情報、および、右端光源が対向車両の光源であるという情報が含まれているので、ステップ130の判定結果は否定的なものとなり、処理はステップ115に進む。   In this example, the ECU 14 determines that the camera unit is normal in step 110 and proceeds to step 120. In step 120, the ECU 14 obtains the camera information as described above. Based on the above, it is determined whether or not the condition that “the right end light source is the light source of the preceding vehicle and the left end light source is the light source of the oncoming vehicle” is satisfied. However, the acquired camera information, conversely, includes information that the left end light source is the light source of the preceding vehicle, and information that the right end light source is the light source of the oncoming vehicle. The result is negative and the process proceeds to step 115.

ステップ115では、旋回予定なしと判定し、処理をステップ110に戻す。この場合、ヘッドランプ11の光軸は変化せず、ヘッドランプ11の光軸は自車両10の前方を向いたままとなる。   In step 115, it is determined that there is no plan to turn, and the process returns to step 110. In this case, the optical axis of the headlamp 11 does not change, and the optical axis of the headlamp 11 remains facing forward of the host vehicle 10.

[事例3]
次に、図4に示すように、自車両10が夜間またはトンネル内走行時に左カーブの手前を直進走行しており、カメラ部の撮影範囲内にある車両は、1台の先行車両20および1台の対向車両30のみとなっており、先行車両20から自車両10までの距離よりも、対向車両30から自車両10までの距離の方が十分大きく、その結果、対向車両30が先行車両20よりも左側に見える事例について説明する。このような事例では、左側走行の原則に従ったとしても、先行車両20と対向車両30の左右位置関係が事例2と逆になる。
[Case 3]
Next, as shown in FIG. 4, the host vehicle 10 is traveling straight ahead of the left curve at night or when traveling in a tunnel, and vehicles within the photographing range of the camera unit are one preceding vehicle 20 and 1. The distance from the oncoming vehicle 30 to the host vehicle 10 is sufficiently larger than the distance from the preceding vehicle 20 to the host vehicle 10. Cases that are visible on the left side of In such a case, the left-right positional relationship between the preceding vehicle 20 and the oncoming vehicle 30 is opposite to that in Case 2 even if the principle of left-hand drive is followed.

したがって、本事例では、画像センサ12の検出部は、先行車両20の光源(右側テールランプ)を右端光源(第1の光源の一例に相当する)として検出し、対向車両30の光源(右側ヘッドランプ)を左端光源(第2の光源の一例に相当する)として検出する。また、先行車両20の2つの光源(左右のテールランプ)および対向車両30の2つの光源(左右のヘッドランプ)のうちいずれか1つを下端光源として検出する。   Therefore, in this example, the detection unit of the image sensor 12 detects the light source (right tail lamp) of the preceding vehicle 20 as the right end light source (corresponding to an example of the first light source), and the light source (right head lamp) of the oncoming vehicle 30. ) As the left end light source (corresponding to an example of a second light source). In addition, any one of the two light sources (left and right tail lamps) of the preceding vehicle 20 and the two light sources (left and right head lamps) of the oncoming vehicle 30 is detected as a lower end light source.

また、図4に示すように、対向車両30に比べて先行車両20の方が車両10に近いので、先行車両20の2つの光源(左右のテールランプ)のうちいずれか1つを最短光源として検出する。この場合、右端光源(先行車両の右側テールランプ)が最短光源となる場合もあれば、右端光源ではなく先行車両の左側テールランプが最短光源となる場合もある。   As shown in FIG. 4, the preceding vehicle 20 is closer to the vehicle 10 than the oncoming vehicle 30, so that one of the two light sources (left and right tail lamps) of the preceding vehicle 20 is detected as the shortest light source. To do. In this case, the right end light source (the right tail lamp of the preceding vehicle) may be the shortest light source, or the left tail lamp of the preceding vehicle may be the shortest light source instead of the right end light source.

そして検出部は、これら左端光源、右端光源、下端光源のそれぞれの位置座標、ならびに、先行車/対向車両情報、最短光源の位置座標および当該最短光源から自車両までの距離の情報を、カメラ情報としてECU14に出力する。このとき、先行車/対向車両情報には、左端光源が対向車両の光源であるという情報、および、右端光源が先行車両の光源であるという情報が含まれる。   Then, the detection unit detects the position coordinates of each of the left end light source, the right end light source, and the lower end light source, the preceding vehicle / oncoming vehicle information, the position coordinates of the shortest light source, and information on the distance from the shortest light source to the host vehicle. To the ECU 14. At this time, the preceding vehicle / oncoming vehicle information includes information that the left end light source is the light source of the oncoming vehicle and information that the right end light source is the light source of the preceding vehicle.

また、ECU14は、本事例では、ステップ110でカメラ部が正常であると判定してステップ120に進み、ステップ120では、上述のようなカメラ情報を取得し、続いてステップ130で、当該カメラ情報に基づいて、「右端光源が先行車両の光源であり、かつ、左端光源が対向車両の光源である」という条件が満たされるか否か判定する。そして、取得したカメラ情報には、右端光源が先行車両の光源であるという情報、および、左端光源が対向車両の光源であるという情報が含まれているので、ステップ130の判定結果は肯定的なものとなり、処理はステップ140に進む。   In this example, the ECU 14 determines that the camera unit is normal in step 110 and proceeds to step 120. In step 120, the ECU 14 obtains the camera information as described above. Based on the above, it is determined whether or not the condition that “the right end light source is the light source of the preceding vehicle and the left end light source is the light source of the oncoming vehicle” is satisfied. Since the acquired camera information includes information that the right end light source is the light source of the preceding vehicle and information that the left end light source is the light source of the oncoming vehicle, the determination result in step 130 is positive. The process proceeds to step 140.

ステップ140では、取得したカメラ情報に基づいて、最短光源が先行車両の光源であるか否かを判定する。本事例では、上述の通り、右端光源(先行車両の右側テールランプ)が最短光源となる場合もあれば、右端光源ではなく先行車両の左側テールランプが最短光源となる場合もある。   In step 140, based on the acquired camera information, it is determined whether the shortest light source is the light source of the preceding vehicle. In this case, as described above, the right end light source (the right tail lamp of the preceding vehicle) may be the shortest light source, or the left tail lamp of the preceding vehicle may be the shortest light source instead of the right end light source.

前者の場合(先行車両の右側テールランプが最短光源となる場合)は、このステップ140の判定は、先行車両20の右側テールランプ(本事例における第1の光源に相当する)が最短光源であると判定するのだから、この判定は、先行車両20の右側テールランプが対向車両30の右側ヘッドランプ(すなわち左端光源。本事例における第2の光源に相当する。)よりも自車両10に近いと判定することになる。   In the former case (when the right tail lamp of the preceding vehicle is the shortest light source), the determination in step 140 is that the right tail lamp (corresponding to the first light source in this example) of the preceding vehicle 20 is the shortest light source. Therefore, in this determination, it is determined that the right tail lamp of the preceding vehicle 20 is closer to the host vehicle 10 than the right head lamp of the oncoming vehicle 30 (that is, the left end light source, which corresponds to the second light source in this example). become.

後者の場合(先行車両の左側テールランプが最短光源となる場合)は、このステップ140の判定は、先行車両20の左側テールランプが最短光源であると判定するのだから、この判定は、先行車両20の左側テールランプが対向車両30の右側ヘッドランプ(本事例における第2の光源に相当する)よりも自車両10に近いと判定することにもなる。そして、ある他車両の2つのテールランプ(または2つのヘッドランプ)は、自車両20からの距離とほぼ同じであることを考えれば、先行車両20の左側テールランプが対向車両30の右側ヘッドランプよりも自車両に近いと判定することは、当然に、先行車両20の右側テールランプ(本事例における第1の光源に相当する)も対向車両30の右側ヘッドランプ(本事例における第2の光源に相当する))よりも自車両10に近いと判定することと実質的に同じである。   In the latter case (when the left tail lamp of the preceding vehicle is the shortest light source), the determination in step 140 is that the left tail lamp of the preceding vehicle 20 is the shortest light source. It is also determined that the left tail lamp is closer to the host vehicle 10 than the right head lamp of the oncoming vehicle 30 (corresponding to the second light source in this example). Then, considering that the two tail lamps (or two head lamps) of a certain other vehicle are substantially the same as the distance from the host vehicle 20, the left tail lamp of the preceding vehicle 20 is more than the right head lamp of the oncoming vehicle 30. Determining that the vehicle is close to the host vehicle naturally corresponds to the right tail lamp of the preceding vehicle 20 (corresponding to the first light source in this example) and the right head lamp of the oncoming vehicle 30 (corresponding to the second light source in this example). This is substantially the same as determining that the vehicle is closer to the host vehicle 10 than)).

結局のところ、本事例では、ステップ140では、第1の光源の方が第2の光源よりも自車両10に近いと判定していることになる。そして、本事例では、最短光源が先行車両の光源である旨の情報がカメラ情報中に含まれているので、最短光源が先行車両の光源であるか否かについての判定結果は肯定的となり、処理をステップ160に進める。   After all, in this case, in Step 140, it is determined that the first light source is closer to the host vehicle 10 than the second light source. And in this example, since the information that the shortest light source is the light source of the preceding vehicle is included in the camera information, the determination result as to whether or not the shortest light source is the light source of the preceding vehicle is affirmative, The process proceeds to step 160.

ステップ160では、自車両の進行方向に左旋回カーブがあると予測する。そして、この予測に基づき、ステアリング角が中央位置から上記遊び角度の範囲内にあるにも関わらず、ヘッドランプ駆動部13を用いて、ヘッドランプ11の光軸を制御する。具体的には、ヘッドランプ11の光軸が、車両10の前方方向(直進方向)よりも所定角度(例えば10°)だけ左に向くよう、ヘッドランプ駆動部13のスイブルモータを作動させる。   In step 160, it is predicted that there is a left turn curve in the traveling direction of the host vehicle. Based on this prediction, the headlamp drive unit 13 is used to control the optical axis of the headlamp 11 even though the steering angle is within the range of the play angle from the center position. Specifically, the swivel motor of the headlamp driving unit 13 is operated so that the optical axis of the headlamp 11 is directed to the left by a predetermined angle (for example, 10 °) from the forward direction (straight direction) of the vehicle 10.

その後ECU14は、図2の処理を終了し、上記のように制御したヘッドランプ11の光軸を左に向けたまま、光軸を維持する。光軸の維持は、ステアリング角が、中央位置から上記遊び角度の範囲を超えた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、カーブによるステアリング操作に応じた光軸制御を行う。そして、車両がカーブの走行を終え、ステアリング角が、中央位置から上記遊び角度範囲内に戻ると、ECU14は、再度図2の処理を開始する。   Thereafter, the ECU 14 ends the processing of FIG. 2 and maintains the optical axis while keeping the optical axis of the headlamp 11 controlled as described above facing left. The maintenance of the optical axis ends when the steering angle exceeds the range of the play angle from the center position, and then the ECU 14 returns to the basic control described above, and controls the optical axis of the headlamp 11 according to the steering angle. I do. That is, the optical axis control according to the steering operation by the curve is performed. Then, when the vehicle finishes running on the curve and the steering angle returns from the center position to the play angle range, the ECU 14 starts the process of FIG. 2 again.

また、図2の処理を終了した後の上記光軸の維持は、図2の処理を終了してから、ステアリング角が、中央位置から上記遊び角度の範囲内に、連続して所定時間(例えば3秒)以上あり続けた場合にも終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、光軸を車両前方に戻す。   Further, the maintenance of the optical axis after the process of FIG. 2 is completed, the steering angle is continuously within a range of the play angle from the center position after the process of FIG. 3 seconds), the ECU 14 returns to the basic control and performs the optical axis control of the headlamp 11 in accordance with the steering angle. That is, the optical axis is returned to the front of the vehicle.

[事例4]
次に、図5に示すように、自車両10が夜間またはトンネル内走行時に右カーブの手前を直進走行しており、カメラ部の撮影範囲内にある車両は、1台の先行車両20および1台の対向車両30のみとなっており、対向車両30から自車両10までの距離よりも、先行車両20から自車両10までの距離の方が十分大きく、その結果、対向車両30が先行車両20よりも左側に見える事例について説明する。このような事例では、左側走行の原則に従ったとしても、先行車両20と対向車両30の左右位置関係が事例2と逆になる。
[Case 4]
Next, as shown in FIG. 5, the host vehicle 10 is traveling straight ahead of the right curve at night or when traveling in a tunnel, and vehicles within the photographing range of the camera unit are one preceding vehicle 20 and 1. The distance from the oncoming vehicle 30 to the host vehicle 10 is sufficiently larger than the distance from the oncoming vehicle 30 to the host vehicle 10. Cases that are visible on the left side of In such a case, the left-right positional relationship between the preceding vehicle 20 and the oncoming vehicle 30 is opposite to that in Case 2 even if the principle of left-hand drive is followed.

したがって、本事例では、画像センサ12の検出部は、先行車両20の光源(右側テールランプ)を右端光源(第1の光源の一例に相当する)として検出し、対向車両30の光源(右側ヘッドランプ)を左端光源(第2の光源の一例に相当する)として検出する。また、先行車両20の2つの光源(左右のテールランプ)および対向車両30の2つの光源(左右のヘッドランプ)のうちいずれか1つを下端光源として検出する。   Therefore, in this example, the detection unit of the image sensor 12 detects the light source (right tail lamp) of the preceding vehicle 20 as the right end light source (corresponding to an example of the first light source), and the light source (right head lamp) of the oncoming vehicle 30. ) As the left end light source (corresponding to an example of a second light source). In addition, any one of the two light sources (left and right tail lamps) of the preceding vehicle 20 and the two light sources (left and right head lamps) of the oncoming vehicle 30 is detected as a lower end light source.

また、図5に示すように、先行車両20に比べて対向車両30の方が車両10に近いので、対向車両30の2つの光源(左右のヘッドランプ)のうちいずれか1つを最短光源として検出する。この場合、左端光源(対向車両30の右側ヘッドランプ)が最短光源となる場合もあれば、左端光源ではなく対向車両30の左側ヘッドランプが最短光源となる場合もある。   As shown in FIG. 5, the oncoming vehicle 30 is closer to the vehicle 10 than the preceding vehicle 20, so that one of the two light sources (left and right headlamps) of the oncoming vehicle 30 is the shortest light source. To detect. In this case, the left end light source (the right head lamp of the oncoming vehicle 30) may be the shortest light source, or the left head lamp of the oncoming vehicle 30 may be the shortest light source instead of the left end light source.

そして検出部は、これら左端光源、右端光源、下端光源のそれぞれの位置座標、ならびに、先行車/対向車両情報、最短光源の位置座標および当該最短光源から自車両までの距離の情報を、カメラ情報としてECU14に出力する。このとき、先行車/対向車両情報には、左端光源が対向車両の光源であるという情報、および、右端光源が先行車両の光源であるという情報が含まれる。   Then, the detection unit detects the position coordinates of each of the left end light source, the right end light source, and the lower end light source, the preceding vehicle / oncoming vehicle information, the position coordinates of the shortest light source, and information on the distance from the shortest light source to the host vehicle. To the ECU 14. At this time, the preceding vehicle / oncoming vehicle information includes information that the left end light source is the light source of the oncoming vehicle and information that the right end light source is the light source of the preceding vehicle.

また、ECU14は、本事例では、ステップ110でカメラ部が正常であると判定してステップ120に進み、ステップ120では、上述のようなカメラ情報を取得し、続いてステップ130で、当該カメラ情報に基づいて、「右端光源が先行車両の光源であり、かつ、左端光源が対向車両の光源である」という条件が満たされるか否か判定する。そして、取得したカメラ情報には、右端光源が先行車両の光源であるという情報、および、左端光源が対向車両の光源であるという情報が含まれているので、ステップ130の判定結果は肯定的なものとなり、処理はステップ140に進む。   In this example, the ECU 14 determines that the camera unit is normal in step 110 and proceeds to step 120. In step 120, the ECU 14 obtains the camera information as described above. Based on the above, it is determined whether or not the condition that “the right end light source is the light source of the preceding vehicle and the left end light source is the light source of the oncoming vehicle” is satisfied. Since the acquired camera information includes information that the right end light source is the light source of the preceding vehicle and information that the left end light source is the light source of the oncoming vehicle, the determination result in step 130 is positive. The process proceeds to step 140.

ステップ140では、取得したカメラ情報に基づいて、最短光源が先行車両の光源であるか否かを判定する。本事例では、上述の通り、左端光源(対向車両30の右側ヘッドランプ)が最短光源となる場合もあれば、左端光源ではなく対向車両の左側ヘッドランプが最短光源となる場合もある。   In step 140, based on the acquired camera information, it is determined whether the shortest light source is the light source of the preceding vehicle. In this example, as described above, the left end light source (the right head lamp of the oncoming vehicle 30) may be the shortest light source, or the left head lamp of the oncoming vehicle may be the shortest light source instead of the left end light source.

前者の場合(対向車両30の右側ヘッドランプが最短光源となる場合)は、このステップ140の判定は、対向車両30の右側ヘッドランプ(本事例における第2の光源に相当する)が最短光源であると判定するのだから、この判定は、対向車両30の右側ヘッドランプが先行車両20の右側テールランプ(すなわち右端光源。本事例における第1の光源に相当する。)よりも自車両10に近いと判定することにもなる。   In the former case (when the right headlamp of the oncoming vehicle 30 is the shortest light source), the determination in step 140 is that the right headlamp of the oncoming vehicle 30 (corresponding to the second light source in this example) is the shortest light source. Since it is determined that there is, this determination is made when the right head lamp of the oncoming vehicle 30 is closer to the host vehicle 10 than the right tail lamp of the preceding vehicle 20 (that is, the right end light source, which corresponds to the first light source in this example). It will also be judged.

後者の場合(対向車両30の左側ヘッドランプが最短光源となる場合)は、このステップ140の判定は、対向車両30の左側ヘッドランプが最短光源であると判定するのだから、この判定は、対向車両30の左側ヘッドランプが先行車両の右側テールランプ(本事例における第1の光源に相当する)よりも自車両10に近いと判定することにもなる。そして、ある他車両の2つのテールランプ(または2つのヘッドランプ)は、自車両20からの距離とほぼ同じであることを考えれば、対向車両30の左側ヘッドランプが先行車両20の右側テールランプよりも自車両に近いと判定することは、当然に、対向車両30の右側ヘッドランプ(本事例における第2の光源に相当する)も先行車両20の右側テールランプ(本事例における第1の光源に相当する))よりも自車両10に近いと判定することと実質的に同じである。
結局のところ、本事例では、ステップ140では、第2の光源の方が第1の光源よりも自車両10に近いと判定していることになる。そして、本事例では、最短光源が対向車両の光源である旨の情報がカメラ情報中に含まれているので、最短光源が先行車両の光源であるか否かについての判定結果は否定的となり、処理をステップ150に進める。
In the latter case (when the left headlamp of the oncoming vehicle 30 is the shortest light source), the determination in step 140 is that the left headlamp of the oncoming vehicle 30 is the shortest light source. It is also determined that the left head lamp of the vehicle 30 is closer to the host vehicle 10 than the right tail lamp of the preceding vehicle (corresponding to the first light source in this example). Then, considering that the two tail lamps (or two head lamps) of a certain other vehicle are substantially the same as the distance from the host vehicle 20, the left head lamp of the oncoming vehicle 30 is more than the right tail lamp of the preceding vehicle 20. Determining that the vehicle is close to the host vehicle naturally corresponds to the right head lamp of the oncoming vehicle 30 (corresponding to the second light source in this case) and the right tail lamp of the preceding vehicle 20 (corresponding to the first light source in this case). This is substantially the same as determining that the vehicle is closer to the host vehicle 10 than)).
After all, in this example, in step 140, it is determined that the second light source is closer to the host vehicle 10 than the first light source. And in this example, since the information that the shortest light source is the light source of the oncoming vehicle is included in the camera information, the determination result as to whether or not the shortest light source is the light source of the preceding vehicle is negative, The process proceeds to step 150.

ステップ150では、自車両の進行方向に右旋回カーブがあると予測する。そして、この予測に基づき、ステアリング角が中央位置から上記遊び角度の範囲内にあるにも関わらず、ヘッドランプ駆動部13を用いて、ヘッドランプ11の光軸を制御する。具体的には、ヘッドランプ11の光軸が、車両10の前方方向(直進方向)よりも所定角度(例えば10°)だけ右に向くよう、ヘッドランプ駆動部13のスイブルモータを作動させる。   In step 150, it is predicted that there is a right turn curve in the traveling direction of the host vehicle. Based on this prediction, the headlamp drive unit 13 is used to control the optical axis of the headlamp 11 even though the steering angle is within the range of the play angle from the center position. Specifically, the swivel motor of the headlamp driving unit 13 is operated so that the optical axis of the headlamp 11 is directed to the right by a predetermined angle (for example, 10 °) from the forward direction (straight direction) of the vehicle 10.

その後ECU14は、図2の処理を終了し、上記のように制御したヘッドランプ11の光軸を右に向けたまま、光軸を維持する。光軸の維持は、ステアリング角が、中央位置から上記遊び角度の範囲を超えた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、カーブによるステアリング操作に応じた光軸制御を行う。そして、車両がカーブの走行を終え、ステアリング角が、中央位置から上記遊び角度範囲内に戻ると、ECU14は、再度図2の処理を開始する。   Thereafter, the ECU 14 ends the processing of FIG. 2 and maintains the optical axis while keeping the optical axis of the headlamp 11 controlled as described above facing to the right. The maintenance of the optical axis ends when the steering angle exceeds the range of the play angle from the center position, and then the ECU 14 returns to the basic control described above, and controls the optical axis of the headlamp 11 according to the steering angle. I do. That is, the optical axis control according to the steering operation by the curve is performed. Then, when the vehicle finishes running on the curve and the steering angle returns from the center position to the play angle range, the ECU 14 starts the process of FIG. 2 again.

また、図2の処理を終了した後の上記光軸の維持は、図2の処理を終了してから、ステアリング角が、中央位置から上記遊び角度の範囲内に、連続して所定時間(例えば3秒)以上あり続けた場合にも終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、光軸を車両前方に戻す。   Further, the maintenance of the optical axis after the process of FIG. 2 is completed, the steering angle is continuously within a range of the play angle from the center position after the process of FIG. 3 seconds), the ECU 14 returns to the basic control and performs the optical axis control of the headlamp 11 in accordance with the steering angle. That is, the optical axis is returned to the front of the vehicle.

[他の事例]
なお、カメラ部の撮影範囲内に車両が1台しかいない場合は、ECU14は、ステップ110、120、130と進み、ステップ130で、「右端光源が先行車両かつ左端光源が対向車両」でないと判定し、ステップ115に進み、自車両の旋回なしと判定する。
[Other examples]
If there is only one vehicle within the photographing range of the camera unit, the ECU 14 proceeds to steps 110, 120, and 130, and in step 130, determines that “the right end light source is a preceding vehicle and the left end light source is an oncoming vehicle”. Then, the process proceeds to step 115 and it is determined that the host vehicle is not turning.

以上説明した通り、本実施形態の車両前照灯制御システム1は、画像センサ12の撮影範囲内に1台の先行車両と1台の対向車両があるとき(事例2〜4)、画像センサ12の撮影画像中の第1の光源の位置座標、第2の光源の位置座標、第1の光源が先行車両の光源であることを示す情報、および、第2の光源が対向車両の光源であることを示す情報を、カメラ情報として取得し(ステップ120)、第1の光源が第2の光源よりも右側にあるか否かを判定し(ステップ130)、その判定結果が肯定的な場合、自車両の進行方向にカーブがあると判定し、判定結果が否定的な場合、自車両の旋回予定なしと判定する(ステップ115、140〜160)。   As described above, the vehicle headlamp control system 1 according to the present embodiment has the image sensor 12 when there is one preceding vehicle and one oncoming vehicle within the imaging range of the image sensor 12 (cases 2 to 4). The position coordinates of the first light source, the position coordinates of the second light source, information indicating that the first light source is the light source of the preceding vehicle, and the second light source are the light sources of the oncoming vehicle Information indicating this is acquired as camera information (step 120), whether or not the first light source is on the right side of the second light source (step 130), and if the determination result is affirmative, If it is determined that there is a curve in the traveling direction of the host vehicle and the determination result is negative, it is determined that the host vehicle is not scheduled to turn (steps 115 and 140 to 160).

このように、撮影画像中において先行車両が対向車両の右側にいることに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。   In this way, by determining that there is a curve in the traveling direction of the vehicle based on the fact that the preceding vehicle is on the right side of the oncoming vehicle in the captured image, the vehicle using the behavior of the oncoming vehicle in the captured image is used. Can be predicted.

また、本実施形態の車両前照灯制御システム1は、画像センサ12の撮影範囲内に1台の先行車両と1台の対向車両があるとき、第1の光源および前記第2の光源のうちどちらが車両に近いかを示す情報も、カメラ情報として画像センサ12から取得し、ステップ130の判定結果が肯定的な場合、第2の光源よりも第1の光源の方が車両に近いことに基づいて、車両の進行方向に左カーブがあると判定し、第1の光源よりも第2の光源の方が車両に近いことに基づいて、車両の進行方向に右カーブがあると判定する。このようにすることで、車両の左旋回および右旋回を区別して予測することができる。   In addition, the vehicle headlamp control system 1 according to the present embodiment includes the first light source and the second light source when there is one preceding vehicle and one oncoming vehicle within the imaging range of the image sensor 12. Information indicating which is closer to the vehicle is also acquired from the image sensor 12 as camera information, and when the determination result in step 130 is affirmative, the first light source is closer to the vehicle than the second light source. Thus, it is determined that there is a left curve in the traveling direction of the vehicle, and it is determined that there is a right curve in the traveling direction of the vehicle based on the fact that the second light source is closer to the vehicle than the first light source. In this way, it is possible to distinguish and predict the left turn and the right turn of the vehicle.

なお、上記実施形態において、ECU14が、ステップ120を実行することでカメラ情報取得手段の一例として機能し、ステップ130を実行することで判定手段130の一例として機能し、ステップ115、140〜160を実行することで予測手段の一例として機能する。   In the above-described embodiment, the ECU 14 functions as an example of the camera information acquisition unit by executing step 120, and functions as an example of the determination unit 130 by executing step 130, and steps 115 and 140 to 160 are performed. When executed, it functions as an example of a prediction means.

(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is. For example, the following forms are also acceptable.

(1)上記実施形態では、旋回予測装置の一例として、車両前照灯制御システム1について説明した。しかし、旋回予測装置は、車両前照灯制御システム1以外のシステムにも適用可能である。換言すれば、車両の進行方向にカーブがあるか否かの情報は、ヘッドランプ11の光軸制御以外の用途にも使用可能である。例えば、カーブの事前報知に用いてよい。   (1) In the above embodiment, the vehicle headlamp control system 1 has been described as an example of the turning prediction device. However, the turning prediction device can be applied to systems other than the vehicle headlamp control system 1. In other words, information on whether or not there is a curve in the traveling direction of the vehicle can be used for applications other than the optical axis control of the headlamp 11. For example, you may use for the prior alert | report of a curve.

(2)また、ステアリング角が中央位置から上記遊び角度以内にある場合でも、他の要因(例えば、対向車両の存在)に従ってヘッドランプ11の光軸を変化させるようになっていてもよい。   (2) Further, even when the steering angle is within the play angle from the center position, the optical axis of the headlamp 11 may be changed according to other factors (for example, the presence of an oncoming vehicle).

(3)また、上記実施形態では、カメラの撮影画像中の光源の色、形状、位置、自車両からの距離等に基づいて、撮影画像中の対向車両と先行車両の位置関係を判定するようになっている。しかし、光源ではなく、例えば、撮影画像に対して画像認識技術を適用して、車両自体の形状を特定し、特定した形状に基づいて、撮影画像中の対向車両と先行車両の位置関係判定するようになっていてもよい。   (3) In the above embodiment, the positional relationship between the oncoming vehicle and the preceding vehicle in the captured image is determined based on the color, shape, position, distance from the host vehicle, and the like of the light source in the captured image of the camera. It has become. However, instead of the light source, for example, an image recognition technique is applied to the captured image to specify the shape of the vehicle itself, and the positional relationship between the oncoming vehicle and the preceding vehicle in the captured image is determined based on the specified shape. It may be like this.

つまり、本発明においては、カメラの撮影範囲内に1台の先行車両と1台の対向車両があるとき、カメラの撮影画像に基づいて、先行車両が対向車両よりも右側にあるか否かを判定し、判定結果が否定的な場合、車両の旋回予定なしと判定し、判定結果が肯定的な場合、自車両の進行方向にカーブがあると判定するようになっていればよい。   That is, in the present invention, when there is one preceding vehicle and one oncoming vehicle within the shooting range of the camera, it is determined whether the preceding vehicle is on the right side of the oncoming vehicle based on the captured image of the camera. If the determination result is negative, it is determined that the vehicle is not scheduled to turn, and if the determination result is positive, it may be determined that there is a curve in the traveling direction of the host vehicle.

また、先行車両が対向車両よりも右側にある場合、自車両の進行方向にカーブがあると判定すると共に、先行車両の方が対向車両よりも自車両に近ければ、自車両の進行方向に左カーブがあると判定し、対向車両の方が先行車両よりも自車両に近ければ、自車両の進行方向に右カーブがあると判定してもよい。   In addition, when the preceding vehicle is on the right side of the oncoming vehicle, it is determined that there is a curve in the traveling direction of the host vehicle, and if the preceding vehicle is closer to the own vehicle than the oncoming vehicle, If it is determined that there is a curve and the oncoming vehicle is closer to the host vehicle than the preceding vehicle, it may be determined that there is a right curve in the traveling direction of the host vehicle.

(4)また、上記実施形態では、第1の光源および第2の光源のうちどちらが自車両に近いかを示す情報として、最短光源の位置座標を取得しているが、第1の光源および第2の光源のうちどちらが自車両に近いかを示す情報として、最長光源の位置座標を取得するようになっていてもよいし、第1の光源から自車両までの距離および第2の光源から自車両までの距離の情報を取得するようになっていてもよい。   (4) In the above embodiment, the position coordinate of the shortest light source is acquired as information indicating which of the first light source and the second light source is closer to the host vehicle. As the information indicating which of the two light sources is closer to the host vehicle, the position coordinate of the longest light source may be acquired, or the distance from the first light source to the host vehicle and the second light source Information on the distance to the vehicle may be acquired.

(5) また、上記実施形態では、左側走行の規定に従って各車両が走行することを前提としている。右側走行の規定がある地域では、上記実施形態において右と左を読み替えれば、本実施形態と同等の効果を得ることができる。   (5) Moreover, in the said embodiment, it presupposes that each vehicle drive | works according to the rule | regulation of left side driving | running | working. In an area where the right-side driving is regulated, the same effect as this embodiment can be obtained by replacing the right and left in the above embodiment.

つまり、右側走行の規定がある地域では、カメラの撮影範囲内に1台の先行車両と1台の対向車両があるとき、カメラの撮影画像に基づいて、先行車両が対向車両よりも左側にあるか否かを判定し、判定結果が否定的な場合、車両の旋回予定なしと判定し、判定結果が肯定的な場合、自車両の進行方向にカーブがあると判定するようになっていればよい。   In other words, in a region where right-hand drive is prescribed, when there is one preceding vehicle and one oncoming vehicle within the shooting range of the camera, the preceding vehicle is on the left side of the oncoming vehicle based on the image captured by the camera. If the determination result is negative, it is determined that the vehicle is not scheduled to turn, and if the determination result is positive, it is determined that there is a curve in the traveling direction of the host vehicle. Good.

また、先行車両が対向車両よりも左側にある場合、自車両の進行方向にカーブがあると判定すると共に、先行車両の方が対向車両よりも自車両に近ければ、自車両の進行方向に右カーブがあると判定し、対向車両の方が先行車両よりも自車両に近ければ、自車両の進行方向に左カーブがあると判定してもよい。   Further, when the preceding vehicle is on the left side of the oncoming vehicle, it is determined that there is a curve in the traveling direction of the own vehicle, and if the preceding vehicle is closer to the own vehicle than the oncoming vehicle, the right direction in the traveling direction of the own vehicle If it is determined that there is a curve and the oncoming vehicle is closer to the host vehicle than the preceding vehicle, it may be determined that there is a left curve in the traveling direction of the host vehicle.

1 車両前照灯制御システム
10 自車両
11 ヘッドランプ
12 画像センサ
13 ヘッドランプ駆動部
14 ECU
20 先行車両
30 対向車両
DESCRIPTION OF SYMBOLS 1 Vehicle headlamp control system 10 Own vehicle 11 Headlamp 12 Image sensor 13 Headlamp drive part 14 ECU
20 Leading vehicle 30 Oncoming vehicle

Claims (3)

車両に搭載される画像センサ(12)からカメラ情報を取得し、前記カメラ情報に基づいて前記車両の旋回を予測する旋回予測装置であって、
前記画像センサ(12)の撮影範囲内に1台の先行車両と1台の対向車両があるとき、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を取得し、取得した前記撮影画像中の第1の光源の位置座標、第2の光源の位置座標、前記第1の光源が先行車両の光源であることを示す情報、および、前記第2の光源が対向車両の光源であることを示す情報を、前記カメラ情報として出力すると、出力された前記カメラ情報を取得するカメラ情報取得手段(120)と、
前記第1の光源が前記第2の光源よりも右側にあるか否かを判定する判定手段(130)と、
前記判定手段(130)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(130)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、140〜160)と、を備えた旋回予測装置。
A turn prediction device that acquires camera information from an image sensor (12) mounted on a vehicle and predicts the turn of the vehicle based on the camera information,
When there is one preceding vehicle and one oncoming vehicle in the shooting range of the image sensor (12), the image sensor (12) acquires and acquires a shot image by shooting the front of the vehicle. Position coordinates of the first light source in the captured image, position coordinates of the second light source, information indicating that the first light source is the light source of the preceding vehicle, and the second light source is the light source of the oncoming vehicle Camera information acquisition means (120) for acquiring the output camera information when the information indicating that is output as the camera information;
Determination means (130) for determining whether or not the first light source is on the right side of the second light source;
When the determination result of the determination means (130) is affirmative, it is determined that there is a curve in the traveling direction of the vehicle, and when the determination result of the determination means (130) is negative, the vehicle is not scheduled to turn. A turning prediction device comprising prediction means (115, 140 to 160) for determination.
前記カメラ情報取得手段(120)は、前記画像センサ(12)の撮影範囲内に1台の前記先行車両と1台の前記対向車両があるとき、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を取得し、取得した前記撮影画像中の第1の光源の位置座標、第2の光源の位置座標、前記第1の光源が先行車両の光源であることを示す情報、前記第2の光源が対向車両の光源であることを示す情報、および、前記第1の光源および前記第2の光源のうちどちらが前記車両に近いかを示す情報を、前記カメラ情報として出力すると、出力された前記カメラ情報を取得し、
前記予測手段(115、140〜160)は、前記判定手段(130)の判定結果が肯定的な場合、前記カメラ情報によれば前記第2の光源よりも前記第1の光源の方が前記車両に近いことに基づいて、前記車両の進行方向に左カーブがあると判定し、前記カメラ情報によれば前記第1の光源よりも前記第2の光源の方が前記車両に近いことに基づいて、前記車両の進行方向に右カーブがあると判定することを特徴とする請求項1に記載の旋回予測装置。
When the camera information acquisition means (120) has one preceding vehicle and one oncoming vehicle within the imaging range of the image sensor (12), the image sensor (12) A photographed image is obtained by photographing, the position coordinates of the first light source in the obtained photographed image, the position coordinates of the second light source, information indicating that the first light source is a light source of a preceding vehicle, When the information indicating that the second light source is a light source of an oncoming vehicle and the information indicating which of the first light source and the second light source is closer to the vehicle is output as the camera information, Obtain the output camera information,
According to the camera information, the prediction means (115, 140 to 160) is configured such that the first light source is more vehicle-friendly than the second light source when the determination result of the determination means (130) is positive. Is determined to be a left curve in the traveling direction of the vehicle, and according to the camera information, the second light source is closer to the vehicle than the first light source. The turning prediction device according to claim 1, wherein it is determined that there is a right curve in the traveling direction of the vehicle.
車両の前方を撮影するカメラの撮影画像に基づいて、前記車両の旋回を予測する旋回予測装置であって、
前記カメラの撮影範囲内に1台の先行車両と1台の対向車両があるとき、前記撮影画像に基づいて、前記先行車両が前記対向車両よりも右側にあるか否かを判定する判定手段(130)と、
前記判定手段(130)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(130)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、140〜160)と、を備えた旋回予測装置。
A turning prediction device that predicts turning of the vehicle based on a captured image of a camera that captures the front of the vehicle,
When there is one preceding vehicle and one oncoming vehicle within the shooting range of the camera, determination means for determining whether the preceding vehicle is on the right side of the oncoming vehicle based on the captured image ( 130),
When the determination result of the determination means (130) is affirmative, it is determined that there is a curve in the traveling direction of the vehicle, and when the determination result of the determination means (130) is negative, there is no plan to turn the vehicle. A turning prediction device comprising prediction means (115, 140 to 160) for determination.
JP2011199661A 2011-09-13 2011-09-13 Vehicle turning prediction device Expired - Fee Related JP5601300B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011199661A JP5601300B2 (en) 2011-09-13 2011-09-13 Vehicle turning prediction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011199661A JP5601300B2 (en) 2011-09-13 2011-09-13 Vehicle turning prediction device

Publications (2)

Publication Number Publication Date
JP2013061787A true JP2013061787A (en) 2013-04-04
JP5601300B2 JP5601300B2 (en) 2014-10-08

Family

ID=48186415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011199661A Expired - Fee Related JP5601300B2 (en) 2011-09-13 2011-09-13 Vehicle turning prediction device

Country Status (1)

Country Link
JP (1) JP5601300B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139215A (en) * 2013-05-27 2014-12-05 현대자동차주식회사 Smart cruise apparatus and control method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01233129A (en) * 1988-03-14 1989-09-18 Nissan Motor Co Ltd Optical axis changing device for illuminating lamp
JP2000198384A (en) * 1999-01-11 2000-07-18 Mazda Motor Corp Headlight controller for vehicle
JP2010116036A (en) * 2008-11-12 2010-05-27 Koito Mfg Co Ltd Headlight device for vehicle
JP2013056645A (en) * 2011-09-09 2013-03-28 Denso Corp Device for predicting turn of vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01233129A (en) * 1988-03-14 1989-09-18 Nissan Motor Co Ltd Optical axis changing device for illuminating lamp
JP2000198384A (en) * 1999-01-11 2000-07-18 Mazda Motor Corp Headlight controller for vehicle
JP2010116036A (en) * 2008-11-12 2010-05-27 Koito Mfg Co Ltd Headlight device for vehicle
JP2013056645A (en) * 2011-09-09 2013-03-28 Denso Corp Device for predicting turn of vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139215A (en) * 2013-05-27 2014-12-05 현대자동차주식회사 Smart cruise apparatus and control method thereof
KR102019319B1 (en) 2013-05-27 2019-09-09 현대자동차(주) Smart cruise apparatus and control method thereof

Also Published As

Publication number Publication date
JP5601300B2 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
JP5760884B2 (en) Vehicle turning prediction device
JP5680573B2 (en) Vehicle driving environment recognition device
JP4544233B2 (en) Vehicle detection device and headlamp control device
JP4702426B2 (en) Vehicle detection device, vehicle detection program, and light control device
JP4466604B2 (en) Vehicle headlamp device
US8952616B2 (en) Apparatus for controlling head lamp for vehicle
US8866387B2 (en) Vehicular headlight apparatus
JP5884635B2 (en) Driving environment detection device, driving environment detection program, and light control device
JP4980970B2 (en) Image pickup means adjustment device and object detection device
JP2020504052A (en) Image correction for motorcycle banking
JP2013047058A (en) Vehicle headlight control device
JP4441877B2 (en) Vehicle headlamp device
KR102135901B1 (en) Control system of high-beam assist system of vehicle and method the same
JP7081444B2 (en) Vehicle control system
JP6214290B2 (en) Headlight control device
JP5873372B2 (en) Headlight light distribution control device
JP5652374B2 (en) Vehicle headlamp control device
JP5601300B2 (en) Vehicle turning prediction device
JP6190210B2 (en) Headlight control device
JP4737108B2 (en) Headlight control device
JP2006146754A (en) Preceding car detecting method and preceding car detecting apparatus
JP5859897B2 (en) In-vehicle camera device
WO2021094800A1 (en) Traffic signal recognition method and traffic signal recognition device
JP2006036048A (en) Vehicle light controlling device
JP2018200593A (en) Brake determination method and brake determination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140804

R151 Written notification of patent or utility model registration

Ref document number: 5601300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees