JP2013056645A - 車両の旋回予測装置 - Google Patents

車両の旋回予測装置 Download PDF

Info

Publication number
JP2013056645A
JP2013056645A JP2011197249A JP2011197249A JP2013056645A JP 2013056645 A JP2013056645 A JP 2013056645A JP 2011197249 A JP2011197249 A JP 2011197249A JP 2011197249 A JP2011197249 A JP 2011197249A JP 2013056645 A JP2013056645 A JP 2013056645A
Authority
JP
Japan
Prior art keywords
light source
vehicle
captured image
camera information
turn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011197249A
Other languages
English (en)
Other versions
JP5760884B2 (ja
Inventor
Tsuneharu Imaeda
恒治 今枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011197249A priority Critical patent/JP5760884B2/ja
Priority to PCT/JP2012/072860 priority patent/WO2013035828A1/ja
Priority to US14/343,617 priority patent/US9436881B2/en
Publication of JP2013056645A publication Critical patent/JP2013056645A/ja
Application granted granted Critical
Publication of JP5760884B2 publication Critical patent/JP5760884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】従来にない新たな方法で車両の旋回を予測する装置を提供する。
【解決手段】車両10に搭載された画像センサからカメラ情報を取得し、車両の旋回を予測する旋回予測装置において、画像センサが、車両の前方を撮影することで撮影画像を繰り返し取得し、取得した撮影画像中の光源の位置座標、および、当該光源が先行車の光源か対向車両の光源かを示す情報を、カメラ情報として繰り返し出力すると、当該カメラ情報に基づいて、当該光源が、撮影画像中に新たに現れた対向車両20の光源であり、かつ、撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定し、判定結果が肯定的な場合、車両10の進行方向にカーブがあると判定する。
【選択図】図6

Description

本発明は、車両の旋回予測装置に関するものである。
従来、自車両のこれからの旋回の有無を判定するために、ナビゲーション装置に記録された道路形状データを用いたり、レーン認識によって検出した白線の形状を用いたりする技術が知られている(例えば、特許文献1参照)。
特開平11−198714号公報
本発明は、従来にない新たな方法で車両の旋回を予測する装置を提供することを目的とする。
上記目的を達成するための請求項1に記載の発明は、車両に搭載された画像センサ(12)からカメラ情報を取得し、前記車両の旋回を予測する旋回予測装置であって、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を繰り返し取得し、取得した前記撮影画像中の光源の位置座標、および、前記光源が先行車の光源か対向車両の光源かを示す情報を、前記カメラ情報として繰り返し出力すると、出力された前記カメラ情報を繰り返し取得するカメラ情報取得手段(120)と、取得された前記カメラ情報に基づいて、前記光源が、前記撮影画像中に新たに現れた対向車両の光源であり、かつ、前記撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定する判定手段(140、150、160、165)と、前記判定手段(140、150、160、165)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(140、150、160、165)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、170〜190)と、を備えた旋回予測装置である。
このように、撮影画像中の左端付近または右端付近に対向車両が現れたことに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。
また、請求項2に記載の発明は、請求項1に記載の旋回予測装置において、前記カメラ情報取得手段(120)は、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を繰り返し取得し、取得した前記撮影画像中の光源の位置座標、前記光源が先行車の光源か対向車両の光源かを示す情報、および、前記光源から前記車両までの距離を、前記カメラ情報として繰り返し出力すると、出力された前記カメラ情報を繰り返し取得し、前記判定手段(140、150、160、165)は、前記光源から前記車両までの距離が指定距離以上であり、かつ、前記光源が、前記撮影画像中に新たに現れた対向車両の光源であり、かつ、前記撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定することを特徴とする。
このように、光源から車両までの距離が指定距離以上であるということを条件の1つとして判定することで、直線道路において近くにいる対向車両が急に車線変更したような場合に、自車両の進行方向にカーブがあると誤判定してしまう可能性が低下し、その結果、旋回予測がより正確になる。
また、請求項3に記載の発明は、請求項1または2に記載の旋回予測装置において、前記予測手段(115、170〜190)は、前記判定手段(150、160、165)の判定結果が肯定的な場合、前記光源が前記撮影画像中の前記左端付近の所定の領域にあることに基づいて、前記車両の進行方向に左カーブがあると判定し、前記光源が前記撮影画像中の前記右端付近の所定の領域にあることに基づいて、前記車両の進行方向に右カーブがあると判定することを特徴とする。このようにすることで、車両の左旋回および右旋回を区別して予測することができる。
また、請求項4に記載の発明は、車両に搭載されたカメラによって繰り返し撮影された前記車両の前方の撮影画像に基づいて、前記撮影画像の左端または右端から前記撮影画像内に対向車両が入ってきたか否かを判定する判定手段(150、160、165)と、前記判定手段(150、160、165)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(150、160、165)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、170〜190)と、を備えた旋回予測装置である。
このように、撮影画像の左端または右端から前記撮影画像内に対向車両が入ってきたことに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
本発明の実施形態に係る車両前照灯制御システム1の構成図である。 ECUが実行する旋回予測処理のフローチャートである。 直進道路において自車両10の前方に対向車両20が存在する場合を示す図である。 カメラの撮影範囲を示す図である。 直進道路において対向車両20が車線変更して撮影範囲33内に入ってきた場合を示す図である。 左カーブの手前に自車両10がいる場合に、前方左側から対向車両20が現れた場合を示す図である。 右カーブの手前に自車両10がいる場合に、前方左側から対向車両20が現れた場合を示す図である。
以下、本発明の第1実施形態について説明する。図1に、本実施形態に係る車両前照灯制御システム1の構成を示す。
車両前照灯制御システム1は、車両に搭載され、車両の2つのヘッドランプ(前照灯)11を制御するためのシステムであり、画像センサ12、ヘッドランプ駆動部13、ECU14等を有している。
画像センサ12は、カメラ部および検出部を備えている。カメラ部は、車両の前方の路面等を繰り返し(例えば、定期的に1/30秒周期で)撮影し、撮影結果の撮影画像を逐次検出部に出力する。検出部は、カメラ部から出力された撮影画像に対して、周知の検出処理を逐次行うことで、撮影画像中に写された光源(所定値以上の輝度、形、色などにより車両と認識できる物体)の検出を試みる。そして、撮影画像中で1つ以上の光源を検出できた場合、それら光源のうち、最も左にある左端光源の位置座標、最も右にある右端光源の位置座標、および、最も下にある下端光源の位置座標を特定し、更に、左端光源、右端光源、下端光源のそれぞれが先行車の光源か対向車両の光源を示す先行車/対向車両情報を作成し、更に、それら検出できた光源のうち自車両に最も近い最短光源の位置座標、および、当該最短光源から自車両までの距離を特定する。
そして、検出部は、このようにして取得した左端光源、右端光源、下端光源のそれぞれの(撮影画像中の)位置座標、ならびに、先行車/対向車両情報、最短光源の位置座標および当該最短光源から自車両までの距離の情報を、カメラ情報としてECU14に出力する。
なお、左端光源、右端光源、下端光源のそれぞれが先行車の光源(すなわち、光っているテールランプ)か対向車両の光源(すなわち、光っているヘッドランプ)かについては、当該光源の色および形状に基づいて判定する。具体的には、例えば、1つの光源(左端光源、右端光源、下端光源のいずれでもよい)について、当該1つの光源と上下方向の位置がほぼ同じでかつ左または右に他の光源があり、かつ、当該他の光源と当該1つの光源の特徴量(例えば、形状と色)が所定の基準以上に類似していれば、当該1つの光源を、他の車両の光源(ヘッドランプまたはテールランプ)であると判定する。そして、当該1つの光源の色が赤色よりも白色に近い場合は、当該1つの光源を対向車両の光源(ヘッドランプ)であると判定し、当該1つの光源の色が白色よりも赤色に近い場合は、当該1つの光源を先行車の光源(テールランプ)であると判定する。
また、検出できた光源のうち自車両に最も近い最短光源を特定するためには、各光源から自車両までの距離を特定する必要がある。光源までの距離を特定する方法としては、下記の2つの特定方法1、2のいずれかを採用してもよいし、あるいは、両方を併用してもよい。
特定方法1:画像センサ12のカメラ部は、車両の異なる位置(具体的には、自車両の左右方向に離れた位置であり、かつ、自車両の前後方向位置は同じ)に設けられた2つのカメラを備え、それら2つのカメラで同時に撮影し、その結果得られた2つの撮影画像中の光源の位置のずれに基づいて、当該前後方向位置から当該光源までの距離を特定する。このようなステレオ画像撮影による被写体の距離特定方法は、周知の技術であり、例えば特開平7−306037号公報に記載されている。
特定方法2:撮影画像中で、1台の車両の光源として左右方向に並んだ2つの光源のペア(ヘッドランプまたはテールランプ)を特定する。左右方向に並んだ2つの光源が1台の車両の光源のペアであるか否かは、それら2つの光源の特徴量(例えば、形状と色)が所定の基準以上に類似しているか否かで判定する。そして、撮影画像中におけるそれらペア間の距離Aを特定し、この距離から、当該ペアの光源から自車両までの距離Bを特定する。距離Aと距離Bとの対応関係は、あらかじめ対応関係マップとして検出部に記録しておいたものを参照して決定する。対応関係マップにおいては、距離Aが大きくなるほど距離Bも大きくなるようになっている。この対応関係マップについては、車両のヘッドランプ間の距離およびテールランプ間の距離が一定であると仮定した上で、カメラの特性に応じた対応関係マップを作成する。このような特定方法2も周知であり、例えば特開平6−276524号公報、特開昭62−121599号公報に記載されている。
この画像センサ12のような、カメラ部および検出部を備え、上述のようなカメラ情報を出力する装置は、既に実用化されている。具体的には、トヨタ自動車株式会社が米国で販売するレクサスLSの全グレードに標準装備されており、オートマチックハイビーム機能を実現するために使用されている。
ヘッドランプ駆動部13は、ヘッドランプ11の点灯、消灯、照射方向、照射範囲等を制御するためのアクチュエータである。このヘッドランプ駆動部13は、ヘッドランプ11毎に、当該ヘッドランプ11の照射方向を車両の左右方向に変化させる(すなわち、スイブルさせる)ためのスイブルモータ等を有している。
ECU14(旋回予測装置の一例に相当する)は、マイクロコンピュータ等を備えた電子制御装置であり、あらかじめECU14に記録されたプログラムを実行することで、ヘッドランプ11の光軸制御のための各種処理を実行する。
以下、このような車両前照灯制御システム1の、ヘッドランプ11点灯時(例えば夜間)における作動について説明する。ECU14は、基本制御として、図示しない車両のステアリング角センサからの検出信号を取得し、取得した検出信号に基づいて、車両のステアリング角に応じて決定した車両の進行方向に、ヘッドランプ11の光軸を向けるため、ヘッドランプ駆動部13のスイブルモータを制御する。
具体的には、ステアリング角が中央位置(つまり、自車両が直進する位置)から所定の遊び角度(例えば30°)以内である場合は、ヘッドランプ11の光軸を車両のまっすぐ前方に向け、ステアリング角が中央位置から上記遊び角度を超えて右に角度αだけずれている場合は、車両のまっすぐ前方よりも右側に所定角度βだけずれた方向に、ヘッドランプ11の光軸を向ける。同様に、ステアリング角が中央位置から上記遊び角度を超えて左に角度αだけずれている場合は、車両のまっすぐ前方よりも左側に所定角度βだけずれた方向に、ヘッドランプ11の光軸を向ける。ここで、角度βは角度αが大きくなるほど大きくなる値であってもよい。また、角度βは、自車両の車速に応じて変化してもよい。
ECU14は、以上のような基本制御によって、自車両がカーブに進入すると、車両の前方ではなく進行方向にヘッドランプ11の光軸を向けるので、カーブにおける道路の視認性が向上する。
またECU14は、上記のような基本制御に加え、カーブの手前において、まだステアリング角が上記中央位置から上記遊び角度以内にある場合でも、車両の進行方向にカーブがあることを判定し、あらかじめヘッドランプ11の光軸をそのカーブの方向(右カーブなら右方向)に移動させる制御を行う。
このために、ECU14は、ステアリング角が上記中央位置から上記遊び角度以内にある場合に、図2に示すような車両旋回予測処理を繰り返し実行するようになっている。以下、この図2の車両旋回予測処理に従って、車両前照灯制御システム1の作動を、事例毎に説明する。
[事例1]
まず、自車両が夜間またはトンネル内走行時に直進道路を走行しており、カメラ部の撮影範囲に車両がいない事例について説明する。この場合、ECU14は、まずステップ110で、ヘッドランプ12のカメラ部が正常か否かを判定する。ヘッドランプ11のカメラ部は、自機に故障等があると、所定の故障信号をECU14に出力するようになっており、ECU14は、この故障信号の有無に応じて、故障信号がなければカメラ部が正常であると判定し、故障信号があれば正常でないと判定する。正常でないと判定すると、ステップ115に進み、旋回予定なしと判定し、処理をステップ110に戻す。この場合、ヘッドランプ11の光軸は変化しない。
正常であると判定すると、ステップ120に進む。ステップ120では、画像センサ12からカメラ情報を取得し、ステップ130に進む。本事例のように、カメラ部の撮影範囲に車両がない状態では、画像センサ12の検出部は、撮影画像内に光源を発見することができないので、光源がないことを示す信号を、カメラ情報としてECU14に出力する。
ステップ130では、直前のステップ120で取得したカメラ情報に基づいて、撮影画像中に光源があるか否かを判定する。本事例では、光源がないことをカメラ情報が示しているので、光源がないと判定し、ステップ115に進み、旋回予定なしと判定し、処理をステップ110に戻す。この場合、ヘッドランプ11の光軸は変化しない。したがって本事例では、車両がカーブに入ってドライバがステアリングを切り、ステアリング角が中央位置から遊び角度を超えた角度にならない限り、ステップ110、120、130、115の処理をこの順に繰り返すことになり、ヘッドランプ11の光軸は自車両10の前方を向いたままとなる。
[事例2]
次に、図3に示すように、自車両10が夜間またはトンネル内走行時に直進道路を走行しており、対向車両20が自車両10に近づいて来る事例について説明する。この場合、対向車両20が自車両10から遠い場合は、撮影画像中の対向車両の光源(光っているヘッドランプ)を画像センサ12の検出部が検出できないので、その場合は、事例1と同様、ステップ130で光源なしと判定するので、ステップ110、120、130、115の処理をこの順に繰り返している。そして、対向車両20が自車両10にある程度近づくと、画像センサ12の検出部が、撮影画像内において対向車両20の光源(一対の光っているヘッドランプ)を検出する。
すると検出部は、カメラ情報として、撮影画像中の光源(一対の光っているヘッドランプ)のうち、左端光源、右端光源、下端光源、最短光源の位置座標、左端光源、右端光源、下端光源が対向車両の光源であることを示す先行車/対向車両情報、最短光源から自車両までの距離の情報を出力する。本事例では、下端光源および最短光源は、左端光源および右端光源のいずれかと一致する。例えば、下端光源が左端光源に一致し、最短光源が右端光源に一致したとする。
このようなカメラ情報をステップ120で取得したECU14は、続くステップ130で、撮影画像中に光源があると判定し、ステップ140に進む。ステップ140では、直前のステップ120で取得したカメラ情報に基づいて、最短光源(本事例では左端光源と同じ)から自車両10までの距離Lと指定距離を比較して、距離Lが指定距離以上であるか否かを判定する。指定距離は、あらかじめ定められた距離で、例えば50メートルである。
画像センサ12の検出部が対向車両20の光源を検出した時点では、対向車両20の光源から自車両10までの距離Lが指定距離以上であることがほとんどである。そうなるように、指定距離の長さおよび検出部の検出感度は、典型的なヘッドランプの明るさに基づいてあらかじめ調整されている。つまり、指定距離を超える前方からのヘッドランプの光を、検出部は光源として検出できるようになっている。したがって、本事例のステップ140では、ほとんどの場合で、距離Lが指定距離以上であると判定し、ステップ150に進む。
ステップ150では、直前のステップ120で取得したカメラ情報に基づいて、最短光源(本事例では左端光源と同じ)が対向車両の光源であるか否かを判定する。本事例では、カメラ情報の先行車/対向車両情報に基づいて、対向車両の光源であると判定し、ステップ160に進む。
ステップ160では、直前のステップ120で(つまり、今回の図2の処理で)取得したカメラ情報(以下、今回カメラ情報という)と、今回より1回前の図2の処理においてステップ120で取得したカメラ情報(以下、前回カメラ情報という)に基づいて、対向車両が「なし」から「あり」に変化した直後か否かを判定する。本事例例では、前回カメラ情報は光源がないことを示す情報を含んでおり、今回カメラ情報は、左端光源を含む各光源が対向車両の光源であることを示す情報を含んでいるので、対向車両が「なし」から「あり」に変化した直後であると判定し、ステップ165に進む。
ステップ165では、最短光源(本事例では左端光源と同じ)の位置座標が撮影画像の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定する。左端付近の所定の領域および右端付近の所定の領域は、あらかじめ撮影画像の座標領域として定めておく。例えば、図4の撮影画像中、全体の1/4(または1/4未満)を占める左側の範囲41を左端付近の所定の領域とし、全体の1/4(または1/4未満)を占める右側の範囲43を右端付近の所定の領域とする。
本事例では、直進道路において対向車両20の光源を検出し始めたところであり、かつ、対向車両20の光源は自車両10から指定距離以上離れているので、検出した最短光源は、範囲41、42ではなく中央の範囲42内に存在するはずである。したがって、本事例では、最短光源の位置座標が左端付近の領域でも右端付近の領域でもないと判定し、ステップ115に進む。ステップ115では、旋回予定なしと判定する。この場合、ヘッドランプ11の光軸は変化しない。
その後、処理はステップ110に戻り、上記の処理手順と同様に、ステップ110、120、130、140、150、160と処理を進めるが、ステップ160では、その時点の前回カメラ情報にも、左端光源を含む各光源が対向車両の光源であることを示す情報を含んでいるのでステップ160ステップ115に進み、旋回予定なしと判定し、処理をステップ110に戻す。その後は、車両がカーブに入ってドライバがステアリングを切り、ステアリング角が中央位置から遊び角度を超えた角度にならない限り、対向車20がカメラ部の撮影範囲から出るまで、ステップ110、120、130、140、150、160、115の処理を繰り返し、この場合、ヘッドランプ11の光軸は変化せず、自車両10の前方を向いたままとなる。対向車20がカメラ部の撮影範囲から出た後は、事例1と同じである。
[事例3]
次に、図5に示すように、自車両10が夜間またはトンネル内走行時に直進道路を走行しており、対向車両20が、自車両10の近傍において、矢印のように車線変更することで、カメラ部の撮影範囲(点線31、32に囲まれた範囲)内に入ってきた事例について説明する。この場合、当初対向車両20が撮影範囲から外れている場合は、事例1と同じ処理を行う。そして、対向車両20が車線変更して撮影範囲内に入ると、画像センサ12の検出部が、撮影画像内において対向車両20の光源(一対の光っているヘッドランプ)を検出する。
すると検出部は、カメラ情報として、撮影画像中の光源(一対の光っているヘッドランプ)のうち、左端光源、右端光源、下端光源、最短光源の位置座標、左端光源、右端光源、下端光源が対向車両の光源であることを示す先行車/対向車両情報、最短光源から自車両までの距離の情報を出力する。本事例では、下端光源および最短光源は、左端光源および右端光源のいずれかと一致する。例えば、下端光源が左端光源に一致し、最短光源が右端光源に一致したとする。このようなカメラ情報をステップ120で取得したECU14は、続くステップ130で、撮影画像中に光源があると判定し、ステップ140に進む。
ステップ140では、直前のステップ120で取得したカメラ情報に基づいて、最短光源(本事例では左端光源と同じ)から自車両10までの距離Lと指定距離(図5において、車両10から実線33までの距離)を比較して、距離Lが指定距離以上であるか否かを判定する。本事例では、図5に示すように、対向車両20の光源(ヘッドランプ)から自車両10までの距離が指定距離未満となっているので、距離Lが指定距離未満であるとして、処理をステップ115に進める。ステップ115では、旋回予定なしと判定する。この場合、ヘッドランプ11の光軸は変化しない。
なお、対向車両20の光源が自車両10から指定距離以上離れているような場合は、撮影範囲内に道路の全幅が含まれる位置に当該光源があると考えられるので、そもそも車線変更によって新たに対向車線の光源が撮影範囲に入ってくるということがほとんど無い。
その後、対向車両20が撮影範囲に入っている間は、ステップ110に戻り、上記の処理手順と同様に、ステップ110、120、130、140、115と処理を進め、ヘッドランプ11の光軸は変化せず、自車両10の前方を向いたままとなる。対向車20がカメラ部の撮影範囲から出た後は、事例1と同じである。
[事例4]
次に、図6に示すように、自車両10が夜間またはトンネル内走行時に左カーブの手前を直進走行しており、対向車両20が、カーブを曲がることによってカメラ部の撮影範囲内に左から入ってきた事例について説明する。この場合、当初対向車両20が撮影範囲から外れている場合は、事例1と同じ処理を行う。そして、対向車両20が撮影範囲内に入ってくると、画像センサ12の検出部が、撮影画像内において対向車両20の光源(一対の光っているヘッドランプ)を検出する。
すると検出部は、カメラ情報として、撮影画像中の光源(一対の光っているヘッドランプ)のうち、左端光源、右端光源、下端光源、最短光源の位置座標、左端光源、右端光源、下端光源が対向車両の光源であることを示す先行車/対向車両情報、最短光源から自車両までの距離の情報を出力する。本事例では、下端光源および最短光源は、左端光源および右端光源のいずれかと一致する。例えば、下端光源が左端光源に一致し、最短光源が右端光源に一致したとする。
このようなカメラ情報をステップ120で取得したECU14は、続くステップ130で、撮影画像中に光源があると判定し、ステップ140に進む。ステップ140では、直前のステップ120で取得したカメラ情報に基づいて、最短光源(本事例では左端光源と同じ)から自車両10までの距離Lと指定距離を比較して、距離Lが指定距離以上であるか否かを判定する。本事例では、対向車両20の光源から自車両10までの距離は指定距離(車両10から実線33までの距離)以上であったとする。したがって、距離Lが指定距離以上であると判定し、ステップ150に進む。
ステップ150では、直前のステップ120で取得した今回カメラ情報に基づいて、最短光源(本事例では左端光源と同じ)が対向車両の光源であるか否かを判定する。本事例では、今回カメラ情報の先行車/対向車両情報に基づいて、対向車両の光源であると判定し、ステップ160に進む。
ステップ160では、直前のステップ120で(つまり、今回の図2の処理で)取得した今回カメラ情報と、今回より1回前の図2の処理においてステップ120で取得した前回カメラ情報に基づいて、対向車両が「なし」から「あり」に変化した直後か否かを判定する。本事例では、前回カメラ情報は光源がないことを示す情報を含んでおり、今回カメラ情報は、左端光源を含む各光源が対向車両の光源であることを示す情報を含んでいるので、対向車両が「なし」から「あり」に変化した直後であると判定し、ステップ165に進む。
ステップ165では、最短光源(本事例では左端光源と同じ)の位置座標が撮影画像の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定する。左端付近の所定の領域および右端付近の所定の領域については、既に説明した通りである。本事例では、対向車両20はカメラ部の撮影範囲の左端から撮影範囲内に入ってきたばかりなので、左端付近の所定の領域に入っている。したがって、最短光源の位置座標が撮影画像の左端付近の所定の領域に入っていると判定し、ステップ170に進む。
ステップ170では、最短光源(本事例では左端光源と同じ)の位置座標が撮影画像の中央よりも左にあるか右にあるかを判定する。本事例では、中央よりも左にあるので、左にあると判定し、ステップ190に進む。
ステップ190では、自車両の進行方向に左旋回カーブがあると予測する。そして、この予測に基づき、ステアリング角が中央位置から上記遊び角度の範囲内にあるにも関わらず、ヘッドランプ駆動部13を用いて、ヘッドランプ11の光軸を制御する。具体的には、ヘッドランプ11の光軸が、車両10の前方方向(直進方向)よりも所定角度(例えば10°)だけ左に向くよう、ヘッドランプ駆動部13のスイブルモータを作動させる。
その後ECU14は、図2の処理を終了し、上記のように制御したヘッドランプ11の光軸を左に向けたまま、光軸を維持する。光軸の維持は、ステアリング角が、中央位置から上記遊び角度の範囲を超えた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、カーブによるステアリング操作に応じた光軸制御を行う。そして、車両がカーブの走行を終え、ステアリング角が、中央位置から上記遊び角度範囲内に戻ると、ECU14は、再度図2の処理を開始する。
また、図2の処理を終了した後の上記光軸の維持は、図2の処理を終了してから、ステアリング角が、中央位置から上記遊び角度の範囲内に、連続して所定時間(例えば3秒)以上あり続けた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、光軸を車両前方に戻す。
[事例5]
次に、図7に示すように、自車両10が夜間またはトンネル内走行時に右カーブの手前を直進走行しており、対向車両20が、カーブを曲がることによってカメラ部の撮影範囲内に右から入ってきた事例について説明する。この場合、当初対向車両20が撮影範囲から外れている場合は、事例1と同じ処理を行う。そして、対向車両20が撮影範囲内に入ってくると、画像センサ12の検出部が、撮影画像内において対向車両20の光源(一対の光っているヘッドランプ)を検出する。
この場合、ステップ110〜165までの処理内容は、事例4と同じである。ステップ165では、
ステップ165では、最短光源(本事例では左端光源と同じ)の位置座標が撮影画像の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定する。本事例では、対向車両20はカメラ部の撮影範囲の右端から撮影範囲内に入ってきたばかりなので、右端付近の所定の領域に入っている。したがって、最短光源の位置座標が撮影画像の右端付近の所定の領域に入っていると判定し、ステップ170に進む。
ステップ170では、最短光源(本事例では左端光源と同じ)の位置座標が撮影画像の中央よりも左にあるか右にあるかを判定する。本事例では、中央よりも右にあるので、右にあると判定し、ステップ180に進む。
ステップ180では、自車両の進行方向に右旋回カーブがあると予測する。そして、この予測に基づき、ステアリング角が中央位置から上記遊び角度の範囲内にあるにも関わらず、ヘッドランプ駆動部13を用いて、ヘッドランプ11の光軸を制御する。具体的には、ヘッドランプ11の光軸が、車両10の前方方向(直進方向)よりも所定角度(例えば10°)だけ右に向くよう、ヘッドランプ駆動部13のスイブルモータを作動させる。
その後ECU14は、図2の処理を終了し、上記のように制御したヘッドランプ11の光軸を右に向けたまま、光軸を維持する。光軸の維持は、ステアリング角が、中央位置から上記遊び角度の範囲を超えた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、カーブによるステアリング操作に応じた光軸制御を行う。そして、車両がカーブの走行を終え、ステアリング角が、中央位置から上記遊び角度範囲内に戻ると、ECU14は、再度図2の処理を開始する。
また、図2の処理を終了した後の上記光軸の維持は、図2の処理を終了してから、ステアリング角が、中央位置から上記遊び角度の範囲内に、連続して所定時間(例えば3秒)以上あり続けた場合に終了し、その後、ECU14は、上述の基本制御に戻り、ステアリング角に応じたヘッドランプ11の光軸制御を行う。すなわち、光軸を車両前方に戻す。
以上のような事例1〜5に示した通り、本実施形態のECU14は、画像センサ12がカメラ情報を繰り返し出力すると、出力されたカメラ情報を繰り返し取得し(ステップ120)、当該カメラ情報に基づいて、光源から車両までの距離が指定距離以上であり、かつ、光源が、撮影画像中に新たに現れた対向車両の光源であり、かつ、撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定し(ステップ140、150、160、165)、その判定結果が肯定的な場合、自車両の進行方向にカーブがあると判定し、判定結果が否定的な場合、車両の旋回予定なしと判定する。
このように、撮影画像中の左端付近または右端付近に対向車両が現れたことに基づいて、車両の進行方向にカーブがあると判定することで、撮影画像中の対向車両の挙動を利用して、車両の旋回を予測することができる。
また、光源から車両までの距離が指定距離以上であるということを条件の1つとして判定することで、直線道路において近くにいる対向車両が急に車線変更したような場合に、自車両の進行方向にカーブがあると誤判定してしまう可能性が低下し、その結果、旋回予測がより正確になる。
また、ECU14は、上記判定結果が肯定的な場合、光源が撮影画像中の左端付近の所定の領域にあることに基づいて、自車両の進行方向に左カーブがあると判定し、光源が撮影画像中の右端付近の所定の領域にあることに基づいて、自車両の進行方向に右カーブがあると判定する。このようにすることで、車両の左旋回および右旋回を区別して予測することができる。
なお、ECU14は、図2の処理において、ステップ160で、前回カメラ情報を取得していない場合には、ステップ115に進むようになっている。
上記実施形態において、ECU14が、ステップ120を実行することでカメラ情報取得手段の一例として機能し、ステップ140、150、160、165を実行することで判定手段の一例として機能し、ステップ115、170〜190を実行することで予測手段の一例として機能する。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
上記実施形態では、旋回予測装置の一例として、車両前照灯制御システム1について説明した。しかし、旋回予測装置は、車両前照灯制御システム1以外のシステムにも適用可能である。換言すれば、車両の進行方向にカーブがあるか否かの情報は、ヘッドランプ11の光軸制御以外の用途にも使用可能である。例えば、カーブの事前報知に用いてよい。
また、ステアリング角が中央位置から上記遊び角度以内にある場合でも、他の要因(例えば、対向車の存在)に従ってヘッドランプ11の光軸を変化させるようになっていてもよい。
また、上記実施形態では、カメラの撮影画像中の光源の色、形状、位置、自車両からの距離等に基づいて、撮影画像の左端または右端から撮影画像内に対向車両が入ってきたか否かを判定するようになっている。しかし、光源ではなく、例えば、撮影画像に対して画像認識技術を適用して、車両自体の形状を特定し、特定した形状に基づいて、撮影画像の左端または右端から撮影画像内に対向車両が入ってきたか否かを判定するようになっていてもよい。
つまり、本発明においては、車両に搭載されたカメラによって繰り返し撮影された前記車両の前方の撮影画像に基づいて、前記撮影画像の左端または右端から前記撮影画像内に対向車両が入ってきたか否かを判定し、判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、判定結果が否定的な場合、前記車両の旋回予定なしと判定するようになっていればよい。
1 車両前照灯制御システム
10 自車両
11 ヘッドランプ
12 画像センサ
13 ヘッドランプ駆動部
14 ECU
20 対向車両

Claims (4)

  1. 車両に搭載された画像センサ(12)からカメラ情報を取得し、前記車両の旋回を予測する旋回予測装置であって、
    前記画像センサ(12)が、車両の前方を撮影することで撮影画像を繰り返し取得し、取得した前記撮影画像中の光源の位置座標、および、前記光源が先行車の光源か対向車両の光源かを示す情報を、前記カメラ情報として繰り返し出力すると、出力された前記カメラ情報を繰り返し取得するカメラ情報取得手段(120)と、
    取得された前記カメラ情報に基づいて、前記光源が、前記撮影画像中に新たに現れた対向車両の光源であり、かつ、前記撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定する判定手段(140、150、160、165)と、
    前記判定手段(140、150、160、165)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(140、150、160、165)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、170〜190)と、を備えた旋回予測装置。
  2. 前記カメラ情報取得手段(120)は、前記画像センサ(12)が、車両の前方を撮影することで撮影画像を繰り返し取得し、取得した前記撮影画像中の光源の位置座標、前記光源が先行車の光源か対向車両の光源かを示す情報、および、前記光源から前記車両までの距離を、前記カメラ情報として繰り返し出力すると、出力された前記カメラ情報を繰り返し取得し、
    前記判定手段(140、150、160、165)は、前記光源から前記車両までの距離が指定距離以上であり、かつ、前記光源が、前記撮影画像中に新たに現れた対向車両の光源であり、かつ、前記撮影画像中の左端付近の所定の領域または右端付近の所定の領域にあるか否かを判定することを特徴とする請求項1に記載の旋回予測装置。
  3. 前記予測手段(115、170〜190)は、前記判定手段(150、160、165)の判定結果が肯定的な場合、前記光源が前記撮影画像中の前記左端付近の所定の領域にあることに基づいて、前記車両の進行方向に左カーブがあると判定し、前記光源が前記撮影画像中の前記右端付近の所定の領域にあることに基づいて、前記車両の進行方向に右カーブがあると判定することを特徴とする請求項1または2に記載の旋回予測装置。
  4. 車両に搭載されたカメラによって繰り返し撮影された前記車両の前方の撮影画像に基づいて、前記撮影画像の左端または右端から前記撮影画像内に対向車両が入ってきたか否かを判定する判定手段(150、160、165)と、
    前記判定手段(150、160、165)の判定結果が肯定的な場合、前記車両の進行方向にカーブがあると判定し、前記判定手段(150、160、165)の判定結果が否定的な場合、前記車両の旋回予定なしと判定する予測手段(115、170〜190)と、を備えた旋回予測装置。
JP2011197249A 2011-09-09 2011-09-09 車両の旋回予測装置 Active JP5760884B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011197249A JP5760884B2 (ja) 2011-09-09 2011-09-09 車両の旋回予測装置
PCT/JP2012/072860 WO2013035828A1 (ja) 2011-09-09 2012-09-07 車両の旋回を予測する装置及び方法
US14/343,617 US9436881B2 (en) 2011-09-09 2012-09-07 Apparatus for predicting turns of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011197249A JP5760884B2 (ja) 2011-09-09 2011-09-09 車両の旋回予測装置

Publications (2)

Publication Number Publication Date
JP2013056645A true JP2013056645A (ja) 2013-03-28
JP5760884B2 JP5760884B2 (ja) 2015-08-12

Family

ID=47832268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011197249A Active JP5760884B2 (ja) 2011-09-09 2011-09-09 車両の旋回予測装置

Country Status (3)

Country Link
US (1) US9436881B2 (ja)
JP (1) JP5760884B2 (ja)
WO (1) WO2013035828A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061787A (ja) * 2011-09-13 2013-04-04 Denso Corp 車両の旋回予測装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013012325A1 (de) * 2013-07-25 2015-01-29 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrerassistenzsystem und Betriebsverfahren dafür
JP2015067193A (ja) * 2013-09-30 2015-04-13 株式会社デンソー 先行車選択装置
JP6131813B2 (ja) * 2013-10-03 2017-05-24 株式会社デンソー 先行車選択装置
US9784592B2 (en) * 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
GB2560980B (en) * 2017-03-31 2019-04-17 Ford Global Tech Llc A method and system for a motor vehicle
EP3413082B1 (en) * 2017-06-09 2020-01-01 Veoneer Sweden AB A vehicle system for detection of oncoming vehicles
CN108877269B (zh) * 2018-08-20 2020-10-27 清华大学 一种交叉路口车辆状态检测及v2x广播方法
US11887481B2 (en) * 2021-06-30 2024-01-30 Volvo Car Corporation Rear view collision warning indication and mitigation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0610839B2 (ja) 1985-11-22 1994-02-09 日本電装株式会社 前方車両の警報ランプの認識装置
JPH07110594B2 (ja) 1988-03-14 1995-11-29 日産自動車株式会社 照射ランプの光軸変更装置
JPH06276524A (ja) 1993-03-19 1994-09-30 Toyota Motor Corp 対向車両認識装置
JPH07125563A (ja) 1993-11-01 1995-05-16 Mitsubishi Motors Corp 自動車の走行制御装置
JP3501841B2 (ja) 1994-05-11 2004-03-02 株式会社デンソー 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP3246421B2 (ja) 1997-11-18 2002-01-15 三菱自動車工業株式会社 車線逸脱防止装置
JP3690099B2 (ja) 1998-01-19 2005-08-31 三菱自動車工業株式会社 自動車用ヘッドライトの配光制御装置
JP3417381B2 (ja) * 2000-05-25 2003-06-16 株式会社デンソー 道路形状認識装置、先行車両特定装置、及び記録媒体
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4914233B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
US8190355B2 (en) * 2007-10-10 2012-05-29 International Business Machines Corporation Driving assistance and monitoring
JP5054612B2 (ja) * 2008-05-15 2012-10-24 株式会社日立製作所 接近物検出装置および接近物検出方法
JP5363085B2 (ja) * 2008-12-03 2013-12-11 株式会社小糸製作所 前照灯制御装置
WO2010097892A1 (ja) * 2009-02-24 2010-09-02 トヨタ自動車株式会社 運転支援装置
JP5809785B2 (ja) * 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
EP2879109B1 (en) * 2012-07-27 2022-02-09 Clarion Co., Ltd. Vehicle-mounted surrounding environment recognition device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061787A (ja) * 2011-09-13 2013-04-04 Denso Corp 車両の旋回予測装置

Also Published As

Publication number Publication date
US9436881B2 (en) 2016-09-06
JP5760884B2 (ja) 2015-08-12
US20150016678A1 (en) 2015-01-15
WO2013035828A1 (ja) 2013-03-14

Similar Documents

Publication Publication Date Title
JP5760884B2 (ja) 車両の旋回予測装置
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
JP4702426B2 (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
JP5594246B2 (ja) 車線認識装置
JP5774481B2 (ja) カメラを持つ車両の前照灯の調節不良検出方法
JP4466604B2 (ja) 車両用前照灯装置
JP2013147112A (ja) 車両の走行環境認識装置
JP6944525B2 (ja) オートバイバンキングのための画像補正
JP5884635B2 (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
JP2013047058A (ja) 車両前照灯制御装置
JP4441877B2 (ja) 車両用前照灯装置
KR102135901B1 (ko) 차량의 hba 제어시스템 및 제어방법
JP2013035462A (ja) 車載制御装置
JP5652374B2 (ja) 車両用前照灯制御装置
JP5601300B2 (ja) 車両の旋回予測装置
JP4737108B2 (ja) 前照灯制御装置
JP2017054343A (ja) 挙動検出装置
JP7255706B2 (ja) 信号機認識方法及び信号機認識装置
WO2017169704A1 (ja) 環境認識装置
JP7255707B2 (ja) 信号機認識方法及び信号機認識装置
JP2006146754A (ja) 先行車検出方法及び先行車検出装置
JP7035339B2 (ja) ブレーキ判定方法及びブレーキ判定装置
JP2006036048A (ja) 車両ライト制御装置
JP2023148240A (ja) 区画線認識装置
JP2013056593A (ja) 前照灯制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R151 Written notification of patent or utility model registration

Ref document number: 5760884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250