JP2015202822A - 照射装置 - Google Patents

照射装置 Download PDF

Info

Publication number
JP2015202822A
JP2015202822A JP2014083931A JP2014083931A JP2015202822A JP 2015202822 A JP2015202822 A JP 2015202822A JP 2014083931 A JP2014083931 A JP 2014083931A JP 2014083931 A JP2014083931 A JP 2014083931A JP 2015202822 A JP2015202822 A JP 2015202822A
Authority
JP
Japan
Prior art keywords
illumination
shielding object
brightness
shielding
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014083931A
Other languages
English (en)
Other versions
JP6031468B2 (ja
Inventor
小島 真一
Shinichi Kojima
真一 小島
敬一 島岡
Keiichi Shimaoka
敬一 島岡
塚田 敏彦
Toshihiko Tsukada
敏彦 塚田
和也 浅岡
Kazuya Asaoka
和也 浅岡
翔 増田
Sho Masuda
翔 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2014083931A priority Critical patent/JP6031468B2/ja
Priority to US14/681,692 priority patent/US10118534B2/en
Priority to EP15163356.7A priority patent/EP2933143B1/en
Priority to CN201510172792.5A priority patent/CN105034929B/zh
Publication of JP2015202822A publication Critical patent/JP2015202822A/ja
Application granted granted Critical
Publication of JP6031468B2 publication Critical patent/JP6031468B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/056Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

【課題】遮蔽対象物が不快な眩しさを感じることなく、かつ、ドライバが、遮蔽対象物を認知できる照射装置を提供することを目的とする。
【解決手段】許容可能照明上限推定部36によって、遮蔽対象物にとって許容可能なグレアとなる、遮蔽対象物に照射される照明の明るさの上限を推定する。視認可能照明下限推定部40によって、ドライバにとって遮蔽対象物を視認することが可能な、遮蔽対象物に照射される照明の明るさの下限を推定する。遮蔽箇所照明設定部42によって、推定された遮蔽対象物に照射される照明の明るさの上限と、照明下限推定手段によって推定された遮蔽対象物に照射される照明の明るさの下限とに基づいて、遮蔽対象物に照射される照明の明るさを設定する。照明制御部46によって、自車両から見たときの遮蔽対象物の一部分を、遮蔽対象物に照射される照明の明るさとした照射パターンの光を照射するように、ライト駆動装置50を制御する。
【選択図】図1

Description

この発明は、照射装置に係り、特に、自車両の周辺に対して照射する照射装置に関する。
従来より、複数の発光ダイオードを、カメラのシャッターと同期させてパルス発光させることで、歩行者や障害物が検出できなくなるのを防ぐ車載用前照灯の制御システムが知られている(特許文献1)。
また、カメラのシャッターと照明を同期させるとともに、点灯タイミングをフレームごとにずらす車載撮影装置が知られている(特許文献2)。
また、車両前方の小領域毎の照射状態が車両前方の視認性が向上する照明状態となるように可視光照明手段を制御する照明装置が知られている(特許文献3)。
また、画像フレームデータ内に注目物体が抽出された場合、注目物体に対してグレア抑制が可能な配光パターンの選択を行う車両用前照灯システムが知られている(特許文献4)。
また、対象物が存在する領域では可視光照明を照射せず、代わりに赤外光を照射する車両前照灯システムが知られている(特許文献5)。
特開2011−084237号公報 特開2008−273229号公報 特開2009−90844号公報 特開2011−051441号公報 特開2012−166652号公報
しかしながら、上記の特許文献1、4、5の技術では、遮蔽を行うため、ドライバが歩行者を認知しにくくなる、という問題がある。
また、上記の特許文献2、3の技術では、遮蔽を行わないため、歩行者が不快な眩しさを感じてしまう、という問題がある。
本発明は上記問題点を解決するために成されたもので、遮蔽対象物が不快な眩しさを感じることなく、かつ、ドライバが、遮蔽対象物を認知できる照射装置を提供することを目的とする。
上記目的を達成するために、本発明の照射装置は、遮蔽対象物を検出する遮蔽対象物検出手段と、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置に基づいて、前記遮蔽対象物にとって許容可能なグレアとなる、前記遮蔽対象物に照射される照明の明るさの上限を推定する照明上限推定手段と、前記遮蔽対象物の背景の明るさに基づいて、ドライバにとって前記遮蔽対象物を視認することが可能な、前記遮蔽対象物に照射される照明の明るさの下限を推定する照明下限推定手段と、前記照明上限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの上限と、前記照明下限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの下限とに基づいて、前記遮蔽対象物に照射される照明の明るさを設定する照明設定手段と、自車両の周囲に対して照射パターンの光を照射可能な照射手段と、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置と、前記照明設定手段によって設定された前記遮蔽対象物に照射される照明の明るさとに基づいて、自車両から見たときの前記遮蔽対象物の一部分を、前記遮蔽対象物に照射される照明の明るさとし、前記遮蔽対象物の他の部分を含む領域を、前記遮蔽対象物に照射される照明の明るさより高くした照射パターンの光を照射するように、前記照射手段を制御する照明制御手段と、を含んで構成されている。
本発明の照射装置では、遮蔽対象物検出手段によって、遮蔽対象物を検出する。照明上限推定手段によって、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置に基づいて、前記遮蔽対象物にとって許容可能なグレアとなる、前記遮蔽対象物に照射される照明の明るさの上限を推定する。照明下限推定手段によって、前記遮蔽対象物の背景の明るさに基づいて、ドライバにとって前記遮蔽対象物を視認することが可能な、前記遮蔽対象物に照射される照明の明るさの下限を推定する。
そして、照明設定手段によって、前記照明上限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの上限と、前記照明下限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの下限とに基づいて、前記遮蔽対象物に照射される照明の明るさを設定する。照明制御手段によって、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置と、前記照明設定手段によって設定された前記遮蔽対象物に照射される照明の明るさとに基づいて、自車両から見たときの前記遮蔽対象物の一部分を、前記遮蔽対象物に照射される照明の明るさとし、前記遮蔽対象物の他の部分を含む領域を、前記遮蔽対象物に照射される照明の明るさより高くした照射パターンの光を照射するように、前記照射手段を制御する。
このように、推定された遮蔽対象物に照射される照明の明るさの上限と、推定された前記遮蔽対象物に照射される照明の明るさの下限とに基づいて設定した、遮蔽対象物に照射される照明の明るさを、自車両から見たときの前記遮蔽対象物の一部分の明るさとして、照射パターンの光を照射することにより、遮蔽対象物が不快な眩しさを感じることなく、かつ、ドライバが、遮蔽対象物を認知できる。
本発明の照明設定手段は、前記照明上限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの上限と、前記照明下限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの下限との間となるように、前記遮蔽対象物に照射される照明の明るさを設定するようにすることができる。
本発明の照射装置は、自車両の周囲を表わす可視光の画像を撮像する可視光撮像手段を更に含み、前記照明下限推定手段は、前記可視光撮像手段によって撮像された前記可視光の画像における、前記遮蔽対象物の背景の明るさに基づいて、前記遮蔽対象物に照射される照明の明るさの下限を推定するようにすることができる。
また、上記の発明の遮蔽対象物検出手段は、前記可視光撮像手段によって撮像された前記可視光の画像に基づいて、前記遮蔽対象物を検出し、前記照明制御手段は、前記可視光の画像を撮像するタイミングと異なるタイミングで、自車両から見たときの前記遮蔽対象物の一部分を、前記遮蔽対象物に照射される照明の明るさとし、前記遮蔽対象物の他の部分を含む領域を、前記遮蔽対象物に照射される照明の明るさより高くした照射パターンの光を照射し、前記可視光の画像を撮像するタイミングで、前記遮蔽対象物に対して遮蔽せずに光を照射するように、前記照射手段を制御するようにすることができる。これによって、可視光の画像からの遮蔽対象物の検出精度の低下を防ぐことができる。
本発明の照射装置は、自車両の周辺に存在する物体の3次元位置を計測する3次元位置計測手段と、前記3次元位置計測手段によって計測された前記物体の3次元位置に基づいて、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対的な3次元位置を推定する位置推定手段と、を更に含み、前記照明上限推定手段は、前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置に基づいて、前記遮蔽対象物に照射される照明の明るさの上限を推定するようにすることができる。
また、上記の発明の照射装置は、自車両に対する相対的な3次元位置の各々に対して予め求められた照明の明るさを記憶した照明データベースと、前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置と、前記照明データベースに記憶された前記照明の明るさとに基づいて、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物における前記照明の明るさを計算する遮蔽対象物照明計算手段と、前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置に基づいて、前記遮蔽対象物の向きと前記照射手段による光の照射方向とのなす角を推定するなす角推定手段と、前記遮蔽対象物の順応輝度を推定する順応輝度推定手段と、を更に含み、前記照明上限推定手段は、前記遮蔽対象物照明計算手段によって計算された前記遮蔽対象物における前記照明の明るさ、前記なす角推定手段によって推定された前記なす角、及び前記順応輝度推定手段によって推定された前記遮蔽対象物の順応輝度に基づいて、前記遮蔽対象物にとって許容可能なグレアとなる、前記遮蔽対象物に照射される照明の明るさの上限を推定するようにすることができる。
以上説明したように、本発明の照射装置によれば、推定された遮蔽対象物に照射される照明の明るさの上限と、推定された前記遮蔽対象物に照射される照明の明るさの下限とに基づいて設定した、遮蔽対象物に照射される照明の明るさを、自車両から見たときの前記遮蔽対象物の一部分の明るさとして、照射パターンの光を照射することにより、遮蔽対象物が不快な眩しさを感じることなく、かつ、ドライバが、遮蔽対象物を認知できる、という効果が得られる。
本発明の実施の形態の照射装置のブロック図である。 本発明の実施の形態の照射装置の許容可能照明上限推定部のブロック図である。 遮蔽箇所の3次元位置への照明の明るさを設定する方法を説明するための図である。 遮蔽タイミング及びシャッター解放タイミングを示す図である。 ドライバと歩行者が知覚する明るさを説明するための図である。 本発明の実施の形態の照射装置の制御装置のCPUが行う制御ルーチンを示すフローチャートである。
以下、図面を参照して、本発明の照射装置の実施の形態を詳細に説明する。
図1に示すように、車両に取り付けられた本実施の形態に係る照射装置10には、可視光カメラ12、3次元情報計測部14、及び制御装置16が設けられている。
可視光カメラ12は、自車両の前方を撮影し、撮影により得られた可視光の画像を出力する。この可視光カメラ12は、制御装置16と接続されている。
3次元情報計測部14は、自車両の前方に存在する物体の、自車両に対する3次元位置情報を計測して出力する。3次元情報計測部14として、レーザレーダ等の3Dセンサや、ステレオカメラ、移動ステレオカメラを用いることができる。なお、3次元情報計測部14は、道路が平面である等の仮定を導入して、単眼カメラで3次元位置を推定ための画像処理アルゴリズムを実行するようにしてもよい。この3次元情報計測部14は、制御装置16と接続されている。
制御装置16は、CPU、各種処理ルーチンのプログラムを記憶したROM、データを一時的に記憶するRAMを含んだマイクロコンピュータで構成されている。制御装置16は、以下で説明する制御ルーチンを実行するマイクロコンピュータを機能ブロックで表すと、画像取得部20、最適露光量計算部24、露光量設定部26、設定パラメータ取得部28、遮蔽対象検出部30、遮蔽箇所計算部32、3次元位置推定部34、許容可能照明上限推定部36、照明データベース38、視認可能照明下限推定部40、遮蔽箇所照明設定部42、照明制御値変換部44、及び照明制御部46で表すことができる。画像取得部20及び設定パラメータ取得部28には、可視光カメラ12が接続され、遮蔽対象検出部30には、3次元情報計測部14が接続され、照明制御部46には、ライト駆動装置50が接続されている。ライト駆動装置50及び配光可変ライト52は、照射手段の一例である。
画像取得部20は、可視光カメラ12から、撮像された画像を取得する。最適露光量計算部24は、画像取得部20によって取得した画像に基づいて、遮蔽対象物の検出に最適な露光量を計算する。露光量設定部26は、最適露光量計算部24で計算した露光量を、可視光カメラ12で実現するように設定する。具体的には、可視光カメラ12の絞りシャッター開放時間を調節する。
設定パラメータ取得部28は、可視光カメラ12から、照明の明るさから画像の画素値を計算するのに必要なパラメータ(例えば、絞り、シャッター開放時間、ゲイン等)を取得する。
遮蔽対象検出部30は、画像取得部20によって取得した画像から、遮蔽対象物である歩行者を検出する。なお、歩行者検出の方法としては、パターンマッチングなどの従来既知の手法を用いればよいため、詳細な説明を省略する。
遮蔽箇所計算部32は、遮蔽対象検出部30によって検出した歩行者の遮蔽箇所である頭部の画像座標位置を計算する。
3次元位置推定部34は、遮蔽対象検出部30による歩行者の検出結果と3次元情報計測部14による計測結果との対応を取ることで、検出された歩行者の、自車両からの相対的な3次元位置を推定する。
許容可能照明上限推定部36は、3次元位置推定部34によって推定された、検出された歩行者の、自車両からの相対的な3次元位置と、照明データベース38とに基づいて、歩行者にとって許容可能なグレアになる、遮蔽対象物に対する照明の明るさの上限を推定する。
照明データベース38は、自車両を基準とした3次元座標系において、前方の3次元位置の任意の位置の照度を計算可能なデータを記憶している。例えば、前方の空間を任意の形に分割し、それぞれに事前に計算した照度を割り当てたテーブルが、照明データベース38に格納されている。
また、照明データベース38は、自車両のライト数と、各ライトの自車両を基準とした3次元座標系位置とを記憶している。照明データベース38は、前方の各3次元位置の照度を画像の画素値に変換するための換算係数を記憶している。
視認可能照明下限推定部40は、画像取得部20によって取得した画像と、設定パラメータ取得部28によって取得したパラメータと、照明データベース38とに基づいて、自車両のドライバが遮蔽対象物である歩行者を視認可能な、遮蔽対象物に対する照明の明るさの下限を推定する。具体的には以下のように行う。
まず、画像中の歩行者の背景の明るさを計算する。そして、求めた背景の明るさに対して、視認可能なコントラストになる対象の明るさを、参考文献(青木、森田、関根、田中、“対向車へのグレアを考慮した前消灯による歩行者の被視認性”自動車技術会論文集、44−1、pp.131−136、2013.)に記載の方法を用いて求める。そして、求めた対象の明るさの下限を、遮蔽対象物に対する照明の明るさの下限を推定する。
ここで、許容可能照明上限推定部36の詳細な構成について、図2を用いて説明する。許容可能照明上限推定部36は、眼前照度計算部60、なす角度推定部62、順応輝度推定部64、モデル記憶部66、及び許容可能照明上限計算部68を備えている。
眼前照度計算部60は、3次元位置推定部34によって推定された遮蔽対象物である歩行者の頭部の3次元位置と、照明データベース38とを照合して、遮蔽対象物である歩行者の眼前照度を計算する。
なす角度推定部62は、3次元位置推定部34によって推定された遮蔽対象物である歩行者の頭部の3次元位置と、照明データベース38に記憶された各ライトの自車両を基準とした3次元座標系位置とに基づいて、遮蔽対象物である歩行者が自車両を見たときの視線とランプ方向とのなす角度を計算する。
順応輝度推定部64は、遮蔽対象物である歩行者の順応輝度を推定する。歩行者の順応輝度を厳密には計測できないので、本実施の形態では、近似値として、画像取得部20によって取得した画像における遮蔽対象物の周辺の明るさから、順応輝度を推定する。あるいは、状況毎の複数の典型値から、現在の状況に応じた順応値を選択するようにしてもよい。
モデル記憶部66は、グレアのモデル式として、計測可能な物理量から遮蔽対象物である歩行者が感じるグレアの度合いを推定する式を記憶している。本実施の形態では、以下の式に示す、代表的なモデル式であるSchmidt−Clausenのモデル式を用いる。
ただし、nはランプの数であり、Eは、歩行者の眼前照度(lx)であり、Lは、歩行者の順応輝度(cd/m)であり、θは、歩行者の視線とランプ方向のなす角度(min)である。また、CPOO=3.0×10−3lx min−0.46、CpL=4.0×10−2 cd/mである。
なお、上記のモデル式は、参考文献(H.−J.Scmidt−Clausen,J.Th.H.Bindels,“Assessment of discomfort glare in motor vehicle lighting,”Lighting Research and Technology, vol.6,no.2,pp.79−88,1974.)に記載されているモデル式であるため、詳細な説明を省略する。
許容可能照明上限計算部68は、眼前照度計算部60によって計算された歩行者の眼前照度、なす角度推定部62によって推定された歩行者の視線とランプ方向のなす角度、及び順応輝度推定部64によって推定された順応輝度に基づいて、上記のモデル式に従って、歩行者が許容可能なグレアになる、遮蔽対象物に対する照明の明るさの上限を推定する。
遮蔽箇所照明設定部42は、遮蔽箇所計算部32によって計算された遮蔽箇所の3次元位置に基づいて、自車両から見たときの遮蔽箇所である歩行者の頭部を遮蔽した配光パターンを生成する。
また、遮蔽箇所照明設定部42は、遮蔽箇所計算部32によって計算された遮蔽箇所の3次元位置と、許容可能照明上限推定部36によって推定された、遮蔽対象物に対する照明の明るさの上限と、視認可能照明下限推定部40によって推定された、遮蔽対象物に対する照明の明るさの下限とに基づいて、遮蔽箇所の3次元位置への照明の明るさを設定する。
ここで設定した照明の明るさは、歩行者検出に用いる画像には原理的に影響を及ぼさない。ドライバによる歩行者の視認のためにはできるだけ明るい方がよい。従って、遮蔽箇所照明設定部42は、例えば、許容可能なグレアを実現する、遮蔽対象物に対する照明の明るさの上限Xと、ドライバが遮蔽対象物である歩行者を視認可能な、遮蔽対象物に対する照明の明るさの下限Yとの中間の明るさを、遮蔽箇所の3次元位置への照明の明るさとして設定する(図3(A)参照)。また、遮蔽対象物に対する照明の明るさの上限Xが、遮蔽対象物に対する照明の明るさの下限Y以下である場合(1をハイビームの明るさとすると、1>Y>X)には、設計上の判断で、遮蔽対象物に対する照明の明るさの上限と遮蔽対象物に対する照明の明るさの下限との間の、遮蔽箇所の3次元位置への照明の明るさを決める(図3(B)参照)。例えば、ドライバの認知性と歩行者が感じる不快感を減らすことのどちらを優先するかを、設計指針に基づいて判断し、当該設計指針に基づいて、遮蔽対象物に対する照明の明るさの上限と遮蔽対象物に対する照明の明るさの下限との間の、遮蔽箇所の3次元位置への照明の明るさを決める。
照明制御値変換部44は、露光量設定部26による設定と、遮蔽箇所照明設定部42によって設定された遮蔽箇所の3次元位置への照明の明るさとに基づいて、設定した遮蔽箇所の3次元位置への照明の明るさになるように、ライト駆動装置50を制御する照明制御部46に対する指令値を作る。実現方法はいくつかあるが、配光可変ライト52が、例えば、図4に示すように、各画素についてOn/Offしかできない照明デバイスである場合には、各画素に対して高速にOn/Offを切り替えるための指令値により、中間の明るさで、配光パターンにおける、設定した遮蔽箇所の3次元位置への照明の明るさを実現するようにする(図5参照)。
照明制御部46は、照明制御値変換部44で作った指令値に従って、ライト駆動装置50を介して、配光可変ライト52によって配光パターンの光を照射するように制御する。
配光可変ライト52は、ヘッドライトの光源として十分な明るさを持ち、PC用プロジェクタの様に縦横に高い空間解像度を持ち、各画素ごとにON/Offが可能な照明である。配光可変ライト52は、例えば、ランプとランプから照射された光の配光を制御する配光制御装置とで構成されている。配光制御装置は、ランプの光を反射することによって配光を制御するDMD(デジタル・マイクロミラー・デバイス)等の反射型空間光変調素子、またはランプの光を透過することによって配光を制御する液晶表示素子等の透過型空間光変調素子で構成することができる。また、LEDを格子状に配列したランプを用いることもできる。
この配光可変ライト52では、所定の配光パターンが得られるようにランプを点灯するか、またはランプを点灯した状態で所定の配光パターンが得られるように配光制御装置を駆動することにより所定の配光パターンを得ることができる。
ライト駆動装置50は、照明制御部46からの指示に基づいて、配光可変ライト52から照射される光の配光(照射パターン)及び明るさを制御すると共に、遮蔽箇所を含む配光パターンと、全点灯パターンとを切り換えて照射するように配光可変ライト52を駆動させる。遮蔽箇所を含む配光パターンと、全点灯パターンとの切り換えは、例えば、ちらつきを感じない周波数で実施する。ドライバと歩行者が知覚する明るさは、遮蔽箇所の明るさと点灯の明るさとを時間重みで平均したものになる。
なお、遮蔽箇所を含む配光パターンと、全点灯パターンとを切り換えて照射することが、自車両から見たときの遮蔽対象物の一部分を、設定した遮蔽箇所の3次元位置への照明の明るさとし、遮蔽対象物の他の部分を含む領域を、上記設定の明るさより高くした照射パターンの光を照射することの一例である。
図6は、本実施形態の照射装置10の制御装置16のCPUが行う制御ルーチンを示すフローチャートである。
照射装置10の電源(図示せず)が投入され、ライト駆動装置50によって、上記図4に示す遮蔽タイミングで、遮蔽箇所を含む配光パターンと、全点灯パターンとを切り換えて照射するように、配光可変ライト52のランプを点灯させる。このとき、図6に示す処理ルーチンが、繰り返し実行される。
まず、ステップ100で、上記図4に示すシャッター解放タイミング(全点灯パターンの光を照射するタイミング)で、可視光カメラ12のシャッターを解放するように駆動し、自車両の前方の撮影により得られた可視光画像を取り込み、次のステップ102で、3次元情報計測部14によって計測された、自車両の前方に存在する物体の3次元情報を取得する。
そして、ステップ104において、可視光カメラ12の設定パラメータを取得する。ステップ106では、上記ステップ100で取得した可視光画像から、遮蔽対象物である歩行者を検出する。ステップ108では、上記ステップ106における歩行者の検出結果に基づいて、検出した歩行者の遮蔽箇所である頭部の画像座標位置を計算する。
次のステップ110では、上記ステップ102で取得した3次元情報と、上記ステップ108で計算した遮蔽箇所である頭部の画像座標位置とに基づいて、遮蔽箇所である頭部の3次元位置を推定する。
ステップ112では、上記ステップ100で取得した可視光画像、上記ステップ110で推定された、遮蔽箇所である頭部の3次元位置、及び照明データベース38に基づいて、歩行者によって許容可能なグレアとなる、遮蔽対象物への照明の明るさの上限を推定する。
次のステップ114では、上記ステップ100で取得した可視光画像、上記ステップ104で取得した設定パラメータ、及び照明データベース38に基づいて、ドライバにとって歩行者を視認可能な、遮蔽対象物への照明の明るさの下限を推定する。
そして、ステップ116において、上記ステップ110で推定された遮蔽箇所である頭部の3次元位置に基づいて、自車両から見たときの、遮蔽箇所である歩行者の頭部を遮蔽した配光パターンを設定する。また、上記ステップ112で推定された遮蔽対象物への照明の明るさの上限と、上記ステップ114で推定された遮蔽対象物への照明の明るさの下限とに基づいて、遮蔽箇所への照明の明るさを設定する。
次のステップ118では、上記ステップ116で設定された配光パターン及び遮蔽箇所への照明の明るさに基づいて、ライト駆動装置50を制御する照明制御部46に対する指令値を作る。ステップ120において、照明制御値変換部44で作った指令値に従って、ライト駆動装置50を介して、配光可変ライト52を制御する。
上記の処理ルーチンにより、配光可変ライト52によって、遮蔽箇所を含まない全点灯パターン、及び遮蔽箇所を含む配光パターンを高速に切り換えながら照射する。これによって、ドライバは、遮蔽箇所である歩行者の頭部において、遮蔽対象物への照明の明るさの上限と、遮蔽対象物への照明の明るさの下限との間の明るさを知覚する。遮蔽対象物である歩行者は、遮蔽対象物への照明の明るさの上限と、遮蔽対象物への照明の明るさの下限との間の明るさを知覚する。
また、上記の処理ルーチンで取得した可視光画像に基づいて、遮蔽対象物の検出に最適な露光量を計算し、計算した露光量を、可視光カメラ12で実現するように設定する。
以上説明したように、本発明の実施の形態に係る照射装置によれば、推定された遮蔽対象物に照射される照明の明るさの上限と、推定された遮蔽対象物に照射される照明の明るさの下限とに基づいて、遮蔽対象物に照射される照明の明るさを設定し、自車両から見たときの遮蔽箇所である歩行者の頭部の明るさを、設定した遮蔽対象物に照射される照明の明るさとするように、遮蔽箇所を含む配光パターン及び全点灯パターンを切り換えて光を照射することにより、歩行者が不快な眩しさを感じることなく、かつ、ドライバが、歩行者を認知できる。
また、全点灯パターンの光を照射するタイミングを、可視光カメラの撮像タイミングとして、画像を取得し、遮蔽対象物を検出することにより、シャッターが開いている時間は歩行者の遮蔽をしないようにできるため、可視光の画像からの遮蔽対象物の検出精度の低下を防ぐことができる。
また、歩行者検出の通常の手法では、遮蔽を行った画像を学習データとして用いているか、顔が部分的に隠れても歩行者検出できる手法を適用することになる。いずれの場合でも、遮蔽を行わない場合より検出性能は劣化するので遮蔽は無い方が望ましい。本実施の形態では、シャッターが開いている時間は歩行者の遮蔽をしないようにできるため、遮蔽対象物の検出性能の劣化を防ぐことができる。
また、歩行者の頭部を遮蔽するとドライバからは首から下の胴体だけが見えることになる。歩行者を発見する際に顔は重要な手掛かりなので遮蔽は無い方が望ましい。本実施の形態では、歩行者の頭部を、点灯と遮蔽との間の中間的な明るさで照射しているように、ドライバが知覚するため、ドライバが、歩行者を認知できる
なお、本実施の形態では、遮蔽箇所を含む配光パターンと、全点灯パターンとを切り換えて照射することにより、設定した遮蔽箇所の3次元位置への照明の明るさを実現する場合を例に説明したが、これに限定されるものではない。遮蔽箇所を含む配光パターンの光により照射される遮蔽箇所の明るさを、設定した遮蔽箇所の3次元位置への照明の明るさとして、配光パターンを照射するようにしてもよい。この場合には、シャッター解放タイミングにおいて、全点灯パターンを照射するように切り換えればよい。例えば、配光可変ライトが、各画素ごとに明るさの多階調設定が可能な照明であり、照明制御部が、配光可変ライトの該当する画素における明るさを設定する。
10 照射装置
12 可視光カメラ
14 3次元情報計測部
16 制御装置
20 画像取得部
24 最適露光量計算部
26 露光量設定部
28 設定パラメータ取得部
30 遮蔽対象検出部
32 遮蔽箇所計算部
34 3次元位置推定部
36 許容可能照明上限推定部
38 照明データベース
40 視認可能照明下限推定部
42 遮蔽箇所照明設定部
44 照明制御値変換部
46 照明制御部
50 ライト駆動装置
52 配光可変ライト
60 眼前照度計算部
62 角度推定部
64 順応輝度推定部
66 モデル記憶部
68 許容可能照明上限計算部

Claims (6)

  1. 遮蔽対象物を検出する遮蔽対象物検出手段と、
    前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置に基づいて、前記遮蔽対象物にとって許容可能なグレアとなる、前記遮蔽対象物に照射される照明の明るさの上限を推定する照明上限推定手段と、
    前記遮蔽対象物の背景の明るさに基づいて、ドライバにとって前記遮蔽対象物を視認することが可能な、前記遮蔽対象物に照射される照明の明るさの下限を推定する照明下限推定手段と、
    前記照明上限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの上限と、前記照明下限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの下限とに基づいて、前記遮蔽対象物に照射される照明の明るさを設定する照明設定手段と、
    自車両の周囲に対して照射パターンの光を照射可能な照射手段と、
    前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対位置と、前記照明設定手段によって設定された前記遮蔽対象物に照射される照明の明るさとに基づいて、自車両から見たときの前記遮蔽対象物の一部分を、前記遮蔽対象物に照射される照明の明るさとし、前記遮蔽対象物の他の部分を含む領域を、前記遮蔽対象物に照射される照明の明るさより高くした照射パターンの光を照射するように、前記照射手段を制御する照明制御手段と、
    を含む照射装置。
  2. 前記照明設定手段は、前記照明上限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの上限と、前記照明下限推定手段によって推定された前記遮蔽対象物に照射される照明の明るさの下限との間となるように、前記遮蔽対象物に照射される照明の明るさを設定する請求項1記載の照射装置。
  3. 自車両の周囲を表わす可視光の画像を撮像する可視光撮像手段を更に含み、
    前記照明下限推定手段は、前記可視光撮像手段によって撮像された前記可視光の画像における、前記遮蔽対象物の背景の明るさに基づいて、前記遮蔽対象物に照射される照明の明るさの下限を推定する請求項1又は2記載の照射装置。
  4. 前記遮蔽対象物検出手段は、前記可視光撮像手段によって撮像された前記可視光の画像に基づいて、前記遮蔽対象物を検出し、
    前記照明制御手段は、前記可視光の画像を撮像するタイミングと異なるタイミングで、自車両から見たときの前記遮蔽対象物の一部分を、前記遮蔽対象物に照射される照明の明るさとし、前記遮蔽対象物の他の部分を含む領域を、前記遮蔽対象物に照射される照明の明るさより高くした照射パターンの光を照射し、前記可視光の画像を撮像するタイミングで、前記遮蔽対象物に対して遮蔽せずに光を照射するように、前記照射手段を制御する請求項3記載の照射装置。
  5. 自車両の周辺に存在する物体の3次元位置を計測する3次元位置計測手段と、
    前記3次元位置計測手段によって計測された前記物体の3次元位置に基づいて、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物の、自車両に対する相対的な3次元位置を推定する位置推定手段と、を更に含み、
    前記照明上限推定手段は、前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置に基づいて、前記遮蔽対象物に照射される照明の明るさの上限を推定する請求項1〜請求項4の何れか1項記載の照射装置。
  6. 自車両に対する相対的な3次元位置の各々に対して予め求められた照明の明るさを記憶した照明データベースと、
    前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置と、前記照明データベースに記憶された前記照明の明るさとに基づいて、前記遮蔽対象物検出手段によって検出された前記遮蔽対象物における前記照明の明るさを計算する遮蔽対象物照明計算手段と、
    前記位置推定手段によって推定された前記遮蔽対象物の、自車両に対する相対的な3次元位置に基づいて、前記遮蔽対象物の向きと前記照射手段による光の照射方向とのなす角を推定するなす角推定手段と、
    前記遮蔽対象物の順応輝度を推定する順応輝度推定手段と、を更に含み、
    前記照明上限推定手段は、前記遮蔽対象物照明計算手段によって計算された前記遮蔽対象物における前記照明の明るさ、前記なす角推定手段によって推定された前記なす角、及び前記順応輝度推定手段によって推定された前記遮蔽対象物の順応輝度に基づいて、前記遮蔽対象物にとって許容可能なグレアとなる、前記遮蔽対象物に照射される照明の明るさの上限を推定する請求項5記載の照射装置。
JP2014083931A 2014-04-15 2014-04-15 照射装置 Active JP6031468B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014083931A JP6031468B2 (ja) 2014-04-15 2014-04-15 照射装置
US14/681,692 US10118534B2 (en) 2014-04-15 2015-04-08 Irradiation apparatus
EP15163356.7A EP2933143B1 (en) 2014-04-15 2015-04-13 Irradiation apparatus
CN201510172792.5A CN105034929B (zh) 2014-04-15 2015-04-13 照射设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014083931A JP6031468B2 (ja) 2014-04-15 2014-04-15 照射装置

Publications (2)

Publication Number Publication Date
JP2015202822A true JP2015202822A (ja) 2015-11-16
JP6031468B2 JP6031468B2 (ja) 2016-11-24

Family

ID=53268592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014083931A Active JP6031468B2 (ja) 2014-04-15 2014-04-15 照射装置

Country Status (4)

Country Link
US (1) US10118534B2 (ja)
EP (1) EP2933143B1 (ja)
JP (1) JP6031468B2 (ja)
CN (1) CN105034929B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019151254A (ja) * 2018-03-05 2019-09-12 市光工業株式会社 車両用前照灯及び車両用前照灯の制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6166225B2 (ja) * 2014-06-10 2017-07-19 トヨタ自動車株式会社 車両用前照灯制御装置
US9744902B2 (en) * 2015-11-20 2017-08-29 GM Global Technology Operations LLC Vehicle headlight control
DE102015016333A1 (de) * 2015-12-15 2017-06-22 Audi Ag Steuern eines einstellbaren Scheinwerfers eines Kraftfahrzeugs
CN106016130A (zh) * 2016-07-19 2016-10-12 开发晶照明(厦门)有限公司 车头灯装置和车辆
KR102639790B1 (ko) * 2019-03-28 2024-02-22 현대모비스 주식회사 헤드램프 제어장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009090844A (ja) * 2007-10-10 2009-04-30 Toyota Central R&D Labs Inc 照明装置
JP2013109911A (ja) * 2011-11-18 2013-06-06 Stanley Electric Co Ltd 照明装置
JP2013184614A (ja) * 2012-03-08 2013-09-19 Toyota Motor Corp 多光式ヘッドライト

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4286308A (en) * 1979-09-04 1981-08-25 Polaroid Corporation Apparatus and method for reducing headlight glare
JP2612399B2 (ja) * 1992-06-05 1997-05-21 株式会社小糸製作所 投射型自動車用ヘッドランプ
US6144158A (en) * 1996-11-07 2000-11-07 Sensci Corporation Adaptive/anti-blinding headlights
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP2000100233A (ja) * 1998-09-25 2000-04-07 Ichikoh Ind Ltd 前照灯
DE19950504A1 (de) * 1999-10-20 2001-05-10 Porsche Ag Verfahren und Vorrichtung zur Steuerung der Lichtvertielung einer Scheinwerferanordnung eines Fahrzeuges
JP2002193025A (ja) * 2000-12-27 2002-07-10 Koito Mfg Co Ltd 車両用前照灯装置
US20030137849A1 (en) * 2002-01-22 2003-07-24 Alden Ray M. Segmented distribution headlight system, method, and apparatus
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
US7227611B2 (en) * 2004-08-23 2007-06-05 The Boeing Company Adaptive and interactive scene illumination
JP4624257B2 (ja) * 2005-12-28 2011-02-02 株式会社小糸製作所 車両用灯具
JP4484856B2 (ja) * 2006-10-06 2010-06-16 日立オートモティブシステムズ株式会社 自動車用ヘッドライト制御装置
JP4415996B2 (ja) * 2007-02-26 2010-02-17 株式会社日立製作所 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP2008273299A (ja) 2007-04-26 2008-11-13 Matsushita Electric Ind Co Ltd 車載撮影装置
JP5160259B2 (ja) 2008-02-08 2013-03-13 株式会社小糸製作所 車両用前照灯装置
JP5249612B2 (ja) * 2008-03-13 2013-07-31 株式会社小糸製作所 車両用前照灯装置
DE102009015824B4 (de) * 2008-04-02 2022-03-24 Denso Corporation Blendfreibereich-Kartenprodukt und dieses verwendende System zur Bestimmung, ob eine Person geblendet wird
EP2116421B1 (en) * 2008-05-08 2017-11-08 Koito Manufacturing Co., Ltd. Automotive headlamp apparatus
JP5097648B2 (ja) * 2008-08-28 2012-12-12 株式会社小糸製作所 前照灯制御装置および車両用前照灯装置
JP2011051441A (ja) 2009-09-01 2011-03-17 Koito Mfg Co Ltd 車両用前照灯システム
JP5416542B2 (ja) 2009-10-19 2014-02-12 株式会社小糸製作所 車輌用前照灯の制御システム
US8670885B2 (en) * 2011-01-06 2014-03-11 Ford Global Technologies, Llc Information display system and method
JP2012166652A (ja) 2011-02-14 2012-09-06 Stanley Electric Co Ltd 車両用前照灯の点灯制御装置、車両用前照灯システム
KR101356151B1 (ko) * 2011-05-23 2014-01-24 에스엘 주식회사 차량용 헤드램프 및 그 제어 방법
US9041808B2 (en) * 2012-03-08 2015-05-26 Stanley Electric Co., Ltd. Headlight controller, optical unit and vehicle headlight
JP5907384B2 (ja) * 2012-06-27 2016-04-26 スタンレー電気株式会社 車両用前照灯
US9308858B2 (en) * 2012-07-13 2016-04-12 Lg Innotek Co., Ltd. Lamp unit and lighting system for vehicle
JP2015015104A (ja) * 2013-07-03 2015-01-22 スタンレー電気株式会社 光源装置、車両用前照灯、車両用前照灯システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009090844A (ja) * 2007-10-10 2009-04-30 Toyota Central R&D Labs Inc 照明装置
JP2013109911A (ja) * 2011-11-18 2013-06-06 Stanley Electric Co Ltd 照明装置
JP2013184614A (ja) * 2012-03-08 2013-09-19 Toyota Motor Corp 多光式ヘッドライト

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019151254A (ja) * 2018-03-05 2019-09-12 市光工業株式会社 車両用前照灯及び車両用前照灯の制御方法
JP6996348B2 (ja) 2018-03-05 2022-02-04 市光工業株式会社 車両用前照灯及び車両用前照灯の制御方法

Also Published As

Publication number Publication date
CN105034929B (zh) 2017-07-28
EP2933143A3 (en) 2015-11-18
US20150291081A1 (en) 2015-10-15
JP6031468B2 (ja) 2016-11-24
US10118534B2 (en) 2018-11-06
EP2933143A2 (en) 2015-10-21
EP2933143B1 (en) 2018-10-03
CN105034929A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
JP6031468B2 (ja) 照射装置
JP5592441B2 (ja) 配光制御装置
JP5790698B2 (ja) 情報表示装置、及び情報表示方法
JP5831302B2 (ja) 多光式ヘッドライト
CN105008179B (zh) 灯光控制装置
CN103303205B (zh) 车辆周围监视装置
JP5761002B2 (ja) 照明制御装置
JP2022136305A (ja) 車両用灯具およびその制御装置、制御方法
US10965878B2 (en) Vehicle illumination system and vehicle
JP2009530695A5 (ja) 画像データにおいて重要対象物を識別するためのバーチャルスポットライト
JP2014525067A (ja) 車両の周辺区域にある物体を認識する方法および装置
CN110869940B (zh) 控制位于行车道上的机动车的像素大灯的方法
JP2022517985A (ja) 霧を介した画像強調のための弾道光変調
JP2008230364A (ja) 前照灯制御装置
KR20190003409A (ko) 자동차용 라이트 시스템
JP6704607B2 (ja) 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
CN113490316B (zh) 一种补光系统及补光灯
JP2009067083A (ja) 車両用前照灯装置およびその制御方法
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP5712821B2 (ja) 撮影表示制御システム
JP2013147111A (ja) 車両用前照灯の点灯制御装置、車両用前照灯システム
JP6691036B2 (ja) 車両用照明装置
JP6939875B2 (ja) 照明撮像装置
JP5692526B2 (ja) 車両用照明制御装置
JP2013009041A (ja) 車両用撮影表示制御システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161024

R150 Certificate of patent or registration of utility model

Ref document number: 6031468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250