JP2017182589A - 表示装置 - Google Patents
表示装置 Download PDFInfo
- Publication number
- JP2017182589A JP2017182589A JP2016071125A JP2016071125A JP2017182589A JP 2017182589 A JP2017182589 A JP 2017182589A JP 2016071125 A JP2016071125 A JP 2016071125A JP 2016071125 A JP2016071125 A JP 2016071125A JP 2017182589 A JP2017182589 A JP 2017182589A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- irradiation range
- environment
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0017—Devices integrating an element dedicated to another function
- B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4257—Photometry, e.g. photographic exposure meter using electric radiation detectors applied to monitoring the characteristics of a beam, e.g. laser beam, headlamp beam
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J2001/4247—Photometry, e.g. photographic exposure meter using electric radiation detectors for testing lamps or other light sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9315—Monitoring blind spots
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93274—Sensor installation details on the side of the vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
Description
このような表示装置を用いると、乗員は車両の運行に有用な各種の情報を得ることができ、乗員が運転者として運転する場合の運転支援としても、また、自動運転を行う車両において、乗員が自動運転制御の妥当性を監視するためにも有用である。
特に、乗員自らによる外界の視認性が低下する夜間走行においては、このような表示装置を用いることが有効であると考えられる。
また、特許文献2には、車両のインストルメントパネルに発光体を設け、フロントウィンドウガラスに反射させて運転者に情報を伝達する車両用表示装置において、歩行者等が検出された場合に対応する位置に警報マークを表示するとともに、歩行者等が前照灯の照射範囲外に存在する場合には、疑似的な人体像を表示することが記載されている。
しかし、こうした環境認識技術を運転支援や自動運転に用いる場合であっても、乗員は車両周囲の状況を自ら目視確認して安全性を確保する責任を負っており、環境認識手段による認識結果を盲信することは望ましくない。
上述した問題に鑑み、本発明の課題は、暗所走行時に乗員が環境認識手段を過信することを防止した表示装置を提供することである。
請求項1に係る発明は、自車両周囲の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、前記環境画像を表示する画像表示手段とを備える表示装置であって、自車両の前照灯によって照射される照射範囲を検出する照射範囲検出手段を備え、前記環境画像は、前記照射範囲の内側において認識された物体に関する情報のみを表示することを特徴とする表示装置である。
これによれば、前照灯の照射範囲内に含まれず、肉眼での目視による確認ができない領域の情報は非表示とすることによって、ユーザ自身が確認できない情報に基づいて車両を走行させることを防止し、暗所走行時において乗員が環境認識手段を過信することを防止することができる。
また、前照灯の照射範囲外から照射範囲内へ推移した障害物等については、照射範囲内に入り表示が開始された瞬間に変化点として認識しやすくなるため、ユーザの警戒心を維持することができる。
これによれば、照射範囲の外縁を表示することによって、ユーザに対してそれより外側の情報は現時点では把握不可能であることを認識させ、より慎重な自動運転制御の監視や運転操作を促すことができる。
これによれば、路面の凹凸、勾配の変化、うねりや、前照灯からの光線を遮断する遮蔽物の影響等に関わらず、照射範囲を適切に検出することができる。
これによれば、比較的装置の演算負荷が低い簡単な構成により照射範囲を検出することができる。
図1は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺のリスクに関する情報等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御の妥当性を検証することができる。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット70は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
また、ステレオカメラ71は、暗所を前照灯HLを点灯して暗所を走行する際には、自車両前方を撮像した画像に基づいて、前照灯HLの照射範囲を検出する照射範囲検出手段としても機能する。
レーザスキャナ制御ユニット80は、レーザスキャナ81を制御するとともに、レーザスキャナ81の出力に基づいて車両周囲の車両や障害物等の各種物体を3D点群データとして認識するものである。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
また、車両1の車体前端部には、左右一対の前照灯HLが設けられている。
前照灯HLは、例えば、高輝度放電ランプ(HID)やLED等の光源、及び、光源が発する光を前方へ所定の配光パターンで投光する光学系等を有して構成されている。
前照灯HLは、例えば、走行用配光(ハイビーム)、すれ違い用配光(ロービーム)等の異なった複数の配光パターンを有し、切替が可能となっている。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、インストルメントパネルに組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
ディスプレイ210は、例えば、インストルメントパネル等の内装部材に組み込まれたLCDを有する。
図3は、実施例の表示装置の動作を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
環境認識ユニット60は、自車両1の主に前方における環境認識を行う。
環境認識ユニット60は、自車両前方の車線形状、及び、他車両等の障害物の検知を行った後、画像生成ユニット200に認識結果(検知結果)を伝達する。
その後、ステップS02に進む。
画像生成ユニット200は、環境認識ユニット60からの情報に基づいて、車線形状の画像を生成する。
車線形状は、例えばステレオカメラ71を用いた白線検出処理等で検出された車線幅を反映させることによって、車線幅を有する画像として表示される。
その後、ステップS03に進む。
画像生成ユニット200は、環境認識ユニット60からの情報に基づいて、例えば他車両、歩行者、サイクリスト、落下物、建築物等の障害物の表示画像を生成する。
障害物の表示画像は、ディテール等を省略して簡素化したコンピュータグラフィックスとして生成される。
障害物の表示画像は、車線形状画像状の対応する位置に重畳して表示される。
その後、ステップS04に進む。
画像生成ユニット200は、車両が暗所を走行中であり、前照灯HLが点灯状態であるか否かを検出する。
暗所であるか否か、前照灯HLが点灯状態であるか否かは、例えば、ステレオカメラ71の撮像画像に基づいて判別することができる。
また、前照灯の点灯、消灯を切り替える前照灯制御手段や、前照灯の自動点灯制御に用いられる照度センサを用いて、前照灯の状態及び暗所であるか否かを判別してもよい。
ここで、暗所は、例えば夜間屋外のほか、トンネル内、橋梁下部、室内駐車場等の屋内などを含む。
車両が暗所を走行中であり、かつ、前照灯HLが点灯状態である場合は、ステップS05に進み、他の場合はステップS07に進む。
環境認識ユニット60は、ステレオカメラ71の撮像画像に基づいて、前照灯HLによって照射されている領域である照射領域を検出し、得られた情報を画像生成ユニット200に伝達する。
例えば、前照灯HLを、肉眼で識別できない程度の周期かつ所定のパターンで点滅させ、撮像画像における輝度変化が点滅パターンと一致する画素位置に相当する領域を照射領域として検出することができる。
その後、ステップS06に進む。
画像生成ユニット200は、ステップS01乃至S03において生成した画像において、照射範囲よりも外側の領域に存在する物体等に関する表示を非表示とする。
このとき、環境認識ユニット60により環境認識が可能な範囲が、全て照射範囲内に含まれる場合には、このような非表示化処理を行わず、全ての認識結果を表示することができる。
その後、ステップS07に進む。
画像生成ユニット200は、生成された画像データを出力し、ディスプレイ210によって表示させ、ユーザに提示させる。
その後、一連の処理を終了(リターン)させる。
図4は、実施例の表示装置が設けられる車両が走行する道路環境の一例を模式的に示す図である。
図4に示す例においては、自車両1は、左側通行片側一車線の道路を走行している。(後述する図6において同じ)
自車両1の前方には、自車両1から近い順に、直線路S1、右コーナR1、直線路S2、左コーナL1が順次設けられている。
直線路S1の前方には、先行車である他車両V1が走行している。
直線路S2には、先行車である他車両V2、及び、対向車である他車両V3が走行している。
したがって、この領域は、仮にナビゲーション装置100等によって車線形状が認識され、また、他車両V2、V3について路車間通信装置110、車車間通信装置120によって情報が取得された場合であっても、実質的に乗員が目視によって確認することは不可能あるいは極めて困難となる。
そこで、実施例においては、このような照射範囲Aの外部の情報に関しては、環境認識ユニット60によって認識が可能な状態であっても、あえて環境画像(画像表示G1)には表示しない構成としている。
表示画面G1は、自車両1及びその前方の状況を、ディテールを省略して簡素化し、コンピュータグラフィックスによって描画したものである。
画像生成ユニット200は、このようなコンピュータグラフィックスのレンダリングを行う機能を備えている。
表示画面G1は、例えば、図5のような自車両1の上方側かつ斜め後方側に配置された仮想視点から見た状態を示す俯瞰図(鳥瞰図)である。
表示画面G1は、直線路S1、及び、右コーナR1の中間部までの車線形状を示す画像を有する。
右コーナR1の中間部以遠は、非表示となっている。
一方、照射範囲Aの外部に存在する他車両V2、V3は、環境認識ユニット60としてはいずれかの環境認識手段によって認識していても、表示は行わないようになっている。
また、表示画像G1は、照射範囲Aの外縁を示すラインLを表示する。
(1)前照灯HLの照射範囲A内に含まれず、肉眼での目視による確認ができない領域の情報は非表示とすることによって、ユーザ自身が確認できない情報に基づいて車両1を走行させることを防止し、暗所走行時においてユーザが環境認識手段を過信することを防止することができる。
また、前照灯HLの照射範囲A外から照射範囲A内へ推移した障害物等については、照射範囲A内に入り表示が開始された瞬間に変化点として認識しやすくなるため、ユーザの警戒心を維持することができる。
(2)照射範囲Aの外縁を示すラインAを表示することによって、ユーザに対してそれより外側の情報は現時点では把握不可能であることを認識させ、より慎重な自動運転制御の監視や運転操作を促すことができる。
(3)自車両前方を撮像した画像に基づいて前照灯HLの照射範囲を検出することによって、路面の凹凸、勾配の変化、うねりや、前照灯からの光線を遮断する遮蔽物の影響等に関わらず、照射範囲を適切に検出することができる。
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、GPS等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。
(4)実施例においては、表示画像を俯瞰図(鳥瞰図)としているが、これに限らず、例えば平面図や、仮想ドライバ視点から見たドライバーズビューとすることも可能である。また、3D表示が可能なディスプレイを用いて、3D表示を行ってもよい。また、インストルメントパネルに設けたディスプレイによる表示に限らず、例えば、フロントガラスに像を投影するヘッドアップディスプレイによって表示してもよい。
(5)実施例においては、例えばカメラによる撮像結果を利用して前照灯の照射範囲を検出しているが、これに限らず、他の手法により照射範囲を検出してもよい。
例えば、前照灯の配光パターンが路面に投射されて形成される投射パターンに関する情報を予め保持し、この投射パターンを照射範囲として検出してもよい。
また、前照灯が可変配光可能なものや、走行用配光(ハイビーム)とすれ違い用配光(ロービーム)との自動切替を行うもの(オートハイビーム)である場合には、配光制御や切替制御を行う制御装置から、現在の配光パターンに関する情報を取得し、これに基づいて照射範囲を検出してもよい。
20 トランスミッション制御ユニット 21 前後進切替アクチュエータ
22 レンジ検出センサ 30 挙動制御ユニット
31 ハイドロリックコントロールユニット(HCU)
32 車速センサ
40 電動パワーステアリング(EPS)制御ユニット
41 モータ 42 舵角センサ
50 自動運転制御ユニット 51 入出力装置
60 環境認識ユニット 70 カメラ制御ユニット
71 ステレオカメラ
80 レーザスキャナ制御ユニット
81 レーザスキャナ 90 後側方レーダ制御ユニット
91 後側方レーダ 100 ナビゲーション装置
101 ディスプレイ
110 路車間通信装置 120 車車間通信装置
200 画像生成ユニット 210 ディスプレイ
V1〜V3 他車両 S1,S2 直線路
R1 右コーナ L1 左コーナ
HL 前照灯 A 前照灯の照射範囲
G1 表示画像
図4は、実施例の表示装置が設けられる車両が走行する道路環境の一例を模式的に示す図である。
図4に示す例においては、自車両1は、左側通行片側一車線の道路を走行している。(後述する図5において同じ)
自車両1の前方には、自車両1から近い順に、直線路S1、右コーナR1、直線路S2、左コーナL1が順次設けられている。
直線路S1の前方には、先行車である他車両V1が走行している。
直線路S2には、先行車である他車両V2、及び、対向車である他車両V3が走行している。
Claims (4)
- 自車両周囲の環境を認識する環境認識手段と、
前記環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、
前記環境画像を表示する画像表示手段と
を備える表示装置であって、
自車両の前照灯によって照射される照射範囲を検出する照射範囲検出手段を備え、
前記環境画像は、前記照射範囲の内側において認識された物体に関する情報のみを表示すること
を特徴とする表示装置。 - 前記環境画像は、前記照射範囲の外縁を示す表示を自車両前方の環境に関する情報と重畳して表示すること
を特徴とする請求項1に記載の表示装置。 - 前記照射範囲検出手段は、自車両前方を撮像する撮像手段が前記前照灯の照射光の反射光を検出した範囲を前記照射範囲として検出すること
を特徴とする請求項1又は請求項2に記載の表示装置。 - 前記照射範囲検出手段は、前記前照灯の配光パターンに関する情報に基づいて前記照射範囲を検出すること
を特徴とする請求項1又は請求項2に記載の表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071125A JP6305456B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
CN201710140993.6A CN107264400B (zh) | 2016-03-31 | 2017-03-10 | 显示装置 |
DE102017105222.4A DE102017105222A1 (de) | 2016-03-31 | 2017-03-13 | Fahrzeugsteuerungsvorrichtung und Fahrzeug |
US15/459,200 US10293749B2 (en) | 2016-03-31 | 2017-03-15 | Vehicle control device and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071125A JP6305456B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182589A true JP2017182589A (ja) | 2017-10-05 |
JP6305456B2 JP6305456B2 (ja) | 2018-04-04 |
Family
ID=59886028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071125A Active JP6305456B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10293749B2 (ja) |
JP (1) | JP6305456B2 (ja) |
CN (1) | CN107264400B (ja) |
DE (1) | DE102017105222A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110936A1 (ja) * | 2018-11-27 | 2020-06-04 | 株式会社小糸製作所 | センサシステム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7013730B2 (ja) * | 2017-08-29 | 2022-02-15 | 株式会社Jvcケンウッド | 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム |
JP6600878B2 (ja) * | 2017-12-21 | 2019-11-06 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
US10696226B2 (en) * | 2017-12-27 | 2020-06-30 | Toyota Research Institute, Inc. | Vehicles and methods for displaying objects located beyond a headlight illumination line |
JP7048331B2 (ja) * | 2018-01-24 | 2022-04-05 | スタンレー電気株式会社 | 点灯制御装置 |
CN108981727A (zh) * | 2018-07-24 | 2018-12-11 | 佛山市高明曦逻科技有限公司 | 汽车自组网导航地图系统 |
EP3627183B1 (en) * | 2018-09-18 | 2022-05-11 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Control system for autonomous driving of a vehicle |
JP7054739B2 (ja) * | 2018-09-21 | 2022-04-14 | 本田技研工業株式会社 | 車両検査システム |
CN110126717B (zh) * | 2019-05-24 | 2020-11-20 | 浙江吉利控股集团有限公司 | 一种用于车辆的转向示警系统及转向示警方法 |
CN112277787A (zh) * | 2019-07-23 | 2021-01-29 | 中车株洲电力机车研究所有限公司 | 一种智轨电车的虚拟轨道自适应照明装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008230464A (ja) * | 2007-03-22 | 2008-10-02 | Alpine Electronics Inc | 車載カメラ用自動露出装置 |
JP2012073823A (ja) * | 2010-09-29 | 2012-04-12 | Daihatsu Motor Co Ltd | 歩行者検出装置 |
WO2016002007A1 (ja) * | 2014-07-01 | 2016-01-07 | 日産自動車株式会社 | 車両用表示装置及び車両用表示方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4735090B2 (ja) | 2005-07-11 | 2011-07-27 | トヨタ自動車株式会社 | 赤外画像撮像装置 |
JP5392470B2 (ja) * | 2009-01-30 | 2014-01-22 | マツダ株式会社 | 車両用表示装置 |
JP5592138B2 (ja) * | 2010-03-31 | 2014-09-17 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
DE102011081392B4 (de) * | 2011-08-23 | 2023-01-26 | Robert Bosch Gmbh | Verfahren zur Kalibrierung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs |
JP5941800B2 (ja) * | 2012-09-07 | 2016-06-29 | 株式会社デンソー | 車両用前照灯装置 |
JP2014110604A (ja) * | 2012-12-04 | 2014-06-12 | Denso Corp | 車両周辺監視装置 |
JP6252316B2 (ja) * | 2014-03-31 | 2017-12-27 | 株式会社デンソー | 車両用表示制御装置 |
JP6075331B2 (ja) * | 2014-06-13 | 2017-02-08 | トヨタ自動車株式会社 | 車両用照明装置 |
JP6277927B2 (ja) | 2014-09-30 | 2018-02-14 | ブラザー工業株式会社 | 楽曲再生装置、および楽曲再生装置のプログラム |
US9699153B2 (en) * | 2015-01-19 | 2017-07-04 | Intel IP Corporation | Systems, methods and devices for direct communication |
JP6537385B2 (ja) * | 2015-07-17 | 2019-07-03 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
-
2016
- 2016-03-31 JP JP2016071125A patent/JP6305456B2/ja active Active
-
2017
- 2017-03-10 CN CN201710140993.6A patent/CN107264400B/zh active Active
- 2017-03-13 DE DE102017105222.4A patent/DE102017105222A1/de active Pending
- 2017-03-15 US US15/459,200 patent/US10293749B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008230464A (ja) * | 2007-03-22 | 2008-10-02 | Alpine Electronics Inc | 車載カメラ用自動露出装置 |
JP2012073823A (ja) * | 2010-09-29 | 2012-04-12 | Daihatsu Motor Co Ltd | 歩行者検出装置 |
WO2016002007A1 (ja) * | 2014-07-01 | 2016-01-07 | 日産自動車株式会社 | 車両用表示装置及び車両用表示方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110936A1 (ja) * | 2018-11-27 | 2020-06-04 | 株式会社小糸製作所 | センサシステム |
JPWO2020110936A1 (ja) * | 2018-11-27 | 2021-10-07 | 株式会社小糸製作所 | センサシステム |
JP7356451B2 (ja) | 2018-11-27 | 2023-10-04 | 株式会社小糸製作所 | センサシステム |
Also Published As
Publication number | Publication date |
---|---|
CN107264400A (zh) | 2017-10-20 |
JP6305456B2 (ja) | 2018-04-04 |
DE102017105222A1 (de) | 2017-10-05 |
CN107264400B (zh) | 2019-09-06 |
US10293749B2 (en) | 2019-05-21 |
US20170282798A1 (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6305456B2 (ja) | 表示装置 | |
JP6294905B2 (ja) | 表示装置 | |
JP6383376B2 (ja) | 周辺リスク表示装置 | |
JP6688655B2 (ja) | 車両状態監視装置 | |
CN107264399B (zh) | 车辆周围监视装置 | |
JP6773433B2 (ja) | 周辺リスク表示装置 | |
JP6542708B2 (ja) | 表示装置 | |
JP6688656B2 (ja) | 周辺リスク表示装置 | |
JP7100421B2 (ja) | 表示装置 | |
JP6757585B2 (ja) | 表示装置 | |
JP6757586B2 (ja) | 異常報知装置 | |
JP6889587B2 (ja) | 画像表示装置 | |
JP6967866B2 (ja) | 画像表示装置 | |
JP6667346B2 (ja) | 周辺リスク表示装置 | |
JP6633957B2 (ja) | 周辺リスク表示装置 | |
JP6744744B2 (ja) | 表示装置 | |
JP2017182566A (ja) | 周辺リスク表示装置 | |
JP6667347B2 (ja) | 表示装置 | |
JP6894744B2 (ja) | 画像表示装置 | |
WO2021124931A1 (ja) | 運転支援装置および運転支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6305456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |