JP2018523191A - 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両 - Google Patents

車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両 Download PDF

Info

Publication number
JP2018523191A
JP2018523191A JP2017557288A JP2017557288A JP2018523191A JP 2018523191 A JP2018523191 A JP 2018523191A JP 2017557288 A JP2017557288 A JP 2017557288A JP 2017557288 A JP2017557288 A JP 2017557288A JP 2018523191 A JP2018523191 A JP 2018523191A
Authority
JP
Japan
Prior art keywords
vehicle
travel
target position
space
position candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017557288A
Other languages
English (en)
Other versions
JP2018523191A5 (ja
JP6800166B2 (ja
Inventor
アドーマト・ロルフ
フェイ・ヴォルフガング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2018523191A publication Critical patent/JP2018523191A/ja
Publication of JP2018523191A5 publication Critical patent/JP2018523191A5/ja
Application granted granted Critical
Publication of JP6800166B2 publication Critical patent/JP6800166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本発明は、一台の車両（３０１）の車両周辺部にある少なくとも一つのオブジェクト（３０６）の空間座標を捕捉するための少なくとも一つの捕捉ユニット（１０１）；並びに、該捕捉ユニット（１０１）によって捕捉された少なくとも一つのオブジェクト（３０６）の空間座標と車両（３０１）の予め定められている寸法から、車両（３０１）が走行できる空間（４０４）を割り出すことができるように構成された同定ユニット（１０２）とを有する、該車両（３０１）が走行できる空間（４０４）を割り出すための装置に関する。

Description

本発明は、車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両に関する。
現代的な自動車は、駐車の際にドライバーをサポートする駐車アシスタント・システムを装備していることが多い。特許文献１からは、様々な駐車シナリオを分類する駐車アシスタント・システムが、既知である。
駐車アシスタント・システムは、通常、車線近傍の車両の周りの領域のみを監視する。特に、高いところに取り付けられたオブジェクト、例えば、ガレージ内におけるルーフ・ボックス等は、認識されにくいことがある。
独国特許出願公開第１０２０１１１１３９１６号明細書
よって、本発明の課題は、車両が走行できる空間を確実かつ正確に割り出すことである。
即ち、本発明によれば、該車両の車両周辺部にある少なくとも一つのオブジェクトの空間座標を捕捉するための少なくとも一つの捕捉ユニット；並びに、該捕捉ユニットによって捕捉された少なくとも一つのオブジェクトの空間座標と車両の予め定められている寸法から、車両が走行できる空間を割り出すことができるように構成された同定ユニットとを有する、車両が走行できる空間を割り出すための装置を提供できる。
更に、本発明は、以下のステップを含む車両が走行できる空間を割り出すための方法も提供できる：該車両の車両周辺部において少なくとも一つのオブジェクトの空間座標を捕捉するステップ；並びに、捕捉した少なくとも一つのオブジェクトの空間座標と車両の予め定められている寸法から該車両が走行できる空間を割り出すステップ。
更に、本発明は、車両が走行できる空間を割り出すための装置を有する車両も提供できる。
これにより、車両が利用できる車両が走行できる空間を確実かつ正確に割り出すことができる。
本装置のある一つの発展形態によれば、該捕捉ユニットは、光学的センサーを備えている。該センサーによって、該車両の車両周辺部にあるオブジェクトを認識し、その空間座標を割り出すことができる。
本装置のある一つの発展形態によれば、該捕捉ユニットは、サラウンド・ビュー・システムを包含している。例えば該車両周辺の複数のカメラから構成されたサラウンド・ビュー・システムを採用することにより、該車両の車両周辺部全域を捕捉し、測定できる。
本装置のある一つの発展形態によれば、該捕捉ユニットは、該車両の車両周辺部の少なくとも一部の三次元地図を作成できるように構成されているが、該三次元地図は、少なくとも一つのオブジェクト、並びに、走行できる空間のポジションを包含している。これにより、該車両の車両周辺部の地面付近のオブジェクトだけでなく、例えば、ガレージ内のルーフ・ボックスや他の車両においてオーバーハングしている物体など、高いところにあるオブジェクトをも確実に認識することを可能にする。該三次元地図を用いれば、該車両は安全に、ドライバー自身によって、或いは、対応する制御手段によって自動的に運転されることができる。
本装置のある一つの発展形態によれば、ある少なくとも一つの目的ポジション候補に、車両が走行できる空間内にある該車両の走行軌道を介して到達可能な場合、該同定ユニットが、車両が走行できる空間を基に、その少なくとも一つの該車両の目的ポジション候補を計算する。これにより、該装置は、特に、駐車アシスタント・システムにおいて採用することが可能になる。
本装置のある一つの発展形態によれば、少なくとも一つの目的ポジション候補は、該車両のドライバーに、ユーザーインターフェースを介して表示される。該ドライバーは、例えば、一つの目的ポジション候補を選択し、該車両を、該目的ポジションにマニュアルに移動する。
本装置のある一つの発展形態によれば、一つの目的ポジションが、少なくとも一つの目的ポジション候補から、ユーザーインターフェースを介して該車両のドライバーによって選択自在である。該ドライバーに対しては、選択された目的ポジションに到達するために、例えば、走行軌道を表示することができる。
本装置のある一つの発展形態によれば、該捕捉ユニットは、予め定められている条件に基づいて一つの目的ポジションを、少なくとも一つの目的ポジション候補から選択するように構成されている。例えば、より有利なキャリイングポジションは、様々な駐車シナリオに基づいてアルゴリズムを用いて選択することができる。これには、自動的に最適な駐車ポジションが選択されると言う長所がある。
本装置のある一つの発展形態によれば、該装置は、車両を自動的に選択された目的ポジションへ導くことができるように構成された制御ユニットを包含しているが、この際、該車両の走行軌道は、割り出された該車両が走行できる空間内にある。該車両が走行できる空間の正確に捕捉された座標を基にすれば、該車両は、確実かつ該車両、或いは、他の交通参加者を危険にさらすことなく、目的ポジションへと導かれることができる。
ある一つの発展形態によれば、該方法は、該車両のドライバーへの、車両が走行できる空間内にある該車両の走行軌道を介して到達可能な該車両用の少なくとも一つの目的ポジション候補のユーザーインターフェースを介した表示を包含している。
ある一つの発展形態によれば、該方法は、少なくとも一つの目的ポジション候補からのドライバーによる一つの目的ポジションの選択と、該選択された目的ポジションへの該車両の自動的な操縦を包含している。
以下本発明を、概略的な図として描かれている実施例を参照しながら詳しく説明する。
本発明に係る装置の実施形態例を説明するためのブロック図である。 本発明に係る装置の実施形態例を説明するためのブロック図である。 本発明に係る装置の実施形態例を説明するためのブロック図である。 本発明に係る装置の実施形態例を説明するためのブロック図である。 本発明に係る装置を説明するためのシナリオ例の断面図である。 本発明に係る装置を説明するためのシナリオ例の上面図である。 車両が走行できる領域を割り出すための方法を説明するためのフローチャートである。
図１は、本発明の第一実施形態に係る車両が走行できる空間を割り出すための車両用の装置１００を示している。この際、該車両は、特に好ましくは、乗用自動車、貨物用動力車両、動力二輪車、或いは、農業用牽引車などであることもできる。該装置１００は、該車両の車両周辺部にある少なくとも一つのオブジェクトの空間座標を捕捉するための捕捉ユニット１０１を包含している。該捕捉ユニット１０１は、例えば、光学的センサー類（カメラ或いはレーザーセンサー類）、レーダーセンサー類、乃至、超音波センサー類を包含している。好ましくは、該捕捉ユニット１０１は、少なくとも一つのカメラを包含している。
好ましくは、該捕捉ユニット１０１は、一台以上のカメラを備え、これにより、該車両の三次元車両周辺部を捕捉するサラウンド・ビュー・システムを包含している。特に好ましくは、車線表面から、少なくとも、該車線表面から該車両の高さに相当する高さまでの該車両の車両周辺部にあるオブジェクトを捕捉することができる。
該装置１００は、更に、同定ユニット１０２も有している。該同定ユニット１０２は、該車両の車両周辺部にある少なくとも一つのオブジェクトの該捕捉ユニット１０１によって捕捉される空間座標を受信する様に構成されている。更に、該同定ユニット１０２は、少なくとも一つのオブジェクトの受信した空間座標をその中に保存することのできるメモリーを有している。特に好ましくは、自車両が、動いた場合、その中においてオブジェクトが占有している空間を示す車両周辺部の経時的な三次元地図を作成することができる。該同定ユニット１０２は、該捕捉ユニット１０１によって捕捉された少なくとも一つのオブジェクトの空間座標と、メモリーに保存されている車両の寸法を含む三次元地図によって、該車両が走行できる空間を割り出すことができるように構成されている。
そのためには、例えば、車両のポジションが、保存されている三次元地図内において、そこに該捕捉ユニット１０１が、一つのオブジェクトを捕捉した領域を、占有されているとマークすることが可能である。即ち、該車両が走行できる空間とは、占有されておらず、且つ、そこに該車両を、保存されている該車両の寸法に基づく該車両が占める空間が該占有されている空間とオーバーラップしない少なくとも一つのポジションに配置できる、該三次元地図の領域のことである。この際、該走行できる空間は、該車両が、占有されている空間に接触する或いはそこを通過することなく該車両を操舵することにより到達できる空間として割り出される。特に好ましくは、該メモリーには、例えば該車両の旋回半径などを含む車両のナビゲーション特性に関するデータも保存されていることができる。
更なる実施形態によれば、同定ユニット１０２は、該車両用の少なくとも一つの目的ポジション候補を計算できる、即ち、該車両を走行できる空間に帰属させることができるが、該目的ポジション候補に到達するための走行軌道は、その全体が、走行できる空間内になければならない。
更なる実施形態によれば、走行できる空間は、安全間隔を確保したうえで割り出される。例えば、占有されているとマークされている空間から、即ち、該捕捉ユニット１０１がオブジェクトを捕捉した空間から１０ｃｍ、２０ｃｍ乃至５０ｃｍの安全間隔を確保することにより、その空間も占有されているとマークし、走行できる空間を、相応に縮小することも可能である。
図２は、本発明のある更なる実施形態を示している。この際、該装置１００は、付加的に一つのユーザーインターフェース１０３を有している。該装置１００は、少なくとも一つの算出された目的ポジション候補を、ユーザーインターフェース１０３を介して、該車両のドライバーに表示するように構成されている。
更なる実施形態によれば、該車両のドライバーは、該ユーザーインターフェース１０３を介して、少なくとも一つの目的ポジション候補から一つの目的ポジションを選択することができる。
図３は、本発明の第一実施形態の発展形態である本発明のある更なる実施形態を示しているが、該装置１００は、付加的に一つの制御ユニット１０４を有している。該同定ユニット１０２は、少なくとも一つの目的ポジション候補から一つの目的ポジションを選択するように構成されている。該同定ユニット１０２は、目的ポジションを、例えば、予め定められている条件に基づいて、アルゴリズムを用いて選択することができる。例えば、その目的ポジション候補は、少なくとも一つの目的ポジション候補から選択されることができ、該車両のできるだけ短い走行軌道によって到達可能な目的ポジションとして定められることができる。該装置１０４は、車両を自動的に選択された目的ポジションへ導くことができるように構成されているが、該車両の走行軌道は、割り出された該車両が走行できる空間内にある。走行軌道に沿った該操縦は、特に好ましくは、反復するナビゲーション、即ち、前進・後進を包含していることも可能である。
図４は、図２に示した本発明の実施形態の発展形態である本発明のある更なる実施形態を示している。装置１００は、一つのユーザーインターフェース１０３と一つの制御ユニット１０４の双方を有している。該装置１００は、該車両のドライバーが、ユーザーインターフェース１０３を介して、ユーザーインターフェース１０３を介してドライバーに示される少なくとも一つの目的ポジション候補から選択される目的ポジションを選択することができる。該装置１０４は、車両を自動的に選択された目的ポジションへ導くことができるように構成されているが、該車両の走行軌道は、割り出された該車両が走行できる空間内にある。
図５は、本発明に係る装置を説明するためのシナリオ例の断面図を示している。該車両３０１は、ある一つの道路表面３０２上にある。該車両３０１の車両前進方向には、ガレージ３０７があるが、該道路表面３０２からの道路表面ガレージ３０７のガレージ天井３０７ｂの高さＨ２は、該道路表面３０２からの車両３０１の最大高さＨ１よりも大きい。ガレージ天井３０７ｂには、ボックス３０６が取り付けられている。ここでは、ボックス３０６の下側は、道路表面３０２からの高さＨ３にある。ボックスの高さＨ３は、該車両３０１の最大高さＨ１よりも小さい。
該車両３０１は、該車両３０１のフロントガラスに設けられ、該車両前方の円錐状の第一領域３０３ａを捕捉できる一つの第一センサー３０３を有している。該車両３０１は更に、車両前方のカバーに設けられ、円錐状の第二領域３０４ａを捕捉できる第二センサー３０４も有している。第一センサー３０３と第二センサー３０４は、特に好ましくは、光学的センサー類、例えば、車両３０１の周辺を認識するためのカメラを包含している。
第一センサー３０３と第二センサー３０４を用いることにより、該車両３０１の車両周辺部内のオブジェクト、即ち、ボックス３０６とガレージ３０７を捕捉することができる。但し、本発明は、上記に制限されるものではなく、特に、該車両は、該車両に設けられている複数のセンサー類を有していることが可能である。これらセンサー類の異なる視点により、該車両３０１の車両周辺部の少なくとも一部の三次元地図を作成することが可能である。即ち、第一センサー３０３と第二センサーは、該車両３０１の車両周辺部内のオブジェクト、例えば、ボックス３０６とガレージ３０７の三次元座標を捕捉するように構成されている。
該車両３０１は、第一センサー３０３と第二センサー３０４が捕捉したボックス３０６とガレージ３０７の座標、並びに、該車両３０１の寸法から、該車両３０１が走行できる空間を割り出す更なる一つの（図示されていない）同定ユニット１０２も有している。図５に示されているシナリオでは、同定ユニット１０２は、車両３０１の前方部から容認される間隔Ｄ１までの空間を走行できるとして割り出す。この車両３０１の前方部から容認される間隔Ｄ１内に、車両３０１がボックス３０６に接触することなく車両３０１の前方部が導かれることができる位置であるエンドポイント３０５が存在している。要するに、車両３０１の前方部が、該エンドポイント３０５を超えてガレージ３０７の壁３０７ａの方向へと動かされた場合、該車両３０１は、ボックス３０６と衝突する。即ち、車両が走行できる空間は、車両３０１の前方部が、ガレージ３０７の壁３０７ａから最低間隔Ｄ２離れている空間であるが、ここでは、該最低間隔Ｄ２は、ガレージの壁３０７ａからエンドポイント３０５までの間隔である。
更なる実施形態によれば、同定ユニットは、例えばボックス３０６やガレージ３０７など捕捉されたオブジェクトへの約１０ｃｍ、２０ｃｍ乃至５０ｃｍの安全間隔が、確保されるように走行できる領域を計算する。
図６は、本発明に係る装置１００を説明するためのシナリオ例の上面図を示している。ここで言う、占有されている領域４０１とは、ボックス３０６乃至ガレージ３０７などのオブジェクトと衝突することなく車両３０１をそこへと導くことができない領域のことである。図５は、軸Ｉ−Ｉに沿った断面に相当している。
車両３０１が走行できる空間４０４とは、占有されていない空間、即ち、空間４０１の補完であると言える。更には、車両３０１が走行できる空間４０４内にある走行軌道を介して該車両が到達できる第一目的ポジション候補４０２ａと第二目的ポジション候補４０２ｂも表示されている。特に、第一目的ポジション候補４０２ａには、第一走行軌道４０３を介して到達できる。該第一目的ポジション候補４０２ａと第二目的ポジション候補４０２ｂは、前の実施形態においても記述した如く、該車両１０３のドライバーに、（図示されていない）ユーザーインターフェース１０３を介して示すことができる。
更なる実施形態によれば、車両３０１のドライバーは、ユーザーインターフェース１０３を介して、第一目的ポジション候補４０２ａと第二目的ポジション候補４０２ｂから目的ポジション４０２ａを選択でき、この例では、第一目的ポジション候補４０２ａと同じである。
更なる実施形態によれば、該ドライバーには、ユーザーインターフェース１０３を介して、選択された目的ポジション４０２ａに到達するための軌道４０３が示され、該車両３０１のドライバーは、自ら、目的ポジション４０２ａへ操縦できるようになっている。更なる実施形態によれば、該装置１００は、車両３０１を自動的に、走行軌道４０３に沿って選択された目的ポジション４０２ａに操縦する制御ユニット１０４を包含している。
図７は、車両３０１が走行できる領域４０４を割り出すための方法を説明するためのフローチャートを示している。該方法は、該車両３０１の車両周辺部にある少なくとも一つのオブジェクトの空間座標を捕捉する第一ステップＳ１を包含している。空間座標の捕捉は、この際、例えば、光学的センサー類、レーダーセンサー類、或いは、超音波センサー類によって実施可能である。尚、少なくとも一つのオブジェクト３０６の空間座標の捕捉は、サラウンド・ビュー・システムの少なくとも二台のカメラによって実施されることが好ましい。少なくとも二台のカメラによって捕捉された少なくとも一つのオブジェクトの空間座標を比較することにより、該少なくとも一つのオブジェクトの正確な三次元空間座標を算出することができる。
該方法は、車両３０１が走行できる空間４０４の割り出しを少なくとも一つのオブジェクト３０６の捕捉された空間座標と該車両３０１の予め定められている寸法に基づいて割り出す第二ステップＳ２を包含している。この際、車両３０１が走行できる空間４０４とは、少なくとも一つの捕捉されたオブジェクトに接触することなくそこに車両３０１を導くことができる空間のことである。更なる実施形態によれば、安全間隔を付加的に考慮することができる。また、車両３０１の旋回半径など該車両３０１の走行特性も考慮することができる。
この際、少なくとも一つのオブジェクトがある領域を占有されていると、例えば三次元地図内においてマークすることができる。保存されている車両３０１の寸法を基に、車両３０１が走行できる空間４０４を割り出すことができる。
図８は、本発明のある更なる実施形態を示している。図４に示されている方法に付加的に、更なる第三ステップＳ３において、該車両３０１のドライバーに対してシグナルが出力される。該シグナルは、例えば、ユーザーインターフェース１０３を介して出力できる。ここでは、該車両のドライバーには、複数の目的ポジション候補、即ち、該車両３０１をそれが完全に車両３０１が走行できる空間４０４内にある走行軌道を介してそこへと導くことができる複数のポジションが表示される。
更なる実施形態によれば、図９に示す如く、第四ステップにおいて、それが完全に該車両３０１が走行できる空間４０４内にある該車両３０１の走行軌道を介して到達可能な該車両３０１に対する少なくとも一つの目的ポジション候補４０２ａ，４０２ｂが、該車両３０１のドライバーにユーザーインターフェース１０３を介して表示される。
第五ステップＳ５では、該車両が、自動的に、選択された目的ポジションへと導かれるが、該車両３０１の走行軌道は、その全体が、該車両３０１が走行できる空間４０４内にある。尚、車両３０１の操縦は、例えば、制御ユニット１０４によって実施される。
しかし本件発明は、これらに制限されるものではなく、特に、一つの目的ポジションを、少なくとも一つの目的ポジション候補から、予め定められている条件に従って、アルゴリズムを用いて選択することもでき、更なる実施形態によれば、該車両を自動的に該選択された目的ポジションへ導くことも可能である。
本発明に係る方法は、特に、貨物用動力車両を正確に貨物ホームへと導くために採用されることもできる。この場合、該貨物ホームが、捕捉ユニット１０２によって、オブジェクトとして認識される。該貨物用動力車両は、自動的に該貨物用動力車両が走ることのできる領域内を、該貨物用動力車両が、該貨物ホームに対して十分に近い位置に到達するまで、該貨物ホームに向かって導かれる。これにより、特に、該貨物ホームと接触することを回避できるが、同時に該貨物用動力車両が、該貨物ホームに対して十分に近い位置にあることも確実なものとすることができる。
本発明に係る方法は、高さ制限を示し、対応する高さに備えられている標識を認識することにも用いることができる。この場合、該標識が、捕捉ユニット１０２によって、オブジェクトとして認識される。標識の高さが、車両の最大高さＨ１よりも低い場合、該標識の下は、走れない領域である。
更に本発明に係る方法は、前方を走行中の車両からオーバーハングしている物体を認識するためにも用いることができる。
更に本発明に係る方法は、トンネルが該車両にとって十分に高いか否かを認識するために用いることも可能である。この際、トンネルがオブジェクトとして認識される。トンネルの高さが、車両の最大高さＨ１よりも低い場合、該トンネルは、該車両が走れる領域ではない。
本発明の範囲においては、例えば、道路表面の、及び／或いは、該道路表面より上のレベル面を用いることができ、これを基に、特に、捕捉ユニットによって捕捉されたオブジェクトの空間座標に依存して、オブジェクトの三次元地図、並びに、走行できる空間が作成される。特別な形態では、該レベル面は、車両表面の上、乃至、上空の特定の高さに張られた２次元のレベル面である。この際、該高さは、車両の高さに依存して決定されることができる。例えば、該レベル面の高さを、車両の高さとすること、或いは、該レベル面を、該車両の高さに対して特定の間隔（高さＸ）を加えた高さ、即ち、（車両の高さ）＋（高さＸ）に配置する、或いは、それを張ることができる。更に、該レベル面に対して、特に、これが車両の上空にある場合は、捕捉ユニットによって捕捉されたオブジェクトの空間座標に基づいて道路表面に対して鉛直方向に所謂「占有地図」を作成することができる。これにより、通常は道路表面に対して作成される該車両周辺部の「占有地図」、乃至、「占有グリッド」に対して代案的、乃至、付加的に、車両上空の特定のレベル面における「占有地図」を作成することができる。この代案的、乃至、付加的な「占有地図」に基づけば、該軌道を、車両の周辺空間の上を走行できるか否かと言う条件、即ち、道路表面にあるオブジェクトに関してのみならず、車両が、周辺空間の下を通過できるか否かと言う条件、特に、道路表面上に無い、即ち、吊り下げ方式の道路標識や、ガレージやパーキングハウスの屋根からぶら下がっているオブジェクトなど、ある特定の高さ位に配置されているオブジェクトに関しても代案的、乃至、付加的に考慮して割り出すことができるようになる。

Claims (13)

  1. 車両（３０１）の車両周辺部にある少なくとも一つのオブジェクト（３０６）の空間座標を捕捉するための少なくとも一つの捕捉ユニット（１０１）；並びに、
    該捕捉ユニット（１０１）によって捕捉された少なくとも一つのオブジェクト（３０６）の空間座標と車両（３０１）の予め定められている寸法から、車両（３０１）が走行できる空間（４０４）を割り出すことができるように構成された同定ユニット（１０２）とを有する、
    車両（３０１）が走行できる空間（４０４）を割り出すための装置。
  2. 該捕捉ユニット（１０１）が、光学的センサー類（３０３，３０４）を有している
    ことを特徴とする請求項１に記載の装置。
  3. 該捕捉ユニット（１０１）が、サラウンド・ビュー・システムを包含している
    ことを特徴とする請求項１乃至２のうち何れか一項に記載の装置。
  4. 捕捉ユニット（１０１）は、車両（３０１）の車両周辺部の少なくとも一部の三次元地図を作成できるように構成され、
    該三次元地図が、少なくとも一つのオブジェクト（３０６）と走行できる空間（４０４）を包含している
    ことを特徴とする請求項１から３のうち何れか一項に記載の装置。
  5. 同定ユニット（１０２）は、車両（３０１）が走行できる空間（４０４）を基に、ある少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）に、車両（３０１）が走行できる空間（４０４）内にある該車両（３０１）の走行軌道を介して到達可能な場合、該車両（３０１）の少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）を計算する
    ことを特徴とする請求項１から４のうち何れか一項に記載の装置。
  6. 該少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）が、該車両（３０１）のドライバーにユーザーインターフェース（１０３）を介して表示される
    ことを特徴とする請求項１から５のうち何れか一項に記載の装置。
  7. 一つの目的ポジション（４０２ａ）を、該車両（３０１）のドライバーが、ユーザーインターフェース（１０３）を介して、該少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）から選択できる
    ことを特徴とする請求項６に記載の装置。
  8. 目的ポジション（４０２ａ）を、予め定められている条件に従って該少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）から選択するように該捕捉ユニット（１０１）が構成されている
    ことを特徴とする請求項１から５のうち何れか一項に記載の装置。
  9. 該車両（３０１）を自動的に選択された目的ポジションへ導くことができるように構成された制御ユニット（１０４）を包含し、
    該車両（３０１）の該走行軌道が、割り出された該車両（３０１）が走行できる空間内（４０４）にある
    ことを特徴とする請求項７乃至８のうち何れか一項に記載の装置。
  10. 以下のステップ：
    該車両（３０１）の車両周辺部にある少なくとも一つのオブジェクト（３０６）の空間座標を捕捉するステップ（Ｓ１）；並びに、
    少なくとも一つのオブジェクト（３０６）と該車両（３０１）の予め定められている寸法に基づいて該車両（３０１）が走行できる空間（４０４）を割り出すステップ（Ｓ２）
    を包含している
    ことを特徴とする車両（３０１）が走行できる領域を割り出すための方法。
  11. 該車両（３０１）が走行できる空間（４０４）内にある該車両（３０１）の走行軌道を介して到達可能な該車両（３０１）用の少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）を、ユーザーインターフェース（１０３）を介して該車両（３０１）のドライバーに、表示するステップ（Ｓ３）
    を包含している
    ことを特徴とする請求項１０に記載の方法。
  12. ドライバーが、少なくとも一つの目的ポジション候補（４０２ａ，４０２ｂ）から一つの目的ポジション（４０２ａ）を選択するステップ（Ｓ４）、並びに、
    選択された目的ポジション（４０２ａ）へ車両（３００）を自動手的に操縦するステップ（Ｓ５）
    を包含している
    ことを特徴とする請求項１１に記載の方法。
  13. 請求項１から９のうち何れか一項に記載の該車両（３０１）が走行できる領域を割り出すための装置を備えた（３０１）。
JP2017557288A 2015-05-08 2016-05-03 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両 Active JP6800166B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015208590.2 2015-05-08
DE102015208590.2A DE102015208590A1 (de) 2015-05-08 2015-05-08 Vorrichtung zur bestimmung eines für ein fahrzeug befahrbaren raums, entsprechendes verfahren und fahrzeug
PCT/DE2016/200206 WO2016180414A1 (de) 2015-05-08 2016-05-03 Vorrichtung zur bestimmung eines für ein fahrzeug befahrbaren raums, entsprechendes verfahren und fahrzeug

Publications (3)

Publication Number Publication Date
JP2018523191A true JP2018523191A (ja) 2018-08-16
JP2018523191A5 JP2018523191A5 (ja) 2020-06-25
JP6800166B2 JP6800166B2 (ja) 2020-12-16

Family

ID=56292409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557288A Active JP6800166B2 (ja) 2015-05-08 2016-05-03 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両

Country Status (5)

Country Link
US (1) US10539963B2 (ja)
EP (1) EP3295117A1 (ja)
JP (1) JP6800166B2 (ja)
DE (2) DE102015208590A1 (ja)
WO (1) WO2016180414A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341144A (zh) * 2018-12-19 2020-06-26 丰田自动车北美公司 停车促进系统和方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016122294A1 (de) * 2016-11-21 2018-05-24 Valeo Schalter Und Sensoren Gmbh Planen einer Trajektorie zum autonomen Parken eines Kraftfahrzeugs in einer Parkplatzumgebung
DE102017103154A1 (de) * 2017-02-16 2018-08-16 Connaught Electronics Ltd. Verfahren zum Erzeugen einer digitalen Umgebungskarte einer Umgebung eines Kraftfahrzeugs unter Berücksichtigung eines Freiraums, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018100596A1 (de) 2018-01-12 2019-07-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verhindern einer kritischen Situation für ein Kraftfahrzeug, wobei ein Abstand zwischen einer Kraftfahrzeugkontur und einer Objektkontur bestimmt wird, Fahrerassistenzsystem sowie Kraftfahrzeug
KR102586445B1 (ko) * 2018-08-08 2023-10-06 현대자동차주식회사 주차 보조를 위한 장애물 높이 측정 시스템
DE102019202182A1 (de) * 2019-02-19 2020-08-20 Zf Friedrichshafen Ag Verfahren zum Steuern eines Nutzfahrzeugs
DE102019114399A1 (de) * 2019-05-29 2020-12-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Parken eines Fahrzeugs mit Überstand
CN113513984B (zh) * 2021-06-30 2024-01-09 广州小鹏自动驾驶科技有限公司 一种车位识别精度检测方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007326428A (ja) * 2006-06-07 2007-12-20 Denso Corp 駐車支援装置
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2013203348A (ja) * 2012-03-29 2013-10-07 Toyota Motor Corp 駐車支援装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10312252A1 (de) * 2003-03-19 2004-09-30 Siemens Ag Verfahren und Vorrichtung zur Vermeidung von Personen- und Sachschäden durch Kraftfahrzeugtüren
JP3931857B2 (ja) * 2003-07-23 2007-06-20 トヨタ自動車株式会社 駐車支援装置及び後退支援装置
JP3883529B2 (ja) * 2003-08-28 2007-02-21 アイシン精機株式会社 車両後退支援装置
DE102005008874A1 (de) * 2005-02-24 2006-09-07 Daimlerchrysler Ag Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen
DE102009032541B4 (de) * 2009-07-10 2013-04-18 Audi Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE102009029436A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren zum Einparken eines Fahrzeugs
DE102010009889A1 (de) * 2010-03-02 2011-09-08 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Vorrichtung zur Vermeidung einer Kollision einer schwenkbaren Fahrzeugklappe
JP2012214178A (ja) * 2011-04-01 2012-11-08 Denso Corp 駐車支援装置
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
DE102011102639A1 (de) * 2011-05-27 2012-11-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Rangierhilfe in einem Fahrzeug
DE102011103743A1 (de) * 2011-05-31 2012-03-29 Daimler Ag Verfahren und Vorrichtung zur Umgebungserfassung eines Fahrzeugs
DE102011113916A1 (de) 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
DE102011086025A1 (de) * 2011-11-09 2013-05-16 Robert Bosch Gmbh Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102012022336A1 (de) * 2012-11-14 2014-05-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
DE102013207823A1 (de) * 2013-04-29 2014-10-30 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Koordinaten eines Objekts
DE102013209873B4 (de) * 2013-05-28 2019-07-11 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kollisionsvermeidung für Fahrzeuglasten und -aufbauten
EP3808633A1 (en) * 2013-12-04 2021-04-21 Mobileye Vision Technologies Ltd. Navigating a vehicle to avoid encroaching vehicle
CN111380545A (zh) * 2015-02-10 2020-07-07 御眼视觉技术有限公司 用于自主车辆导航的方法、服务器、自主车辆以及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007326428A (ja) * 2006-06-07 2007-12-20 Denso Corp 駐車支援装置
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2013203348A (ja) * 2012-03-29 2013-10-07 Toyota Motor Corp 駐車支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341144A (zh) * 2018-12-19 2020-06-26 丰田自动车北美公司 停车促进系统和方法
JP2020109628A (ja) * 2018-12-19 2020-07-16 トヨタ モーター ノース アメリカ，インコーポレイティド 駐車容易化システムおよび方法
JP7314040B2 (ja) 2018-12-19 2023-07-25 トヨタ モーター ノース アメリカ，インコーポレイティド 駐車容易化システムおよび方法

Also Published As

Publication number Publication date
DE102015208590A1 (de) 2016-11-10
US20180046194A1 (en) 2018-02-15
WO2016180414A1 (de) 2016-11-17
US10539963B2 (en) 2020-01-21
EP3295117A1 (de) 2018-03-21
JP6800166B2 (ja) 2020-12-16
DE112016001687A5 (de) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6800166B2 (ja) 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両
US9921585B2 (en) Detailed map format for autonomous driving
US9815460B2 (en) Method and device for safe parking of a vehicle
CN107918758B (zh) 能够进行环境情景分析的车辆
US9915951B2 (en) Detection of overhanging objects
US10829154B2 (en) Method and device for operating a vehicle
US9656691B2 (en) Method for performing an at least semi-autonomous parking process of a motor vehicle in a garage, parking assistance system and motor vehicle
US9495603B2 (en) Method for determining whether a vehicle can pass through an object by means of a 3-D camera
CN109804419B (zh) 用于运行半自主或自主的机动车的方法和机动车
CN108473131A (zh) 停车辅助方法和装置
CN108349533B (zh) 用于确定用于停放机动车辆的停车区的方法、驾驶员辅助系统和机动车辆
US9616886B2 (en) Size adjustment of forward objects for autonomous vehicles
JP2018531175A6 (ja) 自動車両を駐車するための駐車エリアを特定するための方法、運転者支援システム、及び自動車両
JP2022502642A (ja) 移動手段周辺の物体が移動手段の運転操作に及ぼす影響を評価する方法
KR20180012128A (ko) 차량의 3차원 위치 추정 장치 및 그 방법
US10597080B2 (en) Method and device for operating a motor vehicle traveling driverlessly within a parking facility
JP6776842B2 (ja) 駐車支援方法及び駐車支援装置
JP2019206318A (ja) 監視装置
JP6473936B2 (ja) 自動運転車
JP2019049811A (ja) 車両制御装置、車両制御方法、およびプログラム
JP4997604B2 (ja) 個人用移動車両運転支援装置
JP6406894B2 (ja) 環境地図生成制御装置、移動体、及び環境地図生成方法
US20240109559A1 (en) Method and Control Device for the Situation-Dependent Determination of Observation Areas for Motor Vehicles Operated in an at Least Partially Autonomous Manner
JP6827391B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2015056123A (ja) 移動体の環境地図生成制御装置、移動体、及び移動体の環境地図生成方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20171102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200514

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201124

R150 Certificate of patent or registration of utility model

Ref document number: 6800166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250