JP2019500695A - 自動車両の周囲領域内の物体を識別する方法、運転者支援システム、及び自動車両 - Google Patents

自動車両の周囲領域内の物体を識別する方法、運転者支援システム、及び自動車両 Download PDF

Info

Publication number
JP2019500695A
JP2019500695A JP2018531632A JP2018531632A JP2019500695A JP 2019500695 A JP2019500695 A JP 2019500695A JP 2018531632 A JP2018531632 A JP 2018531632A JP 2018531632 A JP2018531632 A JP 2018531632A JP 2019500695 A JP2019500695 A JP 2019500695A
Authority
JP
Japan
Prior art keywords
pedestrian
contrast pattern
identified
motor vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018531632A
Other languages
English (en)
Other versions
JP6698163B2 (ja
Inventor
マルクス、ハイムベルガー
ペリクレス、ラモス
Original Assignee
ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー filed Critical ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Publication of JP2019500695A publication Critical patent/JP2019500695A/ja
Application granted granted Critical
Publication of JP6698163B2 publication Critical patent/JP6698163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本発明は、自動車両(1)の周囲領域(4)内の物体(3)を歩行者(5)として識別する方法であって、前記周囲領域(4)が、少なくとも1つの車両側カメラ(6)によって複数の画像(B)において捕捉される方法において、前記物体(3)から前記周囲領域(4)の地面(12)に投じられる影(11)と、前記地面(12)に形成されるとともに前記影(11)に依存するコントラストパターン(13)が、捕捉された複数の前記画像(B)のうちの少なくとも1つの画像において検知され、形成された前記コントラストパターン(13)と、歩行者(5)を特性付ける所定のコントラストパターンとの比較に基づいて、前記物体(3)が識別される方法に関する。更に、本発明は、運転者支援システム(2)、及び自動車両(1)に関する。

Description

本発明は、自動車両の周囲領域内の物体を歩行者として識別する方法であって、周囲領域が少なくとも1つの車両側カメラによって複数の画像において捕捉される方法に関する。更に、本発明は、運転者支援システム、及び自動車両に関する。
自動車両の周囲領域内の物体を捕捉し、当該物体についての情報を、例えば自動車両の運転者支援システムに提供する方法が、従来技術によって既に開示されている。例えば、このような運転者支援システムは、歩行者検知を備える電子ブレーキ支援体であり得る。具体的には、ブレーキ支援体は、捕捉された歩行者に対する距離が所定値を下回ると、自動車両の速度を低減するように設計される。これにより、例えば、歩行者との衝突を防止し得る、又は歩行者を負傷させるリスクが少なくとも大幅に低減され得る。この目的のために、特に、物体が歩行者として確実に識別される必要がある。したがって、例えば、自動車両が木を通過する際に、不要に自動車両の速度を落とすことが防止され得る。例えば歩行者検知(PD)等の物体検知のための方法が、例えば、DE 10 2013 112 163 A1から公知である。
しかしながら、従来技術によりそれ自体公知の方法は、確実な物体検知を実施するために、通常、歩行者全体を検知しなければならないという点で不利である。
本発明の目的は、特に単純且つ確実な態様で、物体を歩行者として識別することである。
本発明によれば、この目的は、独立請求項に記載の方法、運転者支援システム、及び自動車両によって達成される。
本発明による方法は、自動車両の周囲領域内の物体を歩行者として識別することに役立つ。本方法において、自動車両の周囲領域は、少なくとも1つの車両側カメラによって、複数の画像において捕捉される。更に、周囲領域の地面に物体が投じる影、及び地面に形成されるとともに影に依存するコントラストパターンが、捕捉された複数の画像のうちの少なくとも1つにおいて検知され、そして形成されたコントラストパターンと歩行者を特性化する所定のコントラストパターンとの比較に基づいて、物体が識別される。
したがって、本方法は、検知された物体を分類するのに役立つ。本方法によって、検知された物体が、歩行者であるか、又は他の物体、例えば木や交通標識であるかを区別することができる。本方法において、自動車両の周囲領域が、少なくとも1つのカメラによって複数の画像において捕捉される。具体的には、4台のカメラが想定される。1台のカメラが、自動車両の前方の周囲領域を捕捉するように自動車両の前方領域に配設され得る。1台のカメラが、自動車両の後方の周囲領域を捕捉するように自動車両の後方領域に配設され得る。1台のカメラが、自動車両の運転者側、及び前方同乗者側の周囲領域を捕捉するように、自動車両の各一方のサイドミラーにそれぞれ配設され得る。したがって、自動車両の周囲領域を、特に完全且つ隙間なくモニタリングすることが可能である。
ここで、本方法の範囲において、少なくとも1つの画像における物体は、検知された物体それ自体に基づいて識別されるのではなく、地面上のコントラストパターンに基づいて識別される。前記コントラストパターンは、物体が地面に投げ掛ける影に依存する。例えば、地面は、自動車両の車道、又は歩行者用の歩道であり得る。コントラストパターンは、ある領域において影によって暗いが或る領域において照らされる地面によって生成される。ここで、特に、コントラストパターンは、影によって暗くされた地面の領域と、この暗い領域に隣接する暗くない、すなわち照らされた領域とを含む。これらの光/影転換、又は明るい/暗い転換が、例えば、運転者側画像処理装置によって検知され、歩行者に特性的な光/影転換を含む所定のコントラストパターンと比較される。つまり、所定のコントラストパターンは、歩行者の影によって地面に生成され得るコントラストパターンに対応する。検知されたコントラストパターンが特性コントラストパターンに対応する場合、又は検知されたコントラストパターンが、特性コントラストパターンから、所定の公差値よりも小さい値だけ逸脱している場合、検知された物体は歩行者として識別される。ここで、本発明は、コントラストパターンによって形成される明るい/暗い転換、又は明るい/暗いカーブは、迅速且つ容易に検知され得るという知見に基づいている。したがって、物体は、迅速且つ容易に歩行者として識別され得る。
特に好適には、互いに対して実質的に平行に、又は隣接して延びる2つの暗いストライプと、それらの間に存在するより明るいストライプとが、物体の影によって生成されるコントラストパターンにおける所定のコントラストパターンとして検知される場合、物体は歩行者として識別される。表現を変えれば、これは、2つの暗いストライプ、すなわちストライプ状領域が、明るいストライプ、すなわちストライプ状領域に隣接してそれぞれ具現化されているということを意味する。したがって、画像処理装置が識別可能な暗い/明るい/暗いプロファイルがもたらされる。
ここで、特に、平行に延びる2つの暗いストライプは、歩行者の脚の影であり、これにより、或る領域において地面が暗くなる。これらの間に存在する明るいストライプは、例えば歩行者の脚の間を通る光又は太陽光によって形成される。地面は、脚の間を照らすこの太陽光によって照らされる。この実施形態から、物体を歩行者として識別するために、歩行者の脚のみ、又は歩行者の脚の影のみしか検知する必要がないという利点が生まれる。したがって、例えば、自動車両のサイドミラーに取付けられた2つのカメラのうちの一方を、物体を検知するために使用することが可能となる。
一実施形態によれば、ストライプのうちの少なくとも1つのストライプの配向が、カメラの検知軸から、所定の角度よりも小さい角度だけ逸脱しているものとして捕捉される場合、物体は歩行者として識別される。本例において、カメラの検知軸、すなわちカメラ軸は、カメラの捕捉領域の主軸に対応する。自動車両の前方領域、又は自動車両の後方領域のカメラの場合、特に、この検知軸は、自動車両の車両長手軸に沿って延びる。ストライプのうちの少なくとも1つのストライプの配向を捕捉するように、少なくとも1つのストライプと、カメラ軸、具体的にはカメラ軸の地面上での投影との間の角度を捕捉することができる。この角度は、所定の角度と比較され得る。一般に、自動車両に取付けられたカメラの前方で立っている歩行者の脚は、実質的に平行に延びる2つのストライプの形状にある影を生じさせ、特に、プロセスにおけるストライプはカメラ軸に沿って配向されている。これは、少なくとも1つのストライプとカメラ軸との間の角度はほぼ0°であること、又はその角度が、カメラ軸から、所定の角度よりも小さい角度だけ逸脱していることを意味する。したがって、ストライプの配向に基づいて、コントラストパターンは、歩行者により生成されたコントラストパターンとして確実に識別され得るとともに、例えば街路標示のコントラストパターンと混同され得ない。特に、カメラ軸と少なくとも1つのストライプとの間の距離は変化するので、歩行者が移動している、例えば車道を横断している場合、又は自動車両が移動している場合、捕捉された角度及び自動車両の捕捉された速度に基づいて、歩行者が移動しているか、又は静止しているかを決定することが更に可能となる。
ストライプのうちの少なくとも1つのストライプの各長さ及び/又は各幅が捕捉され、各長さ及び/又は各幅が、特定のコントラストパターンについて予め定められた長さ及び/又は幅から、所定の値よりも小さい値だけ逸脱しているものである場合、物体は歩行者として識別されることが想定され得る。人間に普遍的又は特徴的な妥当な値が、脚の寸法に依存する幅及び/又は長さについて特定され得る。したがって、捕捉された幅及び/又は捕捉された長さに基づいて、ストライプが脚の影であるかどうかの妥当性をチェックすることができる。特に、コントラストパターンの暗いストライプの幅及び/又は長さの捕捉に基づいて、歩行者のコントラストパターンは、例えば、道路上に白色のストライプとして表示され、暗い/明るい/暗い転換状態のコントラストパターンを生成する街路標示のコントラストパターンから区別され得る。所定の長さ、及び/又は所定の幅と特定の値とを比較することによって、非常に単純にコントラストパターンを歩行者に割り当てることができる。したがって、本方法は、非常に確実な態様において設計される。
好適には、現在の太陽光の光入射方向が自動車両に関して測定され、特性コントラストパターンは、測定された光入射方向に依存して決定される。ここで、本発明は、検知されるコントラストパターンは、太陽の光入射方向に、例えば太陽の現在の太陽位置に依存するという知見に基づいている。特に、コントラストパターンのストライプの配向は、光入射方向に依存する。ここで、例えば、光入射方向に特有のコントラストパターンであって、各光入射方向に関して歩行者を特性付けるコントラストパターンを保存し、現在の光入射方向に応じて、捕捉されたコントラストパターンとの比較に対応する保存されたコントラストパターンを使用することが可能である。
例えば、光入射方向は、基本の輝度、又は少なくとも1台のカメラによって捕捉された画像の輝度に基づいて測定され得る。この輝度は、少なくとも1台のカメラそれ自体によって、及び/又は画像処理装置によって検知され得る。車両側の雨/ライト/トンネルセンサによって、及び/又は車両側の太陽位置センサによって、光入射方向が検知されることも想定され得る。また、例えば、現在の気象データが保存されたインターネットによる気象データベースが、運転者支援システムの車両側制御装置によって呼び出され得る。気象データベースに保存された気象データに基づいて、自動車両の現在位置での現在時刻における太陽位置と、これにより自動車両の配向に応じた現在の光入射方向とを測定することができる。例えば、自動車両の位置、及び自動車両の配向は、車両側のGPS機器によって測定される。したがって、物体が確実に分類され得る特性コントラストパターンを決定することができる。
本発明の有利な実施形態において、少なくとも1つの画像に基づいて、歩行者として識別された物体の位置が、周囲領域を呈示する周囲マップにおいて測定され、物体の影、及び、歩行者を追跡することを目的として少なくとも1つの別の画像において形成されるコントラストパターンに基づいて、物体は歩行者として識別され、物体の別の位置が、周囲マップにおいて、少なくとも1つの別の画像に基づいて測定される。ここで、具体的には、周囲マップは、例えば捕捉された物体の位置及び幾何学的寸法、特に捕捉された物体の自動車両に対する距離が周囲領域においてプロットされた仮想マップである。周囲マップに基づいて、自動車両の運転者支援システムは、支援機能、例えば自動非常停止、又は自動駐車プロセスを提供し得る。歩行者の位置は時間とともに追跡され、カメラによって保存された少なくとも2つの画像に基づいて周囲マップにプロットされる。表現を変えれば、これは、歩行者の移動プロファイルが測定されることを意味する。したがって、歩行者は追跡される。例えば、歩行者が静止しているか移動しているかが、時間とともに追跡される位置に基づいて測定され得る。例えば、歩行者が静止しているものとして捕捉された場合、自動緊急停止をしなくてもよい。これに対して、歩行者の自動車両に向かう動きが捕捉されたら、運転者支援システムは自動緊急停止を実施し得る。
物体それ自体が、複数の画像のうちの少なくとも1つの画像において更に検知され、複数の画像のうちの少なくとも1つの画像において検知された物体に基づいて、及び複数の画像のうちの少なくとも1つの画像において識別されたコントラストパターンに基づいて画像が歩行者として識別された場合のみ、物体は歩行者として識別され確認されることが有利であることが発見された。表現を変えれば、これは、物体の識別が、少なくとも1つの画像において検知され歩行者として識別された物体それ自体による検知されたコントラストパターンに更に基づいて立証されることを意味する。したがって、物体識別の方法は、2つの副方法を備える。第1の副方法において、物体はコントラストパターンに基づいて識別され、第2の副方法において、物体それ自体に基づいて少なくとも1つの画像において検知される。捕捉された物体に基づく歩行者識別のための方法は、例えば、パターン検知アルゴリズムの形態において、特に分類器の形態において公知である。例えば、いわゆるサポートベクターマシーン(SVM)がそのような分類器であり得る。物体が両副方法において歩行者として認識された場合のみ、歩行者識別は成功として評価され、検知された物体は歩行者として確認される。
例えば、物体が第1の副方法に基づいて歩行者として識別されたのみで、第2の副方法に基づく物体の識別では否定的であった場合、識別されたコントラストパターンは歩行者のコントラストパターンではなく、例えば地面上の街路標識であるという推定がなされる。物体が第2の副方法に基づいて歩行者として識別されたのみで、第1の副方法に基づく物体の識別では否定的であった場合、捕捉された物体は、別の物体、例えば木であるという推定がなされる。したがって、副方法により重複性が提供され、これにより、物体が確実に識別され得る。
好適には、物体それ自体及びコントラストパターンは、少なくとも1つのカメラによって捕捉された同一の画像において検知され、そして、同一の画像に基づいて物体は歩行者として識別される。換言すれば、これは、車両側カメラによって捕捉された同一の画像が、両副方法において、物体を識別するために使用されることを意味する。したがって、記録された単独の画像のみに基づいて、物体は確実に歩行者として識別され得る。
本発明の別の実施形態において、識別された物体に基づいて物体を歩行者として識別する処理と、検知されたコントラストパターンに基づいて物体を歩行者として識別する処理とが、少なくとも時々同時に実施される。換言すれば、これは、副方法を実施する処理は、少なくとも部分的に重なり合うことを意味する。表現を変えれば、両副方法、具体的には、コントラストパターンに基づく、及び、物体それ自体に基づく物体識別は、少なくとも時々並行して又は同時に実施される。したがって、物体は、非常に迅速に歩行者として識別され確認され得る。
検知された物体の位置、及びコントラストパターンの位置が、周囲マップにおいて測定され、検知された物体及びコントラストパターンが、周囲マップにプロットされることが想定され得る。物体の自動車両に対する距離が、周囲マップにおける、検知された物体の位置に基づいて、及び検知されたコントラストパターンの位置に基づいて測定され得る。例えば、この距離は、緊急停止支援体として構成される運転者支援システムに利用され得る。更に、コントラストパターンが地面上の物体の影によって形成されたかどうか、すなわち、コントラストパターンを物体に割り当て得るかどうかが、2つの位置によって決定され得る。
好適には、検知された物体の地面上の投影が周囲マップにおいて測定され、物体の投影と、周囲マップにプロットされた物体のコントラストパターンとが、少なくとも所定の重なり領域において重なり合う場合、物体は歩行者として識別される。これは、物体の地面上の影が、周囲マップにおける投影によって、例えば、画像処理方向によって人工的に、又は仮想的に生成される、又は決定されることを意味する。特に、投影は、記録された画像の時刻における、現在の光入射方向を考慮して決定される。物体の投影及び影が、すなわち、人工的に生成された影に依存するコントラストパターンと、物体の影に依存するコントラストパターンとが、少なくとも所定の重なり領域において重なり合う場合、地面上のコントラストパターンは、実際に物体によって生成されたものであり、検知されたコントラストパターンは例えば街路標示ではないという推定がなされる。投影及びコントラストパターンによって、第1の副方法及び第2の副方法によって検知された歩行者を物体に関連付けることが可能となり、したがって、捕捉された物体を歩行者としてより確実に識別することが可能となる。
更に、本発明は、自動車両の周囲領域内の物体を歩行者として識別する運転者支援システムに関する。運転者支援システムは、周囲領域を複数の画像において捕捉するための少なくとも1つの車両側カメラを有する。更に、運転者支援システムの画像処理装置は、周囲領域における地面上に物体から投じられる影と、捕捉された複数の画像のうちの少なくとも1つの画像において地面に形成されるとともに影に依存するコントラストパターンとを検知し、形成されたコントラストパターンと歩行者を特性付ける所定のコントラストパターンとの比較に基づいて、物体を識別するように構成される。例えば、運転者支援システムは、自動緊急ブレーキ支援体として構成され得るとともに、歩行者として識別された物体との衝突が今にも発生しそうな場合に、自動車両を自動的に制動し得る。
本発明による自動車両は、本発明による運転者支援システムを有する。特に、自動車両は乗用車として具現化される。
本発明による方法を参照して呈示される好適な実施形態、及び当該実施形態の利点が、本発明による運転者支援システムに、そして本発明による自動車両に対応して適用される。
「上(方)」、「下(方)」、「前(方)」、「後(方)」、「〜の側」、「前側」、「後側」等の特定は、自動車両における少なくとも1つのカメラの意図された使用及び意図された配置の場合の、及び自動車両の前方に立って自動車両の方向において見ている観察者の場合の位置及び配向を記述するものである。
本発明の更なる特徴が、請求項、図面、及び図面の説明から得られる。上述に記載の特徴及び特徴の組合せ、及び、以下の図面及び/又は図面のみの説明に記載の特徴及び特徴の組合せは、それぞれ指定された組合せだけでなく、本発明の範囲を逸脱することなく、他の組合せ、又はそれら自体で利用され得る。したがって、図面に明確に示され説明されないが、別箇の特徴の組合せによって説明された実施形態から現れ且つ生成可能である本発明の実施形態は、カバーされ開示されたものとしてみなされるべきである。また、最初に策定された独立請求項の全ての特徴を有さない実施例も開示されたものとみなされる。
本発明による自動車両の実施形態の概略図。 車両側カメラにより捕捉された画像の概略図。
図面において、同一の、又は同一の機能を有する要素には、同一の参照符号が付される。
図1は、運転者支援システム2を有する自動車両1を示す。運転者支援システム2は、自動車両1の周囲領域4内の物体3を歩行者5として識別することに役立つ。例えば、運転者支援システム2は、自動非常停止支援体として構成され得る。自動非常停止支援体は、歩行者5に対して今にも起こり得る衝突を自動車両の運転者に警告する、及び/又は歩行者との衝突が今にも起こり得る場合に、自動車両1を自動的に制動する。物体3を歩行者5として識別することを目的として、運転者支援システム2は、少なくとも1つの車両側カメラ6を備える。本例において、自動車両1は、4つの車両側カメラ6を備える。1台のカメラ6が、自動車両1の前方領域7に配設される。自動車両1の前方の周囲領域4は、このカメラ6によってモニタリングされる。自動車両1の背後の周囲領域4をモニタリングするように、別のカメラ6が、自動車両1の後部領域8に配設される。ここで、更に2台のカメラ6は、自動車両1のサイドミラー9にそれぞれ組み込まれ、これにより、自動車両1の側方の周囲領域4がモニタリングされ得る。
カメラ6は、自動車両1の周囲領域4を、複数の画像Bにおいて捕捉するように設計される。自動車両1の前方領域7においてカメラ6によって捕捉された画像Bが、図2に例示的な態様で示される。地面12に物体3が投じる影11が、少なくとも1つの捕捉された画像Bにおいて、運転者支援システム2の車両側画像捕捉装置10によって識別される。例えば、地面12は、自動車両1の車道、又は歩道であり得る。地面12に投じられた影11は、地面12上の影11に依存するコントラストパターン13を生成する。このコントラストパターンは、少なくとも1つの画像Bにおいて、運転者支援システム2の画像処理装置10によって検知される。この検知されたコントラストパターン13は、歩行者を特性化する所定のコントラストパターンと比較される。そして、この比較に基づいて、捕捉された物体3は歩行者5として識別される。捕捉されたコントラストパターン13が、特性コントラストパターンから、所定の値よりも小さい値だけ逸脱している場合、すなわち、捕捉されたコントラストパターン13と特性コントラストパターンとが、少なくとも所定の重なり領域において重なり合う、又は交差する場合、捕捉された物体3は、比較に基づいて、歩行者5として識別される。
ここで、特に、コントラストパターン13が、2つの暗いストライプ14、すなわち互いに対して実質的に平行に、又は隣接して延びるストライプ状領域と、暗いストライプ14同士の間に延びる明るいストライプ15、すなわちストライプ状領域と、を有していれば、物体3は歩行者5として識別される。ここで、暗いストライプ14は、歩行者5の脚16の影により生成された、地面12上の暗い領域に対応する。ここで、暗いストライプ14の間に延びる明るいストライプ15は、地面上12の暗くない領域に対応する。例えば、これは、歩行者5の脚16の間に差し込む、つまり2つの暗いストライプ14の間の領域を照らす太陽Sからの光によって生じる。地面12上の暗い、明るい、そして暗い交互のコントラストパターン13は、歩行者の特性として定義される。
更に、ストライプ14、15のうちの少なくとも1つのストライプの幅17、及び/又はストライプ14、15のうちの少なくとも1つのストライプの長さ19が捕捉される。捕捉された幅17、及び/又は捕捉された長さ18が、コントラストパターンを特性付けるために規定された長さ及び/又は幅から、所定の値よりも小さい値だけ逸脱している場合のみ、物体3は歩行者5として識別される。ここで、ストライプ14、15の幅及び長さは、歩行者5の脚16の幅及び長さに依存する。人間に典型的である妥当な値が、そのような幅及び長さとして規定され得る。これにより、画像処理装置10は、コントラストパターン13において捕捉された幅17及び/又は捕捉された長さ18が、歩行者として現実的、すなわち妥当であるかを決定し得る。例えば、これにより、道路12上に暗い、明るい、そして暗い交互の領域からなるコントラストパターンを同様に生成する道路上の街路標示19が、歩行者5の影11に依存するコントラストパターン13から確実に識別され得る。なぜならば、コントラストパターンにおいて街路標示19により生成される暗いストライプの幅は、歩行者5のコントラストパターン13におけるストライプ14の幅より顕著に大きいからである。
更に、少なくとも1つのストライプ14、15と、カメラ6の検知軸23、すなわちカメラ軸との間の角度22が、ストライプ14、15のうちの少なくとも1つのストライプの配向を捕捉するように捕捉される。次いで、少なくとも1つのストライプ14の配向が、検知軸23から、所定の角度よりも小さな角度だけ逸脱している場合、すなわち、捕捉された角度22が所定の角度を越えない場合、物体3は歩行者5として識別される。ここで、検知軸23は、前側カメラ6の捕捉領域24の主軸であって、本例において自動車両1の車両長手方向に沿って延びる主軸に対応する。歩行者5が前側カメラ6の前方で車道を横断している場合、又は歩行者5が自動車両1の前方で、つまり前側カメラ6の前方で立っている場合、特にコントラストパターン13のストライプ14、15は、検知軸23に沿って延びる。したがって、特にストライプ14、15のうちの少なくとも1つのストライプがカメラ軸23に沿って延びている場合、すなわち、角度22が所定の角度としてほぼ0°である場合、物体3は歩行者5として識別される。とりわけ歩行者5又は自動車両1が移動していれば、ストライプ14、15のうちの少なくとも1つのストライプと検知軸23との間の角度22は、時間とともに変化し得る。このため、角度の変化に基づいて、及び自動車両1の捕捉された速度に基づいて、歩行者5が移動しているか静止しているかを捕捉することが可能となる。
更に、太陽Sからの光の光入射方向20を測定することが可能である。光入射方向20に基づいて、特性コントラストパターンが決定され得る。ここで、本発明は、地面12の投じられた物体3の影11は、光入射方向20に依存するという知見に基づいている。表現を変えれば、ストライプ14、15の配向は、光入射方向20に依存する。特に、光入射方向20は、太陽Sの太陽位置に依存する。例えば、運転者支援システム2は、雨/ライト/トンネルセンサ25、及び/又は太陽位置センサを有し得る。太陽位置センサは、太陽Sの太陽位置を測定することを目的として太陽Sの太陽位置、つまり光入射方向20を捕捉し得る。カメラ6によって捕捉された画像Bに基づいて、基本の輝度又は画像Bの輝度を捕捉するカメラ6それ自体によって、及び/又は画像処理装置10によって、光入射方向20を測定することが可能である。光入射方向20は、捕捉された輝度から測定され得る。また、例えば、自動車両1の位置における現在の時間又は時刻の現在の気象データを得るように、運転者支援システム2が、インターネットによる気象データベースを呼び出すように設計されることも想定され得る。光入射方向20は、このような気象データに基づいて、及び自動車両1の配向に基づいて、確実に測定され得る。例えば、自動車両1の位置及び配向が、自動車両1のGPS装置(図示せず)によって測定され得る。
また、歩行者5の位置Pが、少なくとも1つの画像Bにおいて捕捉され得るとともに、当該位置が、周囲領域4を呈示する周囲マップにプロットされ得る。運転者支援システム2の周囲領域4が、周囲マップにマッピングされ得る。具体的には、自動車両1からの捕捉された物体3の距離が保存され得る。図示しない少なくとも1つの別の画像において、歩行者5の位置Pを再度測定することが可能であり、当該位置が同様に周囲マップにプロットされ得る。したがって、歩行者5の位置Pを時間とともに捕捉することができる、すなわち歩行者5の移動プロファイルを捕捉することができる。これを用いて、例えば、歩行者5が移動している、例えば自動車両1の車道を横断しているか、又は歩行者5が静止しているかどうかを測定することが可能である。具体的には、歩行者5が立っている位置Pを捕捉することが可能であり、したがって、自動車両1に対する歩行者5の距離を測定することが可能である。したがって、例えば、運転者支援システム2は、運転者支援システム2によって自動車両1を緊急停止させる必要があるかどうかについて決定し得る。例えば、歩行者5が自動車両1の車道に立っている、又は車道上で移動しており、この車道上を移動している自動車両1と今にも衝突してしまうような場合に、自動車両1の緊急停止が必要である。歩行者5が自動車両1の車道に隣接する歩道に立っており、車道に沿って移動する自動車両1が歩行者5の脇を通り過ぎるような場合であれば、緊急停止は必要ない。
歩行者識別が特に確実に設計され得るように、少なくとも1つの画像Bにおけるコントラストパターン13だけでなく、物体3それ自体も捕捉することが可能である。捕捉された物体3に基づいて、例えば分類器によって、捕捉された物体3は歩行者5として識別され得る。例えば、捕捉された物体3は、保存されたテンプレートとの比較に基づいて歩行者5として識別され得る。同様に、画像Bのピクセルパターンに基づいて、捕捉された物体3それ自体が歩行者5として識別され得る。コントラストパターン13に基づいて、及び物体3それ自体に基づいて物体3が歩行者として識別された場合のみ、歩行者識別は成功として評価され、捕捉された物体3は歩行者5として確認される。捕捉された物体3が、コントラストパターン13に基づいて、しかし物体3それ自体には基づかずに歩行者5として識別されたのみである場合、捕捉されたコントラストパターン13は、街路標示19によって生成された可能性があると考えられ得る。捕捉された物体3が、コントラストパターン13には基づかずに物体3それ自体のみに基づいて、歩行者5として識別された場合、捕捉された物体3は、例えば木等の他の物体である可能性があると考えられ得る。
特に、ここで、物体3それ自体に基づく識別処理と、コントラストパターン13に基づく識別処理を同一の画像Bにおいて実施することが想定され得る。つまり、画像Bが少なくとも1つの車両側カメラ6によって記録され得る。当該画像は、物体3を識別することを目的として画像処理装置10に提供される。更に、これらの処理は、少なくとも時々同時に実施され得る。つまり、画像処理装置10は、物体3それ自体に基づく識別処理と、コントラストパターン13に基づく識別処理を、画像Bによって、並行して実施し得る。したがって、本方法は非常に迅速に設計される。
また、物体3の道路12上の投影が、物体3それ自体と、影11、又はコントラストパターン13とがプロットされた周囲マップにおいて測定され得る。物体3の地面12上の影が、画像処理装置10により、特に現在の光入射方向20に依存して測定される物体3の地面12上の投影を用いて人工的に又は仮想的に生成され得る。物体3の投影及びコントラストパターン13、すなわち仮想的に生成された影と物体3の捕捉された影11とが少なくともある領域で重なり合う場合、物体3は歩行者5として識別される。

Claims (13)

  1. 自動車両(1)の周囲領域(4)内の物体(3)を歩行者(5)として識別する方法であって、前記周囲領域(4)が、少なくとも1つの車両側カメラ(6)によって複数の画像(B)において捕捉される方法において、
    前記物体(3)から前記周囲領域(4)の地面(12)に投じられる影(11)と、前記地面(12)に形成されるとともに前記影(11)に依存するコントラストパターン(13)が、捕捉された複数の前記画像(B)のうちの少なくとも1つの画像において検知され、
    形成された前記コントラストパターン(13)と、歩行者(5)を特性付ける所定のコントラストパターンとの比較に基づいて、前記物体(3)が識別される、
    ことを特徴とする方法。
  2. 互いに対して実質的に平行に延びる2つの暗いストライプ(14)と、それらの間に存在するより明るいストライプ(15)とが、前記物体(3)の前記影(11)に依存する前記コントラストパターン(13)における前記所定のコントラストパターンとして検知される場合、前記物体(3)は歩行者(5)として識別される、
    ことを特徴とする請求項1に記載の方法。
  3. 前記ストライプ(14、15)のうちの少なくとも1つのストライプの配向が、前記カメラ(6)の検知軸(23)から、所定の角度よりも小さい角度だけ逸脱しているものとして捕捉される場合、前記物体(3)は歩行者(5)として識別される、
    ことを特徴とする請求項2に記載の方法。
  4. 前記ストライプ(14、15)の各長さ(18)及び/又は各幅(17)が捕捉され、
    前記各長さ(18)及び/又は他の各幅(17)が、前記特定のコントラストパターンについて予め定められた長さ及び/又は幅から、特定の値よりも小さい値だけ逸脱しているものとして捕捉される場合、前記物体(3)は歩行者(5)として識別される、
    ことを特徴とする請求項2又は3に記載の方法。
  5. 太陽光の現在の光入射方向(20)が前記自動車両(1)に対して測定され、
    前記所定のコントラストパターンは、測定された前記光入射方向(20)に依存して決定される、
    ことを特徴とする請求項1乃至4のいずれか一項に記載の方法。
  6. 前記少なくとも1つの画像(B)に基づいて、歩行者(5)として識別された物体(3)の位置(P)が、前記周囲領域(4)を呈示する周囲マップにおいて測定され、
    前記物体(3)の前記影(11)、及び、前記歩行者(5)を追跡することを目的として少なくとも1つの別の画像において形成される前記コントラストパターン(13)に基づいて、前記物体(3)は歩行者(5)として識別され、
    前記物体(3)の別の位置が、前記周囲マップにおいて、前記少なくとも1つの別の画像に基づいて測定される、
    ことを特徴とする請求項1乃至5のいずれか一項に記載の方法。
  7. 前記物体(3)それ自体が、複数の前記画像(B)のうちの少なくとも1つの画像において更に検知され、
    複数の前記画像(B)のうちの少なくとも1つの画像において検知された前記物体(3)に基づいて、及び複数の前記画像(B)のうちの少なくとも1つの画像において識別された前記コントラストパターン(13)に基づいて、前記画像(3)が歩行者(5)として識別された場合のみ、前記物体(3)は歩行者(5)として識別され確認される、
    ことを特徴とする請求項1乃至6のいずれか一項に記載の方法。
  8. 前記物体(3)それ自体及び前記コントラストパターン(13)は、前記少なくとも1つのカメラ(6)によって捕捉された同一の画像(B)において検知され、
    前記同一の画像(B)に基づいて、前記物体(3)は歩行者(5)として識別される、
    ことを特徴とする請求項7に記載の方法。
  9. 識別された前記物体(3)に基づいて前記物体(3)を歩行者(5)として識別する処理と、検知された前記コントラストパターン(13)に基づいて前記物体(3)を歩行者(5)として識別する処理とが、少なくとも時々同時に実施される、
    ことを特徴とする請求項7又は8に記載の方法。
  10. 検知された前記物体(3)の位置(P)、及び検知された前記コントラストパターン(13)の位置が、周囲マップにおいて測定され、
    検知された前記物体(3)及び前記コントラストパターン(13)が、前記周囲マップにプロットされる、
    ことを特徴とする請求項7乃至9のいずれか一項に記載の方法。
  11. 検知された前記物体(3)の前記地面(12)上の投影が、前記周囲マップにおいて測定され、
    前記物体(3)の前記投影と、前記周囲マップにプロットされた前記物体(3)の前記コントラストパターン(13)とが、少なくとも所定の重なり領域において重なり合う場合、前記物体(3)は歩行者(5)として識別される、
    ことを特徴とする請求項10に記載の方法。
  12. 自動車両(1)の周囲領域(4)内の物体(3)を歩行者(5)として識別する運転者支援システム(2)であって、前記周囲領域(4)を複数の画像(B)において捕捉するための少なくとも1つの車両側カメラ(6)を有する運転者支援システムにおいて、
    前記運転者支援システム(2)の画像処理装置(10)は、前記周囲領域(4)における地面(12)上に前記物体(3)から投じられる影(11)と、捕捉された複数の前記画像(B)のうちの少なくとも1つの画像において前記地面(12)に形成されるとともに前記影(11)に依存するコントラストパターン(13)とを検知し、形成された前記コントラストパターン(13)と歩行者(5)を特性付ける所定のコントラストパターンとの比較に基づいて、前記物体(3)を識別するように構成される、
    運転者支援システム(2)。
  13. 請求項12に記載の運転者支援システム(2)を有する自動車両(1)。
JP2018531632A 2015-12-16 2016-12-16 自動車両の周囲領域内の物体を識別する方法、運転者支援システム、及び自動車両 Active JP6698163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015121952.2A DE102015121952A1 (de) 2015-12-16 2015-12-16 Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015121952.2 2015-12-16
PCT/EP2016/081409 WO2017103096A1 (de) 2015-12-16 2016-12-16 Verfahren zum identifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2019500695A true JP2019500695A (ja) 2019-01-10
JP6698163B2 JP6698163B2 (ja) 2020-05-27

Family

ID=57590515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531632A Active JP6698163B2 (ja) 2015-12-16 2016-12-16 自動車両の周囲領域内の物体を識別する方法、運転者支援システム、及び自動車両

Country Status (6)

Country Link
US (1) US10635896B2 (ja)
EP (1) EP3391282A1 (ja)
JP (1) JP6698163B2 (ja)
CN (1) CN108496176B (ja)
DE (1) DE102015121952A1 (ja)
WO (1) WO2017103096A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200574B4 (de) * 2017-01-16 2019-12-12 Robert Bosch Gmbh Verfahren zum Überwachen eines Umfelds eines Fahrzeugs
DE102017206974A1 (de) * 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers
DE102017010731A1 (de) 2017-11-20 2018-05-30 Daimler Ag Verfahren zur Erfassung eines Objektes
US20190164309A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Method of detecting shooting direction and apparatuses performing the same
DE102018203242A1 (de) 2018-03-05 2019-09-05 Robert Bosch Gmbh Messung von Fahrzeugabmessungen aus einem Schattenwurf
KR20210136567A (ko) * 2020-05-08 2021-11-17 현대자동차주식회사 차량의 커뮤니케이션 조명 시스템
DE102020206829A1 (de) 2020-06-02 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Bestimmung der Höhe von Pflanzen und Computerprogrammprodukt
US11900695B2 (en) 2021-03-04 2024-02-13 Nec Corporation Of America Marking and detecting road marks
US11881033B2 (en) * 2021-03-04 2024-01-23 Nec Corporation Of America Reliable visual markers based on multispectral characteristics
DE102021213881A1 (de) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
GB2621822A (en) * 2022-08-17 2024-02-28 Skystrm Ltd Monitoring system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2013115738A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 車両周辺撮影装置および車両周辺画像の処理方法
JP2015041222A (ja) * 2013-08-21 2015-03-02 株式会社デンソー 衝突緩和装置
JP2015075916A (ja) * 2013-10-09 2015-04-20 アイシン精機株式会社 顔検出装置、方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
DE10160719B4 (de) * 2001-12-11 2011-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
CN101149794A (zh) * 2007-10-16 2008-03-26 王海燕 基于视频的车辆检测跟踪及系统
DE102008062915B4 (de) * 2008-12-23 2019-10-24 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
JP2013532858A (ja) * 2010-07-17 2013-08-19 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 自動車の側面に隣接する側面域に存在する障害物について自動車の運転者に警告する方法、および運転者支援システムを備える自動車
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
US10081308B2 (en) * 2011-07-08 2018-09-25 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US9460354B2 (en) 2012-11-09 2016-10-04 Analog Devices Global Object detection
EP3007149B1 (en) * 2013-05-31 2021-01-20 Toyota Jidosha Kabushiki Kaisha Driving assistance device for vehicles and onboard computer
CN103325255B (zh) * 2013-06-29 2016-01-20 佘若凡 基于摄影测量技术进行区域交通状况检测的方法
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2013115738A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 車両周辺撮影装置および車両周辺画像の処理方法
JP2015041222A (ja) * 2013-08-21 2015-03-02 株式会社デンソー 衝突緩和装置
JP2015075916A (ja) * 2013-10-09 2015-04-20 アイシン精機株式会社 顔検出装置、方法およびプログラム

Also Published As

Publication number Publication date
JP6698163B2 (ja) 2020-05-27
CN108496176A (zh) 2018-09-04
US10635896B2 (en) 2020-04-28
CN108496176B (zh) 2021-12-31
US20190012537A1 (en) 2019-01-10
DE102015121952A1 (de) 2017-06-22
WO2017103096A1 (de) 2017-06-22
EP3391282A1 (de) 2018-10-24

Similar Documents

Publication Publication Date Title
JP6698163B2 (ja) 自動車両の周囲領域内の物体を識別する方法、運転者支援システム、及び自動車両
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
JP6465317B2 (ja) 画像表示装置
JP5892876B2 (ja) 車載用環境認識装置
JP6661748B2 (ja) 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両
JP5774481B2 (ja) カメラを持つ車両の前照灯の調節不良検出方法
CN102881186B (zh) 车辆用外界识别装置及使用了该装置的车辆控制系统
WO2017014023A1 (ja) 車載環境認識装置
CN113284366A (zh) 车辆盲区预警方法、预警装置、mec平台和存储介质
EP1671216A2 (en) Moving object detection using low illumination depth capable computer vision
US20200290623A1 (en) Recognition processing apparatus, recognition processing method, and recognition processing program
US20140362222A1 (en) Dynamic zone stabilization and motion compensation in a traffic management apparatus and system
JP2019020956A (ja) 車両周囲認識装置
JP2007058805A (ja) 前方環境認識装置
KR102185100B1 (ko) 횡단보도 보행자 안전관리 시스템 및 그 방법
CN106289280A (zh) 目标检测装置
KR101511586B1 (ko) 터널 인식에 의한 차량 제어장치 및 제어방법
US20200034641A1 (en) Method for classifying a traffic sign, or road sign, in an environment region of a motor vehicle, computational apparatus, driver assistance system and motor vehicle
JP2009230599A (ja) 冬用タイヤ装着車の自動識別装置
TW201911260A (zh) 汽車警示方法及電子裝置
Chiu et al. An embedded real-time vision system for 24-hour indoor/outdoor car-counting applications
JP2004348645A (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JPWO2020129517A1 (ja) 画像処理装置
JP2007076378A (ja) 車両用照明装置および照明方法
KR102489209B1 (ko) 차량제어장치 및 차량제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200427

R150 Certificate of patent or registration of utility model

Ref document number: 6698163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250