JP2020135321A - 運転支援システム及びサーバ装置 - Google Patents

運転支援システム及びサーバ装置 Download PDF

Info

Publication number
JP2020135321A
JP2020135321A JP2019026866A JP2019026866A JP2020135321A JP 2020135321 A JP2020135321 A JP 2020135321A JP 2019026866 A JP2019026866 A JP 2019026866A JP 2019026866 A JP2019026866 A JP 2019026866A JP 2020135321 A JP2020135321 A JP 2020135321A
Authority
JP
Japan
Prior art keywords
vehicle
traffic light
position information
driver
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019026866A
Other languages
English (en)
Other versions
JP7205695B2 (ja
Inventor
義博 大栄
Yoshihiro Daiei
義博 大栄
神丸 博文
Hirofumi Kamimaru
博文 神丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019026866A priority Critical patent/JP7205695B2/ja
Priority to US16/706,898 priority patent/US11508161B2/en
Priority to CN201911288803.0A priority patent/CN111583697B/zh
Publication of JP2020135321A publication Critical patent/JP2020135321A/ja
Application granted granted Critical
Publication of JP7205695B2 publication Critical patent/JP7205695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/25Data precision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Abstract

【課題】本来視認できるはずの信号機が視認できないことを精度良く運転者等に通知することが可能となる運転支援システム及びサーバ装置を提供すること。
【解決手段】車両100Aの運転者が信号機Sを視認できる視認位置情報を取得する取得手段と、車両100Aの前方映像を取得する手段と、前方映像に含まれる信号機Sを認識する信号機認識手段と、視認位置情報に基づく位置に車両100Aが存在するときに、前方映像から信号機Sが認識されない場合は、運転者に対し警告を通知する手段と、を備える運転支援システム。
【選択図】図4

Description

本発明は、運転支援システム及びサーバ装置に関する。
特許文献1には、運転者の負担なく車線変更を実行するための運転支援システムが記載されている。具体的には、仮に車線変更した場合の自車両の状況を事前に予測し、信号機の高さや前方車両の大きさ等に基づいて信号機の視認が困難と判断される場合には、運転者に注意喚起して車線変更の中止を促す技術が示されている。
特開2018−5827号公報
しかしながら、信号機の高さのみに基づいて視認可能性を算出しても、必ずしも、精度の高い予測をすることができない。例えば立体的な道路を走行する場合、同じ高さの信号機であっても、走行位置に応じて信号機の視認性が大きく変化する。
また、信号機の視認が困難となるのは、車線変更時だけに限られない。山間部など道路が曲がりくねっている場合や高低差がある場合、又は、一時的に前方に大型車両が走行している場合や配電線等の工事がされている場合などにも前方の視界が不良となって信号機の視認が困難となるおそれがある。
そこで本発明は、信号機が視認できる位置を精度良く把握することが可能となり、本来視認できるはずの信号機が視認できないことを精度良く運転者等に通知することが可能となる運転支援システム及びサーバ装置を提供することを目的とする。
本開示は、運転支援システムに関する。この運転支援システムは、車両の運転者が信号機を視認できる視認位置情報を取得する取得手段と、車両の前方映像を取得する手段と、前方映像に含まれる信号機を認識する信号機認識手段と、視認位置情報に基づく位置に車両が存在するときに、前方映像から信号機が認識されない場合は、運転者に対し警告を通知する手段を備える。
車両が進行する予定の経路情報を外部に出力するための出力手段と、経路情報で示される経路上における視認位置情報を複数の信号機について取得する第2取得手段を更に備えても良い。また、信号機認識手段によって信号機が認識された車両の位置情報を外部に出力するための第2出力手段を更に備えてもよい。また、信号機に替えて道路標識を対象に本発明を適用させてもよい。
ここで、視認位置情報としては、信号機が視認可能となる位置を示す緯度情報及び経度情報であってよいが、所定の交差点などを基準とする相対的な位置情報であってもよい。また、現在の車両位置が信号機を視認可能位置であることを示す情報であってもよい。この場合、受信する情報そのものは、1ビットの情報であってもよい。運転支援システムは、この情報を受信すると、その時の車両の位置情報を信号機を視認できる位置として取得することができる。
更に、本開示は、サーバ装置を含む。このサーバ装置は、複数の車両に対し、車両の運転者が信号機を視認できる視認位置情報をそれぞれ取得させる手段と、複数の車両から、信号機を認識したときの車両の位置情報をそれぞれ受信する手段を備える。
具体的には、サーバ装置は、複数の車両に対して視認位置情報を送信してもよい。なお、車両の車種情報を取得し、車種に応じて補正された視認位置情報を当該車両に対して送信してもよい。また、サーバ装置は、複数の車両からそれぞれ受信した複数の車両の位置情報に基づいて、視認位置情報を算出してもよい。なお、サーバ装置は、所定の信号機に対応付けて信号機付近の路面下等に設置されてもよい。従って、複数の信号機に対し、それぞれ、サーバ装置が設置されるように構成されてもよい。この場合、車両とサーバ装置との間で路車間通信によって情報の送受信が実行されてもよい。
車両100の概略的なハードウェア構成を示すブロック図 サーバ装置200とこれと通信可能な複数の車両100の模式図 本実施形態に係る運転支援方法を示すフローチャート 視認位置情報を説明するための概念図 前方映像の模式図 第2実施形態に係る運転支援方法を示すフローチャート
以下、本発明の実施形態について図面を用いて説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。
図1は、車両100の概略的なハードウェア構成を示すブロック図である。図2は、複数の車両100とネットワークNを介して接続されるサーバ装置200を備えるシステムを示している。なお、特定の車両100について言及するときは、車両100A、車両100Bなどと呼称し、総称するときは単に車両100と呼称する。
図1に示されるように、車両100は、制御装置110と、この制御装置110とバス等で相互に接続される通信装置120、センサ装置130、レーダ装置140、カメラ装置150、ナビゲーション装置160、駆動装置170及び入出力装置180を示している。
制御装置110は、これに接続される各装置から所定の信号を受信し、演算処理等を行い、各装置を駆動するための制御信号を出力する。制御装置110は、プロセッサ110Aとメモリ110Bを備えている。制御装置110は、メモリ110Bに記録されているコンピュータプログラムをプロセッサ110Aが実行することにより、本実施形態に係る運転支援システムとして機能することができる。
プロセッサ110Aは、メモリ110Bに記憶されるファームウェア等のコンピュータプログラムに従って所定の演算処理を実行する。プロセッサ110Aは、一又は複数の中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などで実現される。
メモリ110Bは、MRAM、NANDフラッシュメモリ、NORフラッシュメモリ又はSSD、ハードディスクドライブ等の不揮発性メモリと、SRAM又はDRAM等の揮発性メモリを備えている。不揮発性メモリには、本開示のフローチャートその他で示される各種演算処理を実行するためのコンピュータプログラムや地図データその他本開示で必要となる各種データが記憶されている。不揮発性メモリは、一時的でない有形の媒体に相当する。揮発性メモリは、不揮発性メモリからロードしたコンピュータプログラムや、プロセッサ110Aがコンピュータプログラムを実行している間に生成される各種データを一時的に格納する作業領域を提供する。なお、不揮発性メモリは、通信装置120から取得したコンピュータプログラムやデータを格納してもよい。
通信装置120は、サーバ装置200等の外部機器と情報を送受信するための手段を備えており、例えば、WiFi(IEEEによって策定された802.11規格に基づく無線通信方式)等の一又は複数の通信手段を備えている。外部機器は、他の車両100であってもよいし、道路の路面下や電柱、建築物等に設置されているインフラ設備であってもよい。更に通信装置120は、GPS信号を受信し、車両100の位置情報を制御装置110に出力する。
センサ装置130は、車両100の挙動を検出するためのセンサであり、車両の車速を検出するロータリーエンコーダと、車両の傾きを検出するためのジャイロセンサを備えている。また、道路に埋設されているマーカその他を検出するための磁気センサ等を備えていてもよい。レーダ装置140は、歩行者等との衝突を回避するためのミリ波レーダを含むLiDARの測距システムを備えている。カメラ装置150は、車両100の前方及び後方の画像を撮像するための、CCDやCMOSイメージセンサなどの撮像素子を備える複数台のカメラを備えている。制御装置110は、これらセンサ装置130、レーダ装置140及びカメラ装置150が取得した信号を受信し、それらに基づいた制御信号を装置に出力することができる。例えば、カメラ装置150が撮像した撮像信号を取得して画像認識を実行し、撮像された画像内に含まれる障害物等を認識し、それに従って例えば駆動装置170に車両100を停止させるための制御信号を出力することができる。但し、カメラ装置150内に画像認識等を可能とするGPUなど画像処理用の半導体ICを搭載し、カメラ装置150のカメラ等で撮像された画像に基づいて車両100が走行すべきレーンや歩行者等の障害物を認識し、制御装置110に出力するように構成してもよい。
ナビゲーション装置160は、運転者等からの入力に基づいて所定の目的地までの経路を計算し、案内する。ナビゲーション装置160は、不図示の不揮発性メモリを備え、この不揮発性メモリに地図データを格納してもよいし、メモリ110Bに格納されている地図データを取得してもよいし、通信装置120から地図データを取得してもよい。地図データは、道路種別の情報や、道路標識、信号機などに関する情報が含まれる。また、地図データは、施設、住所、道路の交差点等のノードと呼ばれる特定地点の位置情報と、リンクと呼ばれるノード間を接続する道路に相当する情報を含んでいる。位置情報は、例えば、緯度、経度、高度によって示される。
また、経路を計算するためのプロセッサは、ナビゲーション装置160に搭載してもよいが、プロセッサ110Aに実行させてもよい。また、車両100の現在位置情報は、通信装置120が受信したGPS信号に基づいて得られる位置情報を制御装置110から取得するように構成してもよいし、ナビゲーション装置160自身がGPS信号を受信してもよい。なおナビゲーション装置160は、運転者等が保有する情報処理端末から構成してもよい。この場合、情報処理端末と車両100を通信装置120のBluetooth(登録商標)機器等と接続し、経路を案内するための経路案内情報等を車両100の入出力装置180から出力させてもよい。
駆動装置170は、車両100のエンジン、ブレーキ、ハンドル操作のためのモータその他のアクチュエータを備え、制御装置110から受信する制御信号に基づいて動作する。なお、車両100は、運転者等によるアクセルペダル、ブレーキペダル、ハンドル等の操作に基づいて制御装置が制御信号を駆動装置170等に出力するように構成してもよいが、レーダ装置140やカメラ装置150等から取得する信号に基づいて制御装置110が自律的に運転するための制御信号を駆動装置170等に出力する自動運転機能が備わっていてもよい。また、車両100は、バッテリーと電動モータを備える電気自動車でもよい。
入出力装置180は、車両100に運転者等が情報を入力するためのタッチパネルやマイクロホンなどの入力装置と音声認識処理ソフトウェアを備え、運転者のタッチパネルの押圧操作又は運転者の発声に基づいて車両100を制御するために必要な情報を入力できるように構成されている。また、画像情報を出力するための液晶ディスプレイ、HUDその他のディスプレイや、音声情報を出力するための一又は複数のスピーカなどの出力装置を備えている。
図2は、本実施形態に係るサーバ装置200と、これに通信ネットワークNを介して接続される多数の車両100A〜車両100Nを示している。サーバ装置200は、プロセッサ200Aと、メモリ200Bを備えている。但し、これらの構成は、プロセッサ110Aと、メモリ110Bと同様の構成から実現できるので、詳細な説明は省略する。また、メモリ200Bには、本開示に示されるサーバ装置200により実行される各種演算処理を実行するためのコンピュータプログラムが格納されている。
図2において、各車両100は、本実施形態に係る運転支援システムを搭載している。通信ネットワークNは、例えば、インターネット、LAN、移動体通信網、ブルートゥース(登録商標)、WiFi(Wireless Fidelity)、その他の通信回線、それらの組み合わせなどのいずれであってもよい。なお、サーバ装置200の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。加えて、制御装置110における処理の少なくとも一部を、サーバ装置200により実行する構成としてもよい。
以下、図3を用いて本実施形態に係る運転支援方法について説明する。
車両100のナビゲーション装置160は、所定のスタート地点から所定のゴール地点まで至る経路を計算し、決定する(ステップS301)。スタート地点は、運転者等が入出力装置180を用いて入力してもよいし、通信装置120が受信するGPS信号に基づいて車両100の現在位置をスタート地点として設定してもよい。ナビゲーション装置160は、スタート地点からゴール地点に至る複数の経路候補を計算して運転者等に提示し、運転者等に経路を決定させてもよい。
経路が決定すると、制御装置110は、通信装置120を用いてサーバ装置200に経路情報を出力する(ステップS302)。経路情報は、出発地から目的地に至るノードを接続する複数のリンクの情報を含んでいる。
次いでサーバ装置200のプロセッサ200Aは、車両100より経路情報を受信する(ステップS303)。サーバ装置200のプロセッサ200Aは、車両100の経路上に存在する複数の信号機(道路における車両の進行許可、停止支持などの信号を示す装置)について、その経路上に存在する信号機が視認できる位置を示す視認位置情報をメモリ200Bから読み出す(ステップS304)。予めサーバ装置200のプロセッサ200Aは、メモリ200Bの不揮発性メモリに、信号機ごとに、かつ、その信号機に至る経路ごとに、視認位置情報を記憶させている。なお、プロセッサ200Aとメモリ200Bは、必ずしも同じ位置に設置される必要はない。例えば、経路付近の地域に設けられているメモリ200Bからプロセッサ200Aが視認位置情報を読み出してもよい。また、メモリ200Bは複数に分散されていてもよい。
図4は、サーバ装置200のメモリ200Bによって記憶されている視認位置情報を説明するための概念図である。例えば、3つの経路R1乃至R3が交差する交差点に信号機Sが設置されているときに、経路R1から交差点に向かって車両100Aが移動する場合、信号機Sを視認できるのは、交差点に相当するノードから距離D1離れた位置P1である。また、経路R2から交差点に向かって車両100Aが移動する場合、信号機Sを視認できるのは、交差点から距離D2離れた位置P2である。経路R3から交差点に向かって車両100Aが移動する場合、信号機Sを視認できるのは、交差点から距離D3離れた位置P3である。このように同じ交差点に存在する信号機Sであっても、進行する経路によって信号機が視認できる位置は異なる場合がある。例えば、位置P2から信号機Sが存在する交差点に至る経路が下り坂の場合は、そうでない場合と比較して距離D2が大きくなる。一方で、位置P1から同じ交差点に至る経路が上り坂の場合は、そうでない場合と比較して距離D1が小さくなる。また、経路R3上に電車等が通過する陸橋がある場合は、陸橋をくぐらないと信号機Sが視認できない場合がある。そのような場合、距離D3は極めて小さくなることもある。なお、信号機Sは、その経路を進行する車両100が視認すべき信号機のことをいう。このため、進行する経路によって、同じ交差点であっても、視認すべき信号機は異なる場合がある。
サーバ装置200のプロセッサ200Aは、車両100Aから受信する経路情報に基づいて車両100Aが経路R1乃至経路R3のうち、例えば、経路R1から信号機Sが設置される交差点に近づくと判断することができる。従ってサーバ装置200のプロセッサ200Aは、車両100Aに対し、信号機Sが視認できる位置を示す視認位置情報として、位置P1の緯度及び経度情報を含む情報を送信することができる。なお、視認位置情報は、位置P1の緯度及び経度情報などの位置P1の位置を示す情報だけに限られるものではない。例えば、位置P1と交差点のノードとの間に含まれる一又は複数のリンクを示す情報を視認位置情報として送信してもよい。また、交差点のノードを基準とする距離D1を示す情報を視認位置情報として送信してもよい。
このようにしてサーバ装置200のプロセッサ200Aは、車両100Aが通過する複数の信号機に対応する複数の視認位置情報を車両100Aに送信する。制御装置110は、通信装置120にサーバ装置200から経路上の複数の信号機に対応する複数の視認位置情報を受信させ(ステップS305)、メモリ110Bに記録する。
その後、車両100Aは走行を開始する。走行中、カメラ装置150は、車両100Aの前方の映像を所定周期で撮像し、制御装置110に出力する。制御装置110は、受信した前方の映像から画像認識等の技術を用いて信号機を認識する。従って、車両100Aの制御装置110は、所定周期で前方の映像に基づいて信号機の有無を判断するステップを繰り返し実行することができる。なお、信号機の他、歩行者等や障害物などの有無も同様に認識し、必要に応じて、駆動装置170に対し制御信号を出力することができる。例えば、カメラ装置150により撮像された前方映像に基づいて制御装置110が車両前方に歩行者がいると認識した場合、制御装置110は、車両100Aを急停止させるための制御信号を駆動装置170に出力することができる。なお、カメラ装置150は、前方映像として動画を取得してもよい。また、カメラ装置150に画像認識用のGPU等を備えさせ、カメラ装置150により信号機等を認識させるように構成してもよい。また、車両100Aは、常に信号機等を認識しなくてもよく、所定の場合のみ信号機等を認識するように構成してもよい。
車両100Aの走行中に制御装置110は、車両100Aが視認可能位置にいるか周期的に判断するように構成されている(ステップS306)。視認位置情報として、視認が可能となる位置の緯度及び経度情報を受信している場合は、当該位置と対応する交差点のノード又は交差点のノードに十分近い位置(例えば、数メートル手前)との間に車両100Aが存在する場合、車両100Aは視認可能位置にいると判断される。視認位置情報としてリンク情報を受信している場合、そのリンク上を車両100Aが走行しているか否かという基準で、制御装置110は、車両100Aが視認可能位置にいるか判断する。
ステップS306において車両100Aが視認可能位置に存在すると判断された場合、制御装置110は、前方映像から信号機が認識されたか否か判断する(ステップS307)。
図5A及び図5Bは、カメラ装置150により撮像される車両100Aの前方映像を模式的に示した図である。図5Aに示されるように前方に他の車両等が存在しない場合は、運転者は、信号機Sや停止線Lを視認することができる。同様に制御装置110は、前方映像より信号機Sや停止線Lを認識することができる。一方で図5Bに示されるように車両100Aの前方に大型車両が存在する場合、大型車両によって視界が遮られるため、運転者も制御装置110も、前方映像より信号機Sや停止線Lを認識することができない。このため、運転者は、信号機Sが前方に存在するにもかかわらず信号機Sの存在を認識していない、という状態に陥ってしまう。このような状態で、例えば、信号機Sが黄信号から赤信号に変化し、かつ、大型車両がぎりぎりのタイミングで交差点を抜ける場合、車両100Aの運転者は、信号機Sが赤に変化しつつあるにもかかわらず、大型車両につられて交差点を抜けようと試みる可能性がある。
しかしながら、本実施形態に係る運転支援システムを搭載した車両100Aに係る制御装置110は、信号機を視認できる位置に車両100Aが存在するにもかかわらず、前方映像から信号機が認識されない場合に、入出力装置180に運転者等に対し信号機が存在する旨の警告をするための制御信号を出力するように構成されている(ステップS308)。傾向として、具体的には、入出力装置180に「信号機があります。ご注意ください。」といった信号機が存在する旨の音声出力をさせてもよい。あるいは、信号機が存在する旨のテキスト又は信号機のイラストをHUDに表示させてもよい。または、単に注意を促すための警告音を出力させてもよい。
一方でステップS307において信号機が認識された場合、制御装置110は、サーバ装置200に対し信号機が認識された位置情報を送信する(ステップS309)。この場合、制御装置110は、入出力装置180に信号機が存在する旨の警告を通知させない。
サーバ装置200のプロセッサ200Aは、車両100Aより、その信号機が認識された位置情報を受信し(ステップS310)、メモリ200Bに記録する。サーバ装置200のプロセッサ200Aは、同様に、複数の車両100から所定の信号機が認識された位置を示す認識位置情報を受信し、これら複数の認識位置情報に基づいて、信号機視認位置情報を決定し、メモリ200Bに記録することができる。
ステップS308における警告通知後、又は、ステップS309における信号機が認識された位置を示す認識位置情報の送信後、車両100Aがその信号機Sを通過した後は、再度ステップS306に戻る。従って、次の信号機に近づいたときに、ステップS306以降の処理が繰り返される。
なお、ステップS307において、制御装置110により信号機が認識されたと判断された回数が所定回数以上又は所定時間以上である場合に、信号機が認識されたと判断するようにして、一瞬信号機が認識されたに過ぎない場合は、信号機が認識されなかったと判断するようにしてもよい。
また、制御装置110は、対象となる信号機から所定距離以下に近づいた場合にのみステップS306を実行するように構成してもよい。例えば、見晴らしの良い直線道路において200メートル先の信号機が視認できる場合がある。このような場合、制御装置110は、対象となる信号機から、例えば50メートル以下に近づいた場合に、ステップS306を実行するようにしてもよい。
このような構成とすることで、処理対象となる信号機を、安全に運転するために必要性が高い周辺の信号機に限定することが可能になる。
なお、上記構成に替えてステップS304において、信号機が視認できる位置が所定距離以上の信号機については、サーバ装置200が、視認委可能位置情報として、単に所定距離以上である旨、又は、十分に遠方から視認可能である旨の情報を送信するようにしてもよい。このような構成とすることで、サーバ装置200が記憶し、車両100に対し送信する情報の情報量を低減することが可能になる。
また、複数の信号機が視認可能な場合がある。例えば、見晴らしの良い直線道路において、近くの信号機と遠くの信号機の双方が視認可能な場合がある。このような場合、制御装置110は、近くの信号機のみをステップS307における判断対象とすることができる。具体的には、画像認識等により信号機の大きさ等を画素数等に基づいて判断し、遠方にある信号機を判断対象から除外することができる。このような構成を採用し、所定距離以下の信号機のみをステップS307における処理対象とすることによって、近くの信号機が前方の大型車両等や曲がりくねった道路であるために視認できないにもかかわらず、遠方の信号が認識されてしまうために警告が通知されなくなる可能性を低減することができる。
以上述べたような運転支援システムによれば、本来視認できるはずの信号機が視認されない場合に精度良く運転者等に通知することが可能になる。
また、サーバ装置200のプロセッサ200Aは、ステップS310において、実際に信号機が認識された車両100から認識された位置情報を受信するから、その位置情報に基づいて精度の高い信号機の視認位置情報を取得することができる。例えば、道路の高低差等を考慮した視認位置情報をサーバ装置200のプロセッサ200Aは取得することが可能となる。時間的に新しく取得された認識位置情報に基づいて視認位置情報を更新することによって、より精度の高い視認位置情報を取得することが可能になる。例えば、それまで信号機の視認を遮っていた建築物等が取り壊されて視認できるようになった地点を視認可能位置として取得することが可能になる。逆に新たに建設された建築物等により信号機の視認が妨げられる地点を誤って視認可能位置としないことも可能となるから、通知する警告の精度を高めることが可能になる。また、信号機が認識された場合には、その旨を通知しないことが好ましい。このようにすることによって通知の頻度が減るため、ステップS308における警告通知を運転者が軽視することを抑制できる。但し、例えば運転者等による設定により、認識された場合でも警告通知をするように構成することを妨げるものではない。
なお、サーバ装置200のプロセッサ200Aは、多数の車両100から取得した認識位置情報に基づいて統計的に精度が高い視認位置情報を取得することが好ましい。また、ステップS302及びS310において車両100の車種を示す識別情報を受信し、ステップS304において車種に応じて異なる視認位置情報を車両100に出力するようにしてもよい。例えば、ステップS310において受信する認識位置情報をその車両100の車種又は車高を示す情報と関連付けてメモリ200Bに記憶し、ステップS302において受信したその車両100の車種を示す識別情報に基づいて、その車種の車高に対応した認識位置情報をステップS304においてその車両100に対し送信するように構成してもよい。又、車高等を考慮して補正した視認位置情報を取得するようにしてもよい。例えば、図1の車両100Bに示される大型バスなどの場合、車高のみならず運転席なども、通常の乗用車と異なるため、サーバ装置200は、車両100Bと同車種の認識位置情報を車種と関連付けて記憶し、車両100Bに対し、同車種から取得した一又は複数の認識位置情報に基づいた視認位置情報を送信するようにしてもよい。但し当初は、運転者の目視等により信号機が目視できる位置を視認位置情報として取得するようにしてもよい。更に、運転者を撮影するためのカメラで運転者の視点の高さを算出し、視認可能位置を補正してもよい。
[第2実施形態]
第1実施形態では、車両100は、サーバ装置200から信号機が視認可能となる具体的な位置情報を受信した。しかしながら、以下に説明する第2実施形態のように、信号機を視認することができる領域内に車両100が進入したときに、サーバ装置200が車両100に対し、信号機が視認可能できる位置に進入したことを示す情報を出力するような構成を採用することもできる。なお、以下では第1実施形態と重複する部分については説明を省略又は簡略化する。また、第2実施形態で示される特有の処理を除き、同様の処理を実施する構成要素については同一の符号を付して詳細な説明を省略する。
第2実施形態において、サーバ装置200は、信号機S周辺の施設に設置されている。但し、信号機S周辺の路面下に埋設してもよい。サーバ装置200のプロセッサ200Aは、第1実施形態と同様、その信号機Sが存在する交差点を走行する車両100から信号機Sの認識位置情報を取得し、複数の認識位置情報に基づいて統計的に精度が高い視認位置情報を取得し、そのメモリ200Bに格納させている。
第2実施形態において、車両100は走行中に視認位置情報をサーバ装置200から取得するように構成されている。具体的には、走行開始後(ステップS601)に、所定の交差点に近づくと車両100は、直接又は間接的に、自らの位置情報をサーバ装置200に送信する(ステップS602)。サーバ装置200のプロセッサ200Aは、車両100の位置情報を受信すると(ステップS603)、メモリ200Bに格納されている視認位置情報を読み出して車両100から受信した位置情報と比較し、車両100が進行中の経路において車両100が視認可能位置に進入しているか否か判断する(ステップS604)。視認可能位置に車両100が進入したと判断した場合、サーバ装置200は、車両100に対し、信号機が視認可能できる位置に進入したことを示す情報を送信する(ステップS605)。この情報は、1ビットの情報であってもよい。
車両100の制御装置110は、サーバ装置200より情報を受信すると、自らが信号機を視認できる位置にいると判断し、前方映像から信号機が認識されたか否か判断する(ステップS607)。ステップS607乃至S610の各ステップは、ステップS307乃至310と同様であるため、詳細な説明を省略する。
以上述べたように、車両100とサーバ装置200間で所定の信号を受信したときに、車両100が信号機の視認可能位置にいると判断できるように予めプロトコルを設定することによっても、第1実施形態と同様に、本来視認できるはずの信号機が視認されない場合に精度良く運転者等に通知することが可能になる。
また、サーバ装置200から受信する情報量を低減することも可能になる。なお、サーバ装置200から、周辺に存在する複数の信号機についての信号機位置情報を受信するようにしてもよい。その場合に、第1実施形態と同様に車両100が自ら視認可能位置に存在するか判断するステップを実行するように構成してもよい。
なお、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。たとえば、当業者の通常の創作能力の範囲内で、ある実施形態や変形例における一部の構成要素を、他の実施形態に追加することができる。また、ある実施形態や変形例における一部の構成要素を、他の実施形態の対応する構成要素と置換することができる。
[変形例]
第1実施形態及び第2実施形態では、信号機を対象とした運転支援システムについて説明した。ただし、本発明は、信号機の替わりに道路標識に適用することも可能である。ここで、道路標識とは、道路の傍ら若しくは上空に設置され、利用者に必要な情報を提供する表示板のことである。このような道路標識であっても、信号機と同様に、その大きさや形状が規定されているため、制御装置110によって高精度に認識することができる。また、本来視認できるはずの信号機が視認できないことに伴う弊害が小さくない。例えば、信号機に加えて、高速道路等における案内先を示す道路標識に、本発明を提供することができる。
L 停止線
N 通信ネットワーク
S 信号機
100 車両
110 制御装置
110A プロセッサ
110B メモリ
120 通信装置
130 センサ装置
140 レーダ装置
150 カメラ装置
160 ナビゲーション装置
170 駆動装置
180 入出力装置
200 サーバ装置
200A プロセッサ
200B メモリ

Claims (7)

  1. 車両の運転者が信号機を視認できる視認位置情報を取得する取得手段と、
    前記車両の前方映像を取得する手段と、
    前記前方映像に含まれる信号機を認識する信号機認識手段と、
    前記視認位置情報に基づく位置に前記車両が存在するときに、前記前方映像から信号機が認識されない場合は、前記運転者に対し警告を通知する手段と、
    を備える運転支援システム。
  2. 前記車両が進行する予定の経路情報を外部に出力するための出力手段と、
    前記経路情報で示される経路上における前記視認位置情報を複数の信号機について取得する第2取得手段と、
    を更に備える請求項1に記載の運転支援システム。
  3. 前記信号機認識手段によって信号機が認識された前記車両の位置情報を外部に出力するための第2出力手段を更に備える請求項1又は2に記載の運転支援システム。
  4. 車両の運転者が道路標識を視認できる視認位置情報を取得する取得手段と、
    前記車両の前方映像を取得する手段と、
    前記前方映像に含まれる道路標識を認識する道路標識認識手段と、
    前記視認位置情報に基づく位置に前記車両が存在するときに、前記前方映像から前記道路標識が認識されない場合は、前記運転者に対し警告を通知する手段と、
    を備える運転支援システム。
  5. 複数の車両に対し、前記車両の運転者が信号機を視認できる視認位置情報をそれぞれ取得させる手段と、
    複数の車両から、前記信号機を認識したときの前記車両の位置情報をそれぞれ受信する手段と、
    を備えるサーバ装置。
  6. 複数の車両からそれぞれ受信した複数の前記車両の位置情報に基づいて、前記視認位置情報を算出する手段を更に備える請求項5に記載のサーバ装置。
  7. 前記車両の一つである第1車両に、前記信号機を視認できる第1の前記視認位置情報を取得させ、
    前記第1車両とは異なる種類の前記車両の一つである第2車両に、前記信号機を視認できる第2の前記視認位置情報を取得させるように構成される請求項5に記載のサーバ装置。
JP2019026866A 2019-02-18 2019-02-18 運転支援システム Active JP7205695B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019026866A JP7205695B2 (ja) 2019-02-18 2019-02-18 運転支援システム
US16/706,898 US11508161B2 (en) 2019-02-18 2019-12-09 Driving support system and server device
CN201911288803.0A CN111583697B (zh) 2019-02-18 2019-12-12 驾驶支持系统和服务器装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019026866A JP7205695B2 (ja) 2019-02-18 2019-02-18 運転支援システム

Publications (2)

Publication Number Publication Date
JP2020135321A true JP2020135321A (ja) 2020-08-31
JP7205695B2 JP7205695B2 (ja) 2023-01-17

Family

ID=72043222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019026866A Active JP7205695B2 (ja) 2019-02-18 2019-02-18 運転支援システム

Country Status (3)

Country Link
US (1) US11508161B2 (ja)
JP (1) JP7205695B2 (ja)
CN (1) CN111583697B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333289B (zh) * 2020-09-28 2023-12-22 沃尔沃汽车公司 车辆起步提醒设备、系统和方法
CN112270830B (zh) * 2020-10-15 2022-08-19 北京小马慧行科技有限公司 确定车辆停车位置的方法及装置、自动驾驶车辆
CN113034946B (zh) * 2021-02-26 2022-04-01 广汽本田汽车有限公司 一种车辆移动控制系统
CN115083205A (zh) * 2022-04-27 2022-09-20 一汽奔腾轿车有限公司 一种具备识别红绿灯功能的aeb

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108175A (ja) * 2009-11-20 2011-06-02 Alpine Electronics Inc 運転支援装置、運転支援方法および運転支援プログラム
WO2011108052A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 道路状況管理システム及び道路状況管理方法
JP2015146076A (ja) * 2014-01-31 2015-08-13 キヤノンマーケティングジャパン株式会社 ナビゲーションシステムと、その処理方法及びプログラム
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892356B1 (en) * 2003-06-19 2014-11-18 Here Global B.V. Method and system for representing traffic signals in a road network database
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP5729176B2 (ja) * 2011-07-01 2015-06-03 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
KR20190097326A (ko) * 2015-07-13 2019-08-20 닛산 지도우샤 가부시키가이샤 신호기 인식 장치 및 신호기 인식 방법
CN105185140B (zh) * 2015-09-30 2018-07-06 上海修源网络科技有限公司 一种辅助驾驶方法和系统
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
JP2018005827A (ja) 2016-07-08 2018-01-11 株式会社デンソーテン 車線変更支援装置および車線変更支援方法
JP6971020B2 (ja) * 2016-11-14 2021-11-24 株式会社日立製作所 異常検出装置および異常検出方法
CN107316488B (zh) * 2017-08-23 2021-01-12 苏州豪米波技术有限公司 信号灯的识别方法、装置和系统
US10381212B1 (en) * 2018-02-08 2019-08-13 Shimadzu Corporation Time-of-flight mass spectrometer
US20190282004A1 (en) * 2018-03-16 2019-09-19 E & E Co., Ltd. Comforter divided into sections with differentiated properties

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108175A (ja) * 2009-11-20 2011-06-02 Alpine Electronics Inc 運転支援装置、運転支援方法および運転支援プログラム
WO2011108052A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 道路状況管理システム及び道路状況管理方法
JP2015146076A (ja) * 2014-01-31 2015-08-13 キヤノンマーケティングジャパン株式会社 ナビゲーションシステムと、その処理方法及びプログラム
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ

Also Published As

Publication number Publication date
US20200265250A1 (en) 2020-08-20
US11508161B2 (en) 2022-11-22
JP7205695B2 (ja) 2023-01-17
CN111583697B (zh) 2022-08-05
CN111583697A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US11269352B2 (en) System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS)
JP6630267B2 (ja) 車両制御装置
JP6819788B2 (ja) 走行支援方法及び走行支援装置
JP7205695B2 (ja) 運転支援システム
US20180033300A1 (en) Navigation system with dynamic mapping mechanism and method of operation thereof
JPWO2019069868A1 (ja) 判定装置及び判定方法並びに判定用プログラム
CN111149140B (zh) 驾驶辅助方法及驾驶辅助装置
JP6809611B2 (ja) 走行支援方法及び走行支援装置
JP6651796B2 (ja) 運転支援装置
WO2022009900A1 (ja) 自動運転装置、車両制御方法
US11541892B2 (en) Vehicle control method and vehicle control device
US20200096360A1 (en) Method for planning trajectory of vehicle
US20200211379A1 (en) Roundabout assist
JP2017111498A (ja) 運転支援装置
CN111696374A (zh) 信息处理装置和包括信息处理装置的自动行驶控制系统
JP2016207063A (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
CN111766866B (zh) 信息处理装置和包括信息处理装置的自动行驶控制系统
JP7207142B2 (ja) 車両、運行管理装置、運行管理方法、およびプログラム
JP2019053394A (ja) 自動運転支援装置及びコンピュータプログラム
JP2015114931A (ja) 車両警告装置、サーバ装置および車両警告システム
US20240051569A1 (en) Long-term evolution computing platform for autonomous vehicles based on shell and nut architecture
JP2009265832A (ja) 運転支援装置
WO2019181843A1 (ja) データ構造、情報処理装置、データ通信方法、プログラム及び記憶媒体
JPWO2020136893A1 (ja) 通信システム、通信端末、制御方法、プログラム、およびプログラムを記憶する記憶媒体
JP2023011266A (ja) 運転制御方法及び運転制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221213

R151 Written notification of patent or utility model registration

Ref document number: 7205695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151