JP2018173755A - 運転支援装置、運転支援方法及び運転支援プログラム - Google Patents

運転支援装置、運転支援方法及び運転支援プログラム Download PDF

Info

Publication number
JP2018173755A
JP2018173755A JP2017070726A JP2017070726A JP2018173755A JP 2018173755 A JP2018173755 A JP 2018173755A JP 2017070726 A JP2017070726 A JP 2017070726A JP 2017070726 A JP2017070726 A JP 2017070726A JP 2018173755 A JP2018173755 A JP 2018173755A
Authority
JP
Japan
Prior art keywords
signal
captured image
signal content
user
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017070726A
Other languages
English (en)
Inventor
鈴木　貴之
Takayuki Suzuki
貴之 鈴木
明俊 山下
Akitoshi Yamashita
明俊 山下
金澤　裕
Yutaka Kanazawa
裕 金澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017070726A priority Critical patent/JP2018173755A/ja
Priority to US15/933,440 priority patent/US20180286233A1/en
Priority to DE102018106918.9A priority patent/DE102018106918A1/de
Publication of JP2018173755A publication Critical patent/JP2018173755A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムを提供する。【解決手段】運転支援装置は、車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、信号内容を記号化する記号化部と、記号化された信号情報を、撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備える。【選択図】図１

Description

本発明は、道路等に設置された信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムに関する。
従来、道路等に設置された信号機や道路標識（以下、「信号類」と称する）を車載カメラによって撮像し、信号類の信号内容（信号機による現示内容、道路標識による表示内容）の認識結果を利用して、安全運転を支援する運転支援装置が知られている（例えば、特許文献１、２）。特許文献１には、信号内容の認識結果に基づいて、自動的に車両の走行制御を行う技術が開示されている。特許文献２には、信号内容の認識結果に基づいて、利用者に対して警報を出力する技術が開示されている。
特開平１１−３０６４９８号公報 特開２００４−１９９１４８号公報 実用新案登録第３０４６８９７号公報
ところで、信号類の信号内容の認識は、走行時の周囲環境や、利用者の視覚的特徴に影響を受ける。例えば、降雨時や降雪時の薄暗い環境や、直射日光を受ける環境等、特定の条件下では信号類の視認性が低下する。また例えば、色覚異常者は、信号現示を色によって認識することは困難であるため、点灯している色灯の位置に頼らざるを得ない。特許文献１、２に開示の技術は、信号内容の認識が困難となる場合に対応できるものではない。
一方で、特許文献３には、簡単な図形により信号現示を行う信号機が開示されている。かかる技術によれば、利用者は、図形の形状によって信号内容を容易に認識することができる。しかしながら、このような信号機を既設の信号機に替えて設置することは、設備投資の観点からも現実的ではなく、広く普及するには至っていない。
本発明の目的は、信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムを提供することである。
本発明に係る運転支援装置は、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、
前記撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、
前記信号内容を記号化する記号化部と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備えることを特徴とする。
本発明に係る運転支援方法は、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する工程と、
前記撮像画像に含まれる信号類が示す信号内容を判別する工程と、
前記信号内容を記号化する工程と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる工程と、を含むことを特徴とする。
本発明に係る運転支援プログラムは、
運転支援装置のコンピューターに、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する処理と、
前記撮像画像に含まれる信号類が示す信号内容を判別する処理と、
前記信号内容を記号化する処理と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる処理と、を実行させる。
本発明によれば、信号類の信号内容を容易に認識できる運転支援装置が提供される。
実施の形態に係る運転支援装置の構成例を示す図である。 記号情報の一例を示す図である。 画像表示システムにおける運転支援処理の一例を示すフローチャートである。 信号情報の重畳表示の一例を示す図である。 信号情報の重畳表示の他の一例を示す図である。 信号情報の重畳表示の他の一例を示す図である。 記号情報の他の一例を示す図である。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、実施の形態に係る画像表示システム１の構成例を示す図である。画像表示システム１は、道路を走行する車両に搭載され、車両の前方視界の確認のために用いられる。画像表示システム１の処理部１１は、本発明の運転支援装置としての機能を有する。すなわち、処理部１１は、車両前方にある信号類が示す信号内容を利用者が容易に認識できるように支援する。
ここで、信号類とは、信号機や標識等である。また、信号類が示す信号内容とは、信号機による現示内容や標識による表示内容である。本実施の形態では、信号機の現示内容の認識を支援する場合について説明する。
図１に示すように、画像表示システム１は、処理部１１、記憶部１２、表示部１３、操作部１４、通信部１５、及び車載カメラ２０等を備える。
車載カメラ２０は、例えば、車両の前部（例えば、フロントグリル）に設置される（以下、「フロントカメラ２０」と称する）。フロントカメラ２０は、例えばＣＣＤ（charge-coupled device）型イメージセンサー、ＣＭＯＳ（complementary metal oxide semiconductor）型イメージセンサーなどの撮像素子を有する。撮像素子によって光電変換された前方視界の画像を示す電気信号は、無線通信又は有線通信によって処理部１１に送信される。
表示部１３は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイである。操作部１４は、例えば、文字や数字を入力可能な入力デバイスである。表示部１３及び操作部１４は、タッチパネル付きのフラットパネルディスプレイで構成されてもよい。表示部１３及び操作部１４は、例えば、画像表示システム１の利用者が、自身の視覚的特徴や、運転に慣れている国を示す国情報（例えば、利用者の母国）を入力する際に用いられる。また、表示部１３には、フロントカメラ２０で撮像された実写画像が表示される。なお、実写画像は、車載カメラ２０が撮像した画像に対して各種の画像処理が施された後の画像であってもよい。各種の画像処理としては、回転歪み補正、雪、霧、雨等を消去する処理、または鮮明化処理がある。
処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、例えばＲＯＭ１１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、画像表示システム１の各ブロックの動作を集中制御する。
記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。記憶部１２は、信号機の現示内容に信号情報が対応付けられた記号情報１２１を記憶する。
図２に、記号情報１２１の一例を示す。図２に示す例では、信号機の青色色灯の灯火（以下、「青色灯火」と称する）に対応して青色の「○」の図形データが登録され、黄色色灯の灯火（以下、「黄色灯火」と称する）に対応して黄色の「△」の図形データが登録され、赤色色灯の灯火（以下、「赤色灯火」と称する）に対応して赤色の「×」の図形データが登録されている。これらの図形データが、記号化された信号情報に相当する。
なお、信号情報は、利用者が、信号機の青色灯火、黄色灯火、及び赤色灯火を容易に認識できる形態であればよく、文字データを含んでもよい。また、信号情報は、カラーであってもよいし、モノクロであってもよい。カラーの信号情報の場合、利用者は、形状だけでなく、色によっても信号機の現示内容を認識することができる。
通信部１５は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）等の通信インターフェースである。処理部１１は、通信部１５を介して、インターネットに接続されたサーバー（例えば、気象情報提供サービスのウェブサーバー）との間で各種情報の送受信を行う。また、通信部１５は、狭域通信（ＤＳＲＣ：Dedicated Short Range Communication）用のインターフェースを含んでもよい。この場合、処理部１１は、通信部１５を介して、路側機（図示略）から信号機の現示内容を示す情報を取得することができる。
処理部１１は、運転支援プログラムを実行することにより、画像取得部１１Ａ、信号判断部１１Ｂ、信号内容判別部１１Ｃ、記号化部１１Ｄ、及び表示制御部１１Ｅとして機能する。これらの機能については、図３のフローチャートに従って詳述する。運転支援プログラムは、例えばＲＯＭ１１２に記憶される。運転支援プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、運転支援プログラムは、当該プログラムを保有するサーバーから、ネットワークを介してダウンロードにより提供されてもよい。
図３は、処理部１１が実行する運転支援処理の一例を示すフローチャートである。この処理は、例えば車両の動力源（エンジン又はモーター）の始動に伴い画像表示システム１が起動され、ＣＰＵ１１１がＲＯＭ１１２に格納されている運転支援プログラムを呼び出して実行することで実現される。
ステップＳ１０１において、処理部１１は、フロントカメラ２０から１フレームの撮像画像を取得する（画像取得部１１Ａとしての処理）。なお、以降の処理は１フレーム毎に行うこととしているが、複数フレームを用いて処理をしても良い。
ステップＳ１０２において、処理部１１は、撮像画像を解析し、撮像画像に信号機が含まれるか否かを判定する（信号判断部１１Ｂとしての処理）。この処理には、公知の画像認識技術（例えば、パターンマッチング）を利用できる。撮像画像に信号機が含まれる場合（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。撮像画像に信号機が含まれていない場合（ステップＳ１０２で“ＮＯ”）、当該フレームについての処理を終了する。
ステップＳ１０３において、処理部１１は、撮像画像に含まれる信号機の視認性を判定する（信号判断部１１Ｂとしての処理）。この処理では、撮像画像の全体の視認性を判定してもよいし、撮像画像に含まれる信号機ごとの視認性を判定してもよい。処理部１１は、例えば、撮像画像を解析することにより、信号機の視認性を判定する。また例えば、処理部１１は、通信部１５を介してウェブサーバーから得られる気象情報に基づいて、信号機の視認性を判定してもよい。例えば、降雨時や降雪時には、信号機の視認性が悪いと判定される。なお、利用者が色覚異常者であることが設定されている場合、撮像画像の鮮明さや気象情報にかかわらず、視認性が悪いと判定するようにしてもよい。信号機の視認性が悪い場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。信号機の視認性が良い場合（ステップＳ１０３で“ＹＥＳ”）、現示内容を容易に認識できるので、当該フレームについての処理を終了する。
ステップＳ１０４において、処理部１１は、撮像画像に含まれる信号機の現示内容を判別する（信号内容判別部１１Ｃとしての処理）。具体的には、処理部１１は、信号機の現示内容が、青色灯火であるか、黄色灯火であるか、赤色灯火であるかを判別する。処理部１１は、例えば、公知の色認識技術を用いて撮像画像を解析することにより、信号機の現示内容を判別する。また例えば、処理部１１は、通信部１５を介して路側機から得られる現示情報に基づいて、信号機の現示内容を判別してもよい。
ステップＳ１０５において、処理部１１は、信号機の現示内容を記号化する（記号化部１１Ｄとしての処理）。具体的には、処理部１１は、記憶部１２に記憶されている記号情報１２１（図２参照）を参照して、現示内容に対応付けられた図形データ（信号情報）を読み出す。例えば、信号機の現示内容が青色灯火である場合、「○」の図形データが読み出される。また例えば、信号機の現示内容が赤色灯火である場合、「×」の図形データが読み出される。
ステップＳ１０６において、処理部１１は、記号化された信号情報を、撮像画像（実写画像）に重畳させて表示させる（表示制御部１１Ｅとしての処理）。具体的には、処理部１１は、ステップＳ１０１で取得された撮像画像のデータに基づいて、表示部１３に実写画像を表示させるとともに、記号化された信号情報を、実写画像に重畳させて表示させる。
以上のようにして、当該フレームに対する処理が終了し、引き続き、次のフレームに対する運転支援処理が実行される。なお、ステップＳ１０２において、撮像画像に含まれる信号機が複数ある場合には、それぞれの信号機に対してステップＳ１０４〜Ｓ１０６が実行される。
図４Ａ〜図４Ｃは、信号情報の重畳表示の一例を示す図である。
図４Ａでは、信号機のある領域に重畳して青色灯火を示す信号情報（「○」の図形）が表示されている。図４Ｂでは、対応する信号機の近傍領域に重畳して青色灯火を示す信号情報が表示されている。
このように、信号情報は、信号機のある領域に重畳して表示されてもよいし、信号機の近傍領域に重畳して表示されてもよい。また、図４Ｃに示すように、信号機に枠を重畳表示させて、対象となる信号機を明示するようにしてもよい。利用者は、信号情報の重畳表示により、信号機の現示内容を容易に認識することができる。利用者が色覚異常者である場合も、信号機の現示内容が記号化された信号情報で表示されるので、現示内容を容易に認識することができる。
図５は、信号情報の重畳表示の他の一例を示す図である。
図５では、走行車線の信号機の現示内容を示す信号情報（「×」の図形）だけが表示され、走行車線と交差する車線の信号機の現示内容を示す信号情報は表示されていない。
このように、処理部１１（表示制御部１１Ｅ）は、利用者が参照すべき信号機の信号情報だけを表示させるようにしてもよい。これにより、信号情報の重畳表示が散在し、かえって信号機の現示内容が認識しにくくなるのを防止できる。利用者が参照すべき信号機とは、例えば、自車両の走行車線用に設置された信号機である。自車両が右折レーンを走行中に、右折専用の信号現示が行われる矢印式信号機があった場合、当該矢印式信号機が参照すべき信号機となる。
図６は、信号情報の重畳表示の他の一例を示す図である。
図６では、走行車線に複数の信号機があり、自車両に近い信号機の現示内容を示す信号情報（「×」の図形）の表示は、自車両から遠い信号機の現示内容を示す信号情報（「○」の図形）の表示よりも大きく、認識しやすいようになっている。このように、利用者が参照すべき信号機が複数ある場合、優先順位に応じて、信号情報の表示態様（例えば、表示サイズ、表示色、枠による強調表示など）を変化させてもよい。図６は、自車両から近い順に優先順位が高く設定されている場合を示している。
これにより、利用者は、最も注視すべき信号機を把握できるので、参照すべき複数の信号機の現示内容が異なる場合に現示内容の誤認が生じるのを防止できる。なお、信号情報の重畳表示が散在し、信号機の現示内容が認識しにくくなる場合は、優先順位の低い方から信号情報の重畳表示を行わないようにしてもよい。
このように、画像表示システム１の処理部１１（運転支援装置）は、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する画像取得部１１Ａと、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する信号内容判別部１１Ｃと、現示内容を記号化する記号化部１１Ｄと、記号化された信号情報を、撮像画像に重畳させて表示させる表示制御部１１Ｅと、を備える。
実施の形態に係る運転支援方法は、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する工程（図３のステップＳ１０１）と、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する工程（ステップＳ１０４）と、現示内容を記号化する工程（ステップＳ１０５）と、記号化された信号情報を、撮像画像に重畳させて表示させる工程（ステップＳ１０６）と、を含む。
実施の形態に係る運転支援プログラムは、処理部１１（コンピューター）に、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する処理（図３のステップＳ１０１）と、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する処理（ステップＳ１０４）と、現示内容を記号化する処理（ステップＳ１０５）と、記号化された信号情報を、撮像画像に重畳させて表示させる処理（ステップＳ１０６）と、を実行させる。
信号機の現示内容が記号化された信号情報によって表示されるので、利用者は、少なくとも信号情報の形状によって、信号類の信号内容を容易に認識することができる。したがって、利用者の安全運転が支援され、交通事故の発生リスクを低減することができる。降雨、降雪、直射日光などにより信号機の視認性が著しく低下する場合、また、利用者が色覚異常者である場合に、極めて有用である。
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、実施の形態では、信号機の現示内容の認識を支援する場合について説明したが、本発明は、標識の表示内容の認識を支援する場合にも適用できる。
また例えば、実施の形態では、信号機の視認性が悪い場合にだけ信号情報を表示するようにしているが、信号機の視認性に関わらず信号情報を表示するようにしてもよい。
ところで、信号機や標識は、信号内容が同じであっても、表示態様は国ごとに異なる（図７参照）。そこで、利用者によって設定された国情報に基づいて、信号内容を記号化してもよい。道路標識について説明すると、図７に示すように、道路標識の表示内容に対応して各国の標識データが登録される。撮像画像に道路標識が含まれている場合、当該道路標識の表示内容が判別され、設定された国情報及び判別された表示内容に基づいて、表示する標識データが選択され、読み出される。慣れ親しんだ態様で信号情報が表示されるので、利用者は、道路標識の表示内容を容易に認識することができる。
なお、車載カメラが撮像した信号類が示す信号内容に対応する信号類が、利用者によって設定された国に無い場合は、利用者が当該信号内容を認識し易いように記号化して表示すればよい。
また、実施の形態では、実写画像に信号情報を重畳表示しているが、ヘッドアップディスプレイ（ＨＵＤ）を利用して、利用者の視野（実景）に直接信号情報を重畳表示するようにしてもよい。
実施の形態では、処理部１１（コンピュータ）が、画像取得部１１Ａ、画像処理部１１Ｂ、表示制御部１１Ｃ、カメラ状態監視部１１Ｄとして機能することにより、本発明を実現しているが、これらの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって構成することもできる。
実施の形態では、車載カメラは１つだったが、車載カメラを２つ以上用いてもよい。車載カメラを２つ以上用いることにより、物体との距離の認識が容易となり、また、表示部への３Ｄ表示が可能となる。
実施の形態では、車載カメラは、車両の前方視界を撮影するフロントカメラであったが、これに限られない。車載カメラは、車両の後方視界を撮影するリアカメラなど、車両の周辺視界を撮影するカメラであればよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、道路等に設置された信号類の信号内容の認識を支援する運転支援技術に好適である。
１ 画像表示システム
１１ 処理部（運転支援装置）
１１Ａ 画像取得部
１１Ｂ 信号判断部（視認性判断部）
１１Ｃ 信号内容判別部
１１Ｄ 記号化部
１１Ｅ 表示制御部
１２ 記憶部
１３ 表示部
１４ 操作部
１５ 通信部
２０ フロントカメラ（車載カメラ）

Claims (10)

  1. 車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、
    前記撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、
    前記信号内容を記号化する記号化部と、
    記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備えることを特徴とする運転支援装置。
  2. 前記信号類の視認性を判断する視認性判断部を備え、
    前記表示制御部は、前記視認性判断部による判断結果に基づいて、前記信号情報を表示させることを特徴とする請求項１に記載の運転支援装置。
  3. 前記表示制御部は、利用者が参照すべき信号類の前記信号情報だけを表示させることを特徴とする請求項１又は２に記載の運転支援装置。
  4. 前記表示制御部は、利用者が参照すべき信号類が複数ある場合、優先順位に応じて、前記信号情報の表示態様を変化させる請求項３に記載の運転支援装置。
  5. 前記表示制御部は、前記信号類の設置位置が自車両に近い順に認識しやすい表示態様で、前記信号情報を表示させる請求項４に記載の運転支援装置。
  6. 前記記号化部は、利用者によって設定された国情報に基づいて、前記信号内容を記号化することを特徴とする請求項１から５のいずれか一項に記載の運転支援装置。
  7. 前記信号内容判別部は、前記撮像画像の画像解析により、前記信号内容を判別することを特徴とする請求項１から６のいずれか一項に記載の運転支援装置。
  8. 前記信号内容判別部は、前記信号内容を提供する路側機との路車間通信により、前記信号内容を判別することを特徴とする請求項１から６のいずれか一項に記載の運転支援装置。
  9. 車載カメラによって撮像された車両の周辺視界の撮像画像を取得する工程と、
    前記撮像画像に含まれる信号類が示す信号内容を判別する工程と、
    前記信号内容を記号化する工程と、
    記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる工程と、を含むことを特徴とする運転支援方法。
  10. 運転支援装置のコンピューターに、
    車載カメラによって撮像された車両の周辺視界の撮像画像を取得する処理と、
    前記撮像画像に含まれる信号類が示す信号内容を判別する処理と、
    前記信号内容を記号化する処理と、
    記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる処理と、を実行させる運転支援プログラム。
JP2017070726A 2017-03-31 2017-03-31 運転支援装置、運転支援方法及び運転支援プログラム Pending JP2018173755A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017070726A JP2018173755A (ja) 2017-03-31 2017-03-31 運転支援装置、運転支援方法及び運転支援プログラム
US15/933,440 US20180286233A1 (en) 2017-03-31 2018-03-23 Driving assistance device, driving assistance method, and non-transitory storage medium
DE102018106918.9A DE102018106918A1 (de) 2017-03-31 2018-03-23 Fahrassistenz-Vorrichtung, Fahrassistenz-Verfahren und nichtflüchtiges Speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017070726A JP2018173755A (ja) 2017-03-31 2017-03-31 運転支援装置、運転支援方法及び運転支援プログラム

Publications (1)

Publication Number Publication Date
JP2018173755A true JP2018173755A (ja) 2018-11-08

Family

ID=63524619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017070726A Pending JP2018173755A (ja) 2017-03-31 2017-03-31 運転支援装置、運転支援方法及び運転支援プログラム

Country Status (3)

Country Link
US (1) US20180286233A1 (ja)
JP (1) JP2018173755A (ja)
DE (1) DE102018106918A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022106962A (ja) * 2021-06-25 2022-07-20 阿波▲羅▼智▲聯▼（北京）科技有限公司 交通信号機に対する提示方法、装置、車両、電子機器、記憶媒体及びコンピュータプログラム
WO2023187914A1 (ja) * 2022-03-28 2023-10-05 本田技研工業株式会社 遠隔操作方法及び映像提示方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
CN111824015A (zh) * 2019-04-17 2020-10-27 上海擎感智能科技有限公司 一种辅助驾驶方法、装置、系统及计算机可读存储介质
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
US11410433B2 (en) * 2020-03-31 2022-08-09 Robert Bosch Gbmh Semantically-consistent augmented training data for traffic light detection
DE102020111734A1 (de) 2020-04-29 2021-11-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ausgeben eines Signalzustands wenigstens einer Verkehrssignalvorrichtung
CN116071945A (zh) * 2021-10-29 2023-05-05 通用汽车环球科技运作有限责任公司 交通灯可见性检测和增强显示

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050200500A1 (en) * 2004-03-12 2005-09-15 Wing Thomas W. Colorblind vehicle driving aid
JP2005345225A (ja) * 2004-06-02 2005-12-15 Alpine Electronics Inc ナビゲーション装置およびその交差点案内方法
JP2006031506A (ja) * 2004-07-20 2006-02-02 Brother Ind Ltd 画像入出力装置
JP2009109404A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置
JP2012030611A (ja) * 2010-07-28 2012-02-16 Denso Corp 車両用表示装置
JP2012121527A (ja) * 2010-12-10 2012-06-28 Toyota Motor Corp 画像表示装置
JP2013174620A (ja) * 2013-05-28 2013-09-05 Pioneer Electronic Corp ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、および記録媒体
JP2016058092A (ja) * 2014-09-10 2016-04-21 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 色覚異常を有するドライバーのための識別装置
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2016124413A (ja) * 2014-12-29 2016-07-11 オイレス工業株式会社 キャスター
JP2017507425A (ja) * 2014-02-21 2017-03-16 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 車両に用いられるシステム
JP2017062527A (ja) * 2015-09-22 2017-03-30 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP2017509065A (ja) * 2014-02-21 2017-03-30 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 異なる言語の翻訳を用いる車両用画像キャプチャーシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306498A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP2004199148A (ja) 2002-12-16 2004-07-15 Toshiba Corp 車両の運転支援装置
CN103251170B (zh) * 2012-02-16 2015-09-02 安德润普科技开发（深圳）有限公司 一种压力监测鞋
WO2015120914A1 (de) * 2014-02-17 2015-08-20 Siemens Aktiengesellschaft Elektrische maschine mit rahmen und hülle
KR101694039B1 (ko) * 2015-07-23 2017-01-09 현대자동차주식회사 엔진오일 부족 진단방법
JP2017070726A (ja) 2016-09-07 2017-04-13 京楽産業．株式会社 遊技機

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050200500A1 (en) * 2004-03-12 2005-09-15 Wing Thomas W. Colorblind vehicle driving aid
JP2005345225A (ja) * 2004-06-02 2005-12-15 Alpine Electronics Inc ナビゲーション装置およびその交差点案内方法
JP2006031506A (ja) * 2004-07-20 2006-02-02 Brother Ind Ltd 画像入出力装置
JP2009109404A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置
JP2012030611A (ja) * 2010-07-28 2012-02-16 Denso Corp 車両用表示装置
JP2012121527A (ja) * 2010-12-10 2012-06-28 Toyota Motor Corp 画像表示装置
JP2013174620A (ja) * 2013-05-28 2013-09-05 Pioneer Electronic Corp ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、および記録媒体
JP2017507425A (ja) * 2014-02-21 2017-03-16 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 車両に用いられるシステム
JP2017509065A (ja) * 2014-02-21 2017-03-30 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 異なる言語の翻訳を用いる車両用画像キャプチャーシステム
JP2016058092A (ja) * 2014-09-10 2016-04-21 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 色覚異常を有するドライバーのための識別装置
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2016124413A (ja) * 2014-12-29 2016-07-11 オイレス工業株式会社 キャスター
JP2017062527A (ja) * 2015-09-22 2017-03-30 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022106962A (ja) * 2021-06-25 2022-07-20 阿波▲羅▼智▲聯▼（北京）科技有限公司 交通信号機に対する提示方法、装置、車両、電子機器、記憶媒体及びコンピュータプログラム
JP7375103B2 (ja) 2021-06-25 2023-11-07 阿波▲羅▼智▲聯▼（北京）科技有限公司 交通信号機の現在色情報に対する提示方法、装置、車両、電子機器、記憶媒体及びコンピュータプログラム
WO2023187914A1 (ja) * 2022-03-28 2023-10-05 本田技研工業株式会社 遠隔操作方法及び映像提示方法

Also Published As

Publication number Publication date
US20180286233A1 (en) 2018-10-04
DE102018106918A1 (de) 2018-10-04

Similar Documents

Publication Publication Date Title
JP2018173755A (ja) 運転支援装置、運転支援方法及び運転支援プログラム
CN107506760B (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
JP5121737B2 (ja) 画像データにおいて重要対象物を識別するためのバーチャルスポットライト
CN108860045B (zh) 驾驶辅助方法、驾驶辅助装置及存储介质
JP6453192B2 (ja) 画像認識処理装置、及びプログラム
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2006350617A (ja) 車両用走行支援装置
JP3797343B2 (ja) 車両周辺表示装置
JP2016091058A (ja) 運転情報表示装置および運転情報表示方法
US11721110B2 (en) Method, system and computer program product for providing driving assistance
JP2010234851A (ja) 車両用表示装置
JP2020030689A (ja) 情報システム、情報処理方法およびプログラム
JP2003178397A (ja) 道路表示等検出警告装置
CN105575149A (zh) 一种路线指示装置及方法
JP5460635B2 (ja) 画像処理判定装置
JP2009210432A (ja) 運転支援装置
CN111277956A (zh) 车辆盲区信息的采集方法及装置
CN109284660A (zh) 指示物件的辅助识别装置及其辅助识别及显示方法
JP2009122854A (ja) 注意喚起システム及びプログラム
JP2008276291A (ja) 標識認識情報の提示方法及び装置
JP2005300342A (ja) 道路情報表示制御装置
CN114619949B (zh) 高速公路变道提示方法及装置、车辆、电子设备、介质
JP2004173071A (ja) 車両周辺監視装置
JP2016166794A (ja) 画像作成装置、画像作成方法、画像作成装置用プログラム、および、画像作成システム
JP2022190766A (ja) 車両周辺情報表示装置、及び車両周辺情報表示方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211124