JP2020038652A - インテリジェント路側ユニット - Google Patents

インテリジェント路側ユニット Download PDF

Info

Publication number
JP2020038652A
JP2020038652A JP2019158725A JP2019158725A JP2020038652A JP 2020038652 A JP2020038652 A JP 2020038652A JP 2019158725 A JP2019158725 A JP 2019158725A JP 2019158725 A JP2019158725 A JP 2019158725A JP 2020038652 A JP2020038652 A JP 2020038652A
Authority
JP
Japan
Prior art keywords
radar
roadside unit
intelligent roadside
camera
main processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019158725A
Other languages
English (en)
Other versions
JP7000639B2 (ja
Inventor
レイ ファン，
Lei Fang
レイ ファン，
ハイソン ワン，
Haisong Wang
ハイソン ワン，
シン フー，
Xing Hu
シン フー，
シェン タオ，
Sheng Tao
シェン タオ，
イーフェン シ，
Yifeng Shi
イーフェン シ，
フオ カオ，
Huo Cao
フオ カオ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020038652A publication Critical patent/JP2020038652A/ja
Application granted granted Critical
Publication of JP7000639B2 publication Critical patent/JP7000639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/1637—Error detection by comparing the output of redundant processing systems using additional compare functionality in one or some but not all of the redundant processing components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/165—Error detection by comparing the output of redundant processing systems with continued operation after detection of the error
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/1654—Error detection by comparing the output of redundant processing systems where the output of only one of the redundant processing components can drive the attached hardware, e.g. memory or I/O
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements

Abstract

【課題】冗長化なバックアップの方式により、１つのプロセッサが故障した場合、他のプロセッサが、適時に切り替わって後続の処理を行い、インテリジェント路側ユニットの信頼性を向上させることができるインテリジェント路側ユニットを提供する。【解決手段】インテリジェント路側ユニットは、レーダによって検出された障害物情報とカメラによって検出された画像とに基づいて点群画像を生成するためのメインプロセッサと、レーダおよびカメラに接続され、レーダによって検出された障害物情報とカメラによって検出された画像とに基づいて点群画像を生成するためのスタンバイプロセッサとを備える。スタンバイプロセッサは、メインプロセッサを検出し、メインプロセッサが故障した場合、スタンバイプロセッサはメインプロセッサとして切り替わる。【選択図】図１

Description

本願は、インテリジェント交通技術の分野に関し、特に、インテリジェント路側ユニットに関する。
現在、インテリジェント路側ユニットは、自動運転の重要なサポートである。インテリジェント路側ユニットのインテリジェントニーズが高まるにつれて、インテリジェント路側ユニットの感知能力に対する要求はますます高くなり、インテリジェント路側ユニットの主動感知能力を向上させるために、インテリジェント路側ユニットに様々なセンサ検出器を追加する必要がある。しかしながら、インテリジェント路側ユニットのデータ処理量が非常に大きいので、温度が高すぎることや過大な処理量による信頼性が低下することがあり、故障が発生すると、インテリジェント運転自動車のナビゲーションにはセキュリティホールが生じる。
本願は、関連技術における技術的課題の少なくとも一つをある程度解決することを目的とする。
そのため、本願の目的は、冗長化なバックアップの方式により、１つのプロセッサが故障した場合、他のプロセッサが、適時に切り替わって後続の処理を行い、インテリジェント路側ユニットの信頼性を向上させることができるインテリジェント路側ユニットを提供する。
上記の目的を達成するために、本願の第１態様として、第１の所定範囲内の障害物を検出するレーダと、第２の所定範囲内の画像を撮影するカメラと、前記レーダおよび前記カメラに接続され、前記レーダによって検出された障害物情報と前記カメラによって検出された画像とに基づいて点群画像を生成するメインプロセッサと、前記レーダおよび前記カメラに接続され、前記レーダによって検出された前記障害物情報と前記カメラによって検出された前記画像とに基づいて点群画像を生成するためのスタンバイプロセッサとを備え、該スタンバイプロセッサは、前記メインプロセッサを検出し、該メインプロセッサが故障した場合、前記スタンバイプロセッサが、前記メインプロセッサとして切り替わるインテリジェント路側ユニットを提供する。
本態様におけるインテリジェント路側ユニットにおいて、レーダは、インテリジェント路側ユニットの第１の所定範囲内の障害物を検出し、カメラは、インテリジェント路側ユニットの第２の所定範囲内の画像を撮影する。そして、レーダおよびカメラに接続されるメインプロセッサは、レーダによって検出された障害物情報とカメラによって検出された画像とに基づいて点群画像を生成する。レーダおよびカメラに接続されるスタンバイプロセッサは、レーダによって検出された故障情報とカメラによって検出された画像とに基づいて点群画像を生成し、スタンバイプロセッサがメインプロセッサを検出し、メインプロセッサが故障した場合、スタンバイプロセッサはメインプロセッサとして切り替わる。本願は、冗長化なバックアップの方式により、１つのプロセッサが故障した場合、他のプロセッサが、適時に切り替わって後続の処理を行い、インテリジェント路側ユニットの信頼性を向上させることができる。
また、本出願の実施例のインテリジェント路側ユニットは、さらに以下の付加的な技術的特徴を有する。
上記態様においては、前記スタンバイプロセッサは、前記メインプロセッサにハートビート検出メッセージを送信し、前記メインプロセッサによってフィードバックされる応答メッセージが所定時間内に受信されなかった場合、前記メインプロセッサが故障したと判断してもよい。
また、上記態様においては、信号機をさらに備え、前記メインプロセッサは、前記点群画像に基づいて前記信号機を制御してもよい。
また、上記態様においては、前記メインプロセッサおよび前記スタンバイプロセッサに接続されるコミュニケータをさらに備え、前記メインプロセッサは、前記コミュニケータを介して前記点群画像を前記インテリジェント路側ユニットの付近の無人運転車両またはサーバに送信してもよい。
また、上記態様においては、前記カメラの少なくとも一部を被覆する遮蔽層をさらに備えていてもよい。
また、上記態様においては、第１のレーダと第２のレーダとを有し、前記第１のレーダの検出距離は前記第２のレーダの検出距離より大きくてもよい。
また、上記態様においては、前記第１のレーダおよび前記第２のレーダは、いずれもレーザレーダであってもよい。
また、上記態様においては、前記第１のレーダは６４ラインのレーザレーダであり、前記第２のレーダは１６ラインのレーザレーダであってもよい。
また、上記態様においては、前記第１のレーダはレーザレーダであり、前記第２のレーダはミリ波レーダであってもよい。
また、上記態様においては、前記カメラは複数であり、前記インテリジェント路側ユニットによって監視される交差点にそれぞれ対応してもよい。
また、上記態様においては、前記遮蔽層は、前記カメラの、レンズおよび放熱部分を除いた他の部分を被覆してもよい。
また、上記態様においては、前記第１のレーダは前記カメラの上方に位置し、前記第２のレーダは前記カメラの下方に位置してもよい。
本発明の付加的な特徴及び利点は、一部が以下の説明に示され、一部が下記の説明により明らかになり、又は本発明の実施により理解される。
本発明の上記および／または付加的な特徴と利点は、実施例を図面を参照して以下に説明することにより、明らかになり、理解しやすくなる。
本願の実施例に係るインテリジェント路側ユニットの概略構成図である。 本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。 本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。 本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。
以下、本発明の実施例を詳細に説明する。実施例における一例が図面に示され、同一または類似する符号は、常に同一または類似する構成要素、或いは、同一または類似する機能を有する構成要素を表す。以下に、図面を参照しながら説明される実施例は例示的なものであり、本発明を解釈することを旨とし、本発明を限定するものと理解されるものではない。
以下、図面を参照しながら本願の実施例のインテリジェント路側ユニットについて説明する。
本願の実施例に係るインテリジェント路側ユニットは、自動運転車両に適用することができる。
図１は、本願の実施例に係るインテリジェント路側ユニットの概略構成図である。図１に示すように、インテリジェント路側ユニットは、レーダ１０と、カメラ２０と、メインプロセッサ３０と、スタンバイプロセッサ４０とを備える。
レーダ１０は、インテリジェント路側ユニットの第１の所定範囲内の障害物を検出する。
カメラ２０は、インテリジェント路側ユニットの第２の所定範囲内の画像を撮影する。
レーダ１０およびカメラ２０に接続されるメインプロセッサ３０は、レーダ１０によって検出された障害物情報とカメラ２０によって検出された画像とに基づいて点群地図を生成する。
レーダ１０およびカメラ２０に接続されるスタンバイプロセッサ４０は、レーダ１０によって検出された障害物情報とカメラ２０によって検出された画像とに基づいて点群地図を生成し、スタンバイプロセッサ４０は、メインプロセッサ３０を検出し、メインプロセッサ３０が故障した場合、スタンバイプロセッサ４０は、メインプロセッサ３０として切り替わる。
具体的には、実用のニーズに応じて少なくとも１つのレーダ１０を設置して、インテリジェント路側ユニットの第１の所定範囲内の障害物を検出することができる。第１の所定範囲は、実用のニーズに応じて設定することができる。
一シーンの実現として、本願の実施例のインテリジェント路側ユニットは、車両Ａに適用され、レーダ１０は、車両Ａの一定範囲内の障害物（例えば、車両Ａの１メートル以内の他の車両、歩行者、道路標識などの障害物）を検出することができる。
実現可能な一形態として、図２に示すように、レーダ１０は、第１のレーダ１０１と第２のレーダ１０２とを備える。
実際の使用では、第１のレーダ１０１は、遠方の障害物を検出し、第２のレーダ１０２は、近くの障害物を検出し、第１のレーダ１０１の検出距離を第２のレーダ１０２の検出距離より大きくすることができる。これにより、レーダが障害物を検出する信頼性がさらに向上し、インテリジェント路側ユニットのコストがさらに削減される。
一シーンの実現として、本願の実施例のインテリジェント路側ユニットは、車両Ａに適用され、第２のレーダ１０２は、車両Ａの１メートル以内の他の車両、歩行者、建物などの障害物を検出し、第１のレーダ１０１は、車両Ａの１メートルから２メートルの間の他の車両、歩行者、建物などの障害物を検出する。
なお、本願の実施例のインテリジェント路側ユニットは、自動運転の分野に適用され、第２レーダ１０２は、主に、死角検知（死角監視）、車線維持及び車線変更補助、リアレーダの衝突警報または衝突防止、駐車補助および交差点の交通監視に適用される。
なお、本願の実施例のインテリジェント路側ユニットは、自動運転の分野に適用され、第１のレーダ１０１は、ブレーキ補助、自動距離制御などに適用される。
なお、障害物の検出能力をさらに向上させるために、第１のレーダ１０１および第２のレーダ１０２のタイプは、実用のニーズに応じて設定することができ、以下に一例を挙げて説明する。
第１の例として、第１のレーダ１０１と第２のレーダ１０２は、いずれもレーザレーダであり、レーザレーダは、主に、固定または移動する物体との間の距離を測定する。
ここで、第１のレーダ１０１は６４ラインのレーザレーダであり、第２レーダ１０２は１６ラインのレーザレーダである。
第２の例として、第１のレーダ１０１はレーザレーダであり、第２のレーダ１０２はミリ波レーダであり、ミリ波レーダは、唯一の２４時間動作するセンサであり、その速度測定と距離測定の精度が視覚の精度より遥かに高い。
なお、レーダ１０とカメラ２０の位置は、実用のニーズに応じて設定することができ、実現可能な一形態として、第１のレーダ１０１は、カメラ２０の上方に位置し、第２のレーダ１０２はカメラ２０の下方に位置する。
具体的には、実用のニーズに応じて１つまたは複数のカメラ２０を設置して、インテリジェント路側ユニットの第２の所定範囲内の画像を撮影することができる。第２の所定範囲は、実用のニーズに応じて設定することができる。
一シーンの実現として、本願の実施例のインテリジェント路側ユニットは、車両Ａに適用され、カメラ２０は、車両Ａの一定範囲内の画像（車両Ａの１メートル以内の他の車両、歩行者、交差点指示ランプなどの画像）を撮影することができる。
一例として、カメラ２０が複数であり、インテリジェント路側ユニットによって監視される交差点にそれぞれ対応し、異なる位置および方向の複数のカメラ２０を設置することで、点群画像の精度および信頼性がさらに向上する。
具体的には、メインプロセッサ３０およびスタンバイプロセッサ４０は、いずれもレーダ１０およびカメラ２０にそれぞれ接続されている。スタンバイプロセッサ４０は、主に、メインプロセッサ３０が故障した場合、メインプロセッサ３０として切り替わって、レーダ１０によって検出された障害物情報とカメラ２０によって検出された画像とに基づいて点群画像を生成する。
スタンバイプロセッサ４０は、様々な方式でメインプロセッサ３０の検出を行うことができる。実現可能な一形態として、スタンバイプロセッサ４０は、メインプロセッサ３０にハートビート検出メッセージを送信し、メインプロセッサ３０によってフィードバックされる応答メッセージを所定時間内に受信しなかった場合、メインプロセッサ３０が故障したと決定する。別の実現可能な形態として、メインプロセッサ３０を検出する故障検知センサを設置し、故障検知センサが検出結果をスタンバイプロセッサ４０に送信し、待機プロセッサ４０が検出結果に基づいて、メインプロセッサ３０が故障したと判断する。
本願の実施例のインテリジェント路側ユニットでは、レーダは、インテリジェント路側ユニットの第１の所定範囲内の障害物を検出し、カメラは、インテリジェント路側ユニットの第２の所定範囲内の画像を撮影し、レーダおよびカメラに接続されるメインプロセッサは、レーダによって検出された障害物情報とカメラによって検出された画像とに基づいて点群画像を生成し、レーダおよびカメラに接続されるスタンバイプロセッサは、レーダによって検出された故障情報とカメラによって検出された画像とに基づいて点群画像を生成し、スタンバイプロセッサがメインプロセッサを検出し、メインプロセッサに故障が発生した場合、スタンバイプロセッサはメインプロセッサとして切り替わる。本願は、冗長化なバックアップの方式により、１つのプロセッサが故障した場合、他のプロセッサが、適時に切り替わって後続の処理を行い、インテリジェント路側ユニットの信頼性を向上させることができる。
図３は、本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。図３に示すように、図１に基づいて、インテリジェント路側ユニットは、コミュニケータ５０をさらに備える。
コミュニケータ５０は、メインプロセッサ３０およびスタンバイプロセッサ４０に接続され、メインプロセッサ３０は、コミュニケータ５０を介して点群画像をインテリジェント路側ユニットの付近の無人運転車両またはサーバに送信する。
コミュニケータ５０は、アンテナまたは無線接続機器などであってもよい。
図４は、本願の他の実施例に係るインテリジェント路側ユニットの概略構成図である。図４に示すように、図１に基づいて、インテリジェント路側ユニットは、信号機６０をさらに備える。
具体的には、メインプロセッサ３０は、点群画像に基づいて信号機６０を制御する。これにより、インテリジェント路側ユニットの適用性がさらに向上する。
本願の一実施例では、インテリジェント路側ユニットは、カメラ２０の少なくとも一部を被覆する遮蔽層をさらに備えていてもよい。
また、遮蔽層は、カメラ２０の、レンズおよび放熱部分を除いた他の部分を被覆するようにしてもよい。
このように、カメラ２０の、レンズと放熱部を除いた他の部分が遮蔽材料によって被覆されることにより、レーダ１０およびアンテナなどの部品によるカメラ２０への干渉を無くすことができ、カメラ２０の画像鮮明度が向上し、インテリジェント路側ユニットの信頼性がさらに向上する。
本明細書の説明において、「一実施例」、「一部の実施例」、「例」、「具体的な例」、或いは「一部の例」などの用語を参考した説明とは、実施例或いは一例を合わせて説明された具体的な特徴、構成、材料或いは特性が、本開示の少なくとも１つの実施例或いは一例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施例或いは一例を示すものではない。また、説明された具体的な特徴、構成、材料或いは特性は、いずれか１つ或いは複数の実施例又は一例において適切に結合することができる。なお、相互に矛盾しない限り、当業者は、本明細書において説明された異なる実施例又は一例、及び異なる実施例又は一例の特徴を結合し、組み合わせることができる。
なお、「第１」、「第２の」の用語は、単に目的を説明するためのものであり、比較的な重要性を指示又は暗示するか、或いは示された技術的特徴の数を黙示的に指示すると理解してはいけない。よって、「第１」、「第２の」が限定されている特徴は少なくとも１つの特徴を含むことを明示又は暗示するものである。本開示の説明において、明確且つ具体的な限定がない限り、「複数」とは、少なくとも２つ、例えば、２つ、３つなどを意味する。
フローチャートにおける、又はここで他の形態で記載された任意のプロセス又は方法は、特定ロジック機能又はプロセスのステップを実現するための少なくとも１つの実行可能な命令コードを含むモジュール、セグメント又は一部を表すと理解されてもよい。また、本発明の好ましい実施例の範囲は、ここで、示された又は論議された順番ではなく、係る機能に応じてほぼ同時の形態又は逆の順番で機能を実行することができる他の実現を含むことができる。これは、当業者であれば理解すべきである。
フローチャートで示された又はここで他の形態で説明されたロジック及び／又はステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、又はデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、又は他の命令実行システム、装置又はデバイスから命令を取得して命令を実行するシステム）に利用されるか、又はこれらの命令実行システム、装置又はデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置又はデバイスによって、又は、命令実行システム、装置又はデバイスと組み合わせて使用するためのプログラムを含む、格納する、通信する、伝播する、又は伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、少なくとも１つの配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバデバイス、及びポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙又は他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、又は必要な場合に他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに格納するからである。
なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実現することができる。上記実施例において、複数のステップ又は方法は、メモリに記憶された且つ適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって実現することができる。例えば、ハードウェアで実現される場合に、他の実施例と同様に、本分野において周知である、データ信号に対してロジック機能を実現するためのロジックゲート回路を備える離散ロジック回路、適切な組み合わせロジックゲート回路を備える特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの当分野の周知技術のうちのいずれか１つ又はこれらの組み合わせによって実現することができる。
普通の当業者であれば、上記の実施例に係る方法に含まれる全部又は一部のステップは、プログラムによってハードウェアを命令することで実行することができると理解することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、当該プログラムが実行される場合に、方法実施例におけるステップの１つ又はそれらの組み合わせが実行される。
また、本発明の各実施例における各機能ユニットは、１つの処理モジュールに集積されてもよいし、それぞれが個別の物理的存在であってもよいし、２つ以上のユニットが１つのモジュールに集積されてもよい。集積モジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。集積モジュールがソフト機能モジュールの形態で実現されるとともに、独立した製品として販売又は使用される場合に、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどであってもよい。以上、本発明の実施例を示して説明したが、上記実施例は例示するものであり、本発明を制限するためのものであると理解してはいけなく、普通の当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、置換え、変形を行うことができることを理解できる。

Claims (12)

  1. 第１の所定範囲内の障害物を検出するレーダと、
    第２の所定範囲内の画像を撮影するカメラと、
    前記レーダおよび前記カメラに接続され、前記レーダによって検出された障害物情報と前記カメラによって検出された画像とに基づいて点群画像を生成するメインプロセッサと、
    前記レーダおよび前記カメラに接続され、前記レーダによって検出された前記障害物情報と前記カメラによって検出された前記画像とに基づいて前記点群画像を生成するスタンバイプロセッサとを備え、
    該スタンバイプロセッサは、前記メインプロセッサを検出し、該メインプロセッサが故障した場合、前記スタンバイプロセッサが前記メインプロセッサとして切り替わるインテリジェント路側ユニット。
  2. 前記スタンバイプロセッサは、前記メインプロセッサにハートビート検出メッセージを送信し、前記メインプロセッサによってフィードバックされる応答メッセージが所定時間内に受信されなかった場合、前記メインプロセッサが故障したと判断する請求項１に記載のインテリジェント路側ユニット。
  3. 信号機をさらに備え、
    前記メインプロセッサは、前記点群画像に基づいて前記信号機を制御する請求項１または２に記載のインテリジェント路側ユニット。
  4. 前記メインプロセッサおよび前記スタンバイプロセッサに接続されるコミュニケータをさらに備え、
    前記メインプロセッサは、前記コミュニケータを介して前記点群画像を前記インテリジェント路側ユニットの付近の無人運転車両またはサーバに送信する請求項３に記載のインテリジェント路側ユニット。
  5. 前記カメラの少なくとも一部を被覆する遮蔽層をさらに備える請求項４に記載のインテリジェント路側ユニット。
  6. 前記レーダは、第１のレーダと第２のレーダとを有し、
    前記第１のレーダの検出距離は前記第２のレーダの検出距離より大きい請求項１から請求項５のいずれかに記載のインテリジェント路側ユニット。
  7. 前記第１のレーダおよび前記第２のレーダは、いずれもレーザレーダである請求項６に記載のインテリジェント路側ユニット。
  8. 前記第１のレーダは６４ラインのレーザレーダであり、前記第２のレーダは１６ラインのレーザレーダである請求項７に記載のインテリジェント路側ユニット。
  9. 前記第１のレーダはレーザレーダであり、前記第２のレーダはミリ波レーダである請求項６に記載のインテリジェント路側ユニット。
  10. 前記カメラは複数であり、前記インテリジェント路側ユニットによって監視される交差点にそれぞれ対応する請求項１に記載のインテリジェント路側ユニット。
  11. 前記遮蔽層は、前記カメラの、レンズおよび放熱部分を除いた他の部分を被覆する請求項５に記載のインテリジェント路側ユニット。
  12. 前記第１のレーダは前記カメラの上方に位置し、前記第２のレーダは前記カメラの下方に位置する請求項６に記載のインテリジェント路側ユニット。
JP2019158725A 2018-08-31 2019-08-30 インテリジェント路側ユニット Active JP7000639B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811015653.1A CN110874926A (zh) 2018-08-31 2018-08-31 智能路侧单元
CN201811015653.1 2018-08-31

Publications (2)

Publication Number Publication Date
JP2020038652A true JP2020038652A (ja) 2020-03-12
JP7000639B2 JP7000639B2 (ja) 2022-01-19

Family

ID=67620318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019158725A Active JP7000639B2 (ja) 2018-08-31 2019-08-30 インテリジェント路側ユニット

Country Status (4)

Country Link
US (1) US11579285B2 (ja)
EP (1) EP3624082A1 (ja)
JP (1) JP7000639B2 (ja)
CN (1) CN110874926A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341108A (zh) * 2020-05-19 2020-06-26 成都信息工程大学 一种基于云平台的智能交通控制系统及其控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489455A (zh) * 2020-12-01 2021-03-12 苏州金螳螂怡和科技有限公司 一种基于机器学习的信号灯自动配时装置及其方法
CN112541416B (zh) * 2020-12-02 2023-07-14 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
US11671857B2 (en) 2020-12-03 2023-06-06 Mitsubishi Electric Corporation Roadside communication system for monitoring and maintaining sensor data transmission
CN113762195A (zh) * 2021-09-16 2021-12-07 复旦大学 一种基于路侧rsu的点云语义分割与理解方法
CN116974289B (zh) * 2023-09-22 2023-12-15 龙合智能装备制造有限公司 一种用于集装箱装卸搬运的智能机器人导航避障方法
CN117634531B (zh) * 2024-01-25 2024-04-12 南京楚航科技有限公司 一种数据级联的车载4d毫米波雷达信号处理方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2006085246A (ja) * 2004-09-14 2006-03-30 Toshiba Corp マルチプロセッサ信号処理装置
JP2009199532A (ja) * 2008-02-25 2009-09-03 Denso Corp 交差点運転支援システム、車載器、及び、路側機
JP2009201098A (ja) * 2008-01-22 2009-09-03 Fujitsu Ltd アドレス配信システム、方法およびそのためのプログラム
JP2012531138A (ja) * 2009-06-24 2012-12-06 中▲興▼通▲訊▼股▲ふぇん▼有限公司 メイン／スタンバイボードのスイッチング方法及びシステム
JP2017000189A (ja) * 2015-06-04 2017-01-05 オリンパス株式会社 制御システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289183A (en) * 1992-06-19 1994-02-22 At/Comm Incorporated Traffic monitoring and management method and apparatus
US6489920B1 (en) * 1998-07-17 2002-12-03 Siemens Aktiengesellschaft Method for detecting a vehicle traffic status and system for detecting said traffic status
US6466862B1 (en) * 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
US6580385B1 (en) * 1999-05-26 2003-06-17 Robert Bosch Gmbh Object detection system
JP3487346B2 (ja) * 2001-03-30 2004-01-19 独立行政法人通信総合研究所 道路交通監視システム
JP4420275B2 (ja) 2003-11-12 2010-02-24 株式会社日立製作所 フェイルオーバクラスタシステム及びフェイルオーバクラスタシステムを用いたプログラムのインストール方法
US7373433B2 (en) 2004-10-22 2008-05-13 International Business Machines Corporation Apparatus and method to provide failover protection in an information storage and retrieval system
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US7889097B1 (en) * 2005-12-19 2011-02-15 Wavetronix Llc Detecting targets in roadway intersections
US7573400B2 (en) * 2005-10-31 2009-08-11 Wavetronix, Llc Systems and methods for configuring intersection detection zones
US7541943B2 (en) * 2006-05-05 2009-06-02 Eis Electronic Integrated Systems Inc. Traffic sensor incorporating a video camera and method of operating same
US7786897B2 (en) * 2007-01-23 2010-08-31 Jai Pulnix, Inc. High occupancy vehicle (HOV) lane enforcement
FR2928221B1 (fr) * 2008-02-28 2013-10-18 Neavia Technologies Procede et dispositif de detection multi-technologie de vehicule.
US8009081B2 (en) * 2008-10-21 2011-08-30 Lang Hong 3D video-Doppler-radar (VIDAR) imaging system
US20100328140A1 (en) * 2008-11-06 2010-12-30 Lang Hong Video-Doppler-Radar Traffic Surveillance System
US20110102237A1 (en) * 2008-12-12 2011-05-05 Lang Hong Fusion Algorithm for Vidar Traffic Surveillance System
US20110291876A1 (en) * 2010-05-29 2011-12-01 Lang Hong Doppler-Vision-Radar Traffic Surveillance System
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
WO2012068064A1 (en) * 2010-11-15 2012-05-24 Image Sensing Systems, Inc. Hybrid traffic sensor system and associated method
US20120188115A1 (en) * 2011-01-24 2012-07-26 Lang Hong Using Forward-Look and Side-Look Doppler Radars for Precise Vehicle Association in Automated Traffic Surveillance
US8692690B2 (en) * 2011-03-09 2014-04-08 Xerox Corporation Automated vehicle speed measurement and enforcement method and system
KR101247960B1 (ko) * 2011-10-18 2013-04-03 메타빌드주식회사 레이더를 이용한 멀티 모드 장애물 감지 방법 및 그 장치
CN102571443B (zh) * 2012-01-20 2015-04-08 华为技术有限公司 一种异常处理的方法和装置
KR101638437B1 (ko) * 2012-09-25 2016-07-12 한국전자통신연구원 고장감내처리 시스템의 동작방법
US20140307087A1 (en) * 2013-04-10 2014-10-16 Xerox Corporation Methods and systems for preventing traffic accidents
DE102013006942B3 (de) * 2013-04-23 2014-04-30 Jenoptik Robot Gmbh Vorrichtung für eine Anlage zur Verkehrsüberwachung von Fahrzeugen im Straßenverkehr
HUE026931T2 (en) * 2013-05-13 2016-08-29 Kapsch Trafficcom Ag Device and method for determining the characteristics of a vehicle
CN105849585B (zh) * 2013-12-26 2017-10-13 株式会社日立制作所 物体识别装置
JP6252365B2 (ja) * 2014-06-11 2017-12-27 株式会社デンソー 安全確認支援システム、安全確認支援方法
US10061015B2 (en) * 2015-09-30 2018-08-28 Texas Instruments Incorporated Multi-chip transceiver testing in a radar system
KR101619838B1 (ko) * 2015-12-09 2016-05-13 공간정보기술 주식회사 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
US10816654B2 (en) * 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization
WO2018007995A1 (en) * 2016-07-08 2018-01-11 Magna Electronics Inc. 2d mimo radar system for vehicle
US20180017675A1 (en) * 2016-07-13 2018-01-18 Lang Hong System for Video-Doppler-Radar Traffic Surveillance
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US9791557B1 (en) * 2016-09-15 2017-10-17 Qualcomm Incorporated System and method for multi-area LIDAR ranging
JP6885721B2 (ja) * 2016-12-27 2021-06-16 株式会社デンソー 物体検出装置、物体検出方法
JP6854357B2 (ja) * 2017-10-10 2021-04-07 日産自動車株式会社 運転制御方法及び運転制御装置
CN107945540A (zh) * 2017-10-27 2018-04-20 清华大学苏州汽车研究院（吴江） 一种信号灯路口的车路协同控制系统
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
US10761534B2 (en) * 2018-01-30 2020-09-01 Uatc, Llc Fused sensor view for self-driving truck
US10882521B2 (en) * 2018-02-21 2021-01-05 Blackberry Limited Method and system for use of sensors in parked vehicles for traffic safety
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
US10884119B2 (en) * 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2006085246A (ja) * 2004-09-14 2006-03-30 Toshiba Corp マルチプロセッサ信号処理装置
JP2009201098A (ja) * 2008-01-22 2009-09-03 Fujitsu Ltd アドレス配信システム、方法およびそのためのプログラム
JP2009199532A (ja) * 2008-02-25 2009-09-03 Denso Corp 交差点運転支援システム、車載器、及び、路側機
JP2012531138A (ja) * 2009-06-24 2012-12-06 中▲興▼通▲訊▼股▲ふぇん▼有限公司 メイン／スタンバイボードのスイッチング方法及びシステム
JP2017000189A (ja) * 2015-06-04 2017-01-05 オリンパス株式会社 制御システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341108A (zh) * 2020-05-19 2020-06-26 成都信息工程大学 一种基于云平台的智能交通控制系统及其控制方法

Also Published As

Publication number Publication date
US11579285B2 (en) 2023-02-14
US20200072962A1 (en) 2020-03-05
CN110874926A (zh) 2020-03-10
EP3624082A1 (en) 2020-03-18
JP7000639B2 (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
JP7000639B2 (ja) インテリジェント路側ユニット
JP2020038638A (ja) インテリジェント路側ユニット。
JP2020037400A (ja) 車両インフラ協調に基づく路側感知システムおよびその車両制御方法
JP2020038651A (ja) インテリジェント路側ユニットおよびその制御方法、コンピュータ機器および記憶媒体
US11327486B2 (en) Vehicle and control method thereof
CN110036426B (zh) 控制装置和控制方法
JP2020038647A (ja) 信号機制御システム及び信号機制御方法
JP6818820B2 (ja) インテリジェント路側ユニットおよびその情報処理方法
CN113043955A (zh) 路况信息显示装置、方法及车辆
JP2020038654A (ja) インテリジェント路側ユニットおよびその制御方法
US11318937B2 (en) Driver assistance apparatus and method thereof
JP7075244B2 (ja) 周辺監視装置、周辺監視システム、および周辺監視方法
US11753014B2 (en) Method and control unit automatically controlling lane change assist
JP7077282B2 (ja) インテリジェント路側ユニットおよびその情報処理方法
JP2022089122A (ja) インフラストラクチャ情報から計算される信頼度数値に基づく車両制御
US20230073860A1 (en) Apparatus for assisting travelling of vehicle and method thereof
US11820399B2 (en) Vehicle
JP7064109B2 (ja) インテリジェント路側ユニットおよびその制御方法
JP3823944B2 (ja) 移動物体報知装置
KR20240026365A (ko) 차량 및 그 제어 방법
US11970181B2 (en) Apparatus and method for assisting in driving vehicle
US20220348207A1 (en) Apparatus and method for assisting driving of vehicle
WO2023087248A1 (zh) 一种信息处理方法及装置
EP3276588B1 (en) Cross traffic detection system for a vehicle
KR20210006711A (ko) 차량의 영상 기록 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210824

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210831

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R150 Certificate of patent or registration of utility model

Ref document number: 7000639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150