JP2019087015A - 遠隔監視システム及び自律走行車両並びに遠隔監視方法 - Google Patents
遠隔監視システム及び自律走行車両並びに遠隔監視方法 Download PDFInfo
- Publication number
- JP2019087015A JP2019087015A JP2017214690A JP2017214690A JP2019087015A JP 2019087015 A JP2019087015 A JP 2019087015A JP 2017214690 A JP2017214690 A JP 2017214690A JP 2017214690 A JP2017214690 A JP 2017214690A JP 2019087015 A JP2019087015 A JP 2019087015A
- Authority
- JP
- Japan
- Prior art keywords
- remote monitoring
- traveling vehicle
- autonomous
- vehicle
- monitoring center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 131
- 238000001514 detection method Methods 0.000 claims description 92
- 238000004891 communication Methods 0.000 claims description 67
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000013459 approach Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 51
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/226—Communication links with the remote-control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
1−1.遠隔監視システムの構成
遠隔監視システムは、自律走行車両と遠隔監視センターとをネットワークで接続してなるシステムである。図1は、本発明の実施の形態に係る遠隔監視システム1の構成を示す図である。以下、遠隔監視システム1の構成について図1を参照して説明する。なお、ここで説明する遠隔監視システム1の構成は、実施の形態1だけでなく後述する実施の形態2‐7にも共通する構成である。
上記の構成を有する遠隔監視システム1において実行することができる実施の形態1の遠隔監視方法について説明する。遠隔監視システム1による遠隔監視方法は、車載システム側の処理と遠隔監視センター側の処理とに分けて説明することができる。図2は、実施の形態1の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。図3は、実施の形態1の遠隔監視方法を実現するための遠隔監視センター側の処理を示すフローチャートである。
次に、遠隔監視システム1において実行することができる実施の形態2の遠隔監視方法について説明する。図4は、実施の形態2の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。図5は、実施の形態2の遠隔監視方法を実現するための遠隔監視センター側の処理を示すフローチャートである。なお、各フローチャートにおいて実施の形態1の遠隔監視方法に係る処理と同内容の処理については説明を簡略化するか或いは省略する。
次に、遠隔監視システム1において実行することができる実施の形態3の遠隔監視方法について説明する。図6は、実施の形態3の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。図7は、実施の形態3の遠隔監視方法を実現するための遠隔監視センター側の処理を示すフローチャートである。なお、各フローチャートにおいて実施の形態1の遠隔監視方法に係る処理と同内容の処理については説明を簡略化するか或いは省略する。
次に、遠隔監視システム1において実行することができる実施の形態4の遠隔監視方法について説明する。図8は、実施の形態4の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。図9は、実施の形態4の遠隔監視方法を実現するための遠隔監視センター側の処理を示すフローチャートである。なお、各フローチャートにおいて実施の形態1の遠隔監視方法に係る処理と同内容の処理については説明を簡略化するか或いは省略する。
次に、遠隔監視システム1において実行することができる実施の形態5の遠隔監視方法について説明する。実施の形態5の遠隔監視方法は、車載システム側の処理に特徴がある。遠隔監視センター側の処理は、実施の形態1における遠隔監視センター側の処理(図3参照)と同じであるので、その説明は省略する。図10は、実施の形態5の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。以下、図10を参照して車載システム側の処理についてのみ説明する。ただし、図10に示すフローチャートにおいて実施の形態1における車載システム側の処理と同内容の処理については説明を簡略化するか或いは省略する。
次に、遠隔監視システム1において実行することができる実施の形態6の遠隔監視方法について説明する。実施の形態6では、車載システム側と遠隔監視センター側のそれぞれにおいて、遠隔監視のための予備的な処理が常時行われている。図11は、実施の形態6の遠隔監視方法を実現するために車載システム側で常時実行される予備的処理を示すフローチャートである。図12は、実施の形態6の遠隔監視方法を実現するために遠隔監視センター側で常時実行される予備的処理を示すフローチャートである。
上記の実施の形態では、衝突の危険のある障害物が検知された後にカメラ映像を遠隔監視センター4に送信しているが、車両10の走行中は常にカメラ映像を遠隔監視センター4に送信するようにしてもよい。
次に、遠隔監視システム1において実行することができる参考例の遠隔監視方法について説明する。参考例の遠隔監視方法は、車載システム側の処理に特徴がある。遠隔監視センター側の処理は、実施の形態1における遠隔監視センター側の処理(図3参照)と同じであるので、その説明は省略する。図14は、参考例の遠隔監視方法を実現するための車載システム側の処理を示すフローチャートである。以下、図14を参照して車載システム側の処理についてのみ説明する。ただし、図14に示すフローチャートにおいて実施の形態1における車載システム側の処理と同内容の処理については説明を簡略化するか或いは省略する。
「ネットワークを介して遠隔監視センターと接続され、前記遠隔監視センターからの遠隔操作が可能な自律走行車両であって、
前記自律走行車両の周辺を撮影するカメラと、
前記カメラで撮影した前記自律走行車両の周辺の映像を前記遠隔監視システムに送信するカメラ映像送信部と、
前記自律走行車両と前記遠隔監視センターとの間の通信が途絶した場合、前記自律走行車両を自動停止させる停止制御部と、
前記停止制御部による前記自律走行車両の自動停止の後、前記遠隔監視センターから発進信号を受信した場合、前記自律走行車両の走行を再開させる走行再開制御部と、
を備えることを特徴とする自律走行車両」という発明を把握することができる。
2 ネットワーク
4 遠隔監視センター
10 自律走行車両
12 カメラ(自律センサ)
14 ミリ波レーダ(自律センサ)
16 ライダー(自律センサ)
18 通信装置
20 制御装置
22 カメラ映像送信部
24 障害物検知部
26 停止制御部
28 走行再開制御部
Claims (21)
- 自律走行車両と、ネットワークを介して前記自律走行車両と通信を行う遠隔監視センターと、から構成される遠隔監視システムであって、
前記自律走行車両は、
少なくともカメラを含む前記自律走行車両の周辺環境の認識を行う自律センサと、
前記カメラで撮影した前記自律走行車両の周辺の映像を前記遠隔監視センターに送信するカメラ映像送信部と、
前記自律センサから得られる情報に基づいて前記自律走行車両と関係する障害物を検知する障害物検知部と、
前記障害物検知部により障害物が検知された場合、前記自律走行車両を自動停止させる停止制御部と、
前記停止制御部による前記自律走行車両の自動停止の後、前記遠隔監視センターから発進信号を受信した場合、前記自律走行車両の走行を再開させる走行再開制御部と、を備え、
前記遠隔監視センターは、
前記自律走行車両が自動停止した場合、前記カメラ映像送信部から受信した映像に基づいて前記自律走行車両の走行を再開させてよいかどうか判断し、前記自律走行車両の走行を再開させてよいと判断した場合には、前記自律走行車両に前記発進信号を送信する
ことを特徴とする遠隔監視システム。 - 前記停止制御部は、前記障害物検知部により障害物が検知された場合、前記自律走行車両を徐行させ、前記遠隔監視センターとの間の通信が途絶した場合に前記自律走行車両を自動停止させる
ことを特徴とする請求項1に記載の遠隔監視システム。 - 前記走行再開制御部は、前記自律走行車両の走行を再開させた後の所定時間、前記自律走行車両を徐行させる
ことを特徴とする請求項1又は2に記載の遠隔監視システム。 - 前記走行再開制御部は、前記遠隔監視センターから前記発進信号を受信している間のみ前記自律走行車両を徐行させ、前記遠隔監視センターからの前記発進信号が途絶した場合、前記自律走行車両を停止させる
ことを特徴とする請求項3に記載の遠隔監視システム。 - 前記走行再開制御部は、前記停止制御部による前記自律走行車両の自動停止の後、前記障害物検知部により障害物が検知されなくなった場合、前記自律走行車両の走行を自律的に再開する
ことを特徴とする請求項1乃至4の何れか1項に記載の遠隔監視システム。 - 前記障害物検知部は、前記遠隔監視センターとの間の通信が途絶した場合、前記遠隔監視センターとの間の通信が確立している場合よりも誤検知は許容する一方で未検知を減らすように障害物検知の閾値を変更する
ことを特徴とする請求項1乃至5の何れか1項に記載の遠隔監視システム。 - 前記遠隔監視センターは、前記遠隔監視センターにおいて安全が確認されている場所に前記自律走行車両が近づいた場合には、前記自律走行車両に当該場所の安全を通知し、
前記停止制御部は、前記遠隔監視センターにより安全を通知されている場所において前記障害物検知部により障害物が検知された場合、誤検知であると判断して前記自律走行車両を停止させないようにする
ことを特徴とする請求項1乃至6の何れか1項に記載の遠隔監視システム。 - ネットワークを介して遠隔監視センターと接続され、前記遠隔監視センターからの遠隔操作が可能な自律走行車両であって、
少なくともカメラを含む前記自律走行車両の周辺環境の認識を行う自律センサと、
前記カメラで撮影した前記自律走行車両の周辺の映像を前記遠隔監視センターに送信するカメラ映像送信部と、
前記自律センサから得られる情報に基づいて前記自律走行車両と関係する障害物を検知する障害物検知部と、
前記障害物検知部により障害物が検知された場合、前記自律走行車両を自動停止させる停止制御部と、
前記停止制御部による前記自律走行車両の自動停止の後、前記遠隔監視センターから発進信号を受信した場合、前記自律走行車両の走行を再開させる走行再開制御部と、
を備えることを特徴とする自律走行車両。 - 前記停止制御部は、前記障害物検知部により障害物が検知された場合、前記自律走行車両を徐行させ、前記遠隔監視センターとの間の通信が途絶した場合に前記自律走行車両を自動停止させる
ことを特徴とする請求項8に記載の自律走行車両。 - 前記走行再開制御部は、前記自律走行車両の走行を再開させた後の所定時間、前記自律走行車両を徐行させる
ことを特徴とする請求項8又は9に記載の自律走行車両。 - 前記走行再開制御部は、前記遠隔監視センターから前記発進信号を受信している間のみ前記自律走行車両を徐行させ、前記遠隔監視センターからの前記発進信号が途絶した場合、前記自律走行車両を停止させる
ことを特徴とする請求項10に記載の自律走行車両。 - 前記走行再開制御部は、前記停止制御部による前記自律走行車両の自動停止の後、前記障害物検知部により障害物が検知されなくなった場合、前記自律走行車両の走行を自律的に再開する
ことを特徴とする請求項8乃至11の何れか1項に記載の自律走行車両。 - 前記障害物検知部は、前記遠隔監視センターとの間の通信が途絶した場合、前記遠隔監視センターとの間の通信が確立している場合よりも誤検知は許容する一方で未検知を減らすように障害物検知の閾値を変更する
ことを特徴とする請求項8乃至12の何れか1項に記載の自律走行車両。 - 前記停止制御部は、前記遠隔監視センターにより安全を通知されている場所において前記障害物検知部により障害物が検知された場合、誤検知であると判断して前記自律走行車両を停止させないようにする
ことを特徴とする請求項8乃至13の何れか1項に記載の自律走行車両。 - 自律走行車両と、ネットワークを介して前記自律走行車両と通信を行う遠隔監視センターと、から構成される遠隔監視システムにおいて実行される遠隔監視方法であって、
前記自律走行車両に搭載されたカメラで撮影した前記自律走行車両の周辺の映像を前記自律走行車両から前記遠隔監視センターに送信するステップと、
少なくとも前記カメラを含む自律センサから得られる情報に基づいて、前記自律走行車両と関係する障害物を前記自律走行車両が自律検知するステップと、
前記自律走行車両の自律検知によって障害物が検知された場合、前記自律走行車両が自動停止するステップと、
前記自律走行車両が自動停止した場合、前記自律走行車両から前記遠隔監視センターに送信されたカメラ映像に基づいて、前記自律走行車両の走行を再開させてよいかどうかの判断を前記遠隔監視センターにおいて行うステップと、
前記自律走行車両の走行を再開させてよいとの判断がなされた場合、前記遠隔監視センターから前記自律走行車両に前記自律走行車両の走行再開を許可する発進信号を送信するステップと、
前記遠隔監視センターからの前記発進信号を受信した場合、前記自律走行車両が走行を再開するステップと、
を含むことを特徴とする遠隔監視方法。 - 前記自律走行車両が自動停止するステップでは、前記自律走行車両の自律検知によって障害物が検知された場合、前記自律走行車両は徐行し、前記自律走行車両と前記遠隔監視センターとの間の通信が途絶した場合に前記自律走行車両は自動停止する
ことを特徴とする請求項15に記載の遠隔監視方法。 - 前記自律走行車両が走行を再開するステップでは、走行再開後の所定時間、前記自律走行車両は徐行する
ことを特徴とする請求項15又は16に記載の遠隔監視方法。 - 前記自律走行車両が走行を再開するステップでは、前記遠隔監視センターから前記発進信号を受信している間のみ前記自律走行車両は徐行し、前記遠隔監視センターからの前記発進信号が途絶した場合に前記自律走行車両は停止する
ことを特徴とする請求項17に記載の遠隔監視方法。 - 前記自律走行車両が走行を再開するステップでは、前記自律走行車両の自動停止の後、前記自律走行車両の自律検知によって障害物が検知されなくなった場合、前記自律走行車両は走行を自律的に再開する
ことを特徴とする請求項15乃至18の何れか1項に記載の遠隔監視方法。 - 前記自律走行車両と前記遠隔監視センターとの間の通信が途絶した場合、前記自律走行車両と前記遠隔監視センターとの間の通信が確立している場合よりも誤検知は許容する一方で未検知を減らすように、前記自律走行車両の自律検知における障害物検知の閾値を変更するステップ、
をさらに含むことを特徴とする請求項15乃至19の何れか1項に記載の遠隔監視方法。 - 前記遠隔監視センターにおいて安全が確認されている場所に前記自律走行車両が近づいた場合、前記遠隔監視センターから前記自律走行車両に当該場所の安全を通知するステップをさらに備え、
前記自律走行車両が自動停止するステップでは、前記遠隔監視センターにより安全を通知されている場所では、前記自律走行車両の自律検知によって障害物を検知した場合でも前記自律走行車両は自動停止しない
ことを特徴とする請求項15乃至20の何れか1項に記載の遠隔監視方法。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214690A JP6958252B2 (ja) | 2017-11-07 | 2017-11-07 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
US16/180,092 US11513516B2 (en) | 2017-11-07 | 2018-11-05 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
CN201811306891.8A CN109753060A (zh) | 2017-11-07 | 2018-11-05 | 远程监控系统、自主行驶车辆以及远程监控方法 |
US17/360,830 US12032371B2 (en) | 2017-11-07 | 2021-06-28 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
JP2021157562A JP7416032B2 (ja) | 2017-11-07 | 2021-09-28 | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 |
US17/963,680 US11868129B2 (en) | 2017-11-07 | 2022-10-11 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
US17/964,476 US12045051B2 (en) | 2017-11-07 | 2022-10-12 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
US17/965,328 US20230192137A1 (en) | 2017-11-07 | 2022-10-13 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
US17/966,077 US11953899B2 (en) | 2017-11-07 | 2022-10-14 | Remote monitoring system and an autonomous running vehicle and remote monitoring method |
JP2023187713A JP2024016141A (ja) | 2017-11-07 | 2023-11-01 | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214690A JP6958252B2 (ja) | 2017-11-07 | 2017-11-07 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021157562A Division JP7416032B2 (ja) | 2017-11-07 | 2021-09-28 | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019087015A true JP2019087015A (ja) | 2019-06-06 |
JP6958252B2 JP6958252B2 (ja) | 2021-11-02 |
Family
ID=66328543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017214690A Active JP6958252B2 (ja) | 2017-11-07 | 2017-11-07 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
Country Status (3)
Country | Link |
---|---|
US (6) | US11513516B2 (ja) |
JP (1) | JP6958252B2 (ja) |
CN (1) | CN109753060A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021009432A (ja) * | 2019-06-28 | 2021-01-28 | トヨタ自動車株式会社 | 自動運転車両の操作装置 |
JP2021008158A (ja) * | 2019-06-28 | 2021-01-28 | トヨタ自動車株式会社 | 自動運転車両 |
JP2021057724A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社デンソー | 監視センタ、及び支援方法 |
WO2021193059A1 (ja) * | 2020-03-26 | 2021-09-30 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理システム |
JP2021163323A (ja) * | 2020-04-01 | 2021-10-11 | 株式会社デンソー | 走行支援要求装置 |
JP2021174134A (ja) * | 2020-04-22 | 2021-11-01 | Kddi株式会社 | 測定記録装置、監視装置、遠隔監視システム、測定記録方法、監視方法及びコンピュータプログラム |
WO2024084581A1 (ja) * | 2022-10-18 | 2024-04-25 | 株式会社Subaru | 運転制御システム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6958252B2 (ja) | 2017-11-07 | 2021-11-02 | トヨタ自動車株式会社 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
EP4345566A3 (en) * | 2018-03-26 | 2024-06-26 | Jabil Inc. | Apparatus, system, and method of using depth assessment for autonomous robot navigation |
JP7331531B2 (ja) * | 2019-07-29 | 2023-08-23 | トヨタ自動車株式会社 | 遠隔操作システム、プログラム及び車両 |
US11989019B1 (en) * | 2019-09-30 | 2024-05-21 | United Services Automobile Association (Usaa) | Systems and methods for detecting and transmitting driving condition information related to an autonomous vehicle |
JP7172946B2 (ja) * | 2019-10-29 | 2022-11-16 | 株式会社デンソー | 管理システム、管理方法、及び管理プログラム |
JP7238738B2 (ja) * | 2019-11-19 | 2023-03-14 | トヨタ自動車株式会社 | 画像処理システム、処理装置、中継装置及びプログラム |
JP7470510B2 (ja) * | 2019-12-02 | 2024-04-18 | ダイムラー トラック エージー | 車両制御装置、車両制御方法、及び車両制御プログラム |
US20210343091A1 (en) * | 2020-04-29 | 2021-11-04 | Teleo, Inc. | Deported compute for teleoperation and autonomous systems |
US11380109B2 (en) | 2020-08-14 | 2022-07-05 | Tusimple, Inc. | Mobile launchpad for autonomous vehicles |
US11718319B2 (en) | 2020-08-14 | 2023-08-08 | Tusimple, Inc. | Landing pad for autonomous vehicles |
US11613381B2 (en) | 2020-08-14 | 2023-03-28 | Tusimple, Inc. | Launchpad for autonomous vehicles |
EP4075228A1 (en) * | 2021-04-16 | 2022-10-19 | Volvo Autonomous Solutions AB | A system for operating vehicles at a work site |
CN113311835B (zh) * | 2021-05-21 | 2023-12-29 | 深圳安途智行科技有限公司 | 降低自动驾驶车辆行驶风险的方法 |
CN113467431A (zh) * | 2021-08-03 | 2021-10-01 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于5g通讯的远程监控与应急干预管理系统 |
JP7501470B2 (ja) | 2021-08-19 | 2024-06-18 | トヨタ自動車株式会社 | 走行映像表示方法、走行映像表示システム |
US20240192683A1 (en) * | 2022-12-07 | 2024-06-13 | Kodiak Robotics, Inc. | Method for remote stop of a vehicle |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005112011A (ja) * | 2003-10-02 | 2005-04-28 | Toyota Motor Corp | 車両走行制御装置、車両走行制御方法、及び車両走行制御システム |
WO2015147111A1 (ja) * | 2014-03-28 | 2015-10-01 | ヤンマー株式会社 | 自律走行作業車両 |
JP2016181031A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社デンソー | 自動走行制御装置、又は、自動走行制御システム |
JP2016181032A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社デンソー | 自動走行制御装置及び自動走行制御システム |
JP2016185745A (ja) * | 2015-03-27 | 2016-10-27 | クラリオン株式会社 | 車両制御装置 |
JP2016215751A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社デンソー | 自動走行制御装置、又は、自動走行制御システム |
US20170129537A1 (en) * | 2015-11-10 | 2017-05-11 | Hyundai Motor Company | Method and apparatus for remotely controlling vehicle parking |
JP2017092678A (ja) * | 2015-11-09 | 2017-05-25 | 修一 田山 | 自動車用画像表示システム |
JP2017165296A (ja) * | 2016-03-17 | 2017-09-21 | 株式会社日立製作所 | 自動運転制御システム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0661045B2 (ja) | 1985-09-09 | 1994-08-10 | 株式会社豊田自動織機製作所 | 無人車の走行制御方法 |
JP2643101B2 (ja) | 1988-10-13 | 1997-08-20 | 川崎重工業株式会社 | 無人走行装置 |
JPH0661045A (ja) | 1992-08-06 | 1994-03-04 | Railway Technical Res Inst | 超電導磁石 |
JPH11149315A (ja) | 1997-11-19 | 1999-06-02 | Mitsubishi Heavy Ind Ltd | ロボット制御システム |
JP4197209B2 (ja) | 1999-05-21 | 2008-12-17 | 株式会社小松製作所 | 車両の無人走行システム |
JP2002041145A (ja) | 2000-07-25 | 2002-02-08 | Mitsubishi Electric Corp | 自動搬送車の遠隔監視システム |
US6411054B1 (en) * | 2000-12-15 | 2002-06-25 | Ford Global Technologies, Inc. | Obstruction detection system for power liftgate |
JP2003316438A (ja) | 2002-04-22 | 2003-11-07 | Fuji Heavy Ind Ltd | 自律走行作業車 |
DE102005009702A1 (de) | 2005-03-03 | 2006-09-07 | Robert Bosch Gmbh | Abstandsmessvorrichtung und Verfahren zur Funktionsprüfung einer Abstandsmessung |
DE102005038489A1 (de) | 2005-08-13 | 2007-02-15 | Bayerische Motoren Werke Ag | Verfahren zum Deaktivieren einer automatischen Losfahrfunktion eines abstandsbezogenen Fahrgeschwindigkeitsregelsystems |
DE102007036787A1 (de) | 2007-08-03 | 2009-02-05 | Robert Bosch Gmbh | Abstandsregler mit automatischer Anhaltefunktion |
US9096267B2 (en) * | 2013-01-21 | 2015-08-04 | GM Global Technology Operations LLC | Efficient data flow algorithms for autonomous lane changing, passing and overtaking behaviors |
ES2972160T3 (es) * | 2014-01-16 | 2024-06-11 | Polestar Performance Ab | Un vehículo adaptado para la conducción autónoma y un método para detectar objetos obstructores |
US9631933B1 (en) | 2014-05-23 | 2017-04-25 | Google Inc. | Specifying unavailable locations for autonomous vehicles |
EP4086721B1 (en) * | 2015-03-11 | 2023-09-20 | Kubota Corporation | Work vehicle with a running control apparatus causing automatic running of the work vehicle, preferably an agricultural vehicle |
KR102267562B1 (ko) * | 2015-04-16 | 2021-06-22 | 한국전자통신연구원 | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 |
JP6428687B2 (ja) * | 2016-03-18 | 2018-11-28 | 株式会社デンソー | 通信制御装置 |
JP6717697B2 (ja) * | 2016-07-27 | 2020-07-01 | シャープ株式会社 | 自律走行装置 |
US20180194344A1 (en) * | 2016-07-29 | 2018-07-12 | Faraday&Future Inc. | System and method for autonomous vehicle navigation |
CN106131790B (zh) * | 2016-08-18 | 2021-01-15 | 联想(北京)有限公司 | 移动装置的控制方法和移动装置 |
JPWO2018155159A1 (ja) * | 2017-02-24 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 遠隔映像出力システム、及び遠隔映像出力装置 |
JP6706845B2 (ja) * | 2017-02-28 | 2020-06-10 | パナソニックIpマネジメント株式会社 | 遠隔操縦装置、遠隔操縦方法 |
JP6697686B2 (ja) * | 2017-02-28 | 2020-05-27 | パナソニックIpマネジメント株式会社 | 管理装置と、管理装置の制御方法 |
JP6958252B2 (ja) | 2017-11-07 | 2021-11-02 | トヨタ自動車株式会社 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
-
2017
- 2017-11-07 JP JP2017214690A patent/JP6958252B2/ja active Active
-
2018
- 2018-11-05 CN CN201811306891.8A patent/CN109753060A/zh active Pending
- 2018-11-05 US US16/180,092 patent/US11513516B2/en active Active
-
2021
- 2021-06-28 US US17/360,830 patent/US12032371B2/en active Active
-
2022
- 2022-10-11 US US17/963,680 patent/US11868129B2/en active Active
- 2022-10-12 US US17/964,476 patent/US12045051B2/en active Active
- 2022-10-13 US US17/965,328 patent/US20230192137A1/en active Pending
- 2022-10-14 US US17/966,077 patent/US11953899B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005112011A (ja) * | 2003-10-02 | 2005-04-28 | Toyota Motor Corp | 車両走行制御装置、車両走行制御方法、及び車両走行制御システム |
WO2015147111A1 (ja) * | 2014-03-28 | 2015-10-01 | ヤンマー株式会社 | 自律走行作業車両 |
JP2016181031A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社デンソー | 自動走行制御装置、又は、自動走行制御システム |
JP2016181032A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社デンソー | 自動走行制御装置及び自動走行制御システム |
JP2016185745A (ja) * | 2015-03-27 | 2016-10-27 | クラリオン株式会社 | 車両制御装置 |
CN107614344A (zh) * | 2015-03-27 | 2018-01-19 | 歌乐株式会社 | 车辆控制装置 |
JP2016215751A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社デンソー | 自動走行制御装置、又は、自動走行制御システム |
JP2017092678A (ja) * | 2015-11-09 | 2017-05-25 | 修一 田山 | 自動車用画像表示システム |
US20170129537A1 (en) * | 2015-11-10 | 2017-05-11 | Hyundai Motor Company | Method and apparatus for remotely controlling vehicle parking |
JP2017165296A (ja) * | 2016-03-17 | 2017-09-21 | 株式会社日立製作所 | 自動運転制御システム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7247786B2 (ja) | 2019-06-28 | 2023-03-29 | トヨタ自動車株式会社 | 自動運転車両 |
JP2021008158A (ja) * | 2019-06-28 | 2021-01-28 | トヨタ自動車株式会社 | 自動運転車両 |
JP7151641B2 (ja) | 2019-06-28 | 2022-10-12 | トヨタ自動車株式会社 | 自動運転車両の操作装置 |
US11560157B2 (en) | 2019-06-28 | 2023-01-24 | Toyota Jidosha Kabushiki Kaisha | Remotely operated automatic driving vehicle with in-vehicle emergency stop feature |
JP2021009432A (ja) * | 2019-06-28 | 2021-01-28 | トヨタ自動車株式会社 | 自動運転車両の操作装置 |
JP2021057724A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社デンソー | 監視センタ、及び支援方法 |
JP7215386B2 (ja) | 2019-09-30 | 2023-01-31 | 株式会社デンソー | 監視センタ、及び支援方法 |
WO2021193059A1 (ja) * | 2020-03-26 | 2021-09-30 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理システム |
JP2021163323A (ja) * | 2020-04-01 | 2021-10-11 | 株式会社デンソー | 走行支援要求装置 |
JP7354905B2 (ja) | 2020-04-01 | 2023-10-03 | 株式会社デンソー | 走行支援要求装置 |
JP2021174134A (ja) * | 2020-04-22 | 2021-11-01 | Kddi株式会社 | 測定記録装置、監視装置、遠隔監視システム、測定記録方法、監視方法及びコンピュータプログラム |
JP7372872B2 (ja) | 2020-04-22 | 2023-11-01 | Kddi株式会社 | 監視装置、遠隔監視システム、監視方法及びコンピュータプログラム |
WO2024084581A1 (ja) * | 2022-10-18 | 2024-04-25 | 株式会社Subaru | 運転制御システム |
Also Published As
Publication number | Publication date |
---|---|
US11953899B2 (en) | 2024-04-09 |
US20230192137A1 (en) | 2023-06-22 |
US20210325871A1 (en) | 2021-10-21 |
US11513516B2 (en) | 2022-11-29 |
CN109753060A (zh) | 2019-05-14 |
US12045051B2 (en) | 2024-07-23 |
US11868129B2 (en) | 2024-01-09 |
US20230042706A1 (en) | 2023-02-09 |
US20230202526A1 (en) | 2023-06-29 |
US20190137999A1 (en) | 2019-05-09 |
US20230195109A1 (en) | 2023-06-22 |
US12032371B2 (en) | 2024-07-09 |
JP6958252B2 (ja) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6958252B2 (ja) | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 | |
US10392027B2 (en) | Driving assistance control apparatus | |
US9429941B2 (en) | Control apparatus of vehicle | |
US8666599B2 (en) | Driving support system | |
US20190004513A1 (en) | Driving assistance control apparatus | |
US20200079393A1 (en) | Electronic control device, vehicle control method, non-transitory tangible computer readable storage medium | |
CN112977416B (zh) | 驻车辅助系统及其控制方法 | |
JP2020131844A (ja) | 車両の運転制御システム | |
JP2016181032A (ja) | 自動走行制御装置及び自動走行制御システム | |
JP2024016141A (ja) | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 | |
JP2021049893A (ja) | 車両制御システム | |
JP2020131843A (ja) | 車両の運転制御システム | |
CN112977451B (zh) | 行驶辅助系统及其控制方法 | |
JP7298758B2 (ja) | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 | |
JP7298759B2 (ja) | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 | |
JP7298760B2 (ja) | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 | |
JP7416139B2 (ja) | 遠隔監視システム、車両制御装置、遠隔監視方法、及び、車両制御方法 | |
JP4265992B2 (ja) | 運転支援装置 | |
CN113022575B (zh) | 一种具有dvr和ai的车载前视adas一体机系统及方法 | |
JP7454626B1 (ja) | 車両制御装置 | |
KR102016356B1 (ko) | 스마트 기기와 차량 간 통신을 이용한 안전 주행 시스템 및 방법 | |
CN116129665A (zh) | 辅助自主车辆在道路交叉口行驶的方法和设备 | |
JP2023011244A (ja) | 運転システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6958252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |