JP2020042764A - 車両遠隔操作支援システム - Google Patents

車両遠隔操作支援システム Download PDF

Info

Publication number
JP2020042764A
JP2020042764A JP2019075331A JP2019075331A JP2020042764A JP 2020042764 A JP2020042764 A JP 2020042764A JP 2019075331 A JP2019075331 A JP 2019075331A JP 2019075331 A JP2019075331 A JP 2019075331A JP 2020042764 A JP2020042764 A JP 2020042764A
Authority
JP
Japan
Prior art keywords
remote operation
operation support
vehicle
support device
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019075331A
Other languages
English (en)
Inventor
祐輔 上田
Yusuke Ueda
祐輔 上田
卓也 森
Takuya Mori
卓也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Publication of JP2020042764A publication Critical patent/JP2020042764A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】管制センタにおいてオペレータが不足している場合にも遠隔操作支援ができる技術を提供する。【解決手段】車両遠隔操作支援システム500は、車両10と、遠隔操作支援装置20と、1つ以上の外部遠隔操作支援装置30と、を備える。遠隔操作支援装置は、周辺情報に応じたオペレータによる操作を受け付けて車両を遠隔操作支援する遠隔操作支援部22を備える。外部遠隔操作支援装置は、周辺情報に応じた外部オペレータによる操作を受け付けて車両を遠隔操作支援する外部遠隔操作支援部32を備える。遠隔操作支援装置は、更に、外部遠隔操作支援装置毎の作業環境と、遠隔操作支援の内容と作業環境との対応関係と、が記録されたデータベース24と、遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置を選択する選択部25と、オペレータが不足している場合に、選択部が選択した外部遠隔操作支援装置に要求する要求部26とを備える。【選択図】図1

Description

本開示は、車両遠隔操作支援システムに関する。
車両遠隔操作支援システムとして、車両の運転が困難になった場合に、管制センタに在籍しているオペレータの遠隔操作支援によって走行を継続できるものが知られている(例えば、特許文献1)。
特開2006−301963号公報
しかし、管制センタにおいてオペレータが不足している場合、遠隔操作支援ができないおそれがある。そのため、管制センタにおいてオペレータが不足している場合にも遠隔操作支援ができる技術が望まれていた。
本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
本開示の一形態によれば、車両遠隔操作支援システム(500、500B)が提供される。この車両遠隔操作支援システムは車両(10)と、管制センタ(11)に配置され、オペレータ(OP1)によって操作される遠隔操作支援装置(20、20A、20B)と、前記管制センタと離れた外部センタ(12)に配置され、外部オペレータ(OP2)によって操作される1つ以上の外部遠隔操作支援装置(30)と、を備える。前記車両は、前記車両の周辺情報を前記遠隔操作支援装置に送信すると共に、前記オペレータによる遠隔操作支援を前記遠隔操作支援装置に要求する制御部(110)を備える。前記遠隔操作支援装置は、前記車両から前記周辺情報を受信する通信部(23)と、前記周辺情報に応じた前記オペレータによる操作を受け付けて前記車両を遠隔操作支援する遠隔操作支援部(22)と、を備える。前記外部遠隔操作支援装置は、前記遠隔操作支援装置から前記周辺情報を受信する外部通信部(33)と、前記周辺情報に応じた前記外部オペレータによる操作を受け付けて前記車両を遠隔操作支援する外部遠隔操作支援部(32)と、を備える。前記遠隔操作支援装置は、更に、前記外部遠隔操作支援装置毎の作業環境が記録されるとともに、遠隔操作支援の内容と作業環境との対応関係が記録されたデータベース(24)と、前記データベースを用いて、前記車両から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置を選択する選択部(25)と、前記オペレータが不足している場合に、前記周辺情報を前記選択部が選択した外部遠隔操作支援装置に転送すると共に、前記外部オペレータによる遠隔操作支援を前記選択部が選択した外部遠隔操作支援装置に要求する要求部(26)とを備える。
この形態の車両遠隔操作支援システムによれば、オペレータが不足している場合に、遠隔操作支援装置が、外部オペレータによる遠隔操作支援を外部遠隔操作支援装置に要求するため、管制センタにおいてオペレータが不足している場合にも遠隔操作支援ができる。また、遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置を選択するため、適切な作業環境が整っている外部オペレータに遠隔操作支援を割り振ることができる。
車両遠隔操作支援システムの構成の概要を示す説明図である。 自動運転システムの構成の概要を示す説明図である。 遠隔操作支援装置の構成の概要を示す説明図である。 外部遠隔操作支援装置の構成の概要を示す説明図である。 遠隔操作支援処理の一例を示したフローチャートである。 遠隔操作支援内容と作業環境との対応関係を示す説明図である。 データベースの一例を示す図である。 第2実施形態における遠隔操作支援装置の構成の概要を示す説明図である。 切替処理の一例を示したフローチャートである。 第3実施形態における車両遠隔操作支援システムの構成の概要を示す説明図である。 第3実施形態における遠隔操作支援装置の構成の概要を示す説明図である。 遠隔操作支援処理におけるタイミングと通信速度との関係の一例を示す図である。 遠隔操作支援の内容と通信速度との関係の一例を示す図である。
A.第1実施形態:
図1に示すように、車両遠隔操作支援システム500は、車両10と、遠隔操作支援装置20と、1つ以上の外部遠隔操作支援装置30とを備える。遠隔操作支援装置20は、管制センタ11に配置され、オペレータOP1によって操作される。外部遠隔操作支援装置30は、管制センタと離れた外部センタ12に配置され、外部オペレータOP2によって操作される。
本実施形態の車両10は、自動運転モードと手動運転モードと遠隔操作支援モードの3つのモードで走行可能である。車両10は自動運転システム100を搭載する。手動運転モードでは、車両10の運転者によって操縦される。遠隔操作支援モードでは、車両10は遠隔操作支援元である管制センタ11のオペレータOP1または外部センタ12の外部オペレータOP2によって遠隔操作支援される。車両10は3つのモードのいずれで走行しているかにかかわらず、車両10の周辺の画像を遠隔操作支援装置20に送信する。
遠隔操作支援装置20は、車両10より受信した画像を画像表示部21に表示し、オペレータOP1による操作を受け付けて、遠隔操作支援部22で車両10を遠隔操作支援することが可能である。遠隔操作支援部22は、例えば、ハンドル22aとマウス22bとを含む。また、遠隔操作支援装置20は、車両10より受信した周辺情報を外部遠隔操作支援装置30に転送する。
外部遠隔操作支援装置30は、遠隔操作支援装置20より受信した画像を外部表示部31に表示し、外部オペレータOP2による操作を受け付けて、外部遠隔操作支援部32で車両10を遠隔操作支援することが可能である。外部遠隔操作支援部32は、例えば、ハンドル32aとマウス32bとを含む。本実施形態において、外部遠隔操作支援装置30は、外部遠隔操作支援部32における入力を遠隔操作支援装置20に送信し、遠隔操作支援装置20を介して車両10の遠隔操作を行う。つまり、遠隔操作支援装置20は、外部遠隔操作支援装置30から受信した遠隔操作支援の入力を車両10に転送することで、車両10の遠隔操作を行う。なお、外部遠隔操作支援装置30は、直接車両10を遠隔操作支援してもよい。
図2に示すように、自動運転システム100は、制御部110と、周辺センサ120と、自車位置センサ126と、車両通信部200と、運転制御ECU(Electronic Control Unit)210と、駆動力制御ECU220と、制動力制御ECU230と、操舵制御ECU240と、を備える。制御部110と、運転制御ECU210と、駆動力制御ECU220と、制動力制御ECU230と、操舵制御ECU240とは、車載ネットワーク250を介して接続される。
制御部110は、状況判定部112と、周辺情報送信部114と、を備える。制御部110は、中央処理装置(CPU)や、RAM、ROMにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。
状況判定部112は、周辺センサ120の検出信号を用いて、自動運転が可能か否かを判定し、自動運転が困難な場合に、車両通信部200を介して遠隔操作支援装置20のオペレータOP1を呼び出す。周辺情報送信部114は、車両10の周辺情報を車両通信部200を介して遠隔操作支援装置20に送信する。本実施形態において、「周辺情報」とは、例えば、周辺センサ120の検出した周辺画像や周辺物体や、自車位置センサ126の検出した自車位置を含む情報が挙げられる。
周辺センサ120は、カメラ122と周辺物体センサ124とを備える。カメラ122は、自車両の周囲を撮像して画像を取得する。周辺物体センサ124は、自車両の周囲の状況を検出する。周辺物体センサ124として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。周辺センサ120は更に、走行している車線の左右の区画線の存在とその位置や、信号機の状態、交通標識を検出する。
自車位置センサ126は、現在の車両10の車両位置を検出する。自車位置センサ126として、例えば、全地球航法衛星システム(Global Navigation Satellite System(s)(GNSS))やジャイロセンサ等が挙げられる。
車両通信部200は、遠隔操作支援装置20への自動運転が困難である状況や遠隔操作支援の要求、目的地、周辺画像、車両の情報の送信と、遠隔操作支援装置20からの操縦内容の受信と、を行う。
運転制御ECU210は、中央処理装置(CPU)や、RAM、ROMにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、駆動力制御ECU220と制動力制御ECU230と操舵制御ECU240とを用いて自動運転機能を実現する。
駆動力制御ECU220は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ECU220は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ECU220は、運転制御ECU210で演算された要求駆動力に応じて動力源を制御する。また、遠隔操作支援される場合、駆動力制御ECU220は、遠隔操作支援装置20から与えられた要求駆動力に応じて動力源を制御する。
制動力制御ECU230は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ECU230は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ECU230は、運転制御ECU210で演算された要求制動力に応じてブレーキアクチュエータを制御する。また、遠隔操作支援される場合、制動力制御ECU230は、遠隔操作支援装置20から与えられた要求制動力に応じてブレーキアクチュエータを制御する。
操舵制御ECU240は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ECU240は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ECU240は、運転制御ECU210で演算された要求操舵角に応じてモータを制御することで操舵を行う。また、遠隔操作支援される場合、操舵制御ECU240は、遠隔操作支援装置20から与えられた要求操舵角に応じてモータを制御することで操舵を行う。
図3に示すように、遠隔操作支援装置20は、画像表示部21と、遠隔操作支援部22と、通信部23と、データベース24と、選択部25と、要求部26を備える。本実施形態において、遠隔操作支援装置20は、パーソナルコンピュータである。遠隔操作支援装置20は、パーソナルコンピュータに限らず、スマートフォンやタブレット型パーソナルコンピュータであってもよい。遠隔操作支援部22および選択部25、要求部26は、例えば、CPUや、RAM、ROMにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、各機能を実現する。データベース24は、例えば、磁気ディスクドライブ方式のハードディスクドライブ、半導体記憶素子方式のフラッシュメモリドライブ等に記憶される。
画像表示部21は、通信部23を介して受信した車両10の周辺画像を画面に表示する。遠隔操作支援部22は、通信部23を介して車両10を遠隔操作支援する。データベース24には、外部遠隔操作支援装置30毎の作業環境が記録されるとともに、遠隔操作支援の内容と作業環境との対応関係が記録される。作業環境は、例えば、モニタやハンドル等のデバイスの有無、外部オペレータOP2の遠隔操作支援における操作能力のレベル、外部遠隔操作支援装置30の位置、を含む情報である。選択部25は、データベース24を用いて、車両10から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置30を選択する。選択の詳細については後述する。要求部26は、オペレータOP1が不足している場合に、周辺情報を選択部25が選択した外部遠隔操作支援装置30に転送すると共に、外部オペレータOP2による遠隔操作支援を選択部25が選択した外部遠隔操作支援装置に要求する。
図4に示すように、外部遠隔操作支援装置30は、外部表示部31と外部遠隔操作支援部32と外部通信部33と、を備える。本実施形態において、外部遠隔操作支援装置30は、パーソナルコンピュータである。外部遠隔操作支援装置30は、パーソナルコンピュータに限らず、スマートフォンやタブレット型パーソナルコンピュータ、携帯電話機器であってもよい。外部遠隔操作支援部32は、例えば、CPUや、RAM、ROMにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、機能を実現する。
外部表示部31は、外部通信部33を介して受信した車両10の周辺画像を画面に表示する。なお、外部表示部31は、周辺画像を表示せず、遠隔操作支援装置20より受信した遠隔操作支援の内容を表示してもよい。外部遠隔操作支援部32は、外部通信部33を介して車両10を遠隔操作支援する。外部通信部33は、外部遠隔操作支援装置30が車両遠隔操作支援システム500にログインする際に、遠隔操作支援装置20に作業環境を送信してもよい。
図5に示す遠隔操作支援処理は、車両10の遠隔操作支援を行う処理である。この処理は自動運転システム100の動作中、遠隔操作支援装置20が車両10から遠隔操作支援の要求を受信した場合に、遠隔操作支援装置20により繰り返し実行される処理である。
まず、遠隔操作支援装置20は、ステップS100において、通信部23を介して車両10から遠隔操作支援要求を車両10の周辺情報と共に取得する。次に、遠隔操作支援装置20は、ステップS110において、オペレータOP1が不足しているか否か判定する。オペレータOP1が不足しているか否かの判定は、外部センタ12に在籍しているオペレータOP1が遠隔操作支援を行っている割合(以下、「オペレータの稼働率」ともいう)を用いて判定できる。遠隔操作支援装置20は、例えば、オペレータ稼働率が予め定めた閾値以上になった場合に、オペレータOP1が不足していると判定する。オペレータOP1が不足している場合、ステップS120の処理に進む。一方、オペレータOP1が不足していない場合、遠隔操作支援部22は、ステップS145において、オペレータOP1によって遠隔操作支援を入力され、ステップS150の処理に進む。
選択部25は、ステップS120において、データベース24を用いて外部遠隔操作支援装置30を選択する。データベース24は、要求される運転操作支援の内容と運転操作支援に必要な外部遠隔操作支援装置30の作業環境との対応関係が定義されたマップを有する。図6に示すように、本実施形態において、例えば、以下の4つのパターンにおいて、要求される運転支援の内容と運転操作支援に必要な外部遠隔操作支援装置30の作業環境との関係が次のように定義される。
<パターンA>
車両10の運転を行う場合、外部遠隔操作支援装置30は、予め定めた解像度を有する高解像度モニタと、ハンドルやジョイスティック等の入力装置と、を有する必要がある。
<パターンB>
車両10の走行の継続の可否判断を行う場合であって予め定めた距離D以上の遠方を確認する場合、例えば、対向車の有無を判定する場合、外部遠隔操作支援装置30は、予め定めた解像度を有する高解像度モニタと、マウスやタッチパネル等の入力装置と、を有する必要がある。
<パターンC>
車両10の走行の継続の可否判断を行う場合であって予め定めた距離D未満の近傍を確認する場合、例えば、手旗信号を確認する場合、外部遠隔操作支援装置30は、モニタと、マウスやタッチパネル等の入力装置と、を有する必要がある。
<パターンD>
車両10の搭乗者と通話を行う場合、外部遠隔操作支援装置30は、通話手段を有する必要がある。
図7に示すように、本実施形態において、データベース24には、外部遠隔操作支援装置30毎に、「位置」と「作業環境」の各フィールドが記録される。「位置」フィールドは、外部遠隔操作支援装置30の設置されている位置を表し、「作業環境」フィールドは、外部遠隔操作支援装置30が有するデバイスを表す。選択部25は、ステップS120(図5)において、データベース24を用いて、車両10から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置30を選択する。また、車両10から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置30が複数ある場合、車両10から最も近い位置に存在する外部遠隔操作支援装置30を選択してもよい。
続いて、要求部26は、ステップS130において、選択部25が選択した外部遠隔操作支援装置30に遠隔操作支援を要求する。要求部26は、ステップS100で取得した周辺情報の転送と共に、遠隔操作支援の要求を行う。更に、遠隔操作支援装置20は、ステップS140において、通信部23を介して、外部遠隔操作支援装置30から遠隔操作支援入力を取得する。
最後に、遠隔操作支援装置20は、ステップS150において、車両10の遠隔操作支援を行う。より具体的には、遠隔操作支援装置20は、ステップS140において取得した遠隔操作支援の入力に従って、または、ステップS145においてオペレータOP1が指示した遠隔操作支援の入力に従って、車両10の遠隔操作支援を行う。
以上で説明した本実施形態の車両遠隔操作支援システム500によれば、管制センタ11のオペレータOP1が不足している場合に、遠隔操作支援装置20が、外部オペレータOP2による遠隔操作支援を外部遠隔操作支援装置30に要求するため、管制センタ11においてオペレータOP1が不足している場合にも遠隔操作支援ができる。また、遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置30を選択するため、適切な作業環境が整っている外部オペレータOP2に遠隔操作支援を割り振ることができる。
B.第2実施形態:
図8に示す第2実施形態の遠隔操作支援装置20Aの構成は、監視部27と切替判定部28とを備える点が第1実施形態と異なり、他の構成は同一である。監視部27は、要求部26が遠隔操作支援を要求した外部遠隔操作支援装置30の車両10に対する支援状況を取得する。支援状況は、例えば、車両10と外部遠隔操作支援装置30との間の通信状況や、外部遠隔操作支援装置30を操作する外部オペレータOP2の状況等を含む。切替判定部28は支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えるか否かの判定を行う。
図9に示す切替処理は、車両10の遠隔操作支援を行う外部遠隔操作支援装置30を切替える処理である。この処理は自動運転システム100の動作中、遠隔操作支援装置20Aが外部遠隔操作支援装置30に車両10の遠隔操作支援を要求をした場合に、遠隔操作支援装置20Aにより繰り返し実行される処理である。切替処理は、上述した遠隔操作支援処理と並行して実行される。まず、監視部27は、ステップS200において支援状況を取得する。監視部27は、例えば、通信状況を取得する場合、外部遠隔操作支援装置30との通信速度や通信負荷を取得し、外部オペレータOP2の状況を取得する場合、外部オペレータOP2が装着した生体情報を検知するデバイスや外部遠隔操作支援装置30が有するWebカメラから外部オペレータOP2の様子を取得する。
次に、選択部25は、ステップS210において、遠隔操作支援を行っている外部遠隔操作支援装置の切替先となる切替先遠隔操作支援装置を選択する。選択部25は、切替先遠隔操作支援装置として、現在遠隔操作支援を行っている外部遠隔操作支援装置30とは異なる他の外部遠隔操作支援装置30または遠隔操作支援装置20Aを選択する。選択部25は、例えば、上述した遠隔操作支援処理のステップS120(図5)において外部遠隔操作支援装置30を選択する際の候補の2番目以降を選んでもよい。また、選択部25は、車両10から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置30がない場合に、切替先遠隔操作支援装置として遠隔操作支援装置20Aを選択することが好ましい。なお、ステップS210は、後述するステップS220AとステップS230との間に行われてもよい。
続いて、切替判定部28は、ステップS220Aにおいて、ステップS200で取得した支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えるか否かを判定する。具体的には、切替判定部28は、通信状況が適切であるか、外部オペレータOP2に異常がないか等の遠隔操作支援が適切かを判定する判定条件を満たすか否かを判定する。この条件を満たす場合、切替判定部28は、遠隔操作支援を行っている外部遠隔操作支援装置30を切替える判定をする。判定条件として、例えば、以下のような条件のいずれか1つ以上を採用することが可能である。
<判定条件1>
通信速度が予め定めた閾値以下であること
<判定条件2>
予め定めた期間における通信不応答回数が予め定めた閾値以上であること
<判定条件3>
外部オペレータOP2の体温および脈拍が予め定めた閾値以上であること
<判定条件4>
外部オペレータOP2が外部遠隔操作支援装置30付近に居ないこと
<判定条件5>
通話による遠隔操作支援において無言である時間が予め定められた閾値以上であること
上記の判定条件1が成立する場合、通信速度が遅いため、適切に遠隔操作支援を行えない可能性が高く、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えた方がよい。
上記の判定条件2が成立する場合、通信が不安定であるため、適切に遠隔操作支援を行えない可能性が高く、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えた方がよい。通信不応答回数は、例えば、周知の技術であるハートビートを用いることで、一定間隔でデータや信号を互いに送信し接続を確認できる。
上記の判定条件3が成立する場合、外部オペレータOP2が体調不良である可能性が高いため、適切に遠隔操作支援を行えない可能性が高く、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えた方がよい。
上記の判定条件4が成立する場合、例えば、Webカメラによって外部オペレータOP2が認識できない時間が予め定められた閾値以上の場合、適切に遠隔操作支援を行えていない可能性が高く、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えた方がよい。
上記の判定条件5が成立する場合、適切に遠隔操作を行えていない可能性が高く、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えた方がよい。
また、上記の判定条件1〜5やその他の条件を適宜組み合わせて判定条件とすることもできる。本実施形態では、上述した判定条件1を使用する。なお、上記の判定条件1および判定条件2における各閾値は、通信状況における過去の通信障害の発生に関する情報と、通信状況における通信負荷に関する情報との少なくとも一方に応じて、予めシミュレーションや実験を行うことにより定めることができる。例えば、通信負荷が大きくなるほど通信速度が遅くなる傾向があるため、判定条件1における通信速度の閾値は、要求される運転支援の内容が車両10の運転である場合、車両10の搭乗者と通話を行う場合よりも小さくなる。また、判定条件2における通信不応答回数の閾値が小さくなるほど、通信障害が発生する可能性が低くなる。
切替えると判定した場合、つまり、通信速度が閾値以下の場合、ステップS230に進み、要求部26は、ステップS210において選択部25が選択した切替先遠隔操作支援装置に遠隔操作支援を要求し、切替え処理を終了する。また、要求部26は、ステップS230において、今まで遠隔操作支援を行っていた外部遠隔操作支援装置30に遠隔操作支援の終了を要求する。また、要求部26は、遠隔操作支援を行う装置が、切替先遠隔操作支援装置に切り替わることを車両10の運転手に通知するよう車両10に指示してもよい。一方、切替えないと判定した場合、つまり、通信速度が閾値より速い場合、切替え処理を終了する。
以上で説明した本実施形態の車両遠隔操作支援システム500によれば、切替判定部28が、支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置を切替えるか否かの判定を行う。要求部26は、切替判定部28によって遠隔操作支援を行っている外部遠隔操作支援装置30を切替えると判定された場合に、選択部25が選択した切替先遠隔操作支援装置に遠隔操作支援を要求する。そのため、通信状況が悪化した場合等、遠隔操作支援が適切に行えない場合に、遠隔操作支援が適切に行える切替先遠隔操作支援装置に切替えることができる。また、選択部25は、切替判定部28が判定を行う前に切替先遠隔操作支援装置を選択するため、切替判定取得部29はスムーズに切替先遠隔操作支援装置へ遠隔操作支援の要求を行うことができる。
C.第3実施形態:
図10に示す第3実施形態の車両遠隔操作支援システム500の構成は、管制センタ11Bに配置された遠隔操作支援装置20Bが監視オペレータOP3にも操作される点が第2実施形態と異なり、他の構成は同一である。監視オペレータOP3は、支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えるか否かの判定を行う。また、監視オペレータOP3は、選択部25が切替先遠隔操作支援装置として遠隔操作支援装置20Bを選択した場合に、遠隔操作支援装置20Bを操作して遠隔操作支援を行ってもよい。なお、オペレータOP1と監視オペレータOP3とは同一であってもよい。
図11に示す第3実施形態の遠隔操作支援装置20Bの構成は、切替判定部28の代わりに切替判定取得部29を備える点が第2実施形態と異なり、他の構成は同一である。切替判定取得部29は監視オペレータOP3が行った判定の結果を取得する。切替判定取得部29は、例えば、監視オペレータOP3がマウス22bを操作して入力した判定の結果を取得する。第3実施形態では、切替処理のステップS220(図9)において、第2実施形態と異なり、切替判定取得部29が取得した判定結果を用いて切替えるか否かを判定する。
以上で説明した本実施形態の車両遠隔操作支援システム500によれば、切替判定部28が、監視オペレータOP3が行った支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えるか否かの判定を取得する。要求部26は、切替判定取得部29が遠隔操作支援を行っている外部遠隔操作支援装置30を切替える判定を取得した場合に、選択部25が選択した切替先遠隔操作支援装置に遠隔操作支援を要求する。そのため、通信状況が悪化した場合等、遠隔操作支援が適切に行えない場合に、遠隔操作支援が適切に行える切替先遠隔操作支援装置に切替えることができる。また、選択部25は遠隔操作支援先として遠隔操作支援装置20Bを選択した場合に、監視オペレータOP3が遠隔操作支援装置20Bを操作して遠隔操作を行えるため、遠隔操作支援を行っている外部遠隔操作支援装置を切替えるか否かの判定を行った後、続けて遠隔操作支援を行うことができる。そのため、遠隔操作支援を行っている外部遠隔操作支援装置30をスムーズに切替えることができる。
D.その他の実施形態:
上記実施形態において、選択部25は、周辺情報を用いて遠隔操作支援内容の難易度を決定し、その難易度に応じた操作能力のレベルの外部オペレータによって操作される作業環境である外部遠隔操作支援装置30を選択してもよい。難易度は、例えば、車両10が走行している道路の幅が狭いほど高く決定されたり、車両10が走行している道路の制限速度が速いほど高く決定される。この場合、データベース24は、外部オペレータOP2の遠隔操作支援における操作能力のレベルを含む情報と、車両10が走行予定の道路に関する道路情報と、を記憶している。道路情報は、例えば、車線数、車線幅、各車線の中心座標、カーブ曲率、制限速度等の情報を含む。
また、上記実施形態において、データベース24に記録される作業環境は、外部オペレータOP2が遠隔操作支援の対応可能な時間帯を示す情報が含まれていてもよい。選択部25は、データベース24を用いて、外部オペレータOP2が対応可能な外部遠隔操作支援装置30を選択できる。
また、上記実施形態において、選択部25は、オペレータOP1の稼働状況を予測してもよい。稼働状況の予測は、例えば、管制センタ11におけるオペレータOP1の数と、単位時間当りの車両からの呼び出し回数の履歴を用いて、オペレータOP1が遠隔操作支援を出来ない期間を予測する。選択部25は、通信部23を介して外部遠隔操作支援装置30に送信し、稼働状況を共有することで、外部オペレータOP2は、遠隔操作支援が要求されることを無駄に待機することを抑制できる。
また、上記実施形態において、遠隔操作支援装置20は、通信部23が外部遠隔操作支援装置30から遠隔操作支援の入力を受信した場合に、入力を受信していない場合よりも外部遠隔操作支援装置30との通信速度を速くなるよう通信速度を設定してもよい。より具体的には、図12に示すように、遠隔操作支援装置20は、ステップS140において遠隔操作支援の指示を取得した場合に、ステップS130において遠隔操作支援の要求時における通信速度よりも速い通信速度に設定する。より具体的には、例えば、遠隔操作支援装置20は、外部遠隔操作支援装置30の通信帯域を拡張する。
また、上記実施形態において、遠隔操作支援装置20は、ステップS130において、外部遠隔操作支援装置30に遠隔操作支援の要求をする際に、車両10から要求された遠隔操作支援の内容に応じて外部遠隔操作支援装置30との通信速度を設定してもよい。図13に示すように、遠隔操作支援装置20は、例えば、遠隔操作支援内容のパターンに応じて、通信速度を設定する。パターンAの「車両の運転」のように通信の安定や速度が必要な場合、パターンDの「通話のみ」のように通信の速度が必要でない場合よりも、通信速度が速くなるよう設定することが好ましい。
また、上記第2実施形態および第3実施形態において、遠隔操作支援を行っている外部遠隔操作支援装置30を切替えると判定された外部遠隔操作支援装置30は、データベース24に記録されて、以降に行われる遠隔操作支援処理におけるステップS120(図5)において選択部25が選択しないようにしてもよい。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。
10 車両、11、11B 管制センタ、12 外部センタ、20、20A、20B 遠隔操作支援装置、21 画像表示部、22 遠隔操作支援部、22a、32a ハンドル、22b、32b マウス、23 通信部、24 データベース、25 選択部、26 要求部、27 監視部、28 切替判定部、29 切替判定取得部、30 外部遠隔操作支援装置、31 外部表示部、32 外部遠隔操作支援部、33 外部通信部、500、500B 車両遠隔操作支援システム

Claims (19)

  1. 車両遠隔操作支援システム(500、500B)であって、
    車両(10)と、
    管制センタ(11)に配置され、オペレータ(OP1)によって操作される遠隔操作支援装置(20、20A、20B)と、
    前記管制センタと離れた外部センタ(12)に配置され、外部オペレータ(OP2)によって操作される1つ以上の外部遠隔操作支援装置(30)と、を備え、
    前記車両は、
    前記車両の周辺情報を前記遠隔操作支援装置に送信すると共に、前記オペレータによる遠隔操作支援を前記遠隔操作支援装置に要求する制御部(110)を備え、
    前記遠隔操作支援装置は、
    前記車両から前記周辺情報を受信する通信部(23)と、
    前記周辺情報に応じた前記オペレータによる操作を受け付けて前記車両を遠隔操作支援する遠隔操作支援部(22)と、を備え、
    前記外部遠隔操作支援装置は、
    前記遠隔操作支援装置から前記周辺情報を受信する外部通信部(33)と、
    前記周辺情報に応じた前記外部オペレータによる操作を受け付けて前記車両を遠隔操作支援する外部遠隔操作支援部(32)と、を備え、
    前記遠隔操作支援装置は、更に、
    前記外部遠隔操作支援装置毎の作業環境が記録されるとともに、遠隔操作支援の内容と作業環境との対応関係が記録されたデータベース(24)と、
    前記データベースを用いて、前記車両から要求された遠隔操作支援の内容に応じた作業環境である外部遠隔操作支援装置を選択する選択部(25)と、
    前記オペレータが不足している場合に、前記選択部が選択した外部遠隔操作支援装置に前記周辺情報を転送すると共に、前記外部オペレータによる遠隔操作支援を前記選択部が選択した外部遠隔操作支援装置に要求する要求部(26)と
    を備える、車両遠隔操作支援システム。
  2. 請求項1に記載の車両遠隔操作支援システムであって、
    前記選択部は、前記車両から要求された遠隔操作支援の内容に前記車両の運転が含まれる場合には、モニタと、ハンドルまたはジョイスティックと、を有する作業環境である外部遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  3. 請求項1または請求項2に記載の車両遠隔操作支援システムであって、
    前記選択部は、前記車両から要求された遠隔操作支援の内容に前記車両の走行が継続可能か否かの判断が含まれる場合にはモニタと、マウスまたはタッチパネルと、を有する作業環境である外部遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  4. 請求項1から請求項3のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記作業環境は、前記外部オペレータの遠隔操作支援における操作能力のレベルを含む情報であり、
    前記選択部は、前記周辺情報を用いて遠隔操作支援の内容の難易度を決定し、前記難易度に応じた操作能力のレベルの外部オペレータによって操作される作業環境である前記外部遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  5. 請求項1から請求項4のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記作業環境は、前記外部遠隔操作支援装置の位置を含む情報であり、
    前記選択部は、前記車両から最も近い位置に存在する外部遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  6. 請求項1から請求項5のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記外部通信部は、前記外部遠隔操作支援装置が前記車両遠隔操作支援システムにログインする際に、前記遠隔操作支援装置に前記作業環境を送信する、車両遠隔操作支援システム。
  7. 請求項1から請求項6のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記選択部は、前記オペレータの稼働状況を予測し、予測した稼働状況を前記外部遠隔操作支援装置に送信する、車両遠隔操作支援システム。
  8. 請求項1から請求項7のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記外部遠隔操作支援装置は、前記外部遠隔操作支援部における入力を前記遠隔操作支援装置に送信し、前記遠隔操作支援装置を介して前記車両の遠隔操作を行う、車両遠隔操作支援システム。
  9. 請求項8に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援装置は、前記通信部が前記外部遠隔操作支援装置から遠隔操作支援の入力を受信した場合に、前記入力を受信していない場合よりも前記外部遠隔操作支援装置との通信速度を速くする、車両遠隔操作支援システム。
  10. 請求項8または請求項9に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援装置は、前記車両から要求された遠隔操作支援の内容に応じて、前記外部遠隔操作支援装置との通信速度を設定する、車両遠隔操作支援システム。
  11. 請求項1から請求項10のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援装置は、更に、
    前記要求部が遠隔操作支援を要求した外部遠隔操作支援装置の前記車両に対する支援状況を取得する監視部(27)と、
    前記支援状況に応じて、遠隔操作支援を行っている外部遠隔操作支援装置を切替えるか否かの判定を行う切替判定部(28)と、を備え、
    前記選択部は、遠隔操作支援を行っている外部遠隔操作支援装置の切替先となる切替先遠隔操作支援装置として他の外部遠隔操作支援装置または前記遠隔操作支援装置を選択し、
    前記要求部は、前記切替判定部によって遠隔操作支援を行っている外部遠隔操作支援装置を切替えると判定された場合に、前記切替先遠隔操作支援装置に遠隔操作支援を要求する、車両遠隔操作支援システム。
  12. 請求項11に記載の車両遠隔操作支援システムであって、
    前記選択部は、前記判定の前に、前記切替先遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  13. 請求項11または請求項12に記載の車両遠隔操作支援システムであって、
    前記支援状況は、前記車両と前記外部遠隔操作支援装置との間の通信状況を含み、
    前記切替判定部は、前記通信状況における通信速度が予め定められた閾値以下である場合に遠隔操作支援を行っている外部遠隔操作支援装置を切替えると判定する、車両遠隔操作支援システム。
  14. 請求項11から請求項13のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記支援状況は、前記車両と前記外部遠隔操作支援装置との間の通信状況を含み、
    前記切替判定部は、前記通信状況における予め定められた期間における通信不応答回数が予め定められた閾値以上である場合に遠隔操作支援を行っている外部遠隔操作支援装置を切替えると判定する、車両遠隔操作支援システム。
  15. 請求項13または請求項14に記載の車両遠隔操作支援システムであって、
    前記閾値は、前記通信状況における過去の通信障害の発生に関する情報と、前記通信状況における通信負荷に関する情報との少なくとも一方に応じて定められる、車両遠隔操作支援システム。
  16. 請求項11から請求項15のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記選択部は、前記車両から要求された遠隔操作支援の内容に応じた作業環境である他の外部遠隔操作支援装置がない場合に、前記切替先遠隔操作支援装置として前記遠隔操作支援装置を選択する、車両遠隔操作支援システム。
  17. 請求項1から請求項10のうちいずれか一項に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援装置は、更に
    前記要求部が遠隔操作支援を要求した外部遠隔操作支援装置の前記車両に対する支援状況を取得する監視部と、
    監視オペレータ(OP3)が前記支援状況に応じて行った、遠隔操作支援を行っている外部遠隔操作支援装置を切替えるか否かの判定の結果を取得する切替判定取得部(29)と、を備え、
    前記選択部は、遠隔操作支援を行っている外部遠隔操作支援装置の切替先となる切替先遠隔操作支援装置として他の外部遠隔操作支援装置または遠隔操作支援装置を選択し、
    前記要求部は、前記切替判定取得部が遠隔操作支援を行っている外部遠隔操作支援装置を切替えるとの判定の結果を取得した場合に、前記選択部が選択した他の外部遠隔操作支援装置または遠隔操作支援装置に遠隔操作支援を要求する、車両遠隔操作支援システム。
  18. 請求項17に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援部は、前記切替判定取得部が遠隔操作支援を行っている外部遠隔操作支援装置を切替えるとの判定の結果を取得した場合であって、かつ、前記要求部が前記遠隔操作支援装置に遠隔操作支援を要求した場合に、前記監視オペレータによる操作を受け付けて前記車両を遠隔操作支援する、車両遠隔操作支援システム。
  19. 請求項1から請求項18のいずれか一項に記載の車両遠隔操作支援システムであって、
    前記遠隔操作支援装置は、更に、
    前記車両から遠隔操作の要求があった場合に、前記周辺情報を表示する画像表示部(21)を備える、車両遠隔操作支援システム。
JP2019075331A 2018-09-06 2019-04-11 車両遠隔操作支援システム Pending JP2020042764A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018166592 2018-09-06
JP2018166592 2018-09-06

Publications (1)

Publication Number Publication Date
JP2020042764A true JP2020042764A (ja) 2020-03-19

Family

ID=69798517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019075331A Pending JP2020042764A (ja) 2018-09-06 2019-04-11 車両遠隔操作支援システム

Country Status (1)

Country Link
JP (1) JP2020042764A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144271A (ja) * 2021-03-18 2022-10-03 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
EP4102323A1 (en) 2021-06-09 2022-12-14 Toyota Jidosha Kabushiki Kaisha Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
WO2023053520A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム
WO2023053521A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
WO2023176903A1 (ja) * 2022-03-18 2023-09-21 パナソニックIpマネジメント株式会社 情報出力方法、プログラム、及び情報出力システム
WO2023181982A1 (ja) * 2022-03-23 2023-09-28 ソニーグループ株式会社 情報処理システム、情報処理方法及び情報処理装置
WO2024004522A1 (ja) * 2022-06-30 2024-01-04 京セラ株式会社 監視支援装置、監視支援システム、及びプログラム
JP7425975B2 (ja) 2021-04-23 2024-02-01 トヨタ自動車株式会社 遠隔機能選択装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301723A (ja) * 2005-04-15 2006-11-02 Toyota Motor Corp 遠隔操作システム
US20150346718A1 (en) * 2014-05-27 2015-12-03 Here Global B.V. Autonomous Vehicle Monitoring and Control
JP2015226977A (ja) * 2008-07-11 2015-12-17 インタッチ・テクノロジーズ・インコーポレーテッド 遠隔制御ロボットシステム
JP2017147626A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 遠隔操作システム
JP2017163253A (ja) * 2016-03-08 2017-09-14 トヨタ自動車株式会社 遠隔操作システム
JP2018072945A (ja) * 2016-10-25 2018-05-10 株式会社豊田自動織機 産業車両用遠隔操作システム、遠隔操作装置、産業車両用遠隔操作プログラム及び産業車両
WO2018087879A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301723A (ja) * 2005-04-15 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2015226977A (ja) * 2008-07-11 2015-12-17 インタッチ・テクノロジーズ・インコーポレーテッド 遠隔制御ロボットシステム
US20150346718A1 (en) * 2014-05-27 2015-12-03 Here Global B.V. Autonomous Vehicle Monitoring and Control
JP2017147626A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 遠隔操作システム
JP2017163253A (ja) * 2016-03-08 2017-09-14 トヨタ自動車株式会社 遠隔操作システム
JP2018072945A (ja) * 2016-10-25 2018-05-10 株式会社豊田自動織機 産業車両用遠隔操作システム、遠隔操作装置、産業車両用遠隔操作プログラム及び産業車両
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018087879A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144271A (ja) * 2021-03-18 2022-10-03 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
JP7425975B2 (ja) 2021-04-23 2024-02-01 トヨタ自動車株式会社 遠隔機能選択装置
EP4102323A1 (en) 2021-06-09 2022-12-14 Toyota Jidosha Kabushiki Kaisha Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
WO2023053520A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム
WO2023053521A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
WO2023176903A1 (ja) * 2022-03-18 2023-09-21 パナソニックIpマネジメント株式会社 情報出力方法、プログラム、及び情報出力システム
WO2023181982A1 (ja) * 2022-03-23 2023-09-28 ソニーグループ株式会社 情報処理システム、情報処理方法及び情報処理装置
WO2024004522A1 (ja) * 2022-06-30 2024-01-04 京セラ株式会社 監視支援装置、監視支援システム、及びプログラム

Similar Documents

Publication Publication Date Title
JP2020042764A (ja) 車両遠隔操作支援システム
JP7276072B2 (ja) 遠隔支援システム、車載装置、遠隔支援方法、及び遠隔支援プログラム
JP6655111B2 (ja) 車両の走行制御システム
JPWO2018235273A1 (ja) 駐車制御方法及び駐車制御装置
US20200283025A1 (en) Vehicle control apparatus, vehicle, and vehicle control method
CN111565992A (zh) 车辆控制装置
JP2019156356A (ja) 車両用制御装置及び車両
JP2020125029A (ja) 車両並びにその制御装置及び制御方法
CN111532268B (zh) 车辆及其控制装置以及控制方法
US11566704B2 (en) Shift selector device
JP7192308B2 (ja) 車両通信制御装置、車両通信制御システム、車両通信制御方法、および車両通信制御プログラム
US11565724B2 (en) Operation device and vehicle control system
CN111526498B (zh) 站和车载装置
JP2024026539A (ja) 制御装置、方法およびプログラム
JP2019155957A (ja) 車両用制御装置及び車両
US20230166755A1 (en) Vehicle display control device, vehicle display control system, and vehicle display control method
US20230166771A1 (en) Teleoperable Vehicle and System
JP2021056745A (ja) 監視センタ、監視システム及び方法
JP2023030111A (ja) 運転支援装置、運転支援方法、およびプログラム
JP2019207539A (ja) 管理装置
JP7147627B2 (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
CN114475576A (zh) 跟随车辆的半自主停车
JP2022019169A (ja) 情報処理装置、情報処理方法、および、コンピュータプログラム
US20230023172A1 (en) Remote driving taxi system, mobility service management method, and remote driving taxi management device
US11993205B2 (en) Remote driving taxi system, remote driving taxi control method, and remote driving taxi management device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328