JP2021033523A - 車両用操作システム - Google Patents

車両用操作システム Download PDF

Info

Publication number
JP2021033523A
JP2021033523A JP2019151396A JP2019151396A JP2021033523A JP 2021033523 A JP2021033523 A JP 2021033523A JP 2019151396 A JP2019151396 A JP 2019151396A JP 2019151396 A JP2019151396 A JP 2019151396A JP 2021033523 A JP2021033523 A JP 2021033523A
Authority
JP
Japan
Prior art keywords
vehicle
remote control
operator
unit
experience value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019151396A
Other languages
English (en)
Other versions
JP7272172B2 (ja
Inventor
京子 林田
Kyoko Hayashida
京子 林田
敏成 小河
Toshishige Ogawa
敏成 小河
公介 藤本
Kosuke Fujimoto
公介 藤本
英男 長谷川
Hideo Hasegawa
英男 長谷川
慎太郎 松谷
Shintaro MATSUTANI
慎太郎 松谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019151396A priority Critical patent/JP7272172B2/ja
Priority to US16/928,534 priority patent/US20210055720A1/en
Priority to CN202010699256.1A priority patent/CN112486159A/zh
Publication of JP2021033523A publication Critical patent/JP2021033523A/ja
Application granted granted Critical
Publication of JP7272172B2 publication Critical patent/JP7272172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/343Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】車両用操作システムにおいて、車両の遠隔操作を安全に行うことができる。【解決手段】車両用操作システム10の経験値判定部98は、車両12の遠隔操作を行う複数のオペレータOPの走行経験値と操作経験値とをそれぞれ判定する。決定部72は、車両12の乗員の遠隔操作要求を受信した際に、乗員の車両走行希望ルートと、複数のオペレータOPの走行経験値及び操作経験値とのマッチングを行って車両12の遠隔操作を行う決定オペレータOP又は変更オペレータOPを決定する。したがって、車両12の現在地の走行経験があるオペレータOPや車両12の車種の操作経験があるオペレータOPが車両12を遠隔操作することができるため、不慣れな場所や不慣れな車種に起因する遠隔操作でのミスを抑制することができる。これにより、車両12の遠隔操作を安全に行うことができる。【選択図】図6

Description

本発明は、車両用操作システムに関する。
下記特許文献1には、車両の遠隔操作システムに関する発明が開示されている。この車両の遠隔操作システムでは、車外に設けられた遠隔操作装置を用いて、車両の遠隔操作を行う。
特開2018−180771号広報
しかしながら、特許文献1に開示された構成の場合、遠隔操作を行う操作者(以下、車両に乗車した運転者と区別するため「オペレータ」と称する。)が遠隔操作を行う際に当該車両の走行する場所によっては走行経験が少ないことに起因して安全な遠隔操作を行う事が難しい場合がある。また、車両の車種によっては、オペレータの操作経験が少ない事に起因して安全な遠隔操作を行うことが難しい場合がある。したがって、上記先行技術はこれらの点で改良の余地がある。
本発明は上記事実を考慮し、車両の遠隔操作を安全に行うことができる車両用操作システムを得ることを目的とする。
請求項1に記載の発明に係る車両用操作システムは、車両の現在地を特定する現在地特定部と、前記車両の車種を特定する車種特定部と、複数のオペレータの少なくとも一人の遠隔操作により前記車両を走行させる遠隔操作制御部と、前記現在地特定部により取得された前記車両の現在地における複数の前記オペレータのそれぞれの走行経験の度合いを示す走行経験値と、前記車種特定部により取得された前記車両の車種における複数の前記オペレータのそれぞれの操作経験の度合いを示す操作経験値とを判定する経験値判定部と、前記車両より遠隔操作要求情報を受信した際に、前記車両の目的地と、前記経験値判定部より取得した複数の前記オペレータの前記走行経験値及び前記操作経験値とのマッチングを行い、前記車両の遠隔操作を行う前記オペレータを決定する決定部と、を有している。
請求項1に記載の発明によれば、車両用操作システムは、現在地特定部と、車種特定部と、遠隔操作制御部と、経験値判定部と、決定部とを有している。現在地特定部は、車両の現在地を特定する。車種特定部は、車両の車種を特定する。遠隔操作制御部は、複数のオペレータの少なくとも一人の遠隔操作により車両を走行させる。経験値判定部は、車両の遠隔操作を行う複数のオペレータの走行経験値と操作経験値とをそれぞれ判定する。走行経験値は、車両の現在地におけるオペレータの走行経験の度合いを示すものであり、操作経験値は、車両の車種におけるオペレータの操作経験の度合いを示すものである。決定部は、車両より遠隔操作要求を受信した際に、車両の目的地と、複数のオペレータの走行経験値及び操作経験値とのマッチングを行って車両の遠隔操作を行うオペレータを決定する。したがって、車両の現在地における走行経験があるオペレータや車両の車種における操作経験があるオペレータが車両を遠隔操作することができるため、不慣れな場所や不慣れな車種に起因する遠隔操作でのミスを抑制することができる。
ここで、「車両の現在地」には、車両の実際の所在地のみならず、車両の実際の所在地の近傍も含まれるものとする。
請求項2に記載の発明に係る車両用操作システムは、請求項1に記載の発明において、前記経験値判定部は、前記決定部が前記オペレータの決定をした後にも前記現在地特定部より前記車両の現在地を取得すると共に、前記車両の現在地が変化すると再度前記車両の現在地における複数の前記オペレータのそれぞれの前記走行経験値を判定し、前記決定部は、前記車両より遠隔操作要求情報を受信した際に、再度前記車両の目的地と、前記経験値判定部より取得した複数の前記オペレータの前記走行経験値及び前記操作経験値とのマッチングを行い、必要に応じて前記車両の遠隔操作を行う前記オペレータを変更させる。
請求項2に記載の発明によれば、経験値判定部は、決定部がオペレータの決定をした後にも現在地特定部より車両の現在地を取得し、当該現在地が変化すると再度当該現在地における複数のオペレータの走行経験値を判定する。決定部は、車両より遠隔操作要求を受信した際に、再度目的地と、複数のオペレータの走行経験値及び操作経験値とのマッチングを行って必要に応じて車両の遠隔操作を行うオペレータを変更させることから、車両が長距離移動する場合等にも対応することができる。すなわち、車両が長距離移動等によって当初遠隔操作を行っていたオペレータの不慣れな場所へ移動した場合でも、移動先の場所における走行経験があるオペレータが遠隔操作を交代することができる。
請求項3に記載の発明に係る車両用操作システムは、請求項1又は請求項2に記載の発明において、前記遠隔操作制御部は、前記車両の乗員が遠隔操作を要求した際に遠隔操作における前記乗員の希望条件を取得する希望受付部から取得される当該希望条件を反映した遠隔操作案内を前記オペレータへ提示する。
請求項3に記載の発明によれば、遠隔操作制御部は、遠隔操作における乗員の希望条件を反映した遠隔操作案内をオペレータへ提示することから、オペレータは当該遠隔操作案内を確認して希望条件を踏まえた車両の遠隔操作を行うことができる。したがって、車両の遠隔操作時における乗員の満足度を向上させることができる。
請求項1記載の本発明に係る車両用操作システムは、車両の遠隔操作を安全に行うことができるという優れた効果を有する。
請求項2記載の本発明に係る車両用操作システムは、車両の長距離移動に対応することができるという優れた効果を有する。
請求項3記載の本発明に係る車両用操作システムは、遠隔操作時の乗員の快適度を向上させることができるという優れた効果を有する。
一実施形態に係る車両用操作システムの概略を示す概略図である。 一実施形態に係る車両用操作システムの遠隔操作への移行を概略的に示す概略図である。 一実施形態に係る車両用操作システムの車両のハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムのコントロールセンタにおけるハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムのサーバにおけるハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムの機能構成を示すブロック図である。 一実施形態に係る車両用操作システムの動作の流れを示すフローチャートである。
以下、図1〜図7を用いて、本発明に係る車両用操作システム10の一実施形態について説明する。
(全体構成)
図1は、本実施形態に係る車両用操作システム10の概略構成を示す図である。
図1に示されるように、車両用操作システム10は、車両12に搭載された車載器14と、コントロールセンタ20と、サーバ22とを含んで構成されている。これらの車載器14と、コントロールセンタ20と、サーバ22とは、ネットワークN(図6参照)を介して通信可能に接続されている。ネットワークNには、例えば、インターネット又はWAN(Wide Area Network)等が適用される。
車両12は、一例として、図示しないユーザが所有する自家用車とされており、車内の操作インタフェイス28(図3参照)による手動運転及び撮影装置26(図3参照)の映像を利用したコントロールセンタ20からの遠隔操作が可能とされている。また、車載器14は、車両12の使用状況及び車両状態を車外に設けられているサーバ22へ送信可能とされている。車載器14の具体的な構成及び作用については、後述する。
コントロールセンタ20には、車両12を遠隔操作するための操作インタフェイス24と、遠隔操作情報取得装置32と、表示装置34と(図4参照)、サーバ22とが設けられている(図1では主要な構成を分かり易くするためサーバ22とコントロールセンタ20とを分けて図示している)。サーバ22は、車載器14、及び遠隔操作情報取得装置32から各種情報を収集し、収集した情報をデータベースとして管理すると共に、各種情報の送信を行う。操作インタフェイス24、遠隔操作情報取得装置32、表示装置34及びサーバ22の具体的な構成及び作用については、後述する。
(ハードウェア構成)
図3に示されるように、車両12は、操作インタフェイス28と、撮影装置26と、車載器14と、車両駆動装置36とを有している。各構成は、バス38を介して相互に通信可能に接続されている。
操作インタフェイス28は、車両12の車室における車両前方側に配置されており、ステアリングホイールと、アクセルペダルと、ブレーキペダルと、ギヤシフトレバーと、運転モード切替スイッチと、カーナビゲーション装置(いずれも不図示)とを含んで構成されている。これらの操作インタフェイス28は、車載器14における後述する乗員操作情報取得部40(図6参照)に接続されている。なお、運転モード切替スイッチは、乗員によって車両12を運転する手動運転と、コントロールセンタ20のオペレータOP(図2参照)による車両12の遠隔操作との切り替えを行うスイッチであり、遠隔操作を行うように運転モード切替スイッチが操作された場合は、コントロールセンタ20及びサーバ22内にて後述する処理を経て可能な場合に遠隔操作へ切り替わる。
操作インタフェイス28のカーナビゲーション装置は、一例として、乗員によるタッチ操作を可能とするタッチパネルを備えた液晶ディスプレイとされており、乗員が遠隔操作を行うように運転モード切替スイッチを操作した際に、遠隔操作時における目的地及び希望条件を取得する。具体的には、遠隔操作時の目的地、走行希望ルート、経由したい場所、移動速度等が希望条件として入力可能とされている。この入力された希望条件は、車載器14へ送られる。
撮影装置26は、一例として、車両12の車室内に設けられており、車両12の前方側を中心として車両外部の様子を撮影する。この撮像された映像は、車載器14へ送られる。
車載器14は、CPU(Central Processing Unit)42、ROM(Read Only Memory)44、RAM(Random Access Memory)46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。
CPU42は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU42は、ROM44又はストレージ48からプログラムを読み出し、RAM46を作業領域としてプログラムを実行する。CPU42は、ROM44又はストレージ48に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM44又はストレージ48には、車両用操作プログラムが格納されている。
ROM44は、各種プログラム及び各種データを格納する。RAM46は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ48は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
通信インタフェイス50は、車載器14がサーバ22と通信するためのインタフェイスであり、例えば、イーサネット(登録商標)、FDDI、Wi−Fi(登録商標)等の規格が用いられる。
車両駆動装置36は、車載器14の制御に基づいて車両12の車輪12A(図1参照)を駆動させる図示しない原動機を作動させる。
図4に示されるように、コントロールセンタ20における操作インタフェイス24と表示装置34と遠隔操作情報取得装置32とは、バス38を介して相互に通信可能に接続されている。操作インタフェイス24は、一例として、リモコンステアリングホイール24A(図2参照)、リモコンアクセルペダル、リモコンブレーキペダル、リモコンギヤシフトレバー(いずれも不図示)から構成されており、コントロールセンタ20内のオペレータOP(図2参照)が車両12の遠隔操作を行うために設けられている。この操作インタフェイス24は、一例として、コントロールセンタ20内にて待機している複数のオペレータOPにそれぞれ割り当てられている。なお、操作インタフェイス24は、キーボード、マウス、ジョイスティック(いずれも不図示)を含んで構成されてもよい。
遠隔操作情報取得装置32は、CPU42、ROM44、RAM46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。遠隔操作情報取得装置32は、操作インタフェイス24により入力された車両12の遠隔操作のための操作情報をサーバ22へ送信する。
表示装置34は、サーバ22から受信された情報を表示するディスプレイ(図2参照)とされている。具体的には、車両12が取得したそれぞれの周辺の映像や、カーナビゲーション装置に入力された希望条件(図2では一例として、乗員が希望する走行ルートが希望条件として反映された遠隔操作案内RDが表示されている)を含む情報が表示可能とされている。この表示装置34は、一例として、コントロールセンタ20内にて待機している複数のオペレータOPにそれぞれ割り当てられている。
図5に示されるように、サーバ22は、CPU42、ROM44、RAM46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。
(機能構成)
上記の車両用操作プログラムを実行する際に、車両用操作システム10は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用操作システム10が実現する機能構成について説明する。
図6は、車両用操作システム10の機能構成の例を示すブロック図である。
(車両の機能構成)
図6に示されるように、車両用操作システム10は、車両12のそれぞれにおける機能構成として、乗員操作情報取得部40と、遠隔操作情報取得部60と、周囲情報取得部62と、希望受付部52と、車両制御部64と、運転モード切替判定部66と、通信部68とを有している。各機能構成は、車載器14のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
乗員操作情報取得部40は、車両12に乗車した乗員による操作インタフェイス28(図3参照)へ入力された操作情報を取得する。
遠隔操作情報取得部60は、サーバ22から送信された操作情報を取得するように通信部68を制御する。サーバ22から送信された操作情報は、コントロールセンタ20のオペレータOPによって操作インタフェイス24(図4参照)へ入力された操作情報である。
車両制御部64は、乗員操作情報取得部40又は遠隔操作情報取得部60によって取得された操作情報に基づいて、車両駆動装置36(図2参照)の駆動及び操舵を制御する。
周囲情報取得部62は、車両12に設けられた撮影装置26(図3参照)が撮影した映像と、図示しない各種センサから現在地情報、車種情報、日時を含めた走行履歴、総走行距離、燃料残量、各種オイルの量、タイヤの空気圧等の各種情報を取得すると共に、当該各種情報をサーバ22へ送信するように、通信部68を制御する。
希望受付部52は、乗員が遠隔操作を行うように運転モード切替スイッチを操作した際に、車両12のカーナビゲーション装置に入力された目的地、遠隔操作時の走行希望ルート、経由したい場所、移動速度等を取得すると共に、これらに情報をサーバ22へ送信するように通信部68を制御する。
運転モード切替判定部66は、車両12の運転モード切替スイッチの状態を取得する。運転モード切替スイッチが遠隔操作へ切り替える状態になっている場合は、乗員が遠隔操作を要求しているとして遠隔操作要求情報をサーバ22へ送信するように通信部68を制御する。
通信部68は、他の装置との間で情報を送受信する。
(コントロールセンタの機能構成)
車両用操作システム10は、コントロールセンタ20における機能構成として、遠隔操作端末情報取得部80と、通信部82と、表示部84と、オペレータ情報登録部88とを有している。各機能構成は、遠隔操作情報取得装置32のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
遠隔操作端末情報取得部80は、サーバ22にて決定された後述する複数のオペレータOPのうち遠隔操作を行うオペレータOP(以下、他のオペレータOPと区別するため「決定オペレータOP」と称する。)に割り当てられた操作インタフェイス24(図4参照)から操作情報を取得し、当該操作情報をサーバ22へ送信するように、通信部82を制御する。
表示部84は、サーバ22から受信した車両12の周囲情報取得部62による各種情報をサーバ22にて決定された決定オペレータOPへ向けて表示するように決定オペレータOPに割り当てられた表示装置34(図4参照)を制御する。
オペレータ情報登録部88は、コントロールセンタ20内にて待機している複数のオペレータOPのそれぞれの遠隔操作可否情報、走行履歴、操作履歴等の各種情報を取得する。
通信部82は、他の装置との間で情報を送受信する。
(サーバの機能構成)
車両用操作システム10は、サーバ22における機能構成として、サーバ制御部86と、現在地特定部94と、車種特定部96と、遠隔操作制御部90と、経験値判定部98と、決定部72と、通信部92とを備える。各機能構成は、サーバ22のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
現在地特定部94は、車両12の周囲情報取得部62から取得した現在地情報から、車両12の現在地(以下、単に「現在地」と称する。)を特定する。
車種特定部96は、車両12の周囲情報取得部62から取得した車種情報から、車両12の車種を特定する。
経験値判定部98は、現在地特定部94から現在地を取得すると共に、車種特定部96から車両12の車種についての情報を取得する。また、経験値判定部98は、コントロールセンタ20にて車両12の遠隔操作を行うことができる状態にいるオペレータ情報登録部88に登録された複数のオペレータOP(以下、単に「複数のオペレータOP」と称する。)の各種情報を取得し、現在地における複数のオペレータOPのそれぞれの走行経験の度合いを示す走行経験値を判定する。すなわち、一例として、各オペレータOPの走行経験は、過去の遠隔操作の履歴や、オペレータOPの生活圏の範囲についての情報や、予め登録されている実際に車両を運転した経験がある道路や場所等の情報等から位置情報として経験値判定部98により算出される。そして、経験値判定部98は、各オペレータOPの走行経験と、現在地とを比較し、現在地を走行した経験を多く有するオペレータOPの順に順位付けを行う。なお、「現在地を走行した経験」の順位付けには、現在地における走行時間を用いてもよいし、現在地における走行距離を用いてもよいし、これらを組み合わせたものやそれ以外のパラメータを用いてもよい。
また、経験値判定部98は、複数のオペレータOPのそれぞれの操作経験の度合いを示す操作経験値を判定する。すなわち、一例として、各オペレータOPの操作経験は、過去の遠隔操作の履歴及び当該遠隔操作を行った車種情報により時間情報として算出される。そして、経験値判定部98は、各オペレータOPの操作経験値と、車両12の車種とを比較し、車両12の車種を操作した経験を多く有するオペレータOPの順に順位付けを行う。なお、「車種を操作した経験」の順位付けには、当該車種における走行時間を用いてもよいし、当該車種における走行距離を用いてもよいし、これらを組み合わせたものやそれ以外のパラメータを用いてもよい。
決定部72は、遠隔操作要求情報を受信した際に一例として、現在地特定部94から現在地を取得して車両12が遠隔操作対応エリアRA(図2参照)内にいるか否か又は、車両12が遠隔操作対応エリアRAへ向かって走行しかつ遠隔操作対応エリアRAの近傍にいる(以下、単に「遠隔操作対応エリアRA近傍にいる」と称する。)か否かを判定する。決定部72は、車両12が遠隔操作対応エリアRA内にいる又は遠隔操作対応エリアRA近傍にいる場合かつ遠隔操作要求情報を受信した際に、当該車両12の遠隔操作を行うオペレータOPのマッチングを行う。具体的には、経験値判定部98から取得したオペレータOPの走行経験値の順位付けとオペレータOPの操作経験値の順位付けとを比較し、複数のオペレータOPのうちそれぞれの順位付けにて上位にいるオペレータOPを車両12の遠隔操作を行う決定オペレータOPとして決定する。そして、決定部72は、決定オペレータOPの表示装置34に車両12の周囲情報取得部62からの各種情報を表示させるように制御すると共に、決定オペレータOPに割り当てられた操作インタフェイス24からの操作情報を取得するように遠隔操作端末情報取得部80を制御する。
なお、決定部72がオペレータOPを決定した後にも、経験値判定部98は現在地特定部94から現在地を取得すると共に、複数のオペレータOPの各種情報を取得し、当該現在地における複数のオペレータOPのそれぞれの走行経験値を判定する。つまり、車両12の移動によって現在地が変化した場合にも当該現在地における複数のオペレータOPのそれぞれの走行経験値を判定する。そして、決定部72は、車両12が遠隔操作対応エリアRA内にいる又は遠隔操作対応エリアRA近傍にいる場合かつ遠隔操作要求情報を受信した際(運転モード切替スイッチが遠隔操作を行うように切り替えられた状態が維持されているのも含む)は、再度当該車両12の遠隔操作を行うオペレータOPのマッチングを行う。そして、当該現在地において先の決定オペレータOPよりも走行経験値の順位付けが上位にいるオペレータOP(以下、決定オペレータOPと区別するため「変更オペレータOP」と称する。)がいる場合は、車両12の遠隔操作を行うオペレータOPを変更オペレータOPに変更する。そして、決定部72は、変更オペレータOPの表示装置34に車両12の周囲情報取得部62からの各種情報を表示させるように制御する。また、決定オペレータOPに割り当てられた操作インタフェイス24から、所定のタイミングにて変更オペレータOPに割り当てられた操作インタフェイス24より操作情報を取得するように切り替える。
遠隔操作制御部90は、決定部72により決定された決定オペレータOP又は変更オペレータOPからの操作情報を取得する。そして、遠隔操作制御部90は、取得した操作情報を車両12へ送信するようにサーバ制御部86を制御する。
サーバ制御部86は、サーバ22を制御する。例えば、サーバ制御部86は、車両12から送信された各種情報を取得し、当該情報をコントロールセンタ20へ送信するように通信部92を制御すると共に、コントロールセンタ20からの各種情報を車両12へ送信するように通信部92を制御する。
通信部92は、他の装置との間で情報を送受信する。
(処理フロー)
次に、車両用操作システム10の作用について説明する。図7は、車両用操作システム10による動作の流れを示すフローチャートである。車載器14、遠隔操作情報取得装置32及びサーバ22のそれぞれのCPU42がROM44又はストレージ48から車両用操作プログラムを読み出して、RAM46に展開して実行することにより、処理が行われる。
CPU42は、車両12の車種情報を取得する(ステップS100)と共に、車両12の現在地情報を取得する(ステップS102)。そして、CPU42は、遠隔操作要求情報を受信したか否かを判定する(ステップS104)。遠隔操作要求情報を受信していない場合(ステップS104:NO)、CPU42は、後述するステップS118の処理へ移行する。一方、遠隔操作要求情報を受信した場合(ステップS104:YES)、CPU42は、車両12が遠隔操作対応エリアRA内にいるか又は遠隔操作対応エリアRA近傍にいるかを判定する(ステップS106)。車両12が遠隔操作対応エリアRA内又は遠隔操作対応エリアRA近傍にいない場合(ステップS106:NO)、CPU42は、ステップS118の処理へ移行する。
車両12が遠隔操作対応エリアRA内又は遠隔操作対応エリアRA近傍にいる場合(ステップS106:YES)、CPU42は、コントロールセンタ20の複数のオペレータOPの情報を取得する(ステップS108)と共に、取得した情報を基に複数のオペレータOPのそれぞれの走行経験値及び操作経験値を判定して(ステップS110)、走行経験値及び操作経験値がそれぞれ高いオペレータOPを車両12の遠隔操作を行う決定オペレータOP(又は変更オペレータOP)として決定する(ステップS112)。
CPU42は、決定オペレータOP(又は変更オペレータOP)に割り当てられた表示装置34に車両12の撮影装置26による映像及び希望受付部52から取得した希望条件を反映した遠隔操作案内RDを表示させる(図2参照、ステップS114)と共に、決定オペレータOP(又は変更オペレータOP)が操作インタフェイス24に入力した操作情報にて車両12の遠隔操作制御処理を行う(ステップS116)。
CPU42は、目的地への到着や車両12のパワーユニットスイッチがオフとされた事等により車両12の走行が終了されたか否かを判定する(ステップS118)。車両12の走行が終了されていない場合(ステップS118:NO)、CPU42は、ステップS102の処理へ戻る。そして、上述した処理を繰り返すことで、その都度変化する現在地に応じた変更オペレータOPを決定する。一方、車両12の走行が終了された場合(ステップS118:YES)、CPU42は、車両用操作プログラムに戻づく処理を終了する。
(作用・効果)
次に、本実施形態の作用並びに効果を説明する。
本実施形態では、図6に示されるように、車両用操作システム10は、現在地特定部94と、車種特定部96と、遠隔操作制御部90と、経験値判定部98と、決定部72とを有している。現在地特定部94は、車両12の現在地を特定する。車種特定部96は、車両12の車種を特定する。遠隔操作制御部90は、複数のオペレータOPのうち決定オペレータOP又は変更オペレータOPの遠隔操作により車両12を走行させる。経験値判定部98は、車両12の遠隔操作を行える状態の複数のオペレータOPの走行経験値と操作経験値とをそれぞれ判定する。走行経験値は、車両12の現在地におけるオペレータOPの走行経験の度合いを示すものであり、操作経験値は、車両12の車種におけるオペレータOPの操作経験の度合いを示すものである。決定部72は、車両12より遠隔操作要求を受信した際に、車両12の目的地と、複数のオペレータOPの走行経験値及び操作経験値とのマッチングを行って車両12の遠隔操作を行う決定オペレータOPを決定する。したがって、車両12の現在地における走行経験があるオペレータOPや車両12の車種における操作経験があるオペレータOPが車両12を遠隔操作することができるため、不慣れな場所や不慣れな車種に起因する遠隔操作でのミスを抑制することができる。これにより、車両12の遠隔操作を安全に行うことができる。
また、経験値判定部98は、決定部72が決定オペレータOPの決定をした後にも現在地特定部94より車両12の現在地を取得し、当該現在地が変化すると再度当該現在地における複数のオペレータOPの走行経験値を判定する。決定部72は、車両12より遠隔操作要求を受信した際に、再度目的地と、複数のオペレータOPの走行経験値及び操作経験値とのマッチングを行って必要に応じて車両12の遠隔操作を行う決定オペレータOPを変更させる(変更オペレータOPを決定する)ことから、車両12が長距離移動する場合等にも対応することができる。すなわち、車両12が長距離移動等によって当初遠隔操作を行っていた決定オペレータOPの不慣れな場所へ移動した場合でも、移動先の場所における走行経験がある変更オペレータOPが遠隔操作を交代することができる。これにより、車両12の長距離移動に対応することができる。
さらに、遠隔操作制御部90は、遠隔操作における乗員の希望条件を反映した遠隔操作案内RD(図2参照)を決定オペレータOP(又は変更オペレータOP)へ提示することから、変更オペレータOP(又は変更オペレータOP)は当該遠隔操作案内RDを確認して希望条件を踏まえた車両12の遠隔操作を行うことができる。したがって、車両12の遠隔操作時における乗員の満足度を向上させることができる。これにより、遠隔操作時の乗員の快適度を向上させることができる。
なお、本実施形態では、遠隔操作対応エリアRA内であれば必要に応じて車両12の遠隔操作を行う決定オペレータOPを変更させる構成とされているが、これに限らず、遠隔操作対応エリアRAを一例としてサファリパーク等のテーマパークや観光地など特定のエリアに限定して当該特定のエリア内にて一度決定した決定オペレータOPからオペレータOPを変更しない構成にしてもよい。
また、希望受付部によって乗員の希望条件を取得する構成とされているが、これに限らず、希望受付部が設けられていない構成としてもよいし、オペレータOPから遠隔操作における走行ルート等を乗員に提案してこれに対して乗員が承諾及び拒否する構成としてもよい。さらに、サーバ22が最適な走行ルートや走行速度等を決定して遠隔操作案内RDとして遠隔操作を行うオペレータOPに提示する構成してもよい。
さらに、操作インタフェイス24と表示装置34とは、複数のオペレータOPにそれぞれ割り当てられた構成とされているが、これに限らず、所定の数の操作インタフェイス24と表示装置34とを決定オペレータOPや変更オペレータOPが実際に操作する際に交代して使用する構成としてもよい。
以上、本発明の実施形態について説明したが、本発明は、上記に限定されるものでなく、その主旨を逸脱しない範囲内において上記以外にも種々変形して実施することが可能であることは勿論である。
10 車両用操作システム
12 車両
52 希望受付部
72 決定部
90 遠隔操作制御部
94 現在地特定部
96 車種特定部
98 経験値判定部
OP オペレータ

Claims (3)

  1. 車両の現在地を特定する現在地特定部と、
    前記車両の車種を特定する車種特定部と、
    複数のオペレータの少なくとも一人の遠隔操作により前記車両を走行させる遠隔操作制御部と、
    前記現在地特定部により取得された前記車両の現在地における複数の前記オペレータのそれぞれの走行経験の度合いを示す走行経験値と、前記車種特定部により取得された前記車両の車種における複数の前記オペレータのそれぞれの操作経験の度合いを示す操作経験値とを判定する経験値判定部と、
    前記車両より遠隔操作要求情報を受信した際に、前記車両の目的地と、前記経験値判定部より取得した複数の前記オペレータの前記走行経験値及び前記操作経験値とのマッチングを行い、前記車両の遠隔操作を行う前記オペレータを決定する決定部と、
    を有する車両用操作システム。
  2. 前記経験値判定部は、前記決定部が前記オペレータの決定をした後にも前記現在地特定部より前記車両の現在地を取得すると共に、前記車両の現在地が変化すると再度前記車両の現在地における複数の前記オペレータのそれぞれの前記走行経験値を判定し、
    前記決定部は、前記車両より遠隔操作要求情報を受信した際に、再度前記車両の目的地と、前記経験値判定部より取得した複数の前記オペレータの前記走行経験値及び前記操作経験値とのマッチングを行い、必要に応じて前記車両の遠隔操作を行う前記オペレータを変更させる、
    請求項1記載の車両用操作システム。
  3. 前記遠隔操作制御部は、前記車両の乗員が遠隔操作を要求した際に遠隔操作における前記乗員の希望条件を取得する希望受付部から取得される当該希望条件を反映した遠隔操作案内を前記オペレータへ提示する、
    請求項1又は請求項2記載の車両用操作システム。
JP2019151396A 2019-08-21 2019-08-21 車両用操作システム Active JP7272172B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019151396A JP7272172B2 (ja) 2019-08-21 2019-08-21 車両用操作システム
US16/928,534 US20210055720A1 (en) 2019-08-21 2020-07-14 Vehicle operation system
CN202010699256.1A CN112486159A (zh) 2019-08-21 2020-07-20 车辆用操作系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019151396A JP7272172B2 (ja) 2019-08-21 2019-08-21 車両用操作システム

Publications (2)

Publication Number Publication Date
JP2021033523A true JP2021033523A (ja) 2021-03-01
JP7272172B2 JP7272172B2 (ja) 2023-05-12

Family

ID=74647311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019151396A Active JP7272172B2 (ja) 2019-08-21 2019-08-21 車両用操作システム

Country Status (3)

Country Link
US (1) US20210055720A1 (ja)
JP (1) JP7272172B2 (ja)
CN (1) CN112486159A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144271A (ja) * 2021-03-18 2022-10-03 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
WO2022259638A1 (ja) * 2021-06-07 2022-12-15 パナソニックIpマネジメント株式会社 制御方法および制御システム
JP2023000856A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム
JP7521505B2 (ja) 2021-08-31 2024-07-24 トヨタ自動車株式会社 遠隔運転の引き継ぎ方法、遠隔運転システム、及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261058A1 (ja) * 2020-06-26 2021-12-30 パナソニックIpマネジメント株式会社 情報処理方法、情報処理端末、及び、情報処理システム
CN114930417A (zh) * 2020-07-15 2022-08-19 松下知识产权经营株式会社 信息处理方法以及信息处理系统
KR20230001073A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
KR20230005034A (ko) * 2021-06-30 2023-01-09 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195941A (ja) * 2001-12-26 2003-07-11 Matsushita Electric Ind Co Ltd 移動体を移動させるサービスを提供する方法
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018106755A1 (en) * 2016-12-06 2018-06-14 Nissan North America, Inc. Generation of solution data for autonomous vehicles to negotiate problem situations
JP2018525710A (ja) * 2015-06-17 2018-09-06 クゥアルコム・インコーポレイテッドQualcomm Incorporated 「無人航空機(ua)を制御するためのパイロットを選択するための方法、無人航空機(ua)を制御するためのパイロットを選択するための装置、無人航空機(ua)を制御するためのパイロットの選択を容易にするための方法、及び無人航空機(ua)
JP2020529080A (ja) * 2017-07-28 2020-10-01 ニューロ・インコーポレーテッドNuro Incorporated ロボット車両のリモート操作のためのシステムおよび方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9120494B2 (en) * 2006-12-04 2015-09-01 General Electric Company System, method and computer software code for remotely assisted operation of a railway vehicle system
CN107850895B (zh) * 2015-05-13 2020-03-31 优步技术公司 通过引导协助操作的自动驾驶车辆
US10345809B2 (en) * 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9545995B1 (en) * 2015-07-14 2017-01-17 Qualcomm Incorporated Control normalization for unmanned autonomous systems
US10094308B2 (en) * 2015-09-25 2018-10-09 Cummins, Inc. System, method, and apparatus for improving the performance of an operator of a vehicle
CN105334863B (zh) * 2015-11-23 2019-04-26 杨珊珊 一种多控制端的无人机及其控制台和控制切换方法
US10705519B2 (en) * 2016-04-25 2020-07-07 Transportation Ip Holdings, Llc Distributed vehicle system control system and method
US11046332B2 (en) * 2016-11-09 2021-06-29 Honda Motor Co., Ltd. Vehicle control device, vehicle control system, vehicle control method, and storage medium
CN106817409B (zh) * 2016-12-28 2020-03-20 珠海市魅族科技有限公司 通信连接的控制方法、系统、服务器及车载终端
CN109583781A (zh) * 2018-12-06 2019-04-05 广东电网有限责任公司肇庆供电局 评估方法、无人机管理方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195941A (ja) * 2001-12-26 2003-07-11 Matsushita Electric Ind Co Ltd 移動体を移動させるサービスを提供する方法
JP2018525710A (ja) * 2015-06-17 2018-09-06 クゥアルコム・インコーポレイテッドQualcomm Incorporated 「無人航空機(ua)を制御するためのパイロットを選択するための方法、無人航空機(ua)を制御するためのパイロットを選択するための装置、無人航空機(ua)を制御するためのパイロットの選択を容易にするための方法、及び無人航空機(ua)
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018106755A1 (en) * 2016-12-06 2018-06-14 Nissan North America, Inc. Generation of solution data for autonomous vehicles to negotiate problem situations
JP2020513623A (ja) * 2016-12-06 2020-05-14 ニッサン ノース アメリカ,インク 自律走行車が問題状況に対処するための解決データの生成
JP2020529080A (ja) * 2017-07-28 2020-10-01 ニューロ・インコーポレーテッドNuro Incorporated ロボット車両のリモート操作のためのシステムおよび方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144271A (ja) * 2021-03-18 2022-10-03 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
WO2022259638A1 (ja) * 2021-06-07 2022-12-15 パナソニックIpマネジメント株式会社 制御方法および制御システム
JP2023000856A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
JP7438168B2 (ja) 2021-06-18 2024-02-26 Lineヤフー株式会社 運転制御装置、運転制御方法および運転制御プログラム
JP7521505B2 (ja) 2021-08-31 2024-07-24 トヨタ自動車株式会社 遠隔運転の引き継ぎ方法、遠隔運転システム、及びプログラム
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム

Also Published As

Publication number Publication date
CN112486159A (zh) 2021-03-12
JP7272172B2 (ja) 2023-05-12
US20210055720A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7272172B2 (ja) 車両用操作システム
CN106997203B (zh) 车辆自动化及操作者参与等级预测
CN107735303B (zh) 用于运行机动车的方法以及机动车
CN111830961B (zh) 路径设定装置、路径设定方法以及存储介质
JP5402991B2 (ja) 経路算出装置
JP2018141842A (ja) 地図更新システム
JP2019168893A (ja) 遠隔運転管理装置及びプログラム
JP7151662B2 (ja) 車両用操作システム
JPWO2019003314A1 (ja) 通知システムおよびその制御方法、車両、並びにプログラム
CN111762168A (zh) 控制装置、控制方法以及存储介质
JP6825683B1 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
KR20190041328A (ko) 자율주행 차량에서 수동주행 모드로의 전환 조건
JP2019185451A (ja) 車両遠隔操作支援システム
CN112311845A (zh) 车辆用操作系统
CN111862669B (zh) 自动驾驶车辆管理系统
JP2019190835A (ja) 車両遠隔操作支援システム
CN111721315A (zh) 一种信息处理方法、装置、车辆以及显示设备
JP2013127737A (ja) 車載情報提供装置
CN110239539A (zh) 车辆用控制装置以及车辆
JP2012137400A (ja) 経路探索装置、経路探索方法及びコンピュータプログラム
CN112440969A (zh) 使用眼动数据来预测车辆操作员意图的系统和方法
US20240078911A1 (en) Vehicle convoy formation
JP2018081357A (ja) 運転支援装置
US12071131B2 (en) Electronic towing system and method for controlling route planning apparatus
JP2020107045A (ja) 車両の制御装置、制御方法、制御プログラム、及び車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R151 Written notification of patent or utility model registration

Ref document number: 7272172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151