JP2019160146A - Vehicle remote support system and method - Google Patents

Vehicle remote support system and method Download PDF

Info

Publication number
JP2019160146A
JP2019160146A JP2018049253A JP2018049253A JP2019160146A JP 2019160146 A JP2019160146 A JP 2019160146A JP 2018049253 A JP2018049253 A JP 2018049253A JP 2018049253 A JP2018049253 A JP 2018049253A JP 2019160146 A JP2019160146 A JP 2019160146A
Authority
JP
Japan
Prior art keywords
vehicle
remote
support
remote support
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018049253A
Other languages
Japanese (ja)
Other versions
JP7010088B2 (en
Inventor
玉坤 張
Yukun Zhang
玉坤 張
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018049253A priority Critical patent/JP7010088B2/en
Publication of JP2019160146A publication Critical patent/JP2019160146A/en
Application granted granted Critical
Publication of JP7010088B2 publication Critical patent/JP7010088B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

To provide a technology that allows an operator to remotely support a vehicle at an appropriate timing.SOLUTION: A remote support system 100 that performs a remote support for a vehicle 10 is comprised of: a route planning unit 62 that specifies a route of the vehicle to a destination via a support point where the vehicle is remotely supported; and a predicting unit 66 that predicts a timing at which a support of an operation of the vehicle is started by an operator based on a scheduled time at which the vehicle arrives at the support point included in the specified route.SELECTED DRAWING: Figure 1

Description

本開示は、車両の遠隔支援システムに関する。   The present disclosure relates to a vehicle remote assistance system.

近年、車両を、遠隔地にいるオペレータが一時的に遠隔操作する技術が提案されている。例えば、特許文献1に記載された技術では、渋滞が発生しやすい場所や混雑する場所に車両が進入した場合に、オペレータによりその車両の遠隔操作が行われる。   In recent years, a technique has been proposed in which an operator in a remote place temporarily operates a vehicle remotely. For example, in the technique described in Patent Document 1, when a vehicle enters a place where traffic congestion is likely to occur or a crowded place, the operator remotely operates the vehicle.

特開2017−147626号公報JP 2017-147626 A

しかし、従来の技術では、オペレータが呼び出されるタイミングやオペレータの必要人数などが考慮されていない。そのため、オペレータの人数や勤務状況によっては、適切なタイミングで車両に対する遠隔支援を行うことができない可能性があった。   However, the conventional technique does not take into consideration the timing at which the operator is called or the required number of operators. Therefore, depending on the number of operators and working conditions, there is a possibility that remote support for the vehicle cannot be performed at an appropriate timing.

本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。   This indication is made in order to solve at least one part of the above-mentioned subject, and can be realized as the following forms.

本開示の一形態によれば、車両(10)に対して遠隔支援を行う遠隔支援システム(100)が提供される。この遠隔支援システムは、前記車両に対して遠隔支援が行われる支援地点を経由して前記車両が目的地までに至る経路を特定する経路計画部(62)と;特定された前記経路に含まれる前記支援地点に前記車両が到着する予定時刻に基づいて、オペレータによって前記車両に対して遠隔支援が開始されるタイミングを予測する予測部(66)と;を備えることを特徴とする。   According to one form of the present disclosure, a remote support system (100) that provides remote support to a vehicle (10) is provided. The remote support system includes a route plan unit (62) for specifying a route from the vehicle to a destination via a support point where remote support is performed on the vehicle; and included in the specified route And a predicting unit (66) for predicting a timing at which remote support is started for the vehicle by an operator based on a scheduled time at which the vehicle arrives at the support point.

このような形態の遠隔支援システムであれば、車両が支援地点に到着する予定時刻に基づいて、オペレータが支援を開始するタイミングを予測できるので、適切なタイミングでオペレータが車両を遠隔支援することができる。   In the case of such a remote support system, the timing at which the operator starts support can be predicted based on the scheduled time when the vehicle arrives at the support point, so that the operator can remotely support the vehicle at an appropriate timing. it can.

本開示は、遠隔支援システム以外の種々の形態で実現することも可能である。例えば、遠隔支援システムが実行する方法、その方法を実行するためのコンピュータプログラム、そのコンピュータプログラムを記憶した一時的でない有形の記録媒体等の形態で実現できる。   The present disclosure can also be realized in various forms other than the remote support system. For example, the present invention can be realized in the form of a method executed by the remote support system, a computer program for executing the method, a non-temporary tangible recording medium storing the computer program, and the like.

遠隔支援システムの概略構成を示す図。The figure which shows schematic structure of a remote assistance system. 各車両に対して特定された経路を示す図。The figure which shows the path | route specified with respect to each vehicle. 車両毎の支援地点への到着タイミングを示す図。The figure which shows the arrival timing to the assistance point for every vehicle. 遠隔支援処理のフローチャート。The flowchart of a remote assistance process. オペレータ数の調整を示す図。The figure which shows adjustment of the number of operators. オペレータ数の履歴に基づく調整を示す図。The figure which shows adjustment based on the log | history of the number of operators. 遠隔支援前におけるオペレータ端末のユーザインタフェースを示す図。The figure which shows the user interface of the operator terminal before remote assistance. 遠隔支援中におけるオペレータ端末のユーザインタフェースを示す図。The figure which shows the user interface of the operator terminal in remote assistance. オペレータ端末のユーザインタフェースを消去した状態を示す図。The figure which shows the state which erase | eliminated the user interface of the operator terminal.

A.第1実施形態:
図1に示すように、本開示の実施形態としての遠隔支援システム100は、車両10と、管制センタに配置された遠隔支援装置50と、オペレータによって操作されるオペレータ端末80とを備える。本実施形態における車両10は、自動的に運行される自動運転車両である。遠隔支援システム100は、予め定められた支援地点に車両10(自動運転車両)が到着した際に、遠隔地にいるオペレータが車両10の遠隔支援を行うためのシステムである。本実施形態において、遠隔支援とは、オペレータが遠隔地から車両10を操作すること、あるいは、オペレータが遠隔地から車両10を用いて監視を行うことをいう。支援地点とは、車両10が自律的に運転を行うことが困難な地点、あるいは、オペレータが車両を遠隔支援可能な地点であり、例えば、工事現場、駐車場、高速道路、自動車専用道路、サービスエリア、パーキングエリア、荷物集積所、料金所、インターチェンジ、などである。
A. First embodiment:
As illustrated in FIG. 1, a remote support system 100 as an embodiment of the present disclosure includes a vehicle 10, a remote support device 50 disposed in a control center, and an operator terminal 80 operated by an operator. The vehicle 10 in this embodiment is an automatically driven vehicle that is operated automatically. The remote support system 100 is a system for an operator at a remote location to remotely support the vehicle 10 when the vehicle 10 (automatic driving vehicle) arrives at a predetermined support point. In this embodiment, remote support means that an operator operates the vehicle 10 from a remote location, or that the operator performs monitoring using the vehicle 10 from a remote location. The support point is a point where it is difficult for the vehicle 10 to autonomously drive, or a point where an operator can remotely support the vehicle. For example, a construction site, a parking lot, an expressway, a car road, a service Area, parking area, luggage storage, toll booth, interchange, etc.

本実施形態の遠隔支援システム100は一または複数の車両10を含む。各車両10は、車両側通信機12とカメラ14と測位装置16と車両側制御部18とを備える。   The remote support system 100 according to the present embodiment includes one or a plurality of vehicles 10. Each vehicle 10 includes a vehicle-side communication device 12, a camera 14, a positioning device 16, and a vehicle-side control unit 18.

車両側通信機12は、遠隔支援装置50との間で無線通信を行う。   The vehicle-side communication device 12 performs wireless communication with the remote support device 50.

カメラ14は、車両10の周囲を撮影する。本実施形態では、カメラ14は、車両10の前方を撮影する。   The camera 14 captures the surroundings of the vehicle 10. In the present embodiment, the camera 14 photographs the front of the vehicle 10.

測位装置16は、GPS(Global Positioning System)受信機あるいはGNSS(Global Navigation Satellite System)受信機を備え、車両10の現在位置を測位する。   The positioning device 16 includes a GPS (Global Positioning System) receiver or a GNSS (Global Navigation Satellite System) receiver, and measures the current position of the vehicle 10.

車両側制御部18は、車両側通信機12、カメラ14、および、測位装置16の制御を行う。また、車両側制御部18は、CPUおよびメモリを備えるコンピュータとして構成されており、CPUがメモリに記憶されたプログラムを実行することにより動作制御部20として機能する。   The vehicle-side control unit 18 controls the vehicle-side communication device 12, the camera 14, and the positioning device 16. Moreover, the vehicle side control part 18 is comprised as a computer provided with CPU and memory, and functions as the operation control part 20 when CPU runs the program memorize | stored in memory.

動作制御部20は、オペレータによる遠隔操作に基づき、車両の動作(加速、減速、制動、操舵)を制御する。また、動作制御部20は、車両10の識別情報(車両ID)や位置情報を含む車両情報を、車両側通信機12を通じて、所定の周期で繰り返し遠隔支援装置50に送信する。車両情報には、車両10の車種や乗員を識別するための情報、目的地の位置を表す情報が含まれてもよい。また、動作制御部20は、オペレータによって車両10の遠隔支援が行われる場合には、カメラ14によって撮影された映像を、車両側通信機12を通じて、遠隔支援装置50およびオペレータ端末80に送信する。   The operation control unit 20 controls the operation (acceleration, deceleration, braking, steering) of the vehicle based on the remote operation by the operator. Further, the operation control unit 20 repeatedly transmits vehicle information including identification information (vehicle ID) and position information of the vehicle 10 to the remote support device 50 through the vehicle-side communication device 12 at a predetermined cycle. The vehicle information may include information for identifying the vehicle type and occupant of the vehicle 10 and information indicating the position of the destination. In addition, when remote assistance of the vehicle 10 is performed by an operator, the operation control unit 20 transmits an image captured by the camera 14 to the remote assistance device 50 and the operator terminal 80 through the vehicle-side communication device 12.

遠隔支援装置50は、管制側通信機52と管制側制御部60と記憶装置70とを備える。   The remote support device 50 includes a control side communication device 52, a control side control unit 60, and a storage device 70.

管制側通信機52は、遠隔支援システム100との間で無線通信を行う。また、管制側通信機52は、オペレータ端末80との間で有線または無線による通信を行う。   The control side communication device 52 performs wireless communication with the remote support system 100. The control side communication device 52 performs wired or wireless communication with the operator terminal 80.

記憶装置70は、地図データベース72と、オペレータ情報データベース74とを記憶している。地図データベース72には、支援地点の位置が登録されている。また、地図データベース72には、交差点や道路のつながり状態を示す道路データや、渋滞情報や交通規制情報、支援地点毎の交通量を含む交通情報が記録されている。交通情報は、例えば、管制側通信機52を通じて、他のサーバから取得されて記憶される。オペレータ情報データベース74には、例えば、車両の遠隔支援を行う各オペレータのスケジュールが記録される。   The storage device 70 stores a map database 72 and an operator information database 74. In the map database 72, the position of the support point is registered. The map database 72 records road data indicating intersections and road connections, traffic information including traffic information, traffic regulation information, and traffic volume for each support point. The traffic information is acquired from another server and stored through the control side communication device 52, for example. In the operator information database 74, for example, a schedule of each operator who performs remote support of the vehicle is recorded.

管制側制御部60は、管制側通信機52および記憶装置70の制御を行う。管制側制御部60は、CPUおよびメモリを備えるコンピュータとして構成されており、CPUがメモリに記憶されたプログラムを実行することにより、経路計画部62、遠隔支援部64、予測部66、記録部68、割当部69として機能する。   The control side control unit 60 controls the control side communication device 52 and the storage device 70. The control side control unit 60 is configured as a computer including a CPU and a memory, and when the CPU executes a program stored in the memory, the route planning unit 62, the remote support unit 64, the prediction unit 66, and the recording unit 68 are executed. , Functioning as the assigning unit 69.

経路計画部62は、各車両10が走行する経路を特定する。より具体的には、経路計画部62は、各車両10が支援地点を経由しつつ出発地から目的地に至る経路を、地図データベース72に記録された道路データ、交通情報、および支援地点の位置に基づき特定する。出発地、目的地、および、経由する支援地点は、例えば、車両10や遠隔支援装置50の管理者、あるいはオペレータにより指定される。経路計画部62は、特定した経路を、管制側通信機52を通じて各車両10に配信する。なお、経路の特定は、各車両10の車両側制御部18において行われてもよい。また、経路の特定は、各車両10からの要求に応じて行われてもよい。   The route planning unit 62 specifies the route on which each vehicle 10 travels. More specifically, the route planning unit 62 determines the route from the departure point to the destination while each vehicle 10 passes through the support point, road data recorded in the map database 72, traffic information, and the position of the support point. Based on The departure point, the destination, and the support point through which the vehicle is to be routed are designated by, for example, an administrator of the vehicle 10 or the remote support device 50 or an operator. The route planning unit 62 distributes the identified route to each vehicle 10 through the control side communication device 52. The route specification may be performed by the vehicle-side control unit 18 of each vehicle 10. The route specification may be performed in response to a request from each vehicle 10.

遠隔支援部64は、オペレータによる操作に基づき支援地点における車両10の遠隔支援を行う。例えば、遠隔支援部64は、車両10から送信された位置情報に基づき車両10が支援地点に到着したと判断した場合、あるいは、車両10から遠隔支援要求を受け付けた場合に、オペレータによるオペレータ端末80の操作信号を受け付け、その操作信号に基づき、支援地点における車両10の遠隔支援を行う。遠隔支援の際には、オペレータ端末80には、遠隔支援部64から車両情報と、車両10に備えられたカメラ14によって撮影された映像と、が送信される。   The remote support unit 64 performs remote support of the vehicle 10 at the support point based on the operation by the operator. For example, when the remote support unit 64 determines that the vehicle 10 has arrived at the support point based on the position information transmitted from the vehicle 10 or receives a remote support request from the vehicle 10, the operator terminal 80 by the operator. And the vehicle 10 is remotely supported at the support point based on the operation signal. At the time of remote support, vehicle information and an image taken by the camera 14 provided in the vehicle 10 are transmitted from the remote support unit 64 to the operator terminal 80.

予測部66は、経路計画部62によって特定された経路に含まれる支援地点に車両10が到着する予定時刻に基づいて、オペレータによって車両10の遠隔支援が開始されるタイミングを予測するとともに、遠隔支援が行われる時間(以下、「所要時間」という)を予測する。予測部66は、例えば、支援地点毎に過去の所要時間と交通量の関係を学習し、その学習結果と現在の交通量とから所要時間を予測することができる。本実施形態の予測部66は、車両10毎に特定された経路に含まれる支援地点に到着する予定時刻に基づいて、複数の車両を同時に支援するためのオペレータの人数を予測する機能を備える。   The predicting unit 66 predicts the timing at which the remote support of the vehicle 10 is started by the operator based on the scheduled time when the vehicle 10 arrives at the support point included in the route specified by the route planning unit 62, and also provides remote support. Is predicted (hereinafter referred to as “required time”). For example, the prediction unit 66 can learn the relationship between the past required time and the traffic volume for each support point, and can predict the required time from the learning result and the current traffic volume. The prediction unit 66 according to the present embodiment has a function of predicting the number of operators for simultaneously supporting a plurality of vehicles based on the scheduled time of arrival at a support point included in the route specified for each vehicle 10.

記録部68は、遠隔支援を行ったオペレータの人数の時間帯毎の履歴を、オペレータ情報データベース74に記録する。また、記録部68は、各オペレータが支援地点において車両10を遠隔支援した所要時間の履歴を、支援地点毎にオペレータ情報データベース74に記録する。また、記録部68は、支援地点ごとに交通量の履歴をオペレータ情報データベース74に記録する。   The recording unit 68 records, in the operator information database 74, a history of the number of operators who have performed remote support for each time zone. In addition, the recording unit 68 records a history of the time required for each operator to remotely support the vehicle 10 at the support point in the operator information database 74 for each support point. Further, the recording unit 68 records a traffic volume history in the operator information database 74 for each support point.

割当部69は、予測部66によって予測された遠隔支援の開始タイミングに基づき、各車両10の経路に含まれる支援地点に対してオペレータの割り当てを行い、オペレータ毎にスケジュールを決定する。割当部69は決定したスケジュールをオペレータ情報データベース74に記録する。スケジュールには、例えば、オペレータ毎に、遠隔支援を行う時刻、支援地点、および車両が登録される。   The allocation unit 69 allocates operators to the support points included in the route of each vehicle 10 based on the remote support start timing predicted by the prediction unit 66, and determines a schedule for each operator. The allocation unit 69 records the determined schedule in the operator information database 74. In the schedule, for example, time for remote support, support points, and vehicles are registered for each operator.

オペレータ端末80は、CPUおよびメモリを備えたコンピュータまたは移動端末として構成されている。本実施形態における遠隔支援システム100は、一または複数のオペレータ端末80を含む。各オペレータ端末80は、操作部82と表示部84とを備える。操作部82は、オペレータから車両10を遠隔支援するための操作を受け付ける。受け付けられた操作は、操作信号として、遠隔支援装置50を通じて車両10に送信される。表示部84は、オペレータの操作に供されるユーザインタフェースを表示する。また、表示部84には、車両10から送信されたカメラ14の映像が表示される。   The operator terminal 80 is configured as a computer or a mobile terminal provided with a CPU and a memory. The remote support system 100 in this embodiment includes one or a plurality of operator terminals 80. Each operator terminal 80 includes an operation unit 82 and a display unit 84. The operation unit 82 receives an operation for remotely supporting the vehicle 10 from an operator. The accepted operation is transmitted to the vehicle 10 through the remote support device 50 as an operation signal. The display unit 84 displays a user interface used for an operator's operation. Further, the video of the camera 14 transmitted from the vehicle 10 is displayed on the display unit 84.

図2に示すように、遠隔支援装置50の経路計画部62によって、複数の車両V1,V2,V3には、それぞれ、異なる経路が特定される。図2には、車両V1に対して、支援地点D2,A3,A1,A2を経由する経路が特定され、車両V2に対して、支援地点B2,B3,C1,A1を経由する経路が特定され、車両V3に対して、支援地点C1,D1,B1,C3を経由する経路が特定された例が示されている。   As shown in FIG. 2, the route planning unit 62 of the remote support device 50 specifies different routes for the plurality of vehicles V1, V2, and V3, respectively. In FIG. 2, a route passing through the support points D2, A3, A1, A2 is specified for the vehicle V1, and a route passing through the support points B2, B3, C1, A1 is specified for the vehicle V2. An example in which a route passing through the support points C1, D1, B1, C3 is specified for the vehicle V3 is shown.

図3には、各経路における支援地点への到着タイミングを車両毎に時系列的に示している。横軸は、時間を表している。横軸のことを、以下ではスケジュールラインSLという。スケジュールラインSL上の各支援地点を示す四角形の箱を、以下ではスケジュールブロックSBという。スケジュールブロックSBの幅は、その支援地点における所要時間を表している。オペレータ情報データベース74には、支援地点毎の所要時間が記録されているので、経路計画部62は、出発地、目的地、支援地点の位置が指定されれば、各支援地点に到着する時刻と、各支援地点において支援が行われる時間とを予め特定することができる。図3に示されているように、各車両V1〜V3は、支援地点に到着する時間が異なる。そのため、遠隔支援が開始されるタイミングも異なる。また、支援地点における所要時間も異なるため、時間帯によって、オペレータの必要人数が変動する。   In FIG. 3, the arrival timing to the support point in each route is shown in time series for each vehicle. The horizontal axis represents time. The horizontal axis is hereinafter referred to as schedule line SL. A rectangular box indicating each support point on the schedule line SL is hereinafter referred to as a schedule block SB. The width of the schedule block SB represents the required time at the support point. Since the required time for each support point is recorded in the operator information database 74, the route planning unit 62 can specify the time of arrival at each support point if the departure point, the destination, and the position of the support point are designated. It is possible to specify in advance the time at which assistance is performed at each assistance point. As shown in FIG. 3, the vehicles V <b> 1 to V <b> 3 have different arrival times at the support points. Therefore, the timing at which remote support is started is also different. Further, since the required time at the support point is different, the required number of operators varies depending on the time zone.

図4を用いて遠隔支援システム100において実行される遠隔支援処理について説明する。図4に示した遠隔支援処理は、遠隔支援システム100が稼働している間、遠隔支援装置50において所定の周期で繰り返し実行される処理である。   A remote support process executed in the remote support system 100 will be described with reference to FIG. The remote support process shown in FIG. 4 is a process that is repeatedly executed at a predetermined cycle in the remote support device 50 while the remote support system 100 is operating.

まず、遠隔支援装置50は、経路計画部62によって経路が特定されたか、または、車両10から車両情報を受信したか、を判断する(ステップS10)。上記のとおり、車両情報は、車両10から周期的に送信され、車両情報には、車両10の識別情報(車両ID)と位置情報とが含まれる。経路計画部62によって経路が特定されない場合、または、車両情報が受信されない場合には、遠隔支援装置50は、当該遠隔支援処理を終了する。   First, the remote assistance device 50 determines whether a route is specified by the route planning unit 62 or whether vehicle information is received from the vehicle 10 (step S10). As described above, the vehicle information is periodically transmitted from the vehicle 10, and the vehicle information includes identification information (vehicle ID) and position information of the vehicle 10. When the route is not specified by the route planning unit 62 or when the vehicle information is not received, the remote assistance device 50 ends the remote assistance processing.

経路計画部62によって経路が特定された場合、または、車両情報を受信した場合には(ステップS10:Yes)、遠隔支援装置50の予測部66は、支援タイミング予測処理を行う(ステップS12)。支援タイミング予測処理とは、経路計画部62によって特定された経路および、車両10から受信した車両情報に基づき、オペレータによって遠隔支援を開始するタイミングを予測する処理である。図3に示したように、経路が特定されると、各車両10が支援地点に到着する予定時刻が特定される。また、車両10から車両情報を受信すると、現時点における車両10の実際の位置がわかる。そこで、経路計画部62は、車両10のリアルタイムの位置情報に基づき、各支援地点への到着時刻を更新し、予測部66は、更新された到着時刻に基づき、オペレータによって遠隔支援が開始されるタイミングの予測結果を更新する。本実施形態では、予測部66は、支援地点に車両10が到着するタイミングを、オペレータによって遠隔支援が開始されるタイミングとして予測する。なお、オペレータによって遠隔支援が開始されるタイミングは、支援地点に車両10が到着するタイミングと同じでなくてもよく、例えば、支援地点に車両10が到着するタイミングよりも早いタイミングであってもよいし、遅いタイミングであってもよい。   When a route is specified by the route planning unit 62 or when vehicle information is received (step S10: Yes), the prediction unit 66 of the remote support device 50 performs support timing prediction processing (step S12). The support timing prediction process is a process of predicting the timing at which remote support is started by the operator based on the route specified by the route planning unit 62 and the vehicle information received from the vehicle 10. As shown in FIG. 3, when the route is specified, the scheduled time at which each vehicle 10 arrives at the support point is specified. Further, when the vehicle information is received from the vehicle 10, the actual position of the vehicle 10 at the present time is known. Therefore, the route planning unit 62 updates the arrival time at each support point based on the real-time position information of the vehicle 10, and the prediction unit 66 starts remote support by the operator based on the updated arrival time. Update the timing prediction results. In the present embodiment, the prediction unit 66 predicts the timing at which the vehicle 10 arrives at the support point as the timing at which remote support is started by the operator. Note that the timing at which the remote support is started by the operator may not be the same as the timing at which the vehicle 10 arrives at the support point. For example, the timing at which the vehicle 10 arrives at the support point may be earlier. However, it may be late.

続いて、予測部66は、必要オペレータ予測処理を行う(ステップS14)。この必要オペレータ予測処理は、現在から将来にかけて、時間帯毎にその時間帯において必要となるオペレータの人数を予測する処理である。図3に示すように、予測部66は、各車両が支援地点に到着する予定時刻とその支援地点における所要時間とから、同じ時間帯に遠隔支援を受ける車両の数を特定できるため、その車両の数を、必要オペレータ数として予測することが可能である。ただし、図5に示すように、予測部66は、予測誤差やオペレータの休憩のために余裕を持たせるため、オペレータ数の予測値に、予め余裕を持たせてもよい。図6に示すように、過去の同じ時間帯や、過去の同じ曜日の同じ時間帯など、過去のオペレータ数の履歴に応じて、管理者は、一日の仕事前に、その日の各時間帯において必要なオペレータの人数を大まかに把握することができる。予測部66によって、必要オペレータ数が予測されると、その予測結果に基づき、割当部69によってオペレータ情報データベース74に記録されたスケジュールが更新される。   Subsequently, the prediction unit 66 performs necessary operator prediction processing (step S14). This necessary operator prediction process is a process for predicting the number of operators required in each time period from the present to the future. As shown in FIG. 3, the prediction unit 66 can specify the number of vehicles that receive remote support in the same time zone from the scheduled time at which each vehicle arrives at the support point and the required time at the support point. Can be estimated as the required number of operators. However, as illustrated in FIG. 5, the prediction unit 66 may provide a margin for the prediction value of the number of operators in advance in order to provide a margin for prediction errors and operator breaks. As shown in FIG. 6, according to the history of the number of operators in the past, such as the same time zone in the past and the same time zone on the same day in the past, the administrator It is possible to roughly grasp the number of required operators. When the required number of operators is predicted by the prediction unit 66, the schedule recorded in the operator information database 74 by the allocation unit 69 is updated based on the prediction result.

図4に戻り、遠隔支援装置50の割当部69は、オペレータ情報データベース74に記録されたスケジュールに基づき、その車両10に対してオペレータを割り当てる(ステップS16)。そして、遠隔支援装置50は、車両10から受信した車両情報に基づき、車両10が支援地点に接近したか否かを判断する(ステップS18)。例えば、遠隔支援装置50は、車両10が、その車両10の経路において、次に到着する支援地点まで5分以内に到着すると予測した場合に、支援地点に接近したと判断する。車両10が支援地点に接近していない場合には(ステップS18:No)、遠隔支援装置50は、当該遠隔支援処理を終了する。   Returning to FIG. 4, the assigning unit 69 of the remote support device 50 assigns an operator to the vehicle 10 based on the schedule recorded in the operator information database 74 (step S16). And the remote assistance apparatus 50 judges whether the vehicle 10 approached the assistance point based on the vehicle information received from the vehicle 10 (step S18). For example, the remote support device 50 determines that the vehicle 10 has approached the support point when it is predicted that the vehicle 10 will arrive within 5 minutes in the route of the vehicle 10 until the next arrival support point. When the vehicle 10 is not approaching the support point (step S18: No), the remote support device 50 ends the remote support process.

一方、車両10が支援地点に接近した場合には(ステップS18:Yes)、オペレータは、車両10が支援地点に到着し次第、または、車両10からの支援要求があり次第、オペレータ端末80を用いて、車両10を遠隔支援するための操作を行う。遠隔支援装置50は、オペレータ端末80から操作信号を受け付け、車両10に対してその操作信号を転送することにより、遠隔支援を行う(ステップS20)。なお、遠隔支援のための操作信号は、遠隔支援装置50を介することなく、車両10とオペレータ端末80との間で直接やり取りされてもよい。   On the other hand, when the vehicle 10 approaches the support point (step S18: Yes), the operator uses the operator terminal 80 as soon as the vehicle 10 arrives at the support point or when a support request is received from the vehicle 10. Then, an operation for remotely supporting the vehicle 10 is performed. The remote support device 50 receives an operation signal from the operator terminal 80 and transfers the operation signal to the vehicle 10 to perform remote support (step S20). Note that an operation signal for remote support may be directly exchanged between the vehicle 10 and the operator terminal 80 without using the remote support device 50.

図7に示すように、遠隔支援を行う前には、オペレータ端末80の表示部84には、そのオペレータ端末80を操作するオペレータのスケジュールが遠隔支援装置50から送信されて表示される。つまり、表示部84には、予測された遠隔支援のタイミングが表示される。オペレータは、表示されたスケジュールライン上のスケジュールブロックにカーソルをあわせることにより、そのスケジュールブロックに対応する支援地点の場所、地図、写真、経路、支援対象の車両10の車種等を事前に確認することができる。確認画面上にはキャンセルボタンが配置されており、オペレータは、確認中に、そのスケジュールをキャンセルすることも可能である。スケジュールがキャンセルされた場合、オペレータ端末80から遠隔支援装置50に、スケジュールがキャンセルされたことを表す通知が送信され、予測部66および割当部69よって、他のオペレータとの間でスケジュールが調整される。   As shown in FIG. 7, before performing remote support, a schedule of an operator who operates the operator terminal 80 is transmitted from the remote support device 50 and displayed on the display unit 84 of the operator terminal 80. That is, the predicted timing of remote assistance is displayed on the display unit 84. The operator moves the cursor to the schedule block on the displayed schedule line and confirms in advance the location of the support point corresponding to the schedule block, a map, a photograph, a route, the vehicle type of the vehicle 10 to be supported, etc. Can do. A cancel button is arranged on the confirmation screen, and the operator can cancel the schedule during confirmation. When the schedule is canceled, a notification indicating that the schedule is canceled is transmitted from the operator terminal 80 to the remote support device 50, and the schedule is adjusted with other operators by the prediction unit 66 and the allocation unit 69. The

図8に示すように、遠隔支援を行っている最中には、オペレータ端末80の表示部84には、車両10から送信された映像が表示され、その映像に重畳してユーザインタフェースも表示される。本実施形態では、表示部84の右上隅に、そのオペレータのスケジュールが表示される。オペレータは、所定の操作を行うことにより、スケジュールライン上のスケジュールブロックが、支援地点の場所を表すのか、支援を行う対象の車両の種別を表すのかを切り替えることができる。また、オペレータは、スケジュールブロックをキャンセルブロックにドラッグアンドドロップすることにより、そのスケジュールをキャンセルすることもできる。こうしたユーザインタフェースは、消去ボタンを押すことにより、図9に示すように、消去することが可能である。   As shown in FIG. 8, during the remote support, the video transmitted from the vehicle 10 is displayed on the display unit 84 of the operator terminal 80, and the user interface is also superimposed on the video. The In this embodiment, the operator's schedule is displayed in the upper right corner of the display unit 84. The operator can switch whether the schedule block on the schedule line represents the location of the support point or the type of the vehicle to be supported by performing a predetermined operation. The operator can also cancel the schedule by dragging and dropping the schedule block onto the cancel block. Such a user interface can be erased by pressing an erase button, as shown in FIG.

図4に戻り、オペレータによる遠隔支援が終了すると、記録部68は、その遠隔支援が開始されてから終了するまでの所要時間や、遠隔支援を行ったオペレータの人数を、オペレータ情報データベース74に記録して、オペレータ情報データベース74を更新する(ステップS22)。遠隔支援装置50は、以上で説明した遠隔支援処理を繰り返し実行することにより、各車両10に対して遠隔支援を行うことができる。   Returning to FIG. 4, when the remote support by the operator is completed, the recording unit 68 records in the operator information database 74 the required time from the start of the remote support to the end and the number of operators who have performed the remote support. Then, the operator information database 74 is updated (step S22). The remote support device 50 can perform remote support for each vehicle 10 by repeatedly executing the remote support processing described above.

以上で説明した本実施形態の遠隔支援システム100によれば、車両10が支援地点に到着する予定時刻に基づいて、オペレータが支援を開始するタイミングを予測できるので、適切なタイミングでオペレータが車両10を遠隔支援することができる。また、本実施形態によれば、オペレータが支援を開始するタイミングを予測できるので、オペレータが、突然、呼び出されることや、遠隔支援のために常に準備を行う必要がなくなる。この結果、オペレータの心理的な負荷を軽減することができる。また、オペレータの管理者も、予測されたタイミングに基づきオペレータの人員配置を行うことができるので、余剰人員を削減することができ、システムの運用コストを低減することができる。   According to the remote support system 100 of the present embodiment described above, the timing at which the operator starts support can be predicted based on the scheduled time when the vehicle 10 arrives at the support point. Can be supported remotely. Further, according to the present embodiment, the timing at which the operator starts support can be predicted, so that it is not necessary for the operator to be called suddenly or to always prepare for remote support. As a result, the psychological burden on the operator can be reduced. Moreover, since the operator's manager can also perform the personnel assignment of the operator based on the predicted timing, the surplus personnel can be reduced, and the operation cost of the system can be reduced.

また、本実施形態では、複数の車両10の各経路に含まれる支援地点に車両10が到着する予定時刻に基づいて、複数の車両10を同時に支援するためのオペレータの人数を予測する。そのため、複数の車両10に対して確実に支援を行うことができる。   In the present embodiment, the number of operators for simultaneously supporting the plurality of vehicles 10 is predicted based on the scheduled time at which the vehicle 10 arrives at the support point included in each route of the plurality of vehicles 10. Therefore, it is possible to reliably support the plurality of vehicles 10.

また、本実施形態では、遠隔支援を行ったオペレータの人数の履歴を記録するため、実際に支援を行ったオペレータの人数に基づき、将来の必要人数の予測を精度良く行うことができる。   Further, in the present embodiment, since the history of the number of operators who have performed remote support is recorded, it is possible to accurately predict the future required number of persons based on the number of operators who have actually performed support.

また、本実施形態では、予測された遠隔支援のタイミングをオペレータ端末80の表示部84により表示する。そのため、オペレータは、遠隔支援前や遠隔支援中に、スケジュールを容易に確認することができる。   In the present embodiment, the predicted remote support timing is displayed on the display unit 84 of the operator terminal 80. Therefore, the operator can easily confirm the schedule before or during remote support.

B.他の実施形態:
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、以下のような構成を採用することが可能である。
B. Other embodiments:
The present disclosure is not limited to the above-described embodiment, and can be realized with various configurations without departing from the spirit of the present disclosure. For example, the following configuration can be employed.

(B−1)上記実施形態において、車両10、車両10の乗員、支援地点、のうちの少なくともいずれか一つには、優先度が対応付けられてもよい。それぞれに対する優先度は、例えば、システム管理者によってオペレータ情報データベース74に記憶される。割当部69は、そのデータを参照し、優先度の高い車両10、乗員、支援地点ほど、オペレータを優先的に割り当てる。こうすることにより、予定よりもオペレータの必要人数が多くなった場合やオペレータが不在になった場合など、突発的な状況においても、優先度に応じて適切にオペレータの割当を行うことができる。 (B-1) In the said embodiment, a priority may be matched with at least any one of the vehicle 10, the passenger | crew of the vehicle 10, and a support point. The priority for each is stored in the operator information database 74 by the system administrator, for example. The assigning unit 69 refers to the data, and assigns operators to the vehicles 10, the passengers, and the support points with higher priority. By doing so, it is possible to appropriately assign the operators according to the priority even in an unexpected situation such as when the required number of operators exceeds the schedule or when there are no operators.

(B−2)上記実施形態において、オペレータ端末80の表示部84に表示されるスケジュール中のスケジュールボックス(図7,9)は、車両10、乗員あるいは支援地点D2の優先度に応じて色分け表示するなど、優先度に応じて表示態様を変更してもよい。オペレータは、時系列に並べられたスケジュールボックスにおいて、後のタイミングで開始する遠隔支援の方が、先のタイミングの遠隔支援よりも優先度が高ければ、後のタイミングの遠隔支援を優先的に行うために、先のタイミングの遠隔支援をキャンセルするか、または、スケジュールの変更を遠隔支援装置50に要求してもよい。 (B-2) In the above embodiment, the schedule box (FIGS. 7 and 9) in the schedule displayed on the display unit 84 of the operator terminal 80 is color-coded according to the priority of the vehicle 10, the occupant, or the support point D2. For example, the display mode may be changed according to the priority. In the schedule box arranged in time series, if the remote support starting at the later timing has a higher priority than the remote support at the earlier timing, the operator will give priority to the remote support at the later timing. Therefore, the remote support at the previous timing may be canceled or the remote support apparatus 50 may be requested to change the schedule.

(B−3)上記実施形態において、車両10は、無人で運行される自動運転車両であるものとしたが、車両10は、一部あるいは全部の運転操作をドライバが行う車両であってもよい。車両10が自動運転車両であれば、車両10が自律的に運転操作を判断することが困難な地点において、その運転をオペレータによってカバーすることができる。車両10が、ドライバによって運転される車両であれば、支援地点における運転をオペレータが行うことにより、ドライバの負担を軽減することができる。 (B-3) In the above embodiment, the vehicle 10 is an autonomous driving vehicle that is operated unattended. However, the vehicle 10 may be a vehicle in which a driver performs a part or all of the driving operation. . If the vehicle 10 is an autonomous driving vehicle, the operation can be covered by the operator at a point where it is difficult for the vehicle 10 to autonomously determine the driving operation. If the vehicle 10 is a vehicle driven by a driver, the driver's burden can be reduced by the operator driving at the support point.

10 車両、12 車両側通信機、14 カメラ、16 測位装置、18 車両側制御部、20 動作制御部、50 遠隔支援装置、52 管制側通信機、60 管制側制御部、62 経路計画部、64 遠隔支援部、66 予測部、68 記録部、69 割当部、70 記憶装置、72 地図データベース、74 オペレータ情報データベース、80 オペレータ端末、82 操作部、84 表示部、100 遠隔支援システム DESCRIPTION OF SYMBOLS 10 Vehicle, 12 Vehicle side communication apparatus, 14 Camera, 16 Positioning device, 18 Vehicle side control part, 20 Operation control part, 50 Remote assistance apparatus, 52 Control side communication apparatus, 60 Control side control part, 62 Path planning part, 64 Remote support unit, 66 prediction unit, 68 recording unit, 69 allocation unit, 70 storage device, 72 map database, 74 operator information database, 80 operator terminal, 82 operation unit, 84 display unit, 100 remote support system

Claims (5)

車両(10)に対して遠隔支援を行う遠隔支援システム(100)であって、
前記車両に対して遠隔支援が行われる支援地点を経由して前記車両が目的地までに至る経路を特定する経路計画部(62)と、
特定された前記経路に含まれる前記支援地点に前記車両が到着する予定時刻に基づいて、オペレータによって前記車両に対して遠隔支援が開始されるタイミングを予測する予測部(66)と、
を備える遠隔支援システム(100)。
A remote support system (100) for providing remote support to a vehicle (10),
A route planning unit (62) for specifying a route from the vehicle to a destination via a support point where remote support is performed on the vehicle;
A prediction unit (66) for predicting a timing at which remote assistance is started for the vehicle by an operator based on a scheduled time of arrival of the vehicle at the support point included in the identified route;
A remote support system (100) comprising:
請求項1に記載の遠隔支援システムであって、
前記経路計画部は、複数の車両について、前記経路を特定し、
前記予測部は、各前記経路に含まれる支援地点に車両が到着する予定時刻に基づいて、前記複数の車両を同時に支援するためのオペレータの人数を予測する、遠隔支援システム。
The remote support system according to claim 1,
The route planning unit identifies the route for a plurality of vehicles,
The said prediction part is a remote assistance system which estimates the number of operators for supporting the said several vehicle simultaneously based on the scheduled time when a vehicle arrives at the assistance point contained in each said path | route.
請求項2に記載の遠隔支援システムであって、
遠隔支援を行ったオペレータの人数の履歴を記録する記録部(68)を備える、遠隔支援システム。
The remote support system according to claim 2,
A remote support system comprising a recording unit (68) for recording a history of the number of operators who have performed remote support.
請求項1から請求項3までのいずれか一項に記載の遠隔支援システムであって、
予測された前記タイミングを表示する表示部(84)を備える、遠隔支援システム。
The remote support system according to any one of claims 1 to 3, wherein
A remote support system comprising a display unit (84) for displaying the predicted timing.
車両に対して遠隔支援を行う遠隔支援システムが実行する方法であって、
前記車両に対して遠隔支援が行われる支援地点を経由して前記車両が目的地までに至る経路を特定し、
特定された前記経路に含まれる前記支援地点に前記車両が到着する予定時刻に基づいて、オペレータによって前記車両に対して遠隔支援が開始されるタイミングを予測する、
方法。
A method executed by a remote support system that performs remote support for a vehicle,
Identifying a route for the vehicle to reach a destination via a support point where remote support is provided for the vehicle;
Predicting the timing at which remote assistance is started for the vehicle by an operator based on the scheduled time of arrival of the vehicle at the assistance point included in the identified route;
Method.
JP2018049253A 2018-03-16 2018-03-16 Vehicle remote assistance system and method Active JP7010088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018049253A JP7010088B2 (en) 2018-03-16 2018-03-16 Vehicle remote assistance system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018049253A JP7010088B2 (en) 2018-03-16 2018-03-16 Vehicle remote assistance system and method

Publications (2)

Publication Number Publication Date
JP2019160146A true JP2019160146A (en) 2019-09-19
JP7010088B2 JP7010088B2 (en) 2022-01-26

Family

ID=67994050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018049253A Active JP7010088B2 (en) 2018-03-16 2018-03-16 Vehicle remote assistance system and method

Country Status (1)

Country Link
JP (1) JP7010088B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168893A (en) * 2018-03-23 2019-10-03 本田技研工業株式会社 Remote driving management device and program
WO2020071222A1 (en) * 2018-10-05 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing method, and information processing system
JP2021056085A (en) * 2019-09-30 2021-04-08 株式会社デンソー Remote support device, method, and program
WO2022220115A1 (en) * 2021-04-13 2022-10-20 株式会社デンソー Travel assistance system, travel assistance method, travel assistance control program
CN115311876A (en) * 2021-05-07 2022-11-08 丰田自动车株式会社 Remote assistance management system, remote assistance management method, and remote assistance management program
WO2023276412A1 (en) * 2021-07-02 2023-01-05 株式会社デンソー Remote assistance device and remote assistance program
WO2023276262A1 (en) * 2021-06-28 2023-01-05 パナソニックIpマネジメント株式会社 Information output method, information output device, and program
WO2023286508A1 (en) * 2021-07-12 2023-01-19 株式会社デンソー Remote support device, remote support method, and remote support program
WO2023119702A1 (en) * 2021-12-21 2023-06-29 パナソニックIpマネジメント株式会社 Control method, control device, and program
WO2023243444A1 (en) * 2022-06-13 2023-12-21 京セラ株式会社 Information processing device
JP7414052B2 (en) 2021-04-13 2024-01-16 株式会社デンソー Driving support system, driving support method, driving support control program
JP7415901B2 (en) 2020-12-03 2024-01-17 株式会社デンソー Remote support system, remote support device, and remote support program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061346A (en) * 2008-09-03 2010-03-18 Ihi Aerospace Co Ltd Remote control system
JP2014002603A (en) * 2012-06-19 2014-01-09 Ricoh Co Ltd Automatic driving navigation system
JP2017147626A (en) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 Remote control system
JP2017174208A (en) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 Taxi service system using self-driving vehicle
JP2017224107A (en) * 2016-06-14 2017-12-21 株式会社デンソー Center and drive support system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061346A (en) * 2008-09-03 2010-03-18 Ihi Aerospace Co Ltd Remote control system
JP2014002603A (en) * 2012-06-19 2014-01-09 Ricoh Co Ltd Automatic driving navigation system
JP2017147626A (en) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 Remote control system
JP2017174208A (en) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 Taxi service system using self-driving vehicle
JP2017224107A (en) * 2016-06-14 2017-12-21 株式会社デンソー Center and drive support system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249473B2 (en) 2018-03-23 2022-02-15 Honda Motor Co., Ltd. Remote driving managing apparatus, and computer readable storage medium
JP2019168893A (en) * 2018-03-23 2019-10-03 本田技研工業株式会社 Remote driving management device and program
JP7041565B2 (en) 2018-03-23 2022-03-24 本田技研工業株式会社 Remote operation management device and program
WO2020071222A1 (en) * 2018-10-05 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing method, and information processing system
JP7172937B2 (en) 2019-09-30 2022-11-16 株式会社デンソー Remote support device, method and program
WO2021065171A1 (en) * 2019-09-30 2021-04-08 株式会社デンソー Remote support device, method, and program
JP2021056085A (en) * 2019-09-30 2021-04-08 株式会社デンソー Remote support device, method, and program
JP7415901B2 (en) 2020-12-03 2024-01-17 株式会社デンソー Remote support system, remote support device, and remote support program
WO2022220115A1 (en) * 2021-04-13 2022-10-20 株式会社デンソー Travel assistance system, travel assistance method, travel assistance control program
JP7414052B2 (en) 2021-04-13 2024-01-16 株式会社デンソー Driving support system, driving support method, driving support control program
CN115311876A (en) * 2021-05-07 2022-11-08 丰田自动车株式会社 Remote assistance management system, remote assistance management method, and remote assistance management program
WO2023276262A1 (en) * 2021-06-28 2023-01-05 パナソニックIpマネジメント株式会社 Information output method, information output device, and program
WO2023276412A1 (en) * 2021-07-02 2023-01-05 株式会社デンソー Remote assistance device and remote assistance program
WO2023286508A1 (en) * 2021-07-12 2023-01-19 株式会社デンソー Remote support device, remote support method, and remote support program
WO2023119702A1 (en) * 2021-12-21 2023-06-29 パナソニックIpマネジメント株式会社 Control method, control device, and program
WO2023243444A1 (en) * 2022-06-13 2023-12-21 京セラ株式会社 Information processing device

Also Published As

Publication number Publication date
JP7010088B2 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
JP7010088B2 (en) Vehicle remote assistance system and method
US20200104964A1 (en) Pick-up/drop-off management device, pick-up/drop-off management method, and program
JP7152577B2 (en) Information management method and information management device
JP7032881B2 (en) Systems, methods, and programs for managing vehicle travel schedules
JP7115282B2 (en) Traffic management device, traffic management system, traffic management method, and traffic management computer program
CN104417547A (en) Autonomous vehicle control for impaired driver
JP7211490B2 (en) VEHICLE TRAVEL ROUTE CONTROL SYSTEM, VEHICLE TRAVEL ROUTE CONTROL DEVICE AND VEHICLE TRAVEL ROUTE CONTROL METHOD
CN111216735B (en) Information processing apparatus, control method therefor, and storage medium
US20240019266A1 (en) Information processing systems, information processing apparatus, and information processing methods
JP2019020928A (en) System, method and program for managing traffic information
JPWO2020194062A5 (en)
JP2020086945A (en) Vehicle dispatch control device, vehicle dispatch control method, and computer program for vehicle dispatch control
CN111754796A (en) Network appointment vehicle docking prompting method and device
JP2020013326A (en) On-vehicle device, information processing device, information processing method, and program
EP4046096A1 (en) Systems and methods for energy based autonomous vehicle control
JP2024024021A (en) Mobile management device
US20200098021A1 (en) Public service mobile body utilization support system and public service mobile body utilization support method
JP2023168477A (en) Autonomous travel control device, autonomous travel control method, program and storage medium
US11113968B2 (en) Method for mobile parking assistance
JP2020095460A (en) Traffic management device, traffic management system, traffic management method, and computer program for traffic management
JP7343370B2 (en) Onboard equipment, driving evaluation system, and operation support system
JP2021162950A (en) Accommodation area management apparatus
JP6871004B2 (en) Taximeter system
JP6727175B2 (en) Providing apparatus, providing method, and providing program
JP2020107148A (en) Moving body management device, terminal device, data structure, control method, program and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227