CN115136217A - 汇合辅助系统、汇合辅助装置及汇合辅助方法 - Google Patents

汇合辅助系统、汇合辅助装置及汇合辅助方法 Download PDF

Info

Publication number
CN115136217A
CN115136217A CN202080097041.0A CN202080097041A CN115136217A CN 115136217 A CN115136217 A CN 115136217A CN 202080097041 A CN202080097041 A CN 202080097041A CN 115136217 A CN115136217 A CN 115136217A
Authority
CN
China
Prior art keywords
vehicle
user
gesture
mobile terminal
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080097041.0A
Other languages
English (en)
Other versions
CN115136217B (zh
Inventor
宫原直志
下谷光生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN115136217A publication Critical patent/CN115136217A/zh
Application granted granted Critical
Publication of CN115136217B publication Critical patent/CN115136217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3438Rendez-vous, i.e. searching a destination where several users can meet, and the routes to this destination for these users; Ride sharing, i.e. searching a route such that at least two users can share a vehicle for at least part of the route
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的技术的目的在于,即使在汇合地点有多个人的情况下也使得车辆与使用者顺利汇合。本公开所涉及的汇合辅助系统(301)包括:由希望与调度车辆(X)汇合的使用者携带的移动终端(201);以及与移动终端(201)进行通信并对在调度车辆(X)与使用者的汇合地点处的汇合进行辅助的汇合辅助装置(101)。汇合辅助装置(101)包括:生成要求使用者做出手势的消息的消息生成部(12);决定发送消息的定时的车辆控制部(11);以及在车辆控制部(11)决定的定时向移动终端发送消息的车辆通信部(14)。移动终端(201)包括:从汇合辅助装置(101)接收消息的移动终端通信部(22);以及基于消息对使用者进行要求其做出手势的通知的通知部(23)。

Description

汇合辅助系统、汇合辅助装置及汇合辅助方法
技术领域
本说明书中所公开的技术的目的在于实现调度车辆与使用者的顺利汇合。
背景技术
近年来,在汽车行业中,以车辆共享为关键词的各种服务的实用化或技术开发正在进行。例如,网约车或共享顺风车是使用者使用其不拥有的车辆的调度服务。
此外,随着自动驾驶技术的进展,可以假设无人驾驶的车辆通过自动驾驶去迎接使用者的服务。
这些服务要求使用者和车辆能够顺利汇合。这一点上,专利文献1公开了通过在地图上显示汇合场所来辅助汇合的技术。
现有技术文献
专利文献
专利文献1:日本专利特开2019-053547号公报
发明内容
发明所要解决的技术问题
根据专利文献1的技术,车辆侧能够在地图上识别汇合地点。然而,当汇合地点有多个人时,车辆侧无法识别在场的哪一个人是使用者,因此存在车辆与使用者不能顺利汇合的问题。
本公开鉴于上述问题,其目的在于,即使在汇合地点有多人的情况下也使得车辆与使用者顺利汇合。
解决技术问题所采用的技术方案
本公开的汇合辅助系统包括:移动终端,该移动终端由希望与调度车辆汇合的使用者携带;以及汇合辅助装置,该汇合辅助装置与移动终端进行通信,对在调度车辆与使用者的汇合地点处的汇合进行辅助。汇合辅助装置包括:消息生成部,该消息生成部生成要求使用者做出手势的消息;车辆控制部,该车辆控制部将调度车辆位于汇合地点或汇合地点的周边的定时决定为消息的发送定时;以及车辆通信部,该车辆通信部在车辆控制部决定的发送定时向移动终端发送消息。移动终端包括:移动终端通信部,该移动终端通信部从汇合辅助装置接收消息;以及通知部,该通知部基于消息对使用者进行要求其做出手势的通知。
发明效果
根据本公开的技术,在调度车辆位于汇合地点或汇合地点的周边的定时,移动终端对使用者进行要求其做出手势的通知,因此,使用者响应于该通知而做出手势,从而即使在汇合地点有多个人的情况下车辆侧也能够确定使用者,使得车辆与使用者能够顺利汇合。
附图说明
图1是示出实施方式1的汇合辅助系统的结构的框图。
图2是示出实施方式1的汇合辅助系统的动作的流程图。
图3是示出实施方式2的汇合辅助系统的结构的框图。
图4是示出实施方式2的汇合辅助系统的动作的流程图。
图5是示出实施方式2的位置关系显示图像的图。
图6是示出实施方式2的位置关系显示图像的图。
图7是示出实施方式2的位置关系显示图像的图。
图8是示出实施方式2的位置关系显示图像的图。
图9是示出手势信息的图。
图10是示出手势识别选择画面的图。
图11是示出实施方式2的移动终端的动作的流程图。
图12是示出汇合地点有多人而驾驶员无法识别使用者的情况的图。
图13是示出了从汇合辅助装置接收到消息的移动终端的通知例的图。
图14是示出驾驶员通过使用者做出手势来识别使用者的情况的图。
图15是示出实施方式2的变形例1的汇合辅助装置的动作的流程图。
图16是示出实施方式2的变形例1的位置关系显示画面的图。
图17是示出实施方式2的变形例1的位置关系显示画面的图。
图18是示出实施方式2的变形例1的位置关系显示画面的图。
图19是示出实施方式2的变形例1的位置关系显示画面的图。
图20是示出基于声音命令的手势的选择例的图。
图21是示出使用者将特定信息输入到移动终端以取代拒绝手势的情况的图。
图22是示出驾驶员通过特定信息识别使用者的情况的图。
图23是示出实施方式2的变形例6的汇合辅助系统的结构的框图。
图24是示出实施方式2的变形例6的移动终端的动作的流程图。
图25是示出基于移动终端的车辆接近通知的图。
图26是示出移动终端在地图上显示车辆的接近方向的情况的图。
图27是示出在移动终端的摄像头拍摄图像中叠加显示表示车辆接近方向的图标的情况的图。
图28是示出车辆的行进方向与接近方向之间的关系的图。
图29是示出在车辆接近方向引导使用者视线的效果的图。
图30是将使用者引导到建筑物外的汇合地点的概念图。
图31是示出实施方式3的汇合辅助系统的结构的框图。
图32是示出实施方式3的汇合辅助装置的动作的流程图。
图33是示出基于手势识别的使用者的确定结果的显示例的图。
图34是示出基于手势识别的使用者的确定结果的显示例的图。
图35是示出基于手势识别的使用者的确定结果的显示例的图。
图36是示出实施方式4的汇合辅助系统的结构的框图。
图37是示出实施方式4的汇合辅助装置的动作的流程图。
图38是示出基于车外广播装置的广播例的图。
图39是示出基于车外通知装置的通知例的图。
图40是示出实施方式5的汇合辅助系统的结构的框图。
图41是示出实施方式5的调度服务器的动作的流程图。
图42是示出汇合辅助装置和通信终端的硬件结构的图。
图43是示出汇合辅助装置和通信终端的硬件结构的图。
具体实施方式
<A.实施方式1>
<A-1.结构>
图1是示出实施方式1的汇合辅助系统301的结构的框图。汇合辅助系统301对调度车辆X、和希望与调度车辆X汇合的使用者之间的顺利汇合进行辅助。汇合辅助系统301构成为包括搭载于调度车辆X的汇合辅助装置101、以及使用者的移动终端201。另外,汇合辅助装置101除了始终搭载于调度车辆X的装置之外,还可以是根据需要被带入调度车辆X中使用的移动终端。
汇合辅助装置101包括车辆控制部11、消息生成部12、定位部13和车辆通信部14。汇合辅助装置101连接到搭载于调度车辆X的GNSS(Global Navigation SatelliteSystem:全球导航卫星系统)接收机31和通信装置32,并且构成为可使用它们。
车辆控制部11控制整个汇合辅助装置101。消息生成部12生成要求使用者做出手势的消息(以下简称为“消息”)。GNSS接收机31接收GNSS信号。定位部13获取由GNSS接收机31接收到的GNSS信号,并基于GNSS信号测定调度车辆X的位置。另外,定位部13可以通过其他方法测定调度车辆X的位置。定位部13可以利用未图示的陀螺仪传感器和加速度传感器的测定信号来校正基于GNSS信号的调度车辆X的定位结果,或者还可以利用地图匹配来校正。
通信装置32是用于车辆通信部14与移动终端201进行通信的通信接口。通信装置32与移动终端201的移动终端通信部22构成通信网络。车辆通信部14在调度车辆X位于汇合地点或汇合地点的周边时,使用通信装置32将消息生成部12生成的消息发送给移动终端201。该消息的目的在于,通过使使用者做出手势,并在调度车辆X侧确认该手势,从而掌握使用者的正确位置。因此,上述的“调度车辆X位于汇合地点的周边”是指调度车辆X或者驾驶员已经接近汇合地点,达到能够确认位于汇合地点的使用者的手势的程度。例如,汇合地点的周边是指距汇合地点半径在30m以内等。另外,汇合地点的信息是事先在调度车辆X和使用者之间共享的。
移动终端201是使用者携带的终端,例如是PDA或智能手机等。移动终端201包括移动终端控制部21、移动终端通信部22和通知部23。移动终端控制部21控制整个移动终端201。移动终端通信部22从汇合辅助装置101接收消息。通知部23基于移动终端通信部22接收到的消息,对使用者进行要求其做出手势的通知(下文中称为“手势要求通知”)。根据移动终端201所具备的输出单元,例如通过显示、声音和振动中的至少一个方式来进行手势要求通知。
<A-2.动作>
图2是示出汇合辅助系统301的动作的流程图。在该流程开始之前,例如通过在调度车辆X和使用者之间签订调度合同等,在汇合辅助装置101与移动终端201之间共享汇合地点的信息。
首先,在汇合辅助装置101中,定位部13从GNSS接收机31获取GNSS信号,并测定调度车辆X的位置(步骤S101)。车辆控制部11从定位部13获取调度车辆X的位置,并判断调度车辆X是否位于汇合地点或其周边(步骤S102)。车辆控制部11重复步骤S102,直到步骤S102变为“是”。
在步骤S102中,如果调度车辆X位于汇合地点或其周边,则消息生成部12生成要求使用者做出手势的消息(步骤S103)。然后,车辆通信部14通过通信装置32将消息生成部12生成的消息发送给移动终端201,消息被移动终端201接收(步骤S104)。
接着,在移动终端201中,通知部23将移动终端通信部22接收到的消息通知给使用者(步骤S105)。接收该通知后,如果使用者做出手势,则在调度车辆X侧确认该手势,能够正确掌握使用者的位置。特别是即使在汇合地点有很多人的情况下,调度车辆X侧也能够将做出手势的人识别为使用者。因此,调度车辆X可以与使用者顺利汇合。
<A-3.效果>
实施方式1的汇合辅助系统301包括:希望与调度车辆X汇合的使用者携带的移动终端201;以及汇合辅助装置101,该汇合辅助装置101与移动终端201进行通信,对在调度车辆X与使用者的汇合地点处的汇合进行辅助。汇合辅助装置101包括:生成要求使用者做出手势的消息的消息生成部12;将调度车辆X位于汇合地点或汇合地点的周边的定时决定为消息的发送定时的车辆控制部11;以及在发送定时向移动终端发送消息的车辆通信部14。移动终端201包括:从汇合辅助装置101接收消息的移动终端通信部22;以及基于消息对使用者进行要求其做出手势的通知的通知部23。当调度车辆X处于汇合地点或者汇合地点的周边时,移动终端201对使用者进行要求其做出手势的通知,因此,使用者响应该通知而做出手势,从而调度车辆X侧即使在汇合地点有多个人的情况下也能够确定使用者,能够与使用者顺利地汇合。
<B.实施方式2>
<B-1.结构>
图3是示出实施方式2的汇合辅助系统302A的结构的框图。汇合辅助系统302A构成为包括搭载于调度车辆X的汇合辅助装置102和移动终端202A。汇合辅助装置102连接到搭载于调度车辆X的GNSS接收机31、通信装置32、显示装置33、声音输出装置34以及操作装置35,并且构成为可使用它们。
汇合辅助装置102除了实施方式1的汇合辅助装置101的结构之外,还包括存储部15。存储部15存储汇合地点的位置信息。此外,还可以在存储部15中存储使用者的识别信息。另外,汇合辅助装置102的车辆控制部11与显示装置33、声音输出装置34以及操作装置35连接。
显示装置33和声音输出装置34是针对调度车辆X的驾驶员的输出接口。显示装置33例如由液晶显示装置、有机EL显示器或HUD等构成。声音输出装置34由扬声器构成。操作装置35是针对调度车辆X的驾驶员的输入接口,例如由触摸面板、机械开关类或声音输入装置等构成。
移动终端202A除了实施方式1的移动终端201的结构之外,还具备定位部24、操作部25以及存储部30。存储部30存储汇合地点的位置信息。此外,也可以在存储部30中存储调度车辆X的车型、颜色或登记号码这样的识别信息。另外,移动终端202A具有显示部26和声音输出部27作为通知部。
定位部24以与汇合辅助装置102的定位部13相同的方法测定移动终端202A的位置。操作部25是移动终端202A的输入接口,例如由触摸面板、机械开关类或声音输入装置等构成。显示部26由液晶显示器或有机EL显示器等构成。声音输出部27由扬声器构成。
<B-2.动作>
图4是示出汇合辅助装置102的动作的流程图。在该流程开始之前,例如通过在调度车辆X和使用者之间签订调度合同等,在汇合辅助装置101和移动终端201之间共享汇合地点的信息。因此,在汇合辅助装置102的存储部15和移动终端202A的存储部30中,存储有汇合地点的位置信息。以下,按照图4的流程对汇合辅助装置102的动作进行说明。
当调度车辆X开始向汇合地点行驶时,定位部13从GNSS接收机31获取GNSS信号并测定调度车辆X的位置(步骤S201)然后,车辆控制部11从存储部15获取汇合地点的位置信息,从定位部13获取调度车辆X的位置信息,并基于这些信息使显示装置33显示调度车辆X与汇合地点的位置关系(步骤S202)。
图5至图8示出在显示装置33中显示调度车辆X与汇合地点的位置关系的位置关系显示画面的例子。在图5的例子中,由对象50示出汇合地点的位置,并由对象51示出调度车辆X的位置。对象50、51的位置关系示出了汇合地点与调度车辆X的距离和方向。以对象50为中心的多个同心圆示出距汇合地点的距离。在图5的例子中显示了表示距离汇合地点20m、50m、100m的距离的同心圆。此外,对象51附记有调度车辆X距汇合地点的距离。在图5的例子中,由于调度车辆X距离汇合地点1km,因此,对象51显示在最大的同心圆之外。
返回到图4的流程,车辆控制部11判断是否确认使用者的位置(步骤S203)。如图5所示,在位置关系显示画面上显示了表示使用者的位置的图标56。当驾驶员想要确认使用者的位置时,按下图标56。另外,在图5的状态下,车辆远离汇合地点,确认使用者位置的必要性较小。如果驾驶员在一定期间内没有按下图标56,则车辆控制部11判断为不确认使用者的位置,汇合辅助装置102的动作返回到步骤S201,在之后的步骤S202中更新位置关系显示画面。
图6示出调度车辆X距汇合地点接近30m时的位置关系显示画面。在图6中,对象51显示在表示距汇合地点50m的距离的同心圆中。表示距汇合地点20m的距离的最小同心圆的内部用与其他不同的颜色来表示,表示调度车辆X接近汇合地点。
图7示出了当驾驶员在图6的位置关系显示画面中未按下图标56而调度车辆X到达汇合地点时的位置关系显示画面。在图7中,对象51显示在同心圆的中心,而对象50未被显示。当调度车辆X到达汇合地点时,驾驶员需要确认使用者是否也到达了汇合地点。
当驾驶员按下图标56时,图标56的操作信息从操作装置35输入到车辆控制部11,车辆控制部11判断为确认使用者的位置(步骤S203为“是”)。然后,车辆通信部14对移动终端202A进行位置信息的发送要求,从移动终端202A接收移动终端202A的位置信息作为使用者的位置信息(步骤S204)。接着,车辆控制部11使显示装置33显示调度车辆X、汇合地点以及使用者的位置关系(步骤S205)。另外,这里使用者的位置与移动终端202A的位置同义。这样,车辆控制部11获取调度车辆X的驾驶员的操作信息,并在基于驾驶员的操作信息的定时,使显示装置33显示调度车辆X、汇合地点和使用者的位置关系。
图8示出了步骤S205中的显示装置33的位置关系显示画面的示例。在图8中,除了图7的显示之外,对象52还示出了使用者的位置。另外,对象52中附记有使用者与汇合地点的距离“35m”。通过该显示,驾驶员掌握使用者位于调度车辆X的右斜前方35米的位置。
接着,车辆控制部11判断是否要求使用者做出手势(步骤S206)。在图8的位置关系显示画面上,显示了要求使用者做出手势的图标54。驾驶员通过观察位置关系显示画面来掌握使用者的位置,并在判断出使用者位于从调度车辆X能看到的位置时按下图标54。如果驾驶员在一定期间内没有按下图标54,则车辆控制部11判断为不要求使用者做出手势,汇合辅助装置102的动作返回到步骤S204,在之后的步骤S205中更新位置关系显示画面。
当驾驶员按下图标54时,图标54的操作信息从操作装置35输入到车辆控制部11,车辆控制部11判断为要求使用者做出手势(步骤S206为“是”)。然后,消息生成部12从预先准备的多个手势中选择一个手势,并生成促使执行所选择的手势的消息(步骤S207)。如上所述,通过驾驶员的操作来确定消息的生成定时。然后,如果如后述那样生成消息,则接着将消息发送给移动终端202A。因此,换句话说,在基于驾驶员的操作信息的定时决定发送消息的定时。
图9示出了存储在存储部15中的手势信息。手势信息是要求使用者执行的手势的候补信息,包含手势的识别编号、部位属性以及动作属性。部位属性是表示做出手势的身体部位的信息,动作属性是表示如何移动由部位属性表示的身体部位的信息。车辆控制部11基于手势信息在显示装置33上显示使驾驶员选择手势的手势选择画面。图10是手势选择画面的一例。在该手势选择画面中,显示了视觉上表示识别编号为G1-G8的手势(以下称为“手势G1-G8”等)的图标,驾驶员通过选择图标来选择要求使用者执行的手势的种类。例如,当驾驶员选择手势G1时,消息生成部12生成“请举起一只手”的消息。该消息除了可以包含文本“请举起一只手”以外,还可以包含在视觉上表示手势的图标。
另外,这里说明了驾驶员从预先准备好的多个候补中选择手势的情况,但是消息的生成方法并不限于此。例如,驾驶员可以通过指定部位属性和动作属性来设定新的手势。或者,也可以在签订调度合同时,在汇合辅助装置102与移动终端202A之间确定汇合时要求的手势。
如果消息生成部12生成消息,则车辆通信部14向移动终端202A发送消息(步骤S208)。这样,汇合辅助装置102的动作结束。
接着,按照图11的流程图说明移动终端202A的动作。首先,定位部24测定移动终端202A的位置(步骤S301)。接着,移动终端控制部21从存储部30获取汇合地点的位置信息,并且从定位部24获取移动终端202A的位置信息。然后,移动终端控制部21基于这些信息,使显示部26显示移动终端202A与汇合地点的位置关系(步骤S302)。这里,使显示部26显示的位置关系显示画面例如是在图5至图7所示的调度车辆X与汇合地点的位置关系的显示中,将调度车辆X置换为移动终端202A那样的画面。
接着,移动终端控制部21判断是否有来自调度车辆X的位置信息的发送要求(步骤S303)。该发送要求在图4的步骤S204中由汇合辅助装置102对移动终端202A进行。如果从调度车辆X接收到位置信息的发送要求,则移动终端通信部22将移动终端202A的位置信息发送给调度车辆X(步骤S304)。该位置信息经由通信装置32被汇合辅助装置102的车辆通信部14接收。
如果在步骤S304中没有来自调度车辆X的位置信息的发送要求,或者在步骤S304之后,移动终端控制部21判断移动终端通信部22是否从调度车辆X接收到消息(步骤S305)。如果在步骤S305中移动终端通信部22没有从调度车辆X接收到消息,则移动终端202A的处理返回到步骤S301。如果在步骤S305中移动终端通信部22从调度车辆X接收到消息,则显示部26和声音输出部27将消息通知给使用者(步骤S306)。以上,移动终端202A的动作结束。
从调度车辆X到达汇合地点开始,到使用者做出手势为止的流程按照图12到图14进行说明。在图12和图14中,使用者用标号Z表示。另外,设为手势的种类是“举一只手”的手势。
图12示出虽然调度车辆X到达了汇合地点,但汇合地点有很多人,驾驶员Y无法确定使用者Z的状况。这里,汇合辅助装置102向移动终端202A发送消息,由此移动终端202A向使用者通知要求做出手势的消息。在图13的例子中,在移动终端202A的显示器70上显示有“举起一只手”手势的图标,从移动终端202A的扬声器71输出“请举起一只手”的声音。在这里,消息的通知是通过显示和声音两种方式来进行的,但也可以是任意一方,也可以伴随着振动。通过接收该通知并由使用者Z执行“举起一只手”的手势,如图14所示,驾驶员Y能够在多人中确定使用者Z。然后,驾驶员Y能够使调度车辆X移动到使用者Z的眼前,并与使用者Z顺利汇合。
<B-3.变形例1>
在图4的流程中,汇合辅助装置102使驾驶员决定在步骤S203中确认使用者的位置的定时。然而,汇合辅助装置102也可以从一开始就使显示装置33显示使用者的位置。图15是这样的变形例中的汇合辅助装置102的流程图。在该流程中,在定位部13测定了调度车辆X的位置之后(步骤S401),车辆通信部14从移动终端202A获取使用者的位置(步骤S402)。接着,车辆控制部11使显示装置33显示调度车辆X、汇合地点以及使用者的位置关系(步骤S403)。之后的步骤S404到步骤S406类似于图4中的步骤S206到S208。
图16至图19示出基于该变形例的显示装置33中的位置关系显示例。在图16中,调度车辆X距离汇合地点1km,使用者距离汇合地点200m,但是此时还显示了表示使用者位置的对象52。在图17中,调度车辆X距离汇合地点500m,使用者距离汇合地点70m。图18示出调度车辆X距离汇合地点60m,使用者到达汇合地点时的位置关系显示例。在图18中,对象52显示在同心圆的中心,而表示汇合地点的位置的对象50未被显示。图19示出调度车辆X到达汇合地点时的位置关系显示画面,在该位置关系显示画面上显示了要求使用者做出手势的图标54。
根据在图15至图19中说明的变形例,虽然在汇合辅助装置102和移动终端202A之间使用者的位置信息的通信量增加,但对于驾驶员来说不需要对决定确认使用者的位置的定时的操作下工夫。
<B-4.变形例2>
在图5的步骤S302中,移动终端202A在显示部26上显示了汇合地点与移动终端202A的位置关系。但是,移动终端202A也可以从汇合辅助装置102获取调度车辆X的位置信息,在显示部26上显示汇合地点、移动终端202A以及调度车辆X的位置关系。该显示例如是在图8所示的位置关系显示中,成为如将表示调度车辆X的位置的对象51与表示使用者的位置的对象52互换那样的显示。另外,显示调度车辆X的位置的定时既可以从最初显示,也可以通过使用者的操作来决定。
<B-5.变形例3>
在图10中,说明了消息生成部12选择驾驶员从手势选择画面指定的手势来生成消息。不过,驾驶员也可以通过其他方法来指定手势。例如,如图20所示,驾驶员可以通过声音命令来指定手势。在图20中,如果驾驶员说出“请举起一只手”,则作为声音输入装置的操作装置35从发话声音中识别出“一只手”、“举起”等关键字,并将这些关键字通知给车辆控制部11。车辆控制部11基于声音输入装置的发话声音的识别结果,将驾驶员指定的手势确定为手势G1。然后,消息生成部12生成要求做出手势G1“举起一只手”的消息。
此外,驾驶员可以通过做出手势来使使用者执行与驾驶员的手势相同的手势。在该情况下,操作装置35包含用于识别调度车辆X中的人物的手势的车内手势识别装置。车辆控制部11获取基于车内手势识别装置的驾驶员手势的识别结果,并将与驾驶员手势相同种类的手势确定为包含在消息中的手势的类型。然后,消息生成部12生成要求执行与驾驶员的手势相同种类的手势的消息。根据该结构,驾驶者能够更直观地指定手势。另外,在通过驾驶员的声音或手势来确定要由使用者执行的手势的情况下,消息生成部12可以不必从预先确定的手势中选择一个手势。例如,消息生成部12可以直接生成驾驶员的“请举手”的声音或者拍摄了驾驶员手势的视频作为消息。
<B-6.变形例4>
在图4的流程中,驾驶员一边查看车辆、汇合地点以及使用者的位置关系显示,一边在步骤S206中决定消息的生成定时即消息的发送定时。然而,汇合辅助装置102也可以决定该发送定时。信息需要在从调度车辆X能够识别使用者做出手势的时刻被发送。因此,汇合辅助装置102基于车辆与使用者的位置关系来决定消息的发送定时。例如,汇合辅助装置102可以基于车辆与使用者的距离为例如20m以上等两者的距离,来决定消息的发送定时。
此外,车辆控制部11也可以参照汇合地点的3D地图,以确认使用者位于从调度车辆X能看到的位置作为消息的发送条件。由此,在虽然调度车辆X与使用者的距离较近,但使用者隐藏在建筑物等的阴影中从调度车辆X看不见的情况下,能够防止从汇合辅助装置102向移动终端202A发送消息。另外,在虽然使用者位于汇合地点或其周边,但隐藏在建筑物等的阴影中从调度车辆X不能识别的情况下,车辆控制部11也可以通过确定从调度车辆X能够识别的汇合地点中的位置,将该位置发送给移动终端202A,从而将使用者引导到从调度车辆X能够识别的位置。
另外,车辆控制部11也可以基于调度车辆X的速度来决定消息的发送定时。具体而言,也可以将调度车辆X的速度在阈值以下、典型地将调度车辆X停止作为消息的发送条件。由此,能够防止驾驶员在调度车辆X行驶中漏看了使用者的手势。
<B-7.变形例5>
在之前的说明中,是以接收到消息通知的使用者做出手势为前提的。但是,有时使用者由于双手占用等某种理由,不能或不想做出手势。在这种情况下,在本变形例中,通过从移动终端202A向汇合辅助装置102提供用于确定使用者的信息(以下称为“确定信息”)以代替手势,从而即使使用者不做出手势,驾驶员也能够从多人中确定使用者。
图21示出从汇合辅助装置102接收到消息的移动终端202A向使用者通知消息的状态。从移动终端202A的扬声器71中正在输出“车辆即将到达。请举起右手”的声音。此时,假设使用者双手占用,无法举起右手。使用者说出“双手占用,不行。所怀抱的婴儿是标记。”。在此,“怀抱的婴儿”成为确定信息。在移动终端202A上搭载有麦克风,获取使用者的发话声音,并且通过移动终端通信部22发送给汇合辅助装置102。在汇合辅助装置102中,车辆控制部11如图22所示那样,将车辆通信部14从移动终端202A获取到的包含确定信息的使用者的发话声音直接输出到声音输出装置34,或者简单换言为“我是怀抱婴儿的人”而输出到声音输出装置34。由此,驾驶者Y能够确定怀抱婴儿的使用者Z。
<B-8.变形例6>
如果使用者朝向调度车辆X的接近方向做出手势,则使用者的手势容易被驾驶者识别。因此,在本变形例中,对于到达汇合地点的使用者,通知调度车辆X的接近方向,引导其朝向接近方向。图23是示出引导使用者的变形例的汇合辅助系统302B的结构的框图。汇合辅助系统302B构成为包括汇合辅助装置102和移动终端202B。移动终端202B除了图3所示的实施方式2的移动终端202A的结构之外,还具有外摄像头28和内摄像头29。外摄像头28是对与移动终端202B的显示器相反一侧进行拍摄的摄像头。内摄像头29是对移动终端202B的显示器侧进行拍摄的摄像头。在使用者看移动终端202B的显示器的状态下,外摄像头28能够拍摄与使用者相反一侧,内摄像头29能够拍摄使用者。
图24是示出汇合辅助系统302B中的移动终端202B的动作的流程图。以下,按照图24的流程对移动终端202B的动作进行说明。步骤S301至步骤S304与图11所示的移动终端202A的动作相同。在步骤S303中从调度车辆X没有位置信息的发送要求,或者在步骤S304之后,移动终端202B的移动终端通信部22从汇合辅助装置103获取调度车辆X的位置信息(步骤S304A)。然后,移动终端控制部21从定位部24获取移动终端202B的位置信息,判断移动终端202B与调度车辆X的距离是否小于预定的阈值(步骤S304B)。
在步骤S304B中,移动终端控制部21待机,直到移动终端202B与调度车辆X的距离小于阈值为止。若移动终端202B与调度车辆X的距离小于阈值,则移动终端202B进行车辆接近通知(步骤S304C)。图25示出了声音输出部27通过发出声音来进行车辆接近通知的情况。或者,移动终端202B可以与声音一起进行车辆接近通知,或者代替声音通过振动进行车辆接近通知。由此,使用者即使将移动终端202B例如放在口袋里,也能够发现调度车辆X正在接近,从而拿起移动终端202B进行汇合的准备。汇合的准备是指在移动终端202B上启动汇合辅助的应用。
接着,移动终端控制部21基于调度车辆X的位置信息和汇合地点的位置信息推测调度车辆X到汇合地点的路径,并推测调度车辆X接近汇合地点的接近方向。然后,移动终端控制部21在显示部26上显示推测出的调度车辆X的接近方向(步骤S304D)。图26示出了在移动终端202B的显示器70上显示调度车辆X的接近方向的情况。当使用者接收到上述车辆接近通知并启动汇合辅助应用时,在显示器70上显示汇合地点的地图。这里,地图显示为显示器70中的地图的方位与实际的移动终端202B的方位一致。因此,显示器70上显示的示出调度车辆X的接近方向的箭头与实际的调度车辆X的接近方向一致,使用者通过看显示器70上显示的调度车辆X的接近方向,从而能够掌握车辆的接近方向。尽管在图26中说明了通过显示来通知接近方向,但是也可以通过语音来通知接近方向。
此外,如图27所示,当启动移动终端202B的外摄像头28并且使用者用外摄像头28拍摄了车辆的接近方向时,移动终端控制部21可以使虚拟的调度车辆X的图标55重叠在与外摄像头28的拍摄图像中车辆的接近方向相对应的位置,并显示在显示部26上。这样,使用者能够更直观地掌握车辆的接近方向。
另外,在显示部26中进行图26的显示时,移动终端203也可以判定使用者是否正在看调度车辆X的接近方向。具体地,内摄像头29拍摄使用者的脸部。移动终端控制部21根据内摄像头29的拍摄图像将使用者的脸部的朝向或视线的朝向与显示器70上显示的调度车辆X的接近方向进行比较,并判定使用者是否正在看调度车辆X的接近方向。并且,如果使用者没有看调度车辆X的接近方向,则显示部26或声音输出部27也可以发出通知,以催促使用者看调度车辆X的接近方向。
在上述中,移动终端控制部21根据脸部的朝向或视线的朝向来判定使用者是否正在看调度车辆X的接近方向。然而,通过在移动终端202B中的调度车辆X的接近方向的显示画面上显示确认图标、使用者按下确认图标的操作,移动终端控制部21也可以判定为使用者看了调度车辆X的接近方向。
图28示出调度车辆X的行驶方向与接近方向的关系。在调度车辆X到达汇合地点之前,当调度车辆X的行进路线因弯道等而发生变更时,调度车辆X当前的行驶方向57不与调度车辆X接近汇合地点的接近方向58一致。在该情况下,图28的接近方向58成为参考图26和27说明的调度车辆X的接近方向。
将使用者的视线引导到调度车辆X的接近方向,这点在汇合地点位于难以接收GNSS信号的大楼的夹缝的交叉路口等情况下是有效的。图29示出了在被建筑物59-62包围的交叉路口处有汇合地点的情况。因为在这样的汇合地点,使用者Z即使站在汇合地点,也难以知道自己朝向哪个方向,也难以知道调度车辆X是从哪个方向来的。
在上述中,说明了对在汇合地点的使用者将视线引导至调度车辆X的接近方向。除此之外,移动终端202B也可以进行将使用者引导至汇合地点的处理。如图30所示,在使用者Z处于建筑物64中且建筑物64前面的道路为汇合地点的情况下,使用者Z有时不知道从哪个出口出去。在这样的情况下,使用者Z启动移动终端202B的应用,用外摄像头28进行拍摄。移动终端控制部21从外摄像头28的拍摄图像推测建筑物64内到适当出口的路径,将示出到出口的路径的箭头65叠加在外摄像头28的拍摄图像上并显示在显示部26上,以便将使用者Z引导到出口。
<B-9.变形例7>
图15的流程并未提及在驾驶员识别到使用者的手势之后的汇合辅助装置102的处理。然而,当驾驶员识别使用者的手势时,汇合辅助装置102也可以向移动终端202A通知该情况。例如,车辆控制部11可以在图8所示的位置关系显示画面上显示在驾驶员观识别到使用者的手势之后所操作的图标,并且可以根据该图标被操作这一情况来判定驾驶员识别到使用者的手势。另外,作为声音识别装置的操作装置35可以通过声音识别“识别到手势”等驾驶员的发话,使得车辆控制部11判定为驾驶员识别到使用者的手势。此外,识别驾驶员自身的手势的手势识别装置即操作装置35可以通过识别到规定的驾驶员的手势来判定为驾驶员识别到使用者的手势。通过在移动终端202A上通过显示或声音向使用者通知驾驶员识别到使用者的手势,从而使用者能够停止手势,并且无需长时间地保持手势。
<B-10.变形例8>
在图21和图22中,说明了使用者不做出手势的情况。相反地,也可以在使用者做出手势的情况下,将该情况从移动终端202A通知给汇合辅助装置102。例如,移动终端202A的移动终端控制部21使显示在显示部26上的消息的通知画面显示“是否做出手势?”的文本、以及“是”和“否”的按钮。如果使用者选择“是”,则移动终端通信部22向汇合辅助装置102发送使用者正在或将要做出手势的意思。此外,当使用者选择“否”时,移动终端控制部21使显示部26或声音输出部27输出要求输入代替手势的确定信息的显示或声音。这样,如果操作部25获取与使用者做出手势的意思相关的操作信息,则移动终端通信部22将表示使用者做出手势的意思的信息发送给汇合辅助装置102的车辆通信部14。然后,车辆控制部11使用显示装置33或声音输出装置34将使用者做出手势的意思通知给调度车辆的驾驶员。根据这样的结构,驾驶员能够确认基于使用者做出手势的意思。
<B-11.变形例9>
假定存在多辆搭载了本实施方式的汇合辅助装置102的调度车辆X,各调度车辆X在同一或接近的汇合地点要与各个使用者汇合的情况。在此,“接近的汇合地点”是指在各个汇合地点进行的人物的手势接近能够互相识别的程度。该情况下,如果在多辆调度车辆X间向使用者要求的手势重叠,则多辆调度车辆X会将做出手势的人物识别为本车辆的使用者,从而无法顺利汇合。因此,希望进行调整,以在调度车辆X间向使用者要求的手势不重叠。
因此,搭载于各调度车辆X的汇合辅助装置102共享其他汇合辅助装置102向使用者要求的手势的种类。例如,设车辆A、B、C存在于同一汇合地点。首先,在车辆A的汇合辅助装置102中,如果车辆通信部14将手势G1发送到自身的使用者的移动终端202A,则与此同时,手势G1作为已使用手势也被发送到其他车辆B、C的汇合辅助装置102。这样,在车辆A-C中共享手势G1是已使用手势。之后要求手势的车辆B、C向自身的使用者要求手势G1以外的手势。此时,例如,在车辆B、C的汇合辅助装置102的显示装置33上显示的手势选择画面中,手势G1为灰色显示,并且不能进行选择。接着,在车辆B的汇合辅助装置102中,如果车辆通信部14将手势G2发送到自身的使用者的移动终端202A,则同样地,手势G2也作为已使用手势也被发送到其他车辆A、C的汇合辅助装置102。以下同样地,车辆C无法选择手势G1、G2。这样积累的已使用手势的履历在经过一定时间(例如15分钟)后被重置。
<B-12.变形例10>
汇合辅助装置102在不进行在<B-11>中说明的手势调停而由多个人在汇合地点进行向使用者要求的手势的情况下,也可以再次向移动终端202A发送要求执行其他种类的手势的消息。此时,可以使驾驶员从手势选择画面中选择新要求的手势。
<B-13.变形例11>
在图12等中,以驾驶员搭乘于调度车辆X为前提进行了说明。然而,驾驶员也可以是远程进行调度车辆X的驾驶操作的远程驾驶操作员。此时,上述说明的汇合辅助装置102的各种输入输出接口不是设置在调度车辆X而是设置在远程操作操作员存在的场所。
<C.实施方式3>
<C-1.结构>
图31是示出实施方式3的汇合辅助系统303的结构的框图。汇合辅助系统303构成为包括汇合辅助装置103和移动终端203。汇合辅助装置103与实施方式2的汇合辅助装置102的不同之处在于,其与车外手势识别装置36连接,并且构成为能够利用它。车外手势识别装置36是搭载于调度车辆X并识别调度车辆X之外的人物手势的装置。例如,车外手势识别装置36由拍摄调度车辆X周围的摄像头、和分析摄像头的拍摄图像来识别手势的处理部构成。车辆控制部11基于车外手势识别装置36的手势识别结果,将正在执行由汇合辅助装置103要求的手势的调度车辆X之外的人物确定为使用者,并通过显示装置33或声音输出装置34向驾驶员通知所确定的使用者。
<C-2.动作>
图32是示出汇合辅助装置103的动作的流程图。以下,按照图32的流程对汇合辅助装置103的动作进行说明。从步骤S201到步骤S208与图4所示的汇合辅助装置102的处理流程相同。在车辆通信部14在步骤S208中将消息发送给移动终端203之后,车辆控制部11对车外的人是否做出了汇合辅助装置103向使用者要求的手势(以下称为“要求手势”)进行判断(步骤S209)。当车外的人做出要求手势时,车外手势识别装置36检测该要求手势并将其通知给车辆控制部11。车辆控制部11响应于来自车外手势识别装置36的通知来进行步骤S209的判断。车辆控制部11重复步骤S209,直到由车外的人做出要求手势。车辆控制部11如果在步骤S209中判断为车外的人做出了要求手势,则将进行要求手势的人确定为使用者,并使用显示装置33或声音输出装置34将使用者的确定结果通知给驾驶员(步骤S210)。以上,汇合辅助装置103的动作结束。
图33至图35示出了在步骤S210中通过显示装置33向驾驶员进行通知的情况下的显示例。在图33中,显示了表示调度车辆X的位置的对象66、表示使用者的位置的对象67、以及表示从调度车辆X看到的使用者的方向的对象68。图33的显示乍一看与实施方式2中说明的图8的显示类似。然而,由于图8中显示的使用者的位置是通过GNSS信号等测定的,而图33中显示的使用者的位置是通过手势识别确定的,因此,使用者的位置被物体67高精度地显示。因此,驾驶员能够准确地掌握使用者的位置。
在图33中,使用者的位置由模仿移动终端的对象67表示,但是如图34所示,也可以由模仿使用者所执行的手势的对象69表示。
另外,车辆控制部11也可以将区分使用者的框73重叠在汇合地点的影像上,如图35所示显示在显示装置33上。这里,汇合地点的影像可以是由车外手势识别装置36拍摄到的影像,也可以使用由调度车辆X的电子后视镜等车外拍摄装置拍摄到的影像。另外,车辆控制部11也可以在HUD等作为透射显示装置的显示装置33上显示围绕实景上的使用者的虚像对象。另外,车辆控制部11可以检测驾驶员的视线方向,并进行将视线引导给使用者的显示。
另外,车辆控制部11既可以将使用者实施手势的过程中的影像暂停一定时间并显示在显示装置33上,也可以将使用者放大并显示在显示装置33上。
如上,手势的识别结果通过显示装置33上的显示通知给驾驶员。此外,手势的识别结果也可以由声音输出装置34通过声音通知驾驶员。例如,车辆控制部11可以使用通过手势识别确定的使用者的位置信息,在从调度车辆X看到的使用者的方向上,使声音输出装置34输出例如“请看右10度的方向”等广播。
根据这些结构,通过显示或声音向驾驶员通知与通过手势识别确定的使用者位置有关的信息,因此,驾驶员无需环顾四周就能识别做出手势的人物。
另外,车辆控制部11除了使用者的方向之外,也可以使声音输出装置34输出与通过手势识别结果确定的使用者的服装、装束有关的广播。此外,车辆控制部11也可以通过显示装置33或声音输出装置34仅通知识别出手势的意思。在该情况下,驾驶员可以确信使用者正在进行手势,从而寻找使用者。
<C-3.向移动终端通知驾驶员识别到使用者的变形例>
与实施方式2的<B-9>的变形例相同,在图32的步骤S210之后,汇合辅助装置103也可以将驾驶员自身识别到使用者的意思通知给移动终端203。这里的“识别到使用者”包含驾驶员在如图35所示的显示装置33的显示画面上识别使用者的情况。
<D.实施方式4>
<D-1.结构>
图36是示出实施方式4的汇合辅助系统304的结构的框图。汇合辅助系统304构成为包括汇合辅助装置104和移动终端204。搭载有汇合辅助装置104的调度车辆X是具备自动驾驶控制装置37的全自动驾驶车辆。自动驾驶控制装置37控制调度车辆X的自动驾驶。因此,调度车辆X中不存在驾驶员。因此,汇合辅助装置104不与作为与驾驶员的输入输出接口的显示装置33、声音输出装置34以及操作装置35连接,取而代之,是与自动驾驶控制装置37以及车外通知装置38连接,构成为能够利用这些接口,在这一点上与实施方式3的汇合辅助装置103不同。车外通知装置38是搭载于调度车辆X上的通知装置,例如是喇叭、转向灯、照明装置或车外用显示装置等。在车外通知装置38中,车辆控制部11基于车外手势识别装置36的识别结果向确定的使用者进行通知,从而使使用者注意到调度车辆X。
<D-2.动作>
图37是示出汇合辅助装置104的动作的流程图。以下,按照图37的流程对汇合辅助装置104的动作进行说明。
自动驾驶控制装置37如果使调度车辆X以自动驾驶方式向汇合地点行驶,则定位部13从GNSS接收机31获取GNSS信号并测定调度车辆X的位置(步骤S401)。然后,车辆通信部14对移动终端204进行位置信息的发送要求,从移动终端204接收移动终端204的位置信息作为使用者的位置信息(步骤S402)。
接着,车辆控制部11判断手势要求条件是否满足(步骤S403)。手势要求条件是与调度车辆X、汇合地点、使用者的位置关系相关的条件,例如是调度车辆X与汇合地点之间的距离在预定的距离例如50m以内、且使用者距离汇合地点10m以内等。在步骤S403中未满足手势要求条件的情况下,汇合辅助装置104的处理返回到步骤S401。
在步骤S403中手势要求条件得到满足的情况下,消息生成部12从预先准备的手势候选中自动选择一个手势,并且生成要求执行所选择的手势的消息(步骤S404)。这里,例如,消息生成部12可以按照执行负载小的顺序或容易自动识别的顺序等对手势候选赋予优先顺序,并选择优先顺序最高的手势。另外,车辆控制部11可以从车外手势识别装置36获取当前车外的人所做出的手势,并且消息生成部12可以从选择中排除由车外的人所做出的手势。接着,车辆通信部14向移动终端204发送消息(步骤S405)。
之后,车辆控制部11判断车外的人是否做出了要求手势(步骤S406)。当车外的人做出要求手势时,车外手势识别装置36检测该情况并将其通知给车辆控制部11。车辆控制部11响应于来自车外手势识别装置36的通知来进行步骤S406的判断。车辆控制部11重复步骤S406,直到由车外的人做出要求手势。车辆控制部11如果在步骤S406中判断为车外的人做出了要求手势,则将做出要求手势的人确定为使用者。然后,车辆控制部11使用车外通知装置38对使用者通知调度车辆X是调度车辆的意思(步骤S407)。以上,汇合辅助装置104的动作结束。
接着,说明车外通知装置38的通知例。图38示出了设置在调度车辆X的前格栅中的车外显示装置72成为车外通知装置38的示例。在车外显示装置72上显示为“Hi,Msen!”。这里,Msen是使用者固有的识别信息,在使用者与调度车辆X签订调度合同时,从移动终端204提供给汇合辅助装置104,并存储在存储部15中。
图39示出了调度车辆X的前照灯成为车外通知装置38的例子。前照灯通过向使用者脚下照射光线,来对使用者进行通知在汇合辅助装置104中,由于通过手势识别确定使用者,因此能够高精度地确定使用者的位置。因此,能够使用高精度确定的使用者的位置信息,进行图39所示的通知。
另外,也可以仅在使用者做出手势的期间进行基于车外通知装置38的通知。
<E.实施方式5>
<E-1.结构>
图40是示出实施方式5的汇合辅助系统305的结构的框图。汇合辅助系统305构成为包括汇合辅助装置105、移动终端205、调度服务器401。汇合辅助装置105以及移动终端205的结构与实施方式2的汇合辅助装置102以及移动终端202A的结构相同。
调度服务器401与通信装置32和移动终端通信部22一起构成通信网络。在实施形态1-4中,以汇合辅助装置与移动终端之间签订调度合同为前提进行了说明。在汇合辅助系统305中,调度服务器401进行调度合同的签订处理。调度合同的签订处理以外的汇合辅助系统305的动作与实施方式2的汇合辅助系统302A相同,因此以下对调度合同的签订处理进行说明。
<E-2.动作>
图41是示出调度服务器401的动作的流程图。以下,按照图41的流程对调度服务器401的动作进行说明。首先,调度服务器401从移动终端205接收调度要求(步骤S501)。调度要求包含汇合地点的信息,并且还可以包含使用者对调度车辆要求的条件,例如期望车型等。
接着,调度服务器401向满足调度要求条件的至少1辆调度车辆X的汇合辅助装置105询问可否调度(步骤S502)。另外,如果调度要求没有条件,则调度服务器401也可以向靠近汇合地点的至少1辆调度车辆X的汇合辅助装置105询问可否调度。这里,调度服务器401也可以优先地向自动驾驶车辆的汇合辅助装置105询问可否调度。
接着,调度服务器401从询问了可否调度的调度车辆X的汇合辅助装置105接收可否调度的响应(步骤S503)。然后,调度服务器401将接收到可调度的响应的调度车辆X的信息发送到移动终端205(步骤S504)。之后,调度服务器401从移动终端205接收使用者的简档和使用者选择为调度车辆的调度车辆X的信息(选择车辆信息)(步骤S505)。
然后,调度服务器401向使用者选择为调度车辆的调度车辆X的汇合辅助装置105发送使用者的简档,向调度车辆X和移动终端205的汇合辅助装置105双方通知合同签订(步骤S506)。这里,使用者的简档包含例如使用者的支付信息、或联系人的信息、以及在<B-7>中提及的确定信息等。
在上述中,对调度服务器401进行调度合同签订处理进行了说明,但是也可以由汇合辅助装置105和移动终端205直接进行调度合同签订处理。
<E.硬件结构>
上述汇合辅助装置101-105中的车辆控制部11、消息生成部12、定位部13、车辆通信部14以及存储部15由图42所示的处理电路81实现。即,构成汇合辅助装置101-105的处理电路81包括车辆控制部11、消息生成部12、定位部13、车辆通信部14和存储部15(以下称为“车辆控制部11等”)。此外,上述移动终端201、202A、202B和203-205中的移动终端控制部21、移动终端通信部22和定位部24也由图42所示的处理电路81实现。即,构成移动终端201、202A、202B、203-205的处理电路81包括移动终端控制部21、移动终端通信部22和定位部24(下文中称为“移动终端控制部21等”)。处理电路81可以应用专用的硬件,也可以应用执行存储在存储器中的程序的处理器。处理器例如是中央处理装置、处理装置、运算装置、微处理器、微机、DSP(Digital Signal Processor:数字信号处理器)等。
在处理电路81为专用硬件的情况下,处理电路81例如相当于单一电路、复合电路、编程处理器、并联编程处理器、ASIC(Application Specific Integrated Circuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)或它们的组合。车辆控制部11等或移动终端控制部21等各部的功能可分别由多个处理电路81来实现,也可将各部的功能集中由一个处理电路来实现。
在处理电路81是处理器的情况下,车辆控制部11等或移动终端控制部21等的功能通过与软件等(软件、固件或软件与固件)的组合来实现。软件等以程序的形式来表述,并存储在存储器中。如图43所示,适用于处理电路81的处理器82读取存储在存储器83中的程序并执行,由此来实现各部分的功能。即,汇合辅助装置101-105包括用于存储程序的存储器83,该程序在由处理电路81执行时最终执行以下步骤:生成要求使用者做出手势的消息的步骤;以及在调度车辆位于汇合地点或其周边时向移动终端201、202A、202B、203-205发送消息的步骤。换言之,也可以说该程序使计算机执行车辆控制部11等的步骤和方法。另外,移动终端201、202A、202B和203-205包括用于存储程序的存储器83,该程序在由处理电路81执行时最终执行以下步骤:从汇合辅助装置101-105接收消息的步骤;以及基于消息向用户发出要求做出手势的通知的步骤。换言之,也可以说该程序使计算机执行移动终端控制部21等的步骤和方法。这里,存储器83例如可以是RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、闪存、EPROM(Erasable Programmable ReadOnly Memory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead Only Memory:电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、以及HDD(Hard Disk Drive:硬盘驱动器)、磁盘、软盘、光盘、压缩磁盘、小型磁盘、DVD(DigitalVersatile Disk:数字通用盘)及其驱动装置等、或者今后使用的所有存储介质。
以上,说明了车辆控制部11等和移动终端控制部21等的各功能由硬件及软件等中的任意一方来实现的结构。然而并不限于此,也可以是在汇合辅助装置101-105中利用专用的硬件来实现车辆控制部11等的一部分、并利用软件等来实现另外一部分的结构。也可以是在移动终端201、202A、202B、203-205中利用专用的硬件来实现移动终端控制部21等的一部分、并利用软件等来实现另外一部分的结构。
如上所述,处理电路可以利用硬件、软件等或它们的组合来实现上述各种功能。另外,存储部15由存储器83构成,但可以由单一的存储器83构成,也可以分别由单独的存储器42构成。存储部30也是同样的。
此外,上述中将汇合辅助装置101-105设为车载装置来进行了说明,但也可以适用于通过适当地组合PND(Portable Navigation Device:便携式导航设备)、通信终端(例如移动电话、智能手机以及平板电脑等移动终端)、及安装于这些设备的应用的功能、以及服务器(包含调度服务器401或其他服务器)等从而作为系统来进行构建的系统。在该情况下,以上说明的汇合辅助装置101-105的各功能或各结构要素可以分散设置在构建系统的各个设备中,也可以集中配置在任意设备中。
另外,能够自由地组合各实施方式,或适当地变形、省略各实施方式。上述说明在所有方式中都是示例性的。可以理解为能假设无数未例示出的变型例。
标号说明
11 车辆控制部
12 消息生成部
13 定位部
14 车辆通信部
15 存储部
21 移动终端控制部
22 移动终端通信部
23 通知部
24 定位部
25 操作部
26 显示部
27 声音输出部
28 外摄像头
29 内摄像头
30 存储部
31 GNSS接收机
32 通信装置
33 显示装置
34 声音输出装置
35 操作装置
36 车外手势识别装置
37 自动驾驶控制装置
38 车外通知装置
50-52、66-69 对象
54-56 图标
70 显示器
71 扬声器
72 车外显示装置
81 处理电路
82 处理器
83 存储器
101-105 汇合辅助装置
201、202A、202B、203-205 移动终端
301、302A、302B、303-305 汇合辅助系统
401 调度服务器。

Claims (19)

1.一种汇合辅助系统,包括:
移动终端,该移动终端由希望与调度车辆汇合的使用者所携带;以及
汇合辅助装置,该汇合辅助装置与所述移动终端进行通信并对在所述调度车辆与所述使用者的汇合地点处的汇合进行辅助,所述汇合辅助系统的特征在于,
所述汇合辅助装置包括:
消息生成部,该消息生成部生成要求所述使用者做出手势的消息;
车辆控制部,该车辆控制部将所述调度车辆位于所述汇合地点或所述汇合地点周边的定时决定为所述消息的发送定时;以及
车辆通信部,该车辆通信部在所述发送定时将所述消息发送给所述移动终端,
所述移动终端包括:
移动终端通信部,该移动终端通信部从所述汇合辅助装置接收所述消息;以及
通知部,该通知部基于所述消息对所述使用者进行要求其做出手势的通知。
2.如权利要求1所述的汇合辅助系统,其特征在于,
所述车辆控制部使搭载于所述调度车辆的显示装置显示所述调度车辆、所述汇合地点以及所述移动终端的位置关系。
3.如权利要求2所述的汇合辅助系统,其特征在于,
所述车辆控制部获取所述调度车辆的驾驶员的操作信息,在基于所述驾驶员的操作信息的定时,使所述显示装置显示所述调度车辆、所述汇合地点以及所述移动终端的位置关系。
4.如权利要求2或3所述的汇合辅助系统,其特征在于,
所述车辆控制部获取所述调度车辆的驾驶员的操作信息,在基于所述驾驶员的操作信息的定时,决定发送所述消息的定时。
5.如权利要求1所述的汇合辅助系统,其特征在于,
所述消息包含所述手势的种类,所述手势的种类包含表示做出所述手势的身体的部位的部位属性、以及表示使由所述部位属性所表示的身体的部位如何动作的动作属性。
6.如权利要求5所述的汇合辅助系统,其特征在于,
所述车辆控制部使用于选择所述手势的种类的手势选择画面显示在搭载于所述调度车辆的显示装置上,根据所述手势选择画面中的所述调度车辆的驾驶员的选择结果,确定所述消息中所包含的所述手势的种类。
7.如权利要求5所述的汇合辅助系统,其特征在于,
所述车辆控制部根据所述调度车辆的驾驶员的发话声音的识别结果,确定所述消息中所包含的所述手势的种类。
8.如权利要求5所述的汇合辅助系统,其特征在于,
所述车辆控制部从对搭载于所述调度车辆的所述调度车辆中的人物的手势进行识别的车内手势识别装置,获取所述调度车辆的驾驶员的手势的识别结果,根据所述驾驶员的手势的识别结果来确定所述消息中所包含的所述手势的种类。
9.如权利要求1至8中任一项所述的汇合辅助系统,其特征在于,
所述移动终端还包括操作部,该操作部获取所述使用者的操作信息,
所述移动终端通信部在所述操作部获取与所述使用者做出所述手势的意思相关的操作信息的情况下,将表示所述使用者做出所述手势的意思的信息发送给所述汇合辅助装置的所述车辆通信部,
所述车辆控制部将所述使用者做出所述手势的意思通知给所述调度车辆的驾驶员。
10.如权利要求9所述的汇合辅助系统,其特征在于,
所述操作部在所述使用者不做出所述手势的情况下,从所述使用者获取用于确定所述使用者的确定信息的操作输入,
所述移动终端通信部将所述确定信息发送给所述汇合辅助装置的所述车辆通信部,
所述车辆控制部将所述确定信息通知给所述调度车辆的驾驶员。
11.如权利要求1至10中任一项所述的汇合辅助系统,其特征在于,
所述移动终端通信部从所述汇合辅助装置获取所述调度车辆的位置,
所述通知部在所述调度车辆与所述移动终端的距离小于阈值的情况下,将该情况通知给所述使用者。
12.如权利要求1至11中任一项所述的汇合辅助系统,其特征在于,
所述移动终端通信部从所述汇合辅助装置获取所述调度车辆的位置,
所述通知部将所述调度车辆相对于所述汇合地点的接近方向通知给所述使用者。
13.如权利要求1至12中任一项所述的汇合辅助系统,其特征在于,
所述车辆控制部从车外手势识别装置中获取手势的识别结果,所述车外手势识别装置搭载于所述调度车辆,对所述调度车辆外的人物的手势进行识别。
14.如权利要求13所述的汇合辅助系统,其特征在于,
所述车辆控制部基于所述车外手势识别装置所识别的手势的识别结果,将做出在所述消息中要求做出的所述手势的所述调度车辆外的人物确定为所述使用者,将所确定的所述使用者通知给所述调度车辆的驾驶员。
15.如权利要求1所述的汇合辅助系统,其特征在于,
所述调度车辆是全自动驾驶车辆,
所述车辆控制部从车外手势识别装置中获取手势的识别结果,所述车外手势识别装置搭载于所述调度车辆,对所述调度车辆外的人物的手势进行识别,
所述车辆控制部基于所述车外手势识别装置所识别的所述手势的识别结果,将做出在所述消息中要求做出的所述手势的所述调度车辆外的人物确定为所述使用者,通过搭载于所述调度车辆的车外通知装置对所述使用者进行通知。
16.如权利要求15所述的汇合辅助系统,其特征在于,
所述车外通知装置是设于所述调度车辆的外表面的车外显示装置,
所述车辆控制部通过在所述车外显示装置上显示所述使用者的识别信息,从而对所述使用者进行通知。
17.如权利要求15所述的汇合辅助系统,其特征在于,
所述车外通知装置是所述调度车辆的前照灯,
所述车辆控制部通过使所述前照灯照射所述使用者,从而对所述使用者进行通知。
18.一种汇合辅助装置,其特征在于,包括:
消息生成部,该消息生成部生成要求希望与调度车辆汇合的使用者做出手势的消息;
车辆控制部,该车辆控制部将所述调度车辆位于与所述使用者的汇合地点或所述汇合地点周边的定时决定为所述消息的发送定时;以及
车辆通信部,该车辆通信部在所述发送定时将所述消息发送给所述使用者的移动终端。
19.一种汇合辅助方法,其特征在于,
生成要求希望与调度车辆汇合的使用者做出手势的消息,
将所述调度车辆位于与所述使用者的汇合地点或所述汇合地点周边的定时决定为所述消息的发送定时,
在所述发送定时将所述消息发送给所述使用者的移动终端。
CN202080097041.0A 2020-02-27 2020-02-27 汇合辅助系统、汇合辅助装置及汇合辅助方法 Active CN115136217B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008012 WO2021171475A1 (ja) 2020-02-27 2020-02-27 合流支援システム、合流支援装置および合流支援方法

Publications (2)

Publication Number Publication Date
CN115136217A true CN115136217A (zh) 2022-09-30
CN115136217B CN115136217B (zh) 2024-01-12

Family

ID=77490026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097041.0A Active CN115136217B (zh) 2020-02-27 2020-02-27 汇合辅助系统、汇合辅助装置及汇合辅助方法

Country Status (4)

Country Link
US (1) US20230003535A1 (zh)
JP (1) JP7267499B2 (zh)
CN (1) CN115136217B (zh)
WO (1) WO2021171475A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342427A (ja) * 2001-05-21 2002-11-29 Mazda Motor Corp 配車システム、配車方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2004046309A (ja) * 2002-07-09 2004-02-12 Takashi Wada タクシー配車システム
JP2014041604A (ja) * 2012-07-23 2014-03-06 Storadia Ltd 情報処理システム
JP2016201008A (ja) * 2015-04-13 2016-12-01 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP2019067012A (ja) * 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法
CN109739469A (zh) * 2012-09-20 2019-05-10 三星电子株式会社 用户装置的情景感知服务提供方法和设备
US20190230215A1 (en) * 2016-09-09 2019-07-25 Huawei Technologies Co.,Ltd. Method and apparatus for pushing notification, mobile terminal, and graphical user interface
CN110154940A (zh) * 2018-02-15 2019-08-23 丰田自动车株式会社 车辆控制系统及车辆控制方法
CN110686696A (zh) * 2018-07-06 2020-01-14 本田技研工业株式会社 信息提示装置、信息提示方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342427A (ja) * 2001-05-21 2002-11-29 Mazda Motor Corp 配車システム、配車方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2004046309A (ja) * 2002-07-09 2004-02-12 Takashi Wada タクシー配車システム
JP2014041604A (ja) * 2012-07-23 2014-03-06 Storadia Ltd 情報処理システム
CN109739469A (zh) * 2012-09-20 2019-05-10 三星电子株式会社 用户装置的情景感知服务提供方法和设备
JP2016201008A (ja) * 2015-04-13 2016-12-01 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
US20190230215A1 (en) * 2016-09-09 2019-07-25 Huawei Technologies Co.,Ltd. Method and apparatus for pushing notification, mobile terminal, and graphical user interface
JP2019067012A (ja) * 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法
CN110154940A (zh) * 2018-02-15 2019-08-23 丰田自动车株式会社 车辆控制系统及车辆控制方法
CN110686696A (zh) * 2018-07-06 2020-01-14 本田技研工业株式会社 信息提示装置、信息提示方法及存储介质

Also Published As

Publication number Publication date
JPWO2021171475A1 (zh) 2021-09-02
WO2021171475A1 (ja) 2021-09-02
JP7267499B2 (ja) 2023-05-01
US20230003535A1 (en) 2023-01-05
CN115136217B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US20220017046A1 (en) Vehicle dispatch management system and vehicle dispatch management server
CN108860141B (zh) 泊车方法、装置及存储介质
JP5921320B2 (ja) 表示システム、携帯装置、車載装置、及び、プログラム
CN102027318A (zh) 用于提供停车信息的导航装置及方法
KR20200023702A (ko) 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
CN101871786A (zh) 动作致动的兴趣点信息系统和方法
CN102037320A (zh) 导航装置、方法和系统
CN110751854B (zh) 汽车的停车指引方法、装置及存储介质
WO2020031370A1 (ja) 運転計画作成装置、遠隔運転サーバおよび運転計画作成方法
JP2007080060A (ja) 対象物特定装置
JP7147513B2 (ja) 情報提供システム、サーバ、車載装置及び情報提供方法
US9743247B2 (en) Position information providing device, position information providing system
CN104613959A (zh) 用于可穿戴设备的导航方法及装置、电子设备
CN110884500A (zh) 控制车辆的方法、装置、电子设备及存储介质
CN105523041A (zh) 车道偏离警告系统和用于控制该系统的方法
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN115134519B (zh) 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质
US11620584B2 (en) Server, information processing method, and non- transitory computer-readable storage medium storing a program
KR101562581B1 (ko) 내비게이션 장치 및 그 방법
CN115357311A (zh) 出行信息分享方法、装置、计算机设备及存储介质
KR102433345B1 (ko) 차량 카메라를 이용한 정보 제공 서비스 방법 및 장치
CN115136217B (zh) 汇合辅助系统、汇合辅助装置及汇合辅助方法
CN110874947B (zh) 交通控制方法、装置及系统
WO2019155557A1 (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP7282199B2 (ja) 合流支援装置および合流支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant