CN109564723B - 移动体控制装置、移动体控制方法以及移动体 - Google Patents

Abstract

本技术涉及移动体控制装置、移动体控制方法以及移动体，其使得能够根据乘坐移动体的人或其候选者以及从移动体下来的人或其候选者适当地进行移动体的驾驶。移动体控制装置配备有驾驶控制单元，所述驾驶控制单元基于对乘坐移动体的候选者或从移动体下来的候选者中的至少一个的识别，执行移动体的加速或减速控制。本技术可应用于例如诸如巴士或出租车之类的移动体，或控制移动体的自动驾驶或半自动驾驶的控制装置。

Description

移动体控制装置、移动体控制方法以及移动体

技术领域

本技术涉及移动体控制装置、移动体控制方法以及移动体，特别地，涉及适合于进行自动驾驶或半自动驾驶的移动体控制装置、移动体控制方法以及移动体。

背景技术

过去，提出了用于通过自动驾驶进行能够队列行驶(platooning)的车辆的辅助驾驶(driving assistant)的系统(例如，参见专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请公开No.2000-285363

发明内容

技术问题

然而，在专利文献1中描述的发明关注于能够进行队列行驶的车辆，并且需要开发诸如交通控制系统、专用道路以及具有按钮设备的搭乘站台(boarding platform)之类的基础设施。因此，没有考虑过包括诸如巴士(bus)和出租车之类的车辆的移动体自己进行自动驾驶或半自动驾驶的情况。

鉴于上述情况提出了本技术，以使得可以基于乘坐移动体的人或其候选者(candidate)以及从移动体下来的人或其候选者适当地进行移动体的驾驶。

问题的解决方案

根据本技术的第一方面的移动体控制装置包括驾驶控制单元，所述驾驶控制单元基于对乘坐移动体的候选者或从移动体下来的候选者中的至少一个的识别，执行移动体的加速/减速控制。

所述驾驶控制单元可以基于对乘坐候选者的识别或对下来候选者的识别中的至少一个，执行移动体的停止控制。

所述驾驶控制单元可以基于对乘坐候选者乘坐移动体的识别或对下来候选者从移动体下来的识别中的至少一个，执行移动体的起动控制。

可以对移动体的预定候选停止点的附近的区域执行对乘坐候选者的识别。

可以基于所述候选停止点中的预定基准位置设定优先识别区，在所述优先识别区中优先识别乘坐候选者。

所述基准位置可以是表示所述候选停止点的标识、所述候选停止点处的预定构造物或所述候选停止点处的预定搭乘位置中的至少一个。

还可以基于所述候选停止点的构成或所述候选停止点周围的状况中的至少一个设定所述优先识别区。

所述基准位置可以取决于所述候选停止点周围的状况而变化。

可以将要识别的区域设定为在相对于所述移动体的预定方向上的预定区域。

可以基于在由所述移动体的成像单元拍摄的图像中识别的人的面部、视线取向、位置或行为中的至少一个执行对所述乘坐候选者的识别。

还可以基于由在所述移动体的外部的成像装置拍摄的图像执行对所述乘坐候选者的识别。

可以基于使用乘坐候选者或下来候选者的面部的图像或表示所述面部的特征量的数据的面部认证，执行对所述乘坐候选者或所述下来候选者的识别，所述图像和所述数据是预先获取的。

所述移动体控制装置还可以包括在所述移动体中沿不同方向或在不同位置识别所述乘坐候选者或所述下来候选者的多个成像单元，其中在所述移动体移动时和在所述移动体停止时之间可以改变用于所述乘坐候选者或所述下来候选者的识别处理的成像单元。

可以基于通过对所述移动体的内部进行成像而获得的图像中的所述移动体的搭乘者的位置或行为中的至少一个，执行对所述下来候选者的识别。

所述移动体控制装置还可以包括用户接口控制单元，所述用户接口控制单元控制对所述乘坐候选者的识别结果的通知。

所述用户接口控制单元可以在由所述移动体的成像单元拍摄的图像上叠加表示对所述乘坐候选者的识别结果的信息，并显示所述图像。

所述用户接口控制单元可以在所述移动体的搭乘者的视野上叠加表示对所述乘坐候选者的识别结果的信息，以供显示。

根据本技术的第一方面的移动体控制方法包括驾驶控制步骤，该步骤基于对乘坐移动体的候选者或从移动体下来的候选者中的至少一个的识别，执行移动体的加速/减速控制。

根据本技术的第二方面的移动体包括驾驶控制单元，所述驾驶控制单元基于对乘坐候选者或下来候选者中的至少一个的识别，执行加速/减速控制。

在本技术的第一方面或第二方面中，基于对乘坐候选者或下来候选者中的至少一个的识别，执行加速/减速控制。

发明的有益效果

根据本技术，可以根据乘坐移动体的人或其候选者以及从移动体下来的人或其候选者适当地进行移动体的驾驶。

应当注意，在此描述的效果不一定是限制性的，而可以是在本公开中描述的任意效果。

附图说明

图1是示出本技术应用于的车辆的一个实施例的构成示例的图。

图2是示出车辆的各单元的连接状态的示例的图。

图3是用于描述合成图像(composite image)的生成方法的图。

图4是示出车辆控制单元的功能的构成示例的一部分的图。

图5是示出巴士中的相机的布置示例的图。

图6是用于描述自动停止/发车处理的第一实施例的流程图。

图7是用于描述自动停止/发车处理的第一实施例的流程图。

图8是示出车站(stop)的类型的图。

图9是示出包括候车室的车站的示例的图。

图10是示出包括多个标识(sign)的车站的示例的图。

图11是示出优先识别区(priority recognition area)的第一示例的图。

图12是示出优先识别区的第二示例的图。

图13是示出优先识别区的第三示例的图。

图14是示出优先识别区的第四示例的图。

图15是示出优先识别区的第五示例的图。

图16是用于描述乘坐候选者的识别处理的第一示例的图。

图17是用于描述乘坐候选者的识别处理的第二示例的图。

图18是用于描述用于乘坐候选者的识别处理的图像的切换方法的示例的图。

图19是用于描述自动停止/发车处理的第二实施例的流程图。

图20是用于描述自动停止/发车处理的第三实施例的流程图。

图21是示出辅助画面的第一示例的图。

图22是示出辅助画面的第二示例的图。

图23是示出辅助画面的第三示例的图。

图24是示出辅助画面的第四示例的图。

具体实施方式

以下，描述用于实施本技术的实施例。按以下顺序进行描述。

1.车辆的基本构成示例

2.第一实施例(应用于进行自动驾驶的巴士的示例)

3.第二实施例(应用于进行自动驾驶的出租车的第一示例)

4.第三实施例(应用于进行自动驾驶的出租车的第二示例)

5.第四实施例(应用于进行半自动驾驶的车辆的用户接口的示例)

6.变型例

7.其他

<<1.车辆的基本构成示例>>

图1是示出本技术应用于的车辆的基本构成示例的图。

图1所示的车辆11包括前感测相机21、前相机ECU(电子控制单元)22、位置信息获取单元23、显示单元24、通信单元25、操纵(steering)机构26、雷达27、光雷达(lidar)28、侧视相机29、侧视相机ECU 30、集成ECU 31、前视相机32、前视相机ECU 33、制动设备34、引擎35、发电机36、驱动电机37、电池38、后视相机39、后视相机ECU 40、车速检测单元41、车内相机42以及车内相机ECU 43。

车辆11中设置的各单元通过CAN(控制器局域网(Controller Area Network))通信用总线、其他连接线等相互连接。然而，为了使得容易看图，在没有特别地区分它们的情况下示出总线、连接线等。

前感测相机21包括例如被配置在车辆中的室内镜(room mirror)附近的专用于感测的相机，以车辆11的前方作为对象(subject)进行成像以及将所得到的感测图像输出给前相机ECU 22。

前相机ECU 22对从前感测相机21提供的感测图像适当地进行提高图像质量的处理等，然后对感测图像进行图像识别，从而从感测图像检测诸如白线和行人之类的任意物体(object)。前相机ECU 22将图像识别的结果输出给CAN通信用总线。

位置信息获取单元23例如包括诸如GPS(全球定位系统)之类的位置信息测量系统，检测车辆11的位置，并将表示检测结果的位置信息输出给CAN通信用总线。

显示单元24例如包括液晶显示板，并被配置在车辆中的诸如仪表板(instrumentpanel)的中央位置和室内镜的内部之类的预定位置处。此外，显示单元24可以是在风挡(windshield)部分上重叠并设置的透射型显示器，或汽车导航系统的显示器。显示单元24在集成ECU 31的控制下显示各种图像。

通信单元25通过诸如车辆间通信、车辆与行人间通信以及道路与车辆间通信之类的各种无线通信，向周边车辆、由行人持有的便携式终端设备、路边设备、外部服务器等发送信息或从周边车辆、由行人持有的便携式终端设备、路边设备、外部服务器等接收信息。例如，通信单元25与周边车辆进行车辆间通信，从周边车辆接收包括表示搭乘者数量和行驶状态的信息的周边车辆信息，并将其提供给集成ECU 31。

操纵机构26根据驾驶员的车轮操纵操作或从集成ECU 31提供的控制信号，进行车辆11的行驶方向的控制，即，转向角(steering angle)控制。雷达27是通过利用诸如毫米波之类的电磁波，测量沿诸如前后之类的每个方向到诸如车辆和行人之类的物体的距离的测距传感器，并将测量到物体的距离的结果输出给集成ECU 31等。光雷达28是通过利用光波测量沿诸如前后之类的每个方向到诸如车辆和行人之类的物体的距离的测距传感器，并将测量到物体的距离的结果输出给集成ECU 31等。

侧视相机29是例如被配置在侧视镜的壳体中或侧视镜附近的相机，拍摄车辆的包括作为驾驶员的盲区(blind spot)的区域的侧方的图像(以下也称为侧方图像)，并将其提供给侧视相机ECU 30。

侧视相机ECU 30对从侧视相机29提供的侧方图像进行诸如白平衡调整之类的改进图像质量的图像处理，并将所获得的侧方图像经由与CAN通信用总线不同的缆线提供给集成ECU 31。

集成ECU 31包括布置在车辆11的中央处的诸如驾驶控制ECU 51和电池ECU 52之类的多个ECU，并控制整个车辆11的操作。

例如，驾驶控制ECU 51是实现ADAS(高级辅助驾驶系统)功能或自动驾驶(自驾驶)功能的ECU，并基于诸如来自前相机ECU 22的图像识别结果、来自位置信息获取单元23的位置信息、从通信单元25提供的周边车辆信息、来自雷达27和光雷达28的测量结果、来自车速检测单元41的车速检测结果等之类的各种信息，控制车辆11的驾驶(行驶)。即，驾驶控制ECU 51控制操纵机构26、制动设备34、引擎35、驱动电机37等，以控制车辆11的驾驶。

注意，在集成ECU 31中，可以为包括ADAS功能、自动驾驶功能等的功能中的每个功能设置专用ECU。

此外，电池ECU 52控制电池38的电力供给等。

前视相机32例如包括被配置在前格栅(grille)的附近的相机，拍摄车辆11的包括作为驾驶员的盲区的区域的前方的图像(以下也称为前方图像)，并将其提供给前视相机ECU 33。

前视相机ECU 33对从前视相机32提供的前方图像进行诸如白平衡调整之类的改进图像质量的图像处理，并将所获得的前方图像经由与CAN通信用总线不同的缆线提供给集成ECU 31。

制动设备34根据驾驶员的制动操作或从集成ECU 31提供的控制信号进行操作，并使车辆11停止或减速。引擎35是车辆11的动力源，并且是根据从集成ECU 31提供的控制信号来驱动的。

发电机36是由集成ECU 31控制的，并且根据引擎35的驱动而发电。驱动电机37是车辆11的动力源，接收来自发电机36或电池38的电力供给，并根据从集成ECU 31提供的控制信号而被驱动。注意，在车辆11的行驶期间是驱动引擎35还是驱动电机37是由集成ECU31适当地切换的。

电池38包括例如12V的电池或200V的电池，并根据电池ECU 52的控制向车辆11的各个单元供电。

后视相机39包括例如被配置在尾门(tailgate)的车牌附近的相机，拍摄车辆11的包括作为驾驶员的盲区的区域的后方的图像(以下也称为后方图像)，并将其提供给后视相机ECU 40。例如，在将变速杆(shift lever)(未示出)移动到倒车位置(R)时启动后视相机39。

后视相机ECU 40对从后视相机39提供的后方图像进行诸如白平衡调整之类的改进图像质量的图像处理，并将所获得的后方图像经由与CAN通信用总线不同的缆线提供给集成ECU 31。

车速检测单元41是检测车辆11的车速的传感器，并将车速的检测结果提供给集成ECU 31。注意，在车速检测单元41中，可以根据车速的检测结果来计算加速度或加速度的微分。例如，可以利用计算出的加速度来估计到车辆11与物体碰撞为止的时间。

车内相机42例如包括安装在车辆11内部的相机，拍摄车辆11内部的图像(以下，也称为车内图像)，并将其提供给车内相机ECU 43。

车内相机ECU 43对从车内相机42提供的车内图像进行诸如白平衡调整之类的改进图像质量的图像处理，并将所获得的车内图像经由与CAN通信用总线不同的缆线提供给集成ECU 31。

注意，以下，将通过拍摄车辆11的外部而获得的图像(如感测图像、侧方图像、前方图像以及后方图像)也称为车外图像。

此外，在车辆11中，如图2所示，包括前相机模块71、通信单元25、驾驶控制ECU 51、操纵机构26、制动设备34、引擎35以及驱动电机37的多个单元通过CAN通信用总线72相互连接。注意，在图2中，与图1中的组件对应的组件用相同的标符表示，并且将适当略去对其的描述。

在本示例中，前相机模块71包括透镜81、图像传感器82、前相机ECU 22以及MCU(模块控制单元)83。

此外，透镜81和图像传感器82构成前感测相机21，并且图像传感器82例如包括CMOS(互补金属氧化物半导体)图像传感器。

在前相机模块71中，通过透镜81将来自对象的光收集在图像传感器82的成像面上。图像传感器82通过对从透镜81进入的光进行光电转换来拍摄感测图像，并将其提供给前相机ECU 22。

前相机ECU 22对从图像传感器82提供的感测图像进行例如增益调整、白平衡调整、HDR(高动态范围)处理等，然后对感测图像进行图像识别。

在图像识别中，例如，识别(检测)白线、路缘石(curb stone)、行人、车辆、前灯(headlight)、制动灯、道路标识、到与前方车辆碰撞为止的时间等。由MCU 83将图像识别的识别结果转换成CAN通信用格式的信号，并输出给总线72。

此外，由MCU 83将从总线72提供的信息转换成为前相机模块71定义的格式的信号，并提供给前相机ECU 22。

驾驶控制ECU 51基于从MCU 83输出给总线72的图像识别结果和从诸如雷达27和光雷达28之类的其他单元提供的信息，适当地控制操纵机构26、制动设备34、引擎35、驱动电机37、前灯(未示出)等。因此，实现了诸如行驶方向的变更、制动、加速以及起动(starting)之类的驾驶控制、警告通知控制、前灯切换控制等。

此外，在驾驶控制ECU 51实现自动驾驶功能等的情况下，例如，可以由驾驶控制ECU 51根据由前相机ECU 22获得的每个时刻的图像识别结果进一步识别目标物体的位置轨迹，并且可以将这种识别结果通过通信单元25发送给外部服务器。在这种情况下，例如，在服务器中，进行诸如深度神经网络之类的学习，并生成必要的词典等并发送给车辆11。在车辆11中，由通信单元25接收以该方式获得的词典等，并在驾驶控制ECU 51中将所接收的词典等用于各种预测等。

注意，在由驾驶控制ECU 51执行的控制之中，可以仅根据对感测图像的图像识别结果来实现的控制可以不由驾驶控制ECU 51来执行，而是由前相机ECU 22来执行。

此外，在车辆11中，通过在例如停放时在显示单元24上显示合成图像，实现了周围视野监视器(around view monitor)功能。

即，如图3所示，将由各个单元获得的前方图像、后方图像以及侧方图像经由与CAN通信用总线不同的缆线提供给设置在集成ECU 31中的图像合成ECU 101，并根据这些图像生成合成图像。注意，在图3中用相同的标符表示与图1中的组件对应的组件，并且适当地略去对它们的描述。

在图3中，作为图1所示的侧视相机29，设置有被配置在车辆11的左侧的侧视相机29L和被配置在车辆11的右侧的侧视相机29R。此外，作为侧视相机ECU 30，设置有被配置在车辆11的左侧的侧视相机ECU30L和被配置在车辆11的右侧的侧视相机ECU 30R。

从前视相机ECU 33将由前视相机32获得的前方图像并且从后视相机ECU 40将由后视相机39获得的后方图像提供给图像合成ECU101。此外，从侧视相机ECU 30L将由侧视相机29L获得的侧方图像(以下，也特别地称为左侧方图像)并且从侧视相机ECU 30R将由侧视相机29R获得的侧方图像(以下，也特别地称为右侧方图像)提供给图像合成ECU 101。

图像合成ECU 101基于所提供的图像，生成其中前方图像、后方图像、左侧方图像以及右侧方图像被布置在对应的区域中的合成图像，并将所获得的合成图像提供给显示单元24以供显示。在观察(watch)以该方式显示的合成图像时，驾驶员能够通过驾驶车辆11安全且容易地停放车辆11。注意，集成ECU 31可以基于合成图像来控制车辆11的驾驶，并停放车辆11。

注意，类似于前相机ECU 22，侧视相机ECU 30、前视相机ECU 33以及后视相机ECU40可以从侧方图像、前方图像或后方图像检测车外的诸如白线和行人之类的任意物体。此外，车内相机ECU 43可以从车内图像检测车内的诸如搭乘者之类的任意物体。

此外，以上描述的设置在车辆11中的相机的数量或布置是一个示例，并且可以取决于车辆11的大小、形状等而适当地变化。

图4示出了车辆11的车辆控制单元151的功能的构成示例的一部分。车辆控制单元151是由例如前相机ECU 22、侧视相机ECU 30、集成ECU 31、前视相机ECU 33、后视相机ECU40、车内相机ECU 43等实现的。车辆控制单元151包括监视单元161、状况识别单元162、驾驶控制单元163、停止位置设定单元164、成像控制单元165以及UI(用户接口)控制单元166。

监视单元161监视车辆11的周围和内部。监视单元161包括车外监视单元171和车内监视单元172。

车外监视单元171基于车外图像、来自位置信息获取单元23的位置信息、通过通信单元25从外部获取的各种信息、来自雷达27的测量结果、来自光雷达28的测量结果、设置在车辆11中的各种传感器(未示出)的检测结果等，监视车辆11的外部。例如，车外监视单元171检测车辆11周围的诸如其他车辆、人以及白线之类的任意物体。此外，例如，在车辆11是诸如巴士和出租车之类的用于载客的车辆的情况下，车外监视单元171执行识别被预测要乘坐车辆11的乘坐候选者(candidate for getting on)的处理。

车内监视单元172基于车内图像、设置在车辆11中的各种传感器(未示出)的检测结果等，监视车辆11的内部。例如，车内监视单元172检测车内的诸如搭乘者(occupant)之类的任意物体。此外，例如，在车辆11是诸如巴士和出租车之类的用于载客的车辆的情况下，车内监视单元172执行识别被预测要从车辆11下来的下来候选者(candidate forgetting off)的处理。

状况识别单元162基于来自位置信息获取单元23的位置信息、通过通信单元25从外部获取的信息、来自监视单元161的监视结果、设置在车辆11中的各种传感器(未示出)的检测结果等，识别车辆11所位于的地方的状况。由状况识别单元162识别的状况的示例包括当前位置、当前时间、天气、温度、风速、周围亮度、路面状态以及时间。

驾驶控制单元163基于通过通信单元25从外部获取的信息、来自车速检测单元41的车速检测结果、来自监视单元161的监视结果、来自状况识别单元162的状况识别结果、驾驶员的操作等，控制车辆11的驾驶。例如，驾驶控制单元163执行车辆11的起动控制、停止控制、加速/减速控制、制动控制、方向控制等。

此外，例如，驾驶控制单元163控制车辆11的自动驾驶或半自动驾驶。在此，自动驾驶表示车辆11的驾驶全部是自动化的，并且车辆11在没有驾驶员的操作的情况下自动移动。半自动驾驶表示车辆11的驾驶的一部分是自动化的。半自动驾驶的自动化范围例如从其中驾驶员执行几乎所有驾驶并且只有诸如制动控制之类的一部分功能被自动化以辅助驾驶员的驾驶到其中车辆11自动执行几乎所有驾驶并且驾驶员以补充方式执行一部分操作的驾驶变化。此外，例如，驾驶控制单元163执行使车辆11以预定路线或行程(schedule)行驶的控制，以及用于到达预定目的地的控制。

此外，例如，驾驶控制单元163执行开/关车辆11的车门或车窗的控制、开/关门锁的控制、打开前灯的控制、车体的倾斜控制、电源控制等。

停止位置设定单元164基于来自监视单元161的监视结果、来自状况识别单元162的状况识别结果等，设定车辆11的停止位置。

成像控制单元165基于来自监视单元161的监视结果、来自状况识别单元162的状况识别结果、来自驾驶控制单元163的驾驶控制信息等，控制前感测相机21、侧视相机29、前视相机32、后视相机39以及车内相机42的成像。

UI控制单元166基于来自监视单元161的监视结果、来自状况识别单元162的状况识别结果、来自驾驶控制单元163的驾驶控制信息等，控制显示单元24、语音输出单元(未示出)等，以控制针对诸如驾驶员之类的搭乘者的用户接口。

<<2.第一实施例>>

接着，将参考图5至图18描述本技术的第一实施例。本技术的第一实施例是在车辆11包括执行自动驾驶的巴士的情况下的实施例。

<2-1.相机的布置示例>

图5示意性地示出了在作为图1中的车辆11的巴士201中的相机的布置示例。

在巴士201上，作为成像单元布置了相机221F1至相机221B。相机221F1至相机221B中的任何一个都可以是包括两个或更多个相机的立体相机，并且能够通过所述两个或更多个相机的视差测量到被成像的物体的距离。此外，相机221F1至相机221B中的任何一个都可以包括视角不小于120度(特别有利的是，不小于180度)的广角相机。

相机221F1和相机221F2对应于图1中的前感测相机21或前视相机32。相机221F1被配置在例如巴士201的室内镜(未示出)附近以及风挡211的左右方向上的中央处的上下方向上的上端附近，并用于主要对巴士201的前方成像。相机221F2被配置在例如巴士201的仪表盘(dashboard)(未示出)上方，以及风挡211的左右方向上的中央处的上下方向上的下端附近，并用于主要对巴士201的前方成像。注意，相机221F1用于对巴士201的比要由相机221F2成像的位置远的前方成像，相机221F2用于对巴士201的比要由相机221F1成像的位置近的前方成像。

相机221L1至相机221L4对应于图3中的侧视相机29L，并且相机221R对应于图3中的侧视相机29R。相机221L1被配置在例如巴士201的左侧视镜212L附近，并用于主要对巴士201的左侧成像。相机221L2被配置在例如巴士201的上车门(entrance door)213附近，并用于主要对上车门213的附近成像。相机221L3被配置在例如巴士201的下车门(exit door)214附近，并用于主要对下车门214的附近成像。相机221L4被配置在例如巴士201的左侧的后端附近，并用于主要对巴士201的左侧成像。注意，相机221L1用于对巴士201的在相机221L4的前方的左侧成像，而相机221L4用于对巴士201的在相机221L4的后方的左侧成像。相机221R被配置在例如巴士201的右侧视镜212R附近，并用于主要对巴士201的右侧成像。

相机221B对应于图1中的后视相机39。相机221B被配置在例如巴士201的背面的左右方向上的中央处的上下方向上的上端附近，并用于主要对巴士201的后方成像。

相机221IN对应于图1中的车内相机42。相机221IN被配置在例如巴士201的室内镜(未示出)附近，并用于主要对车辆内部成像。注意，可以在车辆中设置多个相机221IN，使得在巴士201内部不会出现盲区。

将由相机221F1、相机221F2、相机221L1至相机221L4、相机221R以及相机221B拍摄的图像(车外图像)用于检测车外的诸如白线和行人之类的任意物体。将由相机221IN拍摄的图像(车内图像)用于检测诸如车内的搭乘者之类的任意物体。

<2-2.自动停止/发车处理>

接着，将参考图6和图7的流程图描述由巴士201执行的自动停止/发车处理。注意，该处理是例如在巴士201的ACC(附属)电源被接通时开始的，并且是在ACC电源被切断时结束的。

在步骤S1中，驾驶控制单元163判定是否已接近候选停止点(stop candidatepoint)。候选停止点例如表示巴士201接着预定要停止的巴士车站(以下，简称为车站)。

车辆控制单元151首先检测到下一车站的距离。作为检测到下一车站的距离的方法，可以采用任意方法。

例如，状况识别单元162基于由位置信息获取单元23检测的车辆11的当前位置和先前保持的地图信息中的下一车站的位置，检测到下一车站的距离。

或者，例如，车外监视单元171基于车外图像以及雷达27和光雷达28的检测结果，检测巴士201的行驶方向上的车站进而检测到车站的距离。

或者，例如，状况识别单元162基于从设置在下一车站中的通信设备发出然后由通信单元25接收的无线电波的强度，检测到下一车站的距离。

或者，例如，状况识别单元162基于由通信单元25从设置在下一车站中的通信设备接收的与下一车站的位置或到下一车站的距离有关的信息，检测到下一车站的距离。

在到下一车站的距离不小于预定阈值或者到下一车站的距离的检测失败的情况下，驾驶控制单元163判定未接近候选停止点。按预定定时重复执行该判定处理，直到判定已接近候选停止点为止。然后，在到下一车站的距离小于阈值的情况下，驾驶控制单元163判定已接近候选停止点，并且处理进行到步骤S2。

在步骤S2中，巴士201在驾驶控制单元163的控制下进入停止车道(stop lane)。在此，停止车道表示巴士201在下一车站处停止的车道(lane)。例如，在设置了专用巴士车道的情况下，专用巴士车道是停止车道。同时，在未设置专用巴士车道的情况下，在左侧行驶交通的情况下，下一车站之前的车道(例如，左端车道)是停止车道。

此外，巴士201在驾驶控制单元163的控制下，移动到停止车道中的车站侧的端部。此外，UI控制单元166控制语音输出装置等(未示出)以输出用于引导下一车站的通知。

在步骤S3中，车外监视单元171设定停止基准位置。

具体来说，车外监视单元171首先基于车外图像检测车站。

图8和图9示出了车站的类型。

例如，存在仅安装有表示车站名称、时刻表等的标识的车站。图8中的标识301至标识303都是车站标识的示例。如在该示例中所示，存在各种形状的标识。

此外，例如，存在安装了设置有用于防风、雨、日照等的顶棚的巴士候车亭的车站。图8中的巴士候车亭304是其示例。一些巴士候车亭具有壁面。此外，还存在安装有标识和巴士候车亭的车站。或者，还存在其中在巴士候车亭中表示车站名称、时刻表(timetable)等并且没有安装标识的车站。

此外，例如，存在安装有候车室的车站。图9示出了安装有候车室的车站的示例。在此示例中，在人行道313的车行道(roadway)314侧的端部处安装有标识311。此外，在与车行道314的相反侧安装有面对人行道313的候车室312。候车室312由顶棚和壁围绕，并且包括用于出入的门321。

例如，车外监视单元171预先保持安装在车站处的诸如标识、巴士候车亭以及候车室之类的设施的形状图案，并利用图案执行图案识别以检测车外图像中的车站。或者，例如，车外监视单元171预先保持附接到标识(sign)、巴士候车亭等的标记(mark)(例如，车站或巴士公司的标记)的图案，并利用图案执行图案识别以检测车外图像中的车站。或者，例如，车外监视单元171通过借助字符识别等从车外图像识别表示下一车站的名称的字符来检测车站。

此外，在多条路线上的巴士到达和离开的巴士站(bus terminal)等中，每条路线的巴士停止位置不同，并且在一些情况下，例如，如图10所示，安装有多个标识331至333。在此情况下，车外监视单元171从标识331至标识333中识别与巴士201的路线对应的标识。例如，车外监视单元171基于预设信息(例如，巴士站中的标识的位置)识别与巴士201的路线对应的标识，或者通过字符识别等识别与巴士201的路线对应的标识。

注意，检测车站的方法并不限于上述示例，并且可以采用任意方法。例如，可以通过补充地利用巴士201的位置信息和地图信息来检测车站。或者，可以通过与安装在车站处的通信设备进行通信来检测车站。

接着，车外监视单元171基于车站的检测结果设定停止基准位置。停止基准位置表示巴士201在下一车站处停止的基准位置，并且对停止基准位置周围的人执行识别乘坐候选者的处理，如之后描述的。

例如，在车站处安装有标识的情况下，将标识的安装位置设定为停止基准位置。此外，例如，在车站处安装有诸如巴士候车亭和候车室之类的供乘客等待巴士的构造物(以下，称为车站构造物)的情况下，基于车站构造物来设定停止基准位置。例如，在安装有巴士候车亭的情况下，将巴士候车亭的顶棚下方的区域设定为停止基准位置。此外，例如，在车站处表示了乘坐位置(搭乘(boarding)位置)的情况下，将乘坐位置设定为停止基准位置。

注意，在车站包括标识、车站构造物以及乘坐位置(的显示)中的两个或更多个的情况下，例如，可以基于它们中的一个设定停止基准位置，或者可以基于两个或更多个位置关系设定停止基准位置。在基于它们中的一个进行设定的情况下，与标识和车站构造物相比，可以优先使用乘坐位置(的显示)。

在步骤S4中，车外监视单元171开始识别乘坐候选者的处理。在此，车外监视单元171对候选停止点附近的区域执行识别乘坐候选者的处理。例如，车外监视单元171基于在步骤S3的处理中设定的停止基准位置，将存在等待巴士的乘客的可能性高的区域设定为优先执行识别乘坐候选者的处理的区域(以下，称为优先识别区)。

图11示出了优先识别区的一个典型示例。在该示例中，在人行道401与车行道402之间的边界附近安装有停止基准位置Pa。例如，停止基准位置Pa是车站的标识(未示出)的安装位置。注意，在车行道402上，示出了车行道外侧线403和车道边界线404。

例如，将停止基准位置Pa周围预定半径内的区域设定为优先识别区。此时，可以以阶梯方式设定多个优先识别区。在图11的示例中，设定优先识别区A1a和优先识别区A2a这两个优先识别区。例如，将优先识别区A1a设定为停止基准位置Pa周围的半径r1a内的圆形区域。将优先识别区A2a设定为停止基准位置Pa周围的半径r2a(>半径r1a)内的除优先识别区A1a以外的圆环区域。

执行识别乘坐候选者的处理的优先级在优先识别区A1a中是最高的，在优先识别区A2a中第二高，并且在优先识别区A2a之外的区域中是最低的。例如，分配给识别处理的机器功率、时间等在优先识别区A1a中是最高的，在优先识别区A2a中第二高，并且在优先识别区A2a之外的区域中是最低的。相应地，识别精度在优先识别区A1a中是最高的，在优先识别区A2a中第二高，并且在优先识别区A2a之外的区域中是最低的。

注意，可以从识别乘坐候选者的处理的目标中排除在优先识别区A1b之外的区域。即，可以仅在优先识别区A1a和优先识别区A1b中执行识别乘坐候选者的处理。在此情况下，不将在优先识别区A1b之外的人识别为乘坐候选者。

此外，例如，在使用得分来判定是否为乘坐候选者的情况下，可以对优先识别区A1a中的人赋予比优先识别区A1b中的人高的得分，并且可以对优先识别区A1b中的人赋予比在优先识别区A1b之外的人高的得分。

注意，优先识别区不一定要设定为同心区域。例如，如图12所示，可以将优先识别区A1b和优先识别区A2b设定为具有以停止基准位置Pa为中心的椭圆外周。

此外，乘客等待巴士的位置随车站的构成、车站周围的状况等而变化。在此，车站的构成示例包括标识的有/无及位置、诸如巴士候车亭和候车室之类的车站构造物的有/无、形状以及位置、以及巴士停止位置的显示的有/无及位置。车站周围的状况的示例包括车站周围的道路的位置、构成以及附属物、车站周围的建筑物或移动物体的位置、类型及形状、以及天气。道路的构成示例包括人行道的有/无或宽度、路肩的有/无或宽度、车道的宽度、以及道路车道线(road lane marking)的数量和位置。道路的附属物的示例包括护栏(guardrail)、栅栏(fence)、路缘以及道路标识。周围建筑物的示例包括建筑物、房子、壁、栅栏以及停车场。周围移动物体的示例包括停泊的车辆。

在这个方面，车外监视单元171可以进一步基于车站的构成、车站(停止基准位置)周围的状况等中的至少一个来设定优先识别区。

例如，在图13的部分A中示出的车站中，在人行道422和车行道423之间的边界附近安装有标识421。在人行道422的端部处安装有面对车行道423的护栏426。在车行道423上，示出了车行道外侧线424和车道边界线425。建筑物427面对人行道422。

在此情况下，如图13的部分B所示，将标识421的位置设定为停止基准位置Pc。此外，基本上，将停止基准位置Pc周围半径r1c内的区域设定为优先识别区A1c，将停止基准位置Pc周围半径r2c(>半径r1c)内的除优先识别区A1c以外的区域设定为优先识别区A2c。然而，由于归因于护栏426假定等待巴士的乘客进入车行道423的可能性低，因此将车行道423内的区域从优先识别区中排除掉。将建筑物427的地基(premise)内的区域从优先识别区中排除掉。

图14示出了在其中未设置人行道并且在路肩441中安装有标识(未示出)的车站中的优先识别区的示例。具体来说，路肩441和车行道442被车行道外侧线443分离。在车行道442上，示出了车道边界线444。安装面对路肩441的栅栏445。在路肩441的在栅栏445侧的端部处安装有标识(未示出)，并将停止基准位置Pd设定到该位置。

在此情况下，例如，基本上，将停止基准位置Pd周围半径r1d内的区域设定为优先识别区A1d，将停止基准位置Pd周围半径r2d(>半径r1d)内的除优先识别区A1d以外的区域设定为优先识别区A2d。然而，将栅栏445的内侧(路肩441的相反侧)从优先识别区排除掉。此外，由于路肩441窄并且乘客在车行道442中等待巴士的可能性高，因此车行道442内的区域不被排除而是被包括在优先识别区中。

在图15的部分A中所示的车站中，安装有标识461和巴士候车亭462。具体来说，在人行道463的在车行道464侧的端部处安装有巴士候车亭462。在巴士候车亭462的前侧的端部处安装有标识461。在车行道464上，示出了车行道外侧线465和车道边界线466。建筑物467面对人行道463。

在此情况下，如图15的部分B中所示，将标识461的位置设定为停止基准位置Pe。此外，将巴士候车亭462中的矩形区域设定为优先识别区A1e。此外，将优先识别区A1e周围的矩形框区设定为优先识别区A2e。

在该示例中，由于人行道463的宽度较宽，因此不将优先识别区A2e设定为一直到人行道463的在建筑物467侧的端部。此外，由于没有设置护栏等并且存在等待巴士的乘客进入车行道464的可能性，因此不将车行道464中的区域从优先识别区中排除掉，而是将其包括在优先识别区中。

接着，车外监视单元171基于车外图像通过面部识别等识别车站附近的人。此外，车外监视单元171识别所识别的人的位置、视线取向、行为等。然后，车外监视单元171基于车站附近的人的位置、视线取向、行为等的识别结果中的至少一个，提取所识别的人之中的乘坐候选者。

注意，作为车外监视单元171的识别处理，可以采用任意方法。

现在，参考图16描述乘坐候选者的识别处理的具体示例。

图16示出了图13的部分A中所示的车站周围的人的识别结果的示例。在该示例中，识别出人501a至人501h。注意，在该图中，示出了包围识别的人的面部的框架。

人501a至501c站在优先识别区A1b中的标识421附近。人501d和人501e正在优先识别区A2c中沿着远离车站的方向行走。人501f正在优先识别区A2c中骑自行车。人501g正在优先识别区A2c之外的人行道522上沿着接近车站的方向行走。人501h在优先识别区A2c之外的车行道423中在观察巴士201的方向的同时正在抬起他/她的手。

例如，车外监视单元171从所识别的人中排除被认为明显不在等待巴士的人。例如，排除分别沿着远离车站的方向行走的人501d和人501e，以及骑自行车的人501f。

接着，车外监视单元171基于位置、视线取向、行为等，对其余人中的每一个赋予得分。例如，对优先识别区A1b中的人赋予高得分，并对优先识别区A2b中的人赋予次高得分。此外，例如，对朝着车站跑的人赋予高得分，并对朝着车站行走的人赋予次高得分。此外，例如，对观察巴士201的方向的人赋予高得分。此外，对朝着巴士201举起他/她的手的人赋予高得分。

注意，例如，车外监视单元171可以根据由状况识别单元162识别的车站周围的状况，改变赋予的得分。例如，在车站包括巴士候车亭的情况下，假定与其他情况相比，在强日照或诸如雨和雪之类的坏天气时乘客在巴士候车亭中等待的可能性增大。在这方面，与通常相比，在强日照或坏天气时，车外监视单元171可以增大对巴士候车亭中的人赋予的得分，或者减小对在巴士候车亭之外的人赋予的得分。

然后，车外监视单元171将总得分不小于预定阈值的人提取为乘坐候选者。例如，在图16的示例中，将人501a至人501c以及人501h分别识别为乘坐候选者。

注意，例如，取决于由状况识别单元162识别的车站周围的状况，车外监视单元171可以改变用于识别乘坐候选者的基准。例如，与通常相比，在乘坐候选者的识别精度预期会降低的状况下，车外监视单元171可以减小阈值。即，可以减小用于识别乘坐候选者的基准。例如，与通常相比，在夜间周围暗、车站周围的可见度由于雨、雾、雪等而较差、或者车站周围的可见度由于诸如其他车辆之类的障碍物而较差的情况下，车外监视单元171可以减小阈值。

此外，例如，在车站包括如在图9中所示的上述车站中那样包括候车室的情况下，存在候车室的内部成为从巴士201看的盲区，并且不能识别在候车室中等待的乘客。在这个方面，可以在候车室中设置相机，并且可以使用由该相机拍摄的图像来执行识别候车室中的乘坐候选者的处理。

例如，图17示意性地示出了从上方看到的图9中的候车室312的内部的图。将相机521安装在候车室312的门321一侧的壁312A的与门321相反的端部的天花板附近，使得可以对整个内部成像。在此，可以在面对壁312A的壁312B附近设置长椅522。

例如，当巴士201的通信单元25接近候车室312时，它与相机521通信，并获取由相机521拍摄的图像。然后，车外监视单元171基于经由通信单元25从候车室312接收的图像，将坐在长椅522上的人523a和人523b识别为乘坐候选者。

此外，车外监视单元171可以利用所有车外图像执行乘坐候选者的识别处理，或者利用一部分车外图像执行乘坐候选者的识别处理。

此外，在在巴士201停止之前(在移动时)和在巴士201停止之后(在停止时)之间，车外监视单元171可以改变要使用的车外图像。例如，如图18的部分A中所示，在巴士201接近在人行道542和车行道543之间的边界上设定的停止基准位置541的情况下，车外监视单元171利用由相机221F1、相机221F2(未示出)以及相机221L1拍摄的图像，对巴士201的前方和左斜前方执行乘坐候选者的识别处理。即，在巴士201接近车站的情况下，主要对在巴士201的行驶方向上的车站的附近执行乘坐候选者的识别处理。

同时，如图18的部分B中所示，在巴士201在车站处停止之后，车外监视单元171进一步追加由相机221L2至相机221L4以及相机221B拍摄的图像，并追加巴士201的左侧和巴士201的后侧，作为用于识别乘坐候选者的对象。即，在巴士201停止之后，扩大要识别的区域，使得可以更确实地识别巴士201周围的乘坐候选者，并且可以更确实地识别乘坐巴士201的乘客和从巴士201下来的乘客。

因此，可以更高效地执行乘坐候选者的识别处理，减小识别处理的负荷，以及提高识别精度。

注意，在此情况下，成像控制单元165可以执行控制，使得仅拍摄用于识别处理的图像的相机执行成像，而其他相机停止成像。即，在巴士201停止之前和之后，成像控制单元165可以改变执行成像的相机。因此，可以减小功耗。

此外，例如，在巴士201停止之前，取决于巴士201和车站之间的相对位置，可以切换要用于乘坐候选者的识别处理的车外图像，或者可以切换执行成像的相机。

回到图6，在步骤S5中，状况识别单元162判定是否经过了规定时刻。在此，规定时刻表示例如在巴士201的服务时间表(service schedule)中，离开下一站的预定时刻。在判定经过了规定时刻(appointed time)的情况下，处理进行到步骤S6。

在步骤S6中，车内监视单元172判定是否存在要下来的乘客。例如，在设置在巴士201中的下来按钮被按压的情况下，车内监视单元172判定存在要下来的乘客，在下来按钮未被按压的情况下，判定不存在要下来的乘客。然后，在判定不存在要下来的乘客的情况下，处理进行到步骤S7。

注意，例如，车内监视单元172可以执行稍后要描述的下来候选者的识别处理，并基于识别结果判定是否存在要下来的乘客。

在步骤S7中，车外监视单元171基于乘坐候选者的识别处理的结果，判定是否存在乘坐候选者。在判定不存在乘坐候选者的情况下，处理进行到步骤S8。

在步骤S8中，巴士201在驾驶控制单元163的控制下经过候选停止点。即，在不存在要下来的乘客和乘坐候选者并且经过了规定时刻的情况下，巴士201在不停止的情况下经过候选停止点(下一车站)。

此时，例如，驾驶控制单元163使巴士201在车站附近放慢。此外，UI控制单元166控制语音输出设备等(未示出)以输出表示经过车站的通知。这使得巴士201中的没有注意到接近他/她下来的车站的乘客容易注意到接近车站。然后，例如，在乘客按压下来按钮的情况下，执行与在后述的步骤S6中的判定存在要下来的乘客的情况下类似的处理。

此外，由于巴士201在车站附近放慢，因此提高了车外监视单元171对乘坐候选者的识别精度。此外，例如，在位于离车站稍远的位置处的乘客没有注意到巴士201的接近的情况下，他/她变得较容易注意到巴士201的接近。然后，乘客进行上车的行动，由此，在一些情况下，车外监视单元171将他/她识别为新的乘坐候选者。在此时识别出存在乘坐候选者的情况下，例如，执行与在后述的步骤S7中的判定存在乘坐候选者的情况下的处理类似的处理。

同时，在没有识别出乘坐候选者和要下来的乘客的存在并且已经经过了车站的情况下，然后驾驶控制单元163使巴士201加速到通常行驶速度。

在步骤S9中，车外监视单元171停止乘坐候选者的识别处理。此时，成像控制单元165可以停止不用于除乘坐候选者的识别处理以外的应用的相机的成像。

然后，处理回到步骤S1，并且执行步骤S1的处理和随后的步骤。

同时，在步骤S5中判定尚未经过规定时刻、在步骤S6中存在要下来的乘客或者在步骤S7中判定存在乘坐候选者的情况下，处理进行到步骤S10。

在步骤S10中，车辆控制单元151设定候选停止位置。例如，车外监视单元171基于车外图像在车站的附近执行检测巴士的停止位置的显示的处理。例如，在车站前的车道(停止车道)的路面上由矩形框等显示巴士的停止位置。然后，在检测到停止位置的显示的情况下，停止位置设定单元164将停止位置设定为候选停止位置。

此外，例如，在不能检测到巴士的停止位置的显示的情况下，车外监视单元171执行乘客的乘坐位置的显示的检测。然后，在检测到乘客的乘坐位置的显示的情况下，停止位置设定单元164设定候选停止位置，使得巴士201的上车门213位于乘坐位置附近。

此外，例如，在没有检测到巴士的停止位置的显示和乘坐位置的显示的情况下，停止位置设定单元164以停止基准位置为基础设定候选停止位置。例如，停止位置设定单元164设定候选停止位置，使得巴士201的上车门213位于停止基准位置附近。

在步骤S11中，车外监视单元171判定车辆是否能够在候选停止位置处停止。例如，车外监视单元171基于车外图像检测候选停止位置附近障碍物的有/无。在此，障碍物表示干扰巴士201的停止的障碍物，例如假定其他车辆、人等。在候选停止位置附近没有检测到障碍物的情况下，车外监视单元171判定车辆能够在候选停止位置处停止，并且处理进行到步骤S12。

在步骤S12中，巴士201在候选停止位置处停止。具体来说，停止位置设定单元164将当前候选停止位置设定为停止位置。在驾驶控制单元163的控制下，巴士201在接近停止位置时逐渐减速，并在停止位置处停止。此外，在驾驶控制单元163的控制下，巴士201打开上车门213和下车门214。注意，在没有识别出乘坐候选者的情况下，不一定需要打开上车门213。此外，在没有人下来的情况下，不一定需要打开下车门214。此外，在巴士201能够倾斜车体以帮助乘坐和下来的情况下，驾驶控制单元163倾斜巴士201的车体。此外，UI控制单元166控制语音输出设备等(未示出)以输出表示已在车站停止的通知。

然后，处理进行到步骤S14。

同时，在步骤S11中，在候选停止位置附近检测到障碍物的情况下，车外监视单元171判定车辆不能在候选停止位置处停止，并且处理进行到步骤S13。此时，例如，车外监视单元171可能检测到诸如车辆和人之类的移动体在候选停止位置周边的移动，并在存在所述移动体进入候选停止位置附近的可能性的情况下，判定车辆不能在候选停止位置处停止。

在步骤S13中，巴士201靠近候选停止位置停止。例如，停止位置设定单元164将停止车道中的车辆能够避开候选停止位置附近的障碍物的地点设定为停止位置。在驾驶控制单元163的控制下，巴士201在接近停止位置时逐渐减速，并在停止位置处停止。然后，类似于步骤S12的处理，驾驶控制单元163打开上车门213和下车门214，并倾斜车体。此外，UI控制单元166控制语音输出设备等(未示出)以输出表示已在车站处停止的通知。

然后，处理进行到步骤S14。

在步骤S14中，车内监视单元172开始识别下来候选者的处理。具体来说，车内监视单元172利用车内图像来识别车辆内部的人(乘客)。此外，车内监视单元172识别每个识别出的乘客的位置、行为等。然后，车内监视单元172基于每个识别出的乘客的位置、行为等的识别结果中的至少一个，从识别出的乘客提取下来候选者。例如，车内监视单元172将从座位上站起的乘客、向下车门214的方向移动的乘客等识别为下来候选者。

注意，作为车内监视单元172的识别处理，可以采用任意方法。

在步骤S15中，监视单元161开始识别乘坐候选者的乘坐(搭乘)和下来候选者的下来的处理。

例如，车外监视单元171存储每个乘坐候选者的面部图像或面部的特征量。此外，车外监视单元171通过利用所存储的每个乘坐候选者的面部图像或面部的特征量、由相机221L2拍摄的上车门213附近的图像以及由车内相机221IN拍摄的图像，执行新乘坐巴士201的乘客的面部认证。然后，在存在面部类似于新乘坐乘客的面部的乘坐候选者的情况下，车外监视单元171将该乘客从乘坐候选者中去除。

此外，例如，车内监视单元172存储每个下来候选者的面部图像或面部的特征量。此外，车内监视单元172通过利用所存储的每个下来候选者的面部图像或面部的特征量、由相机221L3拍摄的下车门214附近的图像以及由车内相机221IN拍摄的图像，对从巴士201下来的乘客执行面部认证。然后，在存在面部类似于下来乘客的面部的下来候选者的情况下，车外监视单元171将该乘客从下来候选者移除。

注意，在开始识别乘坐候选者的乘坐的处理之后，车外监视单元171可以停止乘坐候选者的识别处理并确定乘坐候选者一次。

或者，在开始识别乘坐候选者的乘坐的处理之后，车外监视单元171也可以继续乘坐候选者的识别处理并更新乘坐候选者。因此，例如，车外监视单元171能够将较晚接近巴士201的上车门213的人新识别为乘坐候选者，以及移除误识别的乘坐候选者。

类似地，在开始识别下来候选者的下来的处理之后，车内监视单元172可以停止下来候选者的识别处理并确定下来候选者一次。

或者，在开始识别下来候选者的下来的处理之后，车内监视单元172也可以继续下来候选者的识别处理并更新下来候选者。因此，例如，车内监视单元172能够将较晚接近巴士201的下车门214的人新识别为下来候选者，以及移除误识别的下来候选者。

在步骤S16中，状况识别单元162判定是否在规定时刻之前。重复执行步骤S16的判定处理，直到判定到了规定时刻或者判定已经过规定时刻。然后，在判定到了规定时刻或者判定已经过规定时刻的情况下，处理进行到步骤S17。

在步骤S17中，监视单元161判定是否有剩余的乘坐候选者或下来候选者。重复执行步骤S17的判定处理，直到判定没有剩余的乘坐候选者和下来候选者。然后，在判定没有剩余的乘坐候选者和下来候选者的情况下，处理进行到步骤S18。

注意，在开始识别乘坐候选者的乘坐的处理之后停止乘坐候选者的识别处理的情况下，在判定没有剩余的乘坐候选者之后，车外监视单元171可以再次执行乘坐候选者的识别处理，以防万一。此外，在开始识别乘坐候选者的乘坐的处理之后停止乘坐候选者的识别处理的情况下，在甚至经过了预定时间之后还有剩余的乘坐候选者时，车外监视单元171可以再次执行乘坐候选者的识别处理，以防由于误识别乘坐候选者而不能识别乘坐候选者的乘坐的情况。

此外，在开始识别下来候选者的下来的处理之后停止下来候选者的识别处理的情况下，在判定没有剩余的下来候选者之后，车内监视单元172可以执行下来候选者的识别处理，以防万一。此外，在开始识别下来候选者的下来的处理之后停止下来候选者的识别处理的情况下，在甚至经过了预定时间之后还有剩余的下来候选者时，车内监视单元172可以再次执行下来候选者的识别处理，以防由于误识别下来候选者而不能识别下来候选者的下来的情况。

此外，例如，车外监视单元171可以在不执行识别乘坐候选者的乘坐的处理的情况下重复乘坐候选者的识别处理，并在没有要识别的乘坐候选者时，判定没有剩余的乘坐候选者。类似地，车内监视单元172可以在不执行识别下来候选者的下来的处理的情况下重复下来候选者的识别处理，并在没有要识别的下来候选者时，判定没有剩余的下来候选者。

在步骤S18中，车辆控制单元151判定车辆是否能够发车。例如，车内监视单元172基于车内图像检测未就坐的乘客的有/无。在检测到未就坐的乘客的情况下，驾驶控制单元163判定车辆不能发车，而在未检测到未就坐的乘客的情况下，判定车辆能够发车。然而，假定满员的情况或者存在乘客站着而不坐下的情况，例如，在检测到没有乘坐候选者且没有下来候选者之后经过了预定时间(例如，30秒)之后，驾驶控制单元163判定车辆能够发车，而不管站立乘客的有/无。

然后，在判定车辆能够发车的情况下，处理返回到步骤S17，并重复执行步骤S17和步骤S18的处理，直到在步骤S18中判定车辆能够发车。因此，在车辆能够发车之前，新乘客能够乘坐和下来。

同时，在步骤S18中判定车辆能够发车的情况下，处理进行到步骤S19。

在步骤S19中，巴士201发车。具体来说，在巴士201的车体倾斜的情况下，驾驶控制单元163将车体的倾斜恢复到其原始状态。此外，驾驶控制单元163关闭上车门213和下车门214。此外，UI控制单元166控制语音输出设备等(未示出)以输出表示车辆发车的通知。然后，在车外监视单元171基于车外图像确认周围的安全之后，巴士201在驾驶控制单元163的控制下发车并逐渐加速。

注意，紧接在巴士201发车之前或之后，车外监视单元171可以执行识别错过了巴士201的乘客的处理。例如，在巴士201的后方的图像中存在朝着巴士201奔跑、在巴士201之后追逐或动作看起来希望巴士201等待出发的人的情况下，车外监视单元171将该人识别为错过巴士201的乘客。在识别出错过巴士201的乘客并且巴士201已发车的情况下，驾驶控制单元163在巴士201能够停止时使巴士201停止。然后，驾驶控制单元163延迟巴士201的发车，直到错过巴士201的乘客完成乘坐。

在步骤S20中，监视单元161停止乘坐候选者和下来候选者的识别处理。此时，成像控制单元165可以停止不用于除乘坐候选者或下来候选者的识别处理以外的应用的相机的成像。

然后，处理返回到步骤S1，并执行步骤S1的处理和随后的步骤。

这样，可以根据上巴士201的人或从巴士201下来的人适当地执行巴士201的自动驾驶。即，根据要乘坐的乘客和要下来的乘客的有/无，执行自动驾驶的巴士201能够确实地在车站停止。这使乘客可以确实地上巴士201以及在期望的车站从巴士201下来。

此外，提高了执行自动驾驶的巴士201上的乘客的便利性。即，乘客仅需在车站等待，并且能够在不进行任何特殊操作等的情况下确实地上巴士201。

<2-3.第一实施例的修改例>

例如，在步骤S5中判定尚未经过规定时刻或者在步骤S6中判定存在要下来的乘客(即，巴士201停止而不管乘坐候选者的有/无)的情况下，例如，车外监视单元171可以在紧接在巴士201停止之前或之后开始乘坐候选者的识别处理。

此外，例如，在状况识别单元162识别出乘坐候选者的识别精度非常低的状况(例如，浓雾)的情况下，巴士201可以在下一车站停止，而不管乘坐候选者或要下来的乘客的有/无。

此外，例如，在识别出在具有最高优先级的优先识别区中存在人的情况下，巴士201可以在车站停止，而不管该人的视线的取向、行为等。

此外，可以将优先识别区设定为一级或三级或更多级，而不是上述两级。

此外，在下一车站是最后一站的情况下，车外监视单元171不必执行乘坐候选者的识别处理。此外，例如，在车内监视单元172识别出在车辆中不存在乘客的情况下，巴士201可以在不在最后一个车站停止的情况下驶向诸如车库之类的下一目的地。

<<3.第二实施例>>

接着，将描述本技术的第二实施例。本技术的第二实施例是在车辆11是执行自动驾驶的出租车并且车辆11自动寻找乘客、停止、将乘客捎上车然后发车的情况下的实施例。

现在，将参考图19的流程图描述由车辆11执行的自动停止/发车处理。注意，例如，该处理在接通车辆11的ACC(辅助)电源时开始，并在切断ACC电源时结束。

在步骤S101中，车外监视单元171设定优先识别区。在此，优先识别区表示如上所述地优先执行乘坐候选者的识别处理的区域，例如将作为相对于车辆11的预定方向上的预定区域并且存在有可能乘坐出租车的人的区域设定为优先识别区。

例如，车外监视单元171基于车外图像检测车辆11沿车辆11的行驶方向行驶的车道侧的人行道等。在此，人行道等表示例如人行道或路肩。注意，严格来说，车行道包括设置有人行道的车行道的车行道外侧线与人行道之间的区域(例如，图11中的人行道401和车行道外侧线403之间的区域)。然而，可以将该区域视为人行道，因为行人可以通过该区域。然后，车外监视单元171将检测到的人行道等设定为优先识别区。

在步骤S102中，车外监视单元171执行乘坐候选者的识别处理。例如，车外监视单元171基于车外图像通过面部识别等识别优先识别区中的人。在此，车外监视单元171可以将优先识别区周围的区域增加为识别目标，或者将识别目标限制到仅优先识别区。此外，车外监视单元171识别所识别出的人的位置、视线取向、行为等。然后，车外监视单元171基于所识别出的人的位置、视线取向、行为等的识别结果中的至少一个，从所识别出的人中提取乘坐候选者。

例如，车外监视单元171从所识别出的人中排除被认为明显不在等待巴士的人。例如，排除行走的人、骑自行车的人等。

接着，车外监视单元171基于位置、视线取向、行为等，对剩余的人中的每一个赋予得分。例如，对优先识别区中的人、举起手的人、将视线转向车辆11的方向的人等赋予高得分。然后，车外监视单元171将总得分不小于预定阈值的人设定为乘坐候选者。此时，乘坐候选者可以包括两个或更多个人。

注意，例如，车外监视单元171可以执行上述巴士乘坐候选者的识别处理，并将巴士乘坐候选者排除以识别出租车乘坐候选者。

在步骤S103中，车外监视单元171基于步骤S102的处理结果判定是否存在乘坐候选者。在判定不存在乘坐候选者的情况下，处理返回到步骤S101。

然后，重复执行步骤S101至步骤S103的处理，直到在步骤S103中判定存在乘坐候选者。

同时，在步骤S103中判定存在乘坐候选者的情况下，处理进行到步骤S104。

在步骤S104中，在驾驶控制单元163的控制下，车辆11接近乘坐候选者。此时，车辆11在必要时放慢。此外，在存在多个乘坐候选者的情况下，车辆11接近该多个乘坐候选者中的任何一个。例如，车辆11接近最近的乘坐候选者或者得分最高的乘坐候选者。

在步骤S105中，车外监视单元171指定乘坐候选者。例如，车外监视单元171再次执行乘坐候选者的识别处理。然后，车外监视单元171从总得分不小于预定阈值的人之中指定一个人作为乘坐候选者。例如，车外监视单元171指定总得分不小于预定阈值的人之中的最近的人或得分最高的人作为乘坐候选者。此外，在存在在所指定的乘坐候选者附近的被估计为陪同所指定的乘坐候选者的人的情况下，车外监视单元171将该人追加为乘坐候选者。

在步骤S106中，车外监视单元171基于步骤S105的处理结果，判定是否能够指定乘坐候选者。在判定不能指定乘坐候选者的情况下，例如，没有总得分不小于预定阈值的人，处理返回到步骤S1。注意，此时，在车辆11放慢的情况下，它加速到正常行驶速度。

然后，重复执行步骤S101至步骤S106的处理，直到在步骤S106中判定能够指定乘坐候选者。

同时，在步骤S106中判定能够指定乘坐候选者的情况下，处理进行到步骤S107。

在步骤S107中，在驾驶控制单元163的控制下，车辆11向乘坐候选者发送信号。例如，车辆11使用向乘坐候选者闪光的前灯或者使汽车喇叭发声(鸣笛)。

注意，可以略去步骤S107的处理。

在步骤S108中，车外监视单元171判定车辆是否能够在乘坐候选者附近停止。例如，车外监视单元171基于车外图像检测乘坐候选者周围的障碍物的有/无。在此，障碍物表示干扰车辆11的停止的物体，例如，假定是其他车辆、人等。此外，例如，车外监视单元171检测车辆不能在乘坐候选者周围停止的区域的有/无。在此，车辆不能停止的区域表示例如明确禁止停车的区域(例如，禁止停车/泊车区域和专用巴士车道)、十字路口附近、人行横道等。

在不存在障碍物和车辆不能在乘坐候选者周围停车的区域的情况下，车外监视单元171判定车辆能够靠近乘坐候选者停车，并且处理进行到步骤S109。

在步骤S109中，车辆11靠近乘坐候选者停车。例如，停止位置设定单元164设定靠近乘坐候选者的停止位置。在驾驶控制单元163的控制下，车辆11在接近停止位置时逐渐减速，并在停止位置处停车。然后，车外监视单元171基于车外图像确认周围的安全，然后，驾驶控制单元163打开车辆11的后部座位的门。此外，驾驶控制单元163在必要时打开副驾驶座的门以及车辆11的行李箱的门。然后，处理进行到步骤S111。

同时，在步骤S108中存在障碍物或车辆不能在乘坐候选者周围停止的区域的情况下，车外监视单元171判定车辆不能在乘坐候选者附近停止，并且处理进行到步骤S110。

在步骤S110中，车辆11在离乘坐候选者稍远的地点处停止。例如，车外监视单元171检测离乘坐候选者最近的、车辆11能够停止的地点，并且停止位置设定单元164将该地点设定为停止位置。在驾驶控制单元163的控制下，车辆11在接近停止位置时逐渐减速，并在停止位置处停止。然后，车外监视单元171基于车外图像确认周围的安全，然后，驾驶控制单元163打开车辆11的后部座位的门。此外，驾驶控制单元163在必要时打开副驾驶座的门以及车辆11的行李箱的门。

注意，此时，例如，在所设定的停止位置距离乘坐候选者太远(例如，所设定的停止位置与乘坐候选者之间的距离不小于预定阈值)的情况下，车辆11可以直接通过而不停车。

然后，处理进行到步骤S111。

注意，在步骤S109和步骤S110中车辆11由于与周围的车辆(例如，后续车辆)之间的关系等而难以在设定的停止位置处停止的情况下，车辆11可以直接通过而不停止。

在步骤S111中，车外监视单元171开始识别乘坐候选者的乘坐的处理。例如，车外监视单元171存储每个乘坐候选者的面部图像或面部的特征量。此外，车外监视单元171通过利用所存储的每个乘坐候选者的面部图像或面部的特征量、车外图像以及车内图像，对新乘坐车辆11的乘客执行面部认证。然后，在存在面部类似于新乘坐的乘客的面部的乘坐候选者的情况下，车外监视单元171从乘坐候选者移除乘客。

在步骤S112中，驾驶控制单元163判定车辆是否能够发车。例如，在车外监视单元171尚未识别出所有乘坐候选者的乘坐的情况下，驾驶控制单元163判定车辆不能发车，并且处理进行到步骤S113。

在步骤S113中，车外监视单元171判定是否发生了乘坐候选者的误识别。在判定未发生乘坐候选者的误识别的情况下，处理返回到步骤S112。

然后，重复执行步骤S112和步骤S113的处理，直到在步骤S112中判定车辆能够发车或者在步骤S113中判定发生了乘坐候选者的误识别。

同时，在步骤S112中车外监视单元171已经识别了所有乘坐候选者的乘坐的情况下，驾驶控制单元163判定车辆能够发车，并且处理进行到步骤S114。

此外，例如，在即使在步骤S113中车辆停止之后已经经过了预定时间T1，乘坐候选者也没有开始乘坐的情况下，车外监视单元171判定发生了乘坐候选者的误识别，并且处理进行到步骤S114。

此外，例如，在即使在车辆停止之后已经经过了预定时间T2(>时间T1)，也不能识别出所有乘坐候选者的乘坐的情况下，车外监视单元171判定发生了乘坐候选者的误识别，并且处理进行到步骤S114。注意，将时间T2设定为比在考虑到乘客将行李放到行李箱中所用的时间等的乘坐所需的标准时间长。

在步骤S114中，车辆11发车。具体来说，驾驶控制单元163关闭车门和车辆11的行李箱。然后，车外监视单元171基于车外图像确认周围的安全，然后，车辆11发车并在驾驶控制单元163的控制下逐渐加速。

然后，自动停止/发车处理完成。

按此方式，可以根据乘坐出租车(车辆11)的乘客适当地执行出租车的自动驾驶。即，执行自动驾驶的出租车能够自动寻找乘客、停止、将乘车捎上车以及发车。

此外，提高了在执行自动驾驶的出租车上的乘客的便利性。即，乘客只需要执行与在乘坐不执行自动驾驶的出租车的情况下的操作相同的操作，就能够乘坐执行自动驾驶的出租车。

注意，该自动停止/发车处理不仅适用于出租车，而且也适用于在交通系统中执行自动驾驶的、乘客能够在任意地点处乘坐的移动体。例如，设想执行自动驾驶的线路巴士等。

<<4.第三实施例>>

接着，将描述本技术的第三实施例。本技术的第三实施例是在车辆11是执行自动驾驶的出租车，并且在乘坐候选者已经通过使用例如调配出租车的应用软件(以下，称为配车(dispatch)APP)进行了配车预约时，车辆11自动寻找乘坐候选者、停止、将候选者捎上车以及发车的情况下的实施例。

在此，将参照图20的流程图描述由车辆11执行的自动停止/发车处理。注意，当例如乘坐候选者通过使用诸如智能电话、平板电脑以及移动电话之类的便携式终端装置中的配车APP进行出租车配车预约，并发送表示其预约内容的信息(以下称为配车预约信息)，并且车辆11的通信单元25经由网络、服务器等接收到配车预约信息时，开始该处理。

该配车预约信息包括例如乘坐候选者的当前位置、计划的乘坐位置、计划的乘坐时间以及计划的乘坐人的数量。注意，乘坐候选者的当前位置可以用由乘坐候选者的便携式终端设备中设置的GPS接收器接收的GPS(全球定位系统)信息来代替。此外，在配车预约信息不包括计划的乘坐位置的情况下，可以将乘坐候选者的当前位置视为计划的乘坐位置。此外，配车预约信息可以包括例如乘坐候选者的面部图像或表示乘坐候选者的面部的特征量的面部特征量数据。

在步骤S151中，在驾驶控制单元163的控制下，车辆11移动到计划的乘坐位置。此时，在指定计划的乘坐时间的情况下，车辆11移动到计划的乘坐位置以便符合计划的乘坐时间。

在步骤S152中，车外监视单元171执行乘坐候选者的识别处理。例如，在配车预约信息不包括乘坐候选者的面部图像或面部特征量数据的情况下，车外监视单元171通过与图19中的步骤S102的处理类似的处理执行乘坐候选者的识别处理。

同时，在配车预约信息包括乘坐候选者的面部图像或面部特征量数据的情况下，车外监视单元171识别车外图像中的人。然后，车外监视单元171通过核对(面部认证)所识别的人的面部图像或面部特征量和配车预约信息中包括的乘坐候选者的面部图像或面部特征量，识别乘坐候选者。

注意，即使在乘坐候选者的识别失败的情况下，也重复执行乘坐候选者的识别处理预定次数或持续预定时间。此外，在配车预约信息中设定了计划的乘坐时间的情况下，即使在乘坐候选者的识别失败的情况下，也重复执行乘坐候选者的识别处理，直到计划的乘坐时间或在计划的乘坐时间之后的预定时间为止。

在步骤S153中，车外监视单元171基于步骤S152的处理结果，判定是否已经能够指定乘坐候选者。在判定已经能够指定乘坐候选者的情况下，处理进行到步骤S154。

在步骤S154中，车辆11通知乘坐候选者。例如，类似于图19中的步骤S107的处理，车辆11通过向乘坐候选者发送信号来通知乘坐候选者。或者，例如，通信单元25通过网络、服务器等向乘坐候选者的便携式终端装置发送通知它已经到达计划的乘坐位置的消息。

然后，在步骤S155至步骤S161中执行与图19中的步骤S108至步骤S114类似的处理，自动停止/发车处理完成。

注意，在步骤S157中，与图19中的步骤S110的上述处理不同，车辆11总是会停止，甚至停在与乘坐候选者远离的地点处。

此外，在步骤S158中，在配车预约信息包括计划的乘坐人数的情况下，车外监视单元171可以通过对已经乘坐的人数与计划的乘坐人数进行比较，执行识别乘坐候选者的乘坐的处理。

同时，在步骤S153中判定不能指定乘坐候选者的情况下，略去步骤S154至步骤S161的处理，并且自动停止/发车处理完成。即，不执行车辆11的停止和发车。

注意，在不能指定乘坐候选者的情况下，例如，通信单元25可以通过网络、服务器等向乘坐候选者的便携式终端装置发送通知不能找到乘坐候选者的消息。然后，车辆11可以在与乘坐候选者执行通信时指定乘坐候选者。

该自动停止/发车处理不仅适用于出租车，而且适用于自动搭载(pick up)预约的/登记的乘坐候选者的情况。

例如，它适用于执行自动驾驶的私人汽车自动搭载预约的/登记的乘坐候选者的情况。例如，私人汽车的所有者等预先在车辆11或能够与车辆11通信的服务器中登记要搭载的乘坐候选者的面部图像或面部特征量数据。注意，作为乘坐候选者，例如，假定车辆11的所有者、以及所有者的家庭成员、亲属、熟人、朋友等。然后，车辆11通过利用面部图像或面部特征量数据的上述处理，识别登记的乘坐候选者，并搭载所识别的乘坐候选者。

此外，例如，在线路巴士的情况下中，也可以预先进行乘坐预约，并且可以向巴士或能够与巴士通信的服务器等发送面部图像或面部特征量数据，并且巴士可以通过利用面部认证执行乘坐候选者的识别处理。

<<5.第四实施例>>

接着，将描述本技术的第四实施例。

注意，在以下说明中，除非特别区分，否则车辆11包括上述巴士201。

尽管以上作为示例描述了将本技术应用于车辆11执行自动驾驶的情况的情形，但是本技术也适用于车辆11执行半自动驾驶的情形。

例如，如上所述车辆11可以自动停止，并通过驾驶员的操作来发车。

此外，例如，在已经识别了乘坐候选者的情况下，车辆11可以自动减速然后放慢，并且最终的停止决定可以由驾驶员做出。

此外，例如，在车辆11执行半自动驾驶的情况下，可以向驾驶员呈现通知乘坐候选者的识别结果等的画面(以下，称为辅助画面)以辅助驾驶。例如，在UI控制单元166的控制下将该辅助画面显示在车辆11的显示单元24上。

图21至图24示意性地示出了辅助画面的示例。

图21示出了在巴士接近车站的情况下向驾驶员呈现的辅助画面的示例。

在图21中的辅助画面上，在巴士的前方图像上叠加有一些信息。具体来说，显示表示车站的标识的位置的框架601。显示表示优先识别区的框架602。显示表示停止位置的框架603。显示包围识别出的人的面部的框架604a至604d。注意，通过在乘坐候选者和其他人之间改变框架604a至604d的设计、颜色等，可以相互区分乘坐候选者和其他人。

此外，在画面的底部处，显示有表示存在乘坐候选者的消息605。在画面的左上角处，显示有巴士的路线地图606。在画面的中央上端处，显示有当前时间607。在当前时间607的右侧，倒计时地显示到应该到达车站的时间的剩余时间608。在画面的右上角处，显示有表示在车站周围识别的人数的数字609。在数字609的下方，显示有表示识别出的乘坐候选者的数量的数字610。在数字609的下方，显示有表示要下来的乘客的有/无的消息611。在消息611的下方，显示有表示空位的数量的数字612。

利用该辅助画面，驾驶员能够确实地识别车站和停止位置。此外，驾驶员能够确实地识别乘坐候选者的有/无、数量以及位置。此外，驾驶员能够确实地识别要下来的人的有/无以及空位的数量。

图22示出了紧接在巴士离开车站之后向驾驶员呈现的辅助画面的示例。

在图22中的辅助画面上，显示有巴士的后方图像，在所显示的图像上叠加有一些信息。具体来说，显示有包围乘坐候选者的框架631，由于该乘坐候选者正在向巴士奔跑，因此他/她被识别为错过了巴士的乘客。在画面的右上角处，显示有用于引起驾驶员的注意的标记632。在画面的下部的中央处，显示有表示存在错过了巴士的乘客的消息633。

因此，驾驶员能够确实地识别存在错过了巴士的乘客。

注意，例如，除了图22中的辅助画面外，还可以通过诸如警报之类的声音来通知存在错过了巴士的乘客。此外，例如，在驾驶控制单元163的控制下，车辆11可以自动放慢以促使驾驶员停止。

图23示出了向乘客能够在任意地点处乘坐的巴士或出租车中的驾驶员呈现的辅助画面的示例。

在图23中的辅助画面上，显示有车辆的前方图像，并且在显示的图像上叠加有一些信息。具体来说，显示有包围乘坐候选者的框架651，由于该乘坐候选者面向车辆举起了他/她的手，因此他/她被识别。在画面的右上角处，显示有用于引起驾驶员的注意的标记652。在画面的下部中央处，显示有表示已经识别出乘坐候选者的消息653。

因此，驾驶员能够确实地识别存在乘坐候选者。

注意，例如，除了图23中的辅助画面外，还可以通过诸如警报之类的声音来通知存在乘坐候选者。此外，例如，在驾驶控制单元163的控制下，车辆11可以自动放慢以促使驾驶员停止。

图24示出了向出租车的驾驶员呈现的辅助画面的示例。

在图24中的辅助画面上，在出租车的前方图像上叠加有一些信息。具体来说，显示有包围在优先识别区中识别出的人之中的乘坐候选者的全身的框架671a和框架671b。此外，显示有包围在优先识别区中识别出的人之中的除乘坐候选者以外的人的面部的框架672a和框架672b。此外，显示有表示乘坐候选者的位置的箭头673。因此，可以容易地从辅助画面识别乘坐候选者。

注意，由于在人行横道上行走的人远离优先识别区并且不被识别，因此不显示这些人的框架。

此外，在乘坐候选者之前的路面上显示表示停止位置的框架674。因此，驾驶员能够使车辆11停在适合于搭载乘坐候选者的位置处。

此外，在画面的右上角处，显示地图675。在地图675下方，显示有表示乘坐候选者的数量的数字676。

利用该辅助画面，驾驶员能够确实地识别乘坐候选者的存在。此外，驾驶员能够确实地识别乘坐候选者的数量和位置。

注意，例如，在显示单元24是叠加并设置在风挡部分上的透射型显示器的情况下，例如，可以通过借助AR(增强现实)等将信息叠加在车辆11的搭乘者的视野(例如，从风挡看到的车辆11外部的真实世界)上来实现图23和图24中的辅助画面。

此外，图21至图24中的辅助画面适用于不执行自动驾驶和半自动驾驶的车辆。

<<6.修改例>>

以下，将描述根据本公开的技术的上述实施例的修改例。

对于乘坐候选者的识别处理，可以使用在除车辆11的场所以外的场所处拍摄的图像，如由上述车站的候车室的相机拍摄的图像。例如，设想由设置在车站的标识中的相机、设置在市区的监控相机等拍摄的图像。此外，例如，可以由在车辆11的外部的相机或包括该相机的系统执行乘坐候选者的识别处理，并且车辆11可以获取识别处理的结果。

此外，可取的是，为了保护隐私，删除由车辆11使用的乘客的面部图像或面部特征量数据。例如，紧接在识别了乘客的乘坐或下来之后，可以删除乘客的面部图像或面部特征量数据。

或者，例如，在从识别了乘客的乘坐或下来时起经过了预定时间之后，可以删除乘客的面部图像或面部特征量数据。因此，例如，在乘客来取丢失的物品等的情况下，容易确认该乘客是否实际乘过车。

此外，尽管以上描述了巴士201执行乘坐候选者的识别处理和下来候选者的识别处理两者的示例，但是可以执行它们中的仅一者。类似地，巴士201可以执行乘坐候选者的乘坐的识别处理和下来候选者的下来的识别处理中的仅一者。

此外，以上没有描述作为出租车的车辆11执行下来候选者的识别处理和下来候选者的识别处理的示例，可以执行这些处理。这例如在如在路线出租车中那样每个乘客的下来位置不同时是有效的。

此外，在乘客从车辆11下车的情况下，车辆11可以判定下车是否是临时的下车，并且在判定它是临时的下车的情况下，等待而不发车，直到乘客再次乘车为止。

注意，作为对是否为临时下车的判定，可以采用任意方法。例如，每个乘客通过使用应用程序等预先登记目的地。然后，监视单元161执行下来的乘客的面部认证，并识别乘客的目的地。然后，例如，在乘客下车的地点不同于乘客的目的地的情况下，监视单元161可以判定这是临时下车。或者，例如，在目的地是乘客临时访问(stop by)的地点(例如，高速公路的服务区或停车区，以及便利店)的情况下，监视单元161可以判定这是临时下车。

此外，例如，在车外监视单元171检测到车辆11的行驶方向上的障碍物并且乘客在车辆11停车之后下车的情况下，认为乘客是为了移除障碍物而下车。就此而论，驾驶控制单元163可以尽量不再次发车，直到车外监视单元171识别出已经移除了障碍物并且乘客再次乘车为止。

注意，本技术也适用于除车辆以外的执行自动驾驶或半自动驾驶的移动体。

例如，本技术适用于在确定了乘客乘坐和下来的停止点的交通系统中使用的移动体。特别地，本技术适用于在其中根据在停止点处等待的乘客的有/无以及在停止点处要下来的乘客的有/无而经过停止点的交通系统中使用的移动体，如巴士。例如，作为这种移动体，设想火车、水上巴士等。

此外，例如，本技术适用于在其中乘客能够在任意地点处乘坐的交通系统中使用的移动体，如出租车。此外，例如，本技术也适用于能够在任意地点处搭载搭乘者的私人移动体，如上述私人汽车。

<<7.其他>>

<7-1.计算机的构成示例>

可以由硬件或软件执行上述系列处理。在由软件执行系列处理的情况下，将构成软件的程序安装在并入专用硬件(例如，各种ECU的处理器等)中的计算机中。

应当注意，由计算机执行的程序可以是以按照说明书中的描述顺序的时间顺序执行处理的程序，或者可以是例如并行地或者在被调用时在需要的时机执行处理的程序。或者，多个计算机可以相互协作以执行上述处理。执行上述处理的一个或更多个计算机构成计算机系统。

注意，在此，系统是指一组多个组件(设备、模块(部分)等)。并不考虑是否所有组件都在同一壳体中。因此，容纳在分开的壳体中并通过网络连接的多个设备和具有容纳在一个壳体中的多个模块的一个设备都是系统。

此外，本技术的实施例并不限于上述实施例，而是可以在不脱离本技术的实质的情况下进行各种修改。

例如，本技术可以具有云计算的构成，在云计算中，一个功能由多个设备经由网络分担，并相互协作地被处理。

此外，在上述流程图中描述的步骤可以由一个设备执行，或者由多个设备以分担方式执行。

此外，在一个步骤包括多个处理的情况下，该一个步骤中的多个处理可以由一个设备执行或者由多个设备分担执行。

<7-2.构成组合示例>

本技术也可以采用以下构成。

(1)一种移动体控制装置，包括：

驾驶控制单元，所述驾驶控制单元基于对乘坐移动体的候选者或从移动体下来的候选者中的至少一个的识别，执行移动体的加速/减速控制。

(2)根据以上(1)所述的移动体控制装置，其中

所述驾驶控制单元基于对乘坐候选者的识别或对下来候选者的识别中的至少一个，执行移动体的停止控制。

(3)根据以上(1)或(2)所述的移动体控制装置，其中

所述驾驶控制单元基于对乘坐候选者乘坐移动体的识别或对下来候选者从移动体下来的识别中的至少一个，执行移动体的起动控制。

(4)根据以上(3)所述的移动体控制装置，其中

对移动体的预定候选停止点的附近的区域执行对乘坐候选者的识别。

(5)根据以上(4)所述的移动体控制装置，其中

基于所述候选停止点中的预定基准位置设定优先识别区，在所述优先识别区中优先识别乘坐候选者。

(6)根据以上(5)所述的移动体控制装置，其中

所述基准位置是表示所述候选停止点的标识、所述候选停止点处的预定构造物或所述候选停止点处的预定搭乘位置中的至少一个。

(7)根据以上(5)或(6)所述的移动体控制装置，其中

还基于所述候选停止点的构成或所述候选停止点周围的状况中的至少一个设定所述优先识别区。

(8)根据以上(5)至(7)中的任何一项所述的移动体控制装置，其中

所述基准位置取决于所述候选停止点周围的状况而变化。

(9)根据以上(4)至(8)中的任何一项所述的移动体控制装置，其中

将要识别的区域设定为在相对于所述移动体的预定方向上的预定区域。

(10)根据以上(1)至(9)中的任何一项所述的移动体控制装置，其中

基于在由所述移动体的成像单元拍摄的图像中识别的人的面部、视线取向、位置或行为中的至少一个执行对所述乘坐候选者的识别。

(11)根据以上(10)所述的移动体控制装置，其中

还基于由在所述移动体的外部的成像装置拍摄的图像执行对所述乘坐候选者的识别。

(12)根据以上(1)至(11)中的任何一项所述的移动体控制装置，其中

基于使用乘坐候选者或下来候选者的面部的图像或表示所述面部的特征量的数据的面部认证，执行对所述乘坐候选者或所述下来候选者的识别，所述图像和所述数据是预先获取的。

(13)根据以上(1)至(12)中的任何一项所述的移动体控制装置，还包括：

在所述移动体中沿不同方向或在不同位置识别所述乘坐候选者或所述下来候选者的多个成像单元，其中

在所述移动体移动时和在所述移动体停止时之间改变用于所述乘坐候选者或所述下来候选者的识别处理的成像单元。

(14)根据以上(1)至(13)中的任何一项所述的移动体控制装置，其中

基于通过对所述移动体的内部进行成像而获得的图像中的所述移动体的搭乘者的位置或行为中的至少一个，执行对所述下来候选者的识别。

(15)根据以上(1)至(14)中的任何一项所述的移动体控制装置，还包括

用户接口控制单元，所述用户接口控制单元控制对所述乘坐候选者的识别结果的通知。

(16)根据以上(15)所述的移动体控制装置，其中

所述用户接口控制单元在由所述移动体的成像单元拍摄的图像上叠加表示对所述乘坐候选者的识别结果的信息，并显示所述图像。

(17)根据以上(15)或(16)所述的移动体控制装置，其中

所述用户接口控制单元在所述移动体的搭乘者的视野上叠加表示对所述乘坐候选者的识别结果的信息，以供显示。

(18)一种移动体控制方法，包括：

驾驶控制步骤，基于对乘坐移动体的候选者或从移动体下来的候选者中的至少一个的识别，执行移动体的加速/减速控制。

(19)一种移动体，包括：

驾驶控制单元，所述驾驶控制单元基于对乘坐候选者或下来候选者中的至少一个的识别，执行加速/减速控制。

附图标记列表

11 车辆

21 前感测相机

22 前相机ECU

23 位置信息获取单元

24 显示单元

25 通信单元

27 雷达

28 光雷达

29,29L,29R 侧视相机

30,30L,30R 侧视相机ECU

31 集成ECU

32 前视相机

33 前视相机ECU

34 制动设备

39 后视相机

40 后视相机ECU

42 车内相机

43 车内相机ECU

51 驾驶控制ECU

101 图像合成ECU

151 车辆控制单元

161 监视单元

162 状况识别单元

163 行驶控制单元

164 停止位置识别单元

165 成像控制单元

166 UI控制单元

171 车外监视单元

172 车内监视单元

201 巴士

221F1至221B 相机

Pa至Pe 停止基准位置

A1a至A2e 优先识别区

521 相机

Claims (17)

1.一种移动体控制装置，包括：

驾驶控制单元，所述驾驶控制单元基于对在移动体外部的被预测要乘坐移动体的候选者的识别，执行移动体的加速/减速控制，

其中，对移动体的预定候选停止点的附近的区域执行对乘坐候选者的识别，以及

其中，基于通过拍摄移动体的外部而获得的图像检测所述候选停止点，并基于所述候选停止点中的预定基准位置设定在移动体外部的存在乘坐候选者的可能性高的优先识别区，在所述优先识别区中优先识别乘坐候选者，并且

其中，所述优先识别区包括以阶梯方式设定的第一优先识别区和第二优先识别区，执行识别乘坐候选者的处理的优先级在第一优先识别区中最高，在第二优先识别区中第二高，并且在第二优先识别区之外的区域中最低，在使用得分来判定是否为乘坐候选者的情况下，对第一优先识别区中的人赋予比第二优先识别区中的人高的得分，并且对第二优先识别区中的人赋予比在第二优先识别区之外的人高的得分。

2.根据权利要求1所述的移动体控制装置，其中

所述驾驶控制单元基于对乘坐候选者的识别或对被预测要从移动体下来的下来候选者的识别中的至少一个，执行移动体的停止控制。

3.根据权利要求2所述的移动体控制装置，其中

所述驾驶控制单元基于对乘坐候选者乘坐移动体的识别或对下来候选者从移动体下来的识别中的至少一个，执行移动体的起动控制。

4.根据权利要求1所述的移动体控制装置，其中

所述基准位置是表示所述候选停止点的标识、所述候选停止点处的预定构造物或所述候选停止点处的预定搭乘位置中的至少一个。

5.根据权利要求1所述的移动体控制装置，其中

还基于所述候选停止点的构成或所述候选停止点周围的状况中的至少一个设定所述优先识别区。

6.根据权利要求1所述的移动体控制装置，其中

所述基准位置根据所述候选停止点周围的状况而变化。

7.根据权利要求1所述的移动体控制装置，其中

将要识别的附近区域设定为在相对于所述移动体的预定方向上的预定区域。

8.根据权利要求1所述的移动体控制装置，其中

基于在由所述移动体的成像单元拍摄的图像中识别的人的面部、视线取向、位置或行为中的至少一个执行对所述乘坐候选者的识别。

9.根据权利要求8所述的移动体控制装置，其中

还基于由在所述移动体的外部的成像装置拍摄的图像执行对所述乘坐候选者的识别。

10.根据权利要求2所述的移动体控制装置，其中

基于使用乘坐候选者或下来候选者的面部的图像或表示所述面部的特征量的数据的面部认证，执行对所述乘坐候选者或所述下来候选者的识别，所述图像和所述数据是预先获取的。

11.根据权利要求2所述的移动体控制装置，还包括

在所述移动体中沿不同方向或在不同位置识别所述乘坐候选者或所述下来候选者的多个成像单元，其中

在所述移动体移动时和在所述移动体停止时之间改变用于所述乘坐候选者或所述下来候选者的识别处理的成像单元。

12.根据权利要求2所述的移动体控制装置，其中

基于通过对所述移动体的内部进行成像而获得的图像中的所述移动体的搭乘者的位置或行为中的至少一个，执行对所述下来候选者的识别。

13.根据权利要求1所述的移动体控制装置，还包括

用户接口控制单元，所述用户接口控制单元控制对所述乘坐候选者的识别结果的通知。

14.根据权利要求13所述的移动体控制装置，其中

所述用户接口控制单元在由所述移动体的成像单元拍摄的图像上叠加表示对所述乘坐候选者的识别结果的信息，并显示所述图像。

15.根据权利要求13所述的移动体控制装置，其中

所述用户接口控制单元在所述移动体的搭乘者的视野上叠加表示对所述乘坐候选者的识别结果的信息，以供显示。

16.一种移动体控制方法，包括：

驾驶控制步骤，基于对在移动体外部的被预测要乘坐移动体的候选者的识别，执行移动体的加速/减速控制，

其中，对移动体的预定候选停止点的附近的区域执行对乘坐候选者的识别，以及

其中，基于通过拍摄移动体的外部而获得的图像检测所述候选停止点，并基于所述候选停止点中的预定基准位置设定在移动体外部的存在乘坐候选者的可能性高的优先识别区，在所述优先识别区中优先识别乘坐候选者，并且

其中，所述优先识别区包括以阶梯方式设定的第一优先识别区和第二优先识别区，执行识别乘坐候选者的处理的优先级在第一优先识别区中最高，在第二优先识别区中第二高，并且在第二优先识别区之外的区域中最低，在使用得分来判定是否为乘坐候选者的情况下，对第一优先识别区中的人赋予比第二优先识别区中的人高的得分，并且对第二优先识别区中的人赋予比在第二优先识别区之外的人高的得分。

17.一种移动体，包括：

驾驶控制单元，所述驾驶控制单元基于对在移动体外部的被预测要乘坐移动体的候选者的识别，执行加速/减速控制，

其中，对移动体的预定候选停止点的附近的区域执行对乘坐候选者的识别，以及

其中，基于通过拍摄移动体的外部而获得的图像检测所述候选停止点，并基于所述候选停止点中的预定基准位置设定在移动体外部的存在乘坐候选者的可能性高的优先识别区，在所述优先识别区中优先识别乘坐候选者，并且

其中，所述优先识别区包括以阶梯方式设定的第一优先识别区和第二优先识别区，执行识别乘坐候选者的处理的优先级在第一优先识别区中最高，在第二优先识别区中第二高，并且在第二优先识别区之外的区域中最低，在使用得分来判定是否为乘坐候选者的情况下，对第一优先识别区中的人赋予比第二优先识别区中的人高的得分，并且对第二优先识别区中的人赋予比在第二优先识别区之外的人高的得分。

Images