CN109388136B - 移动对象控制系统、移动对象控制方法和存储介质 - Google Patents

Abstract

本申请涉及移动对象控制系统、移动对象控制方法和程序。移动对象控制系统具有：SfM单元，通过使用SfM算法检测距单目相机拍摄的对象的距离；第一停止位置输出单元，输出第一停止位置；第二停止位置计算单元，计算比第一停止位置更近的第二停止位置；以及控制单元，控制移动对象的行驶。控制单元控制移动对象以停止在第二停止位置处。当满足预定启动条件时，控制单元控制移动对象以便启动。SfM单元通过在移动对象启动之后使用由单目相机拍摄的图像来检测距对象的距离。当获得由SfM单元进行的对象距离的检测结果时，控制单元使用检测结果来控制行驶。

Description

移动对象控制系统、移动对象控制方法和存储介质

相关申请的交叉引用

这里通过参考并入2017年8月2日提交的日本专利申请No.2017-149853的全部公开内容，包括说明书、附图和摘要。

技术领域

本发明涉及移动对象控制系统、移动对象控制方法和程序，并且例如涉及伴随使用SfM算法的距离检测的移动对象控制系统、移动对象控制方法和程序。

背景技术

近年来，人们正在关注通过使用相机来检测至对象的距离的技术。在使用立体相机的技术中，可以通过使用面向相同方向的两个相机的视差来测量距离。由于立体相机具有两个相机，所以成本很高。因此，已经提出在不使用立体相机的情况下测量距离的各种方法。

作为其中之一，已知作为能够通过使用单目相机测量至对象的距离的算法的SfM(运动恢复结构)。SfM是通过基于由单目相机获得的图像来执行至对象的距离的检测和对象的运动检测、从而估计单目相机的位置的图像处理算法。

关于此，例如，专利文献1(日本未审查专利申请公开No.2015-219745)公开了一种通过使用SfM来计算相机位置并生成三维地图的技术。专利文献2(日本未审查专利申请公开No.2012-123296)公开了一种通过使用立体相机的距离检测和使用SfM的距离检测二者来检测拍摄对象距离的技术。

在向车载设备提供使用SfM的图像处理技术的情况下，可以执行：除本车之外的对象的运动的检测、除本车之外的对象与车辆之间的距离的检测以及车辆的位置的估计。除本车之外的对象包括静止对象和移动对象，如其他车辆和人类。到目前为止，认为使用SfM的距离检测的精度不够。但是，通过增加输入像素的数量和处理的设备的数量，可以提高到足够的精度。因此，期望使用SfM的距离检测的应用技术。

发明内容

基本上，SfM使用在改变相机视角的同时拍摄的多个图像进行处理。具体地，对于安装在车辆中的相机，相机的视角的改变对应于车辆的运动。因此，在使用单目相机和SfM的距离检测中，在车辆停止的状态下不能检测至对象的距离。这意味着无法检测至静止对象的距离。当对象移动时，尽管车辆停止，但可以检测至对象的距离。这是因为对象的位置改变而不是相机视角的改变。也就是说，在车辆是静止的状态下，使用SfM的距离检测不能对静止对象执行。

因此，在车辆停在满足预定安全准则的停止位置并且之后再次从停止位置启动的情况下，在仅在行驶到距停止位置预定距离L之后才获得SfM的距离检测结果。出于以下原因，使用SfM的距离检测结果来控制车辆的行驶是不优选的。仅在车辆行驶预定距离L之后才能获得SfM的距离检测结果的事实意味着：车辆在环境掌握不足的状态下在满足预定安全准则的停止位置之前行驶。

其他目的和新颖特征将从说明书和附图的描述中变得显而易见。

根据一个实施例，移动对象控制系统具有第二停止位置计算单元和控制移动对象的移动的控制单元，所述第二停止位置计算单元计算比满足预定安全准则的第一停止位置更近的第二停止位置。控制单元进行控制，使得移动对象停止在第二停止位置处，并且当满足预定启动条件时，进行控制以使得移动对象从第二停止位置启动。在移动对象从第二停止位置启动之后，SfM单元通过使用由单目相机拍摄的图像来检测至对象的距离。

根据实施例，可以通过使用SfM算法的距离检测结果来控制在满足预定安全准则的停止位置之前的行驶。

附图说明

图1是示出根据实施例概要的移动对象控制系统的配置例子的框图。

图2是解释根据比较例子的移动对象控制系统的操作的示意图。

图3是解释根据实施例概要的移动对象控制系统的操作的示意图。

图4是示出根据第一实施例的车辆控制系统的硬件配置的例子的框图。

图5是示出相机ECU的配置的例子的框图。

图6是示出ECU的配置的例子的框图。

图7是示出根据第一实施例的车辆控制系统的功能配置的例子的框图。

图8是示出当行驶的车辆停止时根据第一实施例的车辆控制系统的操作例子的流程图。

图9是示出当停止的车辆再次启动时根据第一实施例的车辆控制系统的操作例子的流程图。

图10是示出其行驶由根据第一实施例的车辆控制系统控制的车辆的操作例子以及其行驶由根据比较例子的车辆控制系统控制的车辆的操作例子的图。

图11是示出在第一停止位置变为比原来的第一停止位置更近的位置的情况下的车辆的操作例子的曲线图。

图12是示出在第一停止位置变为比原来的第一停止位置更远的位置的情况下的车辆的操作例子的曲线图。

图13是示出根据第二实施例的车辆控制系统的功能配置的例子的框图。

图14是示出当停止的车辆再次启动时根据第二实施例的车辆控制系统的操作例子的流程图。

图15是示出其行驶由根据第二实施例的车辆控制系统控制的车辆的操作例子以及其行驶由根据比较例子的车辆控制系统控制的车辆的操作例子的图。

图16是示出在第一停止位置变为比原来的第一停止位置更近的位置的情况下的车辆的操作例子的曲线图。

图17是示出在第一停止位置变为比原来的第一停止位置更远的位置的情况下的车辆的操作例子的曲线图。

图18是示出当停止的车辆再次启动时根据第三实施例的车辆控制系统的操作例子的流程图。

具体实施方式

为了使描述清楚，在以下描述和附图中适当地省略和简化。在附图中，相同的附图标记表示相同的部件，并且根据需要将不会给出重复的描述。

实施例的概述

在描述实施例的细节之前，首先将描述实施例的概要。图1是示出根据实施例概要的移动对象控制系统1的配置例子的框图。移动对象控制系统1具有SfM单元2、第一停止位置输出单元3、第二停止位置计算单元4和控制单元5。移动对象控制系统1例如是安装在诸如车辆的移动对象上并且控制移动对象的运动的系统。移动对象不限于车辆，也可以是移动机器人等。

SfM单元2通过使用SfM算法检测距在移动对象的行驶方向上向前成像的单目相机拍摄的对象的距离。单目相机被设置用于移动对象，以便在移动对象的行驶方向上向前成像。通过在由单目相机获得的图像上执行根据SfM算法的处理，SfM单元2检测至成像的对象的距离。所述对象是包括写在路面上的标志的任何主题。

第一停止位置输出单元3输出满足预定安全准则的第一停止位置。更具体地，第一停止位置输出单元3输出在行驶的移动对象的当前位置之前的停止位置作为第一停止位置。第一停止位置的示例是设置在交叉路口处的停止线(即，在比交叉路口更近的道路上写的并表示车辆停止位置的线)。然而，不限于停止线，而可以为要求移动对象满足预定安全准则的停止位置。例如，第一停止位置可以是仅与停止的在前车辆分离预定距离的位置。预定安全准则可以是由法律确定的标准、由任意标准确定的准则或由公司(例如车辆制造商等)唯一确定的准则。第一停止位置输出单元3输出在行驶的移动对象的当前位置之前的停止位置作为第一停止位置。

为了输出第一停止位置，第一停止位置输出单元3可以通过任意的获取处理获得第一停止位置。例如，可以基于从设置用于道路且将指示第一停止位置的信息发送到移动对象的通信设备接收到的信息来输出第一停止位置，或可以将基于来自单目相机或其它传感器的信息而检测到的停止位置(例如，停止线的位置)输出作为第一停止位置。可以将从乘坐在车辆上的用户指示的位置输出作为第一停止位置。

第二停止位置计算单元4计算比从第一停止位置输出单元3输出的第一停止位置更近的第二停止位置。例如，第二停止位置计算单元4将比第一停止位置更靠近预定距离的位置设定为第二停止位置。

控制单元5控制移动对象的行驶。当第二停止位置计算单元4计算第二停止位置时，控制单元5控制移动对象，使得移动对象停止在第二停止位置处。当在移动对象停止在第二停止位置之后满足预定启动条件时，控制单元5控制移动对象，使得移动对象从第二停止位置启动。当获得通过SfM单元2的对象距离的检测结果时，控制单元5使用检测结果用于控制移动对象的行驶。控制单元5可以执行任意控制作为使用SfM单元2的对象距离的检测结果的控制。例如，尽管控制单元5可以执行车辆的控制使得至向前行驶的另一车辆的距离保持适当的值，但是使用SfM单元2的对象距离的检测结果的控制不限于所述控制。

在SfM算法中，当相机移动时，无论待成像的对象是静止对象还是移动对象，都可以检测到对象的距离。因此，当移动对象从第二停止位置启动时，SfM单元2通过使用由单目相机拍摄的图像来检测至对象的距离。也就是说，SfM单元2通过使用在从第二停止位置启动之后拍摄的图像来检测至对象的距离。因此，在移动对象更靠近第一停止位置的时间点，控制单元5变得能够使用SfM单元2的检测结果。

将与比较例子一起描述移动对象控制系统1的效果。将假定移动对象是执行自动驾驶的车辆进行描述。图2是解释根据比较例子的移动对象控制系统的操作的示意图。图3是解释移动对象控制系统1的操作的示意图。如图3所示，第一停止位置和第二停止位置之间的部分被称为预备区间。

在根据比较示例子的移动对象控制系统中，通过自动驾驶来控制安装有所述系统的车辆的行驶，使得车辆停在满足预定安全准则的停止位置即第一停止位置处。当车辆停止时，如上所述，不能执行通过使用SfM算法对至静止对象的距离的检测。当车辆再次启动并且仅移动SfM算法所需的预定移动距离时，至静止对象的距离的检测变得可能。但是，在根据比较例子的移动对象控制系统中，由于车辆在第一停止位置处停止，因此车辆在第一停止位置之前在未进行SfM算法的距离检测处理的状态下行驶。即，在对环境的掌握不充分的状态下，允许车辆在作为满足预定安全准则的参考线的第一停止位置之前行驶。

另一方面，移动对象控制系统1操作如下。如上所述，在移动对象控制系统1中，计算比第一停止位置更近的第二停止位置，并控制通过自动驾驶的行驶，以使车辆停止在第二停止位置处。在移动对象控制系统1中，在车辆停止在第二停止位置之后，当满足预定启动条件时，控制车辆以从第二停止位置启动。也就是说，首先，车辆在预备区间行驶。在预备区间中，通过使用SfM算法检测至对象的距离变得可能。也就是说，在到达第一停止位置之前，可以使用由SfM单元2进行的距离检测的结果。因此，根据移动对象控制系统1，通过使用由SfM单元2进行的距离检测的结果，可以在满足预定安全准则的状态下，控制在作为满足预定安全准则的参考线的第一停止位置之前的行驶。

在移动对象控制系统1中，不仅具有上述效果，还产生以下效果。由于在移动对象控制系统1中使用单目相机而不是立体相机来执行距离检测，因此与使用立体相机的情况相比，可以降低成本。

第一实施例

接下来，将描述实施例的细节。图4是示出根据第一实施例的车辆控制系统100的硬件配置的例子的框图。车辆控制系统100是上述移动对象控制系统1的例子，且是安装在车辆10中并控制车辆10的行驶的系统。

如图4所示，车辆控制系统100具有相机11、相机ECU(电子控制单元)12、ECU(电子控制单元)13、制动ECU(电子控制单元)14、节气门ECU(电子控制单元)15、转向ECU(电子控制单元)16和扬声器17。

相机11是单眼相机且设置用于车辆10，以沿车辆10的移动方向拍摄图像。在图4所示的例子中，具体而言，相机11设置在车辆10的前部，以便拍摄在车辆10前方的图像。

相机ECU 12是获取由相机11拍摄的图像并且执行包括SfM的图像处理的ECU。ECU13是使用相机ECU 12的处理结果来控制车辆10的行驶的ECU。ECU 13输出控制信号到制动ECU 14、节气门ECU 15以及转向ECU 16。ECU 13根据需要向扬声器17发送预定输出。例如，根据ECU 13的处理结果的通知从扬声器17输出。制动ECU 14是控制车辆10的制动操作的ECU并且根据来自ECU 13的控制信号来控制制动器(未图示)。节气门ECU 15是控制车辆10的加速操作的ECU并且根据来自ECU 13的控制信号来控制加速器(未示出)。转向ECU 16是控制车辆10的转向操作的ECU并根据来自ECU 13的控制信号来控制转向(未图示)。

接下来，将描述相机ECU 12的配置和ECU 13的配置。图5是示出相机ECU的配置的例子的框图。图6是示出ECU 13的配置的例子的框图。如图5所示，相机ECU 12具有内部总线121、本地存储器122、接口123、DSP(数字信号处理器)124、CPU(中央处理单元)125、外部存储器接口126和相机接口127。如图6所示，ECU 13具有内部总线131、本地存储器132、接口133、DSP134、CPU135、外部存储器接口136和扬声器控制接口137。

内部总线121、131是SoC(片上系统)内部的总线。相机ECU 12中的模块经由内部总线121执行数据通信。ECU 13中的模块通过经由内部总线131执行数据通信。

本地存储器122和132是在SoC中的存储器。即，本地存储器122是设置在相机ECU12内部的存储器，并且本地存储器132是设置在ECU 13内部的存储器。本地存储器122和132例如是SRAM(静态随机存取存储器)。本地存储器122和132设置在总线上并且由每个模块访问以存储或引用数据。可以提供多个本地存储器122和132。

接口123和132是用于与外部进行通信的接口。也就是说，接口123是用于将相机ECU 12与另一装置(例如，ECU 13)耦合的接口。接口133是用于将ECU 13和另一装置(例如，相机ECU 12)耦合的接口。接口123和133可以是模拟接口或数字接口，并且可以是由任意通信标准确定的接口。

DSP 124和134是进行图像处理的处理器。CPU 125和135是控制整个SoC的处理器。可以提供多个DSP 124和134。还可以提供多个CPU 125和135。外部存储器接口126和136是用于执行与外部存储器(未示出)的通信的接口。外部存储器例如是DRAM(动态随机存取存储器)，且用于存储大量的数据。

相机接口127是用于耦合到相机11的接口。相机接口127可以是例如符合MIPI标准、用于数字输入的LVTTL-IF、以太网等的接口。扬声器控制接口137是用于扬声器17的控制接口，并且可以是模拟接口或数字接口。

接下来，将描述车辆控制系统100的功能配置。图7是示出车辆控制系统100的功能配置的例子的框图。如图7所示，车辆控制系统100具有SfM单元101、对象检测单元102、对象距离检测单元103、自动驾驶控制单元104、目标位置计算单元105和车辆控制单元106。

例如当DSP 124和134或CPU 125和135读取和执行存储在诸如本地存储器122和132的任意存储器中的软件(计算机程序)时，实现图7中所示的元件。也就是说，当处理器执行包括用于执行元件中的在后面描述的处理的指令组的程序时，实现图7中所示的元件。以这种方式，车辆控制系统100具有作为计算机的功能。

作为示例，SfM单元101和对象检测单元102在相机ECU 12中实现，并且对象距离检测单元103、自动驾驶控制单元104、目标位置计算单元105和车辆控制单元106在ECU 13中实现。但是，通过对相机ECU 12和ECU 13的其他分配，可以实现图7中所示的元件。相机ECU12或ECU 13可以实现图7中所示的全部元件。尽管在该实施例中设置了相机ECU 12和ECU13的两个ECU，但车辆控制系统100可以通过将它们组合而获得的单个ECU来配置。

上述程序通过使用各种类型的非暂时性计算机可读介质中的任何一种来存储，并且可以被提供给计算机。所述非暂时性计算机可读介质包括各种类型的有形存储介质。非暂时性计算机可读介质的例子包括磁记录介质(例如，软盘、磁带和硬盘驱动器)、磁光记录介质(例如，磁光盘、CD-ROM(只读存储器)、CD-R、CD-R/W)以及半导体存储器(例如，掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM和RAM(随机存取存储器))。程序也可以通过各种类型的暂时性计算机可读介质提供给计算机。所述暂时性计算机可读介质的例子包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由诸如电线或光纤的有线通信路径或无线通信路径向计算机提供程序。

SfM单元101对应于图1中的SfM单元2，并且基于通过使用SfM算法的相机11拍摄的图像来检测拍摄的对象的运动以及从拍摄的对象到相机11的距离。由于SfM算法是已知的，其细节将不再描述。在本实施例中，SfM单元101基于当车辆行驶时由相机11拍摄的图像来检测至对象的距离。因此，SfM单元101通过使用在车辆行驶到停止位置(具体地，例如第二停止位置)的同时拍摄的图像来检测至对象的距离，并且通过使用在车辆从停止位置(例如，上述第二停止位置)启动之后拍摄的图像来检测至对象的距离。

通过对由相机11拍摄的图像执行预定图像识别处理，对象检测单元102标识图像中的对象。作为图像识别处理，可以使用已知的任意图像识别处理。例如，对象检测单元102通过使用HoG(梯度直方图)特征量和SVM(支持向量机)执行图像识别处理来标识和检测对象。

对象距离检测单元103检测至预定对象的距离。如上所述，通过对象检测单元102标识图像中的对象。对象距离检测单元103通过将从SfM单元101获得的距离信息与对象检测单元102标识的对象中的、与作为距离检测目标的预定对象对应的对象相关联，来检测至作为距离检测目标的对象的距离。在SfM单元101的距离的检测中，获得图像中的所有主题的距离信息。因此，对象距离检测单元103通过使用对象检测单元102的标识结果，从由SfM单元101获得的距离信息中提取作为距离检测目标的预定对象(例如，人、车、标志、停车线等)与车辆(相机11)之间的距离。

自动驾驶控制单元104通过使用对象距离检测单元103的检测结果来产生用于控制制动器、加速器和转向的行驶指令信息，并且通过该信息来控制自动驾驶。具体地，自动驾驶控制单元104通过使用例如从对象距离检测单元103获得的信息以及通过与和车辆10执行通信的外部设备(例如交通信号灯、标志、其它车辆等)的通信而获得的信息，来产生用于在预定行驶路线中行驶的行驶指令信息。行驶指令信息包括用于控制制动器、加速器和转向的信号。

在执行停止车辆的控制的情况下，自动驾驶控制单元104输出满足预定安全准则的第一停止位置。也就是说，自动驾驶控制单元104对应于图1中的第一停止位置输出单元3。当在车辆行驶中满足任意停止条件时，自动驾驶控制单元104将在车辆的当前位置之前的满足预定安全准则的停止位置确定为第一停止位置。任意停止条件例如可以是交通信号灯的停止信号、检测到存在于行驶方向前方且阻碍行驶的对象，或者来自乘坐车辆的用户的指令。

在执行使车辆停止的控制的情况下，自动驾驶控制单元104生成用于使车辆在第一停止位置处停止的行驶指令信息，并将其输出至车辆控制单元106。在执行使车辆停止的控制的情况下，自动驾驶控制单元104将指示第一停止位置的信息输出到目标位置计算单元105。在一个例子中，自动驾驶控制单元104通过使用由对象距离检测单元103检测的至预定对象(例如，诸如停止线的指示停止位置的标志)的距离的信息来确定第一停止位置，并且生成用于使车辆在第一停止位置处停止的行驶指令信息。

当车辆在第二停止位置处停止并且此后满足预定启动条件时，自动驾驶控制单元104向车辆控制单元106输出指示重新启动的行驶指令信息。自动驾驶控制单元104例如确定车辆的当前状态是否是重新启动的状态。例如，当车辆检测到作为要求临时停车的标志的停车线而停在第二停车位置处时，在停车后经过预定时间之后，车辆变得可重新启动。例如，在车辆由于检测到对象而停止在第二停止位置的情况下，通过检测到对象变得不存在，车辆变得可重新启动。例如，当车辆10中的用户作出用于重新启动的操作指令时，可以设置可重新启动状态。

当车辆的当前状态变为可重新启动状态时，自动驾驶控制单元104参考其中指定重新启动时的行驶条件的配置文件状态，并且生成行驶指令信息以在配置文件信息中指定的行驶条件下执行重新启动(例如，配置文件信息中指定的加速条件)。生成的行驶指令信息被通知给车辆控制单元106，由此执行从第二停止位置的重新启动。当执行从第二停止位置的重新启动时，由SfM单元101进行的至对象的距离的检测变得可能。因此，在车辆到达第一停止位置前，自动驾驶控制单元104可以使用由SfM单元101执行的距离检测结果来控制车辆的行驶。

目标位置计算单元105对应于图1中的第二停止位置计算单元4，并且计算比由自动驾驶控制单元104输出的第一停止位置更近的第二停止位置。目标位置计算单元105计算比第一停止位置仅近预定距离“d”的位置(即，与第一停止位置相比更近车辆仅距离“d”的位置)作为第二停止位置。距离“d”可以是使得SfM单元101的距离检测变得可能的移动距离。距离“d”是基于所使用的SfM算法、相机11的条件等确定的值，并且例如是几厘米到几十厘米。

目标位置计算单元105可以基于SfM单元101的检测结果来校正计算的第二停止位置。在这种情况下，具体而言，目标位置计算单元105将第二停止位置校正为仅比第一停止位置近距离“d”的位置。例如，在移动对象存在于预备区间或其周边的情况下，目标位置计算单元105可以校正第二停止位置以便与对象仅分离预定距离。在这种情况下，校正的第二停止位置从校正前的停止位置向前或向后偏离。目标位置计算单元105可以基于从对象距离检测单元103输出的对象距离来校正第二停止位置。以这种方式，通过校正第二停止位置，可以进一步增加在停止在第二停止位置之后由于重新启动而在预备区间中行驶时的安全性。

目标位置计算单元105将计算的第二停止位置(在进行校正的情况下为校正的第二停止位置)输出到车辆控制单元106。

根据从自动驾驶控制单元104输出的行驶指令信息，车辆控制单元106控制制动器、加速器和转向中的每一个。即，车辆控制单元106向制动ECU 14、节气门ECU 15和转向ECU 16中的每一个输出控制信号。当从目标位置计算单元105通知第二停止位置时，车辆控制单元106进行控制以使车辆不停在第一停止位置而停在第二停止位置。自动驾驶控制单元104和车辆控制单元106对应于图1中的控制单元5。

接下来，将描述车辆控制系统100的操作示例。图8是示出当行驶的车辆10停止时车辆控制系统100的操作例子的流程图。以下，参照图8进行说明。

在步骤100(S100)中，相机ECU 12得到由相机11拍摄的图像。在步骤101(S101)中，相机ECU 12经由外部存储器接口126将得到的图像展开到外部存储器(未示出)。此外，在步骤102(S102)中，相机ECU 12从存储在外部存储器中的图像中提取对应于图像处理的处理单元的区域，并将其展开到本地存储器122中。

接下来，执行步骤103和104中的处理。在图8的流程图中，步骤S103的处理和步骤S104的处理并行执行。或者，在其中一个处理之后，可以执行另一个处理。

在步骤103(S103)中，对象检测单元102标识图像中的对象。在步骤104(S104)中，SfM单元101对图像执行根据SfM算法的图像处理。

在步骤105(S105)中，对象距离检测单元103基于在步骤103中获得的标识结果和在步骤104中获得的距离信息，来检测针对每个所标识的对象的距离信息。

在步骤106(S106)中，自动驾驶控制单元104确定第一停止位置。自动驾驶控制单元104基于例如步骤105中的检测结果来确定第一停止位置。自动驾驶控制单元104生成用于使车辆在第一停止位置处停止的行驶指令信息。

在步骤107(S107)中，目标位置计算单元105计算第二停止位置，所述第二停止位置比在步骤106中确定的第一步骤位置更近。如上所述，目标位置计算单元105根据需要来校正所计算的第二停止位置。

在步骤108(S108)中，车辆控制单元106进行控制，使得车辆在从目标位置计算单元105输出的第二停止位置处停止。

通过上述步骤，车辆10在比第一停止位置更近的第二位置处停止。

接下来，将描述当车辆10从第二停止位置重新启动时的车辆控制系统100的操作。图9是示出当停止的车辆10再次启动时车辆控制系统10的操作例子的流程图。在下文中，将参照图9给出描述。

在步骤200(S200)中，自动驾驶控制单元104确定是否满足预定启动条件。重复步骤200(步骤200中的“否”)，直到满足预定启动条件。当满足预定启动条件时，程序转到步骤201。

在步骤201(S201)中，自动驾驶控制单元104使车辆启动。具体而言，自动驾驶控制单元104向车辆控制单元106输出指示重新启动的行驶指令信息。车辆控制单元106基于行驶指令信息来控制行驶。

在步骤202(S202)中，当车辆10仅行驶使得SfM单元101的距离检测变为可能的移动距离时，使用SfM算法获取距离信息变得可能。

在步骤203(S203)中，当获得使用SfM算法的距离信息时，自动驾驶控制单元104使用距离信息开始自动驾驶控制。即，实现正常的驾驶状态。在这个时间点，车辆10处于预备区间并且没有超过第一停止位置。

将描述由车辆控制系统100控制的车辆10的操作。图10是示出其行驶由根据实施例的车辆控制系统100控制的车辆10的操作例子以及其行驶由根据比较例子的车辆控制系统控制的车辆的操作例子的图。图10通过示出车辆速度随时间变化的曲线图说明了操作的差异。这里假定，在车辆以速度S1行驶的状态下，在时间T1开始对在第一停止位置处停止的控制，并且在时间T4开始启动操作。该曲线图示出了在停止时以预定加速度(减速)减速的示例。

在根据比较例子的车辆控制系统中，在时间T1，执行由于在第一停止位置处停止的控制。因此，车辆以用于停止在第一停止位置的加速度(减速)减速，且在时间T3停止在第一停止位置处。在时间T4，车辆从第一停止位置启动。因此，在根据比较例子的车辆控制系统中，出现这样的状态，即车辆行驶超过第一停止位置，同时不能执行通过SfM算法的距离检测。

另一方面，在根据实施例的车辆控制系统100中，执行用于停止在第二停止位置处的控制。因此，车辆10以用于停止在第二停止位置的加速度(减速)减速，并且在时间T2停止在第二停止位置处。在时间T4，车辆从第二停止位置启动。因此，车辆10在重新启动后立即在预备区间行驶。参考图10，车辆10在从时间T4至时间T5的时段内在预备区间中行驶。因此，在第一停止位置之前，可以执行使用SfM算法对至对象的距离的检测。也就是说，在第一停止位置之前，自动驾驶控制单元104可以利用由SfM单元2执行的距离检测结果来实现自动驾驶状态。

在由于某种原因(例如，检测到新对象)而改变曾经确定的第一停止位置的情况下，目标位置计算单元105根据该改变来更新第二停止位置。图11是示出在第一停止位置变为比原来的第一停止位置更近的位置的情况下的车辆10的操作例子的曲线图。在以预定加速度进行减速的前提条件下，在更新的第一停止位置处的停止时间变成在时间T3之前的时间T3'，并且在更新的第二停止位置处的停止时间变成在时间T2之前的时间T2'。因此，由根据本实施例的车辆控制系统100控制的车辆10在时间T1开始减速并且在时间T2之前的时间T2'停止在第二停止位置处。在时间T4，车辆10从第二停止位置启动。

虽然图11示出了在第一停止位置被改变到比原来的第一停止位置更近的位置的情况下的车辆10的操作示例，但该操作在第一停止位置被改变到原来的第一停止位置之前的情况中也是类似的。图12是示出在第一停止位置变为原来的第一停止位置之前的位置的情况下的车辆10的操作例子的曲线图。在以预定加速度进行减速的前提条件下，在停止在更新的第一停止位置处的情况下的停止时间变成晚于时间T3的时间T3'，并且在停止在更新的第二停止位置处的情况下的停止时间变成晚于时间T2的时间T2'。因此，由根据本实施例的车辆控制系统100控制的车辆10从时间T1起开始减速，在比时间T2晚的时间T2'停止在第二停止位置处，并且在时间T4从第二停止位置启动。

第二实施例

接下来，将描述第二实施例。第二实施例与第一实施例的不同之处在于，当车辆10停在第二停止位置时，监视车辆10周围是否存在对象。

图13是示出根据第二实施例的车辆控制系统200的功能配置的例子的框图。图13所示的车辆控制系统200与图7所示的车辆控制系统100不同点在于：添加了监视单元201和行驶确定单元202。在下文中，将描述车辆控制系统200的配置和操作，但将不给出重复描述。

监视单元201在车辆10停止期间监视在车辆10的周围是否存在对象。在本实施例中，监视单元201根据来自SfM单元101的输出，监视车辆10的周围是否存在对象。因此，在本实施例中，在车辆10在第二停止位置处停止之后，SfM单元101也使用SfM算法执行图像处理。更具体地说，在本实施例中，SfM单元101使用SfM算法对由相机11拍摄的图像执行图像处理，并且从车辆10停止在第二停止位置处直到满足预定启动条件，SfM单元101检测图像中的运动。SfM单元101输出图像中每个像素的运动。由于当车辆10停止在第二停止位置处时SfM单元101也执行图像处理，所以在实施例中，从行驶到在第二停止位置停止期间、在停止期间以及从第二停止位置启动后，SFM单元101使用SFM算法执行处理。

监视单元201基于由SfM单元101检测到的运动来确定对象的存在。当SfM单元101检测到在车辆10停止期间图像中的运动时，意味着在相机11的成像范围内存在移动的对象。因此，在由SfM单元101检测到运动的情况下，监视单元201确定在车辆10的周围，具体而言，在相机11的成像范围内存在移动的对象。

基于SfM单元101的运动检测结果，监视单元201确定移动的对象的存在位置。具体地，首先，监视单元201基于由SfM单元101检测到的每个像素中的运动来确定移动的对象在图像中的大小。SfM单元101的检测结果指示运动的方向和每个像素中的运动的大小。在多个相邻像素进行相同运动(即，沿相同方向运动)的情况下，可以认为这些像素对应于相同的移动的对象。因此，监视单元201通过诸如标记的算法来标识进行相同运动的一组像素。像素组的大小与相机11和移动的对象之间的距离成反比。因此，监视单元201确定像素组的大小。以这种方式，确定移动的对象在图像中的大小。

基于确定的大小，监视单元201确定移动的对象的存在位置是否位于距离车辆10的预定范围内。例如，在移动的对象在图像中的大小等于或大于预定阈值时，即，当像素组中的像素的数量等于或大于预定阈值时，监视单元201确定移动的对象的存在位置位于距离车辆10的预定范围内。所述预定范围可以是预备区间。在这种情况下，监视单元201确定是否有对象存在于预备区间中。监视单元201将监视结果输出到行驶确定单元202。

当监视单元201确定车辆10的周围不存在对象时，行驶确定单元202向自动驾驶控制单元104通知可行驶状态。更具体地，当监视单元201确定在预定范围内不存在对象时，行驶确定单元202向自动驾驶控制单元104通知可行驶状态。

当满足预定启动条件并且监视单元201判定在车辆10的周围没有对象存在时，自动驾驶控制单元104启动车辆10。更具体而言，当满足预定启动条件并且监视单元201判定在预定范围内没有对象存在时，自动驾驶控制单元104启动车辆10。即，当满足预定启动条件并且从行驶确定单元接收到表示可行驶状态的通知时，自动驾驶控制单元104向车辆控制单元106输出指示重新启动的行驶指令信息。

尽管在本实施例中监视单元201通过使用SfM单元101的运动检测的结果来监视对象，但是本发明不限于运动检测。监视单元201可以通过任意方法监视在停止期间对象的存在。例如，监视单元201可以通过使用SfM单元101的距离检测结果而不是SfM单元101的运动检测结果来监视对象的存在。在这种情况下，监视单元201可以基于由SfM单元101检测到的移动对象的距离来确定移动对象的存在位置是否在距离车辆10的预定范围内。或者，监视单元201可以通过与SfM单元101不同的检测机制来监视对象的存在/不存在。

接下来，将描述当车辆10从第二停止位置重新启动时的车辆控制系统200的操作。图14是示出当停止的车辆再次启动时车辆控制系统200的操作例子的流程图。图14中所示的流程图与图9所示的流程图不同之处在于添加了步骤251和252。

在根据第二实施例的车辆控制系统200中，首先，监视单元201在步骤251中监视对象的存在(S251)。在步骤252(S252)中，监视单元201确定车辆10的周围是否存在对象。基于确定结果，行驶确定单元202确定是否将可行驶状态通知给自动驾驶控制单元104。当监视单元201确定存在对象时(步骤252中的是)，继续对象的监视。相反，当监视单元201确定车辆10的周围不存在对象时(步骤252中为否)，处理转入步骤200。当确定是否满足启动条件并且在步骤200不满足时，继续对象的监视。当满足启动条件时，处理转到步骤S201。转到步骤S201之后的处理与根据第一实施例的车辆控制系统100中的处理类似。

现在将描述由车辆控制系统200控制的车辆10的操作。图15是示出其行驶由根据本实施例的车辆控制系统控制200的车辆10的操作例子以及其行驶由根据比较例子的车辆控制系统控制的车辆的操作例子的图。如通过图15和图10之间的比较所理解的，在本实施例中，在时间T2停止在第二停止位置处之后，执行由监视单元201对对象存在/不存在的监视。

另外，在本实施例中，在曾经确定的第一停止位置由于任意因素(例如新对象的检测)而变化的情况下，目标位置计算单元105根据该变化而更新第二停止位置。图16是示出在第一停止位置变为比原来的第一停止位置更近的位置的情况下的车辆10的操作例子的曲线图。图17是示出在第一停止位置变为比原来的第一停止位置更远的位置的情况下的车辆10的操作例子的曲线图。在曾经确定的第一停止位置变化的情况下，如图16或图17所示，从时间T2'执行监视单元201的监视。

上面已经描述了第二实施例。在根据本实施例的车辆控制系统200中，监视在车辆10停止时车辆10的周围是否存在对象。当满足预定的启动条件并且确定车辆10的周围没有对象存在时，车辆10被启动。也就是说，当存在对象时，禁止启动。因此，可以实现更安全的自动驾驶。在本实施例中，在监视单元201中，当对象的存在位置位于距车辆10的预定范围内时，禁止启动。因此，不会发生不必要的启动禁止。

第三实施例

接下来，将描述第三实施例。第三实施例与第二实施例的不同之处在于，当车辆10停在第二停止位置并且车辆10的周围存在对象时，通过扬声器执行预定输出。在下文中，将描述与第二实施例不同之处。

在第三实施例中，当确定在车辆10的周围存在对象时，监视单元201还通过扬声器17执行预定输出。扬声器17的输出可以是对车辆10外部的警报或对车辆10内部的警报。例如，车辆内部的警报可以是通知由于对象的存在而禁止启动的状态的声音输出。对车辆外部的警报可能是促使离开车辆10周围的声音输出。

在实施例中，在侵入车辆10周围的对象是人的情况下，进行向车辆外部的警报。为此，监视单元201基于由SfM单元101检测到的每个像素中的运动来确定移动对象在图像中的形状，并且在确定的形状是预定形状的情况下，由扬声器17发送预定输出到车辆10的外部。例如，当确定的形状是纵长形状时，监视单元201识别出该对象是人，并将声音输出到外部。确定对象是否是人的方法不限于上述。例如，可以使用通过对象检测单元102的标识的结果。也就是说，当对象检测单元102标识出存在于车辆10周围的对象是人时，监视单元201可以通过扬声器17将预定输出发送到车辆10的外部。

接下来，将描述当车辆10从第二停止位置重新启动时本实施例的车辆控制系统200的操作。图18是示出当停止的车辆10再次启动时车辆控制系统200的操作例子的流程图。图18的流程图与图14所示的流程图的不同在于，添加了步骤2520、2521和2522。步骤2520至2522是在步骤252中确定存在对象的情况下执行的处理。

在本实施例中，当在步骤252中由监视单元201确定对象的存在时(步骤252中的是)，处理转到步骤2520。

在步骤2520(S2520)中，确定存在的对象是否是人。当对象是人时(步骤2520中的是)，处理转到步骤2521。当对象不是人时(步骤2520中的否)，处理转到步骤2522。

在步骤2521(S2521)中，监视单元201将预定语音输出发送到车辆10的外部和内部。具体而言，监视单元201向车辆10周围的人发出警报，并向乘坐车辆10的用户发出警报。另一方面，在步骤2522(S2522)中，监视单元201仅将预定声音输出发送到车辆10的内部。在发送步骤2521或2522中的声音输出后，继续对象的监视。

上面已经描述了第三实施例。在根据该实施例的车辆控制系统200中，当车辆10的周围存在对象时，扬声器17发送预定输出。因此，可以生成合适的警报。特别是，当对象是人时，向车辆10的外部发出警报。因此，可以将诸如促使离开的声音的预定警报发送给人。

尽管以上基于实施例具体描述了发明人实现的本发明，但显然，本发明不限于这些实施例，并且可以在不脱离其主旨的情况下进行各种改变。例如，虽然相机11是设置在车辆10前部以拍摄车辆10前方的图像的单目相机，但提供在车辆10的移动方向上拍摄图像的相机11也是足够的，并且例如可以是设置在车辆10的后部以拍摄后方图像的单目相机。在这种情况下，当车辆10向后行驶或停止时执行上述控制。相机11可以是构成拍摄车辆10周围的图像的周围相机系统的相机之一。利用这样的配置，在其中安装有周围相机系统的车辆10中，在不添加相机11的情况下也可以实现上述控制。

Claims (13)

1.一种移动对象控制系统，包括：

SfM单元，通过使用SfM算法检测距由单目相机拍摄的对象的距离，所述单目相机在移动对象的移动方向上前向成像；

第一停止位置输出单元，输出满足预定安全准则的第一停止位置；

第二停止位置计算单元，计算比所述第一停止位置更近的第二停止位置；和

控制单元，控制所述移动对象的行驶，

其中，所述控制单元进行控制以使得所述移动对象停止在所述第二停止位置处，并且当满足预定启动条件时，进行控制以使得所述移动对象从所述第二停止位置启动，

其中所述SfM单元使用在所述移动对象从所述第二停止位置启动之后由所述单目相机拍摄的图像来检测距所述对象的距离，并且

其中当获得通过所述SfM单元对所述对象的距离的检测结果时，所述控制单元使用所述检测结果来控制所述移动对象的行驶，

其中，所述第二停止位置比所述第一停止位置近预定距离，

其中，所述预定距离是在处于停止状态的所述移动对象再次启动并移动时，为使所述SfM算法能够开始检测距静止对象的距离的所述SfM算法所需的预定移动距离。

2.根据权利要求1所述的移动对象控制系统，其中，所述第二停止位置计算单元基于所述SfM单元的检测结果来校正所计算的第二停止位置。

3.根据权利要求1所述的移动对象控制系统，还包括监视单元，所述监视单元在所述移动对象的停止期间监视所述移动对象周围是否存在对象，

其中，当满足预定启动条件并且所述监视单元确定在所述移动对象周围不存在对象时，所述控制单元启动所述移动对象。

4.根据权利要求3所述的移动对象控制系统，

其中，所述SfM单元通过对由所述单目相机拍摄的图像使用所述SfM算法来检测图像中的运动，直到在所述第二停止位置处停止之后满足所述预定启动条件为止，并且

其中，所述监视单元基于由所述SfM单元检测到的所述运动来确定对象的存在。

5.根据权利要求4所述的移动对象控制系统，

其中，所述监视单元基于由所述SfM单元检测到的每个像素的运动来确定运动的对象在图像中的大小，并且基于所确定的大小来确定所述运动的对象的存在位置是否在距所述移动对象的预定范围内，和

其中，当满足预定启动条件并且所述监视单元确定在所述预定范围内不存在对象时，所述控制单元启动所述移动对象。

6.根据权利要求4所述的移动对象控制系统，

其中，所述监视单元基于由所述SfM单元检测到的距运动的对象的距离来确定所述运动的对象的存在位置是否在距所述移动对象的预定范围内，并且

其中，当满足预定启动条件并且所述监视单元确定在所述预定范围内不存在对象时，所述控制单元启动所述移动对象。

7.根据权利要求3所述的移动对象控制系统，还包括扬声器，

其中当确定所述移动对象周围存在对象时，所述监视单元通过所述扬声器生成预定输出。

8.根据权利要求7所述的移动对象控制系统，其中，所述监视单元基于由所述SfM单元检测到的每个像素中的运动来确定图像中的运动的对象的形状，并且当所确定的形状是预定形状时，生成由所述扬声器向所述移动对象的外部进行的预定输出。

9.根据权利要求7所述的移动对象控制系统，还包括对象检测单元，所述对象检测单元对由所述单目相机拍摄的图像进行预定的图像识别处理，

其中，当所述对象检测单元将所述对象标识为人时，所述监视单元生成由所述扬声器向所述移动对象的外部进行的预定输出。

10.根据权利要求1所述的移动对象控制系统，还包括所述单目相机。

11.根据权利要求1所述的移动对象控制系统，其中，所述单目相机是构成对所述移动对象的周边进行成像的周围相机系统的相机之一。

12.一种移动对象控制方法，包括以下步骤：

计算比满足预定安全准则的第一停止位置更近的第二停止位置；

执行控制以使移动对象在所述第二停止位置处停止；

当满足预定启动条件时，执行控制以使得所述移动对象从所述第二停止位置启动；

通过使用SfM算法检测距由单目相机拍摄的对象的距离，所述单目相机在所述移动对象从所述第二停止位置启动之后在所述移动对象的移动方向上拍摄前向图像；和

当获得所述对象的距离的检测结果时，通过使用所述检测结果控制所述移动对象的行驶，

其中，所述第二停止位置比所述第一停止位置近预定距离，

其中，所述预定距离是在处于停止状态的所述移动对象再次启动并移动时，为使所述SfM算法能够开始检测距静止对象的距离的所述SfM算法所需的预定移动距离。

13.一种计算机可读存储介质，使计算机执行：

SfM步骤，通过使用SfM算法检测距由单目相机拍摄的对象的距离，所述单目相机在所述移动对象的移动方向上拍摄前向图像；

第一停止位置输出步骤，输出满足预定安全准则的第一停止位置；

第二停止位置计算步骤，计算比所述第一停止位置更近的第二停止位置；和

控制步骤，控制移动对象的行驶，

其中，在所述控制步骤中，执行控制以使得所述移动对象停止在所述第二停止位置处，并且当满足预定启动条件时，执行控制以使得所述移动对象从所述第二停止位置启动，

其中在所述SfM步骤中，在所述移动对象从所述第二停止位置启动之后，通过使用由所述单目相机拍摄的图像来检测距对象的距离，并且

其中在所述控制步骤中，在所述SfM步骤中获得所述对象的距离的检测结果的情况下，所述检测结果被用于控制所述移动对象的行驶，

其中，所述第二停止位置比所述第一停止位置近预定距离，

其中，所述预定距离是在处于停止状态的所述移动对象再次启动并移动时，为使所述SfM算法能够开始检测距静止对象的距离的所述SfM算法所需的预定移动距离。