CN110562250A - 驾驶预测方法及其处理装置与系统 - Google Patents

Abstract

一种驾驶预测方法及其处理装置与系统，该方法适用于设置于运输载具中的处理装置，其中处理装置连接于影像撷取装置以及输出装置并且预先储存预测模型。该方法包括下列步骤：自影像撷取装置接收运输载具周围的影像序列；以及判断影像序列是否符合预测模型，以根据运输载具的行驶状况，更新预测模型。

Description

驾驶预测方法及其处理装置与系统

技术领域

本发明涉及一种驾驶预测技术，且特别涉及一种驾驶预测方法及其处理装置与系统。

背景技术

先进驾驶辅助系统(advanced driver assistance system，ADAS)是指安装于车辆上的各种传感器，其用于感测光线、热源、压力等参数，藉由通过收集车体内外的数据，在第一时间内通知驾驶者注意所发生的状况。

然而，当车辆以高速行驶时，驾驶者往往较专注于前方路况而较容易忽略左右两侧车道的状况，其可刹停的距离需要有相当的经验做判断，且当下车辆是否可做符合预期的操作亦难以判定。此外，驾驶者无可避免会有注意力降低的情况，尤其是在高速且少曲折的行进路段，驾驶者对于前方与两侧具有不正常驾驶的车辆的反应时间会延迟，更严重者甚至会忽略而错失提前减速以预防碰撞的机会，而造成事故的发生。

发明内容

有鉴于此，本发明提供一种驾驶预测方法及其处理装置与系统，其可在驾驶者驾驶运输载具的过程中，达到预测与预防事故的发生。

在本发明的一实施例中，上述的方法适用于设置于运输载具中的处理装置，其中处理装置连接于影像撷取装置以及输出装置并且预先储存预测模型。该方法包括下列步骤：自影像撷取装置接收运输载具周围的影像序列；以及判断影像序列是否符合预测模型，以根据运输载具的行驶状况，更新预测模型。

在本发明的一实施例中，上述的处理装置设置于运输载具中，连接于影像撷取装置以及输出装置。处理装置包括存储体以及处理器，其中存储体耦接于处理器。存储体用于预先储存预测模型。处理器用于：自影像撷取装置接收运输载具周围的影像序列；以及判断影像序列是否符合预测模型，以根据运输载具的行驶状况，更新预测模型。

在本发明的一实施例中，上述的系统设置于运输载具中，并且包括影像撷取装置、输出装置以及处理装置，其中处理装置连接于影像撷取装置以及输出装置并且预先储存预测模型。影像撷取装置用于撷取运输载具周围的影像序列。输出装置用于输出警示信号。处理装置用于：自影像撷取装置接收运输载具周围的影像序列；判断影像序列是否符合预测模型，以根据运输载具的行驶状况，更新预测模型。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1A是根据本发明一实施例所绘示的驾驶预测系统的方块图。

图1B是根据本发明一实施例所绘示的驾驶预测系统的示意图。

图1C是根据本发明一实施例所绘示的三种驾驶预测情境的示意图。

图2是根据本发明一实施例所绘示的驾驶预测方法的流程图。

图3是根据本发明另一实施例所绘示的驾驶预测方法的流程图。

图4是根据本发明一实施例所绘示的预测模型的构建方法的流程图。

标号说明：

100、100B：驾驶预测系统

110：影像撷取装置

120：处理装置

122：存储体

124：处理器

130：输出装置

C：相机模块

S：播放器

D：显示屏幕

A：警示灯

D1～D3：区域

S202～S204、S302～S328、S411～436：步骤

VS：影像序列

VS’：已标示的影像序列

S41～S43：阶段

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的组件符号，当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部分，并未公开本发明的所有可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法、处理装置以及系统的范例。

图1A是根据本发明一实施例所绘示的驾驶预测系统的方块图，但这仅是为了方便说明，并不用来限制本发明。首先图1A先介绍驾驶预测系统的所有构件以及配置关系，详细功能将配合后续实施例一并公开。

请参照图1A，驾驶预测系统100包括影像撷取装置110、处理装置120以及输出装置130，其中驾驶预测系统100可设置于汽车、公交车、货柜车、电动车、机车等运输载具中。

影像撷取装置110用于在驾驶过程中拍摄并且录制运输载具前方、两侧甚至后方等周围的影像。影像撷取装置110包括具有透镜以及感光组件的摄像镜头。感光组件用于感测进入透镜的光线强度，进而产生影像。感光组件可以例如是电荷耦合器件(chargecoupled device，CCD)、互补性金属氧化物半导体(complementary metal-oxidesemiconductor，CMOS)组件或其他类似组件。影像撷取装置110的数量可以是单个或是多个以增加预测的准确度，而其也可以是采用高倍率的摄像镜头以撷取到人眼不易观察到的距离的画面。

处理装置120用于对影像撷取装置110所撷取到的影像以及驾驶人在驾驶过程中所产生的驾驶信息进行处理。在本实施例中，处理装置120至少包括存储体122以及处理器124。存储体122用于储存视频影像、数据、程序代码，其可以例如是任意形式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器124用于执行所提出的驾驶预测方法，其可以例如是中央处理单元(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、专用集成电路(application specific integrated circuits，ASIC)、可编程逻辑器件(programmable logic device，PLD)或其他类似装置、芯片、集成电路及其组合。

输出装置130用于输出警示信号，其可以例如是播放音乐、语音或声响的喇叭，显示文字、图标的屏幕，或是发出灯光或是闪烁效果的警示灯。

必须说明的是，在本实施例中，处理装置120可以与影像撷取装置110以及输出装置130整合为单一装置并且例如是设置于挡风玻璃的任一位置。具体来说，图1A的驾驶预测系统100可以实现成如图1B根据本发明一实施例所绘示的驾驶预测系统100B，其中左图以及右图分别是以前、后两侧不同视角所绘示。图1A的影像撷取装置110可以实现成为图1B的驾驶预测系统100B中的相机模块C，图1A的处理装置120可以实现成为图1B的驾驶预测系统100B中的控制器(未绘示)，图1A的输出装置130可以实现成为图1B的驾驶预测系统100B中的显示屏幕D、警示灯A以及播放器S。

举例来说，图1C是根据本发明一实施例所绘示的三种驾驶预测情境的示意图。当驾驶预测系统100B判断需针对左侧车道进行预警时，警示灯A将会闪烁，播放器S将会进行语音提醒，而显示屏幕D对应于左侧车道的区域D1将会亮灯，藉以警示驾驶者。类似地，当驾驶预测系统100B判断需针对当前车道进行预警时，警示灯A将会闪烁，播放器S将会进行语音提醒，而显示屏幕D对应于当前车道的区域D2将会亮灯。当驾驶预测系统100B判断需针对右方车道进行预警时，警示灯A将会闪烁，播放器S将会进行语音提醒，而显示屏幕D对应于右方车道的区域D3将会亮灯。本领域普通技术人员应明白，驾驶预测系统100B可提供驾驶者依照使用习惯来自行设定警示的方式，本发明不对此设限。

在另一实施例中，处理装置120可以分别与影像撷取装置110以及输出装置130无线或是有线地连接。影像撷取装置110以及输出装置130可以是安装于运输载具，而处理装置120可以是智能型手机、平板计算机、车用计算机等具有运算功能的电子装置，本发明不对此设限。

图2是根据本发明一实施例所绘示的驾驶预测方法的流程图，而图2的方法流程可以图1的驾驶预测系统100来实现。在本实施例中，存储体122将预先储存一个预测模型，其是根据多个行车影片，以机器学习的方式从中训练而构建出的分类器，藉以预判运输载具的前方路况是否具有潜在危险。这些做为训练素材的行车影片包括车辆正常与不正常驾驶的状况、事故发生前与事故发生后的情境，而预测模型的细节将在后续实施例中详细说明。

请同时参照图1以及图2，首先处理装置120的处理器124将自影像撷取装置110接收运输载具周围的影像序列(步骤S202)。在此，影像撷取装置110所撷取到的影像序列可以例如是与运输载具相距50公尺以下的前车道的影像画面、两侧车道的影像画面以及与运输载具相距50公尺以上的远距前车道的影像画面、远距两侧车道的影像画面。接着，处理器124将判断影像序列是否符合预测模型，以根据运输载具的行驶状况，更新预测模型(步骤S204)。详细来说，处理器124将藉由本领域普通技术人员所熟知的影像分析来将影像序列的影像画面与预测模型进行特征比对，藉以判定影像序列是否符合预测模型。举例来说，预测模型中的分类器可判断影像序列是否存在默认的危险路况，例如蛇行、超车、急刹车、竞速、安全车距不足等无论是运输载具本身或者是其四周车辆的危险驾驶行为所造成的状况。接着，处理器124将进一步地根据影像序列是否符合预测模型以及运输载具的行驶状况来更新预测模型。

在本实施例中，当处理器124判定影像序列符合预测模型时，将控制输出装置130发出警示信号，并且根据运输载具的行驶状态更新预测模型。详细来说，当处理器124判定出影像序列符合预测模型中所默认的危险路况时，将会藉由警示信号来提醒驾驶者应进行例如是减速、刹车、转向、变换车道等预防性的反应。之后，处理器124将藉由运输载具的行驶状态来判定驾驶者对于警示信号发出后的实际反应来更新存储体122中的预测模型。

另一方面，当影像序列不符合预测模型时，处理器124将根据运输载具的行驶状态，更新预测模型。详细来说，当处理器124判定影像序列不符合预测模型时，代表其无法经由目前路况来判定是否存在预设的危险路况，而处理器124仍会藉由运输载具的行驶状态来判定驾驶者是否有异常的驾驶行为以更新存储体122中的预测模型。换言之，处理器124将根据影像序列、驾驶者对于警示信号的驾驶反应以及一般的驾驶行为来针对原有的预测模型进行改善，以产生更为贴近驾驶者的驾驶习惯的预测模型。举例来说，其可用于调整触发输出装置130发出警示信号的敏感度，而其具体实施方式将于稍后叙明。

为了更方便明了，以下将以图3根据本发明另一实施例所绘示的驾驶预测方法的流程图来加以说明图2的实际应用方式以及细节，而图3的方法流程亦可以显示系统100来实现。

请同时参照图1以及图3，首先处理装置120的处理器124将自影像撷取装置110接收运输载具周围的影像序列VS，并且对其进行对焦、白平衡、曝光的调整、裁切等影像前处理(步骤S302)，以加速后续的图像处理速度。

接着，处理器124将判断影像序列VS是否符合预测模型(步骤S304)，以将影像序列VS的影像画面与分类器的预测模型进行比对，再将结果依照是否符合预测模型来进行归类。如前述实施例，存储体122储存了包括对应于蛇行、超车、急刹车、竞速、安全车距不足等多种危险驾驶行为的预测模型，则分类器可以根据影像序列VS是否符合预测模型来判别影像序列VS所属的类别。

当处理器124判定影像序列符合预测模型时，将控制输出装置130发出警示信号(步骤S306)，藉由警示信号来提醒驾驶者应进行例如是减速、刹车、转向、变换车道等预防性的反应。此外，处理器124甚至可选择性地产生车辆制动系统的制动信号(步骤S308)，例如介入刹车系统以发出刹车通知、介入方向灯系统以发出方向灯通知等等。接着，处理器124将藉由判断运输载具是否根据警示信号而具有相对应的行驶状态来判断驾驶者是否确实依据警示信号做出相对应的驾驶反应(步骤S310)。当运输载具根据警示信号做出相对应的行驶状态(即，驾驶者有依据警示信号做出相对应的驾驶反应)时，处理器124将标示影像序列VS为“符合预测模型”(步骤S312)。

在此，当运输载具没有根据警示信号做出相对应的行驶状态(即，驾驶者没有依据警示信号做出相对应的驾驶反应)时，也就是当影像序列VS符合预测模型但与驾驶者的反应方式不符(驾驶行为没有改变)时，处理器124将标示影像序列VS为“不符合预测模型”(步骤S314)。值得注意的是，当处理器判定影像序列VS符合预测模型但未控制输出装置130发出警示信号(即处理器124判定影像序列VS为无需进行任何警示的正常驾驶，但驾驶者却出现预防性的反应而使得运输载具的行驶状态改变)时，亦属于标示为“不符合预测模型”的范畴。

另一方面，当处理器124在步骤S306中就已判定影像序列VS不符合预测模型时，处理器124将藉由判断运输载具的行驶状态是否改变来判断驾驶者是否有异常的驾驶行为(步骤S316)。在此，处理器124是在无法藉由预测模型来对影像序列VS进行分类的情况下，处理器124会将影像序列VS判定为不符合预测模型。原因在于默认模型的训练数据有限，无法包含所有行车状况，因此在针对此类影像序列进行分类时，影像符合度的分数皆低。在此情况下，处理器124则会判断驾驶者是否有例如是减速、刹车、转向、变换车道等异常的驾驶行为。

当运输载具的行驶状态没有改变(即，驾驶者没有异常的驾驶行为)时，处理器124将标示影像序列VS为“不符合预测模型并且不具有异常驾驶行为”(步骤S318)，也就是可视为正常的驾驶状况。当运输载具的行驶状态改变(即，驾驶者有异常的驾驶行为)时，处理器124将标示影像序列VS为“不符合预测模型并且具有异常驾驶行为”(步骤S320)，也就是可视为不正常的驾驶状况，而处理器124可进一步地标示出影像序列VS的驾驶行为。

处理器124会将已标示的影像序列储存于存储体122中(步骤S322)，以供后续做为更新预测模型的依据。换言之，用于更新预测模型的依据则是包括了步骤S312中标示为“符合预测模型”、步骤S314中标示为“不符合预测模型”、步骤S316中标示为“不符合预测模型并且不具有异常驾驶行为”以及步骤S320中标示为“不符合预测模型并且具有异常驾驶行为”的影像序列。

接着，将进入到预测模型的训练阶段，而此阶段可以是运输载具在行进中的实时处理，亦可以是运输载具在非行进中的非实时处理，其可视处理器124的处理效能来设定。处理器124将会根据存储体122所储存的已标示的影像序列VS’以及预测模型以机器学习算法来产生新预测模型(步骤S324)。在此，处理器124可以是基于类神经网络模型来产生预测模型的微调参数或者是重新建立预测模型，而该类神经网络模型可以是采用适于训练具有时间关联性的影像序列的循环神经网络(recurrent neural network，RNN)模型来进行深度学习，然而本发明以此为限。

接着，处理器124将判断已标示的影像序列VS’是否符合新预测模型(步骤S326)，以测试并且验证新预测模型是否有效。当处理器124判定已标示的影像序列VS’符合新预测模型时，将以新预测模型来更新预测模型(步骤S328)，并且储存于存储体122中。当处理器124判定已标示的影像序列VS’不符合新预测模型时，则仍会将不符合新预测模型的影像序列VS’储存回存储体122中，以作为改进数据。不符合新预测模型的原因可包括新预测模型的分类方式对于影像序列VS’的判别较不敏感或者是数据量不足以改变原预测模型的参数。

图4是根据本发明一实施例所绘示的预测模型的构建方法的流程图。

首先，在分类标签阶段S41中，处理装置120的处理器124将取得并且分类影片文件(步骤S411)，这些影片文件的分类可包括蛇行、超车、急刹车、竞速、安全车距不足等多种已知危险驾驶类型的影片文件，亦包括正常无事故的影片文件。接着，处理器124会将各个分类中的影片文件进行5～15秒的影片文件撷取(步骤S412)，而所撷取的影片文件至少包括尚未出现事故、事故发生中以及事故发生结束的连续画面。接着，处理器124将进行影片文件转换(步骤S413)，以将所撷取的影片文件转换成例如是30fps的图形文件，并且将大量具有相同分类标签但不同事故的文件作为机器学习的训练素材。也就是说，处理器124将以多个不同危险路况以及正常路况的多个训练影像序列来训练类神经网络以构建出预测模型。本实施例中将以构建“蛇行”的预测模型来进行说明，而其它可依此类推。

在机器学习阶段S42中，处理器124将取得影片文件编号为001～200的蛇行影片(步骤S421)，并且以RNN模型来训练这些影片(步骤S422)，以产生预测模型(步骤S423)，从而产生对应于蛇行的预测分类器(步骤S424)。

之后，在分类器测试阶段S43，处理器124将取得影片文件编号201～300的蛇行影片(步骤S431)来做为测试影片，并且输入至预测分类器(步骤S432)，以取得预测结果(步骤S433)，以验证该预测分类器是否有效。处理器124可视预测结果来选择增加影片文件编号301～400的蛇行影片(步骤S434)、减少影片文件编号001～100的蛇行影片或者是替换影片文件编号401～600的蛇行影片来重新训练至预测分类器(步骤S425)。

在“蛇行”预测分类器的实际应用上，当处理器124判别出前方车辆具有“蛇行”的危险驾驶行为时，亦即影像序列具有符合“蛇行”的特征，并且将触发输出装置130发出警示信号的分数阈值设定为80分，其中低于80分者将不警示，而超过且包含80分者将警示。当处理器124判定发生多次“蛇行”的危险驾驶警示但驾驶者没有包含减速、转动方向盘等驾驶反应后，处理器124将触发输出装置130发出警示信号的分数阈值调整至81分，其中低于81分者将不警示，而超过且包含81分者将警示。处理器124将持续地调整分数阈值至驾驶者进行反应为止，例如85分，也就是几乎每次达到85分时，驾驶者将会有驾驶反应。藉此，处理器124可逐步地将触发输出装置130发出警示信号调整至适宜驾驶者反应前方“蛇行”的警示敏感度，而在此实施例中将分数阈值由80分调整至85分形同是降低对于“蛇行”的警示敏感度。基于此，更新后的预测模型将更为贴近驾驶者对于潜在危险的警示敏感度，亦即更为贴近驾使者的驾驶习惯。

然而，基于提高行车安全警戒，在固定时间后，处理器124可将往下调整分数阈值至84分，原因如以下三点。第一是基于长时间驾驶可能会降低驾驶者的驾驶反应能力，故提高驾驶预测系统100对于“蛇行”的警示敏感度，以增加行车安全。第二是避免驾驶预测系统100对于“蛇行”永远设定在低敏感度，故进行调高测试。例如调整至84分后，驾驶者产生反应，则代表提高“蛇行”的警示敏感度是有效的。第三是可降低分数阈值至驾驶者不再反应时，可再调高分数，做为驾驶预测系统100趋近于驾驶行为的自动调整。

综上所述，本发明所提出的驾驶预测方法及其处理装置与系统，其可利用运输载具周围的实时影像以及根据驾驶者的驾驶习惯所构建的预测模型来监控并且预判路况，在驾驶者尚未警觉前即进行警示，以达到预测与预防碰撞或追撞的事故发生。

虽然本发明已以实施例公开如上，然其并非用来限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视随附的权利要求书所界定者为准。

Claims (15)

1.一种驾驶预测方法，适用于运输载具中的处理装置，其中该处理装置连接于影像撷取装置以及输出装置并且预先储存预测模型，该方法包括下列步骤：

自该影像撷取装置接收该运输载具周围的影像序列；以及

判断该影像序列是否符合该预测模型，以根据该运输载具的行驶状况，更新该预测模型。

2.如权利要求1所述的方法，其中判断该影像序列是否符合该预测模型，以根据该运输载具的该行驶状况，更新该预测模型的步骤包括：

当该影像序列符合该预测模型时，控制该输出装置发出警示信号并且根据该运输载具的该行驶状况，更新该预测模型；以及

当该影像序列不符合该预测模型时，根据该运输载具的该行驶状况，更新该预测模型。

3.如权利要求1所述的方法，其中该预测模型关联于多个危险路况，而判断该影像序列是否符合该预测模型的步骤包括：

依据是否可利用该预测模型来判断该影像序列是否具有任何所述危险路况，从而判定该影像序列是否符合该预测模型。

4.如权利要求2所述的方法，其中更新该预测模型是用于调整触发该输出装置发出该警示信号的敏感度。

5.如权利要求2所述的方法，其中当该影像序列符合该预测模型时，控制该输出装置发出该警示信号并且根据该运输载具的该行驶状况，更新该预测模型的步骤包括：

判断该运输载具是否根据该警示信号而具有相对应的行驶状态，据以标示该影像序列，以产生已标示的影像序列；以及

根据该已标示的影像序列，更新该预测模型。

6.如权利要求2所述的方法，其中判断该运输载具是否根据该警示信号做出相对应的该行驶状态，据以标示该影像序列，以产生该已标示的影像序列的步骤包括：

当该运输载具根据该警示信号做出相对应的该行驶状态时，标示该影像序列为符合该预测模型；以及

当该运输载具没有根据该警示信号做出相对应的该行驶状态时，标示该影像序列为不符合该预测模型。

7.如权利要求5所述的方法，还包括：

当该影像序列符合该预测模型并且未控制该输出装置发出该警示信号时，若该运输载具的行驶状态改变时，标示该影像序列为不符合该预测模型。

8.如权利要求2所述的方法，其中当该影像序列不符合该预测模型时，根据该运输载具的该行驶状况，更新该预测模型的步骤包括：

判断该运输载具的行驶状态是否改变，据以标示该影像序列，以产生已标示的影像序列；以及

根据该已标示的影像序列，更新该预测模型。

9.如权利要求8所述的方法，其中判断该运输载具的该行驶状态是否改变，据以标示该影像序列，以产生该已标示的影像序列的步骤包括：

当该运输载具的该行驶状态改变时，标示该影像序列为不符合该预测模型并且具有异常驾驶；以及

当该运输载具的该行驶状态没有改变时，标示该影像序列为不符合该预测模型并且不具有异常驾驶。

10.如权利要求1所述的方法，其中在自该影像撷取装置接收该运输载具周围的该影像序列的步骤之前，该方法还包括：

取得具有多个不同危险路况以及正常路况的多个训练影像序列，据以训练类神经网络，以产生该预测模型。

11.如权利要求1所述的方法，其中更新该预测模型之前，该方法还包括：

取得至少一已标示的影像序列，其中各所述已标示的影像序列标示出其是否符合该预测模型；

根据所述已标示的影像序列以及该预测模型，产生新预测模型；以及

判断所述已标示的影像序列是否符合该新预测模型，据以判定是否更新该预测模型。

12.如权利要求11所述的方法，其中更新该预测模型的步骤包括：

当判定所述已标示的影像序列符合该新预测模型时，以该新预测模型来更新该预测模型；以及

当判定所述已标示的影像序列不符合该新预测模型时，不更新该预测模型。

13.如权利要求2所述的方法，其中当该影像序列符合该预测模型时，该方法还包括：

控制该运输载具的制动系统。

14.一种处理装置，连接于安装于运输载具的影像撷取装置以及输出装置，包括：

存储体，储存预测模型；以及

处理器，耦接该存储体，用于：

自该影像撷取装置接收该运输载具周围的影像序列；以及

判断该影像序列是否符合该预测模型，并且根据该运输载具的行驶状况，更新该预测模型。

15.一种驾驶预测系统，设置于运输载具，包括：

影像撷取装置，用于撷取影像；

输出装置，用于输出警示信号；以及

处理装置，连接于该影像撷取装置以及该输出装置，用于：

自该影像撷取装置接收该运输载具周围的影像序列；以及

判断该影像序列是否符合该预测模型，以根据该运输载具的行驶状况，更新该预测模型。