CN112874527A - 辅助驾驶装置、包括其的车辆及相应的方法和介质 - Google Patents

辅助驾驶装置、包括其的车辆及相应的方法和介质 Download PDF

Info

Publication number
CN112874527A
CN112874527A CN201911200776.7A CN201911200776A CN112874527A CN 112874527 A CN112874527 A CN 112874527A CN 201911200776 A CN201911200776 A CN 201911200776A CN 112874527 A CN112874527 A CN 112874527A
Authority
CN
China
Prior art keywords
road sign
vehicle
information
driver
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911200776.7A
Other languages
English (en)
Inventor
唐帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to CN201911200776.7A priority Critical patent/CN112874527A/zh
Publication of CN112874527A publication Critical patent/CN112874527A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供用于车辆的辅助驾驶装置、包括该辅助驾驶装置的车辆及相应的辅助驾驶方法和计算机可读存储介质。该辅助驾驶装置包括:图像捕获单元,被配置用于捕获所述车辆前方的道路标志的多个图像;注视检测单元,被配置用于检测所述车辆的驾驶员对所述道路标志的注视;处理单元,被配置用于获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;输出单元,被配置用于将恢复的所述道路标志的信息呈现给所述驾驶员。利用本发明,能够帮助车辆驾驶员识别和留意前方道路标记的信息,改进驾驶员对道路标记的查看和有效利用,提高驾驶体验和驾驶安全性。

Description

辅助驾驶装置、包括其的车辆及相应的方法和介质
技术领域
本发明涉及车辆技术领域,更具体而言,涉及一种用于车辆的辅助驾驶装置、包括该辅助驾驶装置的车辆及相应的用于车辆的辅助驾驶方法和计算机可读存储介质。
背景技术
在车辆驾驶期间,驾驶员对前方道路标志的察看可能因照明状况、道路标志被部分遮挡等而受影响。在这种情况下,驾驶员在进行接下来的路线选择或驾驶决策方面可能有困难。另外,例如若驾驶员对前方限高标志或禁行标志的查看受影响而导致对此限高标志或禁行标志的提示或警告内容的忽视,可能发生事故。已经有因驾驶员忽视限高标志而造成车辆被削顶的严重事故。
CN102308304A公开了一种确定有效车道标记的方法和装置。该方法和装置虽然涉及道路标志的处理,但目的在于改进对永久车道标记和暂时车道标记的区分,并不涉及上文提到的问题。
发明内容
本发明的目的在于,提供一种能够帮助车辆驾驶员识别和留意前方道路标记的方案,以改进驾驶员对道路标记的查看和有效利用,方便驾驶员进行路线选择和驾驶决策,提高驾驶体验和驾驶安全性。
具体地,根据本发明的第一方面,提供一种用于车辆的辅助驾驶装置,其包括:
图像捕获单元,被配置用于捕获所述车辆前方的道路标志的多个图像;
注视检测单元,被配置用于检测所述车辆的驾驶员对所述道路标志的注视;
处理单元,被配置用于获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;
输出单元,被配置用于将恢复的所述道路标志的信息呈现给所述驾驶员。
可选地,所述恢复的所述道路标志的信息由所述处理单元基于所述多个图像恢复。
可选地,所述处理单元被进一步配置用于:仅在确定所述图像帧中的所述道路标志不完整的情况下恢复所述道路标志的信息。
可选地,所述恢复的所述道路标志的信息为文本信息。
根据本发明的第二方面,提供一种车辆,其包括根据本发明第一方面的辅助驾驶装置。
根据本发明的第三方面,提供一种用于车辆的辅助驾驶方法,其包括:
捕获所述车辆前方的道路标志的多个图像;
检测所述车辆的驾驶员对所述道路标志的注视;
获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;
将恢复的所述道路标志的信息呈现给所述驾驶员。
可选地,所述恢复的所述道路标志的信息基于所述多个图像恢复。
可选地,仅在确定所述图像帧中的所述道路标志不完整的情况下恢复所述道路标志的信息。
可选地,所述恢复的所述道路标志的信息为文本信息。
根据本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时实现根据本发明第三方面的方法的步骤。
根据本发明的方案,利用车载图像捕获元件持续捕获车辆前方的道路标志的图像,利用捕获的图像判断驾驶员是否查看到其注视的道路标志的完整信息,并在确定驾驶员未能查看到其所查看的道路标志的完整信息时向驾驶员呈现基于捕获的图像恢复的道路标志的信息。因而,利用本发明,能够帮助车辆驾驶员识别和留意前方道路标记的信息,改进驾驶员对道路标记的查看和有效利用,方便驾驶员进行路线选择和驾驶决策,提高驾驶体验和驾驶安全性。
附图说明
以示例的方式参考以下附图描述本发明的非限制性且非穷举性实施例,其中:
图1是示出根据本发明一实施例的用于车辆的辅助驾驶装置的示意图;
图2是示意性示出根据本发明一实施例的用于车辆的辅助驾驶方法的流程图。
具体实施方式
为了使本发明的上述以及其他特征和优点更加清楚,下面结合附图进一步描述本发明。应当理解,本文给出的具体实施例是出于向本领域技术人员解释的目的,仅是示例性的,而非限制性的。
首先,对本发明进行概述。
人类驾驶员在驾驶车辆时不能一直注视着车辆前方的某个对象,例如道路标记。当人类驾驶员在某个时刻想要查看该道路标记的信息时,可能因为某种原因而不能清楚地看到该道路标记的信息,所述原因可能是例如光照原因(如反光、光照不足以及逆光)或道路标记被部分遮挡(例如被道路旁的树等部分遮挡)等。作为对比,合适地设置在车辆上的摄像头或其他适于进行图像捕获的传感器能够在一段时间内持续“注视”车辆前方的某个道路标记。鉴于此,发明人创造性地提出了如下方案:借助设置在车辆合适位置的摄像头持续捕获车辆前方道路标记的图像,在判断人类驾驶员未能看到其注视的前方道路标记的完整信息的情况下,向人类驾驶员提供恢复的该道路标记的信息,由此弥补人眼的上述局限并避免由此可能导致的问题。
在本文中,“道路标记”应当被广义地理解,意在包括在各种道路上直接或借助于道路设施设置的、承载或显示旨在提供给道路交通参与者或使用者的信息的任何对象。在本文中,“道路标记”亦可称为“道路标志”,可与“道路标志”互换使用。“道路标记”可以为各种形式,例如道路表面上的符号、图形、文字等,沿道路架设的指示牌或显示屏,道路交通参与者或使用者可见的任何其他形式的标记(包括各种临时道路标记)等等。“道路标记”可以指示例如交通相关的信息——如与道路使用/道路状况相关的信息、与天气相关的信息,以及任何其他旨在提供给道路交通参与者或使用者的信息。“道路标记”的信息可以呈各种形式,例如文本、图形、符号等。
以城市道路为例,直接设置在其表面上的各种道路标记的示例可以包括,例如但不限于:转弯提示标记、并道提示标记、单行道指示标记、公交专用车道指示标记、应急车道指示标记、进/出主路/辅路标记等;借助于道路设施沿其设置的各种道路标记的示例可以包括,例如但不限于:指示牌标记——其可以指示例如当前道路名称、可转入的其他道路的名称/距转入位置的距离、可使用当前道路的车辆类型等,设置在过街天桥上的指示牌标志——其可以指示例如高度限制、允许通行的车辆类型等,显示屏标记——其可以指示例如相关道路或区域的当前交通情况(如是否存在交通拥堵)、突发交通状况或事故、临时道路施工/相应绕行建议等。
以高速公路为例,相关的各种道路标记的示例可以包括,例如但不限于:其表面上的应急车道指示标记、出口标记、入口标记等,沿其架设的指示牌标记——其可以指示例如可去往的目的地方向、前方可选入口或出口、距离信息等,沿其架设的显示屏标记——其可以指示例如天气信息、高速公路被封闭或开放的信息、突发交通状况或事故,等等。
图1示意性示出根据本发明一实施例的用于车辆的辅助驾驶装置100。下文中,该车辆可以车辆V表示。
辅助驾驶装置100包括图像捕获单元101、注视检测单元102、处理单元103和输出单元104。图像捕获单元101和注视检测单元102均与处理单元103通信地耦合。处理单元103还通信地耦合至输出单元104。
图像捕获单元101被配置用于捕获车辆V前方的道路标志的多个图像。图像捕获单元101可以是设置于车辆V内部和/或外部合适位置处的摄像头或任何其他合适的传感器,或其任何合适组合。本文中,摄像头或任何其他适于进行图像捕获的部件可以统称为图像捕获部件。图像捕获单元101可以可选地设置于车辆V的顶部、前方上部、前方下部、前保险杠等适于放置用于捕获前方道路标志的图像的部件的位置中的一个或多个处。例如,图像捕获单元101可以包括设置于车辆V的顶部、前方上部、前方下部或前保险杠上的单个图像捕获部件,或者可以包括设置于车辆V的顶部、前方上部、前方下部和/或前保险杠上的多个分开的图像捕获部件。在一个实施例中,图像捕获单元101包括设置于车辆V的车顶的摄像头。图像捕获单元101持续地捕获车辆V前方的道路标志的图像是有利地;这样可以充分利用图像捕获单元101。另外,图像捕获单元101可以被选择性地启用或禁用;这样,可以提供使用灵活性,例如仅在需要的时段利用图像捕获单元101捕获车辆V前方的道路标志的图像、在总可用电力不充足的情况下禁用图像捕获单元101,另外可以节约资源。图像捕获单元101捕获的车辆V前方的道路标志的多个图像可以是多个连续的图像帧或多个不连续的图像帧;在前者的情况下,这多个图像即为多个连续的图像帧组成的视频。
注视检测单元102被配置用于检测车辆V的驾驶员对所述道路标志的注视。注视检测单元102可以包括设置于车辆V内部的摄像头或任何其他适于捕获包括眼睛的图像/视频的部件。例如,注视检测单元102可以是设置在车辆内部驾驶座前侧上方的摄像头、适于佩戴在驾驶员头部的摄像头等,或其任何合适组合。在一个实施例中,注视检测单元102包括设置于车辆V内部位于风挡玻璃后的位置处——尤其是在驾驶员一侧靠近风挡玻璃上部的位置处——的摄像头。例如,该摄像头可以是红外摄像头或其他适于捕获包括驾驶员眼睛的图像/视频的摄像头。该图像/视频可被处理以检测和跟踪驾驶员眼睛的注视方向。结合车辆V周围的对象信息,即可确定驾驶员眼睛所注视的对象,所述对象例如车辆V前方的某道路标志。这样的确定眼睛注视方向和所注视的对象的技术是本领域公知的,这里不再赘述。对注视方向和所注视的对象的确定可以参照合适的坐标系进行,该坐标系例如基于车辆V本身建立的三维坐标系。
处理单元103被配置用于获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息。
如上所述,车辆V的驾驶员对所述道路标志的注视由注视检测单元102检测,这样的检测可基于捕获的包括所述驾驶员的眼睛的图像/视频进行。由所述图像/视频亦可获得与驾驶员对道路标志的注视对应的时间段,该时间段即驾驶员注视道路标志的时间窗。该时间窗可由注视检测单元102本身从其捕获的图像/视频获取、然后提供给处理单元103,也可以由处理单元103基于注视检测单元102捕获的图像/视频获取。
另一方面,图像捕获单元101捕获的道路标志的各个图像帧的捕获时间可基于该图像帧获得。所述各个图像帧的捕获时间可由图像捕获单元101本身从其捕获的图像获取、然后提供给处理单元103,也可以由处理单元103基于图像捕获单元101捕获的图像获取。
这样,处理单元103可以获取图像捕获单元101捕获的道路标志的图像中的、落在与驾驶员对该道路标志的注视相应的时间窗内的图像帧;为便于描述,处理单元103获取的这样的图像帧亦称为“注视相关帧”。处理单元103还可以确定这些获取的图像帧中的道路标志是否完整。若这些获取的图像帧中的道路标志均不完整,处理单元103可以提供恢复的所述道路标志的信息,供呈现给驾驶员。
处理单元103可以多种方法确定其获取的注视相关帧中的道路标志是否完整。
例如,根据方法-1,对于每个注视相关帧,处理单元103可以检测其像素的平均照度值是否低于一个阈值或高于一个阈值。若其像素的平均照度值低于一个阈值,处理单元可以确定该注视相关帧是在照明不足的情况下捕获的。若其像素的平均照度值高于一个阈值,处理单元可以确定该注视相关帧是在强光下捕获的。在确定该注视相关帧是在强光下或照明不足的情况下捕获的情况下,处理单元103可以确定该注视相关帧中的道路标志不完整;反之,处理单元103可以确定该注视相关帧中的道路标志是完整的。
根据方法-2,若道路标志的信息是文本形式的,对于每个注视相关帧,处理单元103可以检测其中的文本的边缘的锐度是否低于一个阈值。若检测到该注视相关帧中的文本的边缘的锐度低于一个阈值,处理单元103可以确定该注视相关帧是模糊的并且其中的道路标志不完整;反之,处理单元103可以确定该注视相关帧中的道路标志是完整的。
根据方法-3,对于每个注视相关帧,处理单元103可以检测是否图像捕获单元101捕获的道路标志的图像中的另外一个或多个图像帧中的信息的至少一部分在该注视相关帧中缺失。若检测到图像捕获单元101捕获的道路标志的图像中的另外一个或多个图像帧中的信息的一个或多个部分在该注视相关帧中缺失,处理单元103可以确定该注视相关帧中的道路标志不完整;反之,处理单元103可以确定该注视相关帧中的道路标志是完整的。
处理单元103可以单独使用上述方法-1、方法-2和方法-3中的一种,或者可以组合使用其中的两种或更多种以提高可靠性。上述方法-1、方法-2和方法-3均可以利用现有技术中已知的算法和手段具体实现,本文不作赘述。
恢复的所述道路标志的信息可基于图像捕获单元101捕获的所述道路标志的图像恢复,该恢复处理可由处理单元103或由图像捕获单元101进行。
有利地,由处理单元103进行上述恢复处理,例如仅在必要时进行该恢复处理。
例如,处理单元103可以从图像捕获单元101获取图像捕获单元101所捕获的道路标志的多个图像,对这些图像进行检测和处理以确定道路标志的信息的具体形式并采用合适的技术由该图像恢复道路标志的信息。
图像捕获单元101所捕获的道路标志的多个图像包括多个连续的图像帧(即,视频)或多个非连续的图像帧。例如,处理单元103可以逐一地对这多个图像帧进行信息检测/恢复。可选地,处理单元103可以仅对从这多个图像帧选取的一些图像帧逐一地进行信息检测/恢复;例如,处理单元103可以从图像捕获单元101所捕获的道路标志的多个图像选取满足预定分辨率、清楚性和/或完整性标准或要求的一些图像帧进行信息检测/恢复。对于经受信息检测/恢复处理的每个图像帧,处理单元103可以得到:检测/恢复得到的信息(下文亦称为“恢复的帧信息”)和相应的置信度。置信度是对相应的“恢复的帧信息”的可靠性的度量:较高的置信度指示相应的“恢复的帧信息”的较高的可靠性;较低的置信度指示相应的“恢复的帧信息”的较低的可靠性。例如,置信度可以用0-1的百分比形式的置信分表示。根据图像捕获单元101所捕获的道路标志的图像,可选地结合针对其中多个图像帧得到的恢复的帧信息,可以得到恢复的单个单位信息或多个连续的单位信息在道路标志中所处的相对位置。这样,基于针对各个图像帧得到的恢复的帧信息/置信度以及相关的相对位置,可以恢复出道路标志的整体信息。这里,单位信息可以指构成信息的最小组成单位的信息。例如,对于文本信息,单位信息可以指单个字符,例如单个中文字符、单个英文字符。
下面,结合文本形式的信息对相关细节作进一步示例性说明。
在道路标志的信息为文本形式的情况下,针对每个图像帧得到的恢复的帧信息亦可以称为“恢复的帧文本”,处理单元103针对一些图像帧得到的恢复的帧文本/相应的置信度可以如下:第5帧:双50%榆/90%;……;第35帧:双80%路80%;……,其中的百分比为置信度,百分比前面的汉字为相应的恢复的帧文本。根据图像捕获单元101所捕获的道路标志的图像,可选地结合针对这些图像帧得到的恢复的帧文本,可以得到恢复的每个单位字符(例如上文的“双”、“榆”、“路”)的相对位置,例如“双”处于最前面、“榆”处于中间、“路”处于最后。这样,基于针对这些图像帧得到的恢复的帧文本/置信度以及相关的相对位置,可以恢复出道路标志的整体信息,例如“双榆路”。
恢复的道路标志的整体信息可以是完整的或不完整的,取决于恢复处理所基于的图像帧。无论如何,恢复的道路标志的整体信息通常会比驾驶员能查看到的更完整。
处理单元103可以可选地与其他可用的信息源通信地耦合,以由其他信息源获取可用于恢复或获得所述道路标志的信息的数据/信息。这些其他信息源可以是例如:适于与车辆V通信的其他车辆或在线服务器,车辆V能访问的数据库如地图或导航数据库,等等。
输出单元104被配置用于将恢复的所述道路标志的信息呈现给所述驾驶员。例如,输出单元104可以将恢复的所述道路标志的信息以视觉输出和/或音频输出的形式呈现给车辆V的驾驶员。以恢复的所述道路标志的信息是“双榆路”为例,输出单元104可以向驾驶员呈现可视形式和/或声音形式的如下信息:您查看的道路标志中写着双榆路。输出单元104可以包括或通信地耦合到车载显示屏和/或扬声器,以通过该显示屏和/或扬声器呈现恢复的所述道路标志的信息。另外,输出单元104可以通信地耦合到车辆V的驾驶员的移动设备如手机等,以通过其呈现恢复的所述道路标志的信息。
图2示意性示出根据本发明一实施例的用于车辆的辅助驾驶方法200。该辅助驾驶方法可利用如上文描述的本发明的辅助驾驶装置实施。
在步骤S201,捕获车辆前方的道路标志的多个图像。
在步骤S201之后,过程进行至步骤S202。
在步骤S202,检测所述车辆的驾驶员对所述道路标志的注视。
在步骤S202之后,过程进行至步骤S203。
在步骤S203,获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息。
在步骤S203之后,过程进行至步骤S204。
在步骤S204,将恢复的所述道路标志的信息呈现给所述驾驶员。
上述步骤S201、S202、S203和S204中的每个可由本发明的辅助驾驶装置的相应单元执行,如上文结合图1所述。另外,如上文结合本发明的辅助驾驶装置的各单元所述的各操作和细节可被包括或体现在本发明的辅助驾驶方法中。
利用本发明,可以在必要时,提醒驾驶员其想要查看的道路标记的信息,及时、高效地满足驾驶员的需要,由此可以显著提升驾驶员的体验、提高安全性。
应理解,本发明的辅助驾驶装置的各个单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器,也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各单元的操作。所述各单元各自可以实现为独立的部件或模块,或者两个或更多个单元可实现为单个部件或模块。
本领域普通技术人员应理解,图1中示出的辅助驾驶装置的示意图仅仅是与本发明的方案相关的部分结构的示例性说明框图,并不构成对体现本发明的方案的计算机设备、处理器或计算机程序的限定。具体的计算机设备、处理器或计算机程序可以包括比图中所示更多或更少的部件或模块,或者组合或拆分某些部件或模块,或者可具有不同的部件或模块布置。
在一个实施例中,提供了一种计算机设备,其包括存储器和处理器,所述存储器上存储有可由处理器执行的计算机程序,处理器执行所述计算机程序时执行本发明的辅助驾驶方法的各步骤。该计算机设备可以广义地为服务器、车载终端,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的辅助驾驶方法的步骤。
本发明可以实现为一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时实现本发明的方法的步骤。在一个实施例中,所述步骤包括:捕获车辆前方的道路标志的多个图像;检测所述车辆的驾驶员对所述道路标志的注视;获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;将恢复的所述道路标志的信息呈现给所述驾驶员。在一个实施例中,所述计算机程序被分布在网络耦合的多个计算机设备或处理器上,以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作,或者两个或更多个方法步骤/操作,可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行,并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作,或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解,本发明的辅助驾驶方法的全部或部分步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成,所述的计算机程序可存储于非暂时性计算机可读存储介质中,该计算机程序被执行时导致本发明的辅助驾驶方法的步骤被执行。根据情况,本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述,但这些技术特征的任何组合都应当被认为由本说明书涵盖,只要这样的组合不存在矛盾。
尽管结合实施例对本发明进行了描述,但本领域技术人员应理解,上文的描述和附图仅是示例性而非限制性的,本发明不限于所公开的实施例。在不偏离本发明的精神的情况下,各种改型和变体是可能的。

Claims (10)

1.一种用于车辆的辅助驾驶装置,包括:
图像捕获单元,被配置用于捕获所述车辆前方的道路标志的多个图像;
注视检测单元,被配置用于检测所述车辆的驾驶员对所述道路标志的注视;
处理单元,被配置用于获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;
输出单元,被配置用于将恢复的所述道路标志的信息呈现给所述驾驶员。
2.根据权利要求1所述的辅助驾驶装置,其中,所述恢复的所述道路标志的信息由所述处理单元基于所述多个图像恢复。
3.根据权利要求2所述的辅助驾驶装置,其中,所述处理单元被进一步配置用于:仅在确定所述图像帧中的所述道路标志不完整的情况下恢复所述道路标志的信息。
4.根据权利要求1-3中任一项所述的辅助驾驶装置,其中,所述恢复的所述道路标志的信息为文本信息。
5.一种车辆,包括根据权利要求1-4中任一项所述的辅助驾驶装置。
6.一种用于车辆的辅助驾驶方法,包括:
捕获所述车辆前方的道路标志的多个图像;
检测所述车辆的驾驶员对所述道路标志的注视;
获取所述多个图像中落在与所述注视相应的时间窗内的图像帧,并在确定所述图像帧中的所述道路标志不完整的情况下提供恢复的所述道路标志的信息;
将恢复的所述道路标志的信息呈现给所述驾驶员。
7.根据权利要求6所述的辅助驾驶方法,其中,所述恢复的所述道路标志的信息基于所述多个图像恢复。
8.根据权利要求7所述的辅助驾驶方法,其中,仅在确定所述图像帧中的所述道路标志不完整的情况下恢复所述道路标志的信息。
9.根据权利要求6-8中任一项所述的辅助驾驶方法,其中,所述恢复的所述道路标志的信息为文本信息。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时实现权利要求6至9中任一项所述的方法的步骤。
CN201911200776.7A 2019-11-29 2019-11-29 辅助驾驶装置、包括其的车辆及相应的方法和介质 Withdrawn CN112874527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911200776.7A CN112874527A (zh) 2019-11-29 2019-11-29 辅助驾驶装置、包括其的车辆及相应的方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911200776.7A CN112874527A (zh) 2019-11-29 2019-11-29 辅助驾驶装置、包括其的车辆及相应的方法和介质

Publications (1)

Publication Number Publication Date
CN112874527A true CN112874527A (zh) 2021-06-01

Family

ID=76038620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911200776.7A Withdrawn CN112874527A (zh) 2019-11-29 2019-11-29 辅助驾驶装置、包括其的车辆及相应的方法和介质

Country Status (1)

Country Link
CN (1) CN112874527A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN105426399A (zh) * 2015-10-29 2016-03-23 天津大学 一种基于眼动的提取图像兴趣区域的交互式图像检索方法
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
WO2017162832A1 (en) * 2016-03-25 2017-09-28 Jaguar Land Rover Limited Virtual overlay system and method for occluded objects
CN109154980A (zh) * 2016-05-19 2019-01-04 大陆汽车有限责任公司 用于验证交通标志的内容和安装地点的方法
CN109278753A (zh) * 2018-09-27 2019-01-29 北京理工大学 一种基于驾驶员视觉可见信息的智能车辆辅助驾驶方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN105426399A (zh) * 2015-10-29 2016-03-23 天津大学 一种基于眼动的提取图像兴趣区域的交互式图像检索方法
WO2017162832A1 (en) * 2016-03-25 2017-09-28 Jaguar Land Rover Limited Virtual overlay system and method for occluded objects
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN109154980A (zh) * 2016-05-19 2019-01-04 大陆汽车有限责任公司 用于验证交通标志的内容和安装地点的方法
CN109278753A (zh) * 2018-09-27 2019-01-29 北京理工大学 一种基于驾驶员视觉可见信息的智能车辆辅助驾驶方法

Similar Documents

Publication Publication Date Title
US11767024B2 (en) Augmented reality method and apparatus for driving assistance
US10126141B2 (en) Systems and methods for using real-time imagery in navigation
CN115620545A (zh) 用于辅助驾驶的增强现实的方法及装置
DE112010005395B4 (de) Strasse-Fahrzeugkooperations-Fahrsicherheits-Unterstützungsvorrrichtung
CN106796755B (zh) 在抬头显示器上增强路面对象的安全系统
KR100819047B1 (ko) 교차로 중심선 예측 장치 및 방법
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
US9594960B2 (en) Visualizing video within existing still images
JP4836582B2 (ja) 車載装置
CN112163543A (zh) 一种车辆违法占道的检测方法及系统
CN108871369B (zh) 车用导航地图显示方法、电子设备、服务器及存储介质
US20150025800A1 (en) Method for Monitoring Vehicle Driving State and Vehicle Navigation Device for Achieving the Same
EP3530521B1 (en) Driver assistance method and apparatus
US20180158327A1 (en) Method for generating a digital record and roadside unit of a road toll system implementing the method
JP7155750B2 (ja) 情報システムおよびプログラム
CN111032413A (zh) 用于运行机动车的屏幕的方法以及机动车
JP5522475B2 (ja) ナビゲーション装置
CN115489536B (zh) 一种驾驶辅助方法、系统、设备及可读存储介质
WO2017038128A1 (ja) 違反者特定装置およびこれを備えた違反者特定システム
CN112874527A (zh) 辅助驾驶装置、包括其的车辆及相应的方法和介质
US20190299854A1 (en) Vehicle, driving assistance system, and driving assistance method thereof
JP4851949B2 (ja) ナビゲーション装置
KR102618451B1 (ko) 단속 기준 정보 표출 검증이 가능한 교통 시스템 및검증 정보 제공 방법
CN110599621B (zh) 行车记录仪及行车记录仪的控制方法
JP2022042283A (ja) オブジェクト認識制御装置、およびオブジェクト認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210601