CN109478233A - 识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统 - Google Patents

识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统 Download PDF

Info

Publication number
CN109478233A
CN109478233A CN201780043018.1A CN201780043018A CN109478233A CN 109478233 A CN109478233 A CN 109478233A CN 201780043018 A CN201780043018 A CN 201780043018A CN 109478233 A CN109478233 A CN 109478233A
Authority
CN
China
Prior art keywords
reason
blocking
iteration
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780043018.1A
Other languages
English (en)
Other versions
CN109478233B (zh
Inventor
吉拉姆·芬特
克里斯托弗·吉莱
林秀昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Europe NV SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Europe NV SA filed Critical Toyota Motor Europe NV SA
Publication of CN109478233A publication Critical patent/CN109478233A/zh
Application granted granted Critical
Publication of CN109478233B publication Critical patent/CN109478233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种用于识别由车辆的相机提供的图像序列中的遮挡的原因的方法，所述方法包括迭代地：S10)获取相机的图像；连续获取的图像形成图像序列；S20)检测图像序列的最后的图像中的遮挡；S60)根据时间信息来判定是日间还是夜间；如果判定是夜间，S82)判定打开/关闭所述车辆的前灯是否导致由所述相机获取的图像的变化，S84)在这种情况下，判定对于当前迭代，遮挡的原因推定是道路是黑暗的。用于执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质，能够执行所述方法的驾驶辅助系统。

Description

识别图像序列中的遮挡的原因的方法、执行所述方法的计算 机程序，包含这种计算机程序的计算机可读记录介质、能够执 行所述方法的驾驶辅助系统
技术领域
本发明涉及一种用于识别由安装在正在道路上行驶的车辆中的相机提供的图像序列中的遮挡的原因的方法。
背景技术
相机现在已经成为大多数汽车上，特别是在例如在先进的驾驶员辅助系统(ADAS)的自动驾驶系统中的不可或缺的设备并提供非常有价值的信息。
虽然相机通常具有高可靠性，但在不同情况下，相机可能会遇到导致出现称为遮挡情况的情况的问题，在遮挡情况中相机的视野似乎被遮挡。
在这种遮挡情况下，相机的连续图像获取中，一部分或可能整个图像不会变化或仅非常轻微地变化。
虽然这种情况可能是正常的，例如，如果相机观看的场景没有变化，相反地，这种遮挡情况也可能是由于相机故障或与相机有关的问题引起的，例如挡风玻璃的结冰或成雾，其中，相机放在挡风玻璃后面。
出于这个原因，至少对于安装在车辆上的相机，通常需要检测相机(多个)的遮挡情况并对这种情况做出适当的应对。
已经识别出相机遮挡的问题，并且已经开发了方法以便自动检测相机中的视野遮挡。这种方法例如由文献US 2010/0182450披露。
但是，检测到相机视野被遮挡不足以判定如何应对这种情况。其没有解释为什么视野被遮挡，因此并没有帮助解决问题以便相机再次工作。因此，需要一种提供相机遮挡原因的方法，从而可以采取措施使相机再次正常运行。
本发明是鉴于现有技术的上述问题而构建的，因此本发明的第一个目的是提出一种识别相机遮挡原因的方法。
发明内容
根据本发明，提出了一种用于识别由安装在正在道路上行驶的车辆中的相机提供的图像序列中的遮挡的原因的方法，所述方法包括迭代地执行以下步骤：
S10)获取相机的图像；连续获取的图像因而形成所述图像序列；
S20)检测图像序列的最后的图像中的遮挡；
S60)至少基于时间信息来判定是日间还是夜间；
如果判定是夜间，则执行步骤S80，包括：
S82)判定打开/关闭所述车辆的前灯是否导致由所述相机获取的图像的变化；并且
S84)如果判定打开/关闭前灯导致由所述相机获取的所述图像的变化，则判定对于当前迭代，遮挡的原因推定是道路是黑暗的。
有利地，步骤S82的简单判定使得能够判定遮挡的原因推定是道路是黑暗的。这种“黑暗道路”的情况仅仅是车辆在没有任何标记且始终黑暗的道路上行驶的情况。这种情况可能发生在例如道路刚更新之后，施加车道标记之前。
有利地，该方法使用由汽车的若干传感器提供的信息以及(在一些实施例中)汽车引导通常所需的信息，即包括具有车道标记的车道的记录的数据库，来识别相机的遮挡的原因。
该方法可以进一步适于还识别日间出行期间发生的遮挡的原因。
因此，在实施例中，该方法还包括，如果在迭代期间，在步骤S60中判定是日间，则执行步骤S70，包括：
S72)判定外部温度是否低于低温阈值；
S74)如果判定所述外部温度低于所述低温阈值，则判定对于当前迭代，遮挡的原因推定是结冰或成雾。
借助这种方法，简单地通过判定是日间(步骤S60)并且通过判定外部温度低于低温阈值(步骤S73)，可以判定遮挡的原因推定是结冰或成雾。
结冰情况是在将相机的感测表面与其拍摄的场景分开的壁(这些壁是挡风玻璃的壁或相机的镜头的壁)中的一个壁上形成冰的情况，在该情况中，冰导致图像被遮挡。通常冰会形成在挡风玻璃自身上。
除了代替冰，成雾情况类似，雾形成在将相机的感测表面与场景分开的壁(多个)上。
所述方法基于在计算机上迭代执行的算法。这里的“计算机”一词必须广义地解释为可以位于车辆上或车辆外的任何计算平台，包括一个或多个电子控制单元、图形处理单元(GPU)(多个)、常规计算机(多个)。
所述方法有利地可以实时运行，但不是必需的。如果所述方法不是实时运行的，则在步骤S60考虑的时间当然是获取图像序列的最后的图像的时间。
在上述实施例的变型例中，所述方法还包括：在步骤S70，如果在步骤S72判定外部温度低于低温阈值，则执行以下步骤：
S74)判定是否达到露点；
如果判定未达到露点，则判定对于当前迭代，遮挡的原因以第一概率推定是结冰或成雾；
S75)如果判定达到露点，则判定对于当前迭代，遮挡的原因以高于第一概率的第二概率推定是结冰或成雾。
因此，仅通过检查在步骤S74达到露点，就可以更精确地评估遮挡原因是结冰或成雾的概率：
-如果未达到露点，则将遮挡原因是结冰或成雾的概率设定为第一概率；
-如果达到露点，则将遮挡原因是结冰或成雾的概率设定为高于第一概率的第二概率。
在包括步骤S70的方法的实施例的变型例中，步骤S70还包括步骤S78：如果判定外部温度高于低温阈值，或者在检查是否达到露点的情况中未达到露点，则判定对于当前迭代，遮挡的原因推定是日落/日出情况或无变化景色情况。
有利地，步骤S78的简单判定使得可以判定遮挡的第二原因，即，判定遮挡的原因推定是日落/日出情况或者无变化景色情况。
日落/日出情况是如下情况：可能已经朝向太阳定向的相机受到晕染，由此在这种情况下所获取的图像呈现遮挡。
“无变化景色”情况是如下情况：景色是无变化的，并且更精确地，景色均匀到在连续获取的图像序列中检测到遮挡情况的程度。
所述方法是迭代方法。在每次迭代时，算法可以识别遮挡的推定原因。
在一些实施例中，可以包括改进以便确保所述方法正确地识别出相机遮挡的原因(多个)，并因此增加方法的可靠性。
例如，在实施例中，所述方法还包括：在迭代期间，在执行步骤S60之前，执行以下步骤：
S40)检测图像序列的最后的图像中的车道标记；以及
S45)如果在最后的图像中检测到车道标记，则返回到图像获取步骤S10。
在该实施例中，在步骤S40和S45中，检查是否可以在图像中识别出车道标记，并且在所考虑的迭代中，如果在最后的图像(在步骤S10获取的最后的图像)中检测到车道标记，则不执行步骤S60和S70的遮挡原因的判定。
事实上，如果相机能够检测到车道标记，则推定相机并未真正被遮挡。因此，如果检测到车道标记，则执行所述方法的步骤60和70很可能导致相机遮挡的错误结论。
此外，所述方法的该实施例可以如下改进。
在变型例中，用于识别遮挡原因的方法还包括：在迭代期间，在执行步骤S40之前，执行以下步骤：
S30)基于车辆的位置信息和包括具有车道标记的车道记录的数据库，判定车辆行驶的车道是否具有车道标记；并且
S35)如果车辆行驶的车道没有车道标记，则返回到图像获取步骤S10。
实际上，通过在步骤30执行车道具有标记的简单测试，步骤S30和S35可以有利地导致中断当前迭代并开始新的迭代(在步骤10)。这些步骤S30和S35尤其使得可以避免检测最后的图像中的车道标记，其中，检测最后的图像中的车道标记比检查道路车道是否具有道路标记消耗更多的计算能力。
提高方法可靠性的另一个改进是使用车辆的环境传感器，也就是说，能够检测车辆周围物体的传感器(例如雷达，激光雷达(多个)，......)。
具体地，在实施例中，所述方法还包括：在迭代期间，在执行步骤S60之前，执行以下步骤：
S50)基于除了从图像导出的信息之外的信息，检测车辆前方的道路上是否存在物体；
S55)如果在车辆前方的道路上没有检测到物体，则返回到图像获取步骤S10。
在该情况下，在所考虑的迭代中，仅在检测到在车辆前方的道路上存在物体、但尽管该物体存在仍已经检测到图像序列中的遮挡情况的情况下才执行遮挡原因识别步骤S60和S70。
相反，如果没有检测到物体，则不认为相机的遮挡情况得以充分确认；中止迭代并且所述方法在步骤S10重新开始。
到目前为止所提出的方法仅提供了相机遮挡的推定原因。
为了更可靠地判定相机的遮挡原因，最好是要求所述方法在若干迭代中始终如一地指示相同的原因，以得出该原因确实是相机遮挡原因的结论。
因此，在实施例中，所述方法还包括：当在迭代期间检测到遮挡的第一原因时，执行以下步骤：
S90)评估是否至少对于最后N1次迭代中的每一次检测到遮挡，并且评估是否已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，N1和N2是预定数量；并且
如果至少对于最后N1次迭代中的每一次检测到遮挡，并且已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，则基于遮挡的原因是所述第一原因的判定来触发动作。
该动作可以是例如打开或关闭空调或空气加热器等。
在步骤S90中得出相机遮挡属于某种类型的结论所需的迭代次数可取决于遮挡的类型。例如，得出遮挡是结冰或成雾类型的结论比得出遮挡是日出/日落或无变化景色的结论可能需要更高次数的判定。
所提出的方法可以应用于相机的整个图像，或者仅应用于相机的部分图像。
例如，在所述方法的实施例中，图像是作为由相机获取的较大图像的一部分的局部图像。
为了执行根据本发明的方法，所述方法优选地周期性地包括以下步骤：
S10)获取外部温度；
S12)获取时间，并且可能获取日期；
S14)使用地理定位系统获取车辆的当前位置信息。
作为替代方案，可以认为这些值在整个出行期间或至少在考虑的时段期间是恒定的。
上述地理定位系统，下文称为“GPS”，可以是提供或输出车辆地理位置的任何系统。
GPS可以是通常的基于卫星的GPS，但也可以是提供相同信息的任何系统。例如，可以通过分析由相机获取的图像和/或由激光雷达获取的点云，基于高清晰度地图来判定车辆的地理位置(或至少更新车辆的地理位置，如果已知初始位置)。
此外，所述方法优选地包括周期性地或甚至在每次迭代时控制车辆正在行驶的步骤(可以通过将车辆的速度与最小速度(例如10km/h)进行比较来进行测试)。
根据本发明的方法的结果是可以帮助判定如何对相机的遮挡做出反应的信息。因此，通常，一旦识别出(至少推定)遮挡的原因，或者优选地在步骤S90确认遮挡的原因，则遮挡的原因通常被发送到车辆控制系统和/或车辆的驾驶员。
基于该信息，例如可以基于相机的遮挡原因决定打开或关闭车辆的加热或空调系统。
特别是，如果遮挡的原因判定为结冰或成雾，则驾驶员(或车辆的控制系统)可以根据具体情况决定启动加热器以加热相机外壳、启动除雾器以去除相机的镜头或挡风玻璃上的雾气，等等。
在特定的实现方式中，用于识别图像序列中的遮挡原因的方法的各个步骤由计算机程序指令判定。
因此，本发明还提供了一种计算机程序，其存储在计算机可读存储介质上，并且适合于在计算机中执行，所述程序包括适于当其在计算机上运行时执行上述方法的步骤的指令。
计算机程序可以使用任何编程语言，并且可以是源代码、目标代码或源代码与目标代码之间的中间代码的形式，例如以部分编译的形式，或以任何其它期望的形式。
本发明还提供了一种计算机可读记录介质，包括如上所述的计算机程序的指令。
记录介质可以是能够存储程序的实体或装置。例如，介质可以包括存储装置，例如只读存储器(ROM)，例如光盘(CD)ROM，或微电子电路ROM，或者实际上是磁记录装置，例如软盘或硬盘。
可替代地，记录介质可以是包含程序的集成电路，所述电路适于执行或用于执行所讨论的方法。
本发明的另一个目的是提供一种用于道路车辆的驾驶辅助系统，该驾驶辅助系统包括相机并且能够判定由相机提供的图像序列中的遮挡的原因或至少推定的原因。
这里，驾驶辅助系统定义为提供对驾驶车辆有用的信息和/或控制的任何系统。在本案中，驾驶辅助系统安装或将安装在诸如汽车、卡车等的道路车辆中。
为了执行其功能，驾驶辅助系统通常包括至少一个传感器、电子控制单元和一个或多个反馈装置，它们向驾驶员发送信息和/或代替驾驶员作用于车辆的控制构件(多个)(例如转向轴、制动器、加速器踏板等)，以至少在一些驾驶时段期间减去驾驶员的部分或全部驾驶负荷。
驾驶辅助系统可以是例如由SAE规范J3016定义的1级或更高级别的自动驾驶系统。这种自动驾驶系统是机动车辆驾驶自动化系统，其能够持续地执行部分或全部动态驾驶任务(DDT)。
本发明的上述目的通过一种驾驶辅助系统来满足，所述驾驶辅助系统包括电子控制单元、相机、外部温度传感器，其中电子控制单元、相机和外部温度传感器被配置为安装在车辆中，并且其中电子控制单元被配置为迭代地：
S10)获取相机的图像；连续获取的图像因而形成所述图像序列；
S20)检测图像序列的最后的图像中的遮挡情况；
S60)至少根据时间信息来判定是日间还是夜间；以及
如果在迭代期间，所述电子控制单元判定是夜间：
S82)判定打开/关闭所述车辆的前灯是否导致所述图像的对比度变化；并且
S84)如果所述电子控制单元已经判定打开/关闭前灯导致所述图像的对比度变化，则判定对于当前迭代，遮挡的原因推定是道路是黑暗的。
在驾驶辅助系统的实施例中，电子控制单元还被配置为，如果在迭代期间，电子控制单元判定是日间：
S72)根据外部温度传感器提供的信息来判定外部温度是否低于低温阈值；并且，
S73)如果电子控制单元已经判定外部温度低于低温阈值，则判定对于当前迭代，遮挡的原因推定是结冰或成雾。
在上述实施例的变型例中，驾驶辅助系统还包括湿度传感器，并且所述电子控制单元还被配置为(在步骤S70)：
S74)判定是否达到露点；
如果电子控制单元已经判定外部温度低于低温阈值且未达到露点，则判定对于当前迭代，遮挡的原因以第一概率推定是结冰或成雾；并且
S75)如果电子控制单元已经判定外部温度低于低温阈值且达到露点，则判定对于当前迭代，遮挡的原因以高于第一概率的第二概率推定是结冰或成雾。
在包括特征S72和S73的驾驶辅助系统的上述实施例的变型例中，电子控制单元还被配置为：
S78)如果电子控制单元已经判定外部温度高于低温阈值或未达到露点，则判定对于当前迭代，遮挡的原因推定是日落/日出情况或无变化景色情况。
在驾驶辅助系统的实施例中，所述电子控制单元还被配置为，在迭代期间，在判定是日间还是夜间之前：
S40)检测图像序列的最后的图像中的车道标记；并且
S45)如果在最后的图像中检测到至少一个车道标记，则返回到图像获取步骤S10。
在驾驶辅助系统的实施例中，所述电子控制单元还被配置为，在迭代期间，在判定是日间还是夜间之前：
S50)使用除了从图像导出的信息之外的环境信息，检测车辆前方的道路上是否存在物体；
S55)如果电子控制单元检测到在车辆前方的道路上存在物体，则返回到图像获取步骤S10。
在自动驾驶系统的实施例中，所述电子控制单元还被配置为当在迭代期间已经检测到遮挡的第一原因时：
S90)评估是否至少对于最后N1次迭代中的每一次检测到遮挡，并且评估是否已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，N1和N2是预定数量；并且
如果至少对于最后N1次迭代中的每一次检测到遮挡，并且已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，则基于判定遮挡的原因是所述第一原因来触发动作。
附图说明
通过参考附图，可以更好地理解本发明，并且本发明的许多其它目的和优点对于本领域技术人员将变得显而易见，其中相同的附图标记指代若干图中的相同元件，并且其中：
图1是示出分别在相机的四种不同遮挡情况下获得的四个图像的图；
图2是配备有本发明实施例中的驾驶辅助系统的车辆的示意前视图；
图3是示出本发明第一实施例中的方法的步骤的流程图；
图4是示出形成本发明第二实施例的图3所示方法的变型例的步骤的流程图；以及
图5是示出图2的驾驶辅助系统的物资架构的示意图。
具体实施方式
图2示出了汽车100(车辆的示例)，在汽车100中安装有形成本发明的示例性实施例的驾驶辅助系统10。
在本案中，驾驶辅助系统10(或简称为系统10)是自动驾驶系统，其包括电子控制单元20和若干传感器单元，即相机单元30、激光雷达单元32、外部温度传感器单元34、雷达单元36、近距离声纳传感器单元38、GPS单元40、湿度传感器单元42。如图1所示的这些部件的位置和形状不代表真实部件的实际位置和形状。每个传感器单元可包括一个或多个传感器。例如，相机单元30可包括一个或多个相机，激光雷达单元32可包括一个或多个激光雷达，等等。
为简单起见，在本示例中，将考虑相机单元仅包括一个相机，参考相机30。
尽管系统10包括所有上述传感器单元，但是要求保护的发明可以用较少的传感器单元来实现，如权利要求中所限定的。
图4示出了驾驶辅助系统10的物资结构。
系统10包括电子控制单元20或ECU 20，所有上述传感器单元(传感器单元30、32、34、36、38、40、42)连接到该电子控制单元20或ECU 20。
ECU 20具有计算机的硬件架构。ECU 20包括微处理器22、随机存取存储器(RAM)24、只读存储器(ROM)26、接口28。这些硬件元件可选地与驾驶辅助系统10的其它单元共享。接口28包括：具有(未示出的)显示器的驾驶员接口，用于将信息传递到汽车100的驾驶员；以及与汽车的致动器和其它部件的接口连接。特别地，接口28包括与汽车的前大灯44的连接，这使得可以根据需要打开或关闭前大灯。
用于识别由相机30获取的图像序列中的遮挡原因的计算机程序存储在存储器26中。该程序和存储器26分别是根据本发明的计算机程序和计算机可读记录介质的示例。
ECU 20的只读存储器26实际构成了根据本发明的记录介质，可由处理器22读取，并且在该记录介质上记录有所述程序。
第一实施例
存储在存储器26中的程序包括用于执行用于识别由相机30提供的图像序列中的遮挡原因的第一方法的步骤的指令，这构成了本发明的第一实施例。
现在将参考图1、图2和图3来描述该方法。
如下面将详细解释的，该方法可以提供相机的遮挡的推定原因，或者可以提供关于相机的遮挡原因的更可靠的指示。
该方法使得可以识别出相机遮挡的四种不同原因，如图2所示：
(1)结冰的情况，其中形成在挡风玻璃上(和/或甚至可能在相机的一个镜头上或多个镜头上)的冰使图像模糊并导致检测到相机的遮挡；
(2)成雾的情况，其中形成在挡风玻璃上(和/或甚至可能在相机的一个镜头上或多个镜头上)的雾使图像模糊并导致检测到相机的遮挡；
(3)日落/日出的情况或无变化景色的情况；或者
(4)黑暗的道路的情况。
该方法是迭代方法。以例如每0.1秒的规律间隔执行连续迭代。
在每次迭代中，执行若干功能，这些功能对应于该方法的对应步骤。一些步骤是有条件的步骤，即，仅在满足执行步骤的条件时才执行。
在本实施例中，该方法的所有步骤均由ECU 20执行。通过执行这些步骤，ECU 20识别可能在由相机提供的图像中发生的遮挡的原因。
所述方法的步骤如图3所示。
该方法使用以下参数：
遮挡计数器'Tblock'(整数)，其对已经检测到遮挡情况的迭代次数进行计数。
日间计数器'K_Day'(整数)，其对已经判定遮挡原因推定是“日落/日出或无变化景色”的迭代次数进行计数。
夜间计数器'K_Night'(整数)，其对已经判定遮挡原因推定是道路黑暗(或“黑暗道路”)的迭代次数进行计数。
雾/冰时间计数器'K_Fog'(整数)，其对已经判定遮挡原因推定是结冰或成雾的迭代次数进行计数。
S10-图像获取
在步骤S10，由ECU 20获取由相机30输出的图像。
由于在每次迭代时获取相机30的图像，因此ECU 20连续获取许多图像。这些连续获取的图像形成图像序列。每个图像以本身已知的方式由像素矩阵构成，例如具有800列和600行。
S20-遮挡检测
在步骤S20，ECU 20检测图像序列中的遮挡。基于由ECU 20获取的最后的图像检测遮挡。可以使用用于检测这种遮挡的任何可用算法或方法来检测遮挡(例如，文献US 2010/0182450中所描述的方法)。根据用于检测遮挡的方法来选择使用的图像的数量。
如果在步骤S20检测到遮挡，则ECU 20递增遮挡计数器Tblock(步骤S25)，然后在步骤S30该过程继续。
相反，如果在步骤S20没有检测到遮挡，则将所有计数器Tblock，K_Day，K_Night，K_Fog重置为0(步骤S26)，然后在步骤S10重新开始该过程。
S30，S35-车道标记存在检测
在步骤S30，ECU 20判定车辆行驶的车道是否具有车道标记。车道标记的存在是基于两项信息来判定的。第一项信息是由GPS单元40获取的车辆位置。
ROM 26还包括数据库，该数据库包括汽车100行驶的区域的所有道路的所有车道的记录。
基于车辆100的位置，ECU 20判定车辆正在行驶的车道，然后判定该车道(并且在某些情况下，更确切地说，车道的该部分)是否具有诸如基本上是白色实线或虚线的道路标记。
步骤35是有条件的步骤。如果车辆行驶的车道没有车道标记，则在步骤S35中止迭代，并且在步骤S10重新开始该过程。
相反，如果车辆行驶的车道具有车道标记，则过程在步骤S40继续：
S40，S45-车道标记检测
在步骤S40，ECU 20判定是否可以在图像序列的最后的图像中检测到车道标记(至少一个车道标记)，即，是否可以在步骤S10中获取的图像中检测到车道标记(至少一个车道标记)。可以通过任何已知的图像处理方法来执行这些标记的检测。
步骤45是有条件的步骤。在步骤45，如果在最后的图像中检测到至少一个车道标记，则尽管在步骤S20检测到遮挡，也推定相机实际上正常工作。因此，当前迭代中止，并且在步骤S10重新开始该过程。
相反，如果在最后的图像中没有检测到车道标记，则似乎确认相机30被遮挡，因此程序在步骤S50继续。
S50，S55-道路上的物体的检测
在步骤S50，ECU 20判定在车辆前方的道路上是否存在物体。物体可以是任何物体，但在大多数情况下可能是汽车100前面的车辆。它也可以是自行车、摩托车等，或者道路上存在的任何物体。用于步骤S50的检测限于在相机30的视野中或立在相机30的视野中的物体(或物体的一部分)。
在步骤50，基于除了相机30之外的汽车100的任何环境传感器或这些传感器的任何组合提供的环境信息来检测该物体或这些物体。环境信息是关于车辆的环境的信息。环境传感器是可以检测车辆周围的物体存在的传感器。
在本案中，系统10的环境传感器(相机30除外)是激光雷达单元32、雷达单元36和/或近距离声纳传感器单元38的传感器；通过这些环境传感器检测汽车100周围的物体。更准确地说，由ECU 20基于由这些传感器提供的环境信息，即，基于除了由相机30获取的图像导出的环境信息之外的环境信息来检测这些物体。
步骤55是有条件的步骤。在步骤55，如果检测到在车辆前方的道路上存在物体，则尽管已经在步骤S20检测到遮挡，也推定相机实际上正常工作。因此，然后过程的当前迭代中止，然后在步骤S10重新开始该过程以进行新的迭代。
相反，如果在图像中没有检测到物体，似乎确认相机30被遮挡，则然后过程在步骤S60继续。
注意：尽管在该实施例中在步骤50、55之前执行步骤40、45，但是它们可以以相反的顺序执行。或者，作为替代方案，可以仅执行步骤40、45而不执行步骤50、55，或者相反地仅执行步骤50、55而不执行步骤40、45。还可以在不执行步骤40、45、50、55中的任何步骤的情况下实现本发明，但是以降低该方法的可靠性为代价。
S60-日间判定
在步骤S60，ECU 20判定是日间还是夜间(在获取图像序列的最后的图像时。在大多数情况下，该方法是实时执行的，并且获取图像序列的最后的图像的时间就是车辆的当前时间)。
为了判定是日间还是夜间，ECU 20使用驾驶辅助系统的时间信息。通过考虑影响黎明和黄昏的确切时间的日期和/或车辆的位置(由GPS单元40提供)，可以改善是夜间还是日间的判定。
如果ECU在步骤S60判定是日间，则然后过程在步骤S70继续；否则，ECU 20判定是夜间，在步骤S60之后，过程在步骤S80继续。
S70-在日间期间推定遮挡原因判定
步骤70是有条件的步骤。在步骤70，ECU 20首先执行判定外部温度是否低于低温阈值以及是否达到露点(即，空气是否水蒸气饱和，若饱和，任何额外的蒸汽会凝结)的步骤S72。外部温度由外部温度传感器单元34测量，外部温度传感器单元34测量车辆外部的温度。通过湿度传感器单元42测量大气的含湿量。基于外部温度和大气的含湿量，ECU 20首先判定是否达到水的露点。如果达到水的露点，则可以推定在透明壁中的一个透明壁上发生了成雾，其中相机30透过该透明壁观看。ECU 20还判定外部温度是否为负或至少接近0℃。如果外部温度为负或接近0℃，则可以推定在挡风玻璃上或在相机30的镜头上发生了结冰，这导致检测到遮挡。
在本实施例中，如果ECU 20判定外部温度低于或等于5℃并且达到露点，则在步骤S73，ECU 20判定对于当前迭代，遮挡的原因推定是结冰或成雾(图1中的情况1或2)，并且递增计数器K_Fog。然后该过程在步骤90继续。
相反，如果在步骤S72判定外部温度高于低温阈值(5℃)或未达到水的露点，则该过程在步骤S76继续。
在步骤S76，ECU 20判定是日间还是夜间。
如果ECU 20判定是夜间，则关于遮挡检测的原因没有得出结论；当前迭代中止，并且在步骤S10以新的迭代重新开始该过程。
如果相反，ECU 20判定是日间，则过程在步骤S78继续。
在步骤S78，ECU 20判定对于当前迭代，遮挡原因推定是日落/日出情况或无变化景色情况(图1中的情况3)，并递增计数器K_Day。然后该过程在步骤90继续。
S80-在夜间期间推定遮挡原因判定
仅当已经判定是夜间并且因此当前大灯打开时，才执行步骤S80。
在步骤S80，ECU 20首先在步骤S82中判定是否打开/关闭车辆的前灯(多个)导致图像中的对比度变化。
步骤82如下执行。
ECU 20在非常短的时段内发送控制以关闭前大灯44，然后再次将其打开。
在前大灯关闭的时段期间，ECU 20控制相机30以获取至少一个图像。在此期间由相机30获取的“关(OFF)”图像被发送到ECU 20。
然后，ECU 20控制相机30，以在前大灯44已经打开后获取一些图像。在该后一时段期间由相机30获取的“开(ON)”图像也被发送到ECU 20。
通过将OFF图像与ON图像进行比较，ECU 20然后在步骤S82判定在开/关位置之间切换前大灯(作为车辆的前灯(多个)的示例)是否导致图像变化。
如果在步骤S82，判定打开/关闭前灯(多个)导致图像的对比度变化，则在步骤S84，ECU 20判定对于当前迭代，遮挡的原因推定为道路是黑暗的，并且递增计数器K_Night。在步骤84之后，然后过程在步骤S90继续。
相反，如果在步骤S82没有判定在开/关位置之间切换前大灯导致图像变化，则遮挡原因不被推定为道路是黑暗的。因此，过程继续到步骤S70，以便判定遮挡原因是否可能是结冰/成雾(图1中的情况1或2)。
S90-遮挡原因的确认
每当可以识别遮挡的推定原因时，执行确认步骤90。
在步骤90中，ECU 20尝试判定现在是否可以认为遮挡的原因已确认。
为此目的，ECU 20检查不同计数器的值。
ECU 20首先评估在足够数量的迭代期间，例如在最少6次迭代期间是否已经连续检测到遮挡。因此，ECU 20检查Tblock是否至少等于6。
如果满足该第一要求，则ECU 20然后评估自检测到遮挡情况以来是否已经检测到足够次数的最后检测到的遮挡原因。在本实施例中，ECU 20评估是否已经检测到至少3次最后检测到的遮挡原因，因此检查计数器K_Fog，K_Day或K_Night中一个是否至少等于3。被检查的计数器是对应于已检测到的最后的遮挡原因的计数器。计数器K_Fog，K_Day或K_Night分别对应于三种不同的遮挡原因：结冰/成雾(情况1或2)，日出/日落或无变化景色(情况3)或黑暗道路(情况4)。
例如，假定ECU 20刚刚在步骤S74识别出推定的遮挡原因是结冰或成雾。
因此，在步骤S90，ECU检查计数器TBlock是否至少等于6；如果是这种情况，则ECU20判定计数器D_Fog是否至少等于3。
如果情况也是如此，则ECU 20判定遮挡原因是结冰或成雾。
(如果充分确认之前判断遮挡的具体原因需要检测更少或更多次数，则可以为各种计数器的阈值N2设定不同的值)。如果计数器中的一个满足此条件且至少等于3，则ECU判定遮挡的原因是与该计数器相关联的类型。
如果ECU 20确认遮挡的原因是结冰或成雾，则在步骤S110，ECU自动打开汽车的空调系统。
在另一个实施例中，汽车配备有用于加热相机与挡风玻璃之间的大气的加热器。在该实施例中，如果ECU 20确认遮挡的原因是结冰或成雾，则在步骤S110，ECU自动打开所述加热器，以加热相机与挡风玻璃之间的大气，以便为在这个位置的挡风玻璃除冰和/或除雾。
第二实施例
现在将参考图4描述用于识别由相机30提供的图像序列中的遮挡原因的第二方法，这构成本发明的第二实施例。
除了步骤S70之外，该第二方法与第一方法相同。实际上，在步骤S70中不是在步骤S72中在单个步骤S72中执行双重测试(外部温度和露点)，而是连续地执行这两个测试。
因此，步骤S70如下执行：
在步骤72，ECU 20基于外部温度传感器单元34测量的外部温度来判定外部温度是否低于5℃的低温阈值(但不判定是否达到露点)。
在步骤S73，如果判定外部温度低于或等于5℃，推定在挡风玻璃上或在相机30的镜头上发生结冰或成雾，这导致检测到遮挡(图1中的情况1或2)。ECU 20将由结冰或成雾引起的遮挡的概率Pr设定为第一值P1，并使计数器K_Fog的值递增。
然后，在步骤S74，ECU 20基于由湿度传感器单元42测量的大气的含湿量，判定是否达到了水的露点。
在步骤S75，如果达到水的露点，则确认在透明壁中的一个透明壁上发生了成雾，其中相机30透过该透明壁观看。因此，ECU 20增加由于结冰或成雾引起遮挡的概率的值Pr，并将该概率Pr设定为高于P1的值P2。
在步骤S75之后，过程在步骤90继续。
在该情况下，当在步骤90之后将遮挡的原因视为已确认时，可以根据遮挡原因是结冰或成雾的概率Pr来采取不同的动作。
如在第一方法中，如果在步骤S72，判定外部温度高于5℃，过程在步骤S76继续，在步骤S76，ECU 20判定对于当前迭代，遮挡的原因推定是日落/日出情况或无变化景色情况(图1中的情况3)。
在第一方法中使用各种计数器(Tbloc，K_Fog，K_Day，K_Night)。

Claims (18)

1.一种用于识别由安装在正在道路上行驶的车辆中的相机提供的图像序列中的遮挡的原因的方法，所述方法包括迭代地执行以下步骤：
S10)获取所述相机的图像；连续获取的图像因而形成所述图像序列；
S20)检测所述图像序列的最后的图像中的遮挡；
S60)至少基于时间信息来判定是日间还是夜间；
如果判定是夜间，则执行步骤S80，包括：
S82)判定打开/关闭所述车辆的前灯是否导致由所述相机获取的图像的变化；并且
S84)如果判定打开/关闭前灯导致由所述相机获取的所述图像的变化，则判定对于当前迭代，遮挡的原因推定是道路是黑暗的。
2.根据权利要求1所述的用于识别遮挡的原因的方法，其中，所述方法还包括，如果在迭代期间，在步骤S60判定是日间，则执行步骤70，包括：
S72)判定外部温度是否低于低温阈值；
S74)如果判定所述外部温度低于所述低温阈值，则判定对于当前迭代，遮挡的原因推定是结冰或成雾。
3.根据权利要求2所述的用于识别遮挡的原因的方法，其中，所述方法还包括，在步骤S70，如果在步骤S72已经判定所述外部温度低于所述低温阈值，则执行以下步骤：
S74)判定是否达到露点；
如果判定未达到所述露点，则判定对于当前迭代，遮挡的原因以第一概率(P1)推定是结冰或成雾；
S75)如果判定达到所述露点，则判定对于当前迭代，遮挡的原因以高于所述第一概率(P1)的第二概率(P2)推定是结冰或成雾。
4.根据权利要求2或3所述的用于识别遮挡的原因的方法，其中，步骤S70还包括以下步骤：
S78)如果判定所述外部温度高于所述低温阈值或未达到露点，则判定对于当前迭代，遮挡的原因推定是日落/日出情况或无变化景色情况。
5.根据权利要求1至4中任一项所述的用于识别遮挡的原因的方法，其中，所述方法还包括，在迭代期间，在执行步骤S60之前，执行以下步骤：
S40)检测所述图像序列的最后的图像中的车道标记；并且
S45)如果在所述最后的图像中检测到车道标记，则返回到图像获取步骤S10。
6.根据权利要求5所述的用于识别遮挡的原因的方法，其中，所述方法还包括，在迭代期间，在执行步骤S40之前，执行以下步骤：
S30)基于所述车辆的位置信息和包括具有车道标记的车道的记录的数据库，判定所述车辆行驶的车道是否具有车道标记；并且
S35)如果所述车辆行驶的车道没有车道标记，则返回到图像获取步骤S10。
7.根据权利要求1至6中任一项所述的用于识别遮挡的原因的方法，其中，所述方法还包括，在迭代期间，在执行步骤S60之前，执行以下步骤：
S50)基于除了从所述图像导出的信息之外的信息，检测所述车辆前方的道路上是否存在物体；
S55)如果在所述车辆前方的道路上没有检测到物体，则返回到图像获取步骤S10。
8.根据权利要求1至7中任一项所述的用于识别遮挡的原因的方法，其中，所述方法还包括：当在迭代期间已检测到遮挡的第一原因时，执行以下步骤：
S90)评估是否至少对于最后N1次迭代中的每一次检测到遮挡，并且评估是否已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，N1和N2是预定数量；以及
S110)如果至少对于最后N1次迭代中的每一次检测到遮挡，并且已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，则基于遮挡的原因是所述第一原因的判定来触发动作。
9.根据权利要求1至8中任一项所述的用于识别遮挡的原因的方法，其中，所述图像是作为由所述相机获取的较大图像的一部分的局部图像。
10.一种计算机程序，其存储在计算机可读存储介质上，并且适合于在计算机上执行，所述程序包括适于当其在所述计算机上运行时执行根据权利要求1至9中任一项所述的方法的步骤的指令。
11.一种计算机可读记录介质，包括根据权利要求10的计算机程序的指令。
12.一种驾驶辅助系统，包括电子控制单元(22)、相机(30)、外部温度传感器(34)，所述电子控制单元(20)、所述相机(30)和所述外部温度传感器(34)被配置为安装在车辆中；其中所述电子控制单元(20)被配置为迭代地：
S10)获取所述相机(30)的图像；连续获取的图像因而形成所述图像序列；
S20)检测所述图像序列的最后的图像中的遮挡情况；
S60)至少根据时间信息来判定是日间还是夜间；以及
如果在迭代期间，所述电子控制单元判定是夜间：
S82)判定打开/关闭所述车辆的前灯是否导致所述图像的对比度变化；并且
S84)如果所述电子控制单元已经判定打开/关闭前灯导致所述图像的对比度变化，则判定对于当前迭代，遮挡的原因推定是道路是黑暗的。
13.根据权利要求12所述的驾驶辅助系统，其中，所述电子控制单元还被配置为，如果在迭代期间，所述电子控制单元判定是日间：
S72)根据所述外部温度传感器提供的信息来判定外部温度是否低于低温阈值；并且，
S73)如果所述电子控制单元已经判定所述外部温度低于低温阈值，则判定对于当前迭代，遮挡的原因推定是结冰或成雾。
14.根据权利要求13所述的驾驶辅助系统，还包括湿度传感器(32)，并且其中，所述电子控制单元还被配置为：
S74)判定是否达到露点；
如果所述电子控制单元已经判定所述外部温度低于所述低温阈值并且未达到所述露点，则判定对于当前迭代，遮挡的原因以第一概率(P1)推定是结冰或成雾；并且
S75)如果所述电子控制单元已经判定所述外部温度低于所述低温阈值并且达到所述露点，则判定对于当前迭代，遮挡的原因以高于所述第一概率(P1)的第二概率(P2)推定是结冰或成雾。
15.根据权利要求13或14所述的驾驶辅助系统，其中，所述电子控制单元还被配置为：
S78)如果所述电子控制单元已经判定所述外部温度高于低温阈值或未达到露点，则判定对于当前迭代，遮挡的原因推定是日落/日出情况或无变化景色情况。
16.根据权利要求12至15中任一项所述的驾驶辅助系统，其中，所述电子控制单元还被配置为，在迭代期间，在判定是日间还是夜间之前：
S40)检测所述图像序列的最后的图像中的车道标记；并且
S45)如果在所述最后的图像中检测到至少一个车道标记，则返回到图像获取步骤S10。
17.根据权利要求12至16中任一项所述的驾驶辅助系统，其中，所述电子控制单元还被配置为，在迭代期间，在判定是日间还是夜间之前：
S50)使用除了从所述图像导出的信息之外的环境信息，检测所述车辆前方的道路上是否存在物体；
S55)如果所述电子控制单元检测到在车辆前方的道路上存在物体，则返回到图像获取步骤S10。
18.根据权利要求12至17中任一项所述的自动驾驶系统，其中，所述电子控制单元还被配置为，当在迭代期间已检测到遮挡的第一原因时：
S90)评估是否至少对于最后N1次迭代中的每一次检测到遮挡，并且评估是否已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，N1和N2是预定数量；并且，
S110)如果至少对于最后N1次迭代中的每一次检测到遮挡，并且已经判定在最后N1次迭代期间，对于至少N2次迭代，遮挡的原因推定是所述第一原因，则基于遮挡的原因是所述第一原因的判定来触发动作。
CN201780043018.1A 2017-07-07 2017-07-07 识别图像序列中的遮挡的原因的方法、计算机可读记录介质、驾驶辅助系统 Active CN109478233B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/067157 WO2019007536A1 (en) 2017-07-07 2017-07-07 METHOD FOR IDENTIFYING LOCKING CAUSE IN IMAGE SEQUENCE, COMPUTER PROGRAM FOR IMPLEMENTING SAID METHOD, COMPUTER-READABLE RECORDING MEDIUM CONTAINING SUCH COMPUTER PROGRAM, DRIVING ASSISTANCE SYSTEM FOR EXECUTING SAME PROCESS

Publications (2)

Publication Number Publication Date
CN109478233A true CN109478233A (zh) 2019-03-15
CN109478233B CN109478233B (zh) 2023-08-08

Family

ID=59581835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043018.1A Active CN109478233B (zh) 2017-07-07 2017-07-07 识别图像序列中的遮挡的原因的方法、计算机可读记录介质、驾驶辅助系统

Country Status (5)

Country Link
US (1) US11708076B2 (zh)
JP (1) JP2019535149A (zh)
CN (1) CN109478233B (zh)
DE (1) DE112017007725T5 (zh)
WO (1) WO2019007536A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020201837A1 (de) 2020-02-14 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung LiDAR-Anordnung, LiDAR-System, Fahrzeug und Verfahren
KR20220085198A (ko) * 2020-12-15 2022-06-22 주식회사 에이치엘클레무브 레이더 센서의 방해 검출 장치 및 방법과, 레이더 장치
CN117746527B (zh) * 2023-12-20 2024-05-10 广州百聚易科技有限公司 一种基于大数据的行车数据智能监测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004076231A2 (en) * 2003-02-21 2004-09-10 Gentex Corporation Automatic vehicle exterior light control systems
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
CN101034005A (zh) * 2007-04-12 2007-09-12 上海交通大学 昼夜视频车辆检测间的切换方法
CN101376352A (zh) * 2008-09-24 2009-03-04 上海大学 自动适应夜间行车弯道及坡度的汽车前照灯控制装置及方法
US20110280026A1 (en) * 2009-05-15 2011-11-17 Higgins-Luthman Michael J Automatic Headlamp Control
CN103136509A (zh) * 2011-11-24 2013-06-05 富士重工业株式会社 车外环境识别装置及车外环境识别方法
US20140070698A1 (en) * 2012-09-11 2014-03-13 Gentex Corporation System and method for detecting a blocked imager
CN104301616A (zh) * 2014-10-31 2015-01-21 苏州科达科技股份有限公司 一种摄像机的日切夜和夜切日模式控制方法及系统
JP2016052019A (ja) * 2014-09-01 2016-04-11 株式会社Ｊｖｃケンウッド 撮像装置及びシーン判定方法
CN105740835A (zh) * 2016-02-05 2016-07-06 广西科技大学 夜视环境下基于车载相机的前方车辆检测方法
CN105793910A (zh) * 2014-01-29 2016-07-20 爱信艾达株式会社 自动驾驶辅助装置、自动驾驶辅助方法以及程序
CN105848981A (zh) * 2013-12-24 2016-08-10 沃尔沃卡车集团 用于车辆的驾驶员辅助方法和系统
CN105956531A (zh) * 2016-04-25 2016-09-21 华南理工大学 基于视频序列影像特征分析的日夜切换检测算法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100420592C (zh) * 2003-02-21 2008-09-24 金泰克斯公司 自动汽车外部灯光控制系统
JP2005072767A (ja) * 2003-08-21 2005-03-17 Fujitsu Ltd 画像処理装置
JP2007293672A (ja) * 2006-04-26 2007-11-08 Toyota Motor Corp 車両用撮影装置、車両用撮影装置の汚れ検出方法
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
JP5044742B2 (ja) * 2008-01-25 2012-10-10 株式会社メガチップス デジタルカメラ
JP4950967B2 (ja) * 2008-08-25 2012-06-13 日立オートモティブシステムズ株式会社 自動車用補助機器制御装置
US8243166B2 (en) 2009-01-20 2012-08-14 Lockheed Martin Corporation Automatic detection of blocked field-of-view in camera systems
JP6191330B2 (ja) * 2013-08-20 2017-09-06 日産自動車株式会社 車両用照明制御装置
US20170136962A1 (en) * 2014-10-08 2017-05-18 Mitsubishi Electric Corporation In-vehicle camera control device
KR102366402B1 (ko) 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US20170106721A1 (en) * 2015-10-15 2017-04-20 Ford Global Technologies, Llc Energy-efficient vehicle window defogging and prevention of re-freezing
US10093253B2 (en) * 2016-11-30 2018-10-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for notifying a user about a temperature condition after a lapse of a remote start based on estimated temperature

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004076231A2 (en) * 2003-02-21 2004-09-10 Gentex Corporation Automatic vehicle exterior light control systems
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
CN101034005A (zh) * 2007-04-12 2007-09-12 上海交通大学 昼夜视频车辆检测间的切换方法
CN101376352A (zh) * 2008-09-24 2009-03-04 上海大学 自动适应夜间行车弯道及坡度的汽车前照灯控制装置及方法
US20110280026A1 (en) * 2009-05-15 2011-11-17 Higgins-Luthman Michael J Automatic Headlamp Control
CN103136509A (zh) * 2011-11-24 2013-06-05 富士重工业株式会社 车外环境识别装置及车外环境识别方法
US20140070698A1 (en) * 2012-09-11 2014-03-13 Gentex Corporation System and method for detecting a blocked imager
CN105848981A (zh) * 2013-12-24 2016-08-10 沃尔沃卡车集团 用于车辆的驾驶员辅助方法和系统
CN105793910A (zh) * 2014-01-29 2016-07-20 爱信艾达株式会社 自动驾驶辅助装置、自动驾驶辅助方法以及程序
JP2016052019A (ja) * 2014-09-01 2016-04-11 株式会社Ｊｖｃケンウッド 撮像装置及びシーン判定方法
CN104301616A (zh) * 2014-10-31 2015-01-21 苏州科达科技股份有限公司 一种摄像机的日切夜和夜切日模式控制方法及系统
CN105740835A (zh) * 2016-02-05 2016-07-06 广西科技大学 夜视环境下基于车载相机的前方车辆检测方法
CN105956531A (zh) * 2016-04-25 2016-09-21 华南理工大学 基于视频序列影像特征分析的日夜切换检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ORHAN KAPLAN等: "A high efficient driver design for LED lighting system", 《4TH INTERNATIONAL CONFERENCE ON POWER ENGINEERING, ENERGY AND ELECTRICAL DRIVES》 *
冯毅超: "基于夜间交通视频的车辆检测与跟踪", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
US20210370938A1 (en) 2021-12-02
CN109478233B (zh) 2023-08-08
US11708076B2 (en) 2023-07-25
DE112017007725T5 (de) 2020-03-26
JP2019535149A (ja) 2019-12-05
WO2019007536A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11774966B2 (en) Generating testing instances for autonomous vehicles
US20220107641A1 (en) Labeling Autonomous Vehicle Data
CN109478234A (zh) 识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统
CN108304861A (zh) 生成自动车辆泄漏探测的训练数据
US20200142422A1 (en) Generating Targeted Training Instances for Autonomous Vehicles
US20180173232A1 (en) System and method for sensing the driving environment of a motor vehicle
CN113379805A (zh) 一种交通节点的多信息资源融合处理方法
KR102168288B1 (ko) 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
CN109478233A (zh) 识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统
CN108509891A (zh) 图像标注方法、装置、存储介质及电子设备
CN113435237B (zh) 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
JP2021117048A (ja) 変化点検出装置及び地図情報配信システム
CN112639812A (zh) 用于传感器数据中改善的对象标记的方法和系统
JP2019095836A (ja) 診断システム
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
JP2021128705A (ja) 物体状態識別装置
CN113492750B (zh) 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质
US11442913B2 (en) Method and device for creating a localization map
CN110869865B (zh) 用于运行较高程度自动化的车辆(haf)、尤其高度自动化车辆的方法
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
CN111881245B (zh) 能见度动态地图的产生方法、装置、设备及存储介质
JP7215460B2 (ja) 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240410

Address after: Aichi Prefecture, Japan

Patentee after: Toyota Motor Corp.

Country or region after: Japan

Address before: Brussels

Patentee before: TOYOTA MOTOR EUROPE

Country or region before: Belgium