CN111819110B - 用于监视车辆摄像机系统的设备和方法 - Google Patents
用于监视车辆摄像机系统的设备和方法 Download PDFInfo
- Publication number
- CN111819110B CN111819110B CN201980015675.4A CN201980015675A CN111819110B CN 111819110 B CN111819110 B CN 111819110B CN 201980015675 A CN201980015675 A CN 201980015675A CN 111819110 B CN111819110 B CN 111819110B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- light source
- change
- camera
- camera system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims description 32
- 230000007257 malfunction Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/408—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
公开了一种用于监视车辆摄像机系统(10)的设备(100)。所述摄像机系统(10)包括至少一个摄像机(50)，用于捕获车辆(40)的侧方的视场(60)的图像；以及显示单元(70)，用于将捕获的图像可视化给车辆(40)的驾驶员。所述设备(100)包括适于控制显示单元(70)以显示图形指示器(115)的控制单元(110)，所显示的图形指示器(115)以默认方式顺序地变化，以允许驾驶员基于与以默认方式顺序地变化的图形指示器(115)的偏差视觉上检测车辆摄像机系统(10)的故障。
Description
技术领域
本发明涉及一种用于监视车辆摄像机系统的设备和方法，并且涉及一种摄像机监视器系统，特别涉及一种用于这种摄像机监视器系统的故障检测方法。
背景技术
用摄像机系统代替车辆的反光镜变得越来越普遍，从而允许以可调整的角度以高分辨率观察车辆的侧方。特别是由于摄像机系统的高视觉质量，这种转变是可能的，并且通过提供附加的功能使驾驶员能够检查车辆周围感兴趣的区域来推动。例如，与传统使用的反光镜相比，摄像机显示系统允许实现附加的功能，例如缩放或叠盖或减少反光镜空气阻力。
图7描绘了包括摄像机50、显示器70和处理单元80的常规车辆摄像机系统的一个示例。摄像机50安装在车辆40处，在该位置处，以其摄像机视场60叠盖感兴趣的区域(例如车辆40的侧方)。处理单元80被配置成能够处理摄像机50的捕获的图像并且控制显示器70以描绘车辆40的捕获侧的后续图像，以便为驾驶员可视化车辆40的环境。
例如，在US 2017/0174261 A1中公开了已知的车辆摄像机系统的示例，其公开了用于其它车辆的转向信号的检测方法以确定这些车辆的可能的变道意图。EP 3 139 340A1公开了另一种摄像机显示系统，其指示基于相关图像部分的对比度的改变而检测到的物体。US 2009/0102858 A1公开了一种基于摄像机的车辆显示系统，其中，通过使所示图像的区域变亮，通过虚拟聚光灯突出显示感兴趣的区域。
这样的摄像机系统提供了优于传统使用的反光镜的许多优点，并实现了新颖的功能。新使用的摄像机显示系统不太容易受到恶劣天气的影响，而传统的反光镜却可能会被打破或表面可能受到污染。然而，确保这种摄像机系统的正确操作是很重要的。不幸的是，单个故障组件可能会使整个系统失效。例如，如果处理单元80表现出错误或任何类型的故障，则显示器70可能描绘摄像机视场60的冻结图像。如果车辆40处于停驻状态，驾驶员不能估计这是停驻的后果还是摄像机系统故障。这同样适用于允许获得视觉视图、特别是对于驾驶员视场之外且没有反光镜系统可用的区域的监控或监视系统。此外，在车辆高速行驶的情况下，驾驶员可能在驾驶员检查显示器的短时间段内难以判断故障。
因此，需要一种使驾驶员能够在短时间段内容易地识别摄像机系统的故障的系统。
发明内容
前面所描述的问题中的至少一些是根据本发明的设备或系统或方法克服的。
本发明涉及一种用于监视车辆摄像机系统的设备。所述摄像机系统包括至少一个摄像机，用于捕获车辆的侧方的视场的图像；以及显示单元，用于将捕获的图像可视化给车辆的驾驶员。所述设备包括控制单元，所述控制单元适于控制显示单元以显示图形指示器。显示的图形指示器以默认方式顺序地变化，以允许驾驶员基于与以默认方式顺序地变化的图形指示器的偏差视觉上检测车辆摄像机系统的故障。图形指示器的变化可以独立于捕获的图像，以便即使在车辆停驻时，图形指示器也应变化——至少只要系统正确操作。然而，当图形指示器延迟或甚至处于冻结状态时，驾驶员可能会迅速推断出系统没有正确操作。
可选地，图形指示器通过改变以下量中的至少一个来根据预定的特性改变：强度、形状或形式、图形元素的颜色、指示器元素的运动。例如，图形指示器可以适于以小于5s、小于3s或小于1s的周期或驾驶员在短时间段内通过一眼容易识别的任何其它周期而改变。
车辆摄像机系统可以包括处理单元，以处理至少一个摄像机的捕获的图像并且将处理后的图像显示在显示单元上。控制单元还可以适于在显示捕获的图像的同时，让处理单元叠盖显示单元上的图形指示器。特别地，控制单元可不必是处理单元的一部分或模块。因此，处理单元可不必是单独的单元。
可选地，所述设备包括摄像机的视场中的光源，所述光源适于使其光以默认方式变化，并且所述控制单元适于处理摄像机的捕获的图像并将变化的光源显示在所述显示单元上作为图形指示器。在这种情况下，所述控制单元可以是处理单元。光源应相应地安装，并且可以包括一个或多个LED，所述一个或多个LED例如布置在摄像机的玻璃或镜头上，并且可以改变它的/它们的光、颜色等。
根据进一步的实施例，所述车辆可以包括摄像机的视场中的任何种类的光源，并且该光源由光控制系统控制以产生周期性变化的光。因此，控制单元可以适于基于由光控制系统控制的光源的变化而以默认方式顺序地改变图形指示器。光源可以是转向灯或电连接到转向灯中的一个的灯。
可选地，控制单元适于以相同的频率周期性地改变所述图形指示器，但是与光源的变化(如由光源控制单元控制的)相比以预定的时间延迟周期性地改变图形指示器，其中，所述时间延迟在零与光源的顺序变化的一个周期之间是可调整的。例如，光源和图形指示器可以交替或同时闪烁。此外，两个周期信号之间的任何相移都是可能的。
可选地，所述控制单元适于使图形指示器在所述显示单元上显示成紧靠近所显示的光源(例如至少部分地环绕或彼此相邻)。
所述光控制系统可以适于以默认速率周期性地改变光源的光。然后，所述控制单元可以适于实现以下功能：(i)确定捕获的图像中光源的变化率；(ii)检测所确定的变化率与默认变化率之间的偏差；(iii)如果检测到偏差，则发出警告。
本发明的实施例还涉及一种车辆摄像机系统，所述车辆摄像机系统包括至少一个摄像机、用于显示由所述至少一个摄像机捕获的图像的显示单元和如前所述的用于使车辆的驾驶员能够视觉检测车辆摄像机系统的故障的设备。
可选地，所述车辆摄像机系统包括光控制单元和由所述光控制单元控制的光源，其中，所述光控制单元适于根据环境条件来改变所述光源的强度。
所述光控制单元可以是车辆的转向指示器控制系统，并且光源可以是车辆的转向指示器中的至少一个。
本发明的实施例还涉及一种带有如前所定义的车辆摄像机系统的车辆，其中，控制单元、摄像机、显示单元和光控制系统可以连接到车辆通信总线。
本发明的实施例还涉及一种用于监视包括至少一个摄像机、显示单元和处理单元的车辆摄像机系统的方法，所述车辆摄像机系统适于在显示单元上可视化车辆的侧方的图像。所述方法包括：生成或捕获以默认方式变化的图形指示器或图像；以及将顺序改变的图形指示器或捕获的图像示出在显示单元上，以允许车辆的驾驶员基于图形指示器或图像中所显示的变化与默认方式的变化的偏差来检测车辆摄像系统的故障。
该方法也可以在软件或计算机程序载体中实现，并且步骤的顺序对于实现期望的效果可能并不重要。本发明的实施例特别可以在任何类型的车辆控制单元(ECU)中或由ECU中的软件或软件模块来实现。因此，实施例还涉及一种计算机程序，所述计算机程序具有当计算机程序在处理器上执行时用于执行所述方法的程序代码。
在本发明内，图形指示器应广义地解释。特别地，光源的描绘也可以是图形指示器。单独的光源(例如LED或任何其它附加的光源)可以基于与转向灯相同的控制信号来控制。它们可能具有相同的频率，但是可能是同步的，也可能不是同步的。
本发明通过实现一种控制单元来解决上述问题中的至少一些，所述控制单元被配置成能够控制车辆摄像机系统的显示，以显示以预定方式改变的图形指示器，以便快速查看显示屏的驾驶员将立即识别出系统是否冻结或出现故障，在冻结或故障情况下，图形指示器将不会如预期的那样改变。
特别地，图形指示器可以叠盖车辆摄像机系统的所用的显示，以便摄像机系统的冻结状态也将导致图形指示器的冻结，驾驶员可以立即检测到所述冻结状态。
实现变化的图形指示器有很多可能性。例如，可以使用特定的移动指示器(例如围绕圆或沿着线移动的较亮点，或者等效地，沿着显示器执行特定移动的较暗点)。
附图说明
系统和/或方法的一些示例将在下面仅以示例的方式并参考附图来描述，其中：
图1描绘了根据本发明的一个实施例的用于监视车辆摄像机系统的设备；
图2描绘了叠盖在描绘的图像上的顺序改变指示的一个实施例；
图3描绘了系统架构，其中，光源安装在摄像机显示系统的摄像机的视场中；
图4描绘了由驾驶员看到的与捕获的环境图像以及包括车辆处的照明光源的顺序变化指示器的组合视图；
图5描绘了一个实施例，其中，图形叠盖与光源相结合；
图6描绘了根据本发明的进一步的实施例的用于监视车辆摄像机系统的方法的流程图；以及
图7描绘了常规车辆摄像机系统的一个示例。
具体实施方式
图1描绘了适合于监视车辆摄像机系统10的设备100。车辆摄像机系统10包括至少一个摄像机50，以捕获车辆的侧方的视场60的至少一个图像，以及显示单元70，用于将捕获的图像可视化给车辆的驾驶员。该设备包括控制单元110，以控制显示单元70以显示图形指示器115。图形指示器115适于顺序地改变以允许驾驶员视觉上验证车辆摄像机系统10的正确运行。图形指示器115中的变化可以独立于车辆40的捕获的图像。
然而，在摄像机50的视场60中也可能存在变化的物体，其中，该物体以预定方式改变，从而能够基于在物体的变化中检测到的意外偏差来识别故障。
因此，本发明的实施例将常规摄像机系统(参见图6)与图形指示器115相结合，以使得驾驶员容易识别的方式检测显示单元70的可能冻结的图像。
图2描绘了该组合的一个示例性实施例。它包括具有第一显示元件71和第二显示元件72的显示单元70，它们可以是一个单元的一部分或代表单独的单元。例如，第一显示元件71描绘了窄角视图，而第二显示元件72描绘了广角视图。两个视图都可以由一个摄像机或不同的摄像机捕获。第二显示元件72示出示例性的图形指示器115，所述图形指示器115叠盖在描绘的摄像机图像之上并且被顺序地更新。图形指示器115的位置可以自由选择。例如，可以将其定位在显示器的示出了车辆的一部分的区域处，以避免任何感兴趣的物体可能被图形指示器115隐藏。在进一步的实施例中，图形指示器115也可以显示在第一显示元件71中，或者可以描绘多个图形指示器，以确保可以通过检查图形指示器115来简单地检测任何冻结图像。
虽然摄像机-显示器环绕监视系统能够在其组件上执行多个自我监视功能，但这可能无法确保显示单元70上的最终描绘的图像确实是最新的(例如它可能由于其它原因而被冻结)。在试图防止任何故障时，实施例实现了最终由驾驶员基于图形指示器115执行的合理性检查。为此，驾驶员的交叉检查可以基于某些基本假设。这些假设包括：图片的明确定义的内容(图形指示器115)、图像中变化的光/颜色，它可能始终在同一位置，它总是根据相同的顺序变化。应当理解，这些假设简化了驾驶员对故障的检测，但是并不一定需要实现它们。例如，图形指示器115也可以动态地放置在其不妨碍任何物体的位置处，或者取决于环境条件，图形指示器115可以是不同的。然而，图形指示器115的形式、大小和颜色应该使得驾驶员能够通过一眼就能察觉到它。
在图2的实施例中，顺序变化的指示器115表示可变亮度的旋转环。当它以可识别的速度运动时，驾驶员可以容易地验证循环目标。例如，可以选择移动环的频率，使得驾驶员即使快速瞥了一眼也可以检测到任何冻结状态。频率(每秒循环次数)可以是例如0.1Hz至4Hz或0.5至2Hz之间。由于该频率是预先设置的(作为默认值)，驾驶员也将意识到与该频率的偏差，因此可以检测到任何延迟，作为冻结状态的前兆。因此，驾驶员能够通过一次视觉检查来检测摄像机系统的故障。
如图2所示，图形指示器115可以是人造图形对象，其随时间的变化允许驾驶员检测监视的摄像机系统10的任何故障。然而，也可以将诸如车辆转向灯之类的光源的捕获的图像用作图形指示器115，其同样允许驾驶员检测摄像机系统的任何故障。
图3描绘了本发明的一个实施例，其中，带有处理单元80、显示单元70和摄像机50的摄像机系统10(如在图7的常规系统中)与这样的光源210相结合。光源210安装在摄像机显示系统10的摄像机50的视场中，并且由光控制单元220控制。
在本实施例中，车辆的通信总线90将处理单元80与光控制单元220连接，以便处理单元80可以间接地控制光源210，或者至少能够获得关于对光源210的控制的信息。此外，处理单元80控制显示单元70以至少描绘由摄像机50捕获的图像。
光源210可以是车辆的转向指示器，或者可以是诸如转向指示器之类的被控制的另一个光源(附加于转向灯)。根据本发明，摄像机50和/或光源210安装在使得光源210被摄像机50捕获的位置处。同样有可能将光源210直接安装在镜头或玻璃板或者甚至在摄像机50内部。只要摄像机50的捕获的图像也将捕获光源210的图片，光源210的位置就可以在任何地方。
因此，显示单元70将显示光源210。现在，在驾驶员打算转弯或变道的情况下，驾驶员可能首先希望确保在驾驶员想要转弯的相邻车道上没有其它车辆或物体。因此，驾驶员将检查显示单元70并且将看到由摄像机50捕获的闪烁光源210，并且从闪烁光中，驾驶员可以验证摄像机系统是否正在正确地操作。
图4描绘了由示例性商用车辆的驾驶员看到的图3的系统在显示单元70上的视图。在本实施例中，第二显示元件72的左下角中的光源210的图像表示图形指示器115。第二显示元件72再次描绘了非常靠近车辆的区域的放大视图(窄角视图)，而第一显示元件71描绘了也捕获了车辆后面的更远处的物体的视图。以窄角视图描绘光源210是有利的，因为它在该显示元件72中看起来是放大的。如果第一显示元件71和第二显示元件72由一个处理单元80控制，则单个图形指示器115可足以检测处理单元80的故障。否则，也可以使用多个图形指示器115来测试其它显示元件(例如第一显示元件71)。
因此，在本实施例中，处理单元80是图1的控制单元110，因为通过简单地显示捕获的图像，变化的光源210将被描绘为图形指示器115。
如参照图3所描绘的，光源210被放置在车身上摄像机50能够捕获其光的位置处。捕获的图像被传送到处理单元80并由处理单元80处理，并且最终作为图形指示器115显示给驾驶员。因为光源210将以驾驶员已知的默认方式变化(闪烁)，所以与预期的变化(例如闪烁频率)的任何偏差都允许驾驶员检测到系统的至少一个组件的失效或故障。
图5示出了本发明的又一个实施例，其中，单独的图形指示器115与光源210相结合。因此，本实施例示出了两个独立的指示器以确保正确的功能：如图2所示的图形叠盖115a作为图形指示器115与如图4所描绘的显示的光源115b相结合。图形叠盖115a例如表示至少部分地绕所描绘的光源115b环转的框架(或者是围绕光源210的边界框)，并且可以图形叠盖在描绘的图像上。当图形叠盖115a形成为用于描绘的光源115b的闪烁框架时，驾驶员可以简单地识别图形叠盖115a。
根据实施例，以与光源210相同的顺序或频率来控制图形叠盖115a。同样可能的是，两个周期性信号之间的相位被偏移，以便图形叠盖115a和显示的光源115b交替闪烁。原则上，在实施例中可以实现图形叠盖115a与顺序光源115b之间的任何时间偏移。然而，由于两个指示器115a、115b通常以不同的方式生成，因此它们可以以简化驾驶员对故障的检测的方式来显示。
由于图形叠盖115a是独立于捕获的图像而生成的，因此控制单元110可以被实现为处理单元80中的(例如在软件中的)特定模块。因此，控制单元110可以是或可以不是处理单元80的一部分或模块。如果控制单元110是单独的单元，则它可以适于让处理单元80在显示捕获的图像的同时将图形指示器115a叠盖在显示单元70上。
根据图形叠盖115a的光亮情况(在光源115b所在的区域上的亮度、对比度变化、边界框大小、颜色变化等)，驾驶员被迫在交叉检查期间关注于图形叠盖115a顺序和光源115b顺序。这样，不仅可以容易地识别冻结的图像，而且还可以识别出作为另外的故障模式的可能的延迟。
另外的实施例涉及摄像机显示系统的冗余监视。例如，光控制单元220可以适于以默认速率(例如以预定频率)周期性地改变光源210的光。控制单元110或处理单元80可以确定捕获的图像中的光源的变化率。如果系统正确操作，则两个速率应该一致。如果不一致，则可能发生了系统故障。因此，控制单元110或处理单元80可以适于检测所确定的变化率和默认变化率的偏差。如果检测到这种偏差，则可以发出警告(例如可以发出可被驾驶员识别的可见或声学信号)。
因此，根据进一步的实施例，可以实现两个单独的验证：视觉系统，其中，驾驶员可以视觉上检测故障(例如通过冻结/延迟状态)；以及内部监视系统，其中，系统将捕获的图像中的变化的光源与默认(预设)变化率进行比较。此外，实施例依赖于两种不同的检测可能性：人造图形指示器115a和具有变化的光的捕获的光源115b。
这些系统可以被分离或被打包成一个系统。在后一种情况下，应确保独立操作，以便同一原因不能暗示两个系统的故障。
特别地，实施例可以在具有适合于该目的的照明系统的任何车辆上实现(例如提供独立变化的光)。例如，转向指示器是合适的，因为：
-在需要周围监视(变道和/或转弯)时，它以预定的照明顺序操作；
-它安装在车身上，车辆设计可以确保它在摄像机视场60内是可见的；
-驾驶员了解其操作(启用转向指示器)和频率；
-与摄像机系统10相比，它是冗余系统。
这样，本发明的一种可能的实现是将转向指示器控制系统用作光控制系统。
图6描绘了用于监视车辆摄像机系统的方法的流程图。该方法包括以下步骤：
-S110：生成或捕获以默认方式变化的图形指示器115；以及
-S120：在显示单元70上示出变化的图形指示器115，以允许车辆的驾驶员基于图形指示器115中显示的变化与默认方式的变化的偏差来检测车辆摄像机系统10的故障。
将理解的是，之前结合设备/车辆摄像机系统描述的任何功能可以被实现为该方法中的附加的方法步骤。
此外，该方法也可以是计算机实现的方法。本领域技术人员将容易认识到，各种上述方法的步骤可以由编程的计算机执行。实施例还旨在覆盖程序存储装置，例如，数字数据存储介质，其是机器或计算机可读的并且对指令的机器可执行或计算机可执行的程序进行编码，其中，当在计算机或处理器上执行时，指令执行上述方法的一些或全部动作。
本发明的实施例可以总结如下：
一个实施例涉及一种车辆的摄像机系统10，其包含至少一个摄像机50、一个显示单元70和控制单元80、110，其中，车辆的周围环境对于驾驶员是可视化的并且在显示单元70上显示图形指示器115的预定的顺序变化。
另一个实施例涉及一种系统，其中，附加地，顺序图形指示器115是指示器的强度和/或形状和/或颜色的变化。
另一个实施例涉及一种系统，其中，附加地，顺序指示器具有恒定的顺序并且可以被驾驶员学习。
另一个实施例涉及一种系统，其中，附加地，顺序图形指示器115通过在由控制单元80、110控制的显示器上的图形叠盖给出。
另一个实施例涉及一种系统，其中，附加地，顺序图形指示器115由连接到光控制单元220的光源210给出，该光源210被放置在摄像机50的视场60中，以便光源210的照明可被摄像机50感知。
另一个实施例涉及一种系统，其中，附加地，摄像机和显示系统与光控制系统220连接。
另一个实施例涉及一种系统，其中，附加地，通过车辆通信总线90实现摄像机和显示系统与光控制系统220的连接。
另一个实施例涉及一种系统，其中，附加地，图形叠盖115a的指示顺序和光源210的指示顺序相同。
另一个实施例涉及一种系统，其中，附加地，与光源210的指示顺序相比，图形叠盖115的指示顺序通过零到指示顺序的一周期之间的时间偏移而被延迟。
另一个实施例涉及一种系统，其中，附加地，图形叠盖115a在显示器上紧靠近光源210的出现位置。
另一个实施例涉及一种系统，其中，附加地，光源210的照明强度适应于环境条件。
另一个实施例涉及一种系统，其中，附加地，光控制单元220是车辆的转向指示器控制系统，并且光源210是车辆的转向指示器中的至少一个。
另一个实施例涉及一种车辆的摄像机和显示系统的方法，所述摄像机和显示系统包括至少一个摄像机50、一个显示单元70和控制单元80、110，其中，车辆的周围环境对驾驶员是可视化的，其中，附加地，在显示单元70上显示图形指示器115的预定的顺序变化。
另一个实施例涉及一种方法，其中，附加地，指示器的预定的顺序变化应用于光源210，光源210由光控制单元220控制，并且放置在摄像机50的视场中，以便光源的照明可被摄像机50感知。
另一个实施例涉及一种方法，其中，附加地，由控制单元80、110基于摄像机的感知来评估光源210的照明的预定顺序变化，并且在预定的顺序与评估的顺序之间存在偏差的情况下，发出故障指示。
说明书和附图仅仅示出了本公开的原理。因此，将理解，本领域的技术人员将能够设计出尽管未在本文中明确描述或示出但体现本公开的原理并且包括在其范围内的各种布置。
此外，虽然每个实施例可以作为单独的示例而独立，但是应当注意，在其它实施例中，可以不同地组合所定义的特征，即在其它实施例中也可以实现在一个实施例中描述的特定特征。这种组合由本文的公开内容涵盖，除非指出不打算进行特定的组合。
附图标记列表
40 车辆
50 至少一个摄像机
60 摄像机视场
70 显示单元
71、72 显示元件
80 处理单元
90 车辆总线
110 控制单元
115、115a 图形指示器、图形覆盖
115b 作为图形指示器的显示的光源
Claims (12)
1.一种用于监视车辆摄像机系统(10)的设备(100)，所述车辆摄像机系统(10)包括：至少一个摄像机(50)，用于捕获车辆(40)的侧方的视场(60)的图像；以及显示单元(70)，用于将捕获的图像可视化给车辆(40)的驾驶员，其特征在于，所述设备(100)包括：
控制单元(110)，其适于控制显示单元(70)以显示图形指示器(115)，所显示的图形指示器(115)以默认方式顺序地变化，以允许驾驶员基于与以默认方式顺序地变化的图形指示器(115)的偏差视觉上检测车辆摄像机系统(10)的故障，
其中所述车辆包括视场(60)中的由光控制系统(220)控制以产生周期性变化的光的光源(210)，
其中所述控制单元(110)适于基于由所述光控制系统(220)控制的光源(210)的变化而以默认方式顺序地改变图形指示器(115)，以及
其中所述控制单元(110)适于：与光源(210)的变化相比，以相同的频率周期性地、但以预定的时间延迟改变图形指示器(115)，其中，所述时间延迟能够在零与光源(210)的顺序变化的一个周期之间调整。
2.根据权利要求1所述的设备(100)，
其特征在于，
所述图形指示器(115)通过改变以下量中的至少一个来根据预定的特性变化：强度、形状、图形元素的颜色、指示器元素的运动。
3.根据权利要求1或2所述的设备，其中，所述车辆摄像机系统(10)还包括处理单元(80)，用于处理所述至少一个摄像机(50)的捕获的图像，并将处理后的图像显示在所述显示单元(70)上，
其特征在于，
所述控制单元(110)还适于让处理单元(80)在显示捕获的图像的同时将图形指示器(115)叠盖在显示单元(70)上。
4.根据权利要求1或2所述的设备(100)，
其特征在于，
视场(60)中的光源(210)适于使其光以默认方式变化，并且
所述控制单元(110)适于处理摄像机(50)的捕获的图像，并在所述显示单元(70)上显示变化的光源(210)作为所述图形指示器(115)。
5.根据权利要求4所述的设备(100)，其特征在于，
所述控制单元(110)适于使图形指示器(115)在显示单元(70)上显示成紧靠近所显示的光源(210)。
6.根据权利要求1至2和5中任一项所述的设备(100)，其中，所述光控制系统(220)适于以默认速率周期性地改变光源(210)的光，
其特征在于，
所述控制单元(110)还适于实现以下功能：
(i)确定所捕获的图像中的光源(210)的变化率；
(ii)检测所确定的变化率与默认变化率之间的偏差；以及
(iii)如果检测到所述偏差，则发出警告。
7.一种车辆摄像机系统(10)，其包括至少一个摄像机(50)、用于显示由所述至少一个摄像机(50)捕获的图像的显示单元(70)，
其特征在于，所述车辆摄像机系统(10)还包括
根据前述权利要求中任一项所述的设备(100)，用于使车辆的驾驶员能够视觉上检测所述车辆摄像机系统(10)的故障。
8.根据权利要求7所述的摄像机系统(10)，
其特征在于，光控制系统(220)适于根据环境条件修改光源(210)的强度。
9.根据权利要求7或8所述的摄像机系统(10)，其特征在于，
光控制系统(220)是车辆的转向指示器控制系统。
10.一种带有车辆通信总线的车辆，
其特征在于，所述车辆包括：
根据权利要求7至9中任一项所述的车辆摄像机系统(10)；和
车辆通信总线(90)，其连接以下组件中的至少一些：所述控制单元(110)、所述摄像机(50)、所述显示单元(70)和所述光控制系统(220)、用于处理摄像机(50)的捕获的图像的处理单元(80)。
11.一种用于监视车辆摄像机系统(10)的方法，所述车辆摄像机系统(10)包括至少一个摄像机(50)、显示单元(70)和处理单元(80)，所述车辆摄像机系统(10)适于将车辆的侧方的图像可视化在显示单元(70)上，所述车辆包括视场(60)中的由光控制系统(220)控制以产生周期性变化的光的光源(210)，
其特征在于，
生成或捕获(S110)以默认方式变化的图形指示器(115)或图像；以及
将变化的图形指示器(115)或捕获的图像示出(S120)在显示单元(70)上，以允许车辆的驾驶员基于所述图形指示器(115)或所捕获的图像中显示的变化与默认方式的变化的偏差来检测车辆摄像机系统(10)的故障，
其中控制单元(110)适于基于由所述光控制系统(220)控制的光源(210)的变化而以默认方式顺序地改变图形指示器(115)，以及
其中所述控制单元(110)适于：与光源(210)的变化相比，以相同的频率周期性地、但以预定的时间延迟改变图形指示器(115)，其中，所述时间延迟能够在零与光源(210)的顺序变化的一个周期之间调整。
12.一种计算机程序载体，其具有当在处理器上执行计算机程序时用于执行根据权利要求11所述的方法的程序代码。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18159439.1 | 2018-03-01 | ||
| EP18159439.1A EP3533667B1 (en) | 2018-03-01 | 2018-03-01 | Apparatus and method for monitoring a vehicle camera system |
| PCT/EP2019/052384 WO2019166178A1 (en) | 2018-03-01 | 2019-01-31 | Apparatus and method for monitoring a vehicle camera system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111819110A CN111819110A (zh) | 2020-10-23 |
| CN111819110B true CN111819110B (zh) | 2023-09-26 |
Family
ID=61691619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980015675.4A Active CN111819110B (zh) | 2018-03-01 | 2019-01-31 | 用于监视车辆摄像机系统的设备和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11260805B2 (zh) |
| EP (1) | EP3533667B1 (zh) |
| JP (1) | JP7143430B2 (zh) |
| CN (1) | CN111819110B (zh) |
| WO (1) | WO2019166178A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020132161A1 (de) * | 2020-12-03 | 2022-06-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und System zur Deduktion einer reduzierten Bildwiederholfrequenz bei hochauflösenden Scheinwerfern |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1462820A1 (de) * | 2003-03-24 | 2004-09-29 | DaimlerChrysler AG | Videobildanzeige für eine Fahrzeugumgebungserfassungseinheit |
| JP2007251555A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 診断装置および方法、プログラム、並びに、記録媒体 |
| CN102783146A (zh) * | 2010-03-05 | 2012-11-14 | 松下电器产业株式会社 | 监视系统、其控制方法和用于监视系统的半导体集成电路 |
| DE102011079005A1 (de) * | 2011-07-12 | 2013-01-17 | Robert Bosch Gmbh | Verfahren zur Eigendiagnose von Kameras und Bildaufnahmesystem mit mindestens einer Kamera zur Durchführung des Verfahrens |
| DE202013101083U1 (de) * | 2012-03-13 | 2013-07-16 | Exploitatiemaatschappij De Berghaaf B.V. | Einrichtung zum Kontrollieren der Wirksamkeit eines visuellen Wahrnehmungssystems |
| JP2016134657A (ja) * | 2015-01-15 | 2016-07-25 | 株式会社デンソー | 視界支援装置 |
| CN105960355A (zh) * | 2013-12-12 | 2016-09-21 | 法雷奥开关和传感器有限责任公司 | 用于在检测车灯闪光之后操作机动车辆后视摄像头系统的方法、后视摄像头系统和机动车辆 |
| CN106240574A (zh) * | 2015-06-05 | 2016-12-21 | 现代自动车株式会社 | 诊断车辆用的音响主机和相机单元的故障的方法 |
| WO2017134121A1 (en) * | 2015-08-14 | 2017-08-10 | Mekra Lang Gmbh & Co. Kg | Camera system for a vehicle |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1881699A1 (en) * | 2005-05-11 | 2008-01-23 | Matsushita Electric Industrial Co., Ltd. | Solid-state imaging pickup device, camera, automobile and monitoring device |
| JP5054294B2 (ja) * | 2005-08-05 | 2012-10-24 | 株式会社小松製作所 | 作業用車両に搭載される表示装置、及び同表示装置の表示方法 |
| DE102006047777A1 (de) | 2006-03-17 | 2007-09-20 | Daimlerchrysler Ag | Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten |
| US20130265431A1 (en) * | 2009-02-19 | 2013-10-10 | Denso Corporation | Outside view monitor system for vehicle |
| EP3139340B1 (en) | 2015-09-02 | 2019-08-28 | SMR Patents S.à.r.l. | System and method for visibility enhancement |
| US10800455B2 (en) | 2015-12-17 | 2020-10-13 | Ford Global Technologies, Llc | Vehicle turn signal detection |
| US20170315771A1 (en) * | 2016-04-28 | 2017-11-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for selectively displaying images in an autonomous vehicle |
| JP6748622B2 (ja) * | 2017-02-16 | 2020-09-02 | ソニーセミコンダクタソリューションズ株式会社 | 撮像システムおよび撮像装置 |
-
2018
- 2018-03-01 EP EP18159439.1A patent/EP3533667B1/en active Active
-
2019
- 2019-01-31 CN CN201980015675.4A patent/CN111819110B/zh active Active
- 2019-01-31 JP JP2020545511A patent/JP7143430B2/ja active Active
- 2019-01-31 US US16/966,624 patent/US11260805B2/en active Active
- 2019-01-31 WO PCT/EP2019/052384 patent/WO2019166178A1/en active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1462820A1 (de) * | 2003-03-24 | 2004-09-29 | DaimlerChrysler AG | Videobildanzeige für eine Fahrzeugumgebungserfassungseinheit |
| JP2007251555A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 診断装置および方法、プログラム、並びに、記録媒体 |
| CN102783146A (zh) * | 2010-03-05 | 2012-11-14 | 松下电器产业株式会社 | 监视系统、其控制方法和用于监视系统的半导体集成电路 |
| DE102011079005A1 (de) * | 2011-07-12 | 2013-01-17 | Robert Bosch Gmbh | Verfahren zur Eigendiagnose von Kameras und Bildaufnahmesystem mit mindestens einer Kamera zur Durchführung des Verfahrens |
| DE202013101083U1 (de) * | 2012-03-13 | 2013-07-16 | Exploitatiemaatschappij De Berghaaf B.V. | Einrichtung zum Kontrollieren der Wirksamkeit eines visuellen Wahrnehmungssystems |
| CN105960355A (zh) * | 2013-12-12 | 2016-09-21 | 法雷奥开关和传感器有限责任公司 | 用于在检测车灯闪光之后操作机动车辆后视摄像头系统的方法、后视摄像头系统和机动车辆 |
| JP2016134657A (ja) * | 2015-01-15 | 2016-07-25 | 株式会社デンソー | 視界支援装置 |
| CN106240574A (zh) * | 2015-06-05 | 2016-12-21 | 现代自动车株式会社 | 诊断车辆用的音响主机和相机单元的故障的方法 |
| WO2017134121A1 (en) * | 2015-08-14 | 2017-08-10 | Mekra Lang Gmbh & Co. Kg | Camera system for a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111819110A (zh) | 2020-10-23 |
| US11260805B2 (en) | 2022-03-01 |
| JP2021515490A (ja) | 2021-06-17 |
| US20210031705A1 (en) | 2021-02-04 |
| EP3533667A1 (en) | 2019-09-04 |
| WO2019166178A1 (en) | 2019-09-06 |
| JP7143430B2 (ja) | 2022-09-28 |
| EP3533667B1 (en) | 2020-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5233583B2 (ja) | 車載用監視装置 | |
| US8780202B2 (en) | Image generation apparatus | |
| JP5697512B2 (ja) | 画像生成装置、画像表示システム及び画像表示装置 | |
| EP3031208B1 (en) | Device for monitoring the proper functioning of a transmission path, particularly of a camera | |
| US11163517B2 (en) | Display device for a vehicle having migration of image display | |
| CN103303205A (zh) | 车辆周围监视装置 | |
| JP2009217682A (ja) | 車両用表示装置 | |
| JP2008283431A (ja) | 画像処理装置 | |
| JP2018142885A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
| JP2018182536A (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
| CN104417431A (zh) | 行车信息指示系统 | |
| JP6023421B2 (ja) | 車両用表示システム | |
| CN111819110B (zh) | 用于监视车辆摄像机系统的设备和方法 | |
| CN113060156B (zh) | 车辆周围监视装置、车辆、车辆周围监视方法和程序 | |
| KR101601324B1 (ko) | 차량용 카메라 시스템의 영상 획득 방법 | |
| EP2709356B1 (en) | Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle | |
| JP2019001325A (ja) | 車載用撮像装置 | |
| JP2012147308A (ja) | 画像処理装置、画像表示システム、及び、画像処理方法 | |
| JP6234701B2 (ja) | 車両用周囲モニタ装置 | |
| WO2017056412A1 (ja) | モニタ制御システム、モニタ制御方法、及び、モニタ制御プログラム | |
| CN112512865B (zh) | 用于运行机动车的显示系统的方法、机动车 | |
| JP2006082653A (ja) | ランプ点灯状態検出装置 | |
| JP2013172378A (ja) | 画像処理装置及び車両 | |
| JP6866212B2 (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
| CN109429042A (zh) | 具有提供bvm图像的功能的svm系统及其操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |