CN110073402A - 用于获得防闪烁超分辨率图像的车辆成像系统和方法 - Google Patents

用于获得防闪烁超分辨率图像的车辆成像系统和方法 Download PDF

Info

Publication number
CN110073402A
CN110073402A CN201780073280.0A CN201780073280A CN110073402A CN 110073402 A CN110073402 A CN 110073402A CN 201780073280 A CN201780073280 A CN 201780073280A CN 110073402 A CN110073402 A CN 110073402A
Authority
CN
China
Prior art keywords
image
latest
super
imaging system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073280.0A
Other languages
English (en)
Other versions
CN110073402B (zh
Inventor
凯·乌维·哈根伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMR Patents SARL
Original Assignee
SMR Patents SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMR Patents SARL filed Critical SMR Patents SARL
Publication of CN110073402A publication Critical patent/CN110073402A/zh
Application granted granted Critical
Publication of CN110073402B publication Critical patent/CN110073402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，所述成像系统包括：图像传感器装置(3)，其用于获得一系列图像；以及图像处理装置(5)，其适于：接收所述一系列图像，将所述一系列图像中的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。本发明还涉及一种包括至少一个成像系统的至少一部分的后视显示设备，并且涉及一种获得防闪烁超分辨率图像的方法。

Description

用于获得防闪烁超分辨率图像的车辆成像系统和方法
技术领域
本发明涉及一种成像系统并涉及一种用于获得防闪烁超分辨率图像的方法，所述系统包括适于获得一系列图像的图像传感器装置；和图像处理装置，其适于：接收所述一系列图像，将所述一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除所检测到的所述图像区域以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
背景技术
发光二极管LED已成为现代照明设备的准标准。LED灯用于路灯、汽车前灯、交通信号灯、警告标志和/或广告显示器。LED一般地基于快速脉冲发射的原理操作，即LED以通常对于人眼是不可见的的非常高的速率或频率接通和断开。然而，现代相机，特别是数码相机以非常高的可能类似于LED的脉冲速率的速率捕获图像。不幸的是，捕获图像的速率和LED的脉冲速率并不总是完全重叠，即可以在LED的关闭阶段期间捕获图像。如果这些图像然后在显示设备上呈现为视频流，则由于频率的失配而出现所谓的“闪烁效应”。这种效应甚至可以通过滚动快门的效应加剧。
特别地，对于车辆的内容管理系统(CMS)或高级驾驶员辅助系统(ADAS)来说，“闪烁效应”可能会出现问题，因为这些系统依赖于对各类应用的持续的灯光识别，如交通信号灯识别、汽车检测方法、盲点检测夜间模式等。
最常见的防闪烁途径涉及由标准电源系统供电的LED灯泡的LED闪烁。当使用对应于电源频率的倍数的快门速度时，几乎可以完全避免闪烁效应。遗憾的是，这些方案仅适用于具有固定同步电源的光源，而独立动力汽车则不然。
在现有技术中，描述了用于闪烁检测和缓解的方案。例如，在US2016/006919A1和WO 2014/164951A1中描述了用于使记录相机与LED频率同步化的方案。在WO 2006/118686A2中描述了另一种途径，其中来自附加传感器的信息用于检测闪烁。在US6421097B1中描述了一种用于检测一系列图像中的闪烁并执行时间滤波的时间滤波器。
设计用于汽车工业的途径通常涉及对所获得的图像进行下采样并且通过来自视频系列(video sequence)的一组不同的图像获取固定像素的平均值，如US 6380985B1中所描述的那样。在US 6563511B1中所描述的途径涉及影响像素的智能减少。另一种途径在US9232153B2中有描述并且涉及对两个后续图像进行平均。
然而，这些途径仅对于保持空间静态的对象才能获得良好的结果，然而，对于运动对象，或者当相机相对于对象运动时，这些途径则不能很好地奏效。
一种增强由车辆的设备捕获的图像的图片质量的途径在US2014/0193032A1中有描述并且涉及创建超分辨率图像。即使超分辨率图像提供了改善的图像质量，闪烁效果仍然可以降低图像质量。
因此，本发明旨在提供一种改进的成像系统和方法，所述成像系统和方法可以在车辆上使用，并且提供高质量的防闪烁图像。
发明内容
本发明提供一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，其包括：图像传感器装置，其适于获得一系列图像；以及图像处理装置，其适于：接收所述一系列图像，将所述一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，从所述最新图像的所述图像信息中去除所检测到的所述图像区域以获得经调整的图像信息，以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
这里，术语“防闪烁”可以用来指所得的图像基本上没有可能由脉冲光引起的闪烁。术语“超分辨率图像”可以用来指增强图像，其中至少两个图像的整个图像信息或部分图像信息用来创建光学增强图像。“图像传感器装置”可以是一个相机，例如(作为举例)数码相机，或者多个相机，所述多个相机可以布置成阵列，并且能够获得可以是连续系列的“一系列图像”，即可以连续拍摄的图像。所述“一系列图像”可以包括在不同时间实例(timeinstances)和/或从不同位置获得的图像，所述位置取决于所述图像传感器装置相对于所成像的对象的空间运动。
图像信息的所述比较可以通过将所述一系列图像中的图像的图像信息与参考图像进行比较来完成，其中所述参考图像可以是在记录所述图像之前刚记录的一个图像，或者是在记录所述图像之前刚记录的多个图像。替代地，所述参考图像可以是包含先前记录的多个图像的图像信息的超加强图像(super-imposed image)。所述信息的所述比较可以，例如通过某个(某些)像素位置的亮度值的逐像素或逐像素群集比较来完成。然而，如果所述图像是从不同位置拍摄的，则所述比较也可以通过识别配准误差来完成。
术语“经调整的图像信息”可以用来指所述图像中的未检测到未命中匹配的那部分的图像信息或像素数据。
在一个实施方案中，所述参考图像包括所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或所述超分辨率图像。
在另一个实施方案中，所述图像传感器装置包括至少一个相机，优选地所述至少一个相机是车辆的高级驾驶员辅助系统(ADAS)和/或内容管理系统(CMS)的相机。
在又一个实施方案中，所述图像传感器装置包括：至少一个相机阵列，所述相机阵列包括多个相机，优选地所述相机阵列包括4到9个相机，并且优选地，所述相机以范围在1cm到2cm的距离彼此分开地定位；和/或立体相机。
在一个实施方案中，所述多个相机中的每一个适于获得至少一个图像，并且其中所述多个相机适于在不同时间实例获得图像，优选地，其中所述多个相机中的每个相机适于以每秒14至300或600个帧的速率操作，优选地所述多个相机中的每个相机适于以每秒60或30个帧的速率操作，并且适于以16或33ms的间隔获得图像。
在另一个实施方案中，所述失配图像区域包括至少一个像素。
在又一个实施方案中，检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域：
(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，
(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或
(iii)包括平均距离误差，所述平均距离误差由从所述最新图像到所述参考图像再回到所述最新图像的光流级联的前向-后向检查所产生，优选地，其中所述平均距离大于0.2像素。
这里，术语“配准误差”可以理解为将所述最新图像的图像数据的不同区域变换为所述参考图像的坐标系中的误差。
在另一个实施方案中，所述图像处理装置适于基本上实时地处理所述一系列图像。
这里，术语“实时”可用来指基本上实时地运行的过程，即不考虑所述图像处理装置的处理速度而运行的过程。例如，可以在与所述图像传感器装置不同的时间实例逐个地接收图像，然后可以足够快地完成比较、去除检测到的图像区域，以及将经调整的图像信息添加到超分辨率图像，使得将不断更新的图像显示给驾驶员。
因此，在另一个实施方案中，所述成像系统包括适于显示所述超分辨率图像的图像显示装置，优选地，所述图像显示装置包括屏幕，最优选地所述屏幕是CMS系统中的高清(HD)设备。
在又一个实施方案中，所述图像处理装置在片上系统上实现。
本发明还涉及一种用于车辆的后视显示设备，优选地所述车辆是机动车辆，所述后视显示设备包括至少一个根据本发明的成像系统的至少一部分。
此外，本发明涉及一种获得防闪烁超分辨率图像的方法，其包括：获得一系列图像；将所述一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域；从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息；以及将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
这里，所述方法可以是计算机实现的方法，其中所述方法可以存储为用于操作计算设备(例如计算机和/或微处理器)的程序。
在一个实施方案中，所述参考图像包括所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或所述超分辨率图像。
在另一个实施方案中，检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域，优选地所述至少一个失配图像区域包括至少一个像素：
(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，
(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或
(iii)包括平均距离误差，所述平均距离误差由从所述最新图像到所述参考图像再回到所述最新图像的光流级联(concatenation)的前向-后向检查所产生，优选地，其中所述平均距离大于0.2像素。
在又一个实施方案中，所述方法进一步包括显示所述超分辨率图像。
已经有利地发现，根据本发明的系统和方法不仅解决了防闪烁的问题，而且还提高了所得图像的整体分辨率。在这方面，减少从所述相机读出的数据，随后计算超分辨率图像允许借助于不太复杂且因此更便宜的片上系统解决方案来实现本发明。
而且，有利地，由于考虑到光学流信息，即关于对象配准的信息，而不是仅考虑到图像信息，以识别闪烁，所提出的方案更稳健，并且允许预测所述闪烁的准确位置。这里，具有闪烁灯(例如前照灯)的对象(例如另一车辆)的固有结构可以进行匹配，并且包括闪烁的图像区域中的光学流中的误差可以被有效地检测到，使得仅仅基本上没有闪烁的图像区域对所述超分辨率图像有贡献。
已经证明，在本发明的实施方案中描述的用于检测失配图像区域的各种措施的组合产生了出色的成果。即使仅通过比较亮度水平也实现了良好的成果，通过考虑到不同的亮度水平以及配准误差来确定闪烁则实现了优异的成果。有利地，当所述图像传感器装置中仅包括一个相机时，并且当其内安装有根据本发明的系统的车辆与闪烁对象之间没有相对运动时，闪烁可以仅基于不同的亮度水平确定，但是，当存在相对运动时，例如当所述车辆行驶时，闪烁可以基于包括不同亮度水平的图像区域和由配准图像所产生的配准误差确定。然而，当所述图像传感器中包括相机阵列时，即使在所述车辆和所述闪烁对象之间没有相对运动时，闪烁也可以基于配准误差单独地或至少部分地确定，因为所述一系列图像包括由于所述相机阵列的设计而在不同时间实例和不同观察点拍摄的图像。
所述成像系统可以有利地与已经安装在所述车辆上并用在车辆的ADA系统中的相机一起使用。所述相机可以面向所述车辆的前部、后部、侧面和/或朝向其任何组合。因此，在使用现有ADA系统的情况下，不必为了实现本发明而在所述车辆中安装新硬件。
附图说明
以下示意图示出了本发明的各方面，以结合一些示例性说明来改进对本发明的理解，其中：
图1示出了根据本发明的一实施方案的成像系统的框图；
图2示出了根据本发明的一实施方案的获得防闪烁超分辨率图像的方法的功能图；
图3a至3d示出了用于前向-后向检查的最新图像和参考图像的示意性像素网格；
图4a至4i示出了可用于获得防闪烁超分辨率图像的包括闪烁的一系列图像的示例；
图5a示出了由图4a至4i的一系列图像产生的内插图像；以及
图5b示出了由图4a至4i的一系列图像产生的防闪烁超分辨率图像。
具体实施方式
图1示出了根据本发明的一实施方案的成像系统1的框图。示出了图像传感器装置3，其适于获得一系列图像。这里，技术人员将知道图像传感器装置3可以包括单个相机，例如数码相机，或者几个相机，例如包括多个数码相机的相机阵列。
然后，由图像传感器装置3获得的一系列图像被传送到处理装置5并在处理装置5处接收，其中将一系列图像的一个最新图像的图像信息与参考图像进行比较，以检测最新图像中的至少一个失配图像区域。此后，从最新图像的图像信息中去除检测到的图像区域以获得经调整的图像信息，并且将最新图像的经调整的图像信息添加到超分辨率图像。本领域技术人员知道，可以连续执行上述图像处理，以便用新的图像信息连续更新超分辨率图像。而且，以与用新的图像信息更新超分辨率图像相同的速率，再次从超分辨率图像中移除旧的图像信息，例如来自不久以前(例如10到20个帧)所记录的图像(例如以前的图像)的信息，使得超分辨率图像仅包含相当当前的信息。
图1中还示出了适于显示超分辨率图像的图像显示装置7。本领域技术人员将知道，图像显示装置7可以例如包括布置在车辆的中央控制台中的显示器。
图2示出了根据本发明的一实施方案的获得防闪烁超分辨率图像的方法100的功能图。
获得防闪烁超分辨率图像的方法100包括以下步骤：获得101一系列图像；将一系列图像的一个最新图像的图像信息103与参考图像进行比较，以检测最新图像中的至少一个失配图像区域；从最新图像的图像信息中去除105检测到的图像区域，以获得经调整的图像信息；并且将最新图像的经调整的图像信息添加107到超分辨率图像。
方法100可以进一步包括显示109超分辨率图像的步骤。然而，技术人员将知道，超分辨率图像也可以被传输到位于车辆中的另一计算设备以进行进一步处理。
图3a至3d示出了用于前向-后向检查的最新图像和参考图像的示意性像素网格。图3a是可以输入到上面关于图2描述的方法的最新图像的示意性像素网格的示例。这里，选择一个灰色阴影的随机感兴趣像素用于前向后检查。技术人员将知道，图像中的任何像素以及一组像素可以用于前向后检查。图3b示出了参考图像的像素网格，并且箭头用于示出感兴趣像素与参考图像的像素网格的正向匹配。
如图3b的示例中所示，感兴趣像素相对于参考图像的像素网格中的参考像素略微偏移，这表示在光流级联中有误差。图3d基本上对应于图3c，并且从图3d到图3c的箭头示出了具有向后匹配的原始像素网格的回溯。指示两个灰色阴影像素之间的偏移的箭头还指示可以用于检测最新图像中的失配图像区域的局部前向-后向匹配误差。根据经验确定大于0.2像素的平均距离误差以提供高质量的成果。
图4a至4i示出了可以用于获得防闪烁超分辨率图像的包括闪烁的LED显示器的一系列图像的示例。在图5a中，示出了由图4a至4i的一系列图像产生的内插图像。从图5a可以看出，如果一系列图像中的图像仅被内插，则闪烁效应仍然存在。
在图5b中，示出了由图4a至4i的一系列图像产生的防闪烁超分辨率图像。所示的防闪烁图像可以来自根据本发明的图像系统，和/或来自根据本发明的相应方法。从图5b可以看出，通过从对超分辨率图像有贡献的图像中去除失配图像信息，几乎可以完全避免由闪烁引起的不利效应。
权利要求书、说明书和附图中披露的特征，要么单独地，要么彼此任意组合地，对于所要求保护的发明的不同实施方案可能是必要的。
附图标记
1 成像系统
3 图像传感器装置
5 处理装置
7 显示装置
100 获得防闪烁超分辨率图像的方法
101 获得
103 比较
105 去除
107 添加
109 显示

Claims (15)

1.一种用于车辆以用于获得防闪烁超分辨率图像的成像系统，所述成像系统包括：
图像传感器装置(3)，其适于获得一系列图像；以及
图像处理装置(5)，其适用于：
接收所述一系列图像，
将所述一系列图像中的一个最新图像的图像信息与参考图像进行比较，以检测所述最新图像中的至少一个失配图像区域，
从所述最新图像的所述图像信息中去除检测到的所述图像区域，以获得经调整的图像信息，以及
将所述最新图像的所述经调整的图像信息添加到超分辨率图像中。
2.如权利要求1所述的成像系统，其特征在于，所述参考图像包括：
所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或
所述超分辨率图像。
3.如权利要求1或2所述的成像系统，其特征在于，所述图像传感器装置(3)包括至少一个相机，优选地所述至少一个相机是车辆的高级驾驶员辅助系统(ADAS)和/或内容管理系统(CMS)的相机。
4.如权利要求1或2所述的成像系统，其特征在于，所述图像传感器装置(3)包括：
至少一个相机阵列，所述相机阵列包括多个相机，优选地所述相机阵列包括4到9个相机，并且优选地，所述相机以范围在1cm到2cm的距离彼此分开地定位；
和/或立体相机。
5.如权利要求4所述的成像系统，其中所述多个相机中的每一个适于获得至少一个图像，并且其中所述多个相机适于在不同时间实例获得图像，优选地，其中所述多个相机中的每个相机适于以每秒14至300或600个帧的速率操作，优选地所述多个相机中的每个相机适于以每秒60或30个帧的速率操作，并且适于以16或33ms的间隔获得图像。
6.如前述权利要求中任一项所述的成像系统，其中所述失配图像区域包括至少一个像素。
7.如前述权利要求中任一项所述的成像系统，其中检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域：
(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，
(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或
(iii)包括平均距离误差，所述平均距离误差由从所述最新图像到所述参考图像再回到所述最新图像的光流级联的前向-后向检查所产生，优选地，其中所述平均距离大于0.2像素。
8.如前述权利要求中任一项所述的成像系统，其中所述图像处理装置(5)适于基本上实时地处理所述一系列图像。
9.如前述权利要求中任一项所述的成像系统，所述成像系统进一步包括：
适于显示所述超分辨率图像的图像显示装置(7)，优选地，所述图像显示装置(7)包括屏幕，最优选地所述屏幕是CMS系统中的高清(HD)设备。
10.如前述权利要求中任一项所述的成像系统，其中所述图像处理装置(5)在片上系统上实现。
11.一种用于车辆的后视显示设备，优选地所述车辆是机动车辆，所述后视显示设备包括至少一个如权利要求1至10中任一项所述的成像系统的至少一部分。
12.一种获得防闪烁超分辨率图像的方法，其包括：
获得(101)一系列图像；
将所述一系列图像的一个最新图像的图像信息与参考图像进行比较(103)，以检测所述最新图像中的至少一个失配图像区域；
从所述最新图像的所述图像信息中去除(105)检测到的所述图像区域，以获得经调整的图像信息；以及
将所述最新图像的所述经调整的图像信息添加(107)到超分辨率图像中。
13.如权利要求12所述的方法，其特征在于，所述参考图像包括：
所述一系列图像中的在所述最新图像之前的至少一个图像，优选地所述至少一个图像是直接在所述最新图像之前的图像；和/或
所述超分辨率图像。
14.如权利要求12或13中任一项所述的方法，其中检测所述最新图像中的至少一个失配图像区域包括检测包括以下项的图像区域，优选地所述至少一个失配图像区域包括至少一个像素：
(i)与所述参考图像中的相同区域相比包括不同的亮度水平，优选地，其中所述亮度值相差超过10％，
(ii)当使用亚像素精度朝向所述参考图像配准时包括配准误差，优选地，其中所述配准误差大于0.5像素，和/或
(iii)包括平均距离误差，所述平均距离误差由从所述最新图像到所述参考图像再回到所述最新图像的光流级联的前向-后向检查所产生，优选地，其中所述平均距离大于0.2像素。
15.如权利要求12至14中任一项所述的方法，其中所述方法进一步包括：
显示(109)所述超分辨率图像。
CN201780073280.0A 2016-11-28 2017-11-15 用于获得防闪烁超分辨率图像的车辆成像系统和方法 Active CN110073402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016122934.2A DE102016122934A1 (de) 2016-11-28 2016-11-28 Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
DE102016122934.2 2016-11-28
PCT/EP2017/079308 WO2018095779A1 (en) 2016-11-28 2017-11-15 Imaging system for a vehicle and method for obtaining an anti-flickering super-resolution image

Publications (2)

Publication Number Publication Date
CN110073402A true CN110073402A (zh) 2019-07-30
CN110073402B CN110073402B (zh) 2023-05-12

Family

ID=60450627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073280.0A Active CN110073402B (zh) 2016-11-28 2017-11-15 用于获得防闪烁超分辨率图像的车辆成像系统和方法

Country Status (5)

Country Link
US (1) US11178338B2 (zh)
EP (1) EP3545489B1 (zh)
CN (1) CN110073402B (zh)
DE (1) DE102016122934A1 (zh)
WO (1) WO2018095779A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933690A1 (en) * 2020-06-30 2022-01-05 Sick IVP AB Generation of a second object model based on a first object model for use in object matching

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN103975578A (zh) * 2011-12-08 2014-08-06 索尼公司 图像处理设备、图像处理方法以及程序
US20140307982A1 (en) * 2013-04-16 2014-10-16 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
CN104574447A (zh) * 2013-10-18 2015-04-29 福特全球技术公司 颜色和谐验证系统
CN104717435A (zh) * 2013-12-16 2015-06-17 奥林巴斯株式会社 摄像装置以及摄像方法
CN105551013A (zh) * 2015-11-03 2016-05-04 西安电子科技大学 基于运动平台参数的sar图像序列配准方法
WO2016067529A1 (ja) * 2014-10-30 2016-05-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム
CN106063249A (zh) * 2014-03-19 2016-10-26 三星电子株式会社 摄像装置及其控制方法以及计算机可读记录介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421097B1 (en) 1998-07-31 2002-07-16 Intel Corporation Method and apparatus for reducing flicker in a video image sequence
US6380985B1 (en) 1998-09-14 2002-04-30 Webtv Networks, Inc. Resizing and anti-flicker filtering in reduced-size video images
US6563511B1 (en) 1999-03-05 2003-05-13 Teralogic, Inc. Anti-flickering for video display based on pixel luminance
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
US20060244843A1 (en) 2005-04-29 2006-11-02 Bart Dierickx Illumination flicker detection
US8581906B2 (en) * 2008-08-04 2013-11-12 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
CN105338890B (zh) * 2012-11-11 2018-10-09 肯库有限责任公司 确定生命参数的方法和装置
US9336574B2 (en) 2013-01-07 2016-05-10 GM Global Technology Operations LLC Image super-resolution for dynamic rearview mirror
US9106839B2 (en) 2013-04-05 2015-08-11 Google Inc. Automatic location-based camera frame rate settings
FR3005543A1 (fr) 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
JP6370134B2 (ja) 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN103975578A (zh) * 2011-12-08 2014-08-06 索尼公司 图像处理设备、图像处理方法以及程序
US20140307982A1 (en) * 2013-04-16 2014-10-16 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
CN104574447A (zh) * 2013-10-18 2015-04-29 福特全球技术公司 颜色和谐验证系统
CN104717435A (zh) * 2013-12-16 2015-06-17 奥林巴斯株式会社 摄像装置以及摄像方法
CN106063249A (zh) * 2014-03-19 2016-10-26 三星电子株式会社 摄像装置及其控制方法以及计算机可读记录介质
WO2016067529A1 (ja) * 2014-10-30 2016-05-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム
CN105551013A (zh) * 2015-11-03 2016-05-04 西安电子科技大学 基于运动平台参数的sar图像序列配准方法

Also Published As

Publication number Publication date
EP3545489A1 (en) 2019-10-02
DE102016122934A1 (de) 2018-06-14
WO2018095779A1 (en) 2018-05-31
US11178338B2 (en) 2021-11-16
CN110073402B (zh) 2023-05-12
EP3545489B1 (en) 2022-08-10
US20200314316A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
EP3472000B1 (en) System and method for processing video data to detect and eliminate flickering light sources through dynamic exposure control
CN107852465B (zh) 车载环境识别装置
US11178353B2 (en) System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
EP2448251B1 (en) Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US20060018513A1 (en) Stereo vehicle-exterior monitoring apparatus
JP2010152873A (ja) 接近物体検知システム
JPWO2015098325A1 (ja) 車載画像認識装置
WO2012014266A1 (ja) 障害物検知システム及び方法、障害物検知装置
JP2009234344A (ja) 撮像手段の調整装置および物体検出装置
CN108280444A (zh) 一种基于车辆环视图的快速运动物体检测方法
JP5712821B2 (ja) 撮影表示制御システム
CN110073402A (zh) 用于获得防闪烁超分辨率图像的车辆成像系统和方法
JP2011087037A (ja) 車両用障害物検出装置
JP3853574B2 (ja) 移動体検出システム
CN112565618B (zh) 曝光控制装置
JP7426987B2 (ja) 撮影システムおよび画像処理装置
JP2013009041A (ja) 車両用撮影表示制御システム
CN115769250A (zh) 用于机动车的视觉系统
JP5310162B2 (ja) 車両灯火判定装置
JP2007072948A (ja) 信号機点灯状態識別方法および装置
CN116368533A (zh) 避免在晨昏和夜间时因野生动物出没造成的事故的系统
JP2019160230A (ja) システムおよび撮像装置
JP2000099696A (ja) 炎検出装置
JP2019122010A (ja) 車両用後方画像表示装置
JP2019010928A (ja) 電子ミラー制御装置、電子ミラー、電子ミラー制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant