CN110956597A - 用于车辆中的自动图像改善的设备和方法 - Google Patents

用于车辆中的自动图像改善的设备和方法 Download PDF

Info

Publication number
CN110956597A
CN110956597A CN201910915453.XA CN201910915453A CN110956597A CN 110956597 A CN110956597 A CN 110956597A CN 201910915453 A CN201910915453 A CN 201910915453A CN 110956597 A CN110956597 A CN 110956597A
Authority
CN
China
Prior art keywords
image
image processing
initial
filter
highest number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910915453.XA
Other languages
English (en)
Inventor
A·伯尔奇
K·I·基什
L·基什
P·克勒希-绍博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110956597A publication Critical patent/CN110956597A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

用于车辆的用于图像改善的设备具有摄像机和图像处理模块，摄像机设置用于检测初始图像，图像处理模块设置用于由初始图像确定结果图像。图像处理模块具有：多个图像处理滤波器，这些中的每个设置用于将初始图像分别变换成中间图像；评估模块，其对于借助图像处理滤波器变换的中间图像中的每个输出质量度量数；选择模块，其选择具有最高的质量度量数的中间图像并将具有最高质量度量数的中间图像输出作为结果图像；学习神经网络，其设置用于在学习阶段中，针对每个初始图像学习多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器，在学习阶段之后，针对每个初始图像选择多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器。

Description

用于车辆中的自动图像改善的设备和方法
技术领域
本发明涉及用于车辆(尤其陆地车辆)中的自动图像改善的一种设备和一种方法。自动图像改善在车辆中例如用于支持一系列辅助系统，或者自动图像改善也用于至少部分自动化行驶的车辆。
背景技术
在许多情况下，基于摄像机的传感装置的车辆应用依赖于高质量的摄像机图像。在一些场景中(例如在行驶通过隧道或天气突然变化时)，摄像机图像的质量可能会突然发生改变。在一些基于摄像机的系统(例如驾驶辅助系统中)中，这可能导致错误决策。
发明内容
本发明的任务是改善至少一些摄像机图像的质量。
本发明的一方面涉及一种用于车辆中的自动图像改善的方法，该方法具有以下步骤：
-借助摄像机检测初始图像；
-借助多个图像处理滤波器将初始图像变换成多个中间图像；
-对于借助图像处理滤波器所变换的中间图像中的每个，确定一个质量度量数
Figure BDA0002215999800000011
-借助选择模块来选择具有最高质量度量数的中间图像，并且将具有有最高质量度量数的中间图像输出作为结果图像，其中，在学习阶段中，学习神经网络针对每个初始图像对多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器进行学习，并且在学习阶段之后，学习神经网络针对每个初始图像从多个图像处理滤波器中选择出具有中间图像的最高质量度量数的图像处理滤波器。
对其执行该方法的车辆具有摄像机和图像处理模块，该摄像机用于检测初始图像，该图像处理模块设置用于由初始图像确定结果图像。该方法或该结果图像例如可以用于操控车辆的致动器。
车辆可以是陆地车辆(尤其可以是载客机动车、运输车、载重货车、陆基专用车辆)、水陆两用车辆、船舶或飞机。摄像机可以是单个摄像机、立体摄像机或多个摄像机(例如“环绕视野摄像机”的形式)。摄像机可以设置用于检测单个图像或检测图像的序列。由摄像机在没有进一步处理的情况下检测的图像称为“初始图像”，有时也称为“原始图像”。在通过图像处理模块处理之后被输出给基于摄像机的系统的图像称为“结果图像”。在许多系统中，结果图像必须满足(例如在亮度和/或对比度方面的)确定的质量要求。使用这种结果图像作为基础的系统例如包括辅助系统，所述辅助系统例如是用于车道识别的系统、用于识别固定对象(如建筑物或地标)的系统，或用于识别运动对象(如其他车辆或行人)的系统。这些结果图像例如可以由至少部分自动化行驶的车辆使用。
图像处理模块具有多个图像处理滤波器，这些图像处理滤波器中的每个在另一步骤中将初始图像分别变换成中间图像。图像处理滤波器例如可以进行颜色变换或对比度变换(例如改变伽马值)，但也可以执行复杂得多的变换。可以通过用于图像识别的算法来支持所述变换。在此，一个滤波器的不同设定适于用作不同的图像处理滤波器。
在另一步骤中，对于借助图像处理滤波器变换的中间图像中的每个，借助评估模块输出质量度量数。在一些实施方式中，评估模块可以非常简单地构型——例如对图像的平均亮度的简单的识别和/或对比度的度量。评估模块也可以复杂地构型，该评估模块例如可以比较不同的图像识别算法的结果，并且由此推导出质量度量数。质量度量数例如是如下刻度(Skalar)：借助该刻度能够快速地比较中间图像的质量。借助质量度量数尤其能够实现：比较具有不同类型的质量问题的不同类型的图像。质量问题可以包括：低对比度、白色饱和或色彩饱和(“saturated：饱和的”)或失真的图像。所提及的质量问题中的每个都可能需要一个用于图像改善的专用滤波器。一个图像可能具有多于一个的质量问题。尤其如果没有滤波器导致初始图像的改善，而是导致劣化时，质量度量数也可能是负的。
在另一步骤中，借助选择模块选择具有最高质量度量数的中间图像，并且将具有最高质量度量数的中间图像输出作为结果图像。在确定的前提条件下，例如在以下情况下，结果图像可以是初始图像：没有滤波器导致初始图像的改善，或者初始图像已经具有良好的质量。
图像处理模块还包括学习神经网络，该学习神经网络设置用于在学习阶段期间，针对每个初始图像对多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器进行学习，并且设置用于在学习阶段之后，针对每个初始图像从多个图像处理滤波器中选择出具有中间图像的最高质量度量数的图像处理滤波器。因此，图像处理模块具有不同的运行模式或运行阶段：学习阶段期间以及学习阶段之后。在此，在学习阶段期间，不使用神经网络的输出值，或神经网络不输出任何值。该值例如包括图像处理滤波器的类型和参数。在学习阶段之后，使用由神经网络输出的值来选择图像处理滤波器。在第一学习阶段之后，或者在神经网络已经建立一定的“基础知识”之后，可以通过图像处理模块进行自动图像改善。在一种实施方式中，例如可以在服务器上或在车辆中的处理器上执行学习阶段。在另一实施方式中，可以在车辆中的处理器上运行神经网络。
在一种实施方式中，对于未知的初始图像，可以暂时地重新恢复学习阶段，也就是说，即使神经网络已经被使用，其仍然可以“为此进行学习”。由此，图像处理模块获得自适应特性。
在一种实施方式中，例如为了加速神经网络的输出，通过学习神经网络对图像类型进行分类。
在一种实施方式中，学习神经网络还使用分类模块，该分类模块对于每个初始图像确定一个照明类别。在一种实施方式中，该分类模块可以确定其他类别——例如失真。
在一种实施方式中，多个图像处理滤波器中的至少一个实施用于将所谓的双边网格用作图像处理滤波器。双边网格的原理例如在“Chen,J.等人所著的《双边网格的实时边缘感知图像处理》(麻省理工学院，2007年)”中所描述。在双边网格中，x值和y值表示像素位置，z值是强度间隔
Figure BDA0002215999800000031
——例如黑白图像中的亮度。使用双边网格还具有使图像边缘保持平滑(“edge-aware brush：边缘感知刷”)的优点。而且，在使用双边网格时，将不同的滤波器设定理解成不同的图像处理滤波器。
在一种实施方式中，将初始图像的颜色参数与双边网格的参数(尤其所谓的“定向图”(guidance map：导向图)的参数)分开使用。在此，在双边网格中，所述元素中的每个是呈x-y-z坐标形式的颜色变换矩阵(Color Transformation Matrix,CTM)。在此，与初始图像相比，x-y坐标可以具有降低的分辨率。在这种情况下，定向图定义初始图像的像素与CTM之间的对应关系。每个像素的位置定义使用哪个CTM，而定向图的值确定所属的z坐标。在灰度值的情况下，z坐标例如可以是亮度值的说明。在本发明中，z坐标不一定是亮度值；此外，可以对z坐标进行学习。因此，定向图的参数表示彩色初始图像到定向图的变换。这可以用于将初始图像的颜色信息与边缘信息分开。因此，例如可以更高效地构型学习神经网络的学习阶段。
在一种实施方式中，多个图像处理滤波器包括用于改变亮度的滤波器、用于改变对比度的滤波器、用于改变颜色的滤波器、失真滤波器、清晰度滤波器和/或另一滤波器。该另一滤波器例如可以是高通滤波器或低通滤波器。失真滤波器例如可以用于补偿异常线(stürzende Linien)或摄像机伪像。
在一种实施方式中，该设备还具有分类模块，该分类模块设置用于对于每个初始图像确定一个照明类别，其中，学习神经网络设置用于在学习阶段期间，针对每个初始图像和/或针对每个照明分类对多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器进行学些，并且在学习阶段之后，针对每个初始图像和/或针对每个照明分类从多个图像处理滤波器中选择出具有中间图像的最高质量度量数的图像处理滤波器。分类模块可以实现通过神经网络对图像分析的改善和/或加速。
在一种实施方式中，将分类模块用于以下程序中的至少一个：照明粗略估计、天气数据的描述、真实环境的描述、时间信息或另一信息。这导致对图像处理滤波器的至少一个参数的匹配，这种匹配例如可以用于变化的光照条件。变化的光照条件例如在车辆驶入隧道时、或突然出现乌云或下大雨时出现。
在此，照明粗略估计例如考虑主要的照明情况。例如由网络(例如由预定义的提供者)或者由其他(例如合作的)车辆来实现天气数据的描述。真实环境的描述可以通过车载地图、GPS系统或具有当前交通数据的增强型GPS系统来实现。时间信息可以包含时刻和日期，并且时间信息例如提供用于白天或夜晚的第一指示器。其他信息可以包括例如天文数据——例如日落。
在一种实施方式中，摄像机设置用于检测初始图像的序列。这例如可以用于根据过去(即之前的初始图像)得出附加结论。因此，例如可以由光照条件(与之前的初始图像相比)的快速变化得出“行驶通过隧道”的结论；在光照条件缓慢变化的情况下例如得出“黄昏”的结论。
在一种实施方式中，当满足预定义的质量标准时，结果图像与初始图像相同。例如，当初始图像的质量足够高时(即例如当初始图像的亮度、对比度或清晰度足够时)，和/或当初始图像的失真很低时，可能满足该质量标准。如果没有图像处理滤波器能够实现任一中间图像的更高质量，则也可以满足该质量标准。
本发明的一方面涉及一种用于车辆中的图像改善的设备。该设备具有摄像机和图像处理模块，该摄像机设置用于检测初始图像，该图像处理模块设置用于由初始图像确定结果图像。在此，图像处理模块具有多个图像处理滤波器，所述多个图像处理滤波器中的每个设置用于将初始图像分别变换成中间图像。此外，该设备具有评估模块和选择模块，该评估模块对于借助图像处理滤波器变换的中间图像中的每个输出一个质量度量数，该选择模块选择具有最高质量度量数的中间图像，并且将具有最高质量度量数的中间图像输出作为结果图像。该设备还具有学习神经网络，该学习神经网络设置用于在学习阶段中，针对每个初始图像对多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器进行学习，并且在学习阶段之后，针对每个初始图像从多个图像处理滤波器中选择出具有中间图像的最高质量度量数的图像处理滤波器。
本发明的另一方面涉及一种图像处理模块，该图像处理模块设置用于由初始图像确定用于车辆的结果图像。图像处理模块具有多个图像处理滤波器，所述多个图像处理滤波器中的每个设置用于将初始图像分别变换成中间图像。图像处理滤波器例如可以进行颜色变换或对比度变换(例如改变伽马值)，但也可以执行复杂得多的变换。图像处理模块还具有评估模块，该评估模块对于借助图像处理滤波器所变换的中间图像中的每个输出一个质量度量数。该质量度量数例如是如下刻度：借助该刻度能够快速地比较中间图像的质量。图像处理模块还具有选择模块，该选择模块设置用于选择具有最高质量度量数的中间图像，并且将具有最高质量度量数的中间图像输出作为结果图像。
此外，图像处理模块还包括学习神经网络，该学习神经网络设置用于在学习阶段期间，针对每个初始图像对多个图像处理滤波器中的具有中间图像的最高质量度量数的图像处理滤波器进行学习，并且在学习阶段之后，针对每个初始图像从多个图像处理滤波器中选择出具有中间图像的最高质量度量数的图像处理滤波器。在学习阶段期间，不使用神经网络的输出值，或者神经网络不输出任何值。这些值例如包括图像处理滤波器的类型和参数。在学习阶段之后，使用由神经网络输出的值来选择图像处理滤波器。
本发明的另一方面涉及用于车辆中的自动图像改善的如上所述的设备或方法的应用。
本发明的另一方面涉及一种程序单元，该程序单元设置用于当其在处理器单元上实施时执行提到的方法。在此，处理器单元可以具有用于图形加速的专用硬件、所谓的图形卡和/或具有神经网络的功能的专用硬件——例如NNP单元(NNP：Neural NetworkProcessing，神经网络处理)。
本发明的另一方面涉及一种计算机可读的介质，在该计算机可读的介质上存储有提到的程序单元。
在下文中，参照附图结合本发明的优选实施例的描述来更详细地示出改善本发明的其他措施。
附图说明
附图示意性地示出：
图1示出一种示例性图像序列，该图像序列已经根据本发明的一方面由摄像机所检测；
图2示出具有上述设备的一种实施方式的车辆；
图3示出根据本发明的一方面的图像处理模块的一种实施方式；
图4示出根据本发明的另一方面的图像处理模块的另一实施方式；
图5示出根据本发明的另一方面的图像处理滤波器的一种示例；
图6示出根据本发明另一方面的分类模块的示例；
图7示出根据本发明的一方面的用于车辆中的图像改善的一种实施例。
具体实施方式
根据图1，例如安装在车辆上的摄像机120根据本发明的一方面检测初始图像150的示例性序列。该初始图像150的序列在时间线t上示出。初始图像150的借助155所标记的部分在此具有质量问题，使得初始图像150的这部分无法——或无法在不进行进一步处理的情况下——例如用于车辆的辅助系统。可以将这些初始图像155传递给用于图像改善(尤其用于自动图像改善)的设备100，使得在进行图像改善之后，这些图像中的至少一部分能够用作辅助系统的结果图像190。取决于实施方式，可以将剩余的初始图像150直接传递给辅助系统，或者也可以借助确定的滤波器来处理剩余的初始图像。
图2示意性地示出具有上述设备100的一种实施方式的车辆110。设备100具有例如布置在车辆110的车头的摄像机120。设备100也可以具有多个摄像机120。所述一个或多个摄像机120也可以布置在车辆110的其他位置上——例如侧视镜中。所述摄像机120中的每个检测一个初始图像150或初始图像150的序列。将初始图像150传输给图像处理模块200的输入端201。在图像处理模块200中进行处理之后，在图像处理模块200的输出端202上存在可用的结果图像190，该结果图像例如可以由辅助系统(在此未示出)使用。图像处理模块200可以是处理器单元(在此未示出)的一部分。在此，处理器单元可以具有用于图形加速的专用硬件、所谓的图形卡和/或具有神经网络功能的专用硬件——例如NNP单元。
图3示意性地示出根据本发明的图像处理模块200的一种实施方式。例如将初始图像150从摄像机120传输到图像处理模块200的输入端201。将初始图像150从输入端201传输给具有多个图像处理滤波器221、222、223、224的滤波器组220。这些图像处理滤波器例如可以包括：所谓的双边网格、用于改变亮度的滤波器、用于改变对比度的滤波器、用于改变颜色的滤波器、失真滤波器、清晰度滤波器和/或另一滤波器。该另一滤波器例如可以是高通滤波器或低通滤波器。失真滤波器例如可以用于补偿异常线或摄像机伪像。这些不同滤波器中的一些也可以是相同的滤波器类型，但分别使用不同的参数。多个图像处理滤波器221、222、223、224中的每个设置用于将初始图像150分别变换成中间图像231、232、233、234。由评估模块240对中间图像231、232、233、234中的每个进行评估，该评估模块240对于借助相应图像处理滤波器221、222、223、224变换的中间图像231、232、233、234中的每个输出一个质量度量数。如图所示，评估模块240例如由子模块241、242、243、244构成，在这些子模块的输出端上分别存在可用的质量度量数，并且将这些质量度量数传输给选择模块260。质量度量数可以是刻度并且可以大于零(“改善的”)、等于零(“无质量改善”)或小于零(“更差”)。这些图像处理滤波器中的一个(例如224)也可以是“直接滤波器”，也就是说，将初始图像150在不发生变化的情况下传输给中间图像234，并且借助质量度量数(例如零)进行评估。选择模块260使用具有最高质量度量数的中间图像，并且通过图像处理模块200的输出端202输出所选择的中间图像。然后，该中间图像作为结果图像190可供用于连接在后面的模块。
此外，将初始图像150传输给神经网络300的输入端301。在学习阶段期间，神经网络300由初始图像150、由所使用的图像处理滤波器221、222、223、224(通过接口320)以及由选择模块260(通过接口360)学习：哪个图像处理滤波器最适用于哪个初始图像。在学习阶段之后，神经网络300(通过接口320)选择用于该初始图像150的最佳图像处理滤波器，并且例如直接通过神经网络300的输出端302将结果图像190输出给图像处理模块200的输出端202。因此，在学习阶段之后，仅在初始图像150对于神经网络300而言未知时，才需要图像处理模块200的全部计算能力；也就是说，在大多数情况下，仅接通所选择的图像处理滤波器。因此，学习阶段比学习阶段之后的时间明显更加计算密集。因此，在一些实施发生中，在服务器上进行学习阶段，然后将“经学习”的神经网络300传输给车辆的处理器单元。
图4示出根据本发明的另一方面的图像处理模块200的另一实施方式。在此，大部分部件和功能都与图3相同。然而，该实施方式附加地具有分类模块400。在此，将初始图像150传输给分类模块400的输入端401。在分类模块400中进行初始图像150的分类。在此，可以对于每个初始图像150确定一个照明类别。在另一实施方式中，分类模块400还可以进行其他分类——例如图像失真的确定。
分类模块400使用以下程序中的至少一个：照明粗略估计、天气数据的描述、真实环境的描述、时间信息或另一信息。在进行处理之后，在分类模块400的输出端402上例如存在可用的照明类别。(通过接口340)将该照明类别提供给神经网络300。附加地或替代地，神经网络300除了初始图像150之外还可以使用照明类别。因此，分类模块400可以实现通过神经网络300对图像分析的改善和/或加速。
图5示出根据本发明的一方面的图像处理滤波器221的示例；该图像处理滤波器221使用所谓的双边网格。为此——在图5的上部支路中——使用信息减少的图像160(例如黑白图像160)。该信息减少的图像借助变换165表示为双边网格167。使用双边网格还具有使图像边缘保持平滑的优点。在图5的下部支路中对初始图像150的颜色参数158进行传输。在单元159中，将双边网格167与颜色参数158合并，从而产生中间图像231，该中间图像在确定的情况下对于连接在后面的程序具有更高的质量。可以使用初始图像150的颜色信息与边缘信息的这种分离来更高效地构型学习神经网络的学习阶段。
图6示出根据本发明另一方面的分类模块400的示例。在此，将初始图像150从摄像机120传输给分类模块400的输入端401。随后，借助估计模块410进行照明粗略估计460。然后，这可以——取决于实施方式——作为分类结果490从组合模块470传递给输出端402，并且(通过接口340)传递给神经网络300(参见图4)。在一些实施方式中，组合模块470除了照明粗略估计410之外还使用天气数据的描述420、真实环境的描述430、时间信息440或另一信息。
图7示出根据本发明的一方面的用于车辆110中的图像改善的方法500。在步骤501中，借助摄像机120对初始图像150进行检测。在步骤502中，借助多个图像处理滤波器221、222、223、224将初始图像150变换成多个中间图像231、232、233、234。在步骤503中，对于中间图像231、232、233、234中的每个确定一个质量度量数。最后，在步骤504中，借助选择模块260选择具有最高质量度量数的中间图像，并且将具有最高质量度量数的中间图像输出作为结果图像190。步骤502至504取决于神经网络300在学习阶段期间运行还是在学习阶段之后运行。在学习阶段期间，神经网络300由初始图像150、由所使用的图像处理滤波器221、222、223、224(通过接口320)以及由选择模块260(通过接口360)学习：哪个图像处理滤波器最适用于哪个初始图像。在学习阶段之后，神经网络300(通过接口320)选择用于该初始图像150的最佳的图像处理滤波器，并且例如直接通过神经网络300的输出端302将结果图像190输出给图像处理模块200的输出端202。

Claims (14)

1.一种用于车辆(110)中的自动图像改善的方法，所述方法具有以下步骤：
借助摄像机(120)检测初始图像(150)；
借助多个图像处理滤波器(221，222，223，224)将所述初始图像(150)变换成多个中间图像(231，232，233，234)；
对于借助所述图像处理滤波器(221，222，223，224)变换的中间图像(231，232，233，234)中的每个，借助评估模块(240)确定一个质量度量数(241，242，243，244)；
借助选择模块(260)选择具有最高的质量度量数(241，242，243，244)的中间图像(231，232，233，234)，并且将所述具有最高的质量度量数的中间图像输出作为结果图像(190)，
其中，在学习阶段中，学习神经网络(300)针对每个初始图像(150)对所述多个图像处理滤波器(221，222，223，224)中的如下图像处理滤波器(221，222，223，224)进行学习：所述图像处理滤波器具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)，
在所述学习阶段之后，所述学习神经网络(300)针对每个初始图像(150)从所述多个图像处理滤波器(221，222，223，224)中选择出如下图像处理滤波器(221，222，223，224)：所述图像处理滤波器具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)。
2.根据权利要求1所述的方法，其中，所述学习神经网络(300)还使用分类模块(400)，所述分类模块设置用于对于每个初始图像(150)确定一个照明类别(490)。
3.根据权利要求1或2所述的方法，其中，所述多个图像处理滤波器(221，222，223，224)中的至少一个实施成使用双边网格(165)。
4.根据以上权利要求中任一项所述的方法，其中，将所述初始图像的颜色参数(158)与所述双边网格(165)的参数分开使用。
5.根据以上权利要求中任一项所述的方法，其中，所述多个图像处理滤波器(221，222，223，224)包括：用于改变亮度的滤波器、用于改变对比度的滤波器、用于改变颜色的滤波器、失真滤波器、清晰度滤波器和/或另一滤波器。
6.根据以上权利要求中任一项所述的方法，所述方法具有其他步骤：
借助分类模块(400)对于每个初始图像(150)确定一个照明类别，
其中，在所述学习阶段期间，所述学习神经网络(300)针对每个初始图像(150)和/或针对每个照明类别对所述多个图像处理滤波器(221，222，223，224)中的如下图像处理滤波器(221，222，223，224)进行学习：所述图像处理滤波器具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)，
在所述学习阶段之后，所述学习神经网络针对每个初始图像(150)和/或针对每个照明类别(490)从所述多个图像处理滤波器(221，222，223，224)中选择出如下图像处理滤波器(221，222，223，224)：所述图像处理滤波器具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)。
7.根据权利要求6所述的方法，其中，所述分类模块(400)使用照明粗略估计(410)、天气数据的描述(420)、真实环境的描述(430)或时间信息(440)中的至少一个。
8.根据以上权利要求中任一项所述的方法，其中，所述摄像机(120)设置用于检测初始图像(150)的序列。
9.根据以上权利要求中任一项所述的方法，其中，如果满足预定义的质量标准，则所述结果图像(190)与所述初始图像(150)相同。
10.一种用于车辆(110)的用于图像改善的设备(100)，所述设备(100)具有：
摄像机(120)所述摄像机设置用于检测初始图像(150)，
图像处理模块(200)，所述图像处理模块设置用于由所述初始图像(150)确定结果图像(190)，
其中，所述图像处理模块(200)具有：
多个图像处理滤波器(221，222，223，224)，所述多个图像处理滤波器中的每个设置用于将所述初始图像(150)分别变换成中间图像(231，232，233，234)，
评估模块(240)，所述评估模块设置用于对于借助所述图像处理滤波器(221，222，223，224)变换的中间图像(231，232，233，234)中的每个输出一个质量度量数(241，242，243，244)，
选择模块(260)，所述选择模块设置用于选择具有最高的质量度量数(241，242，243，244)的中间图像(231，232，233，234)，并且将所述具有最高的质量度量数的中间图像输出作为结果图像(190)，
学习神经网络(300)，所述学习神经网络设置用于，
在学习阶段中，针对每个初始图像(150)对所述多个图像处理滤波器(221，222，223，224)中的具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)的图像处理滤波器(221，222，223，224)进行学习，
并且在所述学习阶段之后，针对每个初始图像(150)从所述多个图像处理滤波器(221，222，223，224)中选择出具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)的图像处理滤波器(221，222，223，224)。
11.一种图像处理模块(200)，所述图像处理模块设置用于由初始图像(150)确定结果图像(190)，
其中，所述图像处理模块(200)具有：
多个图像处理滤波器(221，222，223，224)，所述多个图像处理滤波器中的每个设置用于将所述初始图像(150)分别变换成中间图像(231，232，233，234)，
评估模块(240)，所述评估模块设置用于对于借助所述图像处理滤波器(221，222，223，224)变换的中间图像(231，232，233，234)中的每个输出一个质量度量数(241，242，243，244)，
选择模块(260)，所述选择模块设置用于选择具有最高的质量度量数(241，242，243，244)的中间图像(231，232，233，234)，并且将所述具有最高的质量度量数的中间图像输出作为结果图像(190)，
学习神经网络(300)，所述学习神经网络设置用于，
在学习阶段中，针对每个初始图像(150)对所述多个图像处理滤波器(221，222，223，224)中的具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)的图像处理滤波器(221，222，223，224)进行学习，
并且在所述学习阶段之后，针对每个初始图像(150)从所述多个图像处理滤波器(221，222，223，224)中选择出具有所述中间图像(231，232，233，234)的最高的质量度量数(241，242，243，244)的图像处理滤波器(221，222，223，224)。
12.一种设置用于实施根据权利要求1至9中任一项所述的方法的设备。
13.一种程序单元，所述程序单元设置用于当其在处理器单元上实施时执行根据权利要求1至9中任一项所述的方法。
14.一种计算机可读的介质，在所述计算机可读的介质上存储有根据权利要求13所述的程序单元。
CN201910915453.XA 2018-09-26 2019-09-26 用于车辆中的自动图像改善的设备和方法 Pending CN110956597A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018216413.4 2018-09-26
DE102018216413.4A DE102018216413A1 (de) 2018-09-26 2018-09-26 Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen

Publications (1)

Publication Number Publication Date
CN110956597A true CN110956597A (zh) 2020-04-03

Family

ID=67988889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910915453.XA Pending CN110956597A (zh) 2018-09-26 2019-09-26 用于车辆中的自动图像改善的设备和方法

Country Status (4)

Country Link
US (1) US11195258B2 (zh)
EP (1) EP3629241A1 (zh)
CN (1) CN110956597A (zh)
DE (1) DE102018216413A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286228A (zh) * 2008-05-15 2008-10-15 浙江大学 一种基于特征的实时的视频和图像抽象化方法
CN101480040A (zh) * 2006-07-07 2009-07-08 索尼爱立信移动通讯有限公司 主动的自动对焦窗
CN104395931A (zh) * 2012-11-07 2015-03-04 皇家飞利浦有限公司 图像的深度图的生成
DE102015200434A1 (de) * 2015-01-14 2016-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verbesserung der Objekterkennung bei unterschiedlichenBeleuchtungssituationen
CN206991382U (zh) * 2017-07-26 2018-02-09 西安科技大学 一种运动车辆检测图像处理系统
CN107851193A (zh) * 2015-07-14 2018-03-27 顶级公司 混合机器学习系统
EP3321842A1 (en) * 2015-08-03 2018-05-16 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line recognition modeling method, apparatus, storage medium, and device, recognition method and apparatus, storage medium, and device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
DE102005046772A1 (de) * 2005-09-29 2007-04-05 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101480040A (zh) * 2006-07-07 2009-07-08 索尼爱立信移动通讯有限公司 主动的自动对焦窗
CN101286228A (zh) * 2008-05-15 2008-10-15 浙江大学 一种基于特征的实时的视频和图像抽象化方法
CN104395931A (zh) * 2012-11-07 2015-03-04 皇家飞利浦有限公司 图像的深度图的生成
DE102015200434A1 (de) * 2015-01-14 2016-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verbesserung der Objekterkennung bei unterschiedlichenBeleuchtungssituationen
CN107851193A (zh) * 2015-07-14 2018-03-27 顶级公司 混合机器学习系统
EP3321842A1 (en) * 2015-08-03 2018-05-16 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line recognition modeling method, apparatus, storage medium, and device, recognition method and apparatus, storage medium, and device
CN206991382U (zh) * 2017-07-26 2018-02-09 西安科技大学 一种运动车辆检测图像处理系统

Also Published As

Publication number Publication date
DE102018216413A1 (de) 2020-03-26
US11195258B2 (en) 2021-12-07
US20200098095A1 (en) 2020-03-26
EP3629241A1 (de) 2020-04-01

Similar Documents

Publication Publication Date Title
CN110956597A (zh) 用于车辆中的自动图像改善的设备和方法
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
JP4942510B2 (ja) 車両画像認識装置およびその方法
CN112417943A (zh) 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作
KR101735025B1 (ko) 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템
US20210014402A1 (en) Flicker mitigation via image signal processing
CN103914810A (zh) 用于动态后视镜的图像超分辨率
JP2022522375A (ja) 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
WO2021026855A1 (zh) 基于机器视觉的图像处理方法和设备
CN111861893B (zh) 一种消除图像伪彩色边方法、系统、设备及计算机介质
CN113344820B (zh) 图像处理方法及装置、计算机可读介质、电子设备
US10417518B2 (en) Vehicle camera system
JP2016110373A (ja) カーブミラー検出装置
CN115334250B (zh) 一种图像处理方法、装置及电子设备
CN109495694B (zh) 一种基于rgb-d的环境感知方法及装置
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
JP2016111647A (ja) 画像処理装置、及び車線境界線認識システム
JP2009032044A (ja) 車色判定装置
CN114418874A (zh) 一种低照度图像增强方法
CN112949423A (zh) 物体识别方法、物体识别装置及机器人
CN115443651A (zh) 基于车辆摄像头在车辆上的位置和基于当前运动参数来确定摄像头图像的当前聚焦区域
Prakash et al. Vehicle license plate detection and recognition using non-blind image de-blurring algorithm
CN112017128A (zh) 一种图像自适应去雾方法
Park et al. Classification of daytime and night based on intensity and chromaticity in RGB color image
CN115018788B (zh) 基于智能机器人的架空线异常检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination