CN112141123A - 运行环境传感器装置的方法、运行车辆的方法、传感器装置 - Google Patents

运行环境传感器装置的方法、运行车辆的方法、传感器装置 Download PDF

Info

Publication number
CN112141123A
CN112141123A CN202010587644.0A CN202010587644A CN112141123A CN 112141123 A CN112141123 A CN 112141123A CN 202010587644 A CN202010587644 A CN 202010587644A CN 112141123 A CN112141123 A CN 112141123A
Authority
CN
China
Prior art keywords
image data
vehicle
sensor device
sensor
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010587644.0A
Other languages
English (en)
Inventor
M·R·埃韦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112141123A publication Critical patent/CN112141123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于运行车辆、尤其是自主的机动车的环境传感器装置(1)的方法(60)，和一种环境传感器装置(1)。所述方法(60)包括以下步骤：借助第一传感器(20)由车辆环境(U)的第一成像产生第一图像数据(2)；实施所述第一图像数据与第二图像数据的应有‑实际比较(3)；并且基于所述应有‑实际比较(3)来识别环境传感器装置(1)的功能能力(4)，其中，所述第二图像数据具有标准图像数据和/或来自车辆环境(U)的第二成像的图像信息，并且其中，所述功能能力的识别(4)借助第一人工智能来实施。本发明还涉及一种用于运行车辆(10)的、尤其是自主的机动车的方法、一种分析评价单元和一种车辆、尤其是自主的机动车。

Description

运行环境传感器装置的方法、运行车辆的方法、传感器装置
技术领域
本发明涉及一种用于运行车辆的环境传感器装置的方法和一种环境传感器装置。本发明还涉及一种用于运行车辆的方法和一种分析评价单元以及一种车辆。
背景技术
在车辆的自主行驶领域的发展过程中，车辆的环境传感器的数量和相关性不断增加。这些环境传感器例如用于各种驾驶员辅助系统或类似的功能。在车辆运行时，在此，例如通过由昆虫、水滴或灰尘引起的污染可能定期地导致环境传感器装置的功能受损害。如果不能或者不能及时识别出这种污染，则可能导致不利的行驶状况，或导致损害行驶舒适性。
发明内容
与此相对，用于运行环境传感器装置的本发明方法的任务在于，简单且可靠地识别传感器运行的损害。在此，尤其可以识别环境传感器装置的污染和其他损害，例如传感器部分有缺陷或者整个有缺陷。由此，可以简单且可靠地确定，环境传感器是良好地起作用还是没有。这根据本发明通过一种用于运行车辆的环境传感器装置的方法来实现，所述方法包括以下步骤：
-借助第一传感器由车辆环境的第一成像产生第一图像数据，
-实施该第一图像数据与第二图像数据的应有-实际比较，和
-基于该应有-实际比较来识别环境传感器装置的功能能力，
-其中，借助第一人工智能来识别该功能能力。
所述环境传感器装置优选是自主的机动车的环境传感器装置。在此，尤其将构造为用于全自动化行驶、简称VAF和/或也用于部分自动化行驶、也被称为高度自动化行驶、简称HAF的机动车、优选乘用车视为自主的机动车。因此，环境传感器装置尤其设置为用于分析第一图像数据并且接下来将该分析提供给车辆的至少一个驾驶员辅助系统。对第一图像数据的分析优选也由第一人工智能实施并且例如可以包括对象识别。
在此，第一人工智能设置为用于借助应有-实际比较来分析第一图像数据并且基于该分析来识别第一传感器的功能能力。例如，第一人工智能可以识别不变化的图像数据区域，或者识别第一图像数据的特别亮或暗的区域并且由此推断出，第一传感器被污染或者部分有缺陷或完全有缺陷。
各种图像数据可以用作第二图像数据。例如，可以将例如在另一时间点的、优选在车辆运动时的车辆周围环境的第二成像用作第二图像数据。替代地或附加地，例如可以将标准图像数据用作第二图像数据。在此，标准图像数据优选是标准面的一个或多个成像。例如，标准面可以是具有均匀的、非常亮或非常暗的颜色、优选白色或黑色的面。标准图像数据特别优选是标准面的例如在预给定的距离和预给定的位置并且在预给定的光线条件下借助第一传感器所感测的一个或多个成像。替代地或附加地，标准图像数据可以具有针对第一传感器的每个像素预给定的信号值，例如预给定的标准信号强度和/或预给定的标准噪声值。在此，借助标准图像数据可以特别简单地通过人工智能识别环境传感器装置的功能能力，例如其方式是，基于应有-实际比较通过人工智能来识别：第一图像数据是否具有真实且有意义的图像信息。这优选可以在车辆的静止状态期间实施。附加地或替代地，这也可以在车辆的行驶运行期间进行。此外，优选，标准图像数据也简化了通过第一人工智能识别尤其在车辆运动期间始终不改变的像素，由此实现在识别环境传感器装置的功能能力时的特别高的精度和可靠性。
替代地或附加地，第二图像数据可以具有来自车辆环境的第二成像的图像信息。由此，能够特别简单地例如基本上以车辆环境的两个成像的简单图像比较来实施该应有-实际比较并且借助第一人工智能来分析该应有-实际比较。此外，由此可以实现在识别环境传感器装置的功能能力时的特别高的精度。
人工智能尤其可以包括神经元网络。优选，通过多次实施所述方法能用较大的数据量来训练该神经网络，以便得到所述方法的特别高的性能和诊断可靠性。
所述第一传感器优选是光学传感器，例如摄像机或激光雷达传感器。替代地，适合感测车辆环境的其他传感器类型、例如雷达传感器优选也能作为第一传感器。
因此，所述方法能够以简单的方式特别可靠识别环境传感器装置的功能能力。通过所述方法，例如可以及早地识别环境传感器装置的较小污染或缺陷，以便得到关于第一图像数据的精度和质量的推断。尤其，在此也可以求取环境传感器装置的功能精度。优选，在所述方法中可以与环境传感器装置的功能能力有关地采取措施，以便优化第一图像数据的可靠性和/或质量和/或精度。
优选实施方式示出本发明的优选扩展方案。
优选，针对第一传感器的每个像素单独地识别功能能力。由此，可以特别精确地求取环境传感器装置的功能能力和尤其功能精度。由此，特别有利的是，能确定环境传感器装置的功能能力程度。优选，由此也可以确定环境传感器装置的污染度和/或缺陷度。
优选，所述方法还包括以下步骤：
-停用第一传感器的缺陷像素。由此，即使环境传感器装置部分无功能能力，仍能够实现保留下的有功能能力的部分的高精度。在此，尤其将被识别为无功能能力的像素视为所述缺陷像素。通过例如由于污染或缺陷来停用缺陷像素来防止这些像素产生使保留下的、功能能力完好的像素的其他图像数据失真的图像数据。
特别优选，所述方法还包括以下步骤：
-对缺陷像素进行外插。由此，即使部分污染或多个像素有缺陷，也例如在对象识别中继续提供基本性能。
优选，借助第一人工智能来实施对缺陷像素的外插。替代地或附加地，外插可以借助尤其与第一人工智能无关的第二人工智能来实施，以便能够特别快速且有效地分析第一图像数据。
如果借助相邻像素的图像信息进行外插，则特别有利。在此，优选针对每个缺陷像素考虑至少一个相邻的、尤其是直接相邻的像素。在此，例如将相邻像素的信号强度和/或噪声值和/或其他信号用作图像信息，以便实施外插。由此，能够使第一图像数据在外插之后实现特别高的精度。
此外，如果借助环境传感器装置的第二传感器的第三图像数据实施外插，则特别有利。在此，在外插步骤之前优选还求取第二传感器的功能能力，并且尤其仅考虑将第二传感器的有功能能力的像素的图像信息用于外插。当第一图像数据和第二图像数据借助第一人工智能被转换到共同的车辆坐标系中并且尤其相互叠加以便产生共同的车辆图像数据时，特别有利。有利地，为此也可以还附加地使用另外的传感器和由这些另外的传感器产生的图像数据。
特别优选，借助第一人工智能和/或借助第二人工智能来识别随时间不改变、尤其是在车辆运动期间不改变的图像数据区域。在此，相应地将被识别为随时间不改变的图像数据区域分类为有缺陷的。在此，尤其将图像数据的例如可以是传感器的单个或多个像素的部分区域视为图像数据区域。这提供了特别简单地识别环境传感器装置的功能能力的可行性。
优选，在与第一成像不同的时间点产生车辆环境的第二成像。如果第一成像和第二成像在车辆的行驶运行期间、即向前运动期间产生，则特别有利。特别优选，第二成像比第一成像晚至少0.1秒、尤其是至少2秒，并且优选晚60秒地产生。替代地，当第二成像比第一成像晚几分钟、例如5分钟或10分钟，或者晚几小时、例如2小时地产生，以得到对环境传感器装置的抽样式功能测试时，则也是有利的。
此外，本发明提出一种用于运行车辆、尤其是自主的机动车的方法。用于运行车辆的所述方法包括以下步骤：
-借助上述用于运行环境传感器装置的方法来运行车辆的环境传感器装置，以及
-如果没有得出环境传感器装置有功能能力，则停用车辆的预确定行驶功能。优选，如果功能能力程度小于预确定的功能能力程度、尤其是小于50％，则停用预确定的行驶功能。优选，将第一传感器的功能能力完好的部分区域的百分比和/或功能能力完好的像素的百分比视为功能能力程度。也就是说，如果例如第一传感器的像素的50％或更多被归为有缺陷的、例如被污染的，则尤其认为，第一传感器不再能以足够的质量来感测车辆环境。为了避免不利的行驶状况，响应于此，停用车辆的行驶功能、优选自主的行驶功能。这种行驶功能例如可以是距离调节。在此，如果环境传感器装置在车辆的行驶运行期间尤其是连续地运行和监视并且预确定的行驶功能在某些情况下被停用，则特别有利。替代地或附加地，如果在车辆的静止状态期间、优选在起动之前，即例如响应驱动机的启动，实施用于运行车辆的所述方法，则特别有利。替代或附加于停用自主的行驶功能的步骤可以实施以下步骤：如果第一传感器被识别为有缺陷，则：
-将环境感测切换给完好的、尤其是冗余的第三传感器。该完好的第三传感器优选具有与第一传感器相同的感应原理和/或具有与第一传感器相同的注视方向、例如沿行驶方向。由此，能够在行驶运行期间继续进行环境感测和环境识别。
此外，本发明提出一种分析评价单元，该分析评价单元包括第一人工智能。在此，分析评价单元设置为用于从第一传感器接收来自车辆环境的成像的第一图像数据并且实施第一图像数据与第二图像数据的应有-实际比较。所述分析评价单元还设置为用于借助第一人工智能基于该应有-实际比较来识别环境传感器装置的功能能力，该环境传感器装置尤其包括第一传感器。在此，第二图像数据具有标准图像数据和/或来自车辆环境的第二成像的图像信息。因此，分析评价单元具有简单的结构，并且能够特别可靠地评判功能能力，并因此尤其也能够特别可靠地评判所感测的图像数据的可靠性和质量。尤其，由此可以识别环境传感器装置的可能的污染和/或部分或整个有缺陷。
优选，所述分析评价单元设置为用于针对第一传感器的每个像素单独地识别功能能力，以便能够特别精确地确定环境传感器装置的功能能力和尤其是功能精度。
如果第一图像数据具有第一传感器的像素的信号强度，则特别有利。替代地或附加地，第一图像数据具有噪声值，尤其是车辆环境的所感测的成像的噪声值。在此，分析评价单元设置为用于感测信号强度和/或噪声值，并且借助人工智能进行分析，以便识别环境传感器装置的功能能力。因此，可以特别简单且可靠地识别环境传感器装置的功能能力。
此外，本发明提出一种车辆的、尤其是自主的机动车的环境传感器装置。所述环境传感器装置包括第一传感器和上述分析评价单元。第一传感器设置为用于由车辆环境的成像产生第一图像数据。为此，第一传感器优选具有大量像素。
本发明还涉及一种具有上述环境传感器装置的车辆、优选自主的机动车。借助该环境传感器装置尤其可以感测环境和识别环境。所述车辆优选地包括控制装置，所述控制装置设置为用于基于该环境识别来自主地运行所述车辆。
附图说明
下面，参照附图详细说明本发明的实施例。在附图中是：
图1具有根据本发明的一个优选实施例的环境传感器装置的车辆的简化立体图，和
图2用于运行图1的车辆的方法的强烈简化的示意图。
具体实施方式
图1示出具有根据本发明的一个优选实施方式的环境传感器装置1的车辆10的立体图。车辆10是可自主运行的机动车。在图2中示出用于运行图1的车辆10的方法60。
环境传感器装置1设置为用于感测车辆10的环境U并且产生环境图像数据。在此，环境图像数据包括第一图像数据和第三图像数据。为了感测环境图像数据，环境传感器装置1包括第一传感器20，该第一传感器设置为用于由环境U的第一成像产生第一图像数据。环境传感器装置1还包括第二传感器30，所述第二传感器设置为用于由环境U的第二成像产生第三图像数据。两个传感器20、30布置在车辆10的沿行驶方向A在前面的区域中。此外，这两个传感器20、30是光学传感器，所述光学传感器在优选实施例中构造为摄像机。
环境传感器装置1还具有分析评价单元40，该分析评价单元设置为用于分析环境图像数据。为此，基于所述环境图像数据实施对象识别。由该对象识别产生的信息被提供给车辆10的控制装置50。控制装置50设置为用于自主地控制车辆10，即能够实现车辆10的全自动化行驶、简称VAF。
在车辆10运行时，即尤其是在行驶运行时，基于由环境影响导致的污染和/或基于第一传感器20和/或第二传感器30的缺陷，可能引起环境传感器装置1的损害。为了尽可能早且可靠地识别这种损害，并且为了避免可能有错误的环境感测，设置在图2中示出的用于运行车辆10的方法60和环境传感器装置1。
方法60以上述借助第一传感器20产生第一图像数据2的步骤开始。同时，借助第二传感器30产生第三图像数据21。
在下一个方法步骤中，借助第一传感器20对环境U产生第二成像22。在比产生第一成像2更晚的时间点产生第二成像22。在优选的实施例中，在产生第一成像2之后五分钟产生第二成像22。来自第二成像的图像信息形成第二图像数据，所述第二图像数据为了评判环境传感器装置的功能能力而在接下来的两个步骤3和4中被考虑。为此，第二图像数据还附加地包括存储在第一传感器20上的标准图像数据。所述标准图像数据具有标准面的成像。详细地，标准图像数据具有理想的信号强度，该理想的信号强度例如在制造或校准第一传感器时借助标准面获得。
为了评判环境传感器装置1的功能能力，分析评价单元40还设置为用于实施第一图像数据与第二图像数据的应有-实际比较3，如在图2中以步骤3示出。接下来，基于该应有-实际比较3，借助分析评价单元40对环境传感器装置进行真正的识别功能能力4。为此，分析评价单元40包括第一人工智能。借助第一人工智能分析应有-实际比较3。在此，在其功能能力方面检验第一传感器20的所有像素。也就是说，针对第一传感器20的每个像素与第二图像数据的相应图像信息进行应有-实际比较3。在此基础上对相应的像素进行识别功能能力4。在此，分析评价单元40可以借助人工智能来评判：对当前正被观察的像素是否感测到了有意义且真实的图像信息。可以通过以下方式对没有(足够的)功能能力进行识别：人工智能识别，正被观察的像素是否随时间不变化，即在第二图像数据中是否具有与在第一图像数据中近似相同的信号强度。替代地或附加地，人工智能可以评判被观察的像素的图像信息是否相对于标准图像数据处于实际范围中，或者例如是否太强烈地变暗。
如果识别功能能力4得出，环境传感器装置1不具有损害并且功能能力完好，则将环境传感器装置1与此相应地分类为“有功能能力”，这通过方法60的步骤41示出。接下来，可以重新实施所述方法，或者在此之后立刻实施，或者在预给定的时间区间、例如30分钟结束之后实施。
然而，如果识别出环境传感器装置1由于污染或像素缺陷而至少部分有缺陷，则以步骤42继续实施方法60，在该步骤中将环境传感器装置1分类为“有缺陷”或“部分有缺陷”。由此出发，接下来可以有两个替代的方法步骤，这些方法步骤根据功能能力程度来实施。在此，在步骤42中评判所述功能能力程度。
如果功能能力程度例如小于50％，也就是说，当第一传感器20的像素的50％或更多被污染和/或有缺陷时，则响应于此地停用预确定的行驶功能7。在这种情况下，停用否则会使用第一传感器20的第一图像数据的行驶功能、尤其是自主行驶功能、例如距离调节。替代地，也可以将环境感测切换给仍有功能能力的冗余环境传感器。由此，可以避免由于环境传感器装置1有错误地感测而导致不利的行驶状况。
如果功能能力程度等于或大于50％，但小于100％，则在方法60中接下来可以采取能够提高环境传感器装置的性能的措施。在此，首先停用5被辨识并且被分类为有缺陷的像素。由此避免第一图像数据总体由于这些有缺陷的像素而失真。
此外，所述方法包括对有缺陷的像素进行外插6的步骤。为此，分析评价单元40附加地包括第二人工智能，借助所述第二人工智能实施外插6。在此，不但使用与缺陷像素相邻的有功能能力的像素的图像信息，而且使用第二传感器30的第三图像数据的图像信息，以便得到特别高的精度。通过外插6，环境传感器装置1可以继续在对象识别中提供良好的基本性能。

Claims (15)

1.一种用于运行车辆(10)、尤其是自主的机动车的环境传感器装置(1)的方法，所述方法包括以下步骤：
-借助第一传感器(20)由车辆环境(U)的第一成像产生第一图像数据(2)，
-实施所述第一图像数据与第二图像数据的应有-实际比较(3)，并且
-基于所述应有-实际比较(3)对所述环境传感器装置(1)进行识别功能能力(4)，
-其中，所述第二图像数据具有标准图像数据和/或来自所述车辆环境(U)的第二成像的图像信息，和
-其中，借助第一人工智能来进行所述识别功能能力(4)。
2.根据权利要求1所述的方法，其中，针对所述第一传感器(20)的每个像素单独地所述识别功能能力(4)。
3.根据权利要求1或2所述的方法，还包括以下步骤：
-停用(5)所述第一传感器(20)的缺陷像素。
4.根据前述权利要求中任一项所述的方法，还包括以下步骤：
-对所述缺陷像素进行外插(6)。
5.根据权利要求4所述的方法，其中，所述外插(6)借助所述第一人工智能和/或借助第二人工智能来实施。
6.根据权利要求4或5所述的方法，其中，所述外插(6)借助相邻像素的图像信息进行。
7.根据权利要求4至6中任一项所述的方法，其中，所述外插(6)借助第二传感器(30)的第三图像数据来实施。
8.根据前述权利要求中任一项所述的方法，其中，借助所述第一人工智能和/或所述第二人工智能识别随时间不改变的图像数据区域，并且其中，所述随时间不改变的图像数据区域被分类为有缺陷的。
9.根据前述权利要求中任一项所述的方法，其中，在与所述第一成像不同的时间点产生所述车辆环境(U)的所述第二成像。
10.一种用于运行车辆(10)的、尤其是自主的机动车的方法，所述方法包括以下步骤：
-借助根据前述权利要求中任一项所述的方法来运行所述车辆的环境传感器装置(1)，和
-如果没有得出所述环境传感器装置(1)有功能能力，尤其是如果功能能力程度小于预确定的功能能力程度、尤其是小于50％，则停用所述车辆(10)的预确定的行驶功能(7)，和/或
-如果所述第一传感器有缺陷，则将环境感测切换给完好的、尤其是冗余的第三传感器。
11.一种分析评价单元，其包括第一人工智能，
其中，所述分析评价单元(40)设置为用于：
-从第一传感器(20)接收来自车辆环境(U)的第一成像的第一图像数据，
-实施所述第一图像数据与第二图像数据的应有-实际比较(3)，和
-借助所述第一人工智能基于所述应有-实际比较(3)来识别环境传感器装置(1)的功能能力，和
其中，所述第二图像数据具有标准图像数据和/或来自所述车辆环境(U)的第二成像的图像信息。
12.根据权利要求11所述的分析评价单元，其中，所述分析评价单元(40)设置为用于针对所述第一传感器(20)的每个像素单独识别所述功能能力。
13.根据权利要求11或12所述的分析评价单元，其中，所述第一图像数据具有所述第一传感器(20)的像素的信号强度和/或噪声值，并且其中，所述分析评价单元(40)设置为用于感测所述信号强度和/或所述噪声值。
14.一种车辆(10)的、尤其是自主的机动车的环境传感器装置，所述环境传感器装置包括：
-第一传感器(20)，所述第一传感器设置为用于由车辆环境(U)的第一成像产生第一图像数据，和
-根据权利要求11至13中任一项所述的分析评价单元(40)。
15.一种车辆、尤其是自主的机动车，其包括根据权利要求14所述的环境传感器装置。
CN202010587644.0A 2019-06-26 2020-06-24 运行环境传感器装置的方法、运行车辆的方法、传感器装置 Pending CN112141123A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209292.6A DE102019209292A1 (de) 2019-06-26 2019-06-26 Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
DE102019209292.6 2019-06-26

Publications (1)

Publication Number Publication Date
CN112141123A true CN112141123A (zh) 2020-12-29

Family

ID=73747647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587644.0A Pending CN112141123A (zh) 2019-06-26 2020-06-24 运行环境传感器装置的方法、运行车辆的方法、传感器装置

Country Status (3)

Country Link
US (1) US11544934B2 (zh)
CN (1) CN112141123A (zh)
DE (1) DE102019209292A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021122106A (ja) * 2020-01-31 2021-08-26 キヤノン株式会社 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201523A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
US8017898B2 (en) * 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10542211B2 (en) * 2017-10-05 2020-01-21 GM Global Technology Operations LLC Camera subsystem evaluation using sensor report integration
US11010888B2 (en) * 2018-10-29 2021-05-18 International Business Machines Corporation Precision defect detection based on image difference with respect to templates
WO2020101127A1 (en) * 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
WO2020100408A1 (ja) * 2018-11-13 2020-05-22 日本電気株式会社 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム
DE102019206021A1 (de) * 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zur Erkennung einer Funktionsfähigkeit eines Umgebungssensors, Steuergerät und Fahrzeug

Also Published As

Publication number Publication date
US20200410253A1 (en) 2020-12-31
DE102019209292A1 (de) 2020-12-31
US11544934B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
KR101967339B1 (ko) 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
US9769469B2 (en) Failure detection apparatus and failure detection program
US20170270368A1 (en) Method for detecting a soiling of an optical component of a driving environment sensor used to capture a field surrounding a vehicle; method for automatically training a classifier; and a detection system
EP3140777B1 (en) Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
EP3031208B1 (en) Device for monitoring the proper functioning of a transmission path, particularly of a camera
CN109564382B (zh) 拍摄装置以及拍摄方法
US10182229B2 (en) Device for monitoring a vehicle environment
JP2017017635A (ja) 故障診断装置
EP3968276A1 (en) Validation of a camera cleaning system
US20040169745A1 (en) Method and device for recognizing or displaying image defects in image recording systems
CN111301428A (zh) 机动车驾驶员分心检测警示方法、系统及机动车
CN112141123A (zh) 运行环境传感器装置的方法、运行车辆的方法、传感器装置
CN112417952B (zh) 一种车辆碰撞防控系统的环境视频信息可用性测评方法
KR102179597B1 (ko) 공정 자동 인식 기반 진단 장치 및 그 장치의 구동방법
JP3499405B2 (ja) 動体識別センサ用自己診断方法とその装置
CN104228667A (zh) 判断雾存在与否的方法及其装置
CN111832418A (zh) 车辆控制方法、装置、车辆和存储介质
US20090322879A1 (en) Method and device for the detection of defective pixels of an image recording sensor, preferably in a driver assistance system
CN115291586A (zh) 车辆健康状态评估和交互显示系统、方法、车辆及存储介质
KR101784629B1 (ko) 카메라를 이용한 차량의 램프 고장진단방법
US10241000B2 (en) Method for checking the position of characteristic points in light distributions
KR20190019565A (ko) 지능형 초음파 시스템 및 그 제어 방법
CN113884123A (zh) 一种传感器校验方法及装置、车辆、存储介质
US20230288545A1 (en) Method for detecting dirt accumulated on an optical sensor arrangement
US11790670B2 (en) Apparatus, method, and program for determining abnormality in internal devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination