CN111768358A - 检测与来自计算机协助或自主驾驶交通工具的一个或多个相机的图像数据相关联的异常图像 - Google Patents

检测与来自计算机协助或自主驾驶交通工具的一个或多个相机的图像数据相关联的异常图像 Download PDF

Info

Publication number
CN111768358A
CN111768358A CN202010123244.4A CN202010123244A CN111768358A CN 111768358 A CN111768358 A CN 111768358A CN 202010123244 A CN202010123244 A CN 202010123244A CN 111768358 A CN111768358 A CN 111768358A
Authority
CN
China
Prior art keywords
image data
cameras
vehicle
view
consistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010123244.4A
Other languages
English (en)
Inventor
A·库马
S·沙尔马
N·阿户加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN111768358A publication Critical patent/CN111768358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

实施例包括用于检测与来自计算机协助或自主驾驶(CA/AD)交通工具的一个或多个相机的图像数据相关联的异常图像的用于计算机协助或自主驾驶(CA/AD)系统的设备、系统、和方法。实施例可以包括用于从一个或多个相机接收图像数据流的设置在CA/AD交通工具中的传感器接口，该图像数据流包括由一个或多个相机捕获的单个视图图像数据或由一个或多个相机中的多个相机协作地捕获的多视图图像数据。在实施例中，设置在CA/AD交通工具中的一致性分析单元耦合到传感器接口，以使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。也可描述和要求保护其他实施例。

Description

检测与来自计算机协助或自主驾驶交通工具的一个或多个相 机的图像数据相关联的异常图像
技术领域
本发明的实施例总体上涉及计算机协助或自主驾驶(CA/AD)交通工具的领域，并且更具体地涉及检测与从CA/AD交通工具的一个或多个相机接收的图像数据相关联的异常图像。
背景技术
本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。在此背景技术部分所述的程度上的当前提及的发明人的工作以及在递交时可不以其他方式作为现有技术的描述的各方面既不明确地又不隐含地被承认为是对于本公开的现有技术。除非在本文中另外指出，否则在此部分中描述的方法不是对于本公开中的权利要求的现有技术，并且也不会因为被包含在此部分中而被承认是现有技术。
专家预测，在未来几年内，约有1000万辆计算机协助或自主驾驶(CA/AD)交通工具可能在路上行驶。自主驾驶交通工具通常具有用于感测交通工具周围的环境的多个相机。在自主驾驶交通工具中，相机用于“看”世界，并且该信息被发送到“大脑”，即用于进行处理的算法/计算块。由于相机对于自主驾驶交通工具的运行至关重要，因此相机的图像流中的任何异常都可能是有问题的，甚至是灾难性的。由于其在自主驾驶中的重要性，因此相机系统变得高度容易受到恶意代理(例如黑客)的攻击，该恶意代理可以改变图像流的内容，从而导致自主驾驶系统的不正确行为。在其他情况下，相机子系统可能会无意间出现故障，并提供不正确的图像。此外，神经网络容易受到对抗示例(即，接近自然输入但被不正确地分类的输入)的攻击是已知的。例如，已经表明，以故意欺骗深度神经网络(DNN)的意图通过对输入图像的较小的扰动巧妙地制作出的对抗示例，可能会导致具有高置信度的误分类。例如，可以将扰动设计为使得可能从分段输出中移除特定类别(例如，从道路上移除行人或汽车)。这类安全攻击将会导致自驾驶交通工具和关键的真实世界系统中的问题性的结果，甚至是灾难性的结果。因此，确定DNN是否受到威胁可能至关重要。因此，重要的是在分类之前解析输入图像，以通过查找像素级异常来检测对抗示例以及检测由故障硬件或软件导致的异常。
附图说明
通过以下结合附图的详细描述，将容易地理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。通过示例方式而非通过限制的方式在附图的各图中示出各实施例。
图1图示了根据各实施例的与驾驶交通工具的计算机协助或自主驾驶(CA/AD)系统相关联的一致性分析单元150以及用于实现驾驶交通工具的CA/AD系统的环境100。
图2是图示根据各实施例的由图1执行或与图1相关联的过程200的流程图200。
图3是进一步详细图示根据各实施例的与图1和图2的一致性分析技术相关联的实施例的道路300的图和相应流程图350。
图4是进一步详细图示根据各实施例的与图1和图2的一致性分析技术相关联的附加的实施例的图400。
图5是根据各实施例的包括与多视图几何方法相关联的实施例的过程500。
图6图示了根据各实施例的实现基于视差的度量的过程600的实施例。
图7是图示根据各实施例的与执行一致性检查相关联的附加实施例的过程700的流程图。
图8是根据各实施例的图800。
图9是根据各实施例的一致性分析单元和耦合的组件的软件组件视图。
图10图示了根据各实施例的可适于使用以实践本公开的所选择的各方面的示例计算设备1000。
图11图示了示例计算机可读非暂态存储介质1102，其可适于使用以存储指令(或创建指令的数据)，响应于由装置对这些指令的执行，这些指令使该装置实施各实施例的所选择的各方面。
具体实施方式
在以下具体实施方式中，参考形成其一部分的所附附图，其中，贯穿所附附图相同的数字指示相同的部件，并且在所附附图中，通过说明方式示出可实施的实施例。应理解，可利用其他实施例，并且可作出结构或逻辑的改变而不背离本公开的范围。因此，以下详细描述不应以限制的意义来理解，并且实施例的范围由所附权利要求及其等效方案来限定。
可以按在理解要求保护的主题时最有帮助的方式将各操作描述为依次的多个分立动作或操作。然而，不应将描述的次序解释为暗示这些操作必然依赖于次序。具体而言，可以不按照呈现的次序执行这些操作。能以不同于所述的实施例的次序执行所述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略所述的操作。
出于本公开的目的，短语“A和/或B”和“A或B”的意思是(A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意思是(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
说明书可使用短语“在实施例中”或“在多个实施例中”，其可各自指代相同或不同实施例中的一个或多个。此外，如相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。还要注意“邻近”可意指接近、在...上、在...上方、在...下方、附连、耦合至、附近、环绕、部分环绕等。如本文中所使用，术语“电路”可指代下列各项的部分或包括下列各项：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和/或存储器(共享的、专用的、或组)、组合逻辑电路和/或提供所述的功能的其他合适的硬件组件。如本文所使用的，“计算机实现的方法”可以指由一个或多个处理器或具有一个或多个处理器的计算机系统执行的任何方法。本文描述的实施例包括用于检测与来自耦合到计算机协助或自主驾驶(CA/AD)交通工具的一个或多个相机的图像数据相关联的异常图像的计算机协助或自主驾驶(CA/AD)设备。在实施例中，CA/AD设备可以包括用于从一个或多个相机接收图像数据流的设置在CA/AD交通工具中的传感器接口，该图像数据流包括由一个或多个相机捕获的单个视图图像数据或由一个或多个相机中的多个相机协作地捕获的多视图图像数据。在实施例中，设置在CA/AD交通工具中的一致性分析单元耦合到传感器接口，以使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。
现在参考图1，其图示了用于实现本公开的实施例的检测和分析技术的一致性分析单元150。图1还提供了用于实现本公开的实施例的检测和分析技术的环境100的概览。如所示，对于所图示的实施例，环境100包括具有引擎、电动机、制动系统、驾驶系统、车轮、变速器、电池等中的一个或多个的交通工具52。在实施例中，交通工具52是计算机辅助或自主驾驶(CA/AD)交通工具。进一步，交通工具52包括CA/AD系统，该CA/AD系统包括板载计算机，该板载计算机包括和/或耦合至车载系统115，该车载系统115具有多个子系统/应用，例如，仪表盘子系统/应用、前排座位信息娱乐子系统/应用(诸如，导航子系统/应用、媒体子系统/应用、交通工具状态子系统/应用等等)、以及数个后排座位子系统/应用。进一步地，CA/AD系统设置有或耦合到本公开的CA/AD一致性分析单元150，以使用单个视图或多视图几何方法对像素级数据执行一致性检查以确定图像数据是否包括异常图像。
仍然参考图1，交通工具52包括可以包括在CA/AD系统中的传感器110和(多个)驾驶控制单元120。在实施例中，(多个)驾驶控制单元120可以进一步包括或耦合到图像信号处理器(ISP)、用于处理传感器数据、融合传感器数据、检测对象、随时间跟踪动态对象、确定驾驶性能地图的一个或多个处理器、以及接收和处理一致性分析单元150的输出的运动规划单元(未示出)。在实施例中，如图所示，传感器110包括耦合到交通工具(例如，CA/AD交通工具)以捕获靠近CA/AD交通工具的图像数据的相机(诸如例如，基于视觉的相机、以及其他类型的相机)。在实施例中，其他相机或传感器基于雷达、光探测和测距(LIDAR)、测程传感器和GPS数据。在各实施例中，传感器还可以包括麦克风、加速计、陀螺仪、惯性测量单元(IMU)、引擎传感器、传动系传感器、胎压传感器等。在一些实施例中，传感器110被配置用于提供各种传感器数据到一致性分析单元150。在实施例中，驾驶控制单元120包括控制交通工具52的引擎、传动装置、方向盘和/或刹车的操作的电子控制单元(ECU)。
在一些实施例中，传感器接口131被集成或设置在交通工具52中以从一个或多个相机或传感器接收包括由一个或多个相机或传感器捕获的单个视图图像数据的图像数据流。在实施例中，传感器接口131还接收由一个或多个相机或传感器中的多个相机或传感器协作地捕获的多视图图像数据。在实施例中，一致性分析单元150被设置在CA/AD交通工具中并被耦合到传感器接口。如在实施例中所示，一致性分析单元150可以执行一个或多个一致性检查，诸如，例如多视图一致性检查170、单视图一致性检查175、时间一致性检查180和/或多模式一致性检查185。注意，在一些实施例中，时间一致性检查180和/或多模式一致性检查185是多视图一致性检查和单视图一致性检查175的子集。
在实施例中，一致性分析单元150至少部分地基于值来确定图像数据是否包括异常图像(由于对抗攻击或错误的硬件或软件)，该值是与置信度分数相对应的并且被分配给相应的一致性检查的输出的0和1之间的加权值wi。在实施例中，这些权重是通过基于学习的方法和/或异常和/或非异常标记的图像的真值(ground truth)集合确定的。在实施例中，来自170、175、180和185中的所有一致性检查块的组合的加权值在块190中统计地确定，诸如通过置信度分数的加权组合，其中权重通过线性回归或通过逻辑回归确定。在各实施例中，权重由支持向量机(SVM)分类器或由单层或多层感知器或其他神经网络确定，该SVM分类器将各个置信度分数作为输入并返回布尔决策(异常存在/不存在)。在实施例中，该组合的全局分数指示异常的置信度。在实施例中，一致性检查170、175、180和185的输出可以经由块190处的表决块机制或一些组合逻辑进行比较，以确定存在还是不存在异常。
在一些实施例中，车载系统115可自己或响应于用户交互而经由交通工具52附近的发射塔56上的无线信号中继器或基站以及一个或多个私有和/或公共有线和/或无线网络58与一个或多个交通工具外远程服务器60进行通信或交互。服务器60可以是与CA/AD交通工具(例如，交通工具52)的制造商相关联的服务器，或者与CA/AD交通工具和/或其导航相关联的其他远程组织。私有和/或公共有线和/或无线网络58的示例可包括因特网、蜂窝服务提供商的网络等等。应当理解，当交通工具52在去往其目的地的途中时，发射塔56可以是在不同的时间/位置处的不同的塔。
将参考其余附图进一步描述一致性分析单元150的这些和其他方面。出于本说明书的目的，一个或多个交通工具52也可被称为(多个)CA/AD交通工具。
注意，进一步地，出于说明性目的，已经提供了以下描述，其将交通工具52图示为道路环境中的客车。然而，本文所述的实施例也适用于任何类型的交通工具，诸如卡车、公共汽车、摩托车、船或摩托艇、和/或可受益于如结合本公开所述的CA/AD驾驶系统的任何其他机动设备。例如，诸如船、快艇、渡船、驳船、气垫船、其他水上交通工具等之类的水上交通工具也可受益于一致性分析单元150。本文描述的实施例还可以在所描述的实施例的精神内适用于飞行物体，诸如太空火箭、飞机、无人机、无人驾驶飞行器(UAV)、和/或适用于可受益于对可被包括在邻近于此类机动设备的周围声音中的音频信号的标识的任何其他类似的机动设备。
图2是进一步图示根据各实施例的由图1的一致性分析单元执行或与其相关联的过程200的流程图。在实施例中，在框205处，该实施例包括由一致性分析单元从多个相机中的一个或多个相机中接收图像数据，该图像数据包括由CA/AD交通工具的一个或多个相机捕获的单个视图图像数据和/或由CA/AD交通工具的多个相机捕获的多视图图像数据。接下来，在框207处，方法200包括由一致性分析单元使用单个视图或多视图几何方法来对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。
如结合图1所述，来自一致性检查中的每一个的输出可以是布尔真/假(异常存在/不存在)指示符或表示置信度分数的在0和1之间的加权值wi。在实施例中，每个块的权重将表示在存在噪声的情况下一致性检查方法的准确程度。在实施例中，可以经由各种方法计算加权，如对没有异常的多个有噪声的合成图像的理论分析或统计分析。在一些实施例中，权重在所有一致性检查的方法上被归一化，并且与预定阈值进行比较而不是表决机制，以便确定图像数据中是否存在异常。在实施例中，经验性地或统计地计算表决块权重或在其他实施例中通过神经网络(例如，单层或多层感知器)或支持向量机(SVM)计算表决块权重。在各实施例中，与不同一致性检查有关的权重是经由从真值异常示例图像或与真值异常图像相关联的示例中学习来确定的，并且这些权重指示一致性检查的准确性的可能性。
接下来，图3是进一步详细图示了与图1和图2的一致性分析技术相关联的实施例的道路300的图和相应流程图350。图3图示了与单视图或单个图像几何方法相关联的实施例。在各实施例中，一致性检查将由例如图1的一致性分析单元150执行，并且该一致性检查是基于单个视图图像数据，并且至少部分地基于由与图像数据流相关联的像素级数据指示的线的检测。例如，图3图示了对不一致性的检测，例如诸如指示应当收敛到消失点但未按预期收敛的平行线的像素级数据。如本实施例所示，道路300包括一个或多个车道，例如三个车道，例如305、307和309。对于本实施例，道路300由内部车道标记306和308(为了在图中更清楚，仅标出两个内部车道标记)以及外部路肩线311和313标记。在该示例中，内部车道标记306和308遵循各自的线306a和308a。在所图示的实施例中，根据像素级数据，在框350处，一致性分析单元(也称为“单元”)在框350处检测道路300。在下一个框353处，在该实施例中，该单元通过检测一个或多个车道标记306和308以及外部路肩线311和313来检测车道305、307和309。在下一个框355处，在实施例中，该单元计算消失点应出现的位置。
因此，在实施例中，在决策框357处，该单元检查由像素级数据指示的全部或基本上全部消失点是否重合。基本上平行的线306a和308a在3D世界中应具有共同的消失点。在实施例中，如果消失点重合，则在357处答案为是，并且因此，在框359处没有检测到异常，并且该过程返回到检测315处的道路。在另一种情况下，在框357处，如果消失点不重合，则答案是否，因为线306a、308a、311、和313根据像素级数据在不同点相交(参见315)。因此，在框360处检测到异常。在实施例中，该异常指示对于车道305、307和309中的一个或多个，图像数据可能被有意地失真。注意，在实施例中，检测到的异常可能经由将合成图像或全帧子图像插入到图像流中来被引入。因此，在实施例中，一致性检查的结果被提供到表决机制块，例如图1的190。注意，图3的示例仅仅是说明性的并且对异常的检测包括对与任何路径或道路相关联的那些异常的检测，并且包括任何合适数量的车道、标记、标记类型、道路标记(或缺少标记)。因此，在所示的实施例中，内部车道标记306和308是不连续的线，但是在其他实施例中，它们可以是连续的线，诸如306a和308a。
一致性检查的其他示例实施例包括如图4所示的阴影一致性检查。在实施例中，阴影一致性检查包括计算用于将对象的角与其阴影的角连接的二维(2D)线。理想地，与阴影相关联的线收敛到2D图像数据中的固定点。因此，实施例包括验证固定点与光源(例如，来自一个或多个光源的光的路径)相对应和/或与由图像数据指示的光源的正确数量一致。例如，图4图示了道路400和交通工具52及其阴影55。在图示的示例中，线401、403和405与例如来自光源406的光线相对应。在实施例中，线401应将交通工具52的相应角401a连接到道路400表面上的阴影角401b。类似地，线403应将交通工具52的对应角403a连接到道路400表面上的阴影角403B；线405应将交通工具52的对应角405a连接到道路400表面上的阴影角405B。因此，在实施例中，如果与阴影相关的各种图像数据不一致，则图像数据可以指示异常。
此外，实施例包括检测直接以图像信号处理器(ISP)级别引入的各种异常。在实施例中，ISP耦合到一致性分析单元并且一致性分析单元通过比较像素级数据的原始BAYER模式图像和由ISP生成的BAYER模式图像的颜色统计信息来执行一致性检查。在某些示例中，恶意代理可能在各种ISP参数中引入噪声，以巧妙地改变由ISP生成的最终RGB图像。因此，在实施例中，一致性分析单元将后ISP生成的RGB图像近似逆映射到其源或原始BAYER模式。在一个示例性实施例中，这是通过在每个像素位置处丢弃两个通道以使这些通道符合相机的Bayer模式来完成的。其他示例性实施例包括用于执行简单的去马赛克以将BAYER图像转换为RGB/YUV图像，使得可以比较ISP输出和输入。在其他实施例中，将被近似的BAYER模式原始图像的统计信息与真值原始BAYER图像的统计信息进行比较。其他实施例包括检测可能在汽车以太网传输时或在汽车以太网传输期间被引入的图像数据中的异常。在实施例中，包括原始图像捕获的像素级数据与后ISP生成的RGB图像一起作为一对通道跨汽车以太网连接发送。在实施例中，将在接收器端处的后ISP生成的RGB图像与经合成ISP处理的所接收的RAW(原始)图像进行比较。在实施例中，差异将指示RGB图像在通过汽车底盘中的汽车以太网连接进行传输时已经被篡改。
现在参考图5，其是包括与多视图几何方法相关联的实施例的过程500，并且包括比较与耦合到自主交通工具的多个相机中的至少两个相机的共同视场中所包括的与共同对象有关的图像数据。在过程500的实施例中，比较与共同对象有关的图像数据包括将从来自至少两个相机的图像数据确定的相对旋转和平移参数与该至少两个相机固有的旋转和平移参数进行比较。例如，在实施例中，在框501处开始，图1的一致性分析单元(例如150)在图像数据的两个图像或两个图像帧中检测相同的对象(例如平面对象)。例如，对象可以是具有平坦表面的停车(STOP)标志。在某些情况下，停车标志的位置可能已在多个图像中的一个图像中被操纵。在实施例中，平面投影变换(诸如单应性)被用于检测异常。因此，例如，在框503处，在两个图像中的两个对象上检测到关键点。注意，在实施例中，关键点可以是对象上的任何合适的点，例如，对象上的角、交叉点、或其他区别点。在框505处，在实施例中，一致性分析单元找到或确定关键点之间的匹配。在下一个框507处，对于该实施例，一致性分析单元计算图像之间的单应性H。在实施例中，在框509处，一致性分析单元从单应性H计算基本矩阵F(注意，在给定包括图像坐标的图像数据的情况下，两个图像的基本矩阵F的计算是已知的，并且这里将不再描述)。在下一个框511处，对于该实施例，F矩阵被分解为相对旋转R和平移t。注意，在实施例中，框511基于被校准的多个相机。在下一个框513处，将相对旋转R和平移t与针对两个相机的预校准值进行比较。在实施例中，两个相机的预校准值由自主交通工具制造商提供。在实施例中，如果值基本上不匹配，则在框515处检测到异常。在实施例中，如果值基本上匹配，则在框517处没有检测到异常。因此，在实施例中，一致性检查的结果被提供到表决机制块，例如图1的190。
在各种其他实施例中，可以应用更通用且与场景内容无关的方法。例如，图6图示了实现基于视差(disparity)的度量的过程600的实施例。在实施例中，从框601处开始，图像数据的两个图像或帧被纠正。在实施例中，两个图像来自两个预校准相机中的每一个并且被纠正使得它们的极线平行。接下来，在框603处，在实施例中，一致性分析单元计算两个图像之间的视差。例如，在实施例中，针对沿极线的左经纠正的图像和右经纠正的图像中的所有像素计算视差成本。因此，当比较d个视差时，左图像中的每个像素位置都具有d个视差成本值。在实施例中，在下一个框605处，更好或最好的视差的成本被存储(例如，d个成本值中的最小者)。在实施例中，计算针对左图像中的所有像素和右图像中的它们的对应匹配像素的最佳视差匹配的成本，并将其存储为矩阵。接下来，在实施例中，在框607处，检测两个图像中的相同对象。在下一个框611处，针对该实施例计算与每个对应的左右对的对象有关的成本分布的统计信息。例如，计算在预先检测的对象区域中的成本分布的统计信息。在框613处，如果成本的变化为高(例如，超过预定阈值)，则答案为是，并且过程600移动至框615，在框615处，确定检测到异常。在另一种情况下，如果在框613处变化不为高，则答案为否，并且在框617处未检测到异常。注意，矩阵中的高变化的区域可能表示对于该区域中的对象发现的匹配是错误的，并且因此对象实际上不是相同的对象。在各种其他实施例中，在框605中，最小视差的成本可以由计算的最小视差的值代替，并且用作成本。
注意，在实施例中，过程500和过程600是互补技术。在过程500中，首先经由单应性计算处理原始图像数据，之后是基于检查校准参数的一致性来设计度量。相比之下，在过程600中，首先已知的校准参数用于纠正一对图像或图像数据，之后是通过处理这些图像而设计的度量。
在另一实施例中，来自位于平面3D对象上的匹配对应关系的四子集的多个单应性假设可以用于比较所有单应性矩阵的参数中的变化。在实施例中，具有3D对象的扰动的图像的异常图像通常会导致不同计算的单应性之间的显著变化，并可能发出存在异常图像的信号。
在一些实施例中，执行一致性检查包括分析和比较从多于两个的相机接收的图像数据。在实施例中，执行一致性检查包括通过将从第一多视图图像数据确定的第一3D重构与从第二多视图图像数据确定的第二3D重构进行比较来检测异常。例如，在实施例中，多相机图像的子集用于执行对多相机图像的其他子集共同的感兴趣对象的3D重构。在实施例中，如果子集中的图像中的一者是异常的，则3D重构将偏离理想的或投影的重构。在实施例中，可以对多相机图像的子集的集合重复3D重构，以检查3D重构的一致性。在实施例中，可以利用最少的子集或通过创建过定的(overdetermined)系统并使用最小二乘法来完成此类一致性检查。在实施例中，如果相同的参考帧的基本上所有3D重构都不相似，则在多相机图像集合中可能存在图像数据的异常集合。
在各种其他实施例中，一致性分析单元用于通过将从图像数据确定的特征位置与从GPS数据确定的特征位置进行匹配来执行一致性检查。例如，在实施例中，假设两个相机是被良好校准的，使用来自相机流的图像数据和交通工具周围环境的地球观测卫星图像(根据交通工具已知的GPS位置)来计算两个图像中对象之间的特征匹配，并对在对象上的(交通工具坐标系中的)点进行三角测量。在实施例中，三角测量的3D点应符合从交通工具上的测距仪或从交通工具上的一对立体的、非异常的相机计算出的真值测量。
因此，流程图700结合图8图示了与使用从一个交通工具的相机接收的图像数据、从至少一个其他交通工具的相机接收的图像数据、以及(例如，如从卫星/航空设备(以下称为“卫星”)接收到的)位置数据执行一致性检查相关联的实施例。注意，在各实施例中，来自另一交通工具的图像通信可以增强交通工具周围环境的交通工具的图像数据。图8图示了具有与图像数据或图像801A相关联的视场801的交通工具A、具有与图像数据或图像803A相关联的视场803的交通工具B以及具有与卫星图像807A相关联的视场807的卫星/航空设备805，例如，在交通工具B位于大型交通工具A的后面的情况下，交通工具B的视野的大部分可能被遮挡。因此，在实施例中，位于交通工具B前方的交通工具A可以将图像数据提供到交通工具B。然而，来自安装到交通工具A或以其他方式耦合到交通工具A的相机的图像可能会被外部代理(例如通过无线通信)损坏，并且可能包括异常并表示不正确的环境，从而为交通工具B创建危险场景。因此，实施例进一步包括将卫星图像数据与来自交通工具的图像数据和/或从至少一个其他交通工具接收的图像数据进行比较。
因此，除了图3的单个视图图像一致性检查(和/或图5的多个视图图像一致性检查)之外，卫星图像可以用作附加的验证源。例如，在流程图700的上部分700A的实施例中，在框701处，一致性分析单元从交通工具A的相机(例如，交通工具A的正向相机)接收图像。在实施例中，如框703所示，在框703处，一致性分析单元还从交通工具B的相机(例如，交通工具B的正向相机)接收图像。在实施例中，由框702处的交通工具A和704处的交通工具B周围的区域的一致性分析单元接收卫星图像以确定交通工具A和交通工具B周围的场景的基础设施图像705。在实施例中，在框707和708处检测到来自交通工具A、交通工具B和卫星图像的图像数据中的特征。在框709和710处，特征被匹配。在实施例中，计算并存储来自交通工具A、交通工具B的对应的图像与卫星图像之间的匹配关键点。在框711和712处，针对各自的交通工具A和交通工具B，一致性分析单元使用所存储的关键点匹配来计算基本矩阵F，并且然后计算交通工具A与卫星相机之间的相对姿势(R，t)以及交通工具B与卫星相机之间的相对姿势(R，t)。在实施例中，假设图像数据来自其中的所有相机被校准。因此，在框718处，在实施例中，通过使用卫星相机作为参考，一致性分析单元然后计算交通工具A的多个相机的图像与交通工具B的多个相机的图像之间的相对姿势。
在实施例中，移动至流程图700B的部分，在框707B处，检测使用框701B处的来自交通工具A的图像数据的交通工具A与框703B处的交通工具B之间的存储的图像中的特征。接下来，在实施例中，在框709B处执行特征匹配。在框720处，通过使用来自交通工具A的图像数据与来自交通工具B的图像数据之间的存储的特征匹配以及在流程图700的上部分700A的框718中计算的相对姿势，在框723处对这些匹配进行三角测量以获得3D关键点位置。在实施例中，利用测距仪(例如，交通工具A上的LIDAR相机)来验证3D点位置的准确性。在实施例中，在下一个框725处，比较关键点差异。如果差异不在预定阈值或其他阈值内，则在框727处检测到异常。因此，在实施例中，一致性检查的结果被提供到表决机制块，例如图1的190。
注意，在各种其他实施例中，一致性分析单元可以执行时间一致性检查(例如，图1的时间一致性检查180)以检测从一个或多个相机接收的图像序列中的异常。异常可能是由于数据的图像帧的丢弃或有意移除或不正确同步而引起的。在实施例中，对像素级数据的不一致性的分析可以包括检测与图像数据流相关联的关键点的像素位置的梯度的变化。例如，在实施例中，分析了跨来自单个相机的图像帧集合的区别性关键点的2D像素位置的简况(profile)。如果图像帧已经或正在被丢弃，则简况信号的梯度的突然变化将指示帧丢弃。
另一实施例包括用于比较一个或多个相机中的多个相机中可见的相同关键点的时间梯度简况。此外，在实施例中，可以通过结合图5描述的基于视差的技术来检测不正确的同步。
附加的实施例包括根据交通工具(例如包括计算机协助或自主驾驶(CA/AD)系统的CA/AD汽车)的速度和方向来分析对象形状的变换。例如，在实施例中，跨图像数据的按时间顺序的图像的光流被用于分割平面对象，并且它们的相应形状变换与交通工具运动方向相关。在实施例中，此类方法可以包括多模式一致性检查，例如，图1的多模式一致性检查185。在实施例中，该方法假设在相机图像平面上的对象的透视投影。在实施例中，计算还假设从惯性传感器基本上准确地知道交通工具的速度和方向。在实施例中，表面法线(3D深度)在参考图像中(时间t＝0)被预先计算。根据一些实施例，对象形状的预期变换中的任何偏差指示在时间序列中存在单个或多个异常图像。在实施例中，参考图像是序列中的第一图像并且被周期性地更新。
在另一实施例中，一致性分析单元通过将耦合到CA/AD系统的一个或多个相机的速度向量与包括一个或多个相机的CA/AD汽车的速度向量进行比较来检测异常。例如，实施例包括使用光流以及诸如卡尔曼滤波之类的估计来预测自主交通工具运动向量，并将向量与(从里程计读数所确定的)速度向量进行比较。具体地，在实施例中，从静态对象的同一相机捕获的两个图像之间的光流提供图像之间的密集特征对应关系。在实施例中，该对应关系用于计算图像之间的基本/单应性矩阵，并且从而允许计算图像之间的相对姿势(旋转和平移，t)。在实施例中，如果相机位置在两次图像捕获时相对于汽车维持固定，则相对姿势提供在两次图像捕获之间的汽车的相机的速度向量并且还可用于计算交通工具速度。
在各种其他实施例中，一致性分析单元通过计算到静态对象的距离并将该距离与来自多个相机中的一个或多个的图像数据中包括的LIDAR测量进行比较来检测异常。
现在参考图9，其中，图示了根据各实施例的一致性分析单元和耦合的组件的软件组件视图。如所示，对于实施例，一致性分析单元900(其可以是一致性分析单元150)包括硬件902和软件910。在一些实施例中，如上文结合图2-图7所述的一致性分析单元900的组件中的一些或全部可以位于远程或位于云中，例如图1的云58。例如，在一些实施例中，软件910包括主管数个虚拟机(VM)922-928的管理程序912。在实施例中，管理程序912被配置成用于主管VM 922-928的执行。在实施例中，VM 922-928可包括例如VM922、VM 924、VM 926、VM 928，这些VM具有主管例如相应的多视图一致性检查应用932、单视图一致性检查934、时间视图一致性检查936、多模式一致性检查938等的执行的相应的第一、第二、第三和第四操作系统(OS)。在实施例中，应用可以包括多个一致性检查或操作的执行以补充或验证位于交通工具52中的一致性分析单元150的各种操作。
除了一致性分析技术(例如，如连接到本公开的一致性分析单元150)之外，软件910的元件922-928可以是本领域中已知的数个这些元件中的任一者。例如，管理程序912可以是本领域中已知的数个管理程序中的任一者，诸如，KVM、开源管理程序、可从佛罗里达州劳德代尔堡的思杰公司(Citrix Inc)获得的Xen、或者可从加利福尼亚州帕洛阿尔托的威睿公司(Vmware Inc)获得的VMware等等。类似地，VM 922-928的OS可以是本领域中已知的数个OS中的任一者，诸如，可从例如北卡罗来纳州罗利市的红帽(Red Hat)公司获得的Linux、或可从加利福尼亚州山景城的谷歌公司获得的Android。
图10图示了根据各实施例的可适于使用以实践本公开的所选各方面的示例计算设备1000。在实施例中，计算设备1000或计算设备1000的一个或多个组件可被包括在CA/AD交通工具的CA/AD驾驶系统中，或位于远程以辅助如上文结合图1-图9所述的CA/AD驾驶系统。在实施例中，CA/AD驾驶系统可以被包括在耦合到一个或多个相机或传感器以捕获包括像素级数据的图像数据流的交通工具中。在一些实施例中，计算设备1000可包括交通工具控制系统或机载计算机。
如所示，计算平台1000(其可以是图9的硬件902)可包括一个或多个片上系统(SoC)1002、ROM 1003以及系统存储器1004。每个SoC 1002可包括一个或多个处理器核(CPU)、一个或多个图形处理器单元(GPU)、一个或多个诸如计算机视觉(CV)和/或深度学习(DL)加速器之类的加速器。ROM 1003可包括基本输入/输出系统服务(BIOS)1005。CPU、GPU和CV/DL加速器可以是本领域中已知的数个这些元件中的任一者。类似地，ROM 1003和BIOS1005可以是本领域中已知的数个ROM和BIOS中的任一者，并且系统存储器1004可以是本领域中已知的数个易失性存储中的任一者。
另外，计算平台1000可包括持久性存储设备1006。持久性存储设备1006的示例可包括但不限于，闪存驱动器、硬盘驱动器、紧凑盘只读存储器(CD-ROM)等等。此外，计算平台1000可包括输入/输出设备1008(诸如，显示器、键盘、光标控件，等等)和通信接口1010(诸如，网络接口卡、调制解调器，等等)。通信和I/O设备1008可包括本领域中已知的任何数量的通信和I/O设备。通信设备的示例可包括但不限于，用于
Figure BDA0002393649900000151
近场通信(NFC)、WiFi、蜂窝通信(诸如，LTE 4G/5G)等等的联网接口。可经由系统总线1011将这些元件彼此耦合，该系统总线1011可表示一个或多个总线。在多个总线的情况下，可由一个或多个总线桥(未示出)桥接它们。
这些元件中的每个元件可执行在本领域中已知的其常规功能。具体而言，ROM1003可包括具有引导加载器的BIOS 1005。可采用系统存储器1004和持久性存储1006来存储实现与管理程序912、可以包括或耦合到图像信号处理器(ISP)和/或一个或多个神经网络的一致性分析单元150(统称为计算逻辑1022)相关联的操作的编程指令的工作副本和永久副本。可通过由SoC 1002的(多个)处理器核支持的汇编器指令或可以被编译成此类指令的诸如例如C之类的高级语言来实现各种元件。
如本领域技术人员将领会的那样，本公开可被具体化为方法或计算机程序产品。相应地，除了如之前所述地被具体化为硬件之外，本公开还可采取完全软件的实施例(包括固件、驻留软件、微代码等)或者组合全部可被统称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本公开可采取计算机程序产品的形式，该计算机程序产品具体化在表达的任何有形的或非暂态介质中，该表达具有具体化在介质中的计算机可用的程序代码。
此外，本公开可采取计算机程序产品或用于创建计算机程序的数据的形式，其中该计算机程序或数据具体化在表达的任何有形的或非暂态介质中，该表达具有具体化在该介质中的计算机可用的程序代码(或用于创建计算机程序的数据)。图11图示了示例计算机可读非暂态存储介质，其可适于使用以存储指令(或创建指令的数据)，响应于由装置对这些指令的执行，这些指令使该装置实施本公开的所选择的各方面。如所示，非暂态计算机可读存储介质1102可包括数条编程指令1104(或用于创建编程指令的数据)。编程指令1104可被配置成用于使得设备(例如，计算平台1100)能够响应于对这些编程指令的执行而实现图9的管理程序912、OS、以及一致性分析技术的组件(诸如，一致性分析单元150等等)(的各方面)。在替代实施例中，替代地，可将编程指令1104(或用于创建指令的数据)设置在多个计算机可读非暂态存储介质1102上。在另一些实施例中，可将编程指令1104设置在计算机可读非暂态存储介质1102(诸如，信号)上。
在实施例中，指令或创建指令的数据使设备针对指示异常图像的不一致性对与图像数据流相关联的像素级数据进行分析，其中，图像数据流是从耦合到CA/AD系统的一个或多个相机接收的单个图像数据，或者从耦合到CA/AD系统的一个或多个相机中的多个相机接收的多视图图像数据；并且至少部分地基于与像素级数据的分析相对应的加权值来确定一个或多个不一致性是否指示异常图像。
可以利用一种或多种计算机可用或计算机可读介质的任何组合。该计算机可用或计算机可读介质例如可以是但不限于，一个或多个电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例(非完全列表)将包括下述项：具有一条或多条线的电连接件、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储设备、诸如支持互联网或内联网的那些传输介质之类的传输介质、或磁存储设备。注意，计算机可用或计算机可读介质可甚至是其上打印有程序(或用于创建程序的数据)的纸张或另一合适的介质，因为程序(或用于创建程序的数据)可经由例如对纸张或其他介质的光学扫描而被电子地捕获，然后如有必要被编译、解释或以其他方式适当进行处理，然后被存储在计算机存储器中(暂存(staged)或不暂存在一个或多个中间存储介质中)。在本文档的上下文中，计算机可用或计算机可读介质可以是可以包含、存储、传送、传播、或传输程序(或用于创建程序的数据)以供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备一起使用的任何介质。计算机可用介质可包括传播的数据信号以及随其体现在基带中或作为载波的一部分的计算机可用程序代码(或用于创建程序代码的数据)。可使用任何合适的介质来传送计算机可用程序代码(或用于创建程序的数据)，合适的介质包括但不限于无线、线缆、光纤电缆、RF等。
在各实施例中，本文中描述的程序代码(或用于创建程序代码的数据)可以以压缩格式、加密格式、片段格式、封装格式等中的一种或多种来存储。本文中描述的程序代码(或用于创建程序代码的数据)可能需要安装、修改、适配、更新、组合、补充、配置、解密、解压缩、拆包、分发、重新分配等中的一项或多项，以使得它们可直接由计算设备和/或其他机器读取和/或执行。例如，程序代码(或用于创建程序代码的数据)可以存储在多个部分中，这些部分被单独压缩、加密并存储在单独的计算设备上，其中，这些部分在解密、解压缩和组合时形成实现诸如本文所述的程序代码(用于创建程序代码的数据)的一组可执行指令。在另一示例中，程序代码(或用于创建程序代码的数据)可以以它们可被计算机读取的状态存储，但是需要添加库(例如，动态链接库)、软件开发工具包(SDK)、应用编程接口(API)等，以便在特定的计算设备或其他设备上执行指令。在另一个示例中，在可整体或部分地执行/使用程序代码(或用于创建程序代码的数据)之前，可能需要配置程序代码(或用于创建程序代码的数据)(例如，存储的设置、数据输入、记录的网络地址等)。因此，所公开的程序代码(或用于创建程序代码的数据)旨在包含此类机器可读指令和/或(多个)程序(或用于创建此类机器可读指令和/或程序的数据)，而不管机器可读指令和/或(多个)程序在存储时或以其他方式处于静态或在传输中时的特定格式或状态如何。
用于执行本公开的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，该一种或多种编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言的常规的过程编程语言。程序代码可完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立式软件包执行，部分地在用户的计算机上并且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一场景中，可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))将远程计算机连接至用户的计算机，或可(例如，使用互联网服务提供商通过互联网)进行至外部计算机的连接。
参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本公开。将会理解，可由计算机程序指令来实现流程图图示和/或框图的每一个框以及流程图图示和/或框图中的框的组合。可将这些计算机程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器来生产机器，使得经由计算机或其他可编程数据处理装置的处理器执行的这些指令创建用于实现在流程图和/或框图的一个或多个框中所指定的功能/动作的装置。
也可将这些计算机程序指令存储在计算机可读介质中，该计算机可读介质可指示计算机或其他可编程数据处理装置按照特定方式运作，使得存储在该计算机可读介质中的这些指令生产制品，该制品包括实现流程图和/或框图的一个或多个框中所指定的功能/动作的指令装置。
也可将计算机程序指令加载到计算机或其他可编程数据处理装置上以使一系列操作步骤在该计算机或其他可编程装置上执行来产生计算机实现的过程，使得在该计算机或其他可编程装置上执行的这些指令提供用于实现流程图和/或框图的一个或多个框中所指定的功能/动作的过程。
图中的流程图和框图图示了根据本公开的各实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。在这方面，流程图或框图中的每一个框可表示包括用于实现(多个)所指定的逻辑功能的一条或多条可执行指令的代码模块、代码段或代码部分。还应当注意，在一些替代实现方式中，框中所标注的多个功能可不按图中所标注的次序发生。例如，取决于所涉及的功能，实际上可基本上并发地执行连续地示出的两个框，或者有时可按相反的次序来执行这些框。也将注意，可由执行所指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的多种组合来实现框图和/或流程图图示中的每一个框和框图和/或流程图图示中的多个框的组合。
本文中所使用的术语仅用于描述特定实施例，并且不旨在限制本公开。如本文中所使用，单数形式的“一”(“a”、“an”)和“该”(“the”)旨在也包括复数形式，除非上下文另外清楚地指示。还将理解，当在本说明书中使用术语“包括”(“comprise”)和/或“包括”(“comprising”)时，其指定所陈述的特征、整数、步骤、操作、元件、和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件、和/或它们的组的存在或添加。
可将实施例实现为计算机进程、计算系统或实现为制品，诸如，计算机可读介质的计算机程序产品。计算机程序产品可以是计算机存储介质，该计算机存储介质可由计算机系统读取并对计算机程序指令编码以执行计算机进程。
所附权利要求书中的所有“装置+功能”元件或“步骤+功能”要素的对应的结构、材料、动作及等效物旨在包括用于结合明确要求其权利的其他要求保护的要素来执行该功能的任何结构、材料或动作。已出于说明和描述的目的呈现了本公开的描述，但是该描述不旨在是穷举性的，也不限于按所公开形式的本公开。许多修改和变型对本领域普通技术人员将是显而易见的，而不背离本公开的范围和精神。选择并描述实施例是为了最好地解释本公开的原理和实际应用，并且使其他本领域普通技术人员能够理解对具有各种修改的实施例的公开适用于所构想的特定使用。
因此，已描述了本公开的各示例实施例，它们包括但不限于：
以下提供一些非限制性示例：
示例1是用于检测与来自计算机协助或自主驾驶(CA/AD)交通工具的一个或多个相机的图像数据相关联的异常图像的设备，包括：设置在CA/AD交通工具中的传感器接口，该传感器接口用于从一个或多个相机接收包括由一个或多个相机捕获的单个视图图像数据或由一个或多个相机中的多个相机协作地捕获的多视图图像数据的图像数据流；以及设置在CA/AD交通工具中并被耦合到传感器接口的一致性分析单元，该一致性分析单元用于使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。
示例2是示例1的设备，其中，一致性分析单元用于至少部分地基于与权重的统计组合相关的值来确定图像数据是否包括异常图像，并且其中权重与不同类型的一致性检查相关并且被分配给一致性检查的输出。
示例3是示例2的设备，其中，与不同一致性检查有关的权重是经由从真值异常示例图像或与真值异常图像相关联的示例中学习来确定的，并且这些权重指示一致性检查的准确性的可能性。
示例4是示例1的设备，其中，用于使用单个视图或多视图几何方法对像素级数据执行一致性检查包括进一步用于执行时间一致性检查和多模式一致性检查。
示例5是示例1的设备，其中，要被执行的一致性检查基于单个视图图像数据，并且至少部分地基于由像素级数据指示的线和阴影不一致性的检测。
示例6是示例1的设备，进一步包括耦合到CA/AD交通工具的一个或多个相机，该一个或多个相机用于捕获靠近CA/AD交通工具的图像数据。
示例7是示例1的驾驶设备，其中，CA/AD驾驶设备包括CA/AD交通工具，并且其中驾驶元件包括以下项中的一项或多项：引擎、电动机、制动系统、驾驶系统、车轮、变速器、以及电池。
示例8是示例1的设备，进一步包括图像信号处理器(ISP)，该ISP被耦合以从一致性分析单元接收像素级数据，并且其中，一致性分析单元用于通过将像素级数据的原始BAYER模式图像的颜色统计信息与由ISP生成的BAYER模式图像的颜色统计信息进行比较来执行一致性检查。
示例9是示例1的驾驶设备，其中，一致性检查用于使用多视图几何方法来执行，并且包括将与包括在多个相机中的至少两个相机的共同视场中的共同对象有关的图像数据进行比较。
示例10是示例9的驾驶设备，其中，比较与共同对象有关的图像数据包括将从至少两个相机的图像数据中确定的相对旋转和平移参数与至少两个相机固有的旋转和平移参数进行比较。
示例11是示例9的设备，其中，比较图像数据包括将多视图图像数据中的区域的视差成本和与同多视图图像数据相关联的至少两个相机相关联的所存储的视差成本进行比较。
示例12是示例1的设备，其中，执行一致性检查包括通过将从第一多视图图像数据确定的第一3D重构与从第二多视图图像数据确定的第二3D重构进行比较来检测异常。
示例13是示例1的设备，其中，一致性分析单元用于通过将从图像数据确定的特征位置与从GPS数据确定的特征位置进行匹配来执行一致性检查。
示例14是示例1的设备，其中，一致性分析单元用于使用单个视图或多视图几何方法对像素级数据执行一致性检查包括用于对从CA/AD交通工具接收的图像数据和从至少一个其他CA/AD交通工具接收的图像数据执行一致性检查。
示例15是示例13-15中任一项的设备，其中，一致性分析单元进一步用于将从卫星接收的图像数据与来自CA/AD交通工具的图像数据和/或从至少一个其他CA/AD交通工具接收的图像数据进行比较。
示例16是一种用于检测与计算机协助或自主驾驶(CA/AD)交通工具的一个或多个相机相关联的图像数据中的异常图像的方法，该方法包括：由设置在CA/AD交通工具中的一致性分析单元确定是否使用单个视图或多视图几何方法中的一个或多个对图像数据的像素级数据执行一致性检查；从多个相机中的一个或多个相机中接收图像数据，该图像数据包括由CA/AD交通工具的一个或多个相机捕获的单个视图图像数据和/或由CA/AD交通工具的多个相机捕获的多视图图像数据；以及由一致性分析单元使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。
示例17是示例16的方法，进一步包括，至少部分地基于分配给一个或多个一致性检查的输出的权重来确定图像数据是否包括异常图像。
示例18是示例17的方法，其中，分配给一致性检查中的一个或多个的输出的权重是经验性地计算出的，或是在神经网络的训练期间学习的。
示例19是示例13的方法，其中，由一致性分析单元执行一致性检查包括检测由像素级数据指示的线和阴影不一致性。
示例20是示例16-20中任一项的方法，其中，由一致性分析单元执行一致性检查包括将与包括在多个相机的至少两个相机的共同视场中的共同对象相关的图像数据进行比较。
示例21是一种或多种非暂态计算机可读介质，包含存储于其上的指令，响应于该指令的执行而使得计算机协助或自主驾驶(CA/AD)系统用于针对指示异常图像的不一致性对与图像数据流相关联的像素级数据进行分析，其中图像数据流是从耦合到CA/AD系统的一个或多个相机接收的单个图像数据或从耦合到CA/AD系统的一个或多个相机中的多个相机接收的多视图图像数据；并且至少部分地基于与对单个图像数据或多视图图像数据的像素级数据的分析相对应的加权值来确定一个或多个不一致性是否指示异常图像。
示例22是示例21的计算机可读介质，其中，用于确定一个或多个不一致性是否指示异常图像的指令包括用于根据单层感知器来确定与对单个图像数据或多视图图像数据的像素级数据的分析相对应的权重的指令。
示例23是示例21的计算机可读介质，其中，用于针对不一致性对像素级数据进行分析的指令包括用于检测与图像数据流相关联的关键点的像素位置的梯度变化的指令。
示例24是示例21的计算机可读介质，其中，用于针对不一致性对像素级数据进行分析的指令包括用于对一个或多个相机中的多个相机中可见的相同关键点的时间简况进行比较的指令。
示例25是示例21的计算机可读介质，其中，用于针对不一致性对像素级数据进行分析的指令进一步包括用于根据包括计算机协助或自主驾驶(CA/AD)系统的CA/AD汽车的速度和方向来分析对象的形状的变换的指令。
示例26是示例21的计算机可读介质，其中用于针对不一致性对像素级数据进行分析的指令包括用于将耦合到CA/AD系统的一个或多个相机的速度向量与包括一个或多个相机的CA/AD汽车的速度向量进行比较的指令。
示例27是示例21的计算机可读介质，其中用于针对不一致性对像素级数据进行分析的指令包括用于计算从包括计算机协助或自主驾驶(CA/AD)系统的CA/AD汽车到静态对象的距离并且将该距离与来自多个相机中的一个或多个相机的图像数据中包括的LIDAR测量进行比较的指令。
示例28是示例21-27中任一项的计算机可读介质，其中，用于确定一个或多个不一致性是否指示异常图像的指令包括用于根据神经网络确定权重的指令。
所图示的实现方式的上文描述(包括摘要中描述的内容)不旨在穷举或将本公开的实施例限制为所公开的精确形式。虽然为了说明目的在本文中描述了具体实现方式和示例，但如相关领域技术人员将认识到的，在本公开的范围内有许多等效修改是可能的。
鉴于上文详细描述，可对本公开的实施例进行这些修改。所附权利要求中使用的术语不应当解释为将本公开的各个实施例限制为说明书和权利要求书中公开的特定实现。相反，范围将完全由所附权利要求确定，所附权利要求将根据已确立的权利要求解释原则来解读。

Claims (25)

1.一种用于检测与来自计算机协助或自主驾驶CA/AD交通工具的一个或多个相机的图像数据相关联的异常图像的设备，包括：
设置在所述CA/AD交通工具中的传感器接口，所述传感器接口用于从所述一个或多个相机接收图像数据流，所述图像数据流包括由所述一个或多个相机捕获的单个视图图像数据或由所述一个或多个相机中的多个相机协作地捕获的多视图图像数据；以及
设置在所述CA/AD交通工具中并耦合到所述传感器接口的一致性分析单元，所述一致性分析单元用于使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定所述图像数据是否包括异常图像。
2.如权利要求1所述的设备，其特征在于，所述一致性分析单元用于至少部分地基于与权重的统计组合相关的值来确定所述图像数据是否包括所述异常图像，并且其中所述权重与不同类型的一致性检查相关并且各自被分配给所述一致性检查的输出。
3.如权利要求2所述的设备，其特征在于，与不同一致性检查有关的权重是经由从真值异常示例图像或与真值异常图像相关联的示例中学习来确定的，并且所述权重指示所述一致性检查的准确性的可能性。
4.如权利要求1所述的设备，其特征在于，用于使用所述单个视图或多视图几何方法对所述像素级数据执行所述一致性检查包括：进一步用于执行时间一致性检查和多模式一致性检查。
5.如权利要求1所述的设备，其特征在于，要被执行的所述一致性检查基于单个视图图像数据，并且至少部分地基于由所述像素级数据指示的线和阴影不一致性的检测。
6.如权利要求1所述的设备，进一步包括耦合到所述CA/AD交通工具的所述一个或多个相机，所述一个或多个相机用于捕获靠近所述CA/AD交通工具的图像数据。
7.如权利要求1所述的设备，其特征在于，所述CA/AD驾驶设备包括所述CA/AD交通工具，并且其中所述驾驶元件包括以下项中的一项或多项：引擎、电动机、制动系统、驾驶系统、车轮、变速器、以及电池。
8.如权利要求1所述的设备，其特征在于，所述一致性检查用于使用多视图几何方法来执行，并且包括将与包括在所述多个相机中的至少两个相机的共同视场中的共同对象有关的图像数据进行比较。
9.如权利要求8所述的设备，其特征在于，比较与共同对象有关的图像数据包括：将从所述至少两个相机的图像数据中确定的相对旋转和平移参数与所述至少两个相机固有的旋转和平移参数进行比较。
10.如权利要求8所述的设备，其特征在于，比较图像数据包括将多视图图像数据中的区域的视差成本或经计算的视差值和与同所述多视图图像数据相关联的至少两个相机相关联的所存储的视差成本进行比较。
11.如权利要求1所述的设备，其特征在于，所述一致性分析单元用于通过将从所述图像数据确定的特征位置与从GPS数据确定的特征位置进行匹配来执行所述一致性检查。
12.如权利要求1所述的设备，其特征在于，所述一致性分析单元用于使用所述单个视图或多视图几何方法对所述像素级数据执行所述一致性检查包括：用于对从所述CA/AD交通工具接收的图像数据和从至少一个其他CA/AD交通工具接收的图像数据执行所述一致性检查。
13.如权利要求1-12中任一项所述的设备，其特征在于，所述一致性分析单元进一步用于将从卫星接收的图像数据与来自所述CA/AD交通工具的图像数据和/或从所述至少一个其他CA/AD交通工具接收的图像数据进行比较。
14.一种用于检测与计算机协助或自主驾驶CA/AD交通工具的一个或多个相机相关联的图像数据中的异常图像的方法，所述方法包括：
由设置在所述CA/AD交通工具中的一致性分析单元确定是否使用单个视图或多视图几何方法中的一个或多个对所述图像数据的像素级数据执行一致性检查，并且从所述多个相机中的一个或多个相机中接收所述图像数据，所述图像数据包括由所述CA/AD交通工具的一个或多个相机捕获的单个视图图像数据和/或由所述CA/AD交通工具的多个相机捕获的多视图图像数据；以及
由所述一致性分析单元使用所述单个视图或多视图几何方法对所述像素级数据执行所述一致性检查，以确定所述图像数据是否包括异常图像。
15.如权利要求14所述的方法，进一步包括，至少部分地基于分配给一个或多个一致性检查的输出的权重来确定所述图像数据是否包括所述异常图像。
16.如权利要求15所述的方法，其特征在于，分配给所述一致性检查中的一个或多个的输出的所述权重是经验性地计算出的，或是在神经网络的训练期间学习的。
17.如权利要求14所述的方法，其特征在于，由所述一致性分析单元执行所述一致性检查包括：检测由所述像素级数据指示的线和阴影不一致性。
18.如权利要求14-17中任一项的所述的方法，其特征在于，由所述一致性分析单元执行所述一致性检查包括：将与包括在所述多个相机的至少两个相机的共同视场中的共同对象相关的图像数据进行比较。
19.一种或多种非暂态计算机可读介质，包含存储于其上的指令，响应于对所述指令的执行而使得计算机协助或自主驾驶CA/AD系统用于：
针对指示异常图像的不一致性对与图像数据流相关联的像素级数据进行分析，其中所述图像数据流是从耦合到所述CA/AD系统的一个或多个相机接收的单个图像数据或从耦合到所述CA/AD系统的所述一个或多个相机中的多个相机接收的多视图图像数据；以及
至少部分地基于与对所述像素级数据的分析相对应的加权值来确定一个或多个不一致性是否指示所述异常图像。
20.如权利要求19所述的计算机可读介质，其特征在于，用于确定一个或多个不一致性是否指示所述异常图像的指令包括：用于根据单层感知器或支持向量机来确定与对所述单个图像数据或所述多视图图像数据的所述像素级数据的分析相对应的权重的指令。
21.如权利要求19所述的计算机可读介质，其特征在于，用于针对不一致性对所述像素级数据进行分析的指令包括：用于检测与所述图像数据流相关联的关键点的像素位置的梯度变化的指令。
22.如权利要求19所述的计算机可读介质，其特征在于，用于针对不一致性对所述像素级数据进行分析的指令包括：用于对来自所述一个或多个相机中的多个相机的多视图图像数据中可见的相同关键点的时间简况进行比较的指令。
23.一种用于检测与计算机协助或自主驾驶CA/AD交通工具的一个或多个相机相关联的图像数据中的异常图像的设备，所述设备包括：
用于使用单个视图或多视图几何方法中的一种或多种来确定是否要对所述图像数据的像素级数据执行一致性检查的装置；
用于从所述多个相机中的一个或多个相机中接收所述图像数据的装置，所述图像数据包括由所述CA/AD交通工具的一个或多个相机捕获的单个视图图像数据和/或由所述CA/AD交通工具的多个相机捕获的多视图图像数据；以及
用于使用所述单个视图或多视图几何方法对所述像素级数据执行所述一致性检查以确定所述图像数据是否包括异常图像的装置。
24.如权利要求23所述的设备，其特征在于，所述用于执行所述一致性检查的装置包括：用于至少部分地基于分配给一个或多个一致性检查的输出的权重来确定所述图像数据是否包括所述异常图像的装置。
25.一种或多种非暂态计算机可读介质，包含存储于其上的指令，响应于对所述指令的执行而使得计算机协助或自主驾驶CA/AD系统执行如权利要求14-18中任一项所述的方法。
CN202010123244.4A 2019-03-29 2020-02-27 检测与来自计算机协助或自主驾驶交通工具的一个或多个相机的图像数据相关联的异常图像 Pending CN111768358A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/369,898 2019-03-29
US16/369,898 US11148676B2 (en) 2019-03-29 2019-03-29 Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle

Publications (1)

Publication Number Publication Date
CN111768358A true CN111768358A (zh) 2020-10-13

Family

ID=67299120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010123244.4A Pending CN111768358A (zh) 2019-03-29 2020-02-27 检测与来自计算机协助或自主驾驶交通工具的一个或多个相机的图像数据相关联的异常图像

Country Status (3)

Country Link
US (1) US11148676B2 (zh)
CN (1) CN111768358A (zh)
DE (1) DE102020104363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442408A (zh) * 2022-09-13 2022-12-06 脉冲视觉(北京)科技有限公司 图像数据的传输处理方法、装置、介质以及电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
US11148676B2 (en) * 2019-03-29 2021-10-19 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
US11227167B2 (en) 2019-06-28 2022-01-18 Baidu Usa Llc Determining vanishing points based on lane lines
US11120566B2 (en) * 2019-06-28 2021-09-14 Baidu Usa Llc Determining vanishing points based on feature maps
US20210073685A1 (en) * 2019-09-09 2021-03-11 Nxp B.V. Systems and methods involving detection of compromised devices through comparison of machine learning models
US11455515B2 (en) * 2019-09-24 2022-09-27 Robert Bosch Gmbh Efficient black box adversarial attacks exploiting input data structure
US20230015771A1 (en) * 2019-11-26 2023-01-19 B. G. Negev Technologies And Applications Ltd. Methods for detecting phantom projection attacks against computer vision algorithms
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation
DE102020106377A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem
EP3896651A1 (en) 2020-04-15 2021-10-20 Volkswagen Ag Method and apparatus for evaluating temporal characteristics of semantic image segmentation
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
DE102020215885A1 (de) 2020-12-15 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und system zur erkennung und mitigation von störungen
CN117172123B (zh) * 2023-09-13 2024-03-08 江苏大块头智驾科技有限公司 用于矿山自动驾驶的传感器数据处理方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2604033A2 (en) * 2010-08-11 2013-06-19 Flir Systems, Inc. Infrared camera detection systems and methods
US10078791B2 (en) * 2014-01-09 2018-09-18 Irvine Sensors Corporation Methods and devices for cognitive-based image data analytics in real time
US9465774B2 (en) * 2014-04-02 2016-10-11 Benoit Maison Optical character recognition system using multiple images and method of use
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
JP7081835B2 (ja) * 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
WO2018204656A1 (en) * 2017-05-03 2018-11-08 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US10324467B1 (en) * 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US10812745B2 (en) * 2019-03-14 2020-10-20 Luminar Technologies, Inc. Bit depth reduction of image pixels
US11148676B2 (en) * 2019-03-29 2021-10-19 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442408A (zh) * 2022-09-13 2022-12-06 脉冲视觉(北京)科技有限公司 图像数据的传输处理方法、装置、介质以及电子设备

Also Published As

Publication number Publication date
US11148676B2 (en) 2021-10-19
DE102020104363A1 (de) 2020-10-01
US20190225234A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US11148676B2 (en) Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
US11204253B2 (en) Method and apparatus for displaying virtual route
US11966673B2 (en) Sensor simulation and learning sensor models with generative machine learning methods
US11507084B2 (en) Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
CN113139642B (zh) 在自主驾驶应用中使用神经网络执行故障检测
US20200356790A1 (en) Vehicle image verification
US11961243B2 (en) Object detection using image alignment for autonomous machine applications
WO2020112213A2 (en) Deep neural network processing for sensor blindness detection in autonomous machine applications
US20190033867A1 (en) Systems and methods for determining a vehicle position
KR20200042760A (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US11948315B2 (en) Image composition in multiview automotive and robotics systems
US10866427B2 (en) Method and apparatus for outputting pose information
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
WO2021206896A1 (en) Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
JP2020086545A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
WO2021215236A1 (ja) 情報処理装置、情報処理方法および記録媒体
EP3850539B1 (en) Deep neural network processing for sensor blindness detection in autonomous machine applications
CN114841336A (zh) 修补用于自主机器应用的部署的深度神经网络
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
US12025752B2 (en) Systems and methods for detecting erroneous LIDAR data
US20230417885A1 (en) Systems and methods for detecting erroneous lidar data
US20240161342A1 (en) Sensor calibration for autonomous systems and applications
EP4064220A1 (en) Method, system and device for detecting traffic light for vehicle
US20230351769A1 (en) Detecting hazards based on disparity maps using machine learning for autonomous machine systems and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination