CN109151452A - 异常检测装置和车辆系统 - Google Patents

异常检测装置和车辆系统 Download PDF

Info

Publication number
CN109151452A
CN109151452A CN201810614960.5A CN201810614960A CN109151452A CN 109151452 A CN109151452 A CN 109151452A CN 201810614960 A CN201810614960 A CN 201810614960A CN 109151452 A CN109151452 A CN 109151452A
Authority
CN
China
Prior art keywords
image
region
camera
abnormality detecting
detecting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810614960.5A
Other languages
English (en)
Other versions
CN109151452B (zh
Inventor
梶原裕辉
宫川纮辅
西部昌树
屉原健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN109151452A publication Critical patent/CN109151452A/zh
Application granted granted Critical
Publication of CN109151452B publication Critical patent/CN109151452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及异常检测装置和车辆系统。所述异常检测装置包括：根据通用算法来提取图像特征的特征提取单元、流计算单元、第一异常检测单元、和第二异常检测单元。图像特征的提取范围由第一图像中的预定第一局部区域、第二图像中的预定第二局部区域、以及在第一和第二图像中的被预测为特征点的目的地的位置附近的区域构成。第一异常检测单元基于第一(第二)局部区域中的特征点的光流来检测第一(第二)图像中的异常。第二异常检测单元通过使用在第一重叠区域中限定的第一重叠提取区域中的特征点和第二重叠区域中限定的第二重叠提取区域中的特征点来检测异常。

Description

异常检测装置和车辆系统
技术领域
本公开涉及异常检测装置和车辆系统。
背景技术
已知一种检测相机的异常的装置。例如，在日本未审专利申请公开第2016-15638号和第H11-177964号所公开的技术中，通过指定或提取由各个相机拍摄的多个图像中的重叠区域并且比较图像中的重叠区域的特征来检测相机的异常。在这些技术中，至少两台相机的拍摄范围相互重叠是必要的。因此，不可能检测到其拍摄范围不与任何其他相机重叠的相机的异常。
为了检测这种相机的异常，存在使用光流的连续性的异常检测方法。在该方法中，根据预定算法(例如，在Jianbo Shi和Carlo Tomasi，“Good Features to Track”，IEEEConference on Computer Vision and Pattern Recognition，1994，第593-600页中公开的算法)来提取图像中的特征点并且通过时间上连续的图像来跟踪该特征点。然后，通过判定该特征点的移动的连续性是否保持，可以检测其拍摄范围不与任何其他相机重叠的相机的异常。
发明内容
本发明人已经发现下述问题。当至少两个相机的拍摄范围彼此重叠时，可以基于图像中的重叠区域的特征来检测这些相机的异常，以及还可以通过使用上述光流来检测每个相机的异常。然而，当通过使用这两种方法的两者检测到异常时，检测的处理时间会增加。
从本说明书和附图的描述，其他问题和新颖特征将变得显而易见。
根据一个实施例，异常检测装置包括：被配置为根据通用提取算法来提取特征点和特征值的特征提取单元、流计算单元、第一异常检测单元和第二异常检测单元。注意，由特征提取单元提取的特征点和特征值的提取范围由第一相机拍摄的第一图像中的预定第一局部区域、第二相机拍摄的第二图像中的预定第二局部区域、以及在第一和第二图像中的被预测为特征点的目的地的位置附近的区域构成。此外，第一异常检测单元基于第一局部区域中的特征点的光流来检测第一图像的异常，以及基于第二局部区域中的特征点的光流来检测第二图像的异常。此外，第二异常检测单元通过使用在第一重叠区域中限定的第一重叠提取区域中的特征点和在第二重叠区域中限定的第二重叠提取区域中的特征点来检测异常。
根据上述实施例，当至少两台相机的拍摄范围彼此重叠时，可以在减轻处理负担的同时，实现由第一异常检测单元执行的、通过使用由一台相机获取的图像的异常检测和由第二异常检测单元执行的、通过从各个相机获取的至少两个图像之间的比较的异常检测这两者。
附图说明
从结合附图进行的某些实施例的下述描述，上述和其他方面、优点和特征将更显而易见，其中：
图1是示出根据实施例的概述的异常检测装置的构成的示例的框图；
图2是示出构成根据第一实施例的车辆系统的元件之间的位置关系的示例的示意图；
图3是示出根据第一实施例的车辆系统的硬件构成的示例的框图；
图4是示出根据第一实施例的车辆系统的功能构成的示例的框图；
图5是示出拍摄范围、特征提取范围、流跟踪范围和重叠提取区域之间的关系的示意图；
图6是示出由相机拍摄的图像的范围之间的关系的示意图；
图7是示出由根据第一实施例的车辆系统执行的异常判定过程的操作的示例的流程图；
图8是示出根据第二实施例的比较区域的示意图；
图9是示出根据第三实例的车辆系统的硬件构成的示例的框图；
图10是示出根据第三实施例的车辆系统的功能构成的示例的框图；以及
图11是示出由根据第三实施例的车辆系统执行的异常判定过程的操作的示例的流程图。
具体实施例
为了使说明清楚，适当地部分省略和简化下述描述和附图。在整个附图中，相同的符号被分配给相同的元件，并且适当地省略重复的说明。
<实施例的概述>
在描述实施例的细节之前，首先给出实施例的概述。图1是示出根据实施例的概述的异常检测装置1的构成的示例的框图。异常检测装置1包括特征提取单元2、流计算单元3、第一异常检测单元4、以及第二异常检测单元5。
特征提取单元2接收由第一相机拍摄的第一图像和由第二相机拍摄的第二图像，并且从其提取图像特征(更具体地说，特征点和特征值)。注意，第一和第二相机是拍摄移动图像的相机。此外，第一和第二相机的拍摄范围彼此部分重叠。特征提取单元2根据预定提取算法来提取第一图像的特征点和特征值以及第二图像的特征点和特征值。即，该预定提取算法是当由第一异常检测单元4检测到异常时和当由第二异常检测单元5检测到异常时通用的算法。换句话说，用于提取用于由第一异常检测单元4执行的异常检测所需的特征点和特征值的算法与用于提取用于由第二异常检测单元5执行的异常检测所需的特征点和特征值的算法相同。
注意，由特征提取单元2提取的特征点和特征值的提取范围由作为第一图像中的预定局部区域的第一局部区域、作为第二图像中的预定局部区域的第二局部区域、和在第一和第二图像中的被预测为特征点的目的地的位置附近的区域构成。
流计算单元3基于由特征提取单元2提取的特征点的特征值来计算该特征点的光流。注意，光流是指示时间上连续的时间序列图像中的特征点的移动的向量。也就是说，光流是指示特征点通过由特定相机拍摄的移动图像的连续帧的移动的向量。例如，当相机的被摄体或相机本身以一定速度直线移动时，对应于被摄体的特征点在固定方向上以恒定速度移动通过时间上相邻的图像帧。
第一异常检测单元4基于由流计算单元3针对第一图像计算的光流来检测第一图像的异常。此外，第一异常检测单元4基于由流计算单元3针对第二图像计算的光流来检测第二图像的异常。具体而言，第一异常检测单元4基于在上述第一局部区域(即，第一图像中的提取特征点和特征值的区域)中的特征点的光流来检测第一图像的异常，并且基于第二局部区域(即，第二图像中的提取特征点和特征值的区域)中的特征点的光流来检测第二图像的异常。更具体地，第一异常检测单元4基于通过跟踪上述第一局部区域中的位于预定区域中的特征点而获得的光流来检测第一图像的异常，并且基于通过跟踪第二局部区域中的位于预定区域中的特征点而获得的光流来检测第二图像的异常。
注意，图像的异常可能由已经被用来拍摄该图像的相机的异常(故障)引起，或者可能由从当从相机输出图像信息时到当该图像信息被输入到特征提取单元2时执行的过程中的一个的异常(即，执行该过程的装置故障)引起。如上所述，通过使用从一个相机获取的图像来执行由第一异常检测单元4执行的异常检测，以检测该相机的异常或对从该相机输出的图像信息已经执行的特定过程的异常。
第二异常检测单元5基于第一图像中的第一重叠区域中的特征点的第一索引值与第二图像中的第二重叠区域中的特征点的第二索引值之间的比较结果，检测第一或第二图像的异常。注意，第一重叠区域是第一图像中、第一和第二图像的拍摄范围彼此重叠的重叠区域。第二重叠区域是第二图像中、第一和第二图像的拍摄范围彼此重叠的重叠区域。因此，在第一和第二重叠区域中存在相同的被摄体。
更具体地，第二异常检测单元5通过使用在第一重叠区域中限定的第一重叠提取区域中的特征点和在第二重叠区域中限定的第二重叠提取区域中的特征点来检测异常。注意，第一重叠提取区域是第一局部区域中、对应于第二局部区域的区域。注意，第一重叠提取区域也可以被看作是第一局部区域中、与第二局部区域重叠的区域。此外，第二重叠提取区域是第二局部区域中、对应于第一局部区域的区域。注意，第二重叠提取区域也可以被看作是第二局部区域中、与第一局部区域重叠的区域。也就是说，存在于图像中的重叠提取区域中的被摄体是同时在第一和第二图像这两者中对其提取特征的对象。
注意，类似于第一异常检测单元4，由第二异常检测单元5检测到的图像的异常可能由已经被用来拍摄该图像的相机的异常(故障)引起，或者可能由从当图像信息从该相机输出时到当将该图像信息输入到特征提取单元2时执行的过程中的一个的异常(即，执行该过程的装置的故障)引起。
此外，作为示例，上述索引值是从第一重叠区域中的特征点开始的该特征点的光流。然而，索引值可以是第一重叠区域中的特征点的特征值。注意，在图1中，延伸到第二异常检测单元5的虚线箭头指示该索引值的这种可选性。也就是说，当上述索引值是光流时，可以存在从流计算单元3延伸到第二异常检测单元5的路径，而从特征提取单元2延伸到第二异常检测单元5的路径可能不存在。此外，当该索引值为特征值时，从流计算单元3延伸到第二异常检测单元5的路径可能不存在，而可以存在从特征提取单元2延伸到第二异常检测单元5的路径。
应注意到，在图1中，连接元件的箭头仅是元件之间的关系的示例，并且为了更容易理解而示出。即，没有示出排除除图1中所示的异常检测装置1外的元件之间的关系。
如上所述，在异常检测装置1中，第一异常检测单元4使用从一个相机获取的图像执行异常检测，并且第二异常检测单元5通过比较从各个相机获取的至少两个图像来执行异常检测。即，由于异常检测装置1具有两种异常检测功能，即，通过第一异常检测单元4的异常检测和通过第二异常检测单元5的异常检测，与仅执行一种异常检测的情形相比，提高了异常检测的精度。
此外，在异常检测装置1中，不必通过使用不同的提取算法来提取由第一异常检测单元4执行的异常检测所需的图像特征以及由第二异常检测单元5执行的异常检测所需的图像特征。因此，由特征提取单元2获得的提取结果可以被用于由第一异常检测单元4执行的异常检测和由第二异常检测单元5执行的异常检测这两者。即，通过使用通用提取算法，可以执行图像特征提取过程而不执行复杂的处理。此外，在异常检测装置1中，局部区域被用作图像特征的提取范围，而不是使用整个图像区域。因此，可以减少图像特征提取过程所需的负载。
如上所述，异常检测装置1使得当至少两台相机的拍摄范围彼此重叠时，可以实现通过第一异常检测单元4的异常检测和通过第二异常检测单元5的异常检测这两者，同时减轻处理负载。
<第一实施例>
接下来，描述实施例的细节。图2是示出根据第一实施例的构成车辆系统10的元件之间的位置关系的示例的示意图。车辆系统10包括作为安装在车辆100中的信息输入设备的相机101A至101D以及安装在车辆100中的其他组件。注意，在图2所示的示例中，示出了四个相机。然而，车辆系统10需要配备仅两台或以上相机。在图2所示的示例中，将诸如制动器102和方向盘103的控制装置以及诸如警告显示装置104的信息输出装置示为其他组件。此外，车辆系统10包括ECU(电子控制单元)105。
相机101A至101D、制动器102、方向盘103、和警告显示单元104被连接至识别信息、判定车辆状态、控制车辆、并且执行通信的ECU 105。ECU 105可以是单个组件或者可以由用于各个功能的多个组件构成。当ECU 105由多个组件构成时，连接这些组件，使得可以在它们之间相互交换信息。
注意，相机101A至101D是拍摄车辆100周围(即，车辆100周围的场景)的移动图像的相机。相机101A是安装在车辆100的前侧的相机，使得其主要拍摄范围在车辆100的前方。相机101B是安装在车辆100的右侧的相机，使得其主要拍摄范围在车辆100的右侧。相机101C是安装在车辆100的后侧的相机，使得其主要拍摄范围在车辆100的后方。相机101D是安装在车辆100的左侧的相机，使得其主要拍摄范围在车辆100的左侧。
注意，相机101A被安装在车辆100中，使得其拍摄范围与相机101B的拍摄范围部分重叠并且与相机101D的拍摄范围部分重叠。相机101B被安装在车辆100中，使得其拍摄范围与相机101A的拍摄范围部分重叠并且与相机101C的拍摄范围部分重叠。相机101C被安装在车辆100中，使得其拍摄范围与相机101B的拍摄范围部分重叠并且与相机101D的拍摄范围部分重叠。相机101D被安装在车辆100中，使得其拍摄范围与相机101C的拍摄范围部分重叠并且与相机101A的拍摄范围部分重叠。假定相机的重叠范围不随时间改变。
接下来，参考图3，以更详细的方式描述车辆系统10的构成。图3是示出车辆系统10的硬件构成的示例的框图。如图3所示，ECU 105包括识别MCU(微控制器单元)110、判定MCU111、以及控制MCU 112和113。注意，当车辆系统10支持被添加以拍摄移动图像的扩展相机106的连接时，ECU 105进一步包括扩展相机MCU 114。注意，可以添加一个以上扩展相机106。应注意到，所添加的扩展相机106可以被安装在车辆100中，使得其拍摄范围与其他扩展相机106中的至少一个或相机101A至101D的至少一个的拍摄范围重叠。
识别MCU 110是用于识别由相机101A至101D拍摄的图像和由扩展相机106拍摄的图像的MCU。识别MCU 110分别通过总线120A至120D连接至相机101A至101D。
判定MCU 111是用于判定车辆100的状态的MCU。判定MCU 111通过总线121连接到警告显示装置104，并且控制在警告显示装置104中显示的内容。
控制MCU 112是用于根据来自方向盘103的输入来控制车辆100并且通过总线122连接到方向盘103的MCU。控制MCU 113是用于根据来自制动器102的输入来控制车辆100并且通过总线123连接到制动器102的MCU。控制MCU 112和113不一定必须是单独的MCU。也就是说，它们可以形成为一个MCU。
扩展相机MCU 114是用于处理从扩展相机106输入的信号的MCU。扩展相机MCU 114执行例如与(稍后所述的)由相机I/F 142A至142D和捕获单元143执行的过程类似的过程并且生成图像数据。此外，扩展相机MCU 114压缩图像数据以便减少被输出到车辆内网络125的数据量。注意，从扩展相机MCU 114输出的图像数据通过车辆内网络125和识别MCU 110被存储在外部存储器130中。当提供扩展相机MCU 114时，扩展相机106通过总线124连接到扩展相机MCU 114。
识别MCU 110、判定MCU 111、控制MCU 112和113、以及扩展相机MCU 114被连接到车辆内网络125。
此外，ECU 105包括外部存储器130。外部存储器130是其中存储由相机101A至101D拍摄的图像和由扩展相机106拍摄的图像的存储器。
在下文中，描述识别MCU 110的构成的细节。识别MCU 110包括车辆内网络I/F140、外部存储器I/F 141、相机I/F 142A至142D、捕获单元143、图像处理处理器150、图像识别处理器160、和CPU(中央处理单元)170。
车辆内网络I/F 140是用于从/向车辆内网络125输入/输出信息的接口。外部存储器I/F 141是用于从/向外部存储器130输入/输出信息的接口。相机I/F 142A至142D是用于将在相机101A至101D中捕获的信号转换为以可由捕获单元143接受的信号格式的信号的接口。例如，相机I/F 142A至142D是用于将输入串行信号转换成并行信号并且将它们输出到捕获单元143的接口。
注意，这些接口可以被连接到专用网络，或者可以被连接到通用网络，诸如CAN(控制器区域网络)或以太网。此外，也可以通过以时分方式等切换同一总线来实现与通用网络的连接。
捕获单元143是基于从相机101A至101D输出的信号来生成图像数据的电路。从捕获单元143输出的图像数据通过外部存储器I/F 141被存储在外部存储器130中。
图像处理处理器150是对由相机101A至101D和扩展相机106拍摄的图像执行预定图像处理的电路。图像处理处理器150通过外部存储器I/F 141读取在外部存储器130中存储的图像数据，执行预定的图像处理，然后通过外部存储器I/F 141将结果的图像数据——即，已经过图像处理的数据——存储在外部存储器130中。注意，由图像处理处理器150执行的预定图像处理的示例包括用于对压缩的图像数据进行解码的处理和对所拍摄的图像数据的失真的校正。然而，预定图像处理不限于这些示例。
图像识别处理器160是执行图像识别过程的电路。图像识别处理器160对已经由图像处理处理器150处理的图像执行图像识别过程。图像识别处理器160通过外部存储器I/F141读取在外部存储器130中存储的图像数据，执行预定图像识别过程，然后通过外部存储器I/F 141将图像识别过程的结果存储在外部存储器130中。具体地，作为图像识别过程，图像识别处理器160提取图像特征(更具体地说，特征点和特征值)并且计算其光流。
CPU 170通过执行在外部存储器130或其他存储器中存储的程序来执行各种过程。CPU 170基于由图像识别处理器160获得的图像识别结果，执行用于检测图像的异常的异常检测过程。
在该实施例中，图像识别处理器160和CPU 170对应于图1所示的异常检测装置1。即，图像识别处理器160和CPU 170基于经过由图像处理处理器150执行的图像处理的图像数据，执行异常检测过程。例如，当相机101A至101D、相机I/F 142A至142D、捕获单元143、和图像处理处理器150中的一个发生故障时，被输入到图像识别处理器160的图像出现异常。在该实施例中，基于当在这些电路中发生故障时出现的图像的异常来检测相机101A至101D、相机I/F 142A至142D、捕获单元143、和图像处理处理器150的故障。注意，当使用扩展相机106时，扩展相机106和扩展相机MCU 114也被包括在检测故障的目标电路中。
接下来，描述与异常检测过程有关的车辆系统10的功能构成。图4是示出与在车辆系统10中执行的异常检测过程有关的功能构成的示例的框图。如图4所示，车辆系统10包括特征提取单元200、流计算单元201、第一异常检测单元202、第二异常检测单元203、和综合判定单元204，作为异常检测装置的构成。注意，特征提取单元200和流计算单元201由图像识别处理器160实现。此外，第一异常检测单元202、第二异常检测单元203、和综合判定单元204由CPU 170实现。
特征提取单元200对应于图1所示的特征提取单元2。即，特征提取单元200根据预定的提取算法，提取由每个相机(即，相机101A至101D和扩展相机106中的每一个)拍摄的图像的图像特征(即，特征点和特征值)。注意，由于相机101A至101D和扩展相机106拍摄移动图像，特征提取单元200针对时间上连续的图像帧的每一个提取图像特征。在该实施例中，特征提取单元200提取已经过图像处理处理器150执行的图像处理的图像中的图像特征。
上述预定提取算法的示例包括科学论文中公开的已知算法，诸如Harris和GoodFeaturesToTrack。关于特征点，例如，提取在图像中可以获取被摄体的轮廓并且可以追踪通过帧的移动的点。这些特征点存在于例如角落中，但不限于角落。此外，特征提取单元200根据上述预定提取算法来计算所提取的特征点的特征值。
特征提取单元200对每个相机预先限定的特征提取范围(参见图5和6中的特征提取范围R1A和R1B)中的区域以及在被估计为特征点的目的地的位置附近的区域执行提取过程。注意，稍后，将参考图5和6描述特征提取范围与其他范围之间的关系。例如，由流计算单元201估计图像中的被估计为特征点的目的地的位置。
流计算单元201对应于图1所示的流计算单元3。流计算单元201基于特征点的特征值针对由特征提取单元200提取的特征点计算光流。具体而言，当第(n-1)图像帧In-1中的特征点被表示为特征点An-1时，流计算单元201通过比较特征点的特征值，计算(即，判定)在作为图像帧In-1的下一帧的帧的第n图像帧In中提取的相应特征点An移入哪一方向。以这种方式，流计算单元201计算指示特征点通过多个帧的移动的向量。例如，流计算单元201通过使用科学论文中公开的已知算法(诸如OpticalFlowLK)来计算光流。注意，流计算单元201计算(即，判定)从对每一相机预先限定的流跟踪范围(参见图5和6中的流跟踪范围R2A和R2B)中、由特征提取单元200提取的特征点开始的光流。注意，稍后将描述流跟踪范围和其他范围之间的关系。
此外，流计算单元201估计特征点的目的地处的位置。流计算单元201从已经基于直到第n图像帧的图像帧计算的光流，估计第(n+1)图像帧In+1中的特征点An+1的位置。例如，流计算单元201在假设被摄体或相机基本上以恒定速度以直线移动的情况下，估计第(n+1)图像帧In+1中的特征点An+1的位置。然后，特征提取单元200执行用于对由流计算单元201估计的位置附近的区域(例如，对与所估计的位置相距预定距离内的图像区域)提取图像特征的过程。
第一异常检测单元202对应于图1所示的第一异常检测单元4。即，第一异常检测单元202基于由流计算单元201针对来自相机101A的图像计算的光流，检测从相机101A获取的图像的异常。此外，第一异常检测单元202基于由流计算单元201针对来自相机101B的图像计算的光流，检测从相机101B获取的图像的异常。此外，第一异常检测单元202基于由流计算单元201针对来自相机101C的图像计算的光流，检测从相机101C获取的图像的异常。此外，第一异常检测单元202基于由流计算单元201针对来自相机101D的图像计算的光流，检测从相机101D获取的图像的异常。此外，当提供扩展相机106时，第一异常检测单元202基于来自扩展相机106的图像的光流，检测从扩展相机106获取的图像的异常。以这种方式，第一异常检测单元202通过使用来自一个相机的图像检测从该相机获取的图像的异常。
进一步说明由第一异常检测单元202执行的异常检测。注意，尽管在下文中，将作为示例解释对从相机101A获取的图像的异常检测，但以类似的方式执行从其他相机获取的图像的异常检测。第一异常检测单元202基于从特征提取范围R1中的特征点开始的ab光流，检测从相机101A获取的图像的异常。假定当被摄体或相机以恒定速度基本上以直线移动时由相机获取移动图像，则第一异常检测单元202通过判定光流的连续性来检测图像的异常。
在下文中，描述由第一异常检测单元202进行的光流的连续性的判定。当从相机获取的图像的光流的移动方向和移动量的时间变化(即随时间变化)在预定范围内时，第一异常检测单元202判定来自相机的图像是正常的。与此相反，当不能获得移动方向和移动量的时间变化在预定范围内的相机获得的图像的光流时，诸如当光流的移动方向和移动量的时间变化不在预定范围内时，第一异常检测单元202判定来自相机的图像异常。
当相机101A的被摄体或相机101A本身以恒定速度基本上以直线移动时，从相机101A获取的时间上相邻的帧的特征点以预定帧频的移动方向和移动量变为恒定。因此，第一异常检测单元202判定移动方向Pn与移动方向Pn+1之间的差异是否在许可范围PR内，并且判定移动距离Qn和移动距离Qn+1是否在许可范围QR内。注意，移动方向Pn是从第(n-1)图像帧In-1中的特征点An-1到其在第n图像帧In中的对应特征点An的移动方向。移动方向Pn+1是从特征点An到其在图像帧In+1中的对应特征点An+1的移动方向。此外，移动距离Qn是从特征点An-1到特征点An的移动距离，并且移动距离Qn+1是从特征点An到特征点An+1的移动距离。
当移动方向Pn和Pn+1之间的差异在许可范围PR内并且移动距离Qn和Qn+1之间的差异在许可范围QR内时，第一异常检测单元202判定图像是正常的。此外，第一异常检测单元202在所有其他情况下判定图像异常。例如，当位于相机101A和图像识别处理器160之间的任何电路中或在相机101A本身中发生一些故障，因此图像没有以规则间隔从相机101A提供时，不能获得移动方向和移动量的时间变化在预定范围内的光流。因此，第一异常检测单元202检测图像的异常。注意，在通过第一异常检测单元202的异常检测中，被摄体或相机不一定必须以恒定的速度完全以直线移动。也就是说，第一异常检测单元202的异常检测的唯一要求是被摄体或相机应该移动。换句话说，可以改变被摄体或相机的移动方向和移动速度。这是因为相邻图像帧之间的时间足够小，并且如上所述，中的该判定限定许可范围。
第二异常检测单元203对应于图1所示的第二异常检测单元5。即，第二异常检测单元203使用中的由各个相机拍摄的多个图像的重叠区域中的特征点的光流来检测图像的异常。第二异常检测单元203要求其拍摄范围彼此部分重叠的至少两台相机以检测图像的异常。在下文中，通过使用其拍摄范围彼此部分重叠的相机101A和相机101B来说明第二异常检测单元203的细节。然而，第二异常检测单元203对其拍摄范围相互重叠的相机的其他组合执行类似的过程。
第二异常检测单元203基于来自相机101A的图像中的重叠提取区域(参见图5和6中的重叠提取区域R3A)中的特征点的光流和来自相机101B的图像中的重叠提取区域(参见图5和6中的重叠提取区域R3B)中的特征点的光流之间的比较结果，检测从相机101A或101B获取的图像中的异常。注意，从相机101A获取的图像中的重叠提取区域对应于上述第一重叠提取区域，并且是对应于从相机101B获取的图像的特征提取范围(参见图5和6中的特征提取范围R1B)的、来自相机101A的图像的特征提取范围(参见图5和6中的特征提取范围R1A)中的区域。换句话说，从相机101B获取的图像的重叠提取区域对应于上述第二重叠提取区域，并且是对应于从相机101A获取的图像的特征提取范围(参见图5和图6中的特征提取范围R1A)的、来自相机101B的图像的特征提取范围(参见图5和6中的特征提取范围R1B)中的区域。
在下文中，参考图5和6，说明拍摄范围、特征提取范围、流跟踪范围和重叠提取区域之间的关系。图5是示出拍摄范围、特征提取范围、流跟踪范围和重叠提取区域之间的关系的示意图。注意，图5示出从车辆100的上方所看到的关系。图6是示出由相机101A拍摄的图像的范围之间的关系(图6的左半部分)和由相机101B拍摄的图像的范围之间的关系(图6中的右半部分)的示意图。注意，图6所示的图像是通过使用图像处理处理器150，对从相机获取的图像执行诸如解码处理和失真校正的预定图像处理而获得的矩形图像。特征提取单元200以及流计算单元201处理这样的矩形图像。虽然图5和图6示出了仅与相机101A和101B相关的范围，对其他相机也限定了类似的范围。在下文中，参考图5和6说明范围之间的关系。
在图5中，相机101A的拍摄范围RA和相机101B的拍摄范围RB由用粗实线包围的范围表示。在图6中，拍摄范围RA和RB中的每一个是由最外面的矩形框指示的区域。在图5中，拍摄范围RA和RB彼此部分重叠。特征提取范围R1A被预先限定为拍摄范围RA的区域的一部分。类似地，特征提取范围R1B被预先限定为拍摄范围RB的区域的一部分。具体地，特征提取范围R1A部分地延伸到另一相机101B的拍摄范围RB并且与之重叠。类似地，特征提取范围R1B部分延伸到另一相机101A的拍摄范围RA中并与其重叠。换句话说，在与另一相机的拍摄范围重叠的区域的至少一部分中限定特征提取范围的至少一部分。注意，在图5和6中，特征提取范围(R1A和R1B)由细阴影表示。特征提取范围R1A也被称为第一局部区域，并且特征提取范围R1B也被称为第二局部区域。
对于相机101A，在拍摄范围RA的两侧限定特征提取范围R1A。特征提取范围R1A中的一个是被限定以包括与相机101B的拍摄范围RB重叠的区域的一部分的特征提取范围，并且另一特征提取范围R1A是被限定以便包括与相机101D的拍摄范围(未示出)重叠的一部分区域的特征提取范围。类似地，对于相机101B，特征提取范围R1B被限定在拍摄范围RB的两侧上。特征提取范围R1B中的一个是被限定以便包括与相机101A的拍摄范围RA重叠的一部分区域的特征提取范围，并且另一特征提取范围R1B是被限定以便包括与相机101C的拍摄范围(未示出)重叠的一部分区域的特征提取范围。注意，在图5所示的示例中，在两个相机的拍摄范围彼此重叠的区域部分中限定特征提取范围。然而，可以在两个相机的拍摄范围彼此重叠的整个区域上限定特征提取范围。
在图5和6中，流跟踪范围由填充点的区域(R2A和R2B)表示。流跟踪范围被限定以便在其中包括特征提取范围。换句话说，在比特征提取范围更宽的区域中限定流跟踪范围。具体而言，限定相机101A的流跟踪范围R2A以便包括位于两侧的两个特征提取范围R1A。类似地，限定相机101B的流跟踪范围R2B以便包括位于两侧的两个特征提取范围R1B。因此，特征提取范围R1A也是流跟踪范围R2A(的一部分)。此外，特征提取范围R1B也是流跟踪范围R2B(的一部分)。注意，在图5和6中，在相机的拍摄范围的一部分区域中限定流跟踪范围。然而，可以在相机的整个拍摄范围上限定流跟踪范围。
在图5和6中，重叠提取区域(R3A和R3B)是由粗阴影表示的区域。重叠提取区域是由其中一个相机拍摄的图像的特征提取范围和另一相机拍摄的图像的特征提取范围在拍摄范围中彼此重叠的部分。相机101A的重叠提取区域R3A也是特征提取范围R1A(的一部分)以及流跟踪范围R2A(的一部分)。类似地，相机101B的重叠提取区域R3B也是特征提取范围R1B(的一部分)和流跟踪范围R2B(的一部分)。
第二异常检测单元203通过使用将与由相机101B拍摄的图像重叠的、由相机101A拍摄的图像的重叠区域中的预定区域用作光流的跟踪范围而获得的该光流以及将与由相机101A拍摄的图像重叠的、由相机101B拍摄的图像的重叠区域中的预定区域用作光流的跟踪范围而获得的该光流，检测图像的异常。也就是说，对于由第二异常检测单元203执行的异常检测过程，在相机101A的图像的重叠区域中的预定区域内跟踪相机101A的图像中的特征点。类似地，对于由第二异常检测单元203执行的异常检测过程，在相机101B的图像的重叠区域中的预定区域内跟踪相机101B的图像中的特征点。在下文的描述中，重叠区域中的该预定区域也被称为比较区域。注意，图像之一中的比较区域的拍摄范围对应于另一图像中的比较区域的拍摄范围。也就是说，存在于图像之一的比较区域中的被摄体也存在于另一图像的比较区域中。在该实施例中，比较区域是在重叠提取区域R3A和R3B中限定的矩形区域R4A和R4B(参见图6)。然而，比较区域可以是重叠的提取区域R3A和R3B。注意，稍后将描述矩形区域R4A和R4B的细节。
与此相反，第一异常检测单元202通过使用比用在第二异常检测单元203中的跟踪范围更宽的范围作为其跟踪范围而获得的光流来检测由相机101A和101B拍摄的图像的异常。具体而言，对于由第一异常检测单元202执行的异常检测过程，在流跟踪范围R2A中跟踪相机101A的图像中的特征点。类似地，对于由第一异常检测单元202执行的异常检测过程，在流跟踪范围R2B中跟踪相机101B的图像中的特征点。
进一步说明由第二异常检测单元203执行的异常检测的细节。第二异常检测单元203通过将第一频率分布与第二频率分布进行比较来检测异常，其中第一频率分布指示对从相机101A获取的图像的比较区域中的特征点的光流的每个方向的样本数量(频率)，第二频率分布指示对从相机101B获取的图像的比较区域中的特征点的光流的每个方向的样本数量(频率)。注意，在该实施例中，比较区域是如上所述的矩形区域R4A和R4B。然而，比较区域可以是重叠的提取区域R3A和R3B。
例如，作为上述第一频率分布，第二异常检测单元203创建比较区域中的特征点的光流的移动方向的直方图。此外，作为上述第二频率分布，第二异常检测单元203创建比较区域中的特征点的光流的移动方向的直方图。然后，第二异常检测单元203计算两个直方图的元素之间的归一化互相关，并且判定两个直方图彼此是否相似。当第二异常检测单元203判定两个直方图彼此相似时——即，第一和第二频率分布彼此相似时，判定从相机101A和101B获取的两个图像是正常的。当第二异常检测单元203判定两个直方图彼此不相似时——即，第一和第二频率分布彼此不相似时，判定从相机101A和101B获取的图像之一是异常的。注意，由于第二异常检测单元203通过执行比较来检测异常，所以不能判定相机101A和101B的图像的哪一个是异常的。
注意，如上所述，在本实施例中，第二异常检测单元203通过使用重叠提取区域中的预先指定的矩形区域中的特征点的光流来创建频率分布。即，在图6中，通过使用由重叠提取区域R3A中的粗实线框表示的、作为预定比较区域的矩形区域R4A中的特征点以及由重叠提取区域R3B中的粗实线框表示的、作为预定比较区域的矩形区域R4B中的特征点，执行判定过程。如上所述，在本实施例中，在由第二异常检测单元203执行的过程中，使用包括在重叠提取区域的预定矩形区域中的特征点。然而，可以使用整个重叠提取区域中的特征点或重叠提取区域中的具有预定任意形状的区域中的特征点。注意，预先在例如车辆系统10的设计阶段中限定重叠提取区域中的具有预定形状的区域以便不延伸到重叠提取区域的外侧。
应注意到，如在本实施例的情况下，当相机101A的拍摄方向不同于相机101B的拍摄方向时，相机101A的图像中的被摄体的移动方向不同于相机101B的图像中的该被摄体的移动方向。即，当给定被摄体在方向X上空间移动时，在从相机101A获取的图像中的被摄体的特征点例如在方向XA中移动，而从相机101B获取的图像中的该被摄体的特征点在例如方向XB中移动。因此，当相机101A和101B的拍摄方向彼此不同时，第二异常检测单元203为归一化移动方向的光流创建直方图。因此，对光流执行旋转过程，使得将方向XA归一化为方向X，以及对光流执行旋转过程，使得将方向XB归一化为方向X。对每个相机和根据每一相机的拍摄方向，旋转过程的旋转角不同。例如，在车辆系统10的设计阶段中预先限定旋转角。因此，当相机101A和101B的拍摄方向彼此不同时，第二异常检测单元203例如按预定第一角度旋转由流计算单元201针对相机101A的图像中的特征点计算的移动方向，然后创建频率分布。类似地，第二异常检测单元203按预定第二角度旋转由流计算单元201针对相机101B的图像中的特征点计算的移动方向，然后创建频率分布。然而，当相机101A和101B的拍摄方向彼此相同时，上述旋转过程是不必要的。
接下来，描述综合判定单元204。综合判定单元204基于第一和第二异常检测单元202和203的检测结果，对图像中异常的存在/不存在进行最终判定。因此，将由第一和第二异常检测单元202和203进行的存在/不存在异常的判定视为在最终判定之前进行的临时(或暂时)判定。
综合判定单元204可以根据预定的最终判定规则，基于第一和第二异常检测单元202和203的检测结果进行判定。任何任意规则都可以被用作最终的判定规则。然而，作为示例，综合判定单元204根据下述规则进行最终判定。
在本实施例中，综合判定单元204在对第二异常检测单元203的检测结果赋予比第一异常检测单元202的检测结果更高优先级的同时进行最终判定。即，在用于给定相机的图像的第一异常检测单元202的检测结果与第二异常检测单元203的检测结果不匹配时，综合判定单元204通过采用第二异常检测单元203的检测结果来进行关于该相机的图像是否异常的最终判定。这是因为，第一异常检测单元202的检测为通过使用仅由一台相机拍摄的图像的异常判定，而第二异常检测单元203的检测通过比较由至少两台相机拍摄的图像来执行。因此，鉴于在待比较的两个图像中出现类似异常的可能性小的事实，由第二异常检测单元203执行的检测的判定精度高于第一异常检测单元202的判定精度。
此外，在该实施例中，综合判定单元204处理由第二异常检测单元203执行的检测如下。注意，下面的描述是通过将由相机101A和101B拍摄的图像用作将在第二异常检测单元203中比较的图像给出的。然而，综合判定单元204对其拍摄范围彼此重叠的相机的其他组合的每一个执行类似的过程。
综合判定单元204基于相机101A的图像的频率分布(直方图)中的样本数量(即用于每一方向的光流的总数)以及相机101B的图像的频率分布(直方图)的样本数量(即，用于每一方向的光流的总数)，判定第二异常检测单元203针对相机101A和101B的图像的检测结果是否应当用于最终判定。
认为当频率分布中的样本数量小于预定数量时，使用该频率分布的比较结果的可靠性低。因此，例如，当相机101A的图像的频率分布中的样本的数量和相机101B的图像的频率分布中的样本的数量都小于预定数量时，综合判定单元204不将基于这些频率分布获得的第二异常检测单元203的检测结果用于最终判定。注意，当频率分布中的样本数量两者都小于预定数量时，可以跳过第二异常检测单元203执行的比较过程。
另一方面，例如，当相机101A的图像的频率分布中的样本的数量和相机101B的图像的频率分布中的样本的数量两者都等于或大于预定数量时，综合判定单元204将基于这些频率分布获得的第二异常检测单元203的检测结果用于最终判定。即，在该情况下，综合判定单元204在考虑基于这些频率分布的第二异常检测单元203的检测结果的同时，进行最终判定。
注意，当待比较的图像之一的频率分布中的样本数量小于预定数量并且待比较的另一图像的频率分布中的样本数量等于或大于预定数量时，综合判定单元204处理基于这些频率分布获得的第二异常检测单元203的检测结果如下。在这种情况下，当第二异常检测单元203判定相机101A和101B的图像正常时，综合判定单元204将基于这些频率分布获得的第二异常检测单元203的检测结果用于最终判定。另一方面，当第二异常检测单元203判定相机101A或101B的图像异常时，综合判定单元204不将基于这些频率分布获得的第二异常检测单元203的检测结果用于最终判定。
注意，即使当通过相机101A和101B的图像的频率分布之间的比较而获得的检测结果不用在综合判定单元204中时，通过相机101A的图像的频率分布和位于与相机101A相邻的相机101D的图像的频率分布之间的比较获得的检测结果也可以用在综合判定单元204中。这是因为存在尽管相机101A的比较区域之一中的特征点的光流的总数较小，但另一比较区域中的特征点的光流的总数较大的情形。类似地，通过相机101B的图像的频率分布和位于与相机101B相邻的相机101C的图像的频率分布之间的比较获得的检测结果可以用在综合判定单元204中。
接下来，描述根据本实施例，由车辆系统10执行的异常判定过程的操作。图7是示出由根据第一实施例的车辆系统10执行的异常判定过程的操作的示例的流程图。在下文中，参考图7所示的流程图，描述由车辆系统10执行的异常判定过程的操作。
在步骤100(S100)，由相机101A至101D拍摄的移动图像的图像被输入到图像识别处理器160。注意，当提供扩展相机106时，由扩展相机106拍摄的移动图像的图像也被输入到图像识别处理器160。
接下来，在步骤101(S101)，特征提取单元200提取由每个相机拍摄的图像的图像特征。
接下来，在步骤102(S101)，流计算单元201计算由特征提取单元200提取的特征点的光流。
接下来，执行步骤103和104中的过程(S103和S104)。注意，步骤103和104中的过程(S103和S104)可以如图7所示彼此并行执行，或者可以一个接一个地执行。
在步骤103，第一异常检测单元202通过使用在步骤102获得的光流来执行异常检测过程。另外，在步骤104，第二异常检测单元203通过使用在步骤102获得的光流，执行异常检测过程。即，步骤101和102中的过程的结果由第一和第二异常检测单元202和203两者共享(即，使用)。
接下来，在步骤105(S105)，综合判定单元204根据第一和第二异常检测单元202和203的检测结果，对图像中有无异常进行最终判定。当综合判定单元将该图像判断为异常时(步骤106(S106)为是)，即，当判定发生故障时，执行预定故障安全过程(步骤107(S107))。例如，当综合判定单元204最终判定该图像异常时，向判定MCU 111告知异常发生。在接收到关于发生异常的通知时，判定MCU 111执行故障安全过程，诸如在警告显示装置104中显示警告并且初始化识别MCU 110。当由综合判定单元判定该图像正常时(步骤106(S106)为否)，执行(即，继续)正常操作(步骤108(S108))。
上文已经描述了第一实施例。在车辆系统10中，第一异常检测单元202使用从一个相机获取的图像执行异常检测，并且第二异常检测单元203通过比较从各个相机获取的至少两个图像来执行异常检测。因此，与执行仅一种异常检测的情形相比，提高了异常检测的精度。此外，通过使用通用提取算法，提取用于第一异常检测单元202和第二异常检测单元203的图像特征。因此，可以有效地执行用于提取图像特征的过程。此外，在车辆系统10中，图像中的局部区域而不是图像的整个区域被用作用于光流的起点的图像特征的提取范围。因此，可以减轻用于提取图像特征的过程的负载。因此，车辆系统10可以执行第一异常检测单元202的异常检测和第二异常检测单元203的异常检测两者，同时减轻处理负载。
此外，第一异常检测单元202基于从一个相机获取的图像获得的光流的时间变化来检测图像的异常。因此，可以通过使用从一个相机获取的图像来执行异常检测。
此外，第二异常检测单元203通过使用对从各个相机获取的多个图像的重叠区域中的特征点的光流来检测图像的异常。因此，由于第一和第二异常检测单元202和203这两者都通过使用光流来检测图像的异常，所以用于计算光流的过程的结果可以由第一和第二异常检测单元202和203两者共享(即使用)。即，可以减轻与异常检测有关的过程的负载。
此外，第一异常检测单元202通过使用比用在第二异常检测单元203中的跟踪范围更宽的范围作为其跟踪范围获得的光流来检测图像的异常。通过比较多个图像的重叠区域来执行第二异常检测单元203的检测。因此，可以被用于检测的区域有限。与此相反，在第一异常检测单元202的检测中，可以通过使用除重叠区域以外的更宽的区域执行异常检测。期望跟踪区域更大以便可靠地检测光流。在本实施例中，如上所述，第一异常检测单元202使用比用在第二异常检测单元203中的跟踪范围更宽的范围作为其跟踪范围。因此，与第一异常检测单元202使用用在第二异常检测单元203中的跟踪范围相同的范围作为其跟踪范围的情形相比，可以更可靠地检测第一异常检测单元202的光流。换句话说，与第一和第二异常检测单元202和203的跟踪范围彼此相同的情形相比，可以提高由第一异常检测单元202执行的异常检测的精度。
此外，第二异常检测单元203通过将图像之一中的光流的频率分布与另一图像中的光流的频率分布比较来检测异常。因此，可以通过使用光流来比较图像。
此外，综合判定单元204基于频率分布中的样本数量来判定第二异常检测单元203的异常检测的结果是否应当用于最终判定。因此，能够防止当频率分布中的样本数较少并且因此频率分布的可靠性较低时，第二异常检测单元203的异常检测的结果反映(即，用于)最终判定。
此外，综合判定单元204在对第二异常检测单元203的检测结果赋予比第一异常检测单元202的检测结果更高的优先级的同时进行最终判定。因此，优先使用第二异常检测单元203的检测结果，其中，比较至少两个相机的图像，因此其可靠性高于使用一个相机的判定技术。因此，可以进行更可靠的最终判定。
<第二实施例>
接下来，描述第二实施例。在第一实施例中，比较区域具有矩形形状。也就是说，第二异常检测单元203通过使用用于重叠提取区域中的预先指定的矩形区域(例如，矩形区域R4A或R4B)中的特征点的光流来创建频率分布。与此相反，在第二实施例中，比较区域具有圆形形状。也就是说，在第二实施例中，通过在重叠提取区域中的预先指定的圆形区域(例如，图8中的矩形区域R5A或R5B)中的特征点的光流来创建频率分布。在下文中，描述第二实施例。然而，省略了与第一实施例类似的构成和操作的描述。
如上所述，当待比较的多个相机的拍摄方向彼此不同时，有必要创建归一化其移动方向的光流的直方图。即，有必要执行用于按预定角度，旋转每一相机的过程，然后创建直方图。因此，在本实施例中，按中心坐标(x，y)、半径r和旋转角度θ指定由相机拍摄的图像的比较区域。注意，旋转角度θ是用于归一化移动方向的角度，并且是基于其拍摄方向，针对每个相机预先判定的角度。
图8是示出根据第二实施例的比较区域的示意图。如图8所示，根据第二实施例的第二异常检测单元203使用对由流计算单元201针对由相机101A拍摄的图像计算的特征点的光流之中、通过使由中心坐标(xA，yA)和半径rA判定的范围旋转角度θA获得的圆形区域R5A中的特征点的光流作为待比较的光流，并且通过这样做，创建使光流的移动方向旋转θA的频率分布。类似地，根据第二实施例的第二异常检测单元203使用对由流计算单元201针对由相机101B拍摄的图像计算的特征点的光流之中、通过使由中心坐标(xB，yB)和半径rB判定的范围旋转角度θB获得的圆形区域R5B中的特征点的光流用作待比较的光流，并且通过这样做，创建使光流的移动方向旋转θB的频率分布。然后，第二异常检测单元203通过比较这些频率分布来检测图像的异常。注意，在该实施例中，由于比较区域具有圆形形状，所以即使当使比较区域旋转角度θA或θB时，比较区域的范围也不会改变。
在第一实施例中，比较区域具有矩形形状。在这种情况下，假定例如由相机拍摄的图像的比较区域由其左上角的坐标(x，y)、矩形的宽度w、矩形的高度h和旋转角度θ指定。替选地，假定比较区域由其左上角的坐标(x0，y0)、右下角的坐标(x1，y1)和旋转角度θ指定。在这种情况下，通过使由坐标指定的矩形区域旋转该旋转角度θ获得的区域变成不同于由坐标指定的矩形范围的范围。因此，基于坐标限定的范围不与实际比较的范围重合。结果，存在相机101A的比较区域不对应于相机101B的比较区域的可能性。与此相反，在本实施例中，比较区域具有圆形形状，并且即使当旋转它时，其范围也不会改变。因此，可以使相机101A的比较区域对应于相机101B的比较区域，从而更精确地检测异常。
<第三实施例>
接下来，描述第三实施例。在第一和第二实施例中，仅基于从图像获得的信息来判定异常。与此相反，在本实施例中，针对判定从相机获取的图像的异常，考虑关于车辆的移动的信息。在下文中，描述第三实施例。然而，省略与第一和第二实施例类似的构成和操作的描述。
图9是示出根据第三实施例的车辆系统11的硬件构成的示例的框图。车辆系统11不同于图3所示的车辆系统10之处在于，车辆系统11进一步包括GNSS装置107和定位MCU115。
GNSS装置107是基于GNSS(全球导航卫星系统)信号，获得车辆100的定位信息的终端。在ECU 105中提供定位MCU 115。定位MCU 115通过总线126连接到GNSS设备107，并且基于由GNSS设备107获取的定位信息来计算指示车辆100的移动方向的方向信息和指示车辆100的移动速度的速度信息。此外，定位MCU 115连接到车辆内网络125并且将计算结果输出到识别MCU 110。
图10是示出与在车辆系统11中执行的异常检测过程有关的功能构成的示例的框图。如图10所示，车辆系统11包括特征提取单元200、流计算单元201、信息获取单元205、第一异常检测单元202、第二异常检测单元203、第三异常检测单元206、和综合判定单元204，作为异常检测装置的构成。即，车辆系统11的构成不同于图4所示的构成之处在于，在车辆系统11中增加了信息获取单元205和第三异常检测单元206。类似于第一和第二异常检测单元202和203以及综合判定单元204，信息获取单元205和第三异常检测单元206也由CPU 170实现。
信息获取单元205获取指示车辆100的移动方向的方向信息和指示车辆100的移动速度的速度信息。具体地，信息获取单元205获取由定位MCU 115计算的方向信息和速度信息。然而，信息源不限于上述示例。即，信息获取单元205可以从任何其他设备获取车辆的方向信息和速度信息。例如，信息获取单元205可以基于由方向盘103测量的转向角来获取由控制MCU 112计算的车辆100的方向信息，并且可以获取从车辆速度传感器(未示出)输出的速度信息。
当获得车辆的移动速度和移动方向以及相机的拍摄方向时，可以计算包括在由该相机拍摄的图像中的特征点的移动向量。因此，第三异常检测单元206基于由信息获取单元205获取的信息和相机的预定拍摄方向，估计该相机的图像的光流。然后，第三异常检测单元206通过将估计的光流与由流计算单元201计算的相机的图像的实际光流比较，检测该相机的图像的异常。第三异常检测单元206执行用于检测每个相机的图像的异常的过程。
第三异常检测单元206通过将指示用于从特征提取范围提取的特征点的光流的每个方向的样本数量(频率)的频率分布(直方图)和指示用于从信息获取单元205获取的信息估计的光流的每个方向的样本数量(频率)的频率分布(直方图)进行比较，检测图像的异常。具体地，第三异常检测单元206计算两个频率分布的元素之间的归一化的互相关并且判定两个频率分布彼此是否相似。当两个频率分布彼此相似时，第三异常检测单元206判定待比较的图像是正常的。当两个频率分布彼此不相似时，第三异常检测单元206判定待比较的图像异常。例如，即使在车辆100正在移动的情况下，包括在由给定相机拍摄的图像中的特征点也没有随时间移动时，第三异常检测单元206可以检测到在由该相机拍摄的图像中发生了异常。
注意，在第二异常检测单元203的异常检测中，不可能指定所检测的异常发生在待比较的哪一图像中。与此相反，在第三异常检测单元206的异常检测中，如与第一异常检测单元202的情形相同，可以指定异常发生在相机的哪一图像中。
根据本实施例的综合判定单元204基于第一、第二和第三异常检测单元202、203和206的检测结果，对图像中是否存在异常进行最终判定。因此，由第一、第二和第三异常检测单元202、203和206进行的关于异常存在/不存在的判定被视为是在最终判定之前进行的临时(即，暂时)判定。
综合判定单元204可以根据预定的最终判定规则，基于第一、第二和第三异常检测单元202,203和206的检测结果进行判定。任何任意规则可以被用作最终判定规则。
如上所述，关于第二异常检测单元203的判定结果，当频率分布中的样本数量小于预定数量时，不能从第二异常检测单元203获得可靠的检测结果。此外，在第一异常检测单元202的判定中，除非图像中的特征点正在移动，否则不能获得正确的判定。因此，例如，当不能从第二异常检测单元203获得可靠判定结果并且不能从第一异常检测单元202获得判定结果时，综合判定单元204可以使用由第三异常检测单元206进行的判定作为最终判定。
接下来，描述由根据本实施例的车辆系统11执行的异常判定过程的操作。图11是示出由根据第三实施例的车辆系统11执行的异常判定过程的操作的示例的流程图。通过在图7所示的流程图中添加步骤150(S150)和步骤151(S151)，获得图11所示的流程图。此外，在图11所示的流程图中，图7的流程图中所示的步骤105(S105)由步骤152(S152)代替。图11中所示的其他步骤与图7中的步骤类似。在下文中，描述与图7所示的流程图的区别，其中，省略了重复说明。
在由车辆系统11执行的异常判定过程的操作中，在步骤150(S150)，信息获取单元205获取指示车辆100的移动速度的速度信息和指示车辆100的移动方向的方向信息。注意，在图11所示的示例中，在步骤102之后执行步骤150，然而，也可以在步骤151由第三异常检测单元206执行的过程之前的任意时刻执行步骤150。
在步骤150之后，第三异常检测单元206通过由在步骤150获得的信息来估计光流，并且在步骤151将估计的光流与在步骤102计算的光流进行比较来检测异常(S151)。注意，第三异常检测单元206对每个相机执行异常检测过程。
注意，步骤103、104和150中的过程可以如图11所示彼此并行执行，或者可以一个接一个地执行。
接着，在步骤152(S152)，综合判定单元204基于第一、第二和第三异常检测单元202、203和206的检测结果，对图像中异常的存在/不存在进行最终判定。
上文已经描述了第三实施例。除了第一和第二异常检测单元202和203之外，根据该实施例的车辆系统11还包括第三异常检测单元206。因此，可以更可靠地检测图像的异常。
上面已经基于实施例，以具体的方式说明了由本申请的发明人做出的本公开。然而，本公开不限于上述实施例，并且不用说，可以在不脱离本公开的精神和范围的情况下做出各种改进。例如，图1、4和10所示的每个组件可以部分或全部由硬件电路实现，或者可以由软件实现。当组件由软件实现时，可以通过例如使诸如CPU的处理器执行加载在存储器中的程序来实现。
此外，可以使用任何类型的非瞬时计算机可读介质来存储程序并且提供给计算机。非瞬时计算机可读介质包括任何类型的有形存储介质。非瞬时计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、磁光存储介质(例如磁光盘)、CD-ROM(光盘只读存储器)、CD-R(可记录光盘)、CD-R/W(可重写光盘)、以及半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。该程序可以使用任何类型的瞬时计算机可读介质来提供给计算机。瞬时计算机可读介质的示例包括电信号、光信号和电磁波。瞬时计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路，将程序提供给计算机。
本领域的普通技术人员可以根据需要组合第一至第三实施例。
尽管已经根据若干实施例描述了本公开，但是本领域技术人员将认识到，可以通过在所附权利要求的精神和范围内的各种改进来实施本公开，并且本公开不限于上述示例。
此外，权利要求的范围不受上述实施例限制。
此外，注意到，申请人的意图是包含所有权利要求要素的等同物——即使稍后在审查期间补正。

Claims (10)

1.一种异常检测装置，包括：
特征提取单元，所述特征提取单元被配置为根据预定提取算法，提取由第一相机拍摄的第一图像中的特征点和特征值以及由第二相机拍摄的第二图像中的特征点和特征值，所述第二相机的拍摄范围部分地重叠于所述第一相机的拍摄范围；
流计算单元，所述流计算单元被配置为基于由所述特征提取单元提取的特征点的特征值，计算该特征点的光流；
第一异常检测单元，所述第一异常检测单元被配置为基于由所述流计算单元计算的所述第一图像的光流来检测所述第一图像中的异常，以及基于由所述流计算单元计算的所述第二图像的光流来检测所述第二图像中的异常；以及
第二异常检测单元，所述第二异常检测单元被配置为基于在第一重叠区域中的特征点的第一索引值与在第二重叠区域中的特征点的第二索引值之间的比较结果来检测所述第一图像或所述第二图像中的异常，所述第一重叠区域是所述第一图像中的与所述第二图像重叠的区域，所述第二重叠区域是所述第二图像中的与所述第一图像重叠的区域，
其中，
由所述特征提取单元提取的特征点和特征值的提取范围由作为所述第一图像中的预定局部区域的第一局部区域、作为所述第二图像中的预定局部区域的第二局部区域、以及在所述第一图像和所述第二图像中的被预测为特征点的目的地的位置附近的区域构成，
所述第一异常检测单元基于所述第一局部区域中的特征点的光流来检测所述第一图像中的异常，以及基于所述第二局部区域中的特征点的光流来检测所述第二图像中的异常，
所述第二异常检测单元通过使用在所述第一重叠区域中限定的第一重叠提取区域中的特征点和在所述第二重叠区域中限定的第二重叠提取区域中的特征点来检测异常；
所述第一重叠提取区域是所述第一局部区域中的与所述第二局部区域对应的区域，并且所述第二重叠提取区域是所述第二局部区域中的与所述第一局部区域对应的区域，以及
当由所述第一异常检测单元检测到异常时以及当由所述第二异常检测单元检测到异常时，共同地使用所述预定提取算法。
2.根据权利要求1所述的异常检测装置，其中，
所述第一索引值是所述第一重叠提取区域中的特征点的光流，以及
所述第二索引值是所述第二重叠提取区域中的特征点的光流。
3.根据权利要求2所述的异常检测装置，其中，
所述第二异常检测单元将在所述第一重叠提取区域中指定的预定圆形区域中的特征点的光流与在所述第二重叠区域以及所述第二局部区域中指定的预定圆形区域中的特征点的光流进行比较。
4.根据权利要求2所述的异常检测装置，其中，
所述第二异常检测单元使用：
通过将所述第一重叠区域中的预定区域用作光流的跟踪范围而获得的该光流，以及
通过将所述第二重叠区域中的预定区域用作光流的跟踪范围而获得的该光流，以及
所述第一异常检测单元通过使用由以下方式所获得的光流来检测所述第一图像和所述第二图像中的异常，所述方式是通过将比被用在所述第二异常检测单元中的跟踪范围宽的范围用作其跟踪范围。
5.根据权利要求2所述的异常检测装置，其中，
所述第二异常检测单元通过将第一频率分布和第二频率分布进行比较来检测异常，
所述第一频率分布是对于所述第一重叠提取区域中的特征点的光流的每一方向的样本数量的频率分布，并且
所述第二频率分布是对于所述第二重叠提取区域中的特征点的光流的每一方向的样本数量的频率分布。
6.根据权利要求5所述的异常检测装置，进一步包括：
综合判定单元，所述综合判定单元被配置为基于所述第一异常检测单元和所述第二异常检测单元的检测结果，对所述第一图像或所述第二图像中的异常的存在/不存在进行最终判定，
其中，
所述综合判定单元基于所述第一频率分布的样本数量和所述第二频率分布的样本数量，来判定所述第二异常检测单元的检测结果是否应当被用于所述最终判定。
7.根据权利要求1所述的异常检测装置，进一步包括：
综合判定单元，所述综合判定单元被配置为基于所述第一异常检测单元和所述第二异常检测单元的检测结果，对所述第一图像或所述第二图像中的异常的存在/不存在进行最终判定，
其中，
所述综合判定单元在对所述第二异常检测单元的检测结果赋予比所述第一异常检测单元的检测结果更高的优先级的同时，进行所述最终判定。
8.根据权利要求1所述的异常检测装置，其中，
所述第一异常检测单元基于所述第一图像的光流的移动方向和移动量的时间变化是否在预定范围内来检测所述第一图像中的异常，以及基于所述第二图像的光流的移动方向和移动量的时间变化是否在预定范围内来检测所述第二图像中的异常。
9.一种车辆系统，包括：
被设置在车辆中的第一相机，所述第一相机被配置成拍摄所述车辆的周围；
被设置在所述车辆中的第二相机，使得所述第二相机的拍摄范围部分地重叠于所述第一相机的拍摄范围，所述第二相机被配置成拍摄所述车辆的周围；
特征提取单元，所述特征提取单元被配置为根据预定提取算法，提取由所述第一相机拍摄的第一图像中的特征点和特征值以及由所述第二相机拍摄的第二图像中的特征点和特征值；
流计算单元，所述流计算单元被配置为基于由所述特征提取单元提取的特征点的特征值，计算该特征点的光流；
第一异常检测单元，所述第一异常检测单元被配置为基于由所述流计算单元计算的所述第一图像的光流来检测所述第一图像中的异常，以及基于由所述流计算单元计算的所述第二图像的光流来检测所述第二图像中的异常；以及
第二异常检测单元，所述第二异常检测单元被配置为基于在第一重叠区域中的特征点的第一索引值与在第二重叠区域中的特征点的第二索引值之间的比较结果来检测所述第一图像或所述第二图像中的异常，所述第一重叠区域是所述第一图像中的与所述第二图像重叠的区域，所述第二重叠区域是所述第二图像中的与所述第一图像重叠的区域，
其中，
由所述特征提取单元提取的特征点和特征值的提取范围由作为所述第一图像中的预定局部区域的第一局部区域、作为所述第二图像中的预定局部区域的第二局部区域、以及在所述第一图像和所述第二图像中的被预测为特征点的目的地的位置附近的区域构成，
所述第一异常检测单元基于所述第一局部区域中的特征点的光流来检测所述第一图像中的异常，以及基于所述第二局部区域中的特征点的光流来检测所述第二图像中的异常，
所述第二异常检测单元通过使用在所述第一重叠区域中限定的第一重叠提取区域中的特征点和在所述第二重叠区域中限定的第二重叠提取区域中的特征点来检测异常；
所述第一重叠提取区域是所述第一局部区域中的与所述第二局部区域对应的区域，并且所述第二重叠提取区域是所述第二局部区域中的与所述第一局部区域对应的区域，以及
当由所述第一异常检测单元检测到异常时以及当由所述第二异常检测单元检测到异常时，共同地使用所述预定提取算法。
10.根据权利要求9所述的车辆系统，进一步包括：
信息获取单元，所述信息获取单元被配置为获取指示所述车辆的移动方向的方向信息和指示所述车辆的移动速度的速度信息；以及
第三检测单元，所述第三检测单元被配置为：
通过将从由所述信息获取单元获取的信息和所述第一相机的拍摄方向而估计的所述第一图像的光流与由所述流计算单元计算的所述第一图像的光流进行比较，来检测所述第一图像中的异常，以及通过将从由所述信息获取单元获取的信息和所述第二相机的拍摄方向而估计的所述第二图像的光流与由所述流计算单元计算的所述第二图像的光流进行比较，来检测所述第二图像中的异常。
CN201810614960.5A 2017-06-15 2018-06-14 异常检测装置和车辆系统 Active CN109151452B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-117746 2017-06-15
JP2017117746A JP6751691B2 (ja) 2017-06-15 2017-06-15 異常検出装置及び車両システム

Publications (2)

Publication Number Publication Date
CN109151452A true CN109151452A (zh) 2019-01-04
CN109151452B CN109151452B (zh) 2021-10-29

Family

ID=62684601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810614960.5A Active CN109151452B (zh) 2017-06-15 2018-06-14 异常检测装置和车辆系统

Country Status (5)

Country Link
US (2) US10679102B2 (zh)
EP (1) EP3416100A3 (zh)
JP (1) JP6751691B2 (zh)
KR (1) KR20180136895A (zh)
CN (1) CN109151452B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781418A (zh) * 2021-08-30 2021-12-10 大连地铁集团有限公司 一种基于对比的地铁图像异常检测方法、系统及存储介质
CN114067554A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 路侧终端异常检测方法、装置、计算机设备和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
JP2019191806A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
DE102018209898A1 (de) * 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
DE102018115334B3 (de) * 2018-06-26 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7036057B2 (ja) 2019-02-14 2022-03-15 日本電信電話株式会社 信号転送装置、信号転送方法、信号転送制御装置、信号転送制御方法および信号転送プログラム
JP7400222B2 (ja) * 2019-06-14 2023-12-19 マツダ株式会社 外部環境認識装置
JP7298323B2 (ja) * 2019-06-14 2023-06-27 マツダ株式会社 外部環境認識装置
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060114318A1 (en) * 2004-11-30 2006-06-01 Honda Motor Co., Ltd. Abnormality detecting apparatus for imaging apparatus
CN103003844A (zh) * 2010-07-12 2013-03-27 株式会社日立国际电气 监视系统及监视方法
CN105245869A (zh) * 2014-07-02 2016-01-13 株式会社电装 故障检测设备及故障检测程序
CN107079120A (zh) * 2014-10-23 2017-08-18 德克萨斯仪器股份有限公司 在数字成像系统中的故障检测和检测故障的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JP3516127B2 (ja) 1997-12-09 2004-04-05 オムロン株式会社 画像処理方法およびその装置
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
US20030103663A1 (en) * 2001-11-23 2003-06-05 University Of Chicago Computerized scheme for distinguishing between benign and malignant nodules in thoracic computed tomography scans by use of similar images
JP4346275B2 (ja) * 2002-02-28 2009-10-21 株式会社東芝 映像診断装置および車載型映像監視装置
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
JP5072693B2 (ja) * 2007-04-11 2012-11-14 キヤノン株式会社 パターン識別装置及びその制御方法、異常パターン検出装置及びその制御方法、プログラム、記憶媒体
US20120197461A1 (en) * 2010-04-03 2012-08-02 Geoffrey Louis Barrows Vision Based Hover in Place
JP5776545B2 (ja) * 2011-12-28 2015-09-09 富士通株式会社 路面調査プログラム及び路面調査装置
JP6119097B2 (ja) * 2011-12-28 2017-04-26 富士通株式会社 路面調査プログラム及び路面調査装置
CN105100688B (zh) * 2014-05-12 2019-08-20 索尼公司 图像处理方法、图像处理装置和监视系统
CN106557765A (zh) * 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法
US10346982B2 (en) * 2016-08-22 2019-07-09 Koios Medical, Inc. Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060114318A1 (en) * 2004-11-30 2006-06-01 Honda Motor Co., Ltd. Abnormality detecting apparatus for imaging apparatus
CN103003844A (zh) * 2010-07-12 2013-03-27 株式会社日立国际电气 监视系统及监视方法
CN105245869A (zh) * 2014-07-02 2016-01-13 株式会社电装 故障检测设备及故障检测程序
CN107079120A (zh) * 2014-10-23 2017-08-18 德克萨斯仪器股份有限公司 在数字成像系统中的故障检测和检测故障的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067554A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 路侧终端异常检测方法、装置、计算机设备和存储介质
CN113781418A (zh) * 2021-08-30 2021-12-10 大连地铁集团有限公司 一种基于对比的地铁图像异常检测方法、系统及存储介质

Also Published As

Publication number Publication date
US20200285905A1 (en) 2020-09-10
US20180365524A1 (en) 2018-12-20
US10679102B2 (en) 2020-06-09
CN109151452B (zh) 2021-10-29
US11562175B2 (en) 2023-01-24
EP3416100A3 (en) 2019-06-19
JP2019004329A (ja) 2019-01-10
KR20180136895A (ko) 2018-12-26
EP3416100A2 (en) 2018-12-19
JP6751691B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
CN109151452A (zh) 异常检测装置和车辆系统
US10417503B2 (en) Image processing apparatus and image processing method
US8588466B2 (en) Object area detection system, device, method, and program for detecting an object
US9842269B2 (en) Video processing apparatus, video processing method, and recording medium
CN103699905B (zh) 一种车牌定位方法及装置
CN107230218A (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
JP5722381B2 (ja) ビデオ解析
CN110264495B (zh) 一种目标跟踪方法及装置
JP5457606B2 (ja) 画像処理方法及び装置
JP2019124683A (ja) オブジェクト速度推定方法と装置及び画像処理機器
JP2001175876A (ja) 移動物体検出方法及び移動物体検出装置
US20240005674A1 (en) Road edge recognition based on laser point cloud
WO2017094140A1 (ja) 物体検出装置及び物体検出方法
CN109102026A (zh) 一种车辆图像检测方法、装置及系统
CN111640134B (zh) 人脸跟踪方法、装置、计算机设备及其存储装置
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
US20230196773A1 (en) Object detection device, object detection method, and computer-readable storage medium
CN116740149A (zh) 摄像头跟踪方法、装置及存储介质
CN115088023A (zh) 用于至少一个车辆图像的空间表征的方法
JP2002092618A (ja) 目標判定処理装置及び目標判定処理方法
CN116665119A (zh) 考场监控方法、电子设备及存储介质
JP2021140383A (ja) 推定プログラム、推定方法、および情報処理装置
CN117237882A (zh) 移动车辆的识别方法及相关设备
CN116844100A (zh) 一种事件检测方法及电子设备
CN108960228A (zh) 车辆的检测装置、方法以及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant