CN114391114A - 物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法 - Google Patents

物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法 Download PDF

Info

Publication number
CN114391114A
CN114391114A CN202080063318.8A CN202080063318A CN114391114A CN 114391114 A CN114391114 A CN 114391114A CN 202080063318 A CN202080063318 A CN 202080063318A CN 114391114 A CN114391114 A CN 114391114A
Authority
CN
China
Prior art keywords
image
camera
abnormality
vehicle
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063318.8A
Other languages
English (en)
Inventor
塚田明宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114391114A publication Critical patent/CN114391114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

作为物体识别用异常检测装置的图像处理ECU检测使用了测距传感器(10)和外界相机(20)的车辆的周边物体识别中的异常，该测距传感器搭载于车辆，除了生成包含距离信息的反射光图像之外，还生成背景光图像，该外界相机搭载于车辆，生成相机图像。图像处理ECU具备：速度状态掌握部，获取车辆的速度状态；图像信息获取部，获取背景光图像和相机图像；以及投影误差检测部，在车辆为低速区域以下的速度的速度状态下生成背景光图像和相机图像的情况下，检测背景光图像与相机图像之间的投影误差。

Description

物体识别用异常检测装置、物体识别用异常检测程序以及物 体识别用异常检测方法
相关申请的交叉引用
本申请以在2019年9月10日在日本申请的专利申请第2019-164861号为基础，整体上通过参照来引用基础申请的内容。
技术领域
基于本说明书的公开涉及车辆的周边物体识别中的异常的检测。
背景技术
专利文献1所公开的装置使用测距传感器和外界相机的测定结果来识别车辆的周边物体。该装置基于映现于图像的物体的图像丢失的状态，来判定物体的检测结果的可靠度和检测状态是否稳定。
专利文献1：日本特开2018-97765号公报
测距传感器和外界相机搭载于移动到各种环境的车辆。因此，有时产生以测距传感器和外界相机自身为原因的周边物体识别中的异常。然而，在专利文献1的装置中，无法检测这样的异常。
发明内容
本说明书的公开的目的之一在于提供物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法，其能够高精度地检测使用了测距传感器和外界相机的车辆的周边物体识别中的异常。
这里所公开的一个方式提供一种物体识别用异常检测装置，检测使用了测距传感器和外界相机的车辆的周边物体识别中的异常，测距传感器搭载于车辆，除了通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像之外，还通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像，外界相机搭载于车辆，通过由相机元件检测来自外界的入射光来生成相机图像，其中，物体识别用异常检测装置具备：
速度状态掌握部，掌握车辆的速度状态；
图像信息获取部，获取背景光图像和相机图像；以及
投影误差检测部，在车辆小于规定速度的范围的速度状态下生成背景光图像和相机图像的情况下，投影误差检测部检测背景光图像与相机图像之间的投影误差。
这里所公开的一个方式提供一种物体识别用异常检测程序，检测车辆的周边物体识别中的异常，其中，
物体识别用异常检测程序使至少一个处理部执行如下的处理：
获取反射光图像和背景光图像的处理，其中，反射光图像和背景光图像是搭载于车辆的测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
获取相机图像的处理，其中，相机图像是搭载于车辆的外界相机生成的图像，通过由相机元件检测来自外界的入射光来生成相机图像；以及
在车辆小于规定速度的范围的速度状态下生成背景光图像和相机图像的情况下，检测背景光图像与相机图像之间的投影误差的处理。
这里所公开的一个方式提供一种物体识别用异常检测方法，检测车辆的周边物体识别中的异常，其中，
在由至少一个处理部实施的处理中包括：
获取反射光图像和背景光图像，其中，反射光图像和背景光图像是搭载于车辆的测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
获取相机图像，其中，相机图像是搭载于车辆的外界相机生成的图像，通过由相机元件检测来自外界的入射光来生成相机图像；以及
在车辆小于规定速度的范围的速度状态下生成背景光图像和相机图像的情况下，检测背景光图像与相机图像之间的投影误差。
根据这些方式，在车辆为小于规定速度的范围的速度的速度状态下，检测背景光图像与相机图像之间的投影误差。在这样的速度状态下，能够抑制以测距传感器生成的背景光图像的测定定时与外界相机生成的相机图像的测定定时的偏差为原因的检测精度降低。例如，降低由于在测定定时的偏差的期间车辆移动而引起的、背景光图像与相机图像之间的物体的映现位置偏差，因此即使该位置偏差包含于投影误差，位置偏差对投影误差的增大影响较小。因此，能够高精度地检测使用了测距传感器和外界相机的车辆的周边物体识别中的异常。
此外，权利要求等中的括弧内的附图标记例示性地表示与后述的实施方式的部分的对应关系，并不意图限定技术范围。
附图说明
图1是表示第一实施方式的周边监视图像信息系统和驾驶辅助ECU的整体像的图。
图2是表示第一实施方式的测距传感器和外界相机向车辆的搭载状态的图。
图3是表示第一实施方式的图像处理ECU的结构的结构图。
图4是表示第一实施方式的背景光图像侧的对应点的图。
图5是表示第一实施方式的测距传感器、外界相机、三维坐标的关系的图。
图6是表示第一实施方式的相机图像侧的对应点、投影位置和投影误差的图。
图7是用于对第一实施方式的投影误差的增大进行说明的图表。
图8是第一实施方式的图像处理ECU的流程图。
具体实施方式
基于附图对一实施方式进行说明。
(第一实施方式)
如图1所示，本发明的第一实施方式的物体识别用异常检测装置用于车辆1的周边物体识别，成为构成为搭载于车辆1的图像处理ECU(Electronic Control Unit：电子控制单元)30。图像处理ECU30与测距传感器10和外界相机20一同构成周边监视图像信息提供系统100。本实施方式的周边监视图像信息提供系统100能够将基于测距传感器10和外界相机20的测定结果的周边监视图像信息提供给驾驶辅助ECU50等。
图像处理ECU30与搭载于车辆1的车载网络的通信总线可通信地连接。图像处理ECU30是设置于车载网络的多个节点中的一个。除了测距传感器10、外界相机20之外，驾驶辅助ECU50等分别作为节点连接于车载网络。
驾驶辅助ECU50是将具备处理器、RAM(Random Access Memory：随机存取存储器)、存储部、输入输出接口以及将它们连接的总线等的计算机作为主体而包含的结构。驾驶辅助ECU50具有在车辆1中辅助驾驶员的驾驶操作的驾驶辅助功能、以及能够代行驾驶员的驾驶操作的驾驶代行功能的至少一方。驾驶辅助ECU50通过由处理器执行存储于存储部的物体识别程序，来基于由周边监视图像信息提供系统100提供的周边监视图像信息，识别车辆1的周边物体。驾驶辅助ECU50通过由处理器执行存储于存储部的程序，来实现与识别结果对应的车辆1的自动驾驶或者高度驾驶辅助。
驾驶辅助ECU50通过执行物体识别程序，来实施例如使用了语义分割(SemanticSegmentation)的周边物体识别。在驾驶辅助ECU50的存储部中，作为物体识别程序的一个构成要素，构建以神经网络为主体的物体识别模型51(还参照图3)。该神经网络例如能够采用将编码器和解码器结合的被称为SegNet的构造。此外，周边物体识别也可以是使用边界框(Bounding Box)的物体识别。
接下来，依次说明周边监视图像信息提供系统100所包含的测距传感器10、外界相机20和图像处理ECU30的各详细内容。
测距传感器10例如为配置于车辆1的前方或者车辆1的车顶的SPAD LiDAR(SinglePhoton Avalanche Diode Light Detection And Ranging：单光子雪崩二极管光探测和测距)。测距传感器10能够测定车辆1的周边中的至少前方的测定范围MA1。
测距传感器10是包含发光部11、受光部12、控制单元13等的结构。发光部11通过使用可动光学部件(例如多面镜)进行扫描，来朝向图2所示的测定范围MA1照射从光源发出的光束。光源例如为半导体激光(Laser diode：激光二极管)，根据来自控制单元13的电信号，发出乘员(驾驶员等)和外界的人无法视觉确认的近红外区域的光束。
受光部12例如通过聚光透镜对所照射的光束被测定范围MA1内的物体反射的反射光或者相对于反射光的背景光进行聚光，并使其向受光元件12a入射。
受光元件12a是通过光电变换将光变换为电信号的元件，是通过放大检测电压而实现高灵敏度的SPAD受光元件。在受光元件12a中，例如为了检测近红外区域的反射光，采用相对于可视区域将近红外区域的灵敏度设定得高的CMOS传感器。该灵敏度也可以通过在受光部12设置光学滤波器来调整。受光元件12a以在一维方向或者二维方向上排列的方式呈阵列状地具有多个受光像素。
控制单元13是控制发光部11和受光部12的单元。控制单元13例如配置在与受光元件12a共用的基板上，例如以微型计算机或FPGA(Field-Programmable Gate Array：现场可编程门阵列)等广义的处理器为主体而构成。控制单元13实现扫描控制功能、反射光测定功能以及背景光测定功能。
扫描控制功能是控制光束扫描的功能。控制单元13在基于设置于测距传感器10的时钟振荡器的动作时钟的定时，从光源使光束以脉冲状振荡多次，并且使可动光学部件动作。
反射光测定功能是与光束扫描的定时相匹地，例如使用滚动快门方式来读出基于各受光像素接受到的反射光的电压值，测定反射光的强度的功能。在反射光的测定中，通过检测光束的发光定时与反射光的受光定时的时间差，能够测定从测距传感器10到反射了反射光的物体为止的距离。通过反射光的测定，控制单元13能够生成反射光图像ImR，该反射光图像ImR是将反射光的强度和反射了该反射光的物体的距离信息与测定范围MA1所对应的图像平面上的二维坐标相关联的图像状的数据。
背景光测定功能是在紧接测定反射光之前的定时，读出基于各受光像素接受到的背景光的电压值，并测定背景光的强度的功能。这里，背景光是指实质上不包含反射光的、从外界中的测定范围MA1向受光元件12a入射的入射光。入射光包含自然光、从外界的显示等发出的显示光。通过背景光的测定，控制单元13能够生成背景光图像ImL，该背景光图像ImL是将背景光的强度与测定范围MA1所对应的图像平面上的二维坐标相关联的图像状的数据。
反射光图像ImR和背景光图像ImL由共用的受光元件12a感知，并从包含该受光元件12a的共用的光学系统获取。因此，反射光图像ImR的坐标系和背景光图像ImL的坐标系能够视为相互一致的相同坐标系。而且，可以说在反射光图像ImR与背景光图像ImL之间几乎没有测定定时的偏差(例如小于1ns)。因此，反射光图像ImR与背景光图像ImL能够视为也获取同步。
例如在本实施方式中，与各像素对应地，储存了反射光的强度、物体的距离以及背景光的强度的三通道的数据的图像数据作为传感器图像被依次输出到图像处理ECU30。
外界相机20例如是配置在车辆1的前挡风玻璃的车厢内侧的相机。外界相机20能够测定车辆1的外界中的至少前方的测定范围MA2，更详细地说与测距传感器10的测定范围MA1至少一部分重复的测定范围MA2。
外界相机20是包含受光部22和控制单元23的结构。受光部22例如通过受光透镜对从相机外部的测定范围MA2入射的入射光(背景光)进行聚光，并使其向相机元件22a入射。
相机元件22a是通过光电变换将光变换为电信号的元件，例如能够采用CCD传感器或者CMOS传感器。在相机元件22a中，为了高效地接受可视区域的自然光等，相对于近红外区域将可视区域的灵敏度设定得高。相机元件22a以在二维方向上排列的方式呈阵列状地具有多个受光像素(相当于所谓的子像素)。在相互邻接的受光像素例如配置有红色、绿色、蓝色的彩色滤波器。各受光像素接受与所配置的彩色滤波器对应的颜色的可见光。通过分别测定红色的强度、绿色的强度、蓝色的强度，从而由外界相机20拍摄的相机图像ImC是比反射光图像ImR和背景光图像ImL高分辨率的图像，能够成为可视区域的彩色图像。
控制单元23是控制受光部22的单元。控制单元23例如配置在与相机元件22a共用的基板上，以微型计算机或者FPGA等广义的处理器为主体而构成。控制单元23实现拍摄功能。
拍摄功能是拍摄上述的彩色图像的功能。控制单元23在基于设置于外界相机20的时钟振荡器的动作时钟的定时，例如使用全局快门方式读出基于各受光像素接受到的入射光的电压值，感知并测定入射光的强度。控制单元23能够生成相机图像ImC，该相机图像ImC是将入射光的强度与测定范围MA2所对应的图像平面上的二维坐标相关联的图像状的数据。这样的相机图像ImC依次输出到图像处理ECU30。
图像处理ECU30是对基于测距传感器10和外界相机20的测定结果的周边监视图像信息进行复合处理的电子控制装置。如图1所示，图像处理ECU30是将具备处理部31、RAM32、存储部33、输入输出接口34以及将它们连接的总线等的计算机作为主体而包含的结构。处理部31是与RAM32结合的用于运算处理的硬件。处理部31是包含至少一个CPU(CentralProcessing Unit：中央处理单元)、GPU(Graphical Processing Unit：图形处理单元)、RISC(Reduced Instruction Set Computer：精简指令集计算机)等运算核的结构。处理部31也可以是还包含FPGA和具备其他专用功能的IP核等的结构。处理部31通过对RAM32的访问，执行用于实现后述的各功能部的功能的各种处理。存储部33是包含非易失性存储介质的结构。在存储部33储存有由处理部31执行的各种程序(物体识别用异常检测程序等)。
图像处理ECU30通过由处理部31执行存储于存储部33的程序，而具有多个功能部。具体地说，如图3所示，构建图像信息获取部41、影像配准部42、速度状态掌握部43、投影误差检测部44、异常判断部45、异常通知信息输出部46等功能部。
另外，在图像处理ECU30中，将测定位置数据47和投影误差检测数据48存储于存储部33。测定位置数据47包含同测距传感器10的测定位置与外界相机20的测定位置之间的位置关系相关的数据。与位置关系相关的数据也可以是车辆1中的测距传感器10的受光元件12a的位置和朝向以及外界相机20的相机元件22a的位置和朝向的数据。或者，对这些数据进行变换而得的、表示后述的变换矩阵的成分的值的数据也可以是与位置关系相关的数据。
投影误差检测数据48是记录了投影误差检测部44的检测结果的数据，并且是用于由异常判断部45执行判断的数据。例如投影误差检测数据48是将检测日期时间、检测源的图像以及检测出的投影误差PE的值的组记录了多组的数据。
图像信息获取部41从测距传感器10获取反射光图像ImR和背景光图像ImL，并且从外界相机20获取相机图像ImC。图像信息获取部41将最新的反射光图像ImR、背景光图像ImL和相机图像ImC的组提供给影像配准部42和投影误差检测部44。
影像配准部42实施反射光图像ImR、背景光图像ImL的坐标系与相机图像ImC的坐标系之间的对应关系的确定、即影像配准(Image Registration)。影像配准部42将影像配准完毕的反射光图像ImR、背景光图像ImL和相机图像ImC依次提供给驾驶辅助ECU50。
速度状态掌握部43掌握车辆1的速度状态。速度状态掌握部43例如能够通过从车辆1的速度传感器获取车辆1的速度状态来掌握。或者，速度状态掌握部43也可以不得到来自车速传感器的车速的信息，而是通过对最近的2张背景光图像ImL(也可以是相机图像ImC)进行比较，根据映现于图像的背景等的移动量，推测车辆1的速度状态，由此来掌握。
如图4～6所示，投影误差检测部44对背景光图像ImL与相机图像ImC进行比较，检测背景光图像ImL与相机图像ImC之间的投影误差PE。投影误差检测部44具备速度状态判定功能、对应点获取功能、对应点投影功能以及投影误差测量功能。
速度状态判定功能是判定车辆1的速度状态是否是适合投影误差PE的检测的条件、换言之判定是否执行投影误差PE的检测处理的功能。关于车辆1的停止状态，因为是由测距传感器10测定的静止物体SO的位置精度和由外界相机20测定的该静止物体SO的位置精度实质上最高的状态，因此可以说是适合投影误差PE的检测的条件。另一方面，在车辆1的行驶状态下，其速度越大，则测距传感器10的测定定时与外界相机20的测定定时的偏差越会产生背景光图像ImL的静止物体SO的映现位置与相机图像ImC的静止物体SO的映现位置的位置偏差。因此，若车辆1的速度增大，则不满足适合投影误差PE的检测的条件。
具体地说，投影误差检测部44基于由速度状态掌握部43掌握的速度状态，判定是否是在车辆1的停止状态下生成投影误差PE的检测对象即背景光图像ImL和相机图像ImC。在停止状态下生成的情况下，进行用于以背景光图像ImL和相机图像ImC为对象的投影误差PE检测的处理。在不是这样的情况下，中止用于以背景光图像ImL和相机图像ImC为对象的投影误差PE检测的处理。
对应点获取功能是从成为组的背景光图像ImL和相机图像ImC获取对应点CPa、CPb的功能。对应点CPa、CPb是映现于背景光图像ImL和相机图像ImC双方的共用的静止物体SO的特征点(同一点SaP)(也参照图4、6)。
具体地说，投影误差检测部44在判断为在停止状态下生成背景光图像ImL和相机图像ImC的情况下，提取共同地映现于背景光图像ImL和相机图像ImC的静止物体SO。所提取的静止物体SO例如优选为招牌、标识、信号灯等容易提取外形的静止物体。
投影误差检测部44获取提取出的静止物体SO的特征点(例如角)作为对应点CPa、CPb。在背景光图像ImL与相机图像ImC之间获取一对或者多对该对应点CPa、CPb。特别是在本实施方式中，在一个静止物体SO存在多个特征点的情况下、在提取多个静止物体SO的情况下等能够获取多对特征点的情况下，投影误差检测部44优选获取多对对应点CPa、CPb。此外，在图4、6中，为了简化图示，记载一对对应点CPa、CPb。
对应点投影功能是针对所获取的对应点CPa、CPb的各对，将背景光图像侧的对应点CPa投影到相机图像上的功能。如图5所示，投影误差检测部44参照反射光图像ImR的距离信息，确定背景光图像侧的对应点CPa的三维坐标P(x，y，z)。即，在背景光图像ImL中不包含距离信息。因此，相对于对应点CPa是背景光图像ImL的图像平面上的二维坐标信息，通过将反射光图像ImR的距离信息与该二维坐标信息组合，能够将对应点CPa扩展为三维坐标信息。如图4所示，关于三维坐标P(x，y，z)的确定，能够通过将反射光图像ImR和背景光图像ImL视为相同坐标系，视为获取同步来实现。该三维坐标P(x，y，z)由对背景光图像ImL的图像平面的二维坐标(x，y)追加了沿着与该图像平面垂直的进深方向的z轴而得的坐标系来表现。
投影误差检测部44通过使用了变换矩阵的坐标变换，将三维坐标P(x，y，z)投影到相机图像ImC的图像平面上的投影位置PP。这里，变换矩阵是对三维坐标P(x，y，z)施加旋转操作和平移操作，并施加将变换后的坐标逆投影到背景光图像ImL的操作的矩阵。该变换矩阵可以通过一个矩阵的方式来记述，也可以通过多个矩阵的积(例如逆投影矩阵与平移矩阵T与旋转矩阵R的积)的方式来记述。
投影误差测量功能是针对所获取的对应点CPa、CPb的各对，将相机图像侧的对应点CPb的位置与通过坐标变换从背景光图像侧投影的投影位置PP之间的位置偏移量作为投影误差PE进行测量的功能。投影误差PE例如由相机图像侧的对应点CPb的位置与投影位置PP之间的距离来表示。或者，投影误差PE也可以由基于受光部22的光学系统进行了角度换算后的角度误差来表示。检测出的投影误差PE的结果以在投影误差检测数据48中依次追加检测日期时间、检测源的图像以及检测出的投影误差PE的值的组的形式存储于存储部33。
异常判断部45基于由投影误差检测部44检测出的投影误差PE，判断周边物体识别中的异常。这里所说的异常不仅包含周边物体识别功能的故障，还包含周边物体识别的精度降低到难以容许的水平的状态、或者降低的可能性较高的状态。如果投影误差PE为较大的值，则推测变换矩阵存在问题以及由测距传感器10测定的距离信息存在问题中的至少一方。
异常判断部45通过对存储部33的访问，一边参照投影误差检测数据48，一边判断以下的多个(例如3个)判断条件。异常判断部45在以下的多个判断条件中的一个以上的条件成立的情况下，判断为存在周边物体识别中的异常。异常判断部45在多个判断条件全部不成立的情况下，判断为不存在周边物体识别中的异常。
第一条件是在相同的反射光图像ImR和相机图像ImC中获取多对对应点CPa、CPb，针对多对分别检测出投影误差PE的情况下判断的条件。具体地说，作为第一条件，异常判断部45判定在反射光图像ImR和相机图像ImC的相同组中，是否检测出规定多个的检测数量K以上的规定值A以上的投影误差PE。规定值A是用于除去噪声的噪声除去值。通过规定值A的适当的设定，例如能够除去由车辆1的内燃机引起的影响车辆振动的噪声。检测数量K为用于提高异常判断的可靠性的可靠性确保检测数量，采用2以上的整数。
第二条件是与是否是相同的反射光图像ImR和相机图像ImC无关地判断最近检测出的N次投影误差PE的条件。具体地说，作为第二条件，异常判断部45判定最近检测出的规定的多次N次的投影误差PE的平均值是否为规定值B以上。次数N例如是用于提高异常判断的可靠性的可靠性确保次数，采用2以上的整数。规定值B是基于由驾驶辅助ECU50执行的物体识别的识别性能而设定的，是在该物体识别的精度维持中所容许的容许投影误差的值。规定值B也可以是与规定值A相同的值，也可以是不同的值。
第三条件是基于长期的投影误差PE的推移而判断的条件。作为第三条件，异常判断部45判断投影误差PE是否持续增加。如图7所示，异常判断部45基于投影误差检测数据48的检测日期时间，按照多个期间DP中的每个期间(例如每月)分类投影误差PE。异常判断部45比较各期间DP的投影误差PE彼此。例如，在像图7所示的第1月1M、第2月2M、第3月3M那样，在最近的3个期间DP中，与前期相比投影误差PE增加的情况下，异常判断部45判断为投影误差PE持续增加。
在异常判断部45判断为存在周边物体识别中的异常的情况下，异常通知信息输出部46生成用于通知异常的异常通知信息，并向输出目的地输出。输出目的地例如是车辆1的信息提示装置(例如仪表、HUD、扬声器)。通过由信息提示装置向乘员通知异常，乘员能够实施各种应对。
另外，输出目的地也可以是利用基于DCM(Data Communication Module：数据通信模块)的通信的车辆外的信息收集中心。DCM是搭载于车辆1的通信模块。DCM通过按照LTE(Long Term Evolution：长期演进)和5G等通信标准的无线通信，在车辆1与周围的基站之间发送接收电波。在车辆1是载人出租车用的车辆、载人公共汽车用的车辆、租赁汽车用、共享用的车辆、无人的搬运车辆等商用车辆的情况下，也可以向设置于营业所的信息取集中心通知异常。
接下来，使用图8的流程图，说明基于异常检测程序来检测周边物体识别中的异常的异常检测方法的详细内容。
首先，在S11中，投影误差检测部44判定是否在车辆1的停止状态下生成背景光图像ImL和相机图像ImC。在S11中作出肯定判定的情况下，移至S12。在S11中作出否定判定的情况下，结束一系列的处理。
在S12中，投影误差检测部44提取共同地映现于背景光图像ImL和相机图像ImC的静止物体SO。在S12的处理后，移至S13。
在S13中，投影误差检测部44获取在S12中提取出的静止物体SO的对应点CPa、CPb。在S13的处理后，移至S14。
在S14中，投影误差检测部44将背景光图像侧的对应点CPa投影到相机图像上的投影位置PP。在S14的处理后，移至S15。
在S15中，投影误差检测部44根据在S14中所投影的投影位置PP和相机图像侧的对应点CPb来测定投影误差PE。投影误差PE的检测结果作为投影误差检测数据48被记录。在S15的处理后，移至S16。
在S16中，异常判断部45参照投影误差检测数据48，判断周边物体识别中的异常。在S16中判断为有异常的情况下，移至S17。在S16中判断为无异常的情况下，结束一系列的处理。
在S17中，异常通知信息输出部46向输出目的地输出异常通知信息。通过S17结束一系列的处理。这样，图像处理ECU30能够检测车辆1的周边物体识别中的异常。
(作用效果)
以下再次说明以上说明的第一实施方式的作用效果。
根据第一实施方式，在车辆1为低速区域以下的速度的速度状态下，检测背景光图像ImL与相机图像ImC之间的投影误差PE。在这样的速度状态下，能够抑制以测距传感器10生成的背景光图像ImL的测定定时与外界相机20生成的相机图像ImC的测定定时的偏差为原因的检测精度降低。例如，降低由于在测定定时的偏差的期间车辆1移动而引起的、背景光图像ImL与相机图像ImC之间的物体的映现位置偏差，因此即使该位置偏差包含于投影误差PE，位置偏差对投影误差PE的增大影响较小。因此，能够高精度地检测使用了测距传感器10和外界相机20的车辆1的周边物体识别中的异常。
另外，根据第一实施方式，在车辆1的停止状态下，检测背景光图像ImL与相机图像ImC之间的投影误差PE。在停止状态下，消除了仅以在测定定时的偏差的期间车辆1移动为原因的、背景光图像ImL与相机图像ImC之间的物体的映现位置偏差。因此，抑制这样的位置偏差包含于投影误差PE。因此，能够高精度地检测使用了测距传感器10和外界相机20的车辆1的周边物体识别中的异常。
另外，根据第一实施方式，使用距离信息来确定在背景光图像ImL和相机图像ImC之间相互对应的对应点CPa、CPb中的、背景光图像侧的对应点CPa的三维坐标P(x，y，z)。通过投影到相机图像ImC的图像平面上的投影位置PP的投影源是三维坐标P(x，y，z)，从而显著提高投影位置PP的位置精度。而且，通过在相机图像ImC的图像平面上测定相机图像侧的对应点CPb的位置与投影位置PP之间的偏差，能够容易地检测投影误差PE。
另外，根据第一实施方式，基于检测出的投影误差PE来判断周边物体识别中的异常。通过使用高精度地检测出的投影误差PE，从而异常判断的精度也成为高精度。
另外，根据第一实施方式，在反射光图像ImR和相机图像ImC的相同组中，在检测出规定多个的检测数量K以上的规定值A以上的投影误差PE的情况下，判断为存在周边物体识别中的异常。通过考虑相同组的多个投影误差PE，能够大幅提高异常判断的可靠性。
另外，根据第一实施方式，在最近检测出的规定的多次N的投影误差PE的平均值为规定值B以上的情况下，判断为存在周边物体识别中的异常。通过考虑最近检测出的多次的投影误差PE的平均值，能够大幅提高异常判断的可靠性。
另外，根据第一实施方式，在投影误差PE持续增加的情况下，判断为存在周边物体识别中的异常。检查投影误差PE的持续的增加状态，能够采用将今后预测的投影误差PE放大到无法容许的范围的状态防患于未然的应对。
(其他的实施方式)
以上，对一个实施方式进行了说明，但本发明不应该被解释为局限于该实施方式，在不脱离本发明的主旨的范围内能够应用于各种实施方式。
具体地说，作为变形例1，投影误差检测部44也可以判定是否在低速区域以下的速度的速度状态(以下，低速区域状态)下生成作为投影误差PE的检测对象的背景光图像ImL和相机图像ImC。这里，低速区域状态包含车辆1停止的停止状态和车辆1以低速区域行驶的低速行驶状态。本实施方式的低速区域是指小于确保投影误差PE的检测精度所需要的容许上限速度的范围。关于容许上限速度的值，能够考虑测距传感器10和外界相机20中的帧率、快门速度等图像测定规格而改变，例如能够采用10km/h、20km/h等值。即，在本变形例1中，投影误差检测部44不仅在停止状态下，还在低速行驶状态下生成背景光图像ImL和相机图像ImC的情况下，检测背景光图像ImL与相机图像ImC之间的投影误差PE。
作为变形例2，异常判断部45也可以不判断多个判断条件，例如也可以仅判断第一实施方式所示的判断条件中的任意一个。
作为变形例3，相机图像ImC也可以不是彩色图像，而是灰度图像。
作为变形例4，图像处理ECU30以及驾驶辅助ECU中的至少一个也可以不搭载于车辆，而固定设置在车辆外的路上等，也可以搭载于其他车辆。此时，也可以通过因特网、路车间通信、车车间通信等通信来对异常检测、驾驶操作等进行远程操作。
作为变形例5，也可以将图像处理ECU30等物体识别用异常检测装置和驾驶辅助ECU50等物体识别装置综合为一个，例如构成实现一个复合功能的电子控制装置。
作为变形例6，物体识别用异常检测装置也可以是不具备影像配准的功能而专门用于异常的检测的装置。
作为变形例7，由图像处理ECU30提供的各功能也可以通过软件和执行该软件的硬件、仅软件、仅硬件、或它们的复合的组合来提供。并且，在通过作为硬件的电子电路提供这样的功能的情况下，各功能也可以由包含多个逻辑电路的数字电路、或者模拟电路提供。
作为变形例8，存储了能够实现上述的物体识别用异常检测方法的异常检测程序等的存储介质的方式也可以适当地变更。例如存储介质不限于设置在电路基板上的结构，也可以是以存储卡等方式提供，插入到插口部，与图像处理ECU30的控制电路电连接的结构。并且，存储介质也可以是成为图像处理ECU30的程序的复制基础的光盘和硬盘。
本发明所记载的控制部及其方法也可以由专用计算机实现，该专用计算机构成被编程为执行由计算机程序具体化的一个至多个功能的处理器。或者，本发明所记载的装置及其方法也可以由专用硬件逻辑电路实现。或者，本发明所记载的装置及其方法也可以由一个以上的专用计算机实现，该专用计算机通过执行计算机程序的处理器与一个以上的硬件逻辑电路的组合而构成。另外，计算机程序也可以作为由计算机执行的指令，存储于计算机能够读取的非迁移有形记录介质。

Claims (10)

1.一种物体识别用异常检测装置，检测使用了测距传感器(10)和外界相机(20)的车辆(1)的周边物体识别中的异常，所述测距传感器搭载于所述车辆，除了通过由受光元件(12a)感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像(ImR)之外，还通过由所述受光元件感知相对于所述反射光的背景光来生成与所述反射光图像相同坐标系的背景光图像(ImL)，所述外界相机搭载于所述车辆，通过由相机元件(22a)检测来自外界的入射光来生成相机图像(ImC)，其中，所述物体识别用异常检测装置具备：
速度状态掌握部(43)，掌握所述车辆的速度状态；
图像信息获取部(41)，获取所述背景光图像和所述相机图像；以及
投影误差检测部(44)，在所述车辆小于规定速度的范围的所述速度状态下生成所述背景光图像和所述相机图像的情况下，所述投影误差检测部检测所述背景光图像与所述相机图像之间的投影误差(PE)。
2.根据权利要求1所述的物体识别用异常检测装置，其中，
在所述车辆停止的停止状态下生成所述背景光图像和所述相机图像的情况下，所述投影误差检测部检测所述投影误差。
3.根据权利要求1所述的物体识别用异常检测装置，其中，
所述投影误差检测部获取在所述背景光图像和所述相机图像之间相互对应的对应点(CPa、CPb)，
所述投影误差检测部参照所述距离信息确定所述背景光图像侧的所述对应点的三维坐标，
所述投影误差检测部将所述三维坐标投影到所述相机图像的图像平面上的投影位置(PP)，
所述投影误差检测部检测所述相机图像侧的所述对应点的位置与所述投影位置之间的偏差来作为所述投影误差。
4.根据权利要求1至3中的任意一项所述的物体识别用异常检测装置，其中，
所述物体识别用异常检测装置还具备异常判断部(45)，所述异常判断部基于所述投影误差检测部检测出的所述投影误差，判断所述周边物体识别中的异常。
5.根据权利要求4所述的物体识别用异常检测装置，其中，
在所述反射光图像和所述相机图像的相同组中，检测出规定多个的检测数量以上的规定值以上的所述投影误差的情况下，所述异常判断部判断为存在所述周边物体识别中的异常。
6.根据权利要求4或5所述的物体识别用异常检测装置，其中，
在最近检测出的规定的多次的所述投影误差的平均值为规定值以上的情况下，所述异常判断部判断为存在所述周边物体识别中的异常。
7.根据权利要求4至6中的任意一项所述的物体识别用异常检测装置，其中，
在所述投影误差持续增加的情况下，所述异常判断部判断为存在所述周边物体识别中的异常。
8.根据权利要求4至7中的任意一项所述的物体识别用异常检测装置，其中，
所述物体识别用异常检测装置还具备异常通知信息输出部(46)，在所述异常判断部判断为有异常的情况下，所述异常通知信息输出部对装置外部的输出目的地输出异常通知信息。
9.一种物体识别用异常检测程序，检测车辆(1)的周边物体识别中的异常，其中，
所述物体识别用异常检测程序使至少一个处理部(31)执行如下的处理：
获取反射光图像(ImR)和背景光图像(ImL)的处理，其中，所述反射光图像和所述背景光图像是搭载于所述车辆的测距传感器(10)生成的图像，通过由受光元件(12a)感知通过光照射而从物体反射的反射光来生成包含距离信息的所述反射光图像，通过由所述受光元件感知相对于所述反射光的背景光来生成与所述反射光图像相同坐标系的所述背景光图像；
获取相机图像(ImC)的处理，其中，所述相机图像是搭载于所述车辆的外界相机(20)生成的图像，通过由相机元件(22a)检测来自外界的入射光来生成所述相机图像；以及
在所述车辆小于规定速度的范围的速度状态下生成所述背景光图像和所述相机图像的情况下，检测所述背景光图像与所述相机图像之间的投影误差的处理。
10.一种物体识别用异常检测方法，检测车辆(1)的周边物体识别中的异常，其中，
在由至少一个处理部(31)实施的处理中包括：
获取反射光图像(ImR)和背景光图像(ImL)，其中，所述反射光图像和所述背景光图像是搭载于所述车辆的测距传感器(10)生成的图像，通过由受光元件(12a)感知通过光照射而从物体反射的反射光来生成包含距离信息的所述反射光图像，通过由所述受光元件感知相对于所述反射光的背景光来生成与所述反射光图像相同坐标系的所述背景光图像；
获取相机图像(ImC)，其中，所述相机图像是搭载于所述车辆的外界相机(20)生成的图像，通过由相机元件(22a)检测来自外界的入射光来生成所述相机图像；以及
在所述车辆小于规定速度的范围的速度状态下生成所述背景光图像和所述相机图像的情况下，检测所述背景光图像与所述相机图像之间的投影误差。
CN202080063318.8A 2019-09-10 2020-09-08 物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法 Pending CN114391114A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-164861 2019-09-10
JP2019164861A JP7103324B2 (ja) 2019-09-10 2019-09-10 物体認識用異常検出装置及び物体認識用異常検出プログラム
PCT/JP2020/033957 WO2021049491A1 (ja) 2019-09-10 2020-09-08 物体認識用異常検出装置、物体認識用異常検出プログラム及び物体認識用異常検出方法

Publications (1)

Publication Number Publication Date
CN114391114A true CN114391114A (zh) 2022-04-22

Family

ID=74862531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063318.8A Pending CN114391114A (zh) 2019-09-10 2020-09-08 物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法

Country Status (4)

Country Link
US (1) US20220196841A1 (zh)
JP (1) JP7103324B2 (zh)
CN (1) CN114391114A (zh)
WO (1) WO2021049491A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140091B2 (ja) * 2019-10-28 2022-09-21 株式会社デンソー 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004317507A (ja) 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
WO2014068302A1 (en) 2012-11-05 2014-05-08 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
JP6070306B2 (ja) 2013-03-14 2017-02-01 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
CN108020825B (zh) 2016-11-03 2021-02-19 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
DE102017109039A1 (de) 2017-04-27 2018-10-31 Sick Ag Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
JP2019007744A (ja) 2017-06-20 2019-01-17 京セラ株式会社 物体検知装置、プログラムおよび物体検知システム
JP6834914B2 (ja) 2017-11-07 2021-02-24 トヨタ自動車株式会社 物体認識装置

Also Published As

Publication number Publication date
JP2021043044A (ja) 2021-03-18
WO2021049491A1 (ja) 2021-03-18
US20220196841A1 (en) 2022-06-23
JP7103324B2 (ja) 2022-07-20

Similar Documents

Publication Publication Date Title
JP5299513B2 (ja) 障害物検知装置及び方法並びに障害物検知システム
JP2019028967A (ja) 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品
JP6137081B2 (ja) 車載機器
JP2019015692A (ja) 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN110431562B (zh) 图像识别装置
CN106461387B (zh) 立体相机设备和设置有立体相机的车辆
US11454723B2 (en) Distance measuring device and distance measuring device control method
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
US20220207884A1 (en) Object recognition apparatus and object recognition program product
EP3779882B1 (en) Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
WO2021049491A1 (ja) 物体認識用異常検出装置、物体認識用異常検出プログラム及び物体認識用異常検出方法
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
JP2009014645A (ja) 車両用距離測定装置
JP2005216200A (ja) 他車検出装置及び他車検出方法
JP2015219212A (ja) ステレオカメラ装置及び距離算出方法
EP4372419A1 (en) Object detection device and object detection method
US20220245766A1 (en) Image processing device, image processing method, image processing program, and image processing system
WO2024063133A1 (ja) 物体検知方法、プログラム、及び物体検知システム
US20230100249A1 (en) Information processing device, control method, and non-transitory computer-readable media
US11897517B2 (en) Information processing device, information processing method, computer program product, and vehicle control system
US20230328195A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium
JP2021077092A (ja) 画像処理装置および画像処理方法
CN117897634A (zh) 车辆检测装置、车辆检测方法、以及车辆检测程序
CN116368797A (zh) 传感器噪声去除装置和传感器噪声去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination