CN113994405A - 外部环境识别装置 - Google Patents

外部环境识别装置 Download PDF

Info

Publication number
CN113994405A
CN113994405A CN202080043208.5A CN202080043208A CN113994405A CN 113994405 A CN113994405 A CN 113994405A CN 202080043208 A CN202080043208 A CN 202080043208A CN 113994405 A CN113994405 A CN 113994405A
Authority
CN
China
Prior art keywords
external environment
unit
recognition
abnormality
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043208.5A
Other languages
English (en)
Inventor
堀笼大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN113994405A publication Critical patent/CN113994405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

识别处理部(41)根据由拍摄移动体的外部环境的摄像部(11)得到的图像数据来识别移动体的外部环境，基于根据该图像数据识别出的移动体的外部环境和检测移动体的外部环境的检测部(12)的检测结果，来输出移动体的外部环境的识别结果。异常检测部(44)基于由识别处理部(41)根据图像数据识别出的外部环境和由检测部(12)检测出的外部环境之间的同一性，来检测包括摄像部(11)、识别处理部(41)以及检测部(12)的数据处理系统的异常。

Description

外部环境识别装置
技术领域
此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。
背景技术
在专利文献1中公开了安装于车辆的图像处理装置。该图像处理装置包括：路面检测部，其使用基于摄像头拍摄得到的拍摄图像的输入图像来检测路面区域；时间序列验证部，其进行以时间序列验证输入图像中的路面区域的检测结果的时间序列验证；检测区域选择部，其根据路面检测部的路面区域的检测结果以及时间序列验证部的时间序列验证的结果，在输入图像内设定用于检测对象物的检测区域；以及检测部，其在检测区域中检测对象物。
专利文献1：日本公开专利公报特开2018-22234号公报
发明内容
－发明要解决的技术问题－
然而，为了检测设置在专利文献1那样的装置中的数据处理系统的异常，能够想到将成为异常检测对象的数据处理系统双重化。具体而言，能够想到采用如下方式(所谓的双锁步方式)：设置进行同一数据处理的两个处理部，向两个处理部输入同一数据，比较两个处理部的输出，在两个处理部的输出互不相同的情况下判断为数据处理存在异常。但是，如果将数据处理系统双重化，就要追加冗余的构成，数据处理系统的电路规模就会增大，功耗就会增加。
此处公开的技术正是为解决上述技术问题而完成的，其目的在于：提供一种外部环境识别装置，其能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
－用以解决技术问题的技术方案－
此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。该外部环境识别装置包括识别处理部和异常检测部，所述识别处理部根据由拍摄所述移动体的外部环境的摄像部得到的图像数据来识别该移动体的外部环境，基于根据该图像数据识别出的该移动体的外部环境和检测该移动体的外部环境的检测部的检测结果，来输出该移动体的外部环境的识别结果；所述异常检测部基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性，来检测包括所述摄像部、所述识别处理部以及所述检测部的数据处理系统的异常。
在上述构成方式下，不用将成为异常检测对象的数据处理系统的整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
需要说明的是，所述检测部可以构成为：通过向所述移动体的外部环境发送探测波并接收来自该外部环境的反射波来检测该移动体的外部环境。所述异常检测部可以构成为：所述异常检测部基于包括在由所述识别处理部根据所述图像数据识别出的外部环境中的人与物和包括在由所述检测部检测出的外部环境中的人与物之间的同一性，来检测所述数据处理系统的异常。
在上述构成方式下，异常检测部基于由识别处理部根据图像数据识别出的人与物和由检测部检测出的人与物之间的同一性，来检测数据处理系统的异常。需要说明的是，在检测部中，移动体的外部环境中所包括的人与物(例如车辆)比移动体的外部环境中所包括的可移动区域(例如车道)更容易被检测出来。因此，通过基于由识别处理部根据图像数据识别出的人与物及由检测部检测出的人与物之间的同一性来检测数据处理系统的异常，与基于由识别处理部根据图像数据识别出的可移动区域及由检测部检测出的可移动区域之间的同一性来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
所述异常检测部可以构成为：所述异常检测部根据所述识别处理部的基于所述图像数据的识别结果和所述检测部的检测结果之间的同一性，来检测所述数据处理系统的异常，所述识别结果与所述移动体的外部环境所包括的人与物中与该移动体之间的距离在事先决定好的距离范围内的人与物相关。
在上述构成方式下，能够将人与物作为异常检测部的处理对象，所述人与物与移动体之间的距离为摄像部能够适当地进行拍摄以及检测部能够适当地进行检测的距离。这样一来，能够基于由识别处理部根据图像数据适当地识别出的人与物与由检测部适当地检测出的人与物之间的同一性来检测数据处理系统的异常，因此能够提高数据处理系统的异常的检测精度。
所述异常检测部可以构成为：基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性不成立的持续时间来检测所述数据处理系统的异常。
在上述构成方式下，基于由识别处理部根据图像数据识别出的外部环境和由检测部检测出的外部环境之间的同一性不成立的持续时间来检测数据处理系统的异常，从而能够降低数据处理系统的异常的过度检测。这样一来，能够适当地进行数据处理系统的异常的检测。
所述摄像部可以为设置在所述移动体上的摄像头。所述检测部可以为设置在所述移动体上的雷达。所述数据处理系统可以包括从所述摄像头到所述识别处理部的第一系统及从所述雷达到所述识别处理部的第二系统。
－发明的效果－
根据此处公开的技术，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
附图说明
图1是示例出实施方式的车辆控制系统的构成的方框图；
图2是示例出外部环境识别部的构成的方框；
图3是示例出外部环境识别部的基本工作情况的流程图；
图4是示例出图像数据的图；
图5是示例出图像数据的分类结果的图；
图6是示例出整合数据的概念的图；
图7是示例出二维数据的图；
图8是示例出异常检测部的异常检测工作的流程图；
图9是示例出运算装置的具体结构的图。
具体实施方式
以下，参照附图对实施方式做详细的说明。需要说明的是，用同一符号表示附图中相同或相应的部分，且不再重复做说明。以下，以控制移动体的工作情况的移动体控制系统之一例即车辆控制系统10为例进行说明。
(实施方式)
图1示例出车辆控制系统10的构成。车辆控制系统10设置于作为移动体之一例的车辆(于此例中为自动四轮车)。该车辆能够在手动驾驶、辅助驾驶和自动驾驶之间进行切换。手动驾驶是指根据驾驶员的操作(例如对油门的操作等)而行驶的驾驶。辅助驾驶是指辅助驾驶员操作而行驶的驾驶。自动驾驶是指在无驾驶员操作的情况下行驶的驾驶。车辆控制系统10在自动驾驶以及辅助驾驶中，通过控制设置于车辆的执行装置101来控制车辆工作。例如，执行装置101包括发动机、变速器、制动器、转向系等。
需要说明的是，在下述说明中，将设置有车辆控制系统10的车辆记载为“本车辆”，将存在于本车辆周围的其他车辆记载为“其他车辆”。
在该例中，车辆控制系统10包括：多个摄像头11、多个雷达12、位置传感器13、车辆状态传感器14、驾驶员状态传感器15、驾驶操作传感器16、通信部17、控制单元18、人机界面19、运算装置20。运算装置20为外部环境识别装置之一例。
〔摄像头(摄像部)〕
多个摄像头11彼此具有相同的结构。摄像头11通过拍摄本车辆的外部环境来获取表示本车辆的外部环境的图像数据。由摄像头11获得的图像数据发送给运算装置20。需要说明的是，摄像头11为拍摄移动体的外部环境的摄像部之一例。
在该例中，摄像头11为具有广角镜头的单目摄像头。将多个摄像头11布置在本车辆上，以使多个摄像头11对本车辆的外部环境的拍摄范围遍及本车辆的整个周围。例如，摄像头11由CCD(Charge Coupled Device)或CMOS(Complementary metal-oxide-semiconductor)等固体图像传感器构成。需要说明的是，摄像头11还可以是具有一般镜头(例如窄角镜头)的单目摄像头，又可以是立体摄像头。
〔雷达(检测部)〕
多个雷达12彼此具有相同的结构。雷达12检测本车辆的外部环境。具体而言，雷达12向本车辆的外部环境发送电波(探测波之一例)，并接收来自本车辆的外部环境的反射波，由此对本车辆的外部环境进行检测。雷达12的检测结果发送给运算装置20。需要说明的是，雷达12为检测移动体的外部环境的检测部之一例。检测部通过对移动体的外部环境发送探测波并接收来自移动体的外部环境的反射波，来检测移动体的外部环境。
在该例中，将多个雷达12布置在本车辆上，以使多个雷达12对本车辆的外部环境的检测范围遍及本车辆周围的整个周围。例如，雷达12既可以是发射毫米波(探测波之一例)的毫米波雷达，也可以是发射激光(探测波之一例)的激光雷达(Light Detection andRanging)，又可以是发射红外线(探测波之一例)的红外线雷达，还可以是发射超声波(探测波之一例)的超声波传感器。
〔位置传感器〕
位置传感器13检测本车辆的位置(例如纬度和经度)。例如，位置传感器13接收来自全球定位系统的GPS信息，并根据GPS信息检测本车辆的位置。由位置传感器13检测出的本车辆的位置发送给运算装置20。
〔车辆状态传感器〕
车辆状态传感器14检测本车辆的状态(例如速度、加速度、横摆率等)。例如，车辆状态传感器14由检测本车辆的速度的车速传感器、检测本车辆的加速度的加速度传感器、检测本车辆的横摆率的横摆率传感器等构成。由车辆状态传感器14检测出的本车辆的状态发送给运算装置20。
〔驾驶员状态传感器〕
驾驶员状态传感器15检测驾驶本车辆的驾驶员的状态(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员状态传感器15由拍摄驾驶员的车内摄像头、检测驾驶员的活体信息的生物信息传感器等构成。由驾驶员状态传感器15检测出的驾驶员的状态发送给运算装置20。
〔驾驶操作传感器〕
驾驶操作传感器16检测加给本车辆的驾驶操作。例如，驾驶操作传感器16由检测本车辆方向盘转角的方向盘转角传感器、检测对本车辆的油门的操作量的加速传感器、检测对本车辆的制动器的操作量的制动传感器等构成。由驾驶操作传感器16检测出的驾驶操作发送给运算装置20。
〔通信部〕
通信部17与设置在本车辆外部的外部装置之间进行通信。例如，通信部17接收来自位于本车辆周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的交通信息等。由通信部17接收到的信息发送给运算装置20。
〔控制单元〕
控制单元18由运算装置20控制，该控制单元18又控制设置在本车辆上的执行装置101。例如，控制单元18包括动力传动装置、制动装置、转向装置等。动力传动装置基于后述的驱动指令值所表示的目标驱动力控制包括在执行装置101中的发动机以及变速器。制动装置基于后述的制动指令值所表示的目标制动力控制包括在执行装置101中的制动器。转向装置基于后述的转向指令值所表示的目标转向量控制包括在执行装置101中的转向器。
〔人机界面〕
人机界面19是为了在运算装置20与本车辆的乘员(特别是驾驶员)之间进行信息的输入输出而设置的。例如，人机界面19包括显示信息的显示屏、以声音输出信息的扬声器、输入声音的麦克风、供本车辆的乘员(特别是驾驶员)操作的操作部等。操作部为触摸面板或按键。
〔运算装置〕
运算装置20基于设置在本车辆上的传感器类的输出以及从车外发送来的信息等，决定本车辆应行驶的路径即目标路径，并决定按目标路径行驶所需要的本车辆的运动即目标运动。运算装置20通过控制控制单元18来控制执行装置101工作，以便使本车辆的运动成为目标运动。例如，运算装置20由具有一个或多个运算芯片的电子控制单元(ECU)构成。换句话说，运算装置20由电子控制单元(ECU)构成，该电子控制单元(ECU)具有一个或多个处理器、以及一个或多个存储器等，该存储器存储一个或多个用于使处理器工作的程序或数据。
在该例中，运算装置20具有外部环境识别部21、候选路径生成部22、车辆举动识别部23、驾驶员举动识别部24、目标运动决定部25、以及运动控制部26。这些是运算装置20的功能的一部分。
外部环境识别部21识别本车辆的外部环境。候选路径生成部22根据外部环境识别部21的输出生成一个或多个候选路径。候选路径为本车辆能够行驶的路径，其为目标路径的候选。
车辆举动识别部23基于车辆状态传感器14的输出识别本车辆的举动(例如速度、加速度、横摆率等)。例如，车辆举动识别部23使用通过深层学习生成的学习模型，根据车辆状态传感器14的输出来识别本车辆的举动。驾驶员举动识别部24根据驾驶员状态传感器15的输出来识别驾驶员的举动(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员举动识别部24使用通过深层学习生成的学习模型，根据驾驶员状态传感器15的输出来识别驾驶员的举动。
目标运动决定部25基于车辆举动识别部23的输出以及驾驶员举动识别部24的输出，从候选路径生成部22所生成的一个或多个候选路径中选择成为目标路径的候选路径。例如，目标运动决定部25从多个候选路径中选择驾驶员感觉最舒适的候选路径。目标运动决定部25根据被选择为目标路径的候选路径来决定目标运动。
运动控制部26基于目标运动决定部25所决定的目标运动来控制控制单元18。例如，运动控制部26分别导出用于达成目标运动的驱动力、制动力、以及转向量即目标驱动力、目标制动力、以及目标转向量。接着，运动控制部26将表示目标驱动力的驱动指令值、表示目标制动力的制动指令值、以及表示目标转向量的转向指令值分别发送给包括在控制单元18中的动力传动装置、制动装置、以及转向装置。
〔外部环境识别部〕
图2示例出外部环境识别部21的构成。在该例中，外部环境识别部21由图像处理芯片31、人工智能加速器32、控制芯片33构成。图像处理芯片31、人工智能加速器32、以及控制芯片33分别由处理器及存储器构成，该存储器存储用于使处理器工作的程序或数据等。
在该例中，外部环境识别部21具有前处理部40、识别处理部41、整合数据生成部42、二维数据生成部43、以及异常检测部44。这些为外部环境识别部21的功能的一部分。在该例中，在图像处理芯片31上设置有前处理部40，在人工智能加速器32上设置有识别处理部41及整合数据生成部42，在控制芯片33上设置有二维数据生成部43及异常检测部44。
〈前处理部〉
前处理部40对摄像头11所获取的图像数据进行前处理。前处理包括：修正图像数据所表示的图像失真的失真修正处理、调整图像数据所表示的图像明度的白平衡调整处理等。
〈识别处理部〉
识别处理部41基于由前处理部40进行过前处理的图像数据来识别本车辆的外部环境。在该例中，识别处理部41根据基于图像数据识别出的本车辆的外部环境和雷达12的检测结果(即由雷达12检测出的本车辆的外部环境)，输出本车辆的外部环境的识别结果。
〈整合数据生成部〉
整合数据生成部42根据识别处理部41的识别结果生成整合数据。整合数据是整合了识别处理部41识别出的本车辆的外部环境中包括的可移动区域以及人与物而得到的数据。在该例中，整合数据生成部42根据识别处理部41的识别结果生成整合数据。
〈二维数据生成部〉
二维数据生成部43根据整合数据生成部42所生成的整合数据来生成二维数据。二维数据是整合数据中包括的可移动区域以及人与物被二维化后的数据。
〈外部环境数据生成部〉
需要说明的是，在该例中，整合数据生成部42及二维数据生成部43构成外部环境数据生成部45。外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据(物体数据：Object Data)。外部环境数据为表现识别处理部41所识别出的本车辆的外部环境的数据。在该例中，外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据。
〈异常检测部〉
异常检测部44基于由识别处理部41根据图像数据识别出的车辆的外部环境与由雷达12检测出的车辆的外部环境之间的同一性，来检测包括摄像头11、识别处理部41、以及雷达12的数据处理系统的异常。在该例中，包括摄像头11、识别处理部41、以及雷达12的数据处理系统包括：从摄像头11经过前处理部40到识别处理部41的第一系统；以及从雷达12到识别处理部41的第二系统。例如，异常检测部44可以构成为：在检测数据处理系统的异常之异常检测处理中，使用通过深层学习生成的学习模型来检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果之间的同一性。该学习模型为用于检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果之间的同一性的学习模型。需要说明的是，异常检测部44也可以构成为：使用其他公知的同一性检测技术来检测识别处理部41的基于图像数据的识别结果与雷达12的检测结果的同一性。
〔外部环境识别部的基本工作〕
接下来，参照图3说明外部环境识别部21的基本工作。
〈步骤S11〉
首先，前处理部40对摄像头11所获取的图像数据进行前处理。在该例中，前处理部40对多个摄像头11所获取的多个图像数据分别进行前处理。前处理包括：修正图像数据所表示出的图像失真(在该例中为由摄像头11的广角化而引起的失真)的失真修正处理、调整图像数据所表示出的图像白平衡的白平衡调整处理等。需要说明的是，在摄像头11所获取的图像数据中没有失真的情况下(例如使用具有一般镜头的摄像头的情况下)，也可以省略失真修正处理。
如图4所示，图像数据D1所表示的本车辆的外部环境包括车道50、人行道71、及空地72。车道50为本车辆能够移动的可移动区域之一例。该图像数据D1所表示的本车辆外部环境中包括其他车辆61、标志牌62、行道树63、以及建筑物80。其他车辆61(自动四轮车)是随着时间经过而发生位移的运动物体之一例。能够列举出的作为运动物体的其他例子有：自动二轮车、自行车、行人等。标志62和行道树63是随着时间经过却不发生位移的静止物体之一例。能够列举出的作为静止物体的其他例子有：中间分隔带、道路中央的柱子、建筑物等。运动物体和静止物体为人与物60之一例。
在图4的例子中，在车道50的外侧设有人行道71，在人行道71的外侧(远离车道50的一侧)设有空地72。在图4的例子中，一台其他车辆61在车道50中的本车辆行驶的车道上行驶，两台其他车辆61在车道50中的本车辆行驶的车道的反向车道上行驶。沿着人行道71的外侧排列有标志牌62和行道树63。在本车辆的前方较远的位置处设有建筑物80。
〈步骤S12〉
接着，识别处理部41对图像数据D1进行分类处理。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行分类处理。在分类处理中，识别处理部41以像素为单位对图像数据D1所表示的图像进行分类，并将表示该分类结果的分类信息附加到图像数据D1中。通过该分类处理，识别处理部41从图像数据D1所表示的图像(表示本车辆的外部环境的图像)中识别可移动区域以及人与物。例如，识别处理部41使用通过深层学习生成的学习模型进行分类处理。该学习模型为用于以像素为单位对图像数据D1所表示的图像进行分类的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的分类技术进行分类处理。
图5示出的分割图像D2示例出的是图像数据D1所表示的图像的分类结果。在图5的例子中，图像数据D1所表示的图像以像素单位被分类为车道、车辆、标志牌、行道树、人行道、空地、以及建筑物中的某一个。
〈步骤S13〉
接着，识别处理部41对图像数据进行可移动区域数据生成处理。在可移动区域数据生成处理中，识别处理部41从图像数据D1所表示的图像中确定通过分类处理被分类为可移动区域(在该例中为车道50)的像素区域，并根据该已确定出的像素区域生成可移动区域数据。可移动区域数据为表示识别处理部41所识别出的可移动区域的数据(在该例中为三维地图数据)。在该例中，识别处理部41根据在同一时刻由多个摄像头11获取的多个图像数据的每一个中的已确定的可移动区域，生成可移动区域数据。例如，在可移动数据生成处理中，可以使用公知的三维数据生成技术。
〈步骤S14〉
识别处理部41进行人与物信息生成处理。在人与物信息生成处理中，识别处理部41进行第一信息生成处理、第二信息生成处理、以及信息整合处理。
第一信息生成处理是针对图像数据进行的。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行第一信息生成处理。在第一信息生成处理中，识别处理部41从图像数据D1所表示的图像中确定通过分类处理被分类为人与物60的像素区域，根据该确定的像素区域生成人与物信息。需要说明的是，在图像数据D1所表示的图像中识别出多个人与物60的情况下，识别处理部41对多个人与物60分别进行第一信息生成处理。人与物信息为关于人与物60的信息，表示人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小及方向等。例如，识别处理部41使用通过深层学习生成的学习模型来进行第一信息生成处理。该学习模型为基于已从图像数据D1所表示的图像中确定出的像素区域(被分类为人与物60的像素区域)来生成人与物信息的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的信息生成技术(人与物检测技术)进行第一信息生成处理。
第二信息生成处理是针对雷达12的输出进行的。在该例中，识别处理部41根据多个雷达12各自的输出进行第二信息生成处理。在第二信息生成处理中，识别处理部41根据雷达12的检测结果生成人与物信息。例如，识别处理部41通过对雷达12的检测结果(表现本车辆的外部环境的反射波的强度分布)进行解析处理，而导出人与物信息(具体而言，为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小以及方向等)。需要说明的是，识别处理部41既可以构成为使用通过深层学习生成的学习模型(用于根据雷达12的检测结果生成人与物信息的学习模型)进行第二信息生成处理，也可以构成为使用其他公知的解析技术(人与物检测技术)进行第二信息生成处理。
在信息整合处理中，识别处理部41通过整合第一信息生成处理所得到的人与物信息和第二信息生成处理所得到的人与物信息来生成新的人与物信息。例如，识别处理部41针对人与物信息中包括的多个参数(具体而言为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小以及方向等)中的每一个参数，通过比较第一信息生成处理所得到的人与物信息参数以及通过第二信息生成处理所得到的人与物信息参数，将两个参数中精度较高的参数作为新的人与物信息中包括的参数。
〈步骤S15〉
接着，整合数据生成部42通过整合在步骤S13中生成的可移动区域数据以及在步骤S14中生成的人与物信息来生成整合数据D3。整合数据D3是整合了识别处理部41所识别出的可移动区域(在该例中为车道50)以及人与物60而得到的数据(在该例中为三维地图数据)。例如，整合数据生成部42也可以构成为使用公知的数据整合技术，由可移动区域数据及人与物信息来生成整合数据D3。
图6示出了整合数据D3的概念。如图6所示，在整合数据D3中，人与物60被抽象化。
〈步骤S16〉
接着，二维数据生成部43通过将整合数据D3二维化来生成二维数据D4。二维数据D4为整合数据D3中包括的可移动区域(在该例中为车道50)以及人与物60被二维化后的数据(在该例中为二维地图数据)。例如，二维数据生成部43也可以构成为使用公知的二维化技术，由整合数据D3生成二维数据D4。
如图7所示，在二维数据D4中，可移动区域(在该例中为车道50)和人与物60(在该例中为本车辆100)被二维化。在该例中，二维数据D4对应本车辆100的俯视图(从上空俯视本车辆100而得到的图)。二维数据D4包括车道50、其他车辆61、以及本车辆100。
〔异常检测处理〕
接着，参照图8说明异常检测部44的异常检测处理(检测数据处理系统的异常的处理)。
〈步骤S21〉
首先，异常检测部44获取识别处理部41的基于图像数据的识别结果和雷达12的检测结果。例如，异常检测部44获取由识别处理部41的第一信息生成处理得到的人与物信息(识别处理部41的基于图像数据的识别结果之一例)和由识别处理部41的第二信息生成处理得到的人与物信息(雷达12的检测结果之一例)。
〈步骤S22〉
接着，异常检测部44判断由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境是否具有同一性。在具有同一性的情况下，进行步骤S23的处理；在没有同一性的情况下，则进行步骤S24的处理。
〈步骤S23〉
在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境具有同一性的情况下，异常检测部44判断为包括摄像头11、识别处理部41以及雷达12的数据处理系统未发生异常。
〈步骤S24〉
另一方面，在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境不具有同一性的情况下，异常检测部44判断为包括摄像头11、识别处理部41以及雷达12的数据处理系统发生了异常。
〔异常的因果关系〕
接着，说明包括摄像头11、识别处理部41以及雷达12的数据处理系统的异常与识别处理部41的基于图像数据的识别结果和雷达12的检测结果之间的同一性不成立之间的因果关系。以下，将识别处理部41的基于图像数据的识别结果，简单地记载为“识别处理部41的识别结果”。在包括摄像头11、识别处理部41以及雷达12的数据处理系统中没有发生异常的情况下，由于识别处理部41的识别结果和雷达12的检测结果两者都正常，所以可以看成识别处理部41的识别结果与雷达12的检测结果彼此一致，识别处理部41的识别结果和雷达12的检测结果之间的同一性成立。而在包括摄像头11、识别处理部41以及雷达12的数据处理系统中发生异常时，由于识别处理部41的识别结果和雷达12的检测结果中的至少一者发生了异常，因此无法将识别处理部41的识别结果和雷达12的检测结果看成彼此一致，识别处理部41的识别结果和雷达12的检测结果之间的同一性就不成立。
〔同一性判断的具体例〕
接着，举出具体例来说明对异常检测部44的同一性(识别处理部41的识别结果和雷达12的检测结果之间的同一性)的判断。作为判断同一性的参数，能够举出可移动区域(在该例中为车道50)的形状、以本车辆为基准的可移动区域的位置、人与物60的种类、人与物60的形状、从本车辆到人与物60的距离和方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小及方向等。
在根据可移动区域(或人与物60)的形状来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的可移动区域(或人与物60)的形状与由雷达12检测出的可移动区域(或人与物60)的形状之差(例如面积之差)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间没有同一性(同一性不成立)。
在根据以本车辆为基准的可移动区域(或人与物60)的位置来判断同一性的情况下，如果在由识别处理部41根据图像数据识别出的可移动区域(或人与物60)的位置与由雷达12检测出的可移动区域(或人与物60)的位置之差(位置偏移的量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间没有同一性(同一性不成立)。
在根据人与物60的种类来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的种类与由雷达12检测出的人与物60的种类彼此一致，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
在根据从本车辆到人与物60的距离及方向来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的距离及方向与由雷达12检测出的人与物60的距离及方向之差(距离偏移量及方向偏移量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
在根据人与物60相对于本车辆的移动速度的相对速度的大小及方向来判断同一性的情况下，如果由识别处理部41根据图像数据识别出的人与物60的相对速度的大小及方向与由雷达12检测出的人与物60的相对速度的大小及方向之差(速度偏移量及方向偏移量)低于事先决定好的阈值，异常检测部44就判断为识别处理部41的识别结果与雷达12的检测结果之间具有同一性；如果并非如此，异常检测部44就判定为识别处理部41的识别结果与雷达12的检测结果之间没有同一性(同一性不成立)。
需要说明的是，异常检测部44既可以构成为根据上述多个参数中的任意一个来判断同一性(识别处理部41的识别结果和雷达12的检测结果之间的同一性)，也可以构成为根据上述多个参数中的两个以上的参数来判断同一性。
在根据上述多个参数中的两个以上的参数来判断同一性的情况下，异常检测部44可以构成为：在两个以上的参数中被判断为具有同一性的参数的数量超过事先决定好的数量的情况下，该异常检测部44就判断为识别处理部41的识别结果和雷达12的检测结果之间具有同一性。
〔实施方式的效果〕
如上所述，该实施方式的运算装置20，不用将成为异常检测对象的数据处理系统整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
(实施方式的变形例1)
需要说明的是，异常检测部44优选构成为：基于包括在由识别处理部41根据图像数据识别出的车辆的外部环境中的人与物和包括在由雷达12检测出的车辆的外部环境中的人与物之间的同一性，来检测数据处理系统的异常。特别优选的是，异常检测部44构成为：基于识别处理部41的基于图像数据的识别结果和雷达12的检测结果之间的同一性来检测数据处理系统的异常。其中，该识别结果与车辆的外部环境所包括的人与物中与车辆之间的距离在事先决定好的距离范围内的人与物相关。
〔实施方式的变形例1的效果〕
在本实施方式的变形例1的运算装置20中，异常检测部44基于由识别处理部41根据图像数据识别出的人与物60和由雷达12检测出的人与物60之间的同一性，来检测数据处理系统的异常。需要说明的是，本车辆的外部环境中所包括的人与物60(例如其他车辆61)比本车辆的外部环境中所包括的可移动区域(例如车道50)更容易被雷达12检测出来。因此，通过基于由识别处理部41根据图像数据识别出的人与物60和由雷达12检测出的人与物60之间的同一性来检测数据处理系统的异常，与基于由识别处理部41根据图像数据识别出的可移动区域(在该例中为车道50)和由雷达12检测出的可移动区域之间的同一性来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
另外，在本实施方式的变形例1的运算装置20中，能够将人与物60作为异常检测部44的处理对象，该人与物60与本车辆之间的距离要保证摄像头11能够适当地进行拍摄，雷达12能够适当地进行检测。这样一来，能够基于由识别处理部41根据图像数据适当地识别出的人与物60和由雷达12适当地检测出的人与物60之间的同一性来检测数据处理系统的异常，因此能够提高数据处理系统的异常的检测精度。
(实施方式的变形例2)
需要说明的是，异常检测部44可以构成为：基于由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间来检测数据处理系统的异常。具体而言，在该变形例2中，在由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间超过事先决定好的正常时间的情况下，异常检测部44就判断为发生了数据处理系统的异常；在该同一性不成立的持续时间未超过正常时间的情况下，异常检测部44就判断为未发生数据处理系统的异常。
〔实施方式的变形例2的效果〕
在本实施方式的变形例2的运算装置20中，异常检测部44基于由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性不成立的持续时间，来检测数据处理系统的异常。这样一来，能够减少数据处理系统的异常的过度检测。例如，当由识别处理部41根据图像数据识别出的外部环境和由雷达12检测出的外部环境之间的同一性因非数据处理系统的异常的其他原因(例如，一瞬间的噪声等)而在短暂的时间内不成立的情况下，能够避免数据处理系统的异常遭受误检测。这样一来，能够适当地进行数据处理系统的异常的检测。
(控制装置的具体结构)
图9示例出上述运算装置20的具体构成。运算装置20设置在车辆V上。运算装置20具有一个或多个电子控制单元(ECU)。电子控制单元具有一个或多个芯片A。芯片A具有一个或多个内核B。内核B具有处理器P及存储器M。也就是说，运算装置20具有一个或多个处理器P及一个或多个存储器M。存储器M存储用于使处理器工作的程序以及信息。具体而言，存储器M存储能由处理器P执行的软件即模块、以及表示在处理器P的处理中利用的模型之数据等。上述控制装置20的各部分的功能通过处理器P执行存储在存储器M中的各模块来实现。
(其他实施方式)
在以上说明中，作为移动体以车辆(自动四轮车)为例进行了说明，但并不限于此。例如，移动体可以是船舶、火车、飞机、自动二轮车、自主移动机器人、吸尘器、无人机等。
在以上说明中，举例说明了二维数据生成部43设置在控制芯片33中的情况，但并不限于此。例如，二维数据生成部43既可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。与此相同，异常检测部44可以设置在控制芯片33中，也可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
在以上的说明中，举例说明了外部环境识别部21由图像处理芯片31、人工智能加速器32、以及控制芯片33构成的情况，但并不限于此。例如，外部环境识别部21可以由两个以下的运算芯片构成，也可以由四个以上的运算芯片构成。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
可以适当地组合以上实施方式以及变形例并实施。以上的实施方式以及变形例在本质上是优选的示例，并没有限制本发明、其适用对象或其用途范围的意图。
－产业实用性－
综上所述，这里所公开的技术作为识别移动体的外部环境的外部环境识别装置是有用的。
－符号说明－
10 车辆控制系统(移动体控制系统)
11 摄像头(摄像部)
12 雷达(检测部)
13 位置传感器
14 车辆状态传感器
15 驾驶员状态传感器
16 驾驶操作传感器
17 通信部
18 控制单元
19 人机界面
20 运算装置
21 外部环境识别部
22 候选路径生成部
23 车辆举动识别部
24 驾驶员举动识别部
25 目标运动决定部
26 运动控制部
31 图像处理芯片
32 人工智能加速器
33 控制芯片
40 前处理部
41 识别处理部
42 整合数据生成部
43 二维数据生成部
44 异常检测部
45 外部环境数据生成部
50 车道(可移动区域)
60 人与物
61 其他车辆
62 标志牌
63 行道树
71 人行道
72 空地
80 建筑物
100 车辆(移动体)
101 执行装置

Claims (5)

1.一种外部环境识别装置，其用于识别移动体的外部环境，其特征在于：所述外部环境识别装置包括识别处理部和异常检测部，
所述识别处理部根据由拍摄所述移动体的外部环境的摄像部得到的图像数据来识别该移动体的外部环境，并基于根据该图像数据识别出的该移动体的外部环境和检测该移动体的外部环境的检测部的检测结果，来输出该移动体的外部环境的识别结果；
所述异常检测部基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性，来检测包括所述摄像部、所述识别处理部以及所述检测部的数据处理系统的异常。
2.根据权利要求1所述的外部环境识别装置，其特征在于：
所述检测部通过向所述移动体的外部环境发送探测波并接收来自该外部环境的反射波来检测该移动体的外部环境，
所述异常检测部基于包括在由所述识别处理部根据所述图像数据识别出的外部环境中的人与物和包括在由所述检测部检测出的外部环境中的人与物之间的同一性，来检测所述数据处理系统的异常。
3.根据权利要求2所述的外部环境识别装置，其特征在于：
所述异常检测部根据所述识别处理部的基于所述图像数据的识别结果和所述检测部的检测结果之间的同一性，来检测所述数据处理系统的异常，所述识别结果与所述移动体的外部环境中所包括的人与物中与该移动体之间的距离在事先决定好的距离范围内的人与物相关。
4.根据权利要求1到3中任一项权利要求所述的外部环境识别装置，其特征在于：
所述异常检测部基于由所述识别处理部根据所述图像数据识别出的外部环境和由所述检测部检测出的外部环境之间的同一性不成立的持续时间，来检测所述数据处理系统的异常。
5.根据权利要求1到4中任一项权利要求所述的外部环境识别装置，其特征在于：
所述摄像部为设置在所述移动体上的摄像头，
所述检测部为设置在所述移动体上的雷达，
所述数据处理系统包括从所述摄像头到所述识别处理部的第一系统和从所述雷达到所述识别处理部的第二系统。
CN202080043208.5A 2019-06-14 2020-03-16 外部环境识别装置 Pending CN113994405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-111072 2019-06-14
JP2019111072A JP7298323B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置
PCT/JP2020/011539 WO2020250528A1 (ja) 2019-06-14 2020-03-16 外部環境認識装置

Publications (1)

Publication Number Publication Date
CN113994405A true CN113994405A (zh) 2022-01-28

Family

ID=73781765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043208.5A Pending CN113994405A (zh) 2019-06-14 2020-03-16 外部环境识别装置

Country Status (5)

Country Link
US (1) US20220237899A1 (zh)
EP (1) EP3985635A4 (zh)
JP (1) JP7298323B2 (zh)
CN (1) CN113994405A (zh)
WO (1) WO2020250528A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7568536B2 (ja) 2021-02-17 2024-10-16 古河電気工業株式会社 レーダー処理装置、プログラム、レーダー処理方法及びレーダーシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676195A (ja) * 1992-08-27 1994-03-18 Hitachi Ltd 異常事象検出装置
US5617085A (en) * 1995-11-17 1997-04-01 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for monitoring the surroundings of a vehicle and for detecting failure of the monitoring apparatus
CN104040606A (zh) * 2012-07-10 2014-09-10 本田技研工业株式会社 故障判定装置
DE102017210156A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ansteuern eines Fahrzeugmoduls
DE102017210151A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Ansteuerung eines Fahrzeugmoduls in Abhängigkeit eines Zustandssignals
CN109478324A (zh) * 2016-08-01 2019-03-15 歌乐株式会社 图像处理装置、外界识别装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
EP2663971A1 (en) * 2010-11-15 2013-11-20 Image Sensing Systems, Inc. Hybrid traffic sensor system and associated method
US9052393B2 (en) * 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9279881B2 (en) * 2013-03-12 2016-03-08 Escort Inc. Radar false alert reduction
CN107226091B (zh) * 2016-03-24 2021-11-26 松下电器（美国）知识产权公司 物体检测装置、物体检测方法以及记录介质
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
US10559140B2 (en) * 2017-06-16 2020-02-11 Uatc, Llc Systems and methods to obtain feedback in response to autonomous vehicle failure events
JP7036633B2 (ja) * 2018-03-15 2022-03-15 株式会社デンソーテン 異常検出装置、異常検出方法および異常検出システム
US10935652B2 (en) * 2018-06-26 2021-03-02 GM Global Technology Operations LLC Systems and methods for using road understanding to constrain radar tracks
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676195A (ja) * 1992-08-27 1994-03-18 Hitachi Ltd 異常事象検出装置
US5617085A (en) * 1995-11-17 1997-04-01 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for monitoring the surroundings of a vehicle and for detecting failure of the monitoring apparatus
CN104040606A (zh) * 2012-07-10 2014-09-10 本田技研工业株式会社 故障判定装置
CN109478324A (zh) * 2016-08-01 2019-03-15 歌乐株式会社 图像处理装置、外界识别装置
DE102017210156A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ansteuern eines Fahrzeugmoduls
DE102017210151A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Ansteuerung eines Fahrzeugmoduls in Abhängigkeit eines Zustandssignals

Also Published As

Publication number Publication date
JP7298323B2 (ja) 2023-06-27
EP3985635A1 (en) 2022-04-20
US20220237899A1 (en) 2022-07-28
EP3985635A4 (en) 2022-07-27
JP2020204822A (ja) 2020-12-24
WO2020250528A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
JP6663406B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2019008796A (ja) 自律可能車両用衝突回避システム
US10940860B2 (en) Vehicle control device, vehicle control method, and storage medium
JP4937844B2 (ja) 歩行者検出装置
CN114008698A (zh) 外部环境识别装置
US20220222936A1 (en) Outside environment recognition device
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
CN113994405A (zh) 外部环境识别装置
US11830254B2 (en) Outside environment recognition device
US20230245468A1 (en) Image processing device, mobile object control device, image processing method, and storage medium
CN113875223B (zh) 外部环境识别装置
JP7503921B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN115136188A (zh) 信息处理装置和信息处理方法
EP4292904A1 (en) Vehicle control device and vehicle control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220128