CN113966526A - 外部环境识别装置 - Google Patents

外部环境识别装置 Download PDF

Info

Publication number
CN113966526A
CN113966526A CN202080043188.1A CN202080043188A CN113966526A CN 113966526 A CN113966526 A CN 113966526A CN 202080043188 A CN202080043188 A CN 202080043188A CN 113966526 A CN113966526 A CN 113966526A
Authority
CN
China
Prior art keywords
abnormality
core
external environment
recognition processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043188.1A
Other languages
English (en)
Inventor
堀笼大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN113966526A publication Critical patent/CN113966526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

识别处理部(41)根据由拍摄移动体的外部环境的摄像部(11)得到的图像数据来进行识别移动体的外部环境的识别处理。识别处理部(41)由多个运算内核(300)构成。多个运算内核(300)包括识别处理内核(301)和异常检测内核(302)。识别处理内核(301)进行识别处理；异常检测内核(302)根据识别处理内核(301)的输出的异常来检测包括摄像部(11)和识别处理部(41)的数据处理系统的异常。

Description

外部环境识别装置
技术领域
此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。
背景技术
在专利文献1中公开了安装于车辆的图像处理装置。该图像处理装置包括：路面检测部，其使用基于摄像头拍摄得到的拍摄图像的输入图像来检测路面区域；时间序列验证部，其进行以时间序列验证输入图像中的路面区域的检测结果的时间序列验证；检测区域选择部，其根据路面检测部的路面区域的检测结果以及时间序列验证部的时间序列验证的结果，在输入图像内设定用于检测对象物的检测区域；以及检测部，其在检测区域中检测对象物。
专利文献1：日本公开专利公报特开2018-22234号公报
发明内容
－发明要解决的技术问题－
然而，为了检测设置在专利文献1那样的装置中的数据处理系统的异常，能够想到将成为异常检测对象的数据处理系统双重化。具体而言，能够想到采用如下方式(所谓的双锁步方式)：设置进行同一的数据处理的两个处理部，向两个处理部输入同一数据，比较两个处理部的输出，在两个处理部的输出互不相同的情况下判断为数据处理存在异常。但是，如果将数据处理系统双重化，就要追加冗余的构成，数据处理系统的电路规模就会增大，功耗就会增加。
此处公开的技术正是为解决上述技术问题而完成的，其目的在于：提供一种外部环境识别装置，其能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
－用以解决技术问题的技术方案－
此处公开的技术涉及一种识别移动体的外部环境的外部环境识别装置。该外部环境识别装置包括识别处理部，所述识别处理部根据拍摄由所述移动体的外部环境的摄像部得到的图像数据来进行识别该移动体的外部环境的识别处理。所述识别处理部由多个运算内核构成。所述多个运算内核包括识别处理内核和异常检测内核。所述识别处理内核进行所述识别处理；所述异常检测内核根据所述识别处理内核的输出的异常，检测包括所述摄像部和所述识别处理部的数据处理系统的异常。
在上述构成方式下，不用将成为异常检测对象的数据处理系统的整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
需要说明的是，所述识别处理内核的输出的异常也可以为可移动区域的异常，所述可移动区域包括在该识别处理内核的输出所表示的所述移动体的外部环境中。
在上述构成方式下，异常检测内核根据识别处理内核的输出所表示的可移动区域(即由识别处理识别出的可移动区域)的异常，检测数据处理系统的异常。需要说明的是，在表示移动体的外部环境的图像(图像数据)中，表示可移动区域(例如车道)的像素区域的面积有比表示人与物(例如车辆)的像素区域的面积大的倾向。因此，在识别处理中，可移动区域比人与物更容易被识别出来。因此，通过根据识别处理内核的输出所表示的可移动区域的异常来检测数据处理系统的异常，与根据识别处理内核的输出所表示的人与物的异常来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
所述识别处理内核的输出的异常可以为该识别处理内核的输出的经时变化的异常。
在上述构成方式下，异常检测内核根据识别处理内核的输出的经时变化的异常来检测数据处理系统的异常。像这样，通过根据识别处理内核的输出的经时变化的异常，能够检测出仅靠单一时刻下的识别处理内核的输出无法检测出的异常。这样一来，能够提高对数据处理系统的异常的检测精度。
所述异常检测内核也可以构成为根据所述识别处理内核的输出的异常的持续时间，检测所述数据处理系统的异常。
在上述构成方式下，通过根据识别处理内核的输出的异常的持续时间来检测数据处理系统的异常，能够降低数据处理系统的异常的过度检测。这样一来，能够适当地进行数据处理系统的异常的检测。
－发明的效果－
根据此处公开的技术，能够减小电路规模伴随着追加异常检测功能的增大并能够减少功耗伴随着追加异常检测功能的增加。
附图说明
图1是示例出实施方式的移动体控制系统的构成的方框图；
图2是示例出外部环境识别部的构成的方框图；
图3是示例出识别处理部的构成的方框图；
图4是示例出外部环境识别部的基本工作的流程图；
图5是示例出图像数据的图；
图6是示例出图像数据的分类结果的图；
图7是示例出整合数据的概念的图；
图8是示例出二维数据的图；
图9是示例出异常检测内核的异常检测工作的流程图；
图10是示例出运算装置的具体结构的图。
具体实施方式
以下，参照附图对实施方式做详细的说明。需要说明的是，用同一符号表示附图中相同或相应的部分，且不再重复做说明。以下，以控制移动体的工作情况的移动体控制系统之一例即车辆控制系统10为例进行说明。
(实施方式)
图1示例出车辆控制系统10的构成。车辆控制系统10设置于作为移动体之一例的车辆(于此例中为自动四轮车)。该车辆能够在手动驾驶、辅助驾驶和自动驾驶之间进行切换。手动驾驶是指根据驾驶员的操作(例如对油门的操作等)而行驶的驾驶。辅助驾驶是指辅助驾驶员操作而行驶的驾驶。自动驾驶是指在无驾驶员操作的情况下行驶的驾驶。车辆控制系统10在自动驾驶以及辅助驾驶中，通过控制设置于车辆的执行装置101来控制车辆工作。例如，执行装置101包括发动机、变速器、制动器、转向系等。
需要说明的是，在下述说明中，将设置有车辆控制系统10的车辆记载为“本车辆”，将存在于本车辆周围的其他车辆记载为“其他车辆”。
在该例中，车辆控制系统10包括：多个摄像头11、多个雷达12、位置传感器13、车辆状态传感器14、驾驶员状态传感器15、驾驶操作传感器16、通信部17、控制单元18、人机界面19、运算装置20。运算装置20为外部环境识别装置之一例。
〔摄像头(摄像部)〕
多个摄像头11彼此具有相同的结构。摄像头11通过拍摄本车辆的外部环境来获取表示本车辆的外部环境的图像数据。由摄像头11获得的图像数据发送给运算装置20。需要说明的是，摄像头11为拍摄移动体的外部环境的摄像部之一例。
在该例中，摄像头11为具有广角镜头的单目摄像头。将多个摄像头11布置在本车辆上，以使多个摄像头11对本车辆的外部环境的拍摄范围遍及本车辆的整个周围。例如，摄像头11由CCD(Charge Coupled Device)或CMOS(Complementary metal-oxide-semiconductor)等固体图像传感器构成。需要说明的是，摄像头11可以是具有一般镜头(例如窄角摄像头)的单目摄像头，也可以是立体摄像头。
〔雷达(检测部)〕
多个雷达12彼此具有相同的结构。雷达12检测本车辆的外部环境。具体而言，雷达12向本车辆的外部环境发送电波(探测波之一例)，并接收来自本车辆的外部环境的反射波，由此对本车辆的外部环境进行检测。雷达12的检测结果发送给运算装置20。需要说明的是，雷达12为检测移动体的外部环境的检测部之一例。检测部通过对移动体的外部环境发送探测波并接收来自移动体的外部环境的反射波，来检测移动体的外部环境。
在该例中，将多个雷达12布置在本车辆上，以使多个雷达12对本车辆的外部环境的检测范围遍及本车辆周围的整个周围。例如，雷达12既可以是发射毫米波(探测波之一例)的毫米波雷达，也可以是发射激光(探测波之一例)的激光雷达(Light Detection andRanging)，又可以是发射红外线(探测波之一例)的红外线雷达，还可以是发射超声波(探测波之一例)的超声波传感器。
〔位置传感器〕
位置传感器13检测本车辆的位置(例如纬度和经度)。例如，位置传感器13接收来自全球定位系统的GPS信息，并根据GPS信息检测本车辆的位置。由位置传感器13检测出的本车辆的位置发送给运算装置20。
〔车辆状态传感器〕
车辆状态传感器14检测本车辆的状态(例如速度、加速度、横摆率等)。例如，车辆状态传感器14由检测本车辆的速度的车速传感器、检测本车辆的加速度的加速度传感器、检测本车辆的横摆率的横摆率传感器等构成。由车辆状态传感器14检测出的本车辆的状态发送给运算装置20。
〔驾驶员状态传感器〕
驾驶员状态传感器15检测驾驶本车辆的驾驶员的状态(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员状态传感器15由拍摄驾驶员的车内摄像头、检测驾驶员的活体信息的生物信息传感器等构成。由驾驶员状态传感器15检测出的驾驶员的状态发送给运算装置20。
〔驾驶操作传感器〕
驾驶操作传感器16检测加给本车辆的驾驶操作。例如，驾驶操作传感器16由检测本车辆的方向盘转角的方向盘转角传感器、检测对本车辆的油门的操作量的加速传感器、检测对本车辆的制动器的操作量的制动传感器等构成。由驾驶操作传感器16检测出的驾驶操作发送给运算装置20。
〔通信部〕
通信部17与设置在本车辆外部的外部装置之间进行通信。例如，通信部17接收来自位于本车辆周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的交通信息等。由通信部17接收到的信息发送给运算装置20。
〔控制单元〕
控制单元18由运算装置20控制，该控制单元18又控制设置在本车辆上的执行装置101。例如，控制单元18包括动力传动装置、制动装置、转向装置等。动力传动装置基于后述的驱动指令值所表示的目标驱动力控制包括在执行装置101中的发动机以及变速器。制动装置基于后述的制动指令值所表示的目标制动力控制包括在执行装置101中的制动器。转向装置基于后述的转向指令值所表示的目标转向量控制包括在执行装置101中的转向器。
〔人机界面〕
人机界面19是为了在运算装置20与本车辆的乘员(特别是驾驶员)之间进行信息的输入输出而设置的。例如，人机界面19包括显示信息的显示屏、以声音输出信息的扬声器、输入声音的麦克风、供本车辆的乘员(特别是驾驶员)操作的操作部等。操作部为触摸面板或按键。
〔运算装置〕
运算装置20基于设置在本车辆上的传感器类的输出以及从车外发送来的信息等，决定本车辆应行驶的路径即目标路径，并决定按目标路径行驶所需要的本车辆的运动即目标运动。运算装置20通过控制控制单元18来控制执行装置101工作，以便使本车辆的运动成为目标运动。例如，运算装置20由具有一个或多个运算芯片的电子控制单元(ECU)构成。换句话说，运算装置20由电子控制单元(ECU)构成，该电子控制单元(ECU)具有一个或多个处理器、以及一个或多个存储器等，该存储器存储一个或多个用于使处理器工作的程序或数据。
在该例中，运算装置20具有外部环境识别部21、候选路径生成部22、车辆举动识别部23、驾驶员举动识别部24、目标运动决定部25、以及运动控制部26。这些是运算装置20的功能的一部分。
外部环境识别部21识别本车辆的外部环境。候选路径生成部22根据外部环境识别部21的输出生成一个或多个候选路径。候选路径为本车辆能够行驶的路径，其为目标路径的候选。
车辆举动识别部23基于车辆状态传感器14的输出识别本车辆的举动(例如速度、加速度、横摆率等)。例如，车辆举动识别部23使用通过深层学习生成的学习模型，根据车辆状态传感器14的输出来识别本车辆的举动。驾驶员举动识别部24根据驾驶员状态传感器15的输出来识别驾驶员的举动(例如驾驶员的健康状态、情绪、身体举动等)。例如，驾驶员举动识别部24使用通过深层学习生成的学习模型，根据驾驶员状态传感器15的输出来识别驾驶员的举动。
目标运动决定部25基于车辆举动识别部23的输出以及驾驶员举动识别部24的输出，从候选路径生成部22所生成的一个或多个候选路径中选择成为目标路径的候选路径。例如，目标运动决定部25从多个候选路径中选择驾驶员感觉最舒适的候选路径。目标运动决定部25根据被选择为目标路径的候选路径来决定目标运动。
运动控制部26基于目标运动决定部25所决定的目标运动来控制控制单元18。例如，运动控制部26分别导出用于达成目标运动的驱动力、制动力、以及转向量即目标驱动力、目标制动力、以及目标转向量。接着，运动控制部26将表示目标驱动力的驱动指令值、表示目标制动力的制动指令值、以及表示目标转向量的转向指令值分别发送给包括在控制单元18中的动力传动装置、制动装置、以及转向装置。
〔外部环境识别部〕
图2示例出外部环境识别部21的构成。在该例中，外部环境识别部21由图像处理芯片31、人工智能加速器32、控制芯片33构成。例如，图像处理芯片31、人工智能加速器32、以及控制芯片33分别由处理器及存储器构成，该存储器存储用于使处理器工作的程序或数据等。
在该例中，外部环境识别部21具有前处理部40、识别处理部41、整合数据生成部42、以及二维数据生成部43。这些为外部环境识别部21的功能的一部分。在该例中，于图像处理芯片31设置有前处理部40、于人工智能加速器32设置有识别处理部41及整合数据生成部42、于控制芯片33设置有二维数据生成部43。
〈前处理部〉
前处理部40对摄像头11所获取的图像数据进行前处理。前处理包括：修正图像数据所表示的图像失真的失真修正处理、调整图像数据所表示的图像明度的白平衡调整处理等。
〈识别处理部〉
识别处理部41进行识别处理。于识别处理中，识别处理部41基于前处理部40所前处理的图像数据来识别本车辆的外部环境。在该例中，识别处理部41根据基于图像数据识别出的本车辆的外部环境和雷达12的检测结果(即由雷达12检测出的本车辆的外部环境)，输出本车辆的外部环境的识别结果。
〈整合数据生成部〉
整合数据生成部42根据识别处理部41的识别结果生成整合数据。整合数据是整合了识别处理部41识别出的包括在本车辆的外部环境中的可移动区域以及人与物而得到的数据。在该例中，整合数据生成部42根据识别处理部41的识别结果生成整合数据。
〈二维数据生成部〉
二维数据生成部43根据整合数据生成部42所生成的整合数据来生成二维数据。二维数据是整合数据中所包括的可移动区域以及人与物被二维化后的数据。
〈外部环境数据生成部〉
需要说明的是，在该例中，整合数据生成部42及二维数据生成部43构成外部环境数据生成部45。外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据(物体数据：Object Data)。外部环境数据为表现识别处理部41所识别出的本车辆的外部环境的数据。在该例中，外部环境数据生成部45根据识别处理部41的识别结果来生成外部环境数据。
〔识别处理部的构成〕
图3示例出识别处理部41的构成。识别处理部41由多个运算内核300构成。多个运算内核300包括识别处理内核301和异常检测内核302。在图3之例中，十二个运算内核300中的八个运算内核300为识别处理内核301，剩余的四个运算内核300为异常检测内核302。例如，运算内核300由处理器和存储用于使处理器工作的程序和数据的存储器构成。
识别处理内核301执行识别处理。在识别处理中，识别处理内核301基于由前处理部40进行前处理而得到的图像数据来识别本车辆的外部环境。在该例中，识别处理内核301根据雷达12的检测结果和基于图像数据识别出的本车辆的外部环境，输出本车辆的外部环境的识别结果。
异常检测内核302根据识别处理内核301的输出的异常，来检测包括摄像头11和识别处理部41的数据处理系统的异常。在该例中，包括摄像头11和识别处理部41的数据处理系统为从摄像头11经由前处理部40到达识别处理部41的数据处理系统。例如，异常检测内核302也可以构成为：在检测数据处理系统的异常的异常检测处理中，使用通过深层学习生成的学习模型来检测识别处理内核301的输出的异常。该学习模型为用于检测识别处理内核301的输出的异常的学习模型。需要说明的是，异常检测内核302也可以构成为：使用其他公知的异常检测技术来检测识别处理内核301的输出的异常。
〔外部环境识别部的基本工作〕
接下来，参照图4说明外部环境识别部21的基本工作。
〈步骤S11〉
首先，前处理部40对摄像头11所获取的图像数据进行前处理。在该例中，前处理部40对多个摄像头11所获取的多个图像数据分别进行前处理。前处理包括：修正图像数据所表示出的图像失真(在该例中为由摄像头11的广角化而引起的失真)的失真修正处理、调整图像数据所表示出的图像的白平衡的白平衡调整处理等。需要说明的是，在摄像头11所获取的图像数据中没有失真的情况下(例如使用具有一般镜头的摄像头的情况下)，也可以省略失真修正处理。
如图5所示，图像数据D1所表示的本车辆的外部环境包括车道50、人行道71、及空地72。车道50为本车辆能够移动的可移动区域之一例。该图像数据D1所表示的本车辆外部环境中包括其他车辆61、标志牌62、行道树63、以及建筑物80。其他车辆61(自动四轮车)是随着时间经过而发生位移的运动物体之一例。能够列举出的作为运动物体的其他例子有：自动二轮车、自行车、行人等。标志62和行道树63是随着时间经过却不发生位移的静止物体之一例。能够列举出的作为静止物体的其他例子有：中间分隔带、道路中央的柱子、建筑物等。运动物体和静止物体为人与物60之一例。
在图5之例中，在车道50的外侧设有人行道71，在人行道71的外侧(远离车道50的一侧)设有空地72。在图5之例中，一台其他车辆61在车道50中的本车辆行驶的车道上行驶，两台其他车辆61在车道50中的本车辆行驶的车道的反向车道上行驶。沿着人行道71的外侧排列有标志牌62和行道树63。在本车辆的前方较远的位置处设有建筑物80。
〈步骤S12〉
接着，识别处理部41(识别处理内核301)对图像数据D1进行分类处理。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行分类处理。在分类处理中，识别处理部41以像素为单位对图像数据D1所表示的图像进行分类，并将表示该分类结果的分类信息附加到图像数据D1中。通过该分类处理，识别处理部41从图像数据D1所表示的图像(表示本车辆的外部环境的图像)中识别可移动区域以及人与物。例如，识别处理部41使用通过深层学习生成的学习模型进行分类处理。该学习模型为用于以像素为单位对图像数据D1所表示的图像进行分类的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的分类技术进行分类处理。
图6示出的分割图像D2示例出的是图像数据D1所表示的图像的分类结果。在图6的例子中，图像数据D1所表示的图像以像素单位被分类为车道、车辆、标志牌、行道树、人行道、空地、以及建筑物中的某一个。
〈步骤S13〉
接着，识别处理部41(识别处理内核301)对图像数据进行可移动区域数据生成处理。在可移动区域数据生成处理中，识别处理部41从图像数据D1所表示的图像中确定通过分类处理被分类为可移动区域(在该例中为车道50)的像素区域，并根据该已确定出的像素区域生成可移动区域数据。可移动区域数据为表示识别处理部41所识别出的可移动区域的数据(在该例中为三维地图数据)。在该例中，识别处理部41根据在同一时刻由多个摄像头11获取的多个图像数据的每一个中的已确定的可移动区域，生成可移动区域数据。例如，在可移动数据生成处理中，可以使用公知的三维数据生成技术。
〈步骤S14〉
识别处理部41(识别处理内核301)进行人与物信息生成处理。在人与物信息生成处理中，识别处理部41进行第一信息生成处理、第二信息生成处理、以及信息整合处理。
第一信息生成处理是针对图像数据进行的。在该例中，识别处理部41对多个摄像头11所获取的多个图像数据分别进行第一信息生成处理。在第一信息生成处理中，识别处理部41从图像数据D1所表示的图像中确定通过分类处理被分类为人与物60的像素区域，根据该确定的像素区域生成人与物信息。需要说明的是，在图像数据D1所表示的图像中识别出多个人与物60的情况下，识别处理部41对多个人与物60分别进行第一信息生成处理。人与物信息为关于人与物60的信息，表示人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小及方向等。例如，识别处理部41使用通过深层学习生成的学习模型来进行第一信息生成处理。该学习模型为基于已从图像数据D1所表示的图像中确定出的像素区域(被分类为人与物60的像素区域)来生成人与物信息的学习模型。需要说明的是，识别处理部41也可以构成为使用其他公知的信息生成技术(人与物检测技术)进行第一信息生成处理。
第二信息生成处理是针对雷达12的输出进行的。在该例中，识别处理部41根据多个雷达12各自的输出进行第二信息生成处理。在第二信息生成处理中，识别处理部41根据雷达12的检测结果生成人与物信息。例如，识别处理部41通过对雷达12的检测结果(表现本车辆的外部环境的反射波的强度分布)进行解析处理，而导出人与物信息(具体而言，为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆的移动速度的相对速度的大小以及方向等)。需要说明的是，识别处理部41既可以构成为使用通过深层学习生成的学习模型(用于根据雷达12的检测结果生成人与物信息的学习模型)进行第二信息生成处理，也可以构成为使用其他公知的解析技术(人与物检测技术)进行第二信息生成处理。
在信息整合处理中，识别处理部41通过整合第一信息生成处理所得到的人与物信息和第二信息生成处理所得到的人与物信息来生成新的人与物信息。例如，识别处理部41针对人与物信息中包括的多个参数(具体而言为人与物60的种类、人与物60的形状、从本车辆到人与物60的距离以及方向、以本车辆为基准的人与物60的位置、人与物60相对于本车辆移动速度的相对速度的大小以及方向等)中的每一个参数，通过比较第一信息生成处理所得到的人与物信息参数以及通过第二信息生成处理所得到的人与物信息参数，将两个参数中精度较高的参数作为新的人与物信息中包括的参数。
〈步骤S15〉
接着，整合数据生成部42通过整合在步骤S13中生成的可移动区域数据以及在步骤S14中生成的人与物信息来生成整合数据D3。整合数据D3是整合了识别处理部41(识别处理内核301)所识别出的可移动区域(在该例中为车道50)以及人与物60而得到的数据(在该例中为三维地图数据)。例如，整合数据生成部42也可以构成为使用公知的数据整合技术，由可移动区域数据及人与物信息来生成整合数据D3。
图7示出了整合数据D3的概念。如图7所示，在整合数据D3中，人与物60被抽象化。
〈步骤S16〉
接着，二维数据生成部43通过将整合数据D3二维化来生成二维数据D4。二维数据D4为包括在整合数据D3中的可移动区域(在该例中为车道50)以及人与物60被二维化后的数据(在该例中为二维地图数据)。例如，二维数据生成部43也可以构成为使用公知的二维化技术，由整合数据D3生成二维数据D4。
如图8所示，在二维数据D4中，可移动区域(在该例中为车道50)和人与物60(在该例中为本车辆100)被二维化。在该例中，二维数据D4对应本车辆100的俯视图(从上空俯视本车辆100而得到的图)。二维数据D4包括车道50、其他车辆61、以及本车辆100。
如上所述，在该例中，由识别处理部41(具体而言为识别处理内核301)执行的识别处理包括分类处理、可移动区域数据生成处理、以及人与物信息生成处理。并且，在识别处理内核301的输出中示出了通过识别处理识别出的本车辆的外部环境(可移动区域、人与物60等)。
〔异常检测处理〕
接着，参照图9说明异常检测内核302的异常检测处理(检测数据处理系统的异常的处理)。
〈步骤S21〉
首先，异常检测内核302获取识别处理内核301的输出。也就是说，通过异常检测内核302获取的识别处理内核301的输出表示通过识别处理识别出的本车辆的外部环境。
〈步骤S22〉
接着，异常检测内核302判断识别处理内核301的输出是否有发生异常。在识别处理内核301的输出发生了异常的情况下进行步骤S23的处理，在没有发生异常的情况下则进行步骤S24的处理。
〈步骤S23〉
在识别处理内核301的输出发生了异常的情况下，异常检测内核302判断为包括有摄像头11和识别处理部41的数据处理系统发生了异常。
〈步骤S24〉
而在识别处理内核301的输出未发生异常的情况下，异常检测内核302判断为包括有摄像头11和识别处理部41的数据处理系统未发生异常。
〔识别处理内核301的输出的异常的具体例〕
接下来，对识别处理内核301的输出的异常进行说明。在该例中，识别处理内核301的输出的异常包括识别处理内核301的输出的静态异常和识别处理内核301的输出的经时变化的异常(动态异常)。也就是说，在该例中，在发生了识别处理内核301的输出的静态异常以及识别处理内核301的输出的经时变化的异常中的至少一者的情况下，异常检测内核302判断为发生了数据处理系统的异常；在识别处理内核301的输出的静态异常以及识别处理内核301的输出的经时变化的异常这两者都没有发生的情况下，异常检测内核302判断为没有发生数据处理系统的异常。
〈识别处理内核301的输出的静态异常〉
识别处理内核301的输出的静态异常根据识别处理内核301的输出而检测出来，该识别处理内核301的输出是基于在单一时刻下获取的图像数据而生成的。能够列举出的识别处理内核301的输出的静态异常的例子有：识别处理内核301的输出的数据量的异常、识别处理内核301的输出所表示的本车辆的外部环境的异常等。
在基于识别处理内核301的输出的数据量的异常之异常检测处理(检测数据处理系统的异常的处理)中，在识别处理内核301的输出的数据量偏离了事先决定好的正常范围的情况下，异常检测内核302判断为发生了数据处理系统的异常；在识别处理内核301的输出的数据量没有偏离正常范围的情况下，异常检测内核302判断为没有发生数据处理系统的异常。
在基于识别处理内核301的输出所表示的本车辆的外部环境(即由识别处理识别出的车辆的外部环境)的异常之异常检测处理中，在识别处理内核301的输出所表示的本车辆的外部环境不现实的情况下，异常检测内核302判断为发生了数据处理系统的异常；在识别处理内核301的输出所表示的本车辆的外部环境现实的情况下，异常检测内核302判断为没有发生数据处理系统的异常。需要说明的是，能够列举出的识别处理内核301的输出所表示的本车辆的外部环境不现实的例子有：包括在识别处理内核301的输出所表示的本车辆的外部环境中的车道50的位置及/或形状不现实的情况、包括在识别处理内核301的输出所表示的本车辆的外部环境中的人与物60的位置及/或形状不现实的情况、包括在识别处理内核301的输出所表示的本车辆的外部环境中的车道50以及人与物60的各自的位置及/或形状不现实的情况等。具体而言，能够列举出的有：车道50的宽度偏离了事先设定好的车道宽度范围(例如假定的车道50的宽度的最小值至最大值的范围)的情况、作为人与物60之一例的其他车辆61的车宽偏离了事先设定好的车宽范围(例如假定的其他车辆61的宽度的最小值至最大值的范围)的情况等。
〈识别处理内核301的输出的经时变化的异常〉
识别处理内核301的输出的经时变化的异常根据多个识别处理内核301的输出而检测出来，该多个识别处理内核301的输出是基于分别在不同的时刻下获取的多个图像数据而生成的。能够列举出的识别处理内核301的输出的经时变化的例子有：识别处理内核301的输出的数据量的经时变化异常、识别处理内核301的输出所表示的本车辆的外部环境的经时变化异常等。
在基于识别处理内核301的输出的数据量的经时变化异常之异常检测处理(检测数据处理系统的异常的处理)中，在识别处理内核301的输出的数据量的经时变化量(例如每单位时间的变化量)偏离了事先决定好的正常变化范围的情况下，异常检测内核302判断为发生了数据处理系统的异常；在识别处理内核301的输出的数据量的经时变化量没有偏离正常变化范围的情况下，异常检测内核302判断为没有发生数据处理系统的异常。
在基于识别处理内核301的输出所表示的本车辆的外部环境的经时变化异常之异常检测处理中，在识别处理内核301的输出所表示的本车辆的外部环境的经时变化不现实的情况下，异常检测内核302判断为发生了数据处理系统的异常；在识别处理内核301的输出所表示的本车辆的外部环境的经时变化为现实的情况下，异常检测内核302判断没有发生数据处理系统的异常。需要说明的是，能够列举出的识别处理内核301的输出所表示的本车辆的外部环境的经时变化不现实的例子有：包括在识别处理内核301的输出所表示的本车辆的外部环境中的车道50(可移动区域)的位置及/或形状的经时变化不现实的情况、包括在识别处理内核301的输出所表示的本车辆的外部环境中的人与物60的位置及/或形状的经时变化不现实的情况、包括在识别处理内核301的输出所表示的本车辆的外部环境中的车道50以及人与物60的各自的位置及/或形状的经时变化不现实的情况等。具体而言，能够列举出的有：车道50的宽度的经时变化量超过事先设定好的车道宽度上限变化量(例如假定的车道50的宽度的经时变化量的上限)的情况、作为人与物60之一例即其他车辆61的车宽的经时变化量超过事先设定好的车宽上限变化量(例如假定的其他车辆61的宽度的经时变化量的上限)的情况、其他车辆61或标志牌62等人与物60突然消失而无法追踪人与物60的情况等。
(实施方式的效果)
如上所述，该实施方式的运算装置20，不用将成为异常检测对象的数据处理系统整体双重化，就能够检测数据处理系统的异常。这样一来，与将成为异常检测对象的数据处理系统的整体双重化的情况相比，能够减小电路规模伴随着追加异常检测功能的增大，并能够减少功耗伴随着追加异常检测功能的增加。
在该实施方式的运算装置20中，异常检测内核302根据识别处理内核301的输出的经时变化的异常来检测数据处理系统的异常。像这样，通过根据识别处理内核301的输出的经时变化的异常，能够检测出仅靠单一时刻下的识别处理内核301的输出无法检测出的异常。这样一来，能够提高对数据处理系统的异常的检测精度。
(实施方式的变形例1)
需要说明的是，识别处理内核301的输出的异常优选为可移动区域的异常，在由识别处理内核301的输出所表示的车辆的外部环境(即通过认证处理而识别出的车辆的外部环境)中包括所述可移动区域。在该变形例1中，异常检测内核302根据包括在识别处理内核301的输出所表示的车辆的外部环境中的可移动区域的异常，来检测数据处理系统的异常。
〔实施方式的变形例1的效果〕
在本实施方式的变形例1的运算装置20中，异常检测内核302根据通过识别处理识别出的可移动区域的异常，来检测数据处理系统的异常。需要说明的是，在表示车辆的外部环境的图像(图像数据)中，表示可移动区域(例如车道50)的像素区域的面积有比表示人与物60(例如车辆61)的像素区域的面积大的倾向。因此，在识别处理中，可移动区域比人与物更容易被识别出来。因此，通过根据通过识别处理识别出的可移动区域的异常来检测数据处理系统的异常，与根据通过识别处理识别出的人与物的异常来检测数据处理系统的异常的情况相比，能够提高数据处理系统的异常的检测精度。
(实施方式的变形例2)
异常检测内核302也可以构成为根据识别处理内核301的输出的异常的持续时间，来检测数据处理系统的异常。具体而言，在该变形例2中，在识别处理内核301的输出异常的持续时间超过了事先决定好的正常时间的情况下，异常检测内核302判断为数据处理系统发生了异常；在识别处理内核301的输出异常的持续时间没有超过正常时间的情况下，异常检测内核302判断为数据处理系统没有发生异常。需要说明的是，在该变形例2中，识别处理内核301的输出的异常可以包括识别处理内核301的输出的静态异常和识别处理内核301的输出的经时变化的异常(动态异常)。
〔实施方式的变形例2的效果〕
在该实施方式的变形例2的运算装置20中，异常检测内核302根据识别处理内核301的输出异常的持续时间，来检测数据处理系统的异常。这样一来，能够降低数据处理系统的异常的过度检测。例如，在识别处理内核301的输出由于非数据处理系统异常的其他原因(例如一瞬间的噪声等)而仅在非常短暂的时间内发生异常的情况下，能够避免误检测出数据处理系统异常这样的现象发生。这样一来，能够适当地进行数据处理系统的异常的检测。
(实施方式的变形例3)
多个运算内核300中的一部分或全部可以构成为能够切换为识别处理内核301和异常检测内核302。例如，如图3所示，在排列成三行四列的行列状的十二个运算内核300全部能够切换为识别处理内核301和异常检测内核302的情况下，可以周期性地切换成以下状态：第一行的运算内核300成为异常检测内核302而剩余的运算内核300成为识别处理内核301的第一状态；第二行的运算内核300成为异常检测内核302而剩余的运算内核300成为识别处理内核301的第二状态；第三行的运算内核300成为异常检测内核302而剩余的运算内核300成为识别处理内核301的第三状态。
〔实施方式的变形例3的效果〕
在本实施方式的变形例3的运算装置20中，多个运算内核300的一部分或全部构成为能够切换为识别处理内核301和异常检测内核302。这样一来，能够将成为异常检测内核302且负责异常检测处理的运算内核300切换成为异常检测处理的对象的识别处理内核301，因此能够增加成为异常检测处理的对象的运算内核300的数量。
(控制装置的具体结构)
图10示例出上述运算装置20的具体构成。运算装置20设置在车辆V上。运算装置20具有一个或多个电子控制单元(ECU)。电子控制单元具有一个或多个芯片A。芯片A具有一个或多个内核B。内核B具有处理器P及存储器M。也就是说，运算装置20具有一个或多个处理器P及一个或多个存储器M。存储器M存储用于使处理器工作的程序以及信息。具体而言，存储器M存储能由处理器P执行的软件即模块、以及表示在处理器P的处理中利用的模型之数据等。上述控制装置20的各部分的功能通过处理器P执行存储在存储器M中的各模块来实现。
(其他的实施方式)
在以上的说明中，作为移动体以车辆(自动四轮车)为例进行了说明，但并不限于此。例如，移动体可以是船舶、火车、飞机、自动二轮车、自主移动机器人、吸尘器、无人机等。
在以上的说明中，举例说明了二维数据生成部43设置在控制芯片33中的情况，但并不限于此。例如，二维数据生成部43既可以设置在人工智能加速器32中，也可以设置在其他运算芯片中。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
在以上的说明中，举例说明了外部环境识别部21由图像处理芯片31、人工智能加速器32、以及控制芯片33构成的情况，但并不限于此。例如，外部环境识别部21可以由两个以下的运算芯片构成，也可以由四个以上的运算芯片构成。需要说明的是，对于外部环境识别部21的其他构成(例如前处理部40等)以及运算装置20的其他构成(例如候选路径生成部22等)来说，也是一样的。
可以适当地组合以上实施方式以及变形例并实施。以上的实施方式以及变形例在本质上是优选的示例，并没有限制本发明、其适用对象或其用途范围的意图。
－产业实用性－
综上所述，这里所公开的技术作为识别移动体的外部环境的外部环境识别装置是有用的。
－符号说明－
10 车辆控制系统(移动体控制系统)
11 摄像头(摄像部)
12 雷达(检测部)
13 位置传感器
14 车辆状态传感器
15 驾驶员状态传感器
16 驾驶操作传感器
17 通信部
18 控制单元
19 人机界面
20 运算装置
21 外部环境识别部
22 候选路径生成部
23 车辆举动识别部
24 驾驶员举动识别部
25 目标运动决定部
26 运动控制部
31 图像处理芯片
32 人工智能加速器
33 控制芯片
40 前处理部
41 识别处理部
42 整合数据生成部
43 二维数据生成部
45 外部环境数据生成部
50 车道(可移动区域)
60 人与物
61 其他车辆
62 标志牌
63 行道树
71 人行道
72 空地
80 建筑物
100 车辆(移动体)
101 执行装置
300 运算内核
301 识别处理内核
302 异常检测内核

Claims (4)

1.一种外部环境识别装置，其用于识别移动体的外部环境，其特征在于：所述外部环境识别装置包括识别处理部，
所述识别处理部根据由拍摄所述移动体的外部环境的摄像部得到的图像数据，进行识别该移动体的外部环境的识别处理，
所述识别处理部由多个运算内核构成，
所述多个运算内核包括识别处理内核和异常检测内核，
所述识别处理内核进行所述识别处理，
所述异常检测内核根据所述识别处理内核的输出的异常，检测包括所述摄像部和所述识别处理部的数据处理系统的异常。
2.根据权利要求1所述的外部环境识别装置，其特征在于：
所述识别处理内核的输出的异常为可移动区域的异常，所述可移动区域包括在该识别处理内核的输出所表示的所述移动体的外部环境中。
3.根据权利要求1或2所述的外部环境识别装置，其特征在于：
所述识别处理内核的输出的异常为该识别处理内核的输出的经时变化的异常。
4.根据权利要求1到3中任一项权利要求所述的外部环境识别装置，其特征在于：
所述异常检测内核根据所述识别处理内核的输出的异常的持续时间来检测所述数据处理系统的异常。
CN202080043188.1A 2019-06-14 2020-03-16 外部环境识别装置 Pending CN113966526A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-111071 2019-06-14
JP2019111071A JP7400222B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置
PCT/JP2020/011537 WO2020250527A1 (ja) 2019-06-14 2020-03-16 外部環境認識装置

Publications (1)

Publication Number Publication Date
CN113966526A true CN113966526A (zh) 2022-01-21

Family

ID=73781736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043188.1A Pending CN113966526A (zh) 2019-06-14 2020-03-16 外部环境识别装置

Country Status (5)

Country Link
US (1) US11830254B2 (zh)
EP (1) EP3979221A4 (zh)
JP (1) JP7400222B2 (zh)
CN (1) CN113966526A (zh)
WO (1) WO2020250527A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
JP2006285699A (ja) * 2005-03-31 2006-10-19 Nohmi Bosai Ltd 画像処理装置
US20110109737A1 (en) * 2008-10-08 2011-05-12 Sjoerd Aben Navigation apparatus and method for recording image data
CN103185724A (zh) * 2011-12-28 2013-07-03 富士通株式会社 路面检查装置
US20180180440A1 (en) * 2016-12-28 2018-06-28 Honda Motor Co., Ltd. Information processing system and information processing method
CN108983768A (zh) * 2017-06-02 2018-12-11 丰田自动车株式会社 自动驾驶系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10218924A1 (de) 2002-04-27 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Kursprädiktion bei Kraftfahrzeugen
DE102009024131A1 (de) 2009-06-05 2010-01-21 Daimler Ag Verfahren zur Ermittelung einer Fahrspur und Fahrerassistenzsystem für ein Fahrzeug mit Mitteln zur Ermittelung einer Fahrspur
JP6316976B2 (ja) * 2014-09-30 2018-04-25 日立オートモティブシステムズ株式会社 車載画像認識装置
DE102015222321A1 (de) 2015-11-12 2017-05-18 Siemens Aktiengesellschaft Verfahren zum Betrieb eines Mehrkernprozessors
CN107226091B (zh) 2016-03-24 2021-11-26 松下电器（美国）知识产权公司 物体检测装置、物体检测方法以及记录介质
JP6858002B2 (ja) 2016-03-24 2021-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
JP6611353B2 (ja) 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
US20180215392A1 (en) 2017-02-02 2018-08-02 Denso Ten Limited Vehicle control device and vehicle control method
JP6925131B2 (ja) 2017-02-02 2021-08-25 株式会社デンソーテン 車両制御装置及び車両制御方法
JP6751691B2 (ja) 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
JP2006285699A (ja) * 2005-03-31 2006-10-19 Nohmi Bosai Ltd 画像処理装置
US20110109737A1 (en) * 2008-10-08 2011-05-12 Sjoerd Aben Navigation apparatus and method for recording image data
CN103185724A (zh) * 2011-12-28 2013-07-03 富士通株式会社 路面检查装置
US20180180440A1 (en) * 2016-12-28 2018-06-28 Honda Motor Co., Ltd. Information processing system and information processing method
CN108983768A (zh) * 2017-06-02 2018-12-11 丰田自动车株式会社 自动驾驶系统

Also Published As

Publication number Publication date
JP2020204821A (ja) 2020-12-24
EP3979221A1 (en) 2022-04-06
US20220237922A1 (en) 2022-07-28
WO2020250527A1 (ja) 2020-12-17
US11830254B2 (en) 2023-11-28
EP3979221A4 (en) 2022-07-27
JP7400222B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
CN113168505B (zh) 用于自主驾驶机器的基于回归的线检测
CN110248861B (zh) 在车辆操纵过程中使用机器学习模型来引导车辆
CN111095291B (zh) 由自动驾驶车辆实时检测车道和边界
US11023788B2 (en) Systems and methods for estimating future paths
Bertozzi et al. Vision-based intelligent vehicles: State of the art and perspectives
CN113767389A (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
US10402670B2 (en) Parallel scene primitive detection using a surround camera system
EP3121764B1 (en) Animal type determination device
US7974445B2 (en) Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program
CN115136148A (zh) 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测
CN114008698A (zh) 外部环境识别装置
US20220222936A1 (en) Outside environment recognition device
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
Rana et al. The perception systems used in fully automated vehicles: a comparative analysis
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
CN113966526A (zh) 外部环境识别装置
CN113994405A (zh) 外部环境识别装置
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
JP2021047120A (ja) 認識装置、制御システム、認識方法、及びプログラム
CN113875223B (zh) 外部环境识别装置
JP7503921B2 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination