CN113853639A - 外部环境识别装置 - Google Patents

外部环境识别装置 Download PDF

Info

Publication number
CN113853639A
CN113853639A CN202080037648.XA CN202080037648A CN113853639A CN 113853639 A CN113853639 A CN 113853639A CN 202080037648 A CN202080037648 A CN 202080037648A CN 113853639 A CN113853639 A CN 113853639A
Authority
CN
China
Prior art keywords
thinning
vehicle
external environment
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080037648.XA
Other languages
English (en)
Inventor
滨野大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN113853639A publication Critical patent/CN113853639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

外部环境识别装置包括：物理层电路(111)，其接收外部环境信号；逻辑层电路(112)，其根据物理层电路(111)接收到的外部环境信号构建数据行；环境数据生成部(121)，其根据数据行生成自主移动体外部的环境数据；移动场景判断部(131)，其根据环境数据判断自主移动体的移动场景；以及细化处理部(132)，其决定与移动场景判断部(131)判断出的移动场景相对应的细化方法后，对数据行及环境数据中的至少一者进行细化处理。

Description

外部环境识别装置
技术领域
这里所公开的技术属于与用于自主移动体的外部环境识别装置相关的技术领域。
背景技术
近年来，与识别外部环境并进行移动、行驶、飞行等(以下，亦总称为“移动”)的自主移动体相关的研发等正得到推进。上述自主移动体使用摄像头等传感器装置识别外部环境，根据该识别结果来决定移动方向、移动速度等。在这样的自主移动体中，由传感器装置获取的数据的量和精度会对其动作精度产生影响。例如，以作为传感器装置的摄像头为例，通过增加摄像头的台数或使用高精度的摄像头等来扩大可拍摄范围或提升拍摄画质、帧速率，从而能够提升自主移动的动作精度。特别是，像具有自动驾驶功能的汽车那样，从即使在移动速度相对较快的状况下也要确保充分安全性的观点出发，优选在相对较短的时间内对高画质的图像数据进行分析、处理。另一方面，高画质图像、高帧速率图像的处理数据量增加，处理数据的运算处理装置的负荷会变大，有可能产生散热等问题。因此，在运算处理装置中，处理数据量较少的情况是优选的。
因此，例如能够想到对拍摄图像数据中的一部分帧进行细化，但若过度地细化图像数据，自主移动体的控制性能就有可能下降。
在专利文献1中公开了一种障碍物检测装置，其目的在于在尽量不降低检测精度等的情况下谋求减轻图像分析的处理负荷，该障碍物检测装置将各帧图像中的监视范围的整体区域划分为多个小区域，仅将在整体区域中存在于特定位置的多个部分的图像作为分析对象，通过对当前帧图像与前一帧图像进行比较来检测运动矢量。
在专利文献2中公开了一种车辆用后侧监视装置，该车辆用后侧监视装置根据情况有选择地使用第一图像处理部和第二图像处理部，该第一图像处理部对由拍摄部获得的道路图像的整体进行图像信息的细化处理，该第二图像处理部对由拍摄部获得的道路图像的一部分区域在不进行图像信息的细化的情况下加以处理。
专利文献1：日本公开专利公报特开2010-262357号公报
专利文献2：日本公开专利公报特开2000-251080号公报
发明内容
－发明要解决的技术问题－
不过，在采用专利文献1、2那样的方法时，有可能因细化处理而失去自主移动体移动所需的信息。
例如，在专利文献1的技术中，为了减少图像分析处理的负荷，需要减少各帧中分析对象的块数，但这样一来，在各帧中无法分析的块就会增加。也能够确保各帧中分析对象的块数，以便在一定程度上提高分析精度，但这样一来，处理负荷的降低量就会减少。
在专利文献2的技术中，由于对道路图像的整体实施了细化处理，所以例如在由第二图像处理部进行图像处理的区域以外的区域中，有可能因细化处理而失去自主移动体移动所需的信息。
这里所公开的技术正是鉴于上述技术问题而完成的，其目的在于：在尽量不失去自主移动体移动所需的信息的情况下，减轻运算装置的处理负荷。
－用以解决技术问题的技术方案－
为了解决上述技术问题，这里所公开的技术的一方面以控制车辆行驶的外部环境识别装置作为对象，其构成为具备：物理层电路，其从获取所述自主移动体的外部的环境信息的外部信息获取装置接收包括该环境信息的外部环境信号；逻辑层电路，其根据所述物理层电路接收到的外部环境信号构建数据行；环境数据生成部，其根据所述数据行生成所述自主移动体的外部的环境数据；移动场景判断部，其根据所述环境数据，判断所述自主移动体的移动场景；以及细化处理部，其决定与所述移动场景判断部判断出的移动场景相对应的细化方法后，对所述数据行及所述环境数据中的至少一者进行细化处理。
这里所公开的技术的另一方面以外部环境识别装置作为对象，其构成为具备：物理层电路，其接收拍摄所述自主移动体的外部的拍摄装置的拍摄信号；逻辑层电路，其根据所述物理层电路接收到的拍摄信号构建数据行；图像数据生成部，其根据所述数据行生成图像数据；移动场景判断部，其根据获取所述自主移动体的外部的环境信息的外部信息获取装置的输出来判断移动场景；以及细化处理部，其决定与所述移动场景判断部判断出的移动场景相对应的细化方法后，对所述数据行及所述图像数据中的至少一者进行细化处理。
根据上述构成，由行驶场景判断部判断行驶场景，并采用根据该判断结果决定好的细化方法进行细化处理。也就是说，在已知是何种行驶场景的数据的阶段，换言之，在已知是否为表示即使细化也没有问题的这一状况的数据的阶段，能够进行细化处理。由此，能够在尽量不失去所需的信息的情况下削减运算装置进行处理的数据量，从而能够减轻运算装置的处理负荷。
也可以是这样的，即：所述移动场景判断部判断所述自主移动体的移动速度以作为所述自主移动体的移动场景，在所述细化处理部中，作为所述细化方法，构成为使所述细化处理的细化率随着所述移动速度变慢而变高。
由此，在自主移动体以低速移动的情况下，能够避免过度的数据处理。
也可以是这样的，所述细化处理部构成为：当所述移动场景判断部判断出作为所述自主移动体的车辆正在进行驻停车动作以作为所述移动场景时，作为所述细化方法，使所述细化处理的细化率高于所述车辆进行正常移动时的所述细化率。
由此，能够避免在车辆驻停车时进行过度的数据处理。
－发明的效果－
如上所述，根据这里所公开的技术，由于以与移动场景相对应的细化方法进行细化处理，因此能够在尽量不失去自主移动体移动所需的信息的情况下减轻运算装置的处理负荷。
附图说明
图1是示出安装有外部环境识别装置的汽车的控制系统的方框图。
图2是示出安装有车辆用信息显示装置的车辆的简图。
图3是示出外部环境识别装置的构成的方框图。
图4是示出外部环境识别装置的动作示例的流程图。
图5是示出外部环境识别装置的动作示例的流程图。
具体实施方式
下面，参照附图对示例性的实施方式进行详细的说明。需要说明的是，在以下的实施方式中，作为自主移动体将以具有自动驾驶功能的汽车为例进行说明。不过，能够应用本公开所涉及的外部环境识别装置的自主移动体并不限于汽车，例如也能够应用于自主移动型行走机器人、吸尘器、无人机等。
图1是简要示出本实施方式所涉及的车辆10的控制系统的构成的方框图。车辆10构成为能够进行辅助驾驶及自动驾驶。
在本实施方式中，车辆10具有运算装置100，为了能够实现辅助驾驶及自动驾驶，该运算装置100根据来自传感器装置20的输出、从车外网络接收到的信息，计算车辆10应行驶的路径，并且决定用于追随该路径的车辆10的运动。运算装置100是由一个或多个芯片构成的微处理器，其具有CPU、存储器等。需要说明的是，在图1中，主要示出了用于实现本实施方式所涉及的路径生成功能的结构，并没有示出运算装置100所具有的全部功能。
向运算装置100输出信息的传感器装置20例如包括：(1)设置于车辆10的车身等且拍摄车外环境的多个摄像头21；(2)设置于车辆10的车身等且检测车外的目标对象等的多个雷达22；(3)利用全球定位系统(Global Positioning System：GPS)检测车辆10的位置(车辆位置信息)的位置传感器23；(4)从车速传感器、加速度传感器、横摆角速度传感器等检测车辆举动的传感器类的输出获取车辆10的状态的车辆状态传感器24；(5)由车内摄像头等构成并获取车辆10上的乘员的状态的乘员状态传感器25；(6)用于检测驾驶员的驾驶操作的驾驶操作信息获取部26。经由与车外网络连接的车外通信部30向运算装置100输入来自位于本车辆10周围的其他车辆的通信信息、来自导航系统的交通信息。
各摄像头21分别布置成能够在水平方向上对车辆10的周围进行360°拍摄。各摄像头21将已生成的图像数据输出给运算装置100。
具体而言，各摄像头21包括：摄像头侧通信部210，其与运算装置100进行通信；以及拍摄部215，其使用CCD(Charged Coupled devices)或CMOS(Complementary MetalOxide Semiconductor)等感光元件来拍摄表示车外环境的光学图像并生成图像数据。
如图3所示，摄像头侧通信部210包括：逻辑层电路211，其根据由拍摄部215生成的图像数据构建数据行(例如，符合通信标准等的数据行)；以及物理层电路212，其将由逻辑层电路211构建的数据行转换为能够通信的信号形态(例如，模拟信号)并输出给运算装置100。需要说明的是，摄像头侧通信部210的逻辑层电路211及物理层电路212的具体结构能够采用一般公知的结构，例如依据通信标准(发送侧标准)等创建的电路结构，因此这里省略对其进行详细的说明。摄像头21是用于获取车辆10的行驶场景信息的外部信息获取装置之一例，并且是对车辆10的外部进行拍摄的拍摄装置之一例。
由各摄像头21获取的图像数据除了被输入到运算装置100以外，还被输入HMI(Human Machine Interface)单元70。HMI单元70将基于所获取的图像数据的信息显示在车内的显示装置等上。
与摄像头21相同，各雷达22分别布置成其检测范围在水平方向上覆盖住车辆10周围的360°范围。雷达22的种类并没有被特别加以限定，例如能够采用毫米波雷达。雷达22是用于获取车辆10的行驶场景信息的外部信息获取装置之一例。需要说明的是，虽然省略了具体的图示，但各雷达22也可以是构成为能够进行拍摄的成像雷达或激光雷达。并且，与所述摄像头21相同，各雷达22也可以构成为生成图像数据，并经由具有逻辑层电路及物理层电路的传感器侧通信部，将图像数据输出给运算装置100的PU侧通信部110。在该情况下，雷达22相当于用来对车辆10的车外环境进行拍摄的拍摄装置。
运算装置100构成为：根据来自摄像头21、雷达22等传感器装置20的输出、从车外的网络接收到的信息，决定车辆10的目标运动，然后计算用于实现已决定好的目标运动的驱动力、制动力、转向量，并将计算结果输出给控制发动机、制动器等的控制单元80。在图2的结构示例中，运算装置100包括处理器和存储器。存储器储存有模块，所述模块为能够由处理器执行的软件。图1所示的运算装置100的各部分的功能例如可以通过由处理器执行储存于存储器中的各模块来实现。存储器还存储有在运算装置100中使用的模型的数据。需要说明的是，处理器及存储器可以分别为多个。图1所示的运算装置100的各部分的功能中的一部分也可以由硬件电路来实现。
如图1所示，运算装置100具有：PU侧通信部110，其为了设定车辆10的目标运动，接收摄像头21等的传感器侧通信部的输出；车外环境识别部120，其根据PU侧通信部110的输出识别车外环境；候选路径生成部151，其根据由车外环境识别部120识别出的车外环境，计算车辆10能够行驶的一条或多条候选路径；车辆举动推测部152，其基于来自车辆状态传感器24的输出来推测车辆10的举动；乘员举动推测部153，其基于来自乘员状态传感器25的输出来推测车辆10上的乘员的举动；路径决定部154，其决定车辆10应行驶的路径；以及车辆运动决定部155，其决定车辆10的目标运动，该车辆10的目标运动用于追随已由路径决定部154设定好的路径。
进而，如图3所示，运算装置100包括：行驶场景判断部131，其判断车辆10的行驶场景；以及细化处理部132，其决定细化方法并执行基于该细化方法的细化处理，该细化方法与由行驶场景判断部131判断出的行驶场景相对应。
＜PU侧通信部＞
PU侧通信部110从摄像头21、雷达22等拍摄装置接收包括已由拍摄装置拍摄到的拍摄信息在内的拍摄信号，构建用于形成图像数据的数据行后，向车外环境识别部120进行输出。例如以与摄像头21、雷达22一对一连接的方式，设置有数量与摄像头21、雷达22的数量相同的PU侧通信部110。
如图3所示，各PU侧通信部110包括：物理层电路111，其从拍摄装置接收拍摄信号；以及逻辑层电路112，其根据由物理层电路111接收到的拍摄信号构建用于形成图像数据的数据行。在各PU侧通信部110中，逻辑层电路112构成为：构建数据行后，当从后述的细化处理部接收到“数据细化”的指示时，就针对已构建好的数据行将一部分数据进行细化后输出。需要说明的是，“数据细化”动作的具体示例将在下文中进行说明。PU侧通信部110的物理层电路111及数据细化部以外的逻辑层电路112的具体结构能够采用例如像依据通信标准(接收侧标准)等制成的电路结构那样的一般公知的结构，因此这里省略对其进行详细的说明。
PU侧通信部110的物理层电路111、逻辑层电路112分别为外部环境识别装置的物理层电路、逻辑层电路之一例。
＜车外环境识别部＞
车外环境识别部120根据来自各PU侧通信部110的输出来识别车外环境，所述车外环境识别部120包括：图像数据生成部121、物体识别部122、地图生成部123以及环境识别部124。
图像数据生成部121根据由PU侧通信部110输出的数据行生成图像数据。换言之，图像数据生成部121进行如下处理：复原由摄像头21或雷达22(例如图像雷达)拍摄到的图像数据，或者根据摄像头21或雷达22的拍摄结果重新生成图像数据。需要说明的是，能够使用一般的方法生成图像数据，因而这里省略对其进行详细的说明。
物体识别部122基于由图像数据生成部121生成的图像数据、从雷达22接收到的反射波的峰值列表等来识别车外的物体为何物体。例如，物体识别部122根据所述图像数据、峰值列表等检测车外的物体，然后使用存储于运算装置100的数据库等中的识别信息等，来识别车外的物体为何物体，并将其识别为“车外的物体信息”。进而，物体识别部122接收雷达71的输出，并且作为上述“车外的物体信息”，获取了包含存在于车辆1周边的目标对象的位置、速度等在内的“目标对象的定位信息”。需要说明的是，也可以用神经网络等来识别车外的物体为何物体。另外，也可以根据来自各传感器的输出信息来掌握其位置和速度等。
地图生成部123进行下述处理：根据由物体识别部122识别出的车外物体信息，对车辆10周围的三维信息和车外环境模型进行对照，由此识别包含道路及障碍物在内的车外环境，并将其制成地图。车外环境模型例如为通过深度学习而生成的学习完毕模型，并且能够针对车辆周围的三维信息识别道路、障碍物等。需要说明的是，地图生成部123可以构成为生成周围的三维地图或二维地图，或者同时生成所述三维地图和所述二维地图。
具体而言，例如，地图生成部123根据由物体识别部122识别出的车外物体信息，确定自由空间即不存在物体的区域。这里的处理例如可利用通过深度学习而生成的学习完毕模型。地图生成部123生成表示自由空间的二维地图。地图生成部123利用目标对象的定位信息，生成表示车辆10周围的三维地图。在此，使用了摄像头21的设置位置及拍摄方向的信息、雷达22的设置位置及发送方向的信息。
环境识别部124通过将由地图生成部123生成的三维地图及车外环境模型进行对比来识别包含道路及障碍物在内的车外环境。需要说明的是，在深度学习中使用了多层神经网络(DNN：Deep Neural Network)。作为多层神经网络，例如有CNN(ConvolutionalNeural Network)。
需要说明的是，由地图生成部123生成地图的方法也可以为不使用深度学习的方法。例如，也可以构成为地图生成部123在不使用深度学习的情况下将已识别出的物体布置成三维或二维。
由车外环境识别部120识别出的车外环境信息被输出给候选路径生成部151及行驶场景判断部131。候选路径生成部151基于车外环境识别部120的输出、位置传感器23的输出、以及经由车外通信部30从外部网络等接收到的信息等，生成车辆10能够行驶的候选路径。
车外环境识别部120的图像数据生成部121及地图生成部123为外部环境识别装置的环境数据生成部之一例。
＜行驶场景判断部＞
行驶场景判断部131基于由车外环境识别部120生成的地图信息、包含道路及障碍物的车外环境信息、位置传感器23的检测结果、经由车外通信部30从外部网络等接收到的信息中的至少一个信息，来判断车辆10的行驶场景。包括位置传感器23的传感器装置20及车外通信部30为外部信息获取装置之一例。
判断车辆10的行驶场景例如包括判断车辆10正行驶的行驶场所、行驶状况等。例如，作为对于行驶场景的判断，可以根据摄像头21等拍摄的信息，通过确认周围的车辆和人的数量、拥挤状况等来判断车辆10当前行驶的行驶场景，也可以根据位置传感器23、汽车导航的信息、来自外部网络的信息等，按照例如市区、郊区、高速公路等那样的行驶场所来判断行驶场景。
行驶场景判断部131为外部环境识别装置的移动场景判断部之一例。
需要说明的是，在上述说明中，也可以从车外环境识别部120中去掉环境识别部124。在该情况下，例如，也可以利用物体识别部122识别(分类)障碍物及道路构成物，并基于该识别结果掌握周边的道路环境，并且行驶场景判断部131基于由地图生成部123生成的地图信息和物体识别部122的识别结果来判断行驶场景。
＜细化处理部＞
细化处理部132决定与行驶场景判断部131判断出的行驶场景相对应的细化方法，并进行由逻辑层电路112构建的数据行及由图像数据生成部生成的图像数据中的至少一者的细化处理。在图3中，示出了细化处理部132对由逻辑层电路112构建的数据行进行细化处理的示例。
在图3的示例中，细化处理部132具有与决定细化方法相关的、(1)基于模板的决定模块和(2)使用AI的决定模块，并且构成为：根据外部的模式控制信号，选择任意一个决定模块。不过，决定细化方法的方式并没有被特别限定，也可以使用(1)、(2)中的任一方法等其他的方法。
“(1)基于模板的决定模块”例如具有将由行驶场景判断部131判断出的行驶场景及与各行驶场景相对应的细化方法列表化的模板，并根据来自行驶场景判断部131的输出来决定细化方法。细化方法能够采用迄今为止已为人所公知的各种细化方法，并没有被特别加以限定，例如在细化对象为图像的情况下，则包括图像的细化区域、各区域的细化率、是否按每帧进行细化、按每帧进行细化时的细化率等。“(2)使用AI的决定模块”例如能够利用通过深度学习生成的学习完毕模型。
用逻辑层电路112细化数据的方法并没有被特别加以限定，当例如数据行按每个数据包分离的情况下，例如，可以对各数据包设置重要度和是否可以细化的标志，根据该标志进行细化，或者可以在数据行重建后针对重建的数据以特定的周期使用计时器等将特定期间的数据进行细化。就对图像数据进行细化的方法而言，具有迄今为止已为人所公知的各种方法，能够适当地采用这些方法，因此这里省略对其进行详细的说明。
对于进行细化处理的阶段也并没有被特别加以限定。例如，如图3所示，可以在PU侧通信部110的逻辑层电路112中进行细化，也可以在比其更上位的层中进行细化。可以在车外环境识别部120的图像数据生成过程中进行细化处理，也可以在物体识别部122的物体识别过程、地图生成部123的地图生成过程中进行细化处理。在地图生成部123依次进行地图更新的情况下，也可以对地图信息进行细化处理。
细化处理部132为外部环境识别装置的细化处理部之一例。需要说明的是，外部环境识别装置的细化处理部的一部分也可以设置在其他块内。例如，当由逻辑层电路112对已构建好的数据行进行细化处理时，细化处理部的一部分可以设置在PU侧通信部110的逻辑层电路112中。
(外部环境识别装置的动作)
接着，参照图4、图5的流程图，对外部环境识别装置的动作进行说明。需要说明的是，在图4中为了便于说明及易于理解，将运算装置100的PU通信部的后级块分为细化处理系统和路径生成系统而图示出来，但本附图并没有限定本发明范围的意图。
首先，传感器装置20及运算装置100启动(步骤S10)，摄像头21开始拍摄(步骤S11)，从摄像头21向摄像头侧通信部210传输拍摄数据。
在步骤S12中，摄像头侧通信部210接收拍摄数据，将该拍摄数据转换为可发送形式的拍摄信号后，输出给PU侧通信部110。具体而言，由摄像头侧通信部210的逻辑层电路211将拍摄数据转换为可发送形式的数据行，或进行编码等处理，由物理层电路212进行数字－模拟转换后，输出给PU侧通信部110。
在PU侧通信部110中，由物理层电路111接收拍摄信号(步骤S21)，进行模拟－数字转换，并由逻辑层电路112进行解码、数据行的构建(步骤S22)后，输出给车外环境识别部120。
在下一步骤S23中，车外环境识别部120基于从逻辑层电路112接收到的数据行，进行从生成图像数据到识别车外环境为止的处理，识别出的车外环境信息被输出给候选路径生成部151以及行驶场景判断部131。在候选路径生成部151中，根据从车外环境识别部120接收到的车外环境信息，计算出车辆10能够行驶的一条或多条候选路径。
在步骤S24中，行驶场景判断部131基于从车外环境识别部120接收到的车外环境信息来判断行驶场景。在下一步骤S25中，细化处理部132决定与行驶场景相对应的细化方法。
例如，行驶场景判断部131基于由摄像头21拍摄到的图像数据、位置传感器23获取的本车辆的位置信息、从车外网络接收到的信息等，判断本车辆10行驶的场所、状况以作为行驶场景。然后，在细化处理部132中，决定与行驶场景判断部131判断出的场所、状况相对应的细化方法。
更具体而言，例如，当像在郊区或高速公路上单独行驶时那样，周围障碍物少且人冲出的可能性低的情况下，作为细化方法，可以相对地提高细化率。另一方面，当像在市区行驶时那样，能够想到周围应注意的事物较多的情况下，作为细化方法，可以相对地降低细化率。
例如，也可以进行下述处理：行驶场景判断部131基于来自车辆状态传感器24的输出，判断车辆10的行驶速度，并且细化处理部132将细化方法设定成使细化处理的细化率随着移动速度变慢而变高。例如，可以在车辆缓慢行驶的情况下，将细化率设定得相对较高，另一方面，当在市区等正常行驶时，将细化率设定得相对较低。由此，能够避免车辆10以低速行驶时进行过度的数据处理。另一方面，当车辆10以高速行驶时，将细化率设定得相对较低，因此能够在尽量不失去安全行驶所需的信息的情况下进行路径生成等处理。
此外，例如在行驶场景判断部131判断出车辆10正在进行驻停车动作的情况下，作为细化方法，细化处理部132可以使细化处理的细化率比正常行驶时的细化率高。在驻停车时，因行驶速度大多比较慢，所以通过提高细化率，能够避免车辆10驻停车时进行过度的数据处理。例如当在车辆10驻停车时进行倒车等的情况下，可以通过使来自拍摄前方的摄像头21的图像数据的细化率高于其他摄像头的图像数据的细化率，从而来避免过度的数据处理。当明显在车辆左侧没有车道、人行道、路侧带等，物体存在的概率非常低的情况下，可以提高车辆左侧的细化率。
在下一步骤S26中，细化处理部132将表示已决定好的细化方法的细化控制信号发送给成为细化对象的块。在图3的示例中，细化处理部132向PU侧通信部110的逻辑层电路112发送细化控制信号。在PU侧通信部110的逻辑层电路112中，实施基于细化控制信号的数据细化，之后，细化后的数据被输出给车外环境识别部120。
图5是着眼于外部环境识别装置的动作而制成的流程图。在图5中，对与图4对应的流程标注相同的符号，在下述说明中，有时会省略对相同点的说明。
在图5中，示出了适当改变细化方法的情况，在由行驶场景判断部131判断行驶场景的步骤和由细化处理部132决定细化方法的步骤之间，追加了进行确认是否改变了细化方法的处理(步骤S28)。
例如，在行驶场景判断部131做出的行驶场景的判断与上一次的判断结果不同的情况下(在步骤S28中为“是”)，流程进入上述步骤S25，决定与改变后的行驶场景相对应的细化方法并执行细化处理。另一方面，在细化处理方法没有改变的情况下，流程返回步骤S23。
返回到图1，以下将简单地说明比候选路径生成部151靠后级的块。
车辆举动推测部152从车速传感器、加速度传感器、横摆角速度传感器等检测车辆举动的传感器类的输出，推测车辆的状态。车辆举动推测部152生成表示车辆举动的车辆六自由度模型。
乘员举动推测部153从乘员状态传感器25的检测结果，特别推测驾驶员的健康状态和情绪。作为健康状态，例如有健康、轻微疲劳、身体状况不良、意识低下等。作为情绪，例如有愉快、正常、无聊、烦躁、不快等。
路径决定部154基于乘员举动推测部153的输出，决定车辆10应行驶的路径。在候选路径生成部151所生成的路径为一条时，路径决定部154就将该路径作为车辆10应行驶的路径。在候选路径生成部151所生成的路径有多条时，考虑乘员举动推测部153的输出，例如，在多条候选路径中选择乘员(特别是驾驶员)感觉最舒适的路径，也就是说，选择使驾驶员不具有为了回避障碍物而过度慎重等的冗长感的路径。
车辆运动决定部155针对路径决定部154所决定的行驶路径来决定目标运动。所谓目标运动，是指如追随行驶路径那样的转向及加减速。车辆运动决定部155参照车辆六自由度模型，针对路径决定部154所选择的行驶路径来计算车身运动。
物理量计算部计算用于实现目标运动的驱动力、制动力和转向量，并且由驱动力计算部161、制动力计算部162及转向量计算部163所构成。为了实现目标运动，驱动力计算部161计算动力总成装置(发动机及变速器)应生成的目标驱动力。为了实现目标运动，制动力计算部162计算制动装置应生成的目标制动力。为了实现目标运动，转向量计算部163计算转向装置应生成的目标转向量。
周边设备动作设定部170根据车辆运动决定部155的输出，设定灯、车门等车辆10的车身相关装置的动作。需要说明的是，装置包括在汽车行驶时或驻停车时受到控制的致动器、传感器等装置类。
＜运算装置的输出目的地＞
运算装置100的运算结果被输出给控制单元80及车身相关微型计算机60。控制单元80由动力总成微型计算机81、制动器微型计算机82和转向微型计算机83构成。具体而言，向动力总成微型计算机81输入与驱动力计算部161计算出的目标驱动力相关的信息，向制动器微型计算机82输入与制动力计算部162计算出的目标制动力相关的信息，向转向微型计算机83输入与转向量计算部163计算出的目标转向量相关的信息，向车身相关微型计算机60输入与周边设备动作设定部140设定好的车身相关各装置的动作相关的信息。需要说明的是，转向微型计算机83包括电动助力转向系统(EPAS)用微型计算机。
综上所述，本实施方式的外部环境识别装置包括：PU侧通信部110，其具有接收来自摄像头21的拍摄信号的物理层电路111、及根据由物理层电路111接收到的拍摄信号来构建数据行的逻辑层电路112；图像数据生成部121，其根据逻辑层电路112构建好的数据行生成车辆10外部的图像数据；行驶场景判断部131，其基于图像数据来判断车辆10的行驶场景；以及细化处理部132，其决定与行驶场景判断部131判断出的行驶场景相对应的细化方法后，对数据行或图像数据中的至少一者进行细化处理。
这样一来，在外部环境识别装置中，由行驶场景判断部131判断行驶场景，用根据该判断结果决定的细化方法进行细化处理。也就是说，在已知是何种行驶场景的数据的阶段，换言之，在已知是否为表示即使细化也没有问题的这一状况的数据的阶段，当存在不需要的部分时，能够对该部分进行细化处理，因此能够在不失去所需的信息的情况下削减要由运算装置进行处理的数据量。
需要说明的是，数据行的细化处理并不限于构建数据行的部位，例如，在上述实施方式中，并不限于逻辑层电路112，也可以在比其更靠后级的层或块等中执行。图像数据亦相同。
就细化处理而言，也可以细化车辆周边的特定区域的数据。例如，在车辆左侧存在物体的可能性极低的情况下，可以提高该区域的细化率。
虽然在上述实施方式中，基于摄像头21拍摄到的图像来识别车辆10的外部环境，但并不局限于此。例如，除了摄像头21拍摄到的图像外，还可以通过经由车外通信部30的车外通信从外部网络接收包含交叉路口信息、特定道路结构信息等在内的外部环境信息，或者用该外部环境信息来代替摄像头21拍摄到的图像。
－产业实用性－
这里所公开的技术作为识别自主移动体的外部环境的外部环境识别装置是有用的。
－符号说明－
10 车辆
21 摄像头(拍摄装置、外部信息获取装置)
100 运算装置
111 物理层电路
112 逻辑层电路
121 图像数据生成部(环境数据生成部)
131 行驶场景判断部(移动场景判断部)
132 细化处理部。

Claims (4)

1.一种外部环境识别装置，其识别自主移动体的外部环境，其特征在于：
所述外部环境识别装置包括：
物理层电路，其从获取所述自主移动体的外部的环境信息的外部信息获取装置接收包括该环境信息的外部环境信号；
逻辑层电路，其根据所述物理层电路接收到的外部环境信号构建数据行；
环境数据生成部，其根据所述数据行生成所述自主移动体的外部的环境数据；
移动场景判断部，其根据所述环境数据，判断所述自主移动体的移动场景；以及
细化处理部，其决定与所述移动场景判断部判断出的移动场景相对应的细化方法后，对所述数据行及所述环境数据中的至少一者进行细化处理。
2.一种外部环境识别装置，其用于识别自主移动体的外部环境，其特征在于：
所述外部环境识别装置包括：
物理层电路，其接收拍摄所述自主移动体的外部的拍摄装置的拍摄信号；
逻辑层电路，其根据所述物理层电路接收到的拍摄信号构建数据行；
图像数据生成部，其根据所述数据行生成图像数据；
移动场景判断部，其根据获取所述自主移动体的外部的环境信息的外部信息获取装置的输出来判断移动场景；以及
细化处理部，其决定与所述移动场景判断部判断出的移动场景相对应的细化方法后，对所述数据行及所述图像数据中的至少一者进行细化处理。
3.根据权利要求1或2所述的外部环境识别装置，其特征在于：
所述移动场景判断部判断所述自主移动体的移动速度以作为所述自主移动体的移动场景，
在所述细化处理部中，作为所述细化方法，构成为使所述细化处理的细化率随着所述移动速度变慢而变高。
4.根据权利要求1或2所述的外部环境识别装置，其特征在于：
所述细化处理部构成为：当所述移动场景判断部判断出作为所述自主移动体的车辆正在进行驻停车动作以作为所述移动场景时，作为所述细化方法，使所述细化处理的细化率高于所述车辆进行正常移动时的所述细化率。
CN202080037648.XA 2019-06-14 2020-03-13 外部环境识别装置 Pending CN113853639A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-111349 2019-06-14
JP2019111349A JP2020204839A (ja) 2019-06-14 2019-06-14 外部環境認識装置
PCT/JP2020/011260 WO2020250519A1 (ja) 2019-06-14 2020-03-13 外部環境認識装置

Publications (1)

Publication Number Publication Date
CN113853639A true CN113853639A (zh) 2021-12-28

Family

ID=73781763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080037648.XA Pending CN113853639A (zh) 2019-06-14 2020-03-13 外部环境识别装置

Country Status (5)

Country Link
US (1) US20220222936A1 (zh)
EP (1) EP3985642A4 (zh)
JP (1) JP2020204839A (zh)
CN (1) CN113853639A (zh)
WO (1) WO2020250519A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130330A (ko) * 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법
JP7438547B2 (ja) 2021-03-02 2024-02-27 立山科学株式会社 車両管理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479124A (zh) * 2016-07-22 2019-03-15 康蒂-特米克微电子有限公司 用于检测自身车辆的周围环境区域的摄像装置及方法
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
JP4876628B2 (ja) * 2006-02-27 2012-02-15 トヨタ自動車株式会社 接近報知システム、並びにそれに用いる車載機及び携帯端末
JP5235319B2 (ja) * 2007-03-26 2013-07-10 株式会社タイトー 移動体の速度に応じてゲーム内経過時間を調整するゲーム機
JP2010262357A (ja) 2009-04-30 2010-11-18 Alpine Electronics Inc 障害物検出装置および障害物検出方法
DE102013210263A1 (de) * 2013-06-03 2014-12-04 Robert Bosch Gmbh Belegungskarte für ein Fahrzeug
JP6786920B2 (ja) * 2016-07-12 2020-11-18 株式会社デンソー 監視システム、車載器、センタ装置、および監視方法
JP2018066620A (ja) * 2016-10-18 2018-04-26 古河電気工業株式会社 レーダ装置およびレーダ装置の制御方法
JP6427611B2 (ja) * 2017-02-28 2018-11-21 株式会社東芝 車両画像処理装置、及び、車両画像処理システム
DE102017108348B3 (de) * 2017-04-20 2018-06-21 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Sensorsystems mit einem neuronalen Netzwerk für ein Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479124A (zh) * 2016-07-22 2019-03-15 康蒂-特米克微电子有限公司 用于检测自身车辆的周围环境区域的摄像装置及方法
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置

Also Published As

Publication number Publication date
EP3985642A1 (en) 2022-04-20
JP2020204839A (ja) 2020-12-24
US20220222936A1 (en) 2022-07-14
EP3985642A4 (en) 2022-08-03
WO2020250519A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
KR101963422B1 (ko) 자율 주행 가능 차량용 충돌-회피 시스템
JP7139717B2 (ja) 車両用通信装置、車両用通信方法、及び制御プログラム
JP2020042808A (ja) 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法
CN114612877A (zh) 用于估计未来路径的系统和方法
US20210403037A1 (en) Arithmetic operation system for vehicles
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
US11970186B2 (en) Arithmetic operation system for vehicles
CN113853639A (zh) 外部环境识别装置
WO2020250526A1 (ja) 外部環境認識装置
CN113212444A (zh) 车辆用控制装置
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
JP7139300B2 (ja) 認識装置、認識方法、およびプログラム
CN113875223B (zh) 外部环境识别装置
JP7298323B2 (ja) 外部環境認識装置
JP7400222B2 (ja) 外部環境認識装置
CN113212331B (zh) 车辆用控制装置
JP7160730B2 (ja) 車両システム、車両システムの制御方法、およびプログラム
US20240092365A1 (en) Estimation device, estimation method, and program
CN117321651A (zh) 驾驶辅助系统、车辆以及记录有计算机程序的记录介质
CN115314670A (zh) 远程监视装置、远程监视系统以及远程监视方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211228