CN112534297A - 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备 - Google Patents

信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备 Download PDF

Info

Publication number
CN112534297A
CN112534297A CN201980051429.4A CN201980051429A CN112534297A CN 112534297 A CN112534297 A CN 112534297A CN 201980051429 A CN201980051429 A CN 201980051429A CN 112534297 A CN112534297 A CN 112534297A
Authority
CN
China
Prior art keywords
unit
calculation
processing
vehicle
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980051429.4A
Other languages
English (en)
Inventor
一木洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112534297A publication Critical patent/CN112534297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10Providing two-dimensional and co-ordinated display of distance and direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • G01S7/4056Means for monitoring or calibrating by simulation of echoes specially adapted to FMCW
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details

Abstract

提供了处理来自传感器的检测信息的信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备。该信息处理设备包括:处理单元,用于对FCM雷达的检测信号进行计算处理;以及控制单元,用于基于来自其它传感器的检测结果来控制由处理单元执行的计算处理的方法。雷达在安装在车辆上时被使用,并且其它传感器是同一个车辆的车载传感器。控制单元基于来自其它传感器的检测结果来控制处理单元的计算处理的计算区域和计算精度中的至少一个。

Description

信息处理设备和信息处理方法、计算机程序、信息处理系统以 及移动设备
技术领域
本说明书中公开的技术主要涉及用于处理识别外部环境的传感器的检测信息的信息处理设备和信息处理方法、计算机程序、信息处理系统,以及移动设备。
背景技术
为了实现自动驾驶或高级驾驶员辅助系统(ADAS),有必要检测各种物体,诸如其它车辆、人或车道,此外,不仅要在白天晴朗的天气中检测物体,而且在各种环境中(例如在下雨天或晚上)进行检测。为此,许多不同类型的外部环境识别传感器(诸如相机、毫米波雷达或激光雷达)已开始安装在车辆上。在这些当中,即使在对于捕获可见光的相机来说是恶劣的环境下(诸如晚上、雾或降雨,或背光),毫米波雷达也可以检测反射无线电波的障碍物(诸如周围的车辆或自行车)。即,毫米波雷达是ADAS的一项重要技术,可以弥补相机的不足。
常规地,使用频率调制的连续波(FM-CW)作为雷达波的FMCW(调频连续波)的FMCW方式是已知的。例如,当FMCW方式的雷达设备针对通过天线发送的雷达波从对象接收到反射波作为接收信号时,FMCW方式的雷达设备将接收信号与发送信号混合并进行频率转换,并且当检测到在发送信号与接收信号之间具有频率差的差拍信号时,执行模数转换(A/D转换),并对A/D转换之后的数据串执行快速傅立叶变换(FFT)分析,以测量对象的相对距离、相对速度等。但是,FMCW方式具有以下问题:当具有不同速度的对象(诸如行人和自行车)接近时,它们之一被忽略。
因此,近年来,使用啁啾(chirp)信号作为雷达波的快速啁啾调制(FCM)方式的雷达设备(例如,参见专利文献1)正在吸引注意,其中毫米波信号的频率随着时间的经过而连续且快速地增加或减小。FCM方式的雷达处理具有这样的优点:可以通过增加毫米波信号的频率调制速度来扩展距离分辨率或对象物体速度的检测。
FCM方式的雷达设备也对接收信号和发送信号进行混合和频率转换,并且当检测到在发送信号与接收信号之间具有频率差的差拍信号时,执行A/D转换并且对A/D转换之后的数据串执行FFT分析。但是,在FCM方式下,例如,通过以距离方向为纵轴并以发送的啁啾信号的数量为横轴来执行二维FFT分析来测量到对象的相对距离或相对速度。
引文列表
专利文献
专利文献1:日本专利申请特许公开No.2016-3873
发明内容
本发明要解决的问题
本说明书中公开的技术的主要目的是提供用于处理识别外部环境的传感器的检测信息的信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备。
对问题的解决方案
本说明书中公开的技术的第一方面是一种信息处理设备,包括:
处理单元,其执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,其基于其它传感器的检测结果来控制处理单元中的计算处理方式。
雷达被安装在车辆上并被使用,并且其它传感器是同一个车辆的车载传感器。控制单元基于该其它传感器的检测结果来控制处理单元中的计算区域或计算处理的计算精度中的至少任意一个。此外,控制单元基于该其它传感器的检测结果来选择要由处理单元进行计算处理的对象。
此外,本说明书中公开的技术的第二方面是一种信息处理方法,包括:
处理步骤,执行FCM方式的雷达的检测信号的计算处理;以及
控制步骤,基于其它传感器的检测结果来控制处理步骤中的计算处理方式。
此外,本说明书中公开的技术的第三方面是
一种以计算机可读格式编写的计算机程序,以使计算机用作:
处理单元,其执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,其基于其它传感器的检测结果来控制处理单元中的计算处理方式。
根据第三方面的计算机程序定义以计算机可读格式编写的计算机程序,以便在计算机上实现预定处理。换句话说,通过将根据第三方面的计算机程序安装到计算机中,在计算机上表现出协作动作,并且可以获得与根据第一方面的信息处理设备相似的动作效果。
此外,本说明书中公开的技术的第四方面是一种信息处理系统,包括:
安装在车辆上的雷达和其它车载传感器;
识别单元,其基于车载传感器的检测信号来执行识别处理;
处理单元,其使用FCM方式对雷达的检测信号执行计算处理;以及
控制单元,其基于识别单元的识别结果来控制处理单元中的计算处理方式。
但是,本文使用的术语“系统”是指多个设备(或实现特定功能的功能模块)的逻辑集合,并且设备或功能模块是否位于单个壳体中无关紧要。
此外,本说明书中公开的技术的第五方面是一种移动设备,包括:
移动体;
安装在车辆上的雷达和其它车载传感器;
识别单元,其基于车载传感器的检测信号来执行识别处理;
处理单元,其使用FCM方式对雷达的检测信号执行计算处理;
控制单元,其基于识别单元的识别结果来控制处理单元中的计算处理方式;以及
移动体控制单元,其基于处理单元的处理结果来控制移动体。
发明的效果
利用本说明书中公开的技术,有可能提供主要用于处理识别外部环境的传感器的检测信息的信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备。
注意的是,本说明书中描述的效果仅仅是示例,并且本发明的效果不限于此。此外,除了上述效果之外,本发明还可以产生附加效果。
基于以下描述的实施例和附图,本说明书中公开的技术的其它目的、特点和优点将从更详细的描述而变得更加明显。
附图说明
图1是图示车辆控制系统100的示意功能的配置示例的框图。
图2是图示用于控制车载雷达设备的处理方式的切换的信息处理系统的功能配置示例的图。
图3是图示由信息处理系统100执行的处理过程的示例的流程图。
图4是图示由信息处理系统100执行的处理过程的另一示例的流程图。
图5是图示由信息处理系统100执行的处理过程的又一示例的流程图。
图6是图示测量对象的优先级确定处理的详细处理过程的流程图。
图7是图示测量对象的优先级确定处理的详细处理过程的流程图。
图8是图示用于计算车辆与测量对象的碰撞时刻的处理过程的流程图。
图9是图示用于估计车辆与测量对象的碰撞时刻的处理过程的流程图。
图10是图示显示测量对象的分类结果的屏幕的配置示例的图。
图11是图示在没有距离计算的情况下显示测量对象的屏幕的配置示例的图。
图12是图示在图11所示的屏幕上指示测量对象的改变的状态的图。
图13是图示FCM方式下的发送信号和接收信号以及差拍信号的图。
具体实施方式
以下描述将参考附图详细解释在本说明书中公开的技术的实施例。
图1是图示车辆控制系统100的示意性功能的配置示例的框图,该车辆控制系统100是可以对其应用本技术的移动体控制系统的示例。
注意的是,在将设有车辆控制系统100的车辆与其它车辆区分开的情况下,该车辆在下文中被称为本车或本车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内装置104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此通信。通信网络121由例如符合控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)之类的任意标准的车载通信网络、总线等构成。注意的是,车辆控制系统100的单元可以彼此直接连接而无需使用通信网络121。
注意的是,在车辆控制系统100的单元经由通信网络121彼此通信的情况下,在下文中将省略对通信网络121的描述。例如,在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下,简单地描述输入单元101和自动驾驶控制单元112彼此通信。
输入单元101包括供乘客用来输入各种数据、指令等的设备。例如,输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备,以及使得能够通过除手动操作以外的方法(诸如语音或手势)进行输入的操作设备等。此外,例如,输入单元101可以是外部连接的设备,诸如使用红外光或其它无线电波的远程控制设备,或者与车辆控制系统100的操作对应的移动设备或可穿戴设备。输入单元101基于由乘客输入的数据、指令等生成输入信号,并将输入信号供应给车辆控制系统100的每个单元。
数据获取单元102包括各种传感器等,其获取要用于车辆控制系统100的处理的数据,并将获取的数据供应给车辆控制系统100的每个单元。
例如,数据获取单元102包括用于检测本车的状态等的各种传感器等。具体而言,例如,数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU),以及用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角、发动机速度、电机速度、车轮转速等的传感器等。
此外,例如,数据获取单元102包括用于检测关于本车的外部的信息的各种传感器。具体而言,例如,数据获取单元102包括成像设备,诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机和其它相机。此外,例如,数据获取单元102包括用于检测天气、大气现象等的环境传感器以及用于检测本车周围的物体的环境信息检测传感器。环境传感器由例如雨滴传感器、雾传感器、日照传感器、雪传感器等构成。环境信息检测传感器例如由超声传感器、毫米波雷达、光检测和测距(LiDAR,激光成像检测和测距)、声纳等构成。
而且,例如,数据获取单元102包括用于检测本车的当前位置的各种传感器。具体而言,例如,数据获取单元102包括从全球导航卫星系统(GNSS)卫星接收GNSS信号的GNSS接收器等。
此外,例如,数据获取单元102包括用于检测关于车辆内部的信息的各种传感器。具体而言,例如,数据获取单元102包括对驾驶员进行成像的成像设备、检测驾驶员的生物信息的生物特征传感器、收集车辆内部的语音的麦克风等。例如,在座椅表面、方向盘等上提供生物特征传感器,并检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。
通信单元103与车内装置104以及各种车辆外部装置、服务器、基站等通信,以发送从车辆控制系统100的每个单元供应的数据并将接收到的数据供应给车辆控制系统100的每个单元。注意的是,通信单元103所支持的通信协议不受特别限制,此外,通信单元103可以支持多种类型的通信协议。
例如,通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车内装置104无线通信。此外,例如,通信单元103经由连接端子(以及电缆,如有必要)(未示出)通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链接(MHL)等与车内装置104有线通信。
而且,例如,通信单元103经由基站或接入点与存在于外部网络(例如,互联网、云网络或业务运营商专有的网络)上的装置(例如,应用服务器或控制服务器)通信。此外,例如,通信单元103通过使用对等(P2P)技术与存在于本车附近的终端(例如,行人或商店的终端,或机器类型通信(MTC)终端)通信。而且,例如,通信单元103执行V2X通信,诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信。此外,例如,通信单元103包括信标接收单元、接收从安装在道路上的无线站等发送的无线电波或电磁波,并且获得诸如当前位置、交通拥堵、交通法规或所需时间之类的信息。
车内装置104包括例如乘客所拥有的移动装置或可穿戴装置、在本车中携带或附接到本车的信息装置、搜索到任意目的地的路线的导航设备等。
输出控制单元105控制各种信息向本车的乘客或车辆外部的输出。例如,输出控制单元105生成包括视觉信息(例如,图像数据)或听觉信息(例如,语音数据)中的至少一种的输出信号,并将输出信号供应给输出单元106以控制视觉信息和听觉信息从输出单元106的输出。具体而言,例如,输出控制单元105合成由数据获取单元102的不同成像设备捕获的图像数据以生成俯瞰图像、全景图像等,并且将包括生成的图像的输出信号供应给输出单元106。此外,例如,输出控制单元105生成包括针对诸如碰撞、接触或进入危险地带之类的危险的警告声音、警告消息等的语音数据,并向输出单元106供应包括生成的语音数据的输出信号。
输出单元106包括能够向本车的乘客或车辆外部输出视觉信息或听觉信息的设备。例如,输出单元106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(诸如要由乘客穿戴的眼镜型显示器)、投影仪、灯等。输出单元106中包括的显示设备可以不是具有通常的显示器的设备,而是例如在驾驶员的视场中显示视觉信息的设备(诸如平视显示器、透射显示器,或具有增强现实(AR)显示功能的设备)。
驱动系统控制单元107通过生成各种控制信号并将控制信号供应给驱动系统108来控制驱动系统108。此外,驱动系统控制单元107根据需要向除驱动系统108以外的每个单元供应控制信号,以给出驱动系统108的控制状态的通知等。
驱动系统108包括与本车的驱动系统相关的各种设备。例如,驱动系统108包括用于生成内燃机、驱动电机等的驱动力的驱动力生成器、用于将驱动力传递至车轮的驱动力传递机构、用于调整转向角的转向机构、生成制动力的制动设备、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动助力转向设备等。
车身系统控制单元109通过生成各种控制信号并将控制信号供应给车身系统110来控制车身系统110。此外,车身系统控制单元109根据需要向除车身系统110以外的每个单元供应控制信号,以给出车身系统110的控制状态的通知等。
车身系统110包括安装在车身上的车身系统的各种设备。例如,车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如,前灯、后灯、制动灯、指示灯、雾灯等)等。
存储单元111包括例如磁存储设备(诸如只读存储器(ROM)、随机存取存储器(RAM)或硬盘驱动器(HDD))、半导体存储设备、光学存储设备、磁光存储设备等。存储单元111存储将由车辆控制系统100的每个单元使用的各种程序或数据。例如,存储单元111存储地图数据,诸如三维高精度地图(诸如动态地图)、比高精度地图精度低但覆盖广阔区域的全局地图,以及包括本车周围的信息的局部地图。
自动驾驶控制单元112执行自动驾驶的控制,诸如自主行驶或驾驶辅助。具体而言,例如,自动驾驶控制单元112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制,该ADAS包括本车的碰撞避免或冲击减轻、基于车辆间距离的跟随行驶、车速维持行驶、本车的碰撞警告,或本车的车道偏离警告。此外,例如,自动驾驶控制单元112执行旨在自主行驶的自动驾驶等的协作控制,而不依赖于驾驶员的操作。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和动作控制单元135。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143。
车外信息检测单元141基于来自车辆控制系统100的每个单元的数据或信号来执行检测关于本车外部的信息的处理。例如,车外信息检测单元141执行本车周围的物体的检测处理、识别处理和跟踪处理以及到物体的距离的检测处理。要检测的物体包括例如车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。此外,例如,车外信息检测单元141执行检测本车周围的环境的处理。要检测的周围环境包括例如天气、温度、湿度、亮度、路面状况等。车外信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153,以及动作控制单元135的紧急情况避免单元171等。
车内信息检测单元142基于来自车辆控制系统100的每个单元的数据或信号来执行检测车辆内部信息的处理。例如,车内信息检测单元142执行驾驶员的认证处理和识别处理、检测驾驶员的状态的处理、乘客的检测处理、检测车辆内部环境的处理等。要检测的驾驶员的状态包括例如身体状况、唤醒水平、专注水平、疲劳水平、视线方向等。要检测的车辆内部环境包括例如温度、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、动作控制单元135的紧急情况避免单元171等。
车辆状态检测部143基于来自车辆控制系统100的每个单元的数据或信号来执行检测本车的状态的处理。要检测的本车的状态包括例如速度、加速度、转向角、是否存在异常及异常的内容、驾驶操作的状态、电动座椅的位置和倾斜度、其它车内装置的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、动作控制单元135的紧急情况避免单元171等。
自身位置估计单元132基于来自车辆控制系统100的每个单元(诸如车外信息检测单元141、状况分析单元133的状况识别单元153)的数据或信号来执行对本车的位置、朝向等的估计处理。此外,自身位置估计单元132根据需要生成局部地图(下文中称为自身位置估计地图),该局部地图被用于估计自身位置。自身位置估计地图例如是使用诸如同时定位和绘制(SLAM)之类的技术获得的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152、状况识别单元153等。此外,自身位置估计单元132使存储单元111存储自身位置估计地图。
状况分析单元133执行本车和周围的情况的分析处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。
地图分析单元151根据需要对存储在存储单元111中的各种地图执行分析处理,同时使用来自车辆控制系统100的每个单元(诸如自身位置估计单元132和车外信息检测单元141)的各种数据或信号,并构造包含自动驾驶处理所需的信息的地图。地图分析单元151将构造的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、行动计划单元162、动作计划单元163等。
交通规则识别单元152基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、车外信息检测单元141和地图分析单元151)的数据或信号来执行本车周围的交通规则的识别处理。通过这个识别处理,例如,识别本车周围的信号的位置和状态、本车周围的交通管制的内容、车辆可以行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应给状况预测单元154等。
状况识别单元153基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来执行关于本车的情况的识别处理。例如,状况识别单元153执行对本车的情况、本车周围的情况、本车的驾驶员的情况等的识别处理。此外,状况识别单元153生成局部地图(下文中称为状况识别地图)用于在必要时识别本车周围的情况。状况识别地图是例如占用栅格地图。
要识别的本车的情况包括例如本车的位置、朝向、移动(例如,速度、加速度、移动方向等)以及是否存在异常及异常的内容等。要识别的本车周围的情况包括例如周围静止物体的类型和位置,周围移动物体的类型、位置和移动(例如,速度、加速度、移动方向等),周围道路的构造和路面状况,以及周围天气、温度、湿度、亮度等。要识别的驾驶员的状态包括例如身体状况、唤醒水平、专注水平、疲劳水平、视线移动、驾驶操作等。
状况识别单元153将指示识别处理的结果的数据(必要时包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。此外,状况识别单元153将状况识别地图存储在存储单元111中。
状况预测单元154基于来自车辆控制系统100的每个单元(诸如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号来执行关于本车的情况的预测处理。例如,状况预测单元154执行本车的情况、本车周围的情况、驾驶员的情况等的预测处理。
要预测的本车的情况包括例如本车的行为、异常的发生、可行驶距离等。要预测的本车周围的情况包括例如本车周围的移动物体的行为、信号状态的改变、环境(诸如天气)的改变等。要预测的驾驶员的情况包括例如驾驶员的行为、身体状况等。
状况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给计划单元134的路线计划单元161、行动计划单元162、动作计划单元163等。
路线计划单元161基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划到目的地的路线。例如,路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外,例如,路线计划单元161基于交通拥堵、事故、交通法规、施工状况等、驾驶员的身体状况等适当地改变路线。路线计划单元161将指示计划的路线的数据供应给行动计划单元162等。
行动计划单元162基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划在计划的时间内安全行驶由路线计划单元161计划的路线的本车的行为。例如,行动计划单元162计划开始、停止、行驶方向(例如,向前、向后、向左转、向右转、方向改变等)、行驶车道、行驶速度、超车等。行动计划单元162将指示本车的计划的动作的数据供应给动作计划单元163等。
动作计划单元163基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划用于实现由行动计划单元162计划的动作的本车的动作。例如,动作计划单元163制定诸如加速、减速和行驶轨迹之类的计划。动作计划单元163将指示本车的计划的动作的数据供应给动作控制单元135的加速/减速控制单元172、方向控制单元173等。
动作控制单元135控制本车的动作。动作控制单元135包括紧急情况避免单元171、加速/减速控制单元172和方向控制单元173。
紧急情况避免单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果来执行紧急情况(诸如碰撞、接触、进入危险地带、驾驶员的异常,或车辆的异常)的检测处理。当检测到紧急情况发生时,紧急情况避免单元171计划本车的动作以避免紧急情况,诸如突然停车或急转弯。紧急情况避免单元171将指示本车的计划的动作的数据供应给加速/减速控制单元172、方向控制单元173等。
加速/减速控制单元172执行加速/减速控制,以实现由动作计划单元163或紧急情况避免单元171计划的本车的动作。例如,加速/减速控制单元172计算用于实现计划的加速、减速或突然停止的驱动力生成器或制动设备的控制对象值,并将指示计算出的控制对象值的控制命令供应给驱动系统控制单元107。
方向控制单元173执行用于实现由动作计划单元163或紧急情况避免单元171计划的本车的动作的方向控制。例如,方向控制单元173计算用于实现由动作计划单元163或紧急情况避免单元171计划的行驶轨迹或急转弯的转向机构的控制对象值,并将指示计算出的控制对象值的控制命令供应给驱动系统控制单元107。
为了执行更高精度的外部环境识别以实现自动驾驶或ADAS,许多不同类型的外部环境识别传感器(诸如相机、毫米波雷达和激光雷达)已开始安装在车辆上。每个传感器都有其优点和缺点,这取决于检测原理。例如,捕获可见光的相机在黑暗的地方效果不佳,而检测无线电波的反射的雷达对于不容易反射无线电波的物体(诸如人或动物)也不是很好。下表1总结了雷达(毫米波雷达)、相机和激光雷达(LiDAR)的优缺点。在该表中,双圆圈表示非常好(具有高识别精度),圆圈表示良好(具有令人满意的识别精度),而三角形表示不好(不令人满意的识别精度)。通过使用结合了两个或更多个传感器的融合技术,可以利用每种传感器的特点来实现更准确的外部环境识别。
[表1]
Figure BDA0002928323990000141
Figure BDA0002928323990000151
关于毫米波雷达,虽然周期性地调制毫米波信号的频率速度的FMCW方式是主流,但是增加频率调制速度的FCM方式已经引起关注。在FCM方式下,如在FMCW方式下那样对接收信号和发送信号进行混合和频率转换,当检测到在发送信号与接收信号之间具有频率差的差拍信号时,执行A/D转换,并且在A/D转换之后对数据串执行FFT解决方案。因而,任何方式都采用类似的雷达设备的配置。在FCM方式下,基于从生成频率连续且快速地增加或减小的啁啾波的发送信号和通过从测量对象接收啁啾波的反射波获得的接收信号而生成的差拍信号的频率和相位改变,来检测到测量对象的距离和相对速度。图13图示了在FCM方式下的发送信号、接收信号和差拍信号。与中心频率转换相对慢的FMCW方式相比,FCM方式的特征在于具有出色的速度分辨率,因为通过采取更快的频率转换可以使拍频处的fBH与fBL之差更大。对于FMCW方式,啁啾时间大约为几毫秒,而对于FCW方式,啁啾时间为几微秒。此外,由于FCM方式具有高啁啾速度,可以忽略多普勒频率,因此计算检测距离的算法简单,并且多对象识别能力也得到了提高。
根据FCM方式,可以扩展对象物体的距离或速度检测(即,提高物体检测性能),同时要求三维FFT分析(或重复一维FFT的三维处理,或在二维FFT之后估计方位角来替代第三FFT的处理),并且所需的存储器和计算量增加,因此担心运算电路的成本或功耗会增加。例如,在电动车辆(EV)的情况下,由于消耗电力,因此当使用空调时或当EV电池的充电量减少至预定量以下时,运算电路的功耗应当被抑制。
此外,在采用融合多个物体检测传感器的融合技术的车载控制系统中,当尝试测量所有被摄体时,可能无法为所有传感器获得足够的测量精度,或者当尝试维持测量精度时,可能无法测量所有需要的被摄体(测量可能不及时)。例如,在雷达与相机融合的情况下,要求与相机的图像匹配所需的雷达分辨率。但是,由于相机的视场(FOV)宽,因此雷达的计算负荷变得很大。虽然车载雷达的目的是测量被摄体的距离或相对速度,但是根本不必在所有方向上都进行高准确测量。此外,在本车辆周围存在多个被摄体的情况下,每个被摄体的优先级在行驶过程中随时间改变。
因此,在本说明书中,下面将提出根据情况自适应地控制雷达设备的处理方式的切换的技术。
在此,雷达设备的处理方式的切换基本上包括在特定的计算方式(诸如FCM方式)下选择计算区域或计算精度。与在所有区域中执行FCM方式的情况相比,有可能通过限制计算区域并应用FCM方式来抑制成本或功耗的增加,并且有可能通过利用由限制计算区域而生成的盈余计算量在所选择的计算区域中以高分辨率进行测量。此外,在通过在执行FFT分析的计算区域中抑制天线的速度、距离或分辨率执行FCM方式的情况下,计算精度降低,而计算量减少,并且可以抑制成本或功耗的增加。
具体而言,雷达设备的处理方式的切换包括将测量对象限制在特定的计算方式中,诸如FCM方式。即,在可以存在多个计测对象的情况下,仅对一些特定的测量对象执行使用雷达设备的距离计算,而将其它测量对象排除在距离计算对象之外,因此有可能获得针对特定测量对象的足够的计算精度,并在确保其它测量对象所需性能的同时抑制成本或功耗的增加。例如,有可能基于其它传感器的识别结果(诸如相机的图像识别结果或LiDAR的物体识别结果)将雷达设备的测量限制到特定的对象物体。此外,由于重要的对象物体针对行驶的车辆遇到的每个场景而波动,因此,雷达设备的测量对象基于由其它传感器进行的场景识别的结果(诸如相机的图像或LiDAR的物体检测)而被切换。
此外,雷达设备的处理方式的切换包括以特定的计算方式(诸如FCM方式)对每个测量对象执行识别处理的计算次序的切换,即,计算次序计划。例如,在本车辆周围有多个测量对象的情况下,每个测量对象的优先级在行驶期间随时刻变化。因此,基于与本车辆发生碰撞的可能性(例如,预期的碰撞时刻)针对每个测量对象确定优先级。然后,通过根据优先级依次执行距离计算,有可能避免本车辆与测量对象之间的碰撞并增强ADAS或自动驾驶的安全性。
此外,雷达设备的处理方式的切换还可以包括诸如FMCW方式或FCM方式之类的计算方式的切换。根据FCM方式,提高了物体检测的性能,同时成本或功耗增加。另一方面,通过切换到FMCW方式,有可能在允许性能降低的同时抑制成本或功耗。因此,可以根据所需的计算精度、计算能力的盈余量等来切换雷达设备的处理方式。例如,在根据通过其它传感器(诸如相机)进行的物体识别或场景识别的结果或车辆的行驶状况确定要求高计算精度的情况下,应用FCM方式,而在确定不要求高计算精度的情况下,可以执行切换到FMCW方式。此外,在车辆是电动车辆的情况下,当电池的充电量降低到预定值或更小时,可以将FCM方式切换到FMCW方式。为了切换计算方式,将执行FMCW方式和FCM方式的每个计算处理的大规模集成(LSI)芯片安装在车辆上。但是,FMCW方式和FCM方式共有的电路模块可以被共享以配置每个LSI。虽然雷达安装在诸如保险杠之类的易碎部件上,但要注意的是,通过为每个方式分别配备LSI,即使其中一个被损坏,另一个也将成为备用。
此外,在结合有将毫米波雷达与其它传感器(诸如相机或LiDAR)融合在一起的融合技术的车辆控制系统的情况下,雷达设备的处理方式的切换包括融合处理方式的切换。即,切换每个传感器的处理精度或计算速度,或者传感器之间的计算次序。此外,可以针对每个传感器限制测量对象。例如,在恶劣天气下,其中毫米波雷达优于相机或LiDAR,FCM方式会自适应地执行,以确保雷达具有足够的计算精度。另一方面,当即使从相机的图像识别也可以获得所需的性能时,执行切换到FMCW方式以抑制成本或功耗的增加,同时在某种程度上牺牲雷达的计算精度。
此外,本文用于切换雷达设备的处理方式的“状况”包括车辆周围的状况,诸如对象车辆的行驶状况(诸如ADAS或自动驾驶),或者车辆本身的状况(诸如车辆控制系统100中的计算能力或电力消耗量或盈余电力量)。此外,在“状况”中还包括从驾驶员等经由车辆内的输入设备输入的指令。此外,在连接到诸如互联网之类的外部网络的车辆控制系统中,从外部(诸如云)接收的指令也被包括在“状况”中。
在此,将对FCM方式的雷达设备中的计算处理给出补充解释。FCM方式是这样的方式:通过对从生成频率连续增加或减小的啁啾波的发送信号和来自对象的啁啾波的反射波的接收信号而生成的每个啁啾波执行差拍信号的两次FFT处理(二维FFT处理)来检测到对象的距离和相对速度。此外,有可能对形成阵列天线的多个接收天线中的每个天线(或转向方向)执行二维FFT处理,以三维地捕获到对象的距离和相对速度。FCM方式在例如速度分辨率方面优于FMCW方式,并且可以通过增加啁啾波的数量(啁啾的数量)来提高速度分辨率。
如上所述,FCM方式比FMCW方式要求更大的计算量。在FCM方式的雷达设备中,可以通过限制计算区域或抑制计算精度来减少计算量。例如,可以通过限制在其中执行FCM方式的FFT分析处理的速度区域、距离区域或天线区域以限制计算区域来减少计算量。此外,在执行FCM方式的FFT分析的计算区域中,可以通过抑制天线的速度、距离或分辨率来减少计算量,从而降低计算精度。可替代地,在使用波束成形方法或Capon方法代替第三FFT的情况下,可以通过限制测量对象的距离和方位角来减少计算量。
图2图示了用于控制车载雷达设备的处理方式的切换的信息处理系统的功能配置示例。
图中的信息处理系统200包括物体识别单元201、场景识别单元202、行驶状况识别单元203、选择单元204、计划单元205、距离计算单元206、呈现单元207、输入单元208、主控制单元209以及各种数据库(DB)211至214。此外,传感器信号从各种传感器(诸如相机(221)、LiDAR(222)、车身传感器(223)和雷达(毫米波雷达)224)输入到信息处理系统200。
信息处理系统200基本上被安装在车辆上并被使用,并且更优选地被结合在图1所示的车辆控制系统100中。例如,功能模块201至206中的一些或全部被安装在自动驾驶控制单元112中,或者被安装在图1所示的自动驾驶控制单元112中的任何功能模块中。此外,主控制单元109与例如安装在车辆上的电子控制单元(ECU)对应。此外,呈现单元209也可以由图1中的输出单元106使用,并且输入单元208也可以由图1中的输入单元101使用。此外,相机221、LiDAR 222、车身传感器223和雷达224可以使用图1中的数据获取单元102中包括的传感器。此外,各种数据库(DB)211至214可以构造在信息处理系统200中(即,可以安装在车辆上),或者可以是经由图1中的通信单元103连接的外部数据库。
物体识别单元201基于LiDAR 222的检测信号对由相机221捕获的图像执行图像识别或者执行物体识别,并且估计本车辆周围存在的物体的类型、物体存在的方向,或者从本车辆到物体的大致距离。物体识别单元201可以根据需要执行传感器融合处理。
场景识别单元202基于由相机221捕获的图像、LiDAR 222的检测信号或物体识别单元201的物体识别的结果来识别本车辆遇到的场景。此处识别出的场景的示例包括行驶的道路的形状、拥挤程度、诸如行人之类的道路状况,以及诸如天气或照明之类的行驶环境。场景识别单元202可以根据需要执行传感器融合处理。
行驶状况识别单元203从车身传感器223输入传感器信号以识别本车辆的行驶状况。车身传感器223包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、检测本车辆的状态(诸如加速器踏板操作量、制动踏板操作量、方向盘的转向角、发动机速度、电机速度或车轮的转速)的各种传感器、检测车载电池剩余量的电池传感器,或用于检测天气、大气现象等的环境传感器(雨滴传感器、雾传感器、日照传感器、雪传感器、温度传感器、湿度传感器等)。基于这些车身传感器223的传感器信号,行驶状况识别单元203识别行驶状况,诸如车速、车辆行驶方向、加速度、加速度方向、车辆的绝对位置、环境温度、振动或雨滴。
选择单元204在诸如FCM方式之类的特定计算方式下选择计算区域或计算精度。要由选择单元204执行的对计算区域的选择包括限制测量对象。在可以存在多个测量对象的情况下,仅针对一些特定的测量对象执行使用雷达224的距离计算,并且将其它测量对象从距离计算对象中排除,从而可以为特定的测量对象获得足够的计算精度,同时抑制计算负荷。此外,在FCM方式下,要由选择单元204执行的计算精度的选择包括在执行FFT分析的计算区域中抑制天线的速度、距离或分辨率,以降低计算精度。通过抑制计算精度,可以减少计算量。具体而言,选择单元204从雷达224的传感器信号中选择距离计算单元206应当对其执行距离计算的计算区域(或测量对象),或者基于物体识别单元201的物体识别的结果、场景识别单元202的场景识别的结果以及行驶状况识别单元203的行驶状况识别的结果来选择特定计算区域中的计算精度。此外,要由选择单元204执行的计算精度的选择可以包括选择FCM方式或FMCW方式(从具有不同计算精度的多个计算方式中选择)。
选择单元204基本上选择由物体识别单元201识别出的物体作为要进行距离计算的区域,并且从距离计算对象中排除其它区域。这是因为在没有物体存在的区域中执行距离计算是无用的,这只会不必要地增加计算负荷。
此外,选择单元204还基于场景识别单元202识别出的场景,在物体识别单元201识别出的物体当中确定可能与本车辆碰撞的物体(诸如周围的车辆、自行车、行人或障碍物)并选择测量对象。例如,虽然靠近本车辆的物体可能会碰撞,但是不太可能与即将驶来的车辆或在人行道上行走的行人碰撞,即将驶来的车辆或行人不应当被选为测量对象。此外,尝试穿过本车辆前方的人行横道的行人更容易发生碰撞,并且被父母带着的幼儿或独自行走的老人更容易发生碰撞,应当将其选择为测量对象。选择单元204可以基于由场景识别单元202识别出的场景来选择要应用于测量对象的计算精度。例如,对于与行人发生碰撞的可能性高的一般道路,可以选择高计算精度(或者具有高计算精度的FCM方式),而对于高速公路,可以选择低计算精度(或者不具有高计算精度的FMCW方式)。
此外,选择单元204基于行驶状况识别单元203识别出的本车辆的行驶状况从车身传感器223的检测结果中选择测量对象。例如,在恶劣天气下,其中毫米波雷达优于相机或LiDAR,选择单元204增加雷达224的测量对象的数量以确保本车辆的行驶安全。相反,在即使使用相机或LiDAR也能够获得足够的物体识别性能的情况下,通过限制测量对象来抑制由于FCM方式的距离计算而引起的成本或功耗的增加。此外,选择单元204可以基于由车身传感器223监视的驾驶员的状况(诸如加速/减速、转动方向盘或驾驶员的注意力降低)来选择测量对象。此外,选择单元204基于距离计算单元206(或信息处理系统200)的计算能力、功耗量、盈余电力量等来选择测量对象。如果在计算能力或电力量方面没有裕度,那么选择单元204限制测量对象以确保针对紧急测量对象执行距离计算。相反,如果计算能力或电力量存在裕度,那么选择单元204可以增加测量对象的数量以进一步确保安全性。选择单元204可以基于由行驶状况识别单元203识别出的场景来选择要应用于测量对象的计算精度。例如,当车辆是电动车辆并且电池电量足够时,可以选择高计算精度(或者具有高计算精度的FCM方式),而当充电量降低到预定值或更小时可以选择低计算精度(或者不具有高计算精度的FMCW方式)。此外,可以选择FCM方式以在车速高时扩展对测量对象的速度的检测,而在车速低时可以选择FMCW方式。此外,当方向盘的转向角改变时(即,当操作方向盘时)并且碰撞的风险增加时,可以选择高计算精度(或具有高计算精度的FCM方式),而当车辆直行时可以选择低计算精度(或不具有高计算精度的FMCW方式)。
选择单元204选择计算区域和计算精度的因素多种多样。因此,选择单元204参考每种被摄体的紧急度数据库211、每种场景的优先级被摄体数据库212以及每种行驶状况的优先级被摄体数据库213中的至少一个数据库来选择计算精度或要进行距离计算的测量对象。
每种被摄体的紧急度数据库211存储关于物体识别单元201可以识别的每个被摄体(诸如行人(儿童、成人、老人等)、车辆(前车、后车、即将驶来的车辆、摩托车和自行车)等)的所需分辨率或要进行距离计算的紧急度的信息。此外,每种场景的优先级被摄体数据库212存储关于根据场景识别单元202可以识别的场景(诸如交叉路口或弯道、一般道路、高速公路、隧道、夜晚、在阴雨天气、大雾或雪中行驶)的所需分辨率或要优先进行距离计算的被摄体的信息。此外,每种行驶状况的优先级被摄体数据库213存储关于根据行驶状况识别单元203识别出的本车辆的行驶状况(诸如充电量或车速或方向盘的转向角)的所需分辨率或要优先进行距离计算的被摄体的信息。
因而,选择单元204可以参考每种被摄体的紧急度数据库211,以确定由物体识别单元201识别出的每种类型的物体的所需分辨率或紧急度、预测由场景识别单元202识别出的每个场景的所需分辨率或要优先识别的物体,或者识别由行驶状况识别单元203识别出的本车辆的每种行驶状况的所需分辨率或要优先识别的物体,从而适当地选择测量对象和计算精度。当选择单元204选择测量对象时,要在距离计算单元206中进行距离计算的计算区域被确定。此外,选择单元204还选择计算精度以及要进行距离计算的计算区域。计算精度的选择包括在FCM方式下选择要进行FFT分析的计算区域中的天线的速度、距离或分辨率,或者从具有不同计算精度的多种计算方式中选择任何一种(诸如FCM方式和FMCW方式)。
此外,选择单元204可以使用呈现单元207向本车辆的乘客(诸如驾驶员)呈现关于所选择的测量对象和计算精度的信息。此外,在由本车辆的乘客(诸如驾驶员)经由输入单元208输入关于测量对象的指令的情况下,选择单元204可以根据该指令改变测量对象的选择。此外,在行驶状况识别单元203基于空调的操作状态、车载电池的剩余量等识别出所需电力不足的行驶状况的情况下,选择单元204可以使用呈现单元207向本车辆的乘客(诸如驾驶员)发出警告,或者通知主控制单元209。主控制单元209可以提示用于延长距离计算的操作时间的处理,诸如停止空调。
注意的是,可以将学习功能结合到每种被摄体的紧急度数据库211、每种场景的优先级被摄体数据库212以及每种行驶状况的优先级被摄体数据库213,并且存储在数据库211至213中的数据可以基于选择单元204的选择结果被更新。
计划单元205估计距离计算单元206的计算能力,以通过FCM方式计算物体的距离和相对速度,以及根据识别对象的计算负荷,并且针对由选择单元204选择的测量对象对计算次序进行计划。此外,计划单元205可以基于诸如功耗量或盈余电力量之类的情况来计划测量对象的计算次序。计划单元205省略了在计算能力或电力量上没有裕度的测量对象的距离计算,以确保针对紧急测量对象执行距离计算。相反,如果计算能力或电力量存在裕度,那么计划单元205可以增加测量对象的数量以进一步确保安全性。当计划测量对象的计算次序时,计划单元205可以适当地参考每个测量对象的所需计算量数据库214,该数据库存储关于每个测量对象的所需计算量的信息。所需计算量数据库214存储关于为每个测量对象执行距离计算所需的计算量的信息。在假设切换了计算精度或计算方式的情况下,所需计算量数据库214可以针对每个测量对象根据计算精度或计算方式来存储所需计算量。
此外,当确定由选择单元204选择的测量对象超过距离计算单元206的计算能力时,计划单元205可以使用呈现单元207向本车辆的乘客(诸如驾驶员)发出警告。此外,计划单元205可以指示主控制单元209降低本车辆的车速,以减轻距离计算单元206的计算负荷。此外,计划单元205可以使用呈现单元207向本车辆的乘客(诸如驾驶员)呈现关于由于计算能力而没有对其执行距离计算的被摄体的信息。
注意的是,可以将学习功能结合到针对每个测量对象的所需计算量数据库214中,并且可以基于由计划单元205制定的计划来更新针对每个测量对象的所需计算量数据库214中存储的数据。
距离计算单元206根据由计划单元205计划并由选择单元204选择的测量对象所限制的计算次序执行从雷达224的传感器信号到物体的距离计算。距离计算单元206至少采用FCM方式。FCM方式是这样的方式:通过对从生成其频率连续增加或减小的啁啾波的发送信号和来自对象的啁啾波的反射波的接收信号而生成的每个啁啾波执行差拍信号的两次FFT处理(二维FFT处理)来检测到对象的距离和相对速度。在这种情况下,距离计算单元206以与由选择单元204选择的计算精度对应的分辨率通过FCW方式来执行距离计算。此外,距离计算单元206可以采用FCM方式和FMCW方式两者,并且可以切换到由选择单元204选择的计算精度或计算方式以执行距离计算。然后,距离计算单元206将关于计算出的每个物体的距离和相对速度的信息输出到主控制单元209。
主控制单元209利用距离计算单元206的计算结果来进行车辆控制,诸如自动驾驶或ADAS。主控制单元209执行用于自动驾驶或ADAS的车辆控制,例如,诸如车辆间控制(ACC)、车道偏离警告(LDW)、车道保持辅助(LKA)、自动紧急制动(AEB)或盲点检测(BSD),并进一步控制每个驱动单元(诸如主动转向灯(ACL)、制动致动器(BRK)或转向设备(STR))的驱动。
图3以流程图的形式图示了由信息处理系统100执行的处理过程的示例。当信息处理系统100中的每个单元在主控制单元209的控制下操作时,实现所示的处理过程。
首先,物体识别单元201对由相机221捕获的图像执行图像识别,并且还基于LiDAR222的检测信号执行物体识别(步骤S301)。物体识别单元201根据需要执行传感器融合处理。
此外,场景识别单元202基于由相机221捕获的图像、LiDAR222的检测信号或物体识别单元201的物体识别的结果来识别本车辆遇到的场景(步骤S302)。场景识别单元202根据需要执行传感器融合处理。
此外,行驶状况识别单元203从车身传感器223输入传感器信号以识别本车辆的行驶状况(步骤S303)。
但是,物体识别单元201的物体识别处理、场景识别单元202的场景识别处理和行驶状况识别单元203的行驶状况识别处理没有特别的次序,并且这三个处理可以同时并行执行。
接下来,选择单元204基于物体识别单元201的物体识别的结果、场景识别单元202的场景识别的结果以及行驶状况识别单元203的行驶状况识别的结果来检查是否存在要由距离计算单元206根据雷达224的传感器信号进行距离计算的测量对象(步骤S304)。当选择测量对象时,选择单元204根据需要适当地参考每种被摄体的紧急度数据库211、每种场景的优先级被摄体数据库212以及每种行驶状况的优先级被摄体数据库213。此外,选择单元204还可以选择用于对所选择的测量对象执行距离计算的计算精度或计算方式。
在不存在要进行距离计算的测量对象的情况下(步骤S304中为“否”),处理返回到步骤S301,并且重复执行物体识别处理、场景识别处理和行驶状况识别处理以尝试找到测量对象。
此外,在存在要进行距离计算的测量对象的情况下(步骤S304中为“是”),计划单元205对通过上述识别处理S301至S303检测出的每个测量对象执行用于执行距离计算的优先级确定(步骤S305)。
之后,根据确定的优先级依次尝试每个测量对象的距离计算。
计划单元205估计距离计算单元206的计算能力,以通过FCM方式计算物体的距离和相对速度,以及根据识别对象的计算负荷,并检查距离计算单元206(或信息处理系统200)是否具有足够的计算能力盈余(步骤S307)。那时,计划单元205适当地参考每个测量对象的所需计算量数据库214。此外,在选择单元204还选择用于对测量对象执行距离计算的计算精度或计算方式的情况下,在步骤S307中检查是否存在根据计算精度或计算方式的计算能力盈余。
在计算能力有足够盈余的情况下(步骤S307中为“是”),距离计算单元206通过FCM方式计算下一个测量对象的距离和相对速度(步骤S308)。然后,距离计算单元206将在计算区域中以选择单元204选择的计算精度执行距离计算。但是,在可以选择任意计算方式的情况下,通过选择单元204选择的计算方式来计算物体的距离和相对速度。
此后,在仍然保留测量对象的情况下(步骤S306中为“否”),重复进行计算能力的检查(步骤S307)以及针对测量对象的距离计算(步骤S308)。
在针对所有测量对象测量距离和相对速度的情况下(步骤S306中为“是”),处理返回到步骤S301,并且重复执行物体识别处理、场景识别处理和行驶状况识别处理以尝试找到新出现的测量对象。
此外,在距离计算单元206(或信息处理系统200)没有足够的计算能力盈余的情况下(步骤S307为“否”),计划单元205放弃针对剩余的测量对象的距离计算。可替代地,在没有足够的计算能力盈余的情况下,可以放弃计算精度,并且可以将FCM方式切换到FMCW方式以用于随后的测量对象以计算物体的距离和相对速度。然后,作为不测量剩余测量对象的距离和相对速度的对策,呈现单元207被用于向本车辆的乘客(诸如驾驶员)呈现测量已经省略(步骤S309)。当距离计算单元206所使用的计算方式被切换时,该事实可以被呈现。此后,处理返回到步骤S301,并且重复执行物体识别处理、场景识别处理和行驶状况识别处理以尝试找到测量对象。
图4以流程图的形式图示了信息处理系统100要执行的处理过程的另一示例。当信息处理系统100中的每个单元在主控制单元209的控制下操作时,实现所示的处理过程。
首先,物体识别单元201对由相机221捕获的图像执行图像识别,并且还基于LiDAR222的检测信号来执行物体识别(步骤S401)。此外,场景识别单元202基于由相机221捕获的图像、LiDAR 222的检测信号或物体识别单元201的物体识别的结果来识别本车辆遇到的场景(步骤S402)。传感器融合处理可以适当地结合在物体识别和场景识别的每个处理中。
此外,行驶状况识别单元203从车身传感器223输入传感器信号以识别本车辆的行驶状况(步骤S403)。但是,物体识别单元201的物体识别处理、场景识别单元202的场景识别处理和行驶状况识别单元203的行驶状况识别处理没有特别的次序,并且这三个处理可以同时并行执行。
接下来,选择单元204基于物体识别单元201的物体识别结果、场景识别单元202的场景识别的结果以及行驶状况识别单元203的行驶状况识别的结果来检查是否存在要由距离计算单元206根据雷达224的传感器信号进行距离计算的测量对象(步骤S404)。当选择测量对象时,选择单元204根据需要适当地参考每种被摄体的紧急度数据库211、每种场景的优先级被摄体数据库212以及每种行驶状况的优先级被摄体数据库213。此外,选择单元204还可以选择用于对所选择的测量对象执行距离计算的计算精度或计算方式。
在不存在要进行距离计算的测量对象的情况下(步骤S304中为“否”),处理返回到步骤S401,并且重复上述处理以尝试找到测量对象。
另一方面,在存在要进行距离计算的测量对象的情况下(步骤S304中为“是”),计划单元205为针对每个检测到的测量对象执行距离计算确定优先级(步骤S405)。之后,根据确定的优先级依次尝试每个测量对象的距离计算。
计划单元205估计距离计算单元206通过FCM方式计算物体的距离和相对速度的计算能力以及根据识别对象的计算负荷,并检查距离计算单元206是否具有足够的计算能力盈余(步骤S407)。此外,在选择单元204还选择用于对测量对象执行距离计算的计算精度或计算方式的情况下,在步骤S407中检查是否存在根据计算精度或计算方式的计算能力盈余。然后,在计算能力有足够盈余的情况下(步骤S407中为“是”),距离计算单元206通过FCM方式计算下一个测量对象的距离和相对速度(步骤S408)。假设距离计算单元206在计算区域中以选择单元204选择的计算精度执行距离计算。但是,在可以选择任意计算方式的情况下,通过选择单元204选择的计算方式来计算物体的距离和相对速度。
此后,在仍然保留测量对象的情况下(步骤S406中为“否”),重复执行计算能力的确认(步骤S407)和针对测量对象的距离计算(步骤S408)。此外,在针对所有测量对象测量了距离和相对速度的情况下(步骤S406中为“是”),处理返回到步骤S401,并且重复上述处理以尝试找到新出现的测量对象。
另一方面,在距离计算单元206没有足够的计算能力盈余的情况下(步骤S407中为“否”),计划单元205放弃对剩余测量对象的距离计算。可替代地,在没有足够的计算能力盈余的情况下,可以放弃计算精度,并且可以将FCM方式切换到FMCW方式以用于随后的测量对象以计算物体的距离和相对速度。然后,主控制单元209指示动作控制单元135降低本车辆的车速,以便减小距离计算单元206的计算负荷(步骤S410)。当车速降低时,由物体识别单元201识别出的每单位时间的物体的数量减少,或者由场景识别单元202识别出的场景的每单位时间的变化减少,并且由选择单元204选择的测量对象的数量也减少,因此预期计算负荷将降低。
此外,计划单元205使用呈现单元207向本车辆的乘客(诸如驾驶员)通知已经省略测量,作为不测量剩余测量对象的距离和相对速度的对策(步骤S409)。当距离计算单元206所使用的计算方式被切换时,该事实可以被呈现。此后,处理返回到步骤S401,并且重复执行物体识别处理、场景识别处理和行驶状况识别处理以尝试找到测量对象。
图5以流程图的形式图示了信息处理系统100要执行的处理过程的又一示例。当信息处理系统100中的每个单元在主控制单元209的控制下操作时,实现所示的处理过程。
首先,物体识别单元201对由相机221捕获的图像执行图像识别,并且还基于LiDAR222的检测信号来执行物体识别(步骤S501)。此外,场景识别单元202基于由相机221捕获的图像、LiDAR 222的检测信号或物体识别单元201的物体识别的结果来识别本车辆遇到的场景(步骤S502)。传感器融合处理可以适当地结合在物体识别和场景识别的每个处理中。
此外,行驶状况识别单元203从车身传感器223输入传感器信号以识别本车辆的行驶状况(步骤S503)。但是,物体识别单元201的物体识别处理、场景识别单元202的场景识别处理和行驶状况识别单元203的行驶状况识别处理没有特别的次序,并且这三个处理可以同时并行执行。
接下来,选择单元204基于物体识别单元201的物体识别结果、场景识别单元202的场景识别的结果以及行驶状况识别单元203的行驶状况识别的结果来检查是否存在要由距离计算单元206根据雷达224的传感器信号进行距离计算的测量对象(步骤S504)。当选择测量对象时,选择单元204根据需要适当地参考每种被摄体的紧急度数据库211、每种场景的优先级被摄体数据库212以及每种行驶状况的优先级被摄体数据库213。此外,选择单元204还可以选择用于对所选择的测量对象执行距离计算的计算精度或计算方式。
在不存在要进行距离计算的测量对象的情况下(步骤S504中为“否”),处理返回到步骤S501,并且重复上述处理以尝试找到测量对象。
另一方面,在存在要进行距离计算的测量对象的情况下(步骤S504中为“是”),计划单元205为针对每个检测到的测量对象执行距离计算确定优先级(步骤S505)。之后,根据确定的优先级依次尝试每个测量对象的距离计算。
计划单元205估计距离计算单元206通过FCM方式计算物体的距离和相对速度的计算能力以及根据识别对象的计算负荷,并检查距离计算单元206是否具有足够的计算能力盈余(步骤S507)。此外,在选择单元204还选择用于对测量对象执行距离计算的计算精度或计算方式的情况下,在步骤S507中检查是否存在根据计算精度或计算方式的计算能力盈余。然后,在计算能力有足够盈余的情况下(步骤S507中为“是”),距离计算单元206通过FCM方式计算下一个测量对象的距离和相对速度(步骤S508)。假设距离计算单元206在计算区域中以选择单元204选择的计算精度执行距离计算。但是,在可以选择任意计算方式的情况下,通过选择单元204选择的计算方式来计算物体的距离和相对速度。
此后,在仍然存在测量对象的情况下(步骤S506中为“否”),重复执行计算能力的确认(步骤S507)和针对测量对象的距离计算(步骤S508)。此外,在针对所有测量对象测量了距离和相对速度的情况下(步骤S506中为“是”),处理返回到步骤S501,并且重复上述处理以尝试找到新出现的测量对象。
另一方面,在距离计算单元206没有足够的计算能力盈余的情况下(步骤S507中为“否”),计划单元205放弃对剩余测量对象的距离计算。可替代地,在没有足够的计算能力盈余的情况下,可以放弃计算精度,并且可以将FCM方式切换到FMCW方式以用于随后的测量对象以计算物体的距离和相对速度。然后,主控制单元209指示车身系统控制单元109等确保电力,从而可以优先使用用于距离计算单元206的计算处理的电力(步骤S510)。例如,在车身系统110中,可以通过抑制空调的操作(升高冷却温度的设置等)来生成盈余电力。此外,在本车辆是电动车辆的情况下,驱动系统控制单元107抑制驱动电机的驱动力的生成(限制车辆的速度或加速度),从而可以生成盈余的电力。
此外,计划单元205使用提示单元207向本车辆的乘客(诸如驾驶员)通知已经省略测量,作为不测量剩余测量对象的距离和相对速度的对策(步骤S509)。当切换雷达设备的处理方式时,该事实可以被呈现。此后,处理返回到步骤S401,并且重复执行物体识别处理、场景识别处理和行驶状况识别处理以尝试找到测量对象。
图6以流程图的形式图示了在图3所示的流程图中的步骤S305中要执行的测量对象的优先级确定处理的详细处理过程。应当理解的是,在图4所示的流程图的步骤S405和图5所示的流程图的步骤S505中执行了类似的处理。
这个优先级确定处理由例如信息处理系统200中的计划单元205执行。此外,在图6所示的优先级确定处理中,假定使用其中按优先级次序对测量对象进行排序的测量对象列表。
首先,对通过物体识别、场景识别和行驶状况识别S301至S303检测到的所有测量对象执行以下确定碰撞时刻的处理(步骤S601中为“否”)。
计划单元205例如参考测量对象列表(上述)以优先级次序选择测量对象(步骤S602)。然后,检查选择的测量对象是否已经被跟踪(步骤S603)。
在已经跟踪选择的测量对象的情况下(步骤S603为“是”),基于跟踪结果计算当本车辆的路线与测量对象的轨迹彼此相交并且本车辆与测量对象碰撞时的碰撞时刻(步骤S604)。此外,在尚未跟踪选择的测量对象的情况下(步骤S603中为“否”),根据预定的预测算法来预测测量对象的轨迹,并且估计本车辆与测量对象的碰撞时刻(步骤S605)。注意的是,不可能碰撞的测量对象的碰撞时刻是无穷大。
然后,当完成针对所有检测到的测量对象的碰撞时刻的确定时(步骤S601中为“是”),计划单元205基于在步骤S604或S605中获得的预期碰撞时刻对每个测量对象进行排序(步骤S606)并且将测量对象写入测量对象列表(上述),并终止这个处理。
注意的是,从上述测量对象列表中删除不太可能与本车辆碰撞的测量对象(诸如碰撞时刻已经经过的测量对象)的处理应单独执行。
图7以流程图的形式图示了在图3所示的流程图的步骤S305中执行的对测量对象的优先级确定处理的详细处理过程的另一个示例。应当理解的是,在图4所示的流程图的步骤S405和图5所示的流程图的步骤S505中执行了类似的处理。
首先,对通过物体识别、场景识别和行驶状况识别S301至S303检测到的所有测量对象执行以下确定碰撞时刻的处理(步骤S701中为“否”)。
计划单元205例如参考测量对象列表(上述)以优先级次序选择测量对象(步骤S702)。然后,检查选择的测量对象是否已经被跟踪(步骤S703)。在已经跟踪选择的测量对象的情况下(步骤S703中为“是”),计算本车辆与测量对象的碰撞时刻(步骤S704)。此外,在尚未跟踪选择的测量对象的情况下(步骤S703中为“否”),估计本车辆与测量对象的碰撞时刻(步骤S705)。注意的是,不可能碰撞的测量对象的碰撞时刻是无穷大。
然后,当完成针对所有检测到的测量对象的碰撞时刻的确定时(步骤S701中为“是”),并且计划单元205基于在步骤S704或S705中获得的预期碰撞时刻对每个测量对象进行排序(步骤S706),将测量对象的排序结果经由呈现单元207呈现给本车辆的乘客(诸如驾驶员)。
使用例如显示设备(上述)在屏幕上显示测量对象的排序结果。乘客可以使用输入单元208输入指令以改变测量对象的优先级。输入单元208可以是显示设备(诸如触摸面板)的屏幕上的用户界面(UI)、语音输入等。计划单元205根据优先级改变指令来改变每个测量对象的优先级(步骤S707)并将优先级写入测量对象列表(上述),并终止这个处理。
图8以流程图的形式图示了在图6所示的流程图的步骤S604中要执行的计算本车辆与测量对象的碰撞时刻的处理过程。应当理解的是,在图7所示的流程图的步骤S704中执行了类似的处理。
计划单元205基于过去的测量结果来跟踪正被处理的测量对象(步骤S801)。然后,基于跟踪结果,计算测量对象的轨迹(步骤S802),计算当本车辆的路线与测量对象的轨迹彼此相交并且本车辆与测量对象碰撞时的碰撞时刻(步骤S803),并终止这个处理。
图9以流程图的形式图示了在图6所示的流程图中的步骤S605中要执行的估计本车辆与测量对象的碰撞时刻的处理过程。应当理解的是,在图7所示的流程图的步骤S605中执行了类似的处理。
首先,计划单元205执行与场景识别单元202的场景识别的结果的匹配(步骤S901),以及与测量对象的被摄体类型的匹配(步骤S902)。在这些匹配处理中,根据需要适当地执行与经验规则数据库的对照。执行这些匹配处理使得由选择单元204通过识别处理步骤S301至303(或者步骤S401至403)选择为测量对象的物体当中显然不要求距离计算的物体(例如,极不可能碰撞的物体)被排除,或者相反,要求距离计算的物体(例如,极有可能碰撞的物体)被提取。
接下来,计划单元205计算要测量的物体的位置信息和尺寸(步骤S903)。然后,计划单元205基于每种被摄体类型的速度信息、物体的位置和尺寸以及距离之间的关系来核实物体与本车辆碰撞的可能性,并且还计算碰撞时刻(步骤S904),并终止这个处理。
图10图示了屏幕的配置示例,在该屏幕中,在图7所示的流程图中的步骤S706中使用显示设备(上述)显示测量对象的排序结果。在图10所示的示例中,排序结果显示在示出本车辆前方的风景的屏幕上。但是,可以采用平视显示器,其中结果不显示在屏幕上而是显示在本车辆的挡风玻璃上。
在图10中,附图标记1001至1003是由物体识别单元201识别出的物体。如图所示,每个识别出的物体可以被正方形等包围以指示其被识别。物体1001是将要跳到本车辆前方的行人。此外,物体1002是在本车辆前方行驶的前方车辆,并且距本车辆的距离逐渐变短。此外,物体1003是站在人行道上的行人。
即将跳到本车辆前方的行人1001或接近的前方车辆1002可能在不久的将来与本车辆碰撞。另一方面,静止的行人1003极不可能与本车辆碰撞。因此,选择单元204仅在识别出的物体当中选择物体1001和物体1002作为测量对象。此外,计划单元205将优先级1和2分别指派给由选择单元204选择的物体1001和1002,并在围绕每个物体的框架中分别显示优先级。因此,本车辆的乘客(诸如驾驶员)可以知道要以高优先级执行针对即将在道路上行走的行人1001和前方车辆1002的距离测量。它还提示驾驶员降低车速,以避免与前方的行人1001或车辆1002碰撞。
图11图示了屏幕的配置示例,在该屏幕中,在图3所示的流程图的步骤S309中使用显示设备(上述)显示已经省略其距离计算的测量对象,作为不测量测量对象的距离和相对速度的对策。应当理解的是,在图4所示的流程图的步骤S409和图5所示的流程图的步骤S509中执行了类似的屏幕显示。此外,在图11所示的示例中,已经省略了其距离计算的测量对象被显示在示出本车辆前方的风景的屏幕上。但是,可以采用平视显示器,其中结果不显示在屏幕上而是显示在本车辆的挡风玻璃上。
在图11中,附图标记1101是物体识别单元201识别出的物体当中未被选择单元204选择为测量对象或被计划单元205从距离测量对象中排除的物体。这个物体1101是站在人行道上的行人。由于由附图标记1102指示的行人或由附图标记1103指示的前方车辆在不久的将来可能与本车辆碰撞,因此选择行人1102和车辆1103作为距离测量对象并将其结合到距离计算计划中。另一方面,由于静止的行人1101极不可能与本车辆碰撞,因此在没有计算能力的足够盈余的情况下,行人1101不被选择为距离测量对象,或者从距离计算计划中排除。如图所示,选择单元204或计划单元205在屏幕上显示未对行人1103执行距离测量。注意的是,除了屏幕显示(或代替屏幕显示),呈现单元207还可以通过语音消息来呈现行人1101不是距离测量对象。当行人1101突然开始移动时,驾驶员也会被提示降低车速以避免与行人1101碰撞。
图12图示了如何指示测量对象的改变。例如,在图11所示的屏幕上,本车辆的乘客(诸如驾驶员)可以使用诸如触摸面板之类的显示设备的屏幕的UI来用指尖触摸不测量其距离和相对速度的测量对象,以指示计划单元205将物体视为测量对象。
例如,在图7所示的流程图中的步骤S707中,计划单元205响应于驾驶员指示将测量对象添加到距离测量对象或升高测量对象的优先级,以便将测量对象写入测量对象列表或改变优先级。此外,在图3所示的流程图中的步骤S309、图4所示的流程图中的步骤S409或图5所示的流程图中的步骤S509中,驾驶员还可以通过图12中所示的屏幕指示将从测量对象中排除的物体添加到测量对象。
最后,将提及根据本实施例的信息处理系统200的效果。信息处理系统200可以合适地应用于通过使用雷达设备与诸如相机或LiDAR之类的其它物体检测传感器组合来执行测量的设备。这种类型的设备的具体示例是实现ADAS或自动驾驶的车辆控制系统100。
通过将FCM方式的雷达处理应用于雷达设备,可以扩展距离分辨率或对象物体的速度检测,与此同时计算量增加,这造成运算电路的成本或功耗增加的问题(上文提到的)。通过应用根据本实施例的信息处理系统200,具有以下优点:可以减少FCM方式的雷达处理中的计算量,或者相同的计算量可以与多个应用对应。此外,通过按时间划分切换计算方法,可以减少所需的总计算量。
即,根据本实施例的信息处理系统200有可能根据测量对象的优先级来管理雷达设备的处理方式。因而,即使用廉价的设备构造,也有可能提高ADAS或车辆控制系统100中的自动驾驶的安全性。
显然,在根据本实施例的信息处理系统200中,有可能实现升级,诸如增加使用雷达设备的距离计算的测量对象的数量,并且通过加强计算能力来进一步提高安全性。
工业适用性
上面已经参考具体实施例详细描述了本说明书中公开的技术。但是,显然本领域技术人员可以在不脱离本说明书中公开的技术要旨的情况下对实施例进行修改或替换。
虽然本说明书集中在与车载传感器的融合相关的实施例,但是本文公开的技术的应用范围不限于车辆。例如,本说明书中公开的技术可以类似地应用于各种类型的移动设备,诸如无人飞行器(诸如无人机)、在给定工作空间(家庭、办公室、工厂等)中自主移动的机器人、船舶或飞机。显然,本说明书中公开的技术可以类似地应用于安装在移动设备或各种非移动设备中的信息终端。
简而言之,已经以示例的形式描述了本说明书中公开的技术,并且本说明书中描述的内容不应当以限制性的方式进行解释。为了确定本说明书中公开的技术的要旨,应当考虑权利要求。
注意的是,本说明书中公开的技术还可以具有以下配置。
(1)一种信息处理设备,包括:
处理单元,其执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,其基于其它传感器的检测结果来控制处理单元中的计算处理方式。
(2)根据上述(1)所述的信息处理设备,
其中雷达被安装在车辆上并被使用,并且其它传感器是同一个车辆的车载传感器。
(3)根据上述(1)或(2)所述的信息处理设备,
其中控制单元基于其它传感器的检测结果来控制处理单元中的计算区域或计算处理的计算精度中的至少任意一个。
(4)根据上述(1)至(3)中的任一项所述的信息处理设备,
其中控制单元基于其它传感器的检测结果来选择要由处理单元进行计算处理的对象。
(5)根据上述(4)所述的信息处理设备,
其中控制单元基于其它传感器的物体识别结果来选择要由处理单元进行计算处理的对象。
(5-1)根据上述(5)所述的信息处理设备,
其中控制单元基于每个物体的紧急度来选择对象。
(6)根据上述(4)或(5)所述的信息处理设备,
其中信息处理设备被应用于车辆,以及
控制单元基于由其它传感器识别出的车辆遇到的场景来选择要由处理单元进行计算处理的对象。
(6-1)根据上述(6)所述的信息处理设备,
其中控制单元基于每个场景的优先级来选择对象。
(7)根据上述(4)至(6)中的任一项的信息处理设备,
其中信息处理设备被应用于车辆,以及
控制单元基于由其它传感器识别出的车辆的行驶状况来选择要由处理单元进行计算处理的对象。
(7-1)根据上述(7)所述的信息处理设备,
其中控制单元基于每种行驶状况的优先级来选择对象。
(8)根据上述(4)至(7)中的任一项所述的信息处理设备,
其中当选择了多个对象时,控制单元控制处理单元对每个对象执行计算处理的次序。
(9)根据上述(8)所述的信息处理设备,
其中控制单元基于每个对象所需的计算量来控制次序。
(10)根据上述(9)所述的信息处理设备,
其中控制单元省略了相对于所需的计算量处理单元的计算能力没有足够的计算能力盈余的对象的计算处理。
(11)根据上述(8)至(10)中的任一项所述的信息处理设备,其中信息处理设备被应用于车辆,以及
控制单元基于车辆与多个对象中的每个对象的估计碰撞时刻来控制次序。
(12)根据上述(1)至(11)中的任一项所述的信息处理设备,
其中控制单元呈现与被选择为要由处理单元执行计算处理的对象相关的信息。
(12-1)根据上述(12)所述的信息处理设备,
其中控制单元呈现关于每个对象的优先级的信息。
(13)根据上述(10)所述的信息处理设备,
其中计算单元呈现关于已省略由处理单元执行计算处理的对象的信息。
(14)根据上述(1)至(13)中的任一项所述的信息处理设备,
其中控制单元基于来自外部的指令来改变要由处理单元进行计算处理的对象。
(15)根据上述(1)至(14)中的任一项所述的信息处理设备,
其中信息处理设备被应用于车辆,以及
在处理单元没有计算能力的足够盈余的情况下,控制单元指示车辆降低车速。
(16)根据上述(1)至(14)中的任一项所述的信息处理设备,
其中在处理单元没有计算能力的足够盈余的情况下,控制单元指示电力确保。
(17)一种信息处理方法,包括:
处理步骤,执行FCM方式的雷达的检测信号的计算处理;以及
控制步骤,基于其它传感器的检测结果来控制处理步骤中的计算处理方式。
(18)一种以计算机可读格式编写的计算机程序,以使计算机用作:
处理单元,其执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,其基于其它传感器的检测结果来控制处理单元中的计算处理方式。
(19)一种信息处理系统,包括:
安装在车辆上的雷达和其它车载传感器;
识别单元,其基于车载传感器的检测信号来执行识别处理;
处理单元,其使用FCM方式对雷达的检测信号执行计算处理;以及
控制单元,其基于识别单元的识别结果来控制处理单元中的计算处理方式。
(20)一种移动设备,包括:
移动体;
安装在车辆上的雷达和其它车载传感器;
识别单元,其基于车载传感器的检测信号来执行识别处理;
处理单元,其使用FCM方式对雷达的检测信号执行计算处理;
控制单元,其基于识别单元的识别结果来控制处理单元中的计算处理方式;以及
移动体控制单元,其基于处理单元的处理结果来控制移动体。
附图标记列表
100 车辆控制系统
101 输入单元
102 数据获取单元
103 通信单元
104 车内装置
105 输出控制单元
106 输出单元
107 驱动系统控制单元
108 驱动系统
109 车身系统控制单元
110 车身系统
111 存储单元
112 自动驾驶控制单元
121 通信网络
131 检测单元
132 自身位置估计单元
133 状况分析单元
134 计划单元
135 动作控制单元
141 车外信息检测单元
142 车内信息检测单元
143 车辆状态检测单元
151 地图分析单元
152 交通规则识别单元
153 状况识别单元
154 状况预测单元
161 路线计划单元
162 行动计划单元
163 动作计划单元
171 紧急情况避免单元
172 加速/减速控制单元
173 方向控制单元
200 信息处理系统
201 物体识别单元
202 场景识别单元
203 行驶状况识别单元
204 选择单元
205 计划单元
206 距离计算单元
207 呈现单元
208 输入单元
209 主控制单元
211 每种被摄体的紧急度DB
212 每种场景的优先级被摄体DB
213 每种行驶状况的优先级被摄体DB
214 每个测量对象的所需计算量DB
221 相机
222 LiDAR
223 车身传感器
224 雷达(毫米波雷达)

Claims (20)

1.一种信息处理设备,包括:
处理单元,所述处理单元执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,所述控制单元基于其它传感器的检测结果来控制处理单元中的计算处理方式。
2.根据权利要求1所述的信息处理设备,
其中所述雷达被安装在车辆上并被使用,并且所述其它传感器是同一车辆的车载传感器。
3.根据权利要求1所述的信息处理设备,
其中所述控制单元基于所述其它传感器的检测结果来控制所述处理单元中的计算处理的计算区域或计算精度中的至少任意一个。
4.根据权利要求1所述的信息处理设备,
其中所述控制单元基于所述其它传感器的检测结果来选择要由所述处理单元进行计算处理的对象。
5.根据权利要求4所述的信息处理设备,
其中所述控制单元基于所述其它传感器的物体识别结果来选择要由所述处理单元进行计算处理的对象。
6.根据权利要求4所述的信息处理设备,
其中所述信息处理设备被应用于车辆,以及
所述控制单元基于由所述其它传感器识别出的车辆遇到的场景来选择要由所述处理单元进行计算处理的对象。
7.根据权利要求4所述的信息处理设备,
其中所述信息处理设备被应用于车辆,以及
所述控制单元基于由所述其它传感器识别出的车辆的行驶状况来选择要由所述处理单元进行计算处理的对象。
8.根据权利要求4所述的信息处理设备,
其中当选择了多个对象时,所述控制单元控制所述处理单元对每个对象执行计算处理的次序。
9.根据权利要求8所述的信息处理设备,
其中所述控制单元基于针对每个对象所需的计算量来控制所述次序。
10.根据权利要求9所述的信息处理设备,
其中所述控制单元省略了相对于所需的计算量所述处理单元的计算能力没有足够盈余的对象的计算处理。
11.根据权利要求8所述的信息处理设备,
其中所述信息处理设备被应用于车辆,以及
所述控制单元基于所述车辆与所述多个对象中的每个对象的估计碰撞时刻来控制所述次序。
12.根据权利要求1所述的信息处理设备,
其中所述控制单元呈现被选择为要与由所述处理单元执行计算处理的对象相关的信息。
13.根据权利要求10所述的信息处理设备,
其中所述计算单元呈现与已省略由所述处理单元执行计算处理的对象的信息。
14.根据权利要求1所述的信息处理设备,
其中所述控制单元基于来自外部的指令改变要由所述处理单元进行计算处理的对象。
15.根据权利要求1所述的信息处理设备,
其中所述信息处理设备被应用于车辆,以及
在所述处理单元的计算能力没有足够盈余的情况下,所述控制单元指示所述车辆降低车速。
16.根据权利要求1所述的信息处理设备,
其中在所述处理单元的计算能力没有足够盈余的情况下,所述控制单元指示电力确保。
17.一种信息处理方法,包括:
处理步骤,所述处理步骤执行FCM方式的雷达的检测信号的计算处理;以及
控制步骤,所述控制步骤基于其它传感器的检测结果来控制所述处理步骤中的计算处理方式。
18.一种以计算机可读格式编写的计算机程序,以使计算机用作:
处理单元,所述处理单元执行FCM方式的雷达的检测信号的计算处理;以及
控制单元,所述控制单元基于其它传感器的检测结果来控制所述处理单元中的计算处理方式。
19.一种信息处理系统,包括:
安装在车辆上的雷达和其它车载传感器;
识别单元,所述识别单元基于所述车载传感器的检测信号来执行识别处理;
处理单元,所述处理单元使用FCM方式对所述雷达的检测信号执行计算处理;以及
控制单元,所述控制单元基于所述识别单元的识别结果来控制所述处理单元中的计算处理方式。
20.一种移动设备,包括:
移动体;
安装在所述移动体上的雷达和其它传感器;
识别单元,所述识别单元基于所述其它传感器的检测信号来执行识别处理;
处理单元,所述处理单元使用FCM方式对所述雷达的检测信号执行计算处理;
控制单元,所述控制单元基于所述识别单元的识别结果来控制所述处理单元中的计算处理方式;以及
移动体控制单元,所述移动体控制单元基于所述处理单元的处理结果来控制所述移动体。
CN201980051429.4A 2018-08-09 2019-07-23 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备 Pending CN112534297A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150476 2018-08-09
JP2018-150476 2018-08-09
PCT/JP2019/028923 WO2020031689A1 (ja) 2018-08-09 2019-07-23 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置

Publications (1)

Publication Number Publication Date
CN112534297A true CN112534297A (zh) 2021-03-19

Family

ID=69413580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051429.4A Pending CN112534297A (zh) 2018-08-09 2019-07-23 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备

Country Status (6)

Country Link
US (1) US20210302570A1 (zh)
EP (1) EP3835823B1 (zh)
JP (1) JP7374098B2 (zh)
KR (1) KR20210040947A (zh)
CN (1) CN112534297A (zh)
WO (1) WO2020031689A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100569A1 (ja) * 2018-11-14 2020-05-22 ソニー株式会社 制御装置、制御方法及びセンサ制御システム
JP7165093B2 (ja) * 2019-03-29 2022-11-02 本田技研工業株式会社 車両制御システム
US11435439B2 (en) * 2019-08-19 2022-09-06 Waymo Llc Multibounce target mitigation
JP7125969B2 (ja) * 2020-10-28 2022-08-25 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11754666B2 (en) * 2021-02-12 2023-09-12 Aptiv Technologies Limited Radar detection prioritization based on downstream feedback

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315080A (ja) * 1991-04-11 1992-11-06 Fujitsu Ten Ltd 車間距離測定装置
JP2004191131A (ja) * 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
JP2009058316A (ja) * 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、物体検出方法、及び車両
US20100007476A1 (en) * 2004-08-07 2010-01-14 Albrecht Klotz Method and device for operating a sensor system
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
JP2013195245A (ja) * 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
JP2014169922A (ja) * 2013-03-04 2014-09-18 Denso Corp 物標認識装置
WO2016003474A1 (en) * 2014-07-03 2016-01-07 GM Global Technology Operations LLC Vehicle cognitive radar methods and systems
US20180095173A1 (en) * 2016-10-05 2018-04-05 Fujitsu Ten Limited Radar device and target detecting method
JP2018115936A (ja) * 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007002197A1 (de) * 2007-01-16 2008-07-17 Siemens Ag Gemeinsamer Kontroller für verschiedene Fahrerassistenzsysteme
JP2009181315A (ja) * 2008-01-30 2009-08-13 Toyota Motor Corp 物体検出装置
JP6364986B2 (ja) 2014-06-13 2018-08-01 株式会社デンソー レーダ装置
JP6398689B2 (ja) 2014-12-18 2018-10-03 沖電気工業株式会社 信号処理装置、信号処理方法及びプログラム
WO2019008640A1 (ja) * 2017-07-03 2019-01-10 三菱電機株式会社 信号処理装置、信号処理方法、信号処理プログラム及びレーダシステム
JP6787842B2 (ja) 2017-07-07 2020-11-18 株式会社Soken レーダ装置
JP2019066284A (ja) * 2017-09-29 2019-04-25 株式会社デンソーテン レーダ装置およびレーダ装置の制御方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315080A (ja) * 1991-04-11 1992-11-06 Fujitsu Ten Ltd 車間距離測定装置
JP2004191131A (ja) * 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
US20100007476A1 (en) * 2004-08-07 2010-01-14 Albrecht Klotz Method and device for operating a sensor system
JP2009058316A (ja) * 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、物体検出方法、及び車両
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
JP2013195245A (ja) * 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
JP2014169922A (ja) * 2013-03-04 2014-09-18 Denso Corp 物標認識装置
WO2016003474A1 (en) * 2014-07-03 2016-01-07 GM Global Technology Operations LLC Vehicle cognitive radar methods and systems
US20180095173A1 (en) * 2016-10-05 2018-04-05 Fujitsu Ten Limited Radar device and target detecting method
JP2018115936A (ja) * 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法

Also Published As

Publication number Publication date
EP3835823A4 (en) 2021-08-11
JP7374098B2 (ja) 2023-11-06
JPWO2020031689A1 (ja) 2021-08-12
KR20210040947A (ko) 2021-04-14
WO2020031689A1 (ja) 2020-02-13
EP3835823B1 (en) 2024-01-31
US20210302570A1 (en) 2021-09-30
EP3835823A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
WO2017057055A1 (ja) 情報処理装置、情報端末、及び、情報処理方法
US20200409387A1 (en) Image processing apparatus, image processing method, and program
EP3835823B1 (en) Information processing device, information processing method, computer program, information processing system, and moving body device
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
CN112313537A (zh) 信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备
US11915452B2 (en) Information processing device and information processing method
US11501461B2 (en) Controller, control method, and program
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20210297633A1 (en) Information processing device, information processing method, information processing program, and moving body
US20220277556A1 (en) Information processing device, information processing method, and program
US20200357284A1 (en) Information processing apparatus and information processing method
US20240069564A1 (en) Information processing device, information processing method, program, and mobile apparatus
WO2022070250A1 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
US20240012108A1 (en) Information processing apparatus, information processing method, and program
US20240019539A1 (en) Information processing device, information processing method, and information processing system
US20230267746A1 (en) Information processing device, information processing method, and program
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination