CN110114634A - 外界识别系统 - Google Patents

外界识别系统 Download PDF

Info

Publication number
CN110114634A
CN110114634A CN201780081270.1A CN201780081270A CN110114634A CN 110114634 A CN110114634 A CN 110114634A CN 201780081270 A CN201780081270 A CN 201780081270A CN 110114634 A CN110114634 A CN 110114634A
Authority
CN
China
Prior art keywords
vehicle
extraneous
reference direction
satellite positioning
external world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081270.1A
Other languages
English (en)
Other versions
CN110114634B (zh
Inventor
加纳忠彦
落田纯
堀井宏明
久保岛隆
华山贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110114634A publication Critical patent/CN110114634A/zh
Application granted granted Critical
Publication of CN110114634B publication Critical patent/CN110114634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

外界识别系统(12)具有：卫星定位装置(46)，其通过接收从人造卫星发送的电波来计测车辆(100)的位置；偏航角速率传感器(52)，其检测或者推定车辆(100)的行为；摄像头(40)，其获取车辆(100)的周围的外界信息；和外界识别装置(22)，其识别以基准方向(94)为中心的外界信息。外界识别装置(22)根据由卫星定位装置(46)计测出的车辆(100)的时序的位置修正偏航角速率传感器(52)的检测值(Y2)，且根据修正后的检测值(Y2A)修正基准方向(94)。

Description

外界识别系统
技术领域
本发明涉及一种通过摄像头等外界传感器获取车辆周围的外界信息且通过外界识别装置识别外界信息的外界识别系统，尤其涉及一种修正外界识别装置识别出的方向的外界识别系统。
背景技术
在日本发明专利公开公报特开2011-169728号中公开一种修正由偏航角速率传感器检测到的偏航角速率的装置。该装置根据由车载的摄像头拍摄到的图像信息来推定本车辆的偏航角速率且使用推定出的偏航角速率修正由偏航角速率传感器检测到的偏航角速率。
由摄像头拍摄到的图像信息由外界识别装置(例如识别ECU等)来识别。通常使摄像头的光轴方向与应该识别的方向(应该识别的外界的方向)一致，且将摄像头的光轴方向设定为外界识别装置的基准方向(识别的方向)。
发明内容
摄像头的姿势因车辆的振动、乘员的接触等而变化。伴随着摄像头的姿势变化而摄像头的光轴方向和外界识别装置的基准方向从应该识别的方向偏移。因此，根据外界识别装置的识别结果求出的识别对象的位置信息产生误差。日本发明专利公开公报特开2011-169728号中没有考虑修正外界识别装置的识别结果。
本发明是考虑这样的技术问题而完成的，其目的在于，提供一种能够精确地修正对外界识别装置设定的基准方向，且能够精确地识别车辆周边的识别对象的位置的外界识别系统。
第1技术方案所涉及的外界识别系统的特征在于，具有：卫星定位装置，其通过接收从人造卫星发送的电波来计测车辆的位置；车辆传感器，其检测或者推定所述车辆的行为；外界传感器，其获取所述车辆的周围的外界信息；和外界识别装置，其识别以基准方向为中心的所述外界信息，所述外界识别装置根据由所述卫星定位装置计测出的所述车辆的时序的位置修正所述车辆传感器的检测值，且根据修正后的所述检测值修正所述基准方向。
在第1技术方案中，也可以为：所述外界识别装置根据由所述卫星定位装置计测出的所述车辆的时序的位置求出所述车辆的行驶轨迹，且根据所述行驶轨迹修正所述车辆传感器的检测值，且根据修正后的所述检测值修正所述基准方向。
根据上述结构，最初使用位置计测的精度高的卫星定位装置来修正车辆传感器的检测值，接着使用车辆传感器的修正后的检测值修正外界识别装置的基准方向，因此能够精确地修正对外界识别装置设定的基准方向的偏移。其结果，能够精确地识别车辆周边的识别对象的位置。
第2发明所涉及的外界识别系统的特征在于，具有：卫星定位装置，其通过接收从人造卫星发送的电波来计测车辆的位置；存储装置，其存储地面物体的位置；外界传感器，其获取所述车辆的外界信息；和外界识别装置，其识别以基准方向为中心的所述外界信息，所述外界识别装置根据由所述卫星定位装置计测到的所述车辆的位置和存储于所述存储装置的所述地面物体的位置来修正所述基准方向。
在第2技术方案中，也可以为：所述外界识别装置根据由所述卫星定位装置计测出的所述车辆的位置和存储于所述存储装置的所述地面物体的位置求得将所述车辆作为基准的所述地面物体的相对方向，且根据所述方向来修正所述基准方向。
根据上述结构，使用位置计测的精度高的卫星定位装置来修正外界识别装置的基准方向，因此，能够精确地修正对外界识别装置设定的基准方向的偏移。其结果，能够精确地识别车辆周边的识别对象的位置。
在第1技术方案或者第2技术方案中，也可以为：所述外界识别装置在所述卫星定位装置的计测的可靠性比规定的可靠性高的情况下进行修正所述基准方向的处理。根据上述结构，能够更精确地修正对外界识别装置设定的基准方向的偏移。
根据本发明，能够精确地修正对外界识别装置设定的基准方向的偏移。其结果，能够精确地识别车辆周边的识别对象的位置。
附图说明
图1是表示具有本发明一实施方式所涉及的外界识别系统的车辆控制系统的结构的框图。
图2是第1实施方式所涉及的修正处理的流程图。
图3是将根据行驶位置计算出的行驶轨迹和根据偏航角速率计算出的偏航角速率进行比较的图。
图4A是表示在摄像头的姿势正确的状态下的各方向、摄像头的拍摄范围、外界识别装置的识别区域的图，图4B是表示在摄像头的姿势不正确的状态下的各方向、摄像头的拍摄范围和外界识别装置的识别区域的图，图4C是表示外界识别装置修正后的基准方向和识别区域的图。
图5A是表示在摄像头的姿势正确的状态下拍摄到的图像和识别区域的图，图5B是表示在摄像头的姿势不正确的状态下拍摄到的图像和识别区域的图。
图6是第1实施方式的变形例所涉及的修正处理的流程图。
图7是第2实施方式所涉及的修正处理的流程图。
图8A是表示水平角度正确的摄像头的光轴和地面物体的图，图8B是表示水平角度不正确的摄像头的光轴和地面物体的图。
图9A是表示俯仰角(pitch angle)正确的摄像头的光轴和地面物体的图，图9B是表示俯仰角不正确的摄像头的光轴和地面物体的图。
图10A是表示在侧倾角(roll angle)正确的状态下拍摄到的地面物体的图，图10B是表示在侧倾角不正确的状态下拍摄到的地面物体的图。
具体实施方式
下面，列举优选的实施方式且参照附图对本发明所涉及的外界识别系统进行说明。
[1车辆控制系统10的结构]
本发明所涉及的外界识别系统构成搭载于车辆100的车辆控制系统10的一部分。下面，对车辆控制系统10进行说明,并且对外界识别系统12进行说明。
[1.1整体结构]
使用图1对车辆控制系统10进行说明。车辆控制系统10被组装于车辆100，且通过自动驾驶或者手动驾驶来进行车辆100的行驶控制。该“自动驾驶”是不仅包括全自动地进行车辆100的行驶控制的“全自动驾驶”，还包括半自动地进行行驶控制的“半自动驾驶”或“驾驶辅助”的概念。
车辆控制系统10基本上由输入系统装置组、外界识别装置22、车辆控制装置28和输出系统装置组构成。构成输入系统装置组和输出系统装置组的各个装置通过通信线与外界识别装置22和/或车辆控制装置28连接。外界识别装置22和车辆控制装置28通过通信线相互连接。
输入系统装置组具有外界传感器14、导航装置16、通信装置18、车辆传感器20、自动驾驶开关24、连接于操作设备(未图示)的操作检测传感器26。输出系统装置组具有驱动车轮(未图示)的驱动力装置30、对车轮进行操舵的操舵装置32、对车轮进行制动的制动装置34、主要通过视觉、听觉和触觉来向驾驶员进行告知的告知装置36。
一部分的输入系统装置(外界传感器14、导航装置16、通信装置18、车辆传感器20)和外界识别装置22构成外界识别系统12。
[1.2输入系统装置组的具体结构]
外界传感器14获取表示车辆100的外界状态的信息(以下称为外界信息)，且将外界信息输出给外界识别装置22。具体而言，外界传感器14构成为，包括1个以上的摄像头40、1个以上的雷达42、和1个以上的LIDAR44(Light Detection and Ranging；光探测和测距/Laser Imaging Detection and Ranging；激光成像探测与测距)。在车辆100的出厂阶段各传感器的检测方向[摄像头40的光轴方向92(参照图4A)等]例如被固定为相对于车辆100的前后方向90的相对方向。在本实施方式中，各传感器的检测方向与车辆100的前后方向90一致(平行)。
导航装置16构成为，包括卫星定位装置46、导航存储装置48和未图示的用户接口(例如，触摸屏式的显示器、扬声器和麦克风)。导航装置16使用卫星定位装置46、车辆传感器20等的检测信息来测定车辆100的当前位置(行驶位置)，生成从该位置至用户指定的目的地的行驶路径。
卫星定位装置46通过接收从人造卫星发送的电波来计测车辆100的当前位置。卫星定位装置46如果能够同时与3个人造卫星进行通信则能够计测当前位置的纬度和经度，如果能够同时与4个以上的人造卫星进行通信则除了能计测当前位置的纬度、经度之外还能够计测高度。能通信的人造卫星的数量越增加，则位置计测的精度越高，其可靠性越提高。
导航存储装置48将导航装置16生成的行驶路径存储为路径信息84，并且存储地图信息82。地图信息82通过通信装置18、记录介质(未图示)来获取。
通信装置18构成为，能够与包括路侧设备、其他车辆和服务器的外部装置进行通信，例如，收发与交通设备有关的信息(交通信号等)、与其他车辆有关的信息、探测信息或者最新的地图信息82。各信息被输出给外界识别装置22或者车辆控制装置28。
车辆传感器20除了包括检测绕垂直轴的角速度的偏航角速率传感器52之外，还包括未图示的各传感器，例如检测车辆速度(车速)V的速度传感器、检测加速度的加速度传感器、检测横向加速度(横G)的横向加速度传感器、检测朝向和方位的方位传感器、和检测倾斜度的倾斜度传感器。由各个传感器检测到的信号被输出给外界识别装置22和/或车辆控制装置28，作为本车信息86而被存储于各存储器64和存储器80。
自动驾驶开关24例如是设置于方向盘或者仪表板等的按钮开关。自动驾驶开关24构成为，能够通过包括驾驶员的用户的手动操作切换多种驾驶模式。自动驾驶开关24将模式切换信号输出给车辆控制装置28。
操作检测传感器26检测驾驶员有无操作未图示的各种操作设备，例如加速踏板、方向盘、制动踏板、换挡杆和方向指示器操纵杆，以及操作量、操作位置。操作检测传感器26将加速器踩踏量(加速器开度)、方向盘操作量(操舵量)、制动器踩踏量、挡位、左右转弯方向等作为检测结果输出给车辆控制装置28。
[1.3输出系统装置组的具体结构]
驱动力装置30由驱动力ECU(电子控制装置；Electronic Control Unit)、包括发动机和驱动马达的驱动源构成。驱动力装置30按照从车辆控制部76输出的车辆控制值生成车辆100的行驶驱动力(扭矩)，且将该行驶驱动力通过变速器或者直接传递给车轮。
操舵装置32由EPS(电动助力转向系统；electric power steering system)ECU和EPS执行机构构成。操舵装置32按照从车辆控制部76输出的车辆控制值来改变车轮(转向轮)的朝向。
制动装置34例如是并用液压式制动器的电动伺服制动器，由制动ECU和制动执行机构构成。制动装置34按照从车辆控制部76输出的车辆控制值来对车轮进行制动。
告知装置36由告知ECU、显示装置、音响装置和触觉装置构成。告知装置36按照从车辆控制装置28输出的告知指令，进行与自动驾驶或者手动驾驶有关的告知动作。在告知动作时，告知ECU控制显示装置、音响装置和触觉装置中的1个或者多个。此时，告知ECU也可以改变按照告知内容进行动作的装置和其动作自身。
[1.4外界识别装置22的结构]
外界识别装置22由1个或者多个ECU构成，具有存储器64和各种功能实现部。在该实施方式中，功能实现部是通过CPU(中央处理单元)执行存储于存储器64的程序来实现功能的软件功能部。另外，功能实现部还能够通过由FPGA(Field-Programmable Gate Array)等集成电路构成的硬件功能部来实现。功能实现部包括外界识别部60和修正处理部62。
外界识别部60使用由外界传感器14获取到的外界信息、导航装置16的地图信息82等，识别车辆100周边的静态的外界信息，生成外界识别信息。在静态的外界信息中例如包括车道标识线、停车线、交通信号灯、交通标识、地面物体(不动产)、可行驶区域、避让区域等识别对象。外界识别部60使用由外界传感器14获取到的外界信息、由通信装置18接收到的信息等，识别车辆100周边的动态的外界信息，生成外界识别信息。在动态的外界信息中例如包括泊车和停车车辆等障碍物、行人和其他车辆(包括自行车)等交通参与者、交通信号(交通信号灯的灯色)等。另外，在动态的外界信息中还包括各识别对象的动作方向的信息。外界识别部60根据卫星定位装置46的定位结果和导航装置16的地图信息82来识别各识别对象的位置。车辆100出厂时，外界识别装置22识别出的基准方向94与各传感器检测到的方向(例如光轴方向92)相同(参照图4A)。
修正处理部62进行在下述[2]～[3]中说明的处理，修正基准方向94。存储器64除了存储各种程序之外还存储基准信息66和修正处理信息68。基准信息66是表示基准方向94的信息，例如被存储为相对于光轴方向92的方向的偏移量的信息。修正处理信息68包括在进行基准方向94的修正处理时由外界传感器14获取到的外界信息、由卫星定位装置46计测到的车辆100的位置及计测时刻的信息、和由车辆传感器20检测到的信息。并且，存储器64存储车辆100在直线道路上直行时由外界识别装置22识别出的消失点102的位置、即识别区域98(参照图5A)内的消失点102的位置。将该位置称为消失点102的初始位置Pi。
[1.5车辆控制装置28的结构]
车辆控制装置28与外界识别装置22同样由1个或者多个ECU构成，具有存储器80和各种功能实现部。功能实现部包括行动计划部70、轨迹生成部72、驾驶模式控制部74和车辆控制部76。
行动计划部70根据外界识别装置22的识别结果制成每个行驶路段的行动计划(事件的时序)，且根据需要更新行动计划。作为事件的种类，例如能够举出减速、加速、分支、合流、车道保持、车道变更、超车。在此，“减速”、“加速”是使车辆100减速或者加速的事件。“分支”、“合流”是使车辆100在分支地点或者合流地点顺利地行驶的事件。“车道变更”是改变车辆100的行驶车道的事件。“超车”是使车辆100超越前方行驶的其他车辆的事件。“车道保持”是使车辆100以不偏离行驶车道的方式行驶的事件，通过与行驶方式的组合而被细分。作为行驶方式，具体而言包括恒速行驶、跟随行驶、减速行驶、弯道行驶或者障碍物回避行驶。
轨迹生成部72使用从存储器80读出的地图信息82、路径信息84和本车信息86，生成按照由行动计划部70制成的行动计划的预定行驶轨迹。该预定行驶轨迹是表示时序的目标行为的数据，具体而言，是将位置、姿势角、速度、加减速度、曲率、偏航角速率、操舵角作为数据单位的时序数据组。
驾驶模式控制部74按照从自动驾驶开关24输出的信号来进行从手动驾驶模式向自动驾驶模式的转换处理、或者从自动驾驶模式向手动驾驶模式的转换处理。另外，驾驶模式控制部74按照从操作检测传感器26输出的信号来进行从自动驾驶模式向手动驾驶模式的转换处理。
车辆控制部76按照由轨迹生成部72生成的预定行驶轨迹，确定用于对车辆100进行行驶控制的各个车辆控制值。并且，车辆控制部76将所确定的各个车辆控制值输出给驱动力装置30、操舵装置32和制动装置34。
[2第1实施方式]
[2.1外界识别系统12进行的处理]
使用图2来说明第1实施方式所涉及的外界识别系统12进行的处理。图2所示的处理可以在驾驶员进行了规定操作的情况下执行，也可以在规定的时间、例如车辆100电源启动时执行，也可以定期地执行。另外，在第1实施方式中为了修正基准方向94而使用车辆100的行驶轨迹。为了计算车辆100的行驶轨迹而需要车辆100行驶一定距离以上。
在步骤S1中，卫星定位装置46判定位置计测的精度是否高。具体而言，判定能接收到电波的人造卫星数是否在存储于导航存储装置48的规定数以上。在此，优选为接收到至少4个人造卫星的电波。在能接收到电波的人造卫星数在规定数以上的情况下，即在可靠性高的情况下(步骤S1：是)，处理进入步骤S2。另一方面，在能接收到电波的人造卫星数小于规定数的情况下，即在可靠性低的情况下(步骤S1：否)，再次进行步骤S1的处理。
在步骤S2中，获取步骤S3～步骤S6的修正处理所需的各种信息。卫星定位装置46在车辆100行驶一定距离以上的期间进行车辆100的位置计测。计测结果(位置S)被作为时序的修正处理信息68而存储在外界识别装置22的存储器64中。另外，偏航角速率传感器52检测偏航角速率Y2(参照图3)。检测值(偏航角速率Y2)被作为时序的修正处理信息68而存储在外界识别装置22的存储器64中。
在步骤S3中，修正处理部62根据被存储为修正处理信息68的卫星定位装置46的计测结果(位置S)来计算车辆100的行驶轨迹L1(参照图3)。另外，图3所示的行驶轨迹L1通过使用3个计测结果(位置S1～S3)的线性插补来求得。在步骤S4中，修正处理部62根据行驶轨迹L1来计算偏航角速率Y1。例如，根据卫星定位装置46的计测结果来计算车辆100的车速V(每单位时间的位置变化量)，根据行驶轨迹L1的曲率半径R和车速V来计算偏航角速率Y1(Y1＝V/R)。
在步骤S5中，修正处理部62将通过运算求得的偏航角速率Y1和由偏航角速率传感器52检测到的偏航角速率Y2进行比较。在偏航角速率Y1与偏航角速率Y2不同的情况下，处理进入步骤S6。另一方面，在偏航角速率Y1与偏航角速率Y2一致(大致一致)的情况下，处理进入步骤S7。
在步骤S6中，修正处理部62修正偏航角速率传感器52的检测值。在此，将偏航角速率Y1作为真值，将偏航角速率Y2相对于偏航角速率Y1的偏移量作为修正值Sa。修正值Sa是用于将偏航角速率传感器52的检测值换算为真值的数值。修正处理部62将修正值Sa存储于存储器64，并且输出给车辆控制装置28。车辆控制装置28将修正值Pa存储于存储器80。
在步骤S7中，再次获取各种信息。摄像头40获取图像信息，偏航角速率传感器52检测偏航角速率Y2A(＝偏航角速率Y2根据修正值Sa修正后的值)。在步骤S8中，修正处理部62检测当车辆100直行时(偏航角速率Y2A≒0时)，由外界识别部60识别出的消失点102从初始位置Pi偏移的量(位置偏移量)。
在步骤S9中，修正处理部62将消失点102的位置偏移量和存储于存储器64的偏移容许值进行比较。在位置偏移量在容许值以上的情况下(步骤S9：是)，处理进入步骤S10。另一方面，在位置偏移量小于容许值的情况下(步骤S9：否)，视为基准方向94没有偏移而结束处理。
在步骤S10中，修正处理部62修正基准信息66所示的基准方向94。在此，以识别区域98内的消失点102的位置P与初始位置Pi一致的方式来修正基准方向94。下面说明水平角度偏移的情况下的修正方法。
如图4A所示，在车辆100中的摄像头40的设置姿势(水平角度)正确的情况下(为初始姿势的情况下)，摄像头40的光轴方向92及外界识别部60的基准方向94与车辆100的前后方向90一致。在该状态下，摄像头40拍摄以光轴方向92为中心的拍摄区域96(图5A)的图像信息，外界识别部60识别以基准方向94为中心的识别区域98(图5A)的图像信息。
如图4B所示，在车辆100中的摄像头40的设置姿势不正确的情况下(从初始姿势偏移的情况下)，摄像头40的光轴方向92′及外界识别部60的基准方向94′不与车辆100的前后方向90一致。在该状态下，摄像头40拍摄以光轴方向92′为中心的拍摄区域96′(图5B)的图像信息。外界识别部60识别以基准方向94′为中心的识别区域98′(图5B)的图像信息。在识别区域98′中，消失点102没有位于初始位置Pi，而位于从初始位置Pi向右方偏移的位置P。
修正处理部62求出用于使识别区域98′内的初始位置Pi与当前的消失点102的位置P一致的方向和修正量。并且，根据该方向和修正量来修正外界识别部60的基准方向94′。修正的结果，如图5B的虚线所示，识别区域98内的消失点102的位置P与初始位置Pi一致。另外，如图4C所示，外界识别部60能够识别将基准方向94、即车辆100的前后方向90作为中心的识别区域98(图5B)的图像信息。
[2.2第1实施方式的总结]
第1实施方式所涉及的外界识别系统12具有：卫星定位装置46，其通过接收从人造卫星发送的电波来计测车辆100的位置；车辆传感器20(偏航角速率传感器52)，其检测或者推定车辆100的行为；外界传感器14(摄像头40)，其获取车辆100的周围的外界信息；和外界识别装置22，其识别将基准方向94作为中心的外界信息。外界识别装置22根据由卫星定位装置46计测到的车辆100的时序的位置来修正车辆传感器20(偏航角速率传感器52)的检测值Y2，且根据修正后的检测值Y2A来修正基准方向94。
具体而言，外界识别装置22根据由卫星定位装置46计测到的车辆100的时序的位置S1、S2、S3来求得车辆100的行驶轨迹L1(步骤S3)，且根据行驶轨迹L1修正车辆传感器20(偏航角速率传感器52)的检测值Y2(步骤S6)，且根据修正后的检测值Y2A来修正基准方向94(步骤S10)。
根据上述结构，最初使用位置计测的精度高的卫星定位装置46来修正车辆传感器20(偏航角速率传感器52)的检测值Y2，接着使用车辆传感器20(偏航角速率传感器52)的修正后的检测值Y2A来修正外界识别装置22的基准方向94，因此，能够精确地修正对外界识别装置22设定的基准方向94的偏移。其结果，能够精确地识别车辆100周边的识别对象的位置。
另外，外界识别装置22在卫星定位装置46的计测的可靠性比规定的可靠性高的情况下进行修正基准方向94的处理。根据上述结构，能够更精确地修正对外界识别装置22设定的基准方向94的偏移。
[2.3第1实施方式的变形例1]
使用图6说明第1实施方式的变形例。外界识别系统12还能够代替图2所示的动作而进行图6所示的动作。图6所示的一系列处理和图2所示的一系列处理除了一部分处理之外彼此一致。在此，对图6所示的一系列处理中、与图2所示的一系列处理不同的处理进行说明。
在图6所示的步骤S24中，修正处理部62根据由偏航角速率传感器52检测到的偏航角速率Y2来计算行驶轨迹L2(参照图3)。然后，在步骤S25中，修正处理部62将根据卫星定位装置46的定位结果计算出的行驶轨迹L1和根据由偏航角速率传感器52检测到的偏航角速率Y2计算出的行驶轨迹L2进行比较。还能够代替图2的步骤S4和步骤S5而进行以上的处理。
[2.4第1实施方式的变形例2]
在第1实施方式中，还能够使用修正后的偏航角速率Y2A修正其他的车辆传感器20、例如速度传感器、加速度传感器、横向加速度传感器等。另外，在第1实施方式中最初对偏航角速率传感器52的检测值进行修正的理由是为了能最高精度地修正偏航角速率。但是，最初也可以修正其他车辆传感器20。另外，除了摄像头40的光轴方向92之外，也可以修正雷达42的光轴方向和LIDAR44的光轴方向。
[3第2实施方式]
[3.1外界识别系统12的动作]
使用图7说明第2实施方式所涉及的外界识别系统12进行的处理。与第1实施方式同样，图7所示的处理可以在驾驶员进行了规定操作的情况下执行，也可以在规定的时间、例如车辆100电源启动时执行，也可以定期地执行。
在步骤S41中，卫星定位装置46判定位置计测的精度是否高。具体而言，判定能接收到电波的人造卫星数是否在存储于导航存储装置48的规定数以上。在能接收到电波的人造卫星数在规定数以上的情况下，即在可靠性高的情况下(步骤S41：是)，处理进入步骤S42。另一方面，在能接收到电波的人造卫星数小于规定数的情况下，即在可靠性低的情况下(步骤S41：否)，再次进行步骤S41的处理。
在步骤S42中，获取在步骤S43～步骤S46的修正处理中所需的各种信息。摄像头40获取图像信息，卫星定位装置46进行车辆100的位置计测。
在步骤S43中，修正处理部62根据卫星定位装置46的定位结果(位置S)和存储于导航存储装置48的地图信息82来计算地面物体110(参照图5A等)的相对方向(将车辆100的位置S作为基准的地面物体110的方向)。将在此计算出的方向称为第1方向D1。在外界识别部60根据地图信息82在车辆100的周围规定范围内能识别出地面物体110的情况下进行该处理。
在步骤S44中，外界识别部60根据图像信息来识别地面物体110，修正处理部62计算由外界识别部60识别出的地面物体110的相对方向(将车辆100的位置S作为基准的地面物体110的方向)。将在此计算出的方向称为第2方向D2。
在步骤S45中，将第1方向D1和第2方向D2进行比较。在第1方向D1和第2方向D2不同的情况下(步骤S45：是)，处理进入步骤S46。另一方面，在第1方向D1和第2方向D2一致(大致一致)的情况下(步骤S45：否)，视为基准方向94没有偏移而结束处理。
在步骤S46中，修正处理部62修正基准信息66所示的基准方向94。在此，设第1方向D1为真值，计算用于使第2方向D2与作为真值的第1方向D1一致的修正方向和修正量。使用该修正方向和修正量来修正基准方向94。
如图8A、图9A、图10A所示，在车辆100中的摄像头40的设置姿势(水平角度、俯仰角、侧倾角)正确的情况下，摄像头40的光轴方向92及外界识别部60的基准方向94与车辆100的前后方向90一致。在该状态下，摄像头40拍摄将光轴方向92作为中心的拍摄区域96(图5A)的图像信息，外界识别部60识别将基准方向94作为中心的识别区域98(图5A)的图像信息。
如图8B、图9B、图10B所示，在车辆100中的摄像头40的设置姿势不正确的情况下，摄像头40的光轴方向92′及外界识别部60的基准方向94′与车辆100的前后方向90不一致。在该状态下，摄像头40拍摄将光轴方向92′作为中心的拍摄区域96′(图5B)的图像信息，外界识别部60识别将基准方向94′作为中心的识别区域98′(图5B)的图像信息(另外，图5B表示仅水平角度发生偏移的识别区域98′。)。
修正处理部62根据地面物体110的位置以与车辆100的前后方向90一致的方式来修正外界识别部60的基准方向94′。修正的结果，外界识别部60能够识别以基准方向94、即车辆100的前后方向90为中心的识别区域98(图5B)的图像信息。
[3.2第2实施方式的总结]
第2实施方式所涉及的外界识别系统12具有：卫星定位装置46，其通过接收从人造卫星发送的电波来计测车辆100的位置；导航存储装置48，其存储地面物体110的位置；外界传感器14(摄像头40)，其获取车辆100的外界信息；和外界识别装置22，其识别以基准方向94为中心的外界信息。外界识别装置22根据由卫星定位装置46计测到的车辆100的位置和存储于导航存储装置48的地面物体110的位置来修正基准方向94。
具体而言，也可以为：外界识别装置22根据由卫星定位装置46计测到的车辆100的位置和存储于导航存储装置48的地面物体110的位置求出将车辆100作为基准的地面物体110的相对方向，且根据该方向来修正基准方向94。
根据上述结构，使用位置计测的精度高的卫星定位装置46来修正外界识别装置22的基准方向94，因此，能够精确地修正对外界识别装置22设定的基准方向94的偏移。其结果，能够精确地识别车辆100周边的识别对象的位置。
与第1实施方式同样，外界识别装置22在卫星定位装置46的计测的可靠性比规定的可靠性高的情况下进行修正基准方向94的处理。根据上述结构，能够更精确地修正对外界识别装置22设定的基准方向94的偏移。
另外，在图7的步骤S44的处理中，地面物体110的相对方向在车辆100处于停车状态的状态下最易计测。因此，优选第2实施方式的处理在车辆100处于停车状态的状态下进行。
另外，本发明所涉及的外界识别系统并不限定于上述的实施方式，当然能够在没有脱离本发明的要旨的范围内采用各种结构。
在基准方向94的偏移量达到一定以上的情况下，例如，当在基准方向94没有偏移的状态下包含在拍摄区域96的规定区域内(中心区域等)的地面物体110没有包含在拍摄区域96内时，或者在这样的地面物体110位于拍摄区域96的端部的情况下，也可以停止外界识别系统12的动作。

Claims (5)

1.一种外界识别系统(12)，其特征在于，具有：
卫星定位装置(46)，其通过接收从人造卫星发送的电波来计测车辆(100)的位置；
车辆传感器(20)，其检测或者推定所述车辆(100)的行为；
外界传感器(14)，其获取所述车辆(100)的周围的外界信息；和
外界识别装置(22)，其识别以基准方向(94)为中心的所述外界信息，
所述外界识别装置(22)根据由所述卫星定位装置(46)计测出的所述车辆(100)的时序的位置修正所述车辆传感器(20)的检测值，且根据修正后的所述检测值修正所述基准方向(94)。
2.根据权利要求1所述的外界识别系统(12)，其特征在于，
所述外界识别装置(22)根据由所述卫星定位装置(46)计测出的所述车辆(100)的时序的位置求出所述车辆(100)的行驶轨迹，且根据所述行驶轨迹修正所述车辆传感器(20)的检测值，且根据修正后的所述检测值修正所述基准方向(94)。
3.一种外界识别系统(12)，其特征在于，具有：
卫星定位装置(46)，其通过接收从人造卫星发送的电波来计测车辆(100)的位置；
存储装置(48)，其存储地面物体(110)的位置；
外界传感器(14)，其获取所述车辆(100)的外界信息；和
外界识别装置(22)，其识别以基准方向(94)为中心的所述外界信息，
所述外界识别装置(22)根据由所述卫星定位装置(46)计测到的所述车辆(100)的位置和存储于所述存储装置(48)的所述地面物体(110)的位置来修正所述基准方向(94)。
4.根据权利要求3所述的外界识别系统(12)，其特征在于，
所述外界识别装置(22)根据由所述卫星定位装置(46)计测出的所述车辆(100)的位置和存储于所述存储装置(48)的所述地面物体(110)的位置求得将所述车辆(100)作为基准的所述地面物体(110)的相对方向，且根据所述方向修正所述基准方向(94)。
5.根据权利要求1或3所述的外界识别系统(12)，其特征在于，
所述外界识别装置(22)在所述卫星定位装置(46)的计测的可靠性比规定的可靠性高的情况下进行修正所述基准方向(94)的处理。
CN201780081270.1A 2016-12-28 2017-10-17 外界识别系统 Active CN110114634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016255012 2016-12-28
JP2016-255012 2016-12-28
PCT/JP2017/037455 WO2018123217A1 (ja) 2016-12-28 2017-10-17 外界認識システム

Publications (2)

Publication Number Publication Date
CN110114634A true CN110114634A (zh) 2019-08-09
CN110114634B CN110114634B (zh) 2023-06-06

Family

ID=62707257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081270.1A Active CN110114634B (zh) 2016-12-28 2017-10-17 外界识别系统

Country Status (4)

Country Link
US (1) US11195349B2 (zh)
JP (1) JP6674560B2 (zh)
CN (1) CN110114634B (zh)
WO (1) WO2018123217A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273674A (zh) * 2020-03-12 2020-06-12 深圳冰河导航科技有限公司 一种测距方法、车辆作业控制方法及控制系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102032516B1 (ko) * 2017-06-01 2019-10-15 엘지전자 주식회사 이동 로봇 및 그 제어방법
DE102018005005A1 (de) * 2018-06-22 2019-12-24 Daimler Ag Verfahren zur Positionsbestimmung eines Fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028632A (ja) * 1998-07-10 2000-01-28 Honda Motor Co Ltd ヨーレートセンサの補正装置
EP1221586A2 (en) * 2001-01-08 2002-07-10 Motorola, Inc. Position and heading error-correction method and apparatus for vehicle navigation systems
US20090089002A1 (en) * 2006-04-25 2009-04-02 Adc Automotive Distance Control Systems Gmbh, Method for the Calibration of a Yaw Rate Measurement
US20100217517A1 (en) * 2009-02-26 2010-08-26 Aisin Aw Co., Ltd. Navigation device, method, and program
CN102201056A (zh) * 2010-03-26 2011-09-28 日产自动车株式会社 车辆用环境识别装置以及方法
US20130136301A1 (en) * 2011-11-30 2013-05-30 Sony Mobile Communications Ab Method for calibration of a sensor unit and accessory comprising the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195357B2 (en) * 2008-04-16 2012-06-05 GM Global Technology Operations LLC In-vehicle sensor-based calibration algorithm for yaw rate sensor calibration
JP5561469B2 (ja) 2010-02-18 2014-07-30 トヨタ自動車株式会社 ヨーレート補正装置、及びその方法
US8447519B2 (en) * 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
US8694224B2 (en) * 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028632A (ja) * 1998-07-10 2000-01-28 Honda Motor Co Ltd ヨーレートセンサの補正装置
EP1221586A2 (en) * 2001-01-08 2002-07-10 Motorola, Inc. Position and heading error-correction method and apparatus for vehicle navigation systems
US20090089002A1 (en) * 2006-04-25 2009-04-02 Adc Automotive Distance Control Systems Gmbh, Method for the Calibration of a Yaw Rate Measurement
US20100217517A1 (en) * 2009-02-26 2010-08-26 Aisin Aw Co., Ltd. Navigation device, method, and program
CN101819044A (zh) * 2009-02-26 2010-09-01 爱信艾达株式会社 导航装置及导航用程序
CN102201056A (zh) * 2010-03-26 2011-09-28 日产自动车株式会社 车辆用环境识别装置以及方法
US20130136301A1 (en) * 2011-11-30 2013-05-30 Sony Mobile Communications Ab Method for calibration of a sensor unit and accessory comprising the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273674A (zh) * 2020-03-12 2020-06-12 深圳冰河导航科技有限公司 一种测距方法、车辆作业控制方法及控制系统

Also Published As

Publication number Publication date
JPWO2018123217A1 (ja) 2019-10-31
US20190347878A1 (en) 2019-11-14
CN110114634B (zh) 2023-06-06
JP6674560B2 (ja) 2020-04-01
WO2018123217A1 (ja) 2018-07-05
US11195349B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
CN105984464B (zh) 车辆控制装置
KR101823756B1 (ko) 오인식 판정 장치
US9177212B2 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle
CN101808852B (zh) 用于泊车装置的显示装置的控制装置及用于显示的方法
US10604150B2 (en) Vehicle stop position setting apparatus and method
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
JP4724043B2 (ja) 対象物認識装置
CN106314419A (zh) 自动驾驶控制装置
WO2019092996A1 (ja) 姿勢検出装置、及び姿勢検出プログラム
US20110320163A1 (en) Method and system for determining road data
CN106043299A (zh) 车辆控制装置
CN103568992B (zh) 用于为车辆的驾驶员定位声音图像的设备和方法
CN106364480A (zh) 车辆控制装置
KR101805377B1 (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
CN102132335A (zh) 行驶环境识别装置
JP2018063524A (ja) 車両制御装置
US10429506B2 (en) Lateral distance sensor diagnosis apparatus
CN110036426A (zh) 控制装置和控制方法
CN110114634A (zh) 外界识别系统
JP7167655B2 (ja) 道路劣化情報収集装置
JP6941178B2 (ja) 自動運転制御装置及び方法
JP4876147B2 (ja) 車線判定装置及びナビゲーションシステム
JP2018106490A (ja) 自動運転装置
US20200134871A1 (en) Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program
JP2020056733A (ja) 車両制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant