CN104424487A - 车外环境识别装置 - Google Patents

车外环境识别装置 Download PDF

Info

Publication number
CN104424487A
CN104424487A CN201410440306.9A CN201410440306A CN104424487A CN 104424487 A CN104424487 A CN 104424487A CN 201410440306 A CN201410440306 A CN 201410440306A CN 104424487 A CN104424487 A CN 104424487A
Authority
CN
China
Prior art keywords
vehicle
individually defined
external environment
defined thing
car external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410440306.9A
Other languages
English (en)
Inventor
樋渡穣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN104424487A publication Critical patent/CN104424487A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种车外环境识别装置,用于高精度地校正基于GPS的本车辆的绝对位置。车外环境识别装置具有:图像处理部,获取将检测区域进行拍摄的图像数据;空间位置信息生成部,基于图像数据而确定检测区域中的多个对象部位各自的对于本车辆的相对位置;特定物确定部,基于图像数据以及对象部位的相对位置而确定对应于对象部位的特定物,并将特定物的相对位置作为图像位置而予以存储;数据位置确定部,根据基于GPS的本车辆的绝对位置以及地图数据而确定作为特定物对本车辆的相对位置的数据位置;校正值导出部,导出作为图像位置与数据位置之差的校正值;位置校正部,通过导出的校正值而将基于GPS的本车辆的绝对位置进行校正。

Description

车外环境识别装置
技术领域
本发明涉及一种用于识别本车辆外部的环境的车外环境识别装置,尤其涉及一种用于校正基于GPS的本车辆的绝对位置的车外环境识别装置。
背景技术
以往,在汽车导航装置等当中,可将立体物、道路等作为电子数据来参照的地图数据正在得到利用。并且,为了提高这样的地图数据的精度,将飞机等拍摄的照片数据变换为正投影图像数据,进而提取地表面的道路网数据,并将各种信息整合到该道路网数据的技术已被公开(例如专利文献1)。通过相关的技术,可以高精度地表示地图上的地形。
因此,所谓的ACC(Adaptive Cruise Control,自适应巡航控制)正在受到瞩目,所述ACC通过检测出位于本车辆的前方的信号灯、车道标线等静止物,并估计出本车辆行进的行进路径(行进路)而辅助驾驶员的驾驶操作,或通过者检测出位于本车辆的前方的车辆(前行车辆)等移动物,从而避免与前行车辆之间的碰撞,同时将车间距离保持为安全的距离。
在相关的技术中,基于从搭载于车辆的摄像装置获得的图像数据而识别本车辆前方的车外环境,并根据本车辆要前进的行进路径和/或前行车辆的动向而控制本车辆。然而,可识别的车外环境局限于摄像装置所能拍摄的检测区域,在拍摄困难的盲点和/或远处却难以进行识别。
因此,本申请的发明者想到了一种方案,即通过利用地图数据等而在拍摄困难的宽阔的范围内识别车外环境,据此连远处的行进路径也作为控制输入,从而提高行驶控制的精度。如此,在确认远处的道路状况后进行停止、减速等,从而能够更加舒适地控制本车辆。
然而,用于汽车导航装置等的地图数据毕竟只是用于表示固定性的地形,其无法掌握用地图表示的静止物与行驶的车辆之间的相对性的位置关系。对此,可通过使用搭载于车辆的GPS(Global Positioning System,全球定位系统)而估计车辆的绝对位置,然而GPS的位置精度却并不太高,如果将这样的绝对位置的误差作为控制输入而调用,则具有不能充分地辅助驾驶员的驾驶操作的顾虑。
[现有技术文献]
[专利文献]
专利文献1:日本特开平11-184375号公报
发明内容
鉴于这样的技术问题,本发明的目的在于提供一种可通过高精度地校正基于GPS的本车辆的绝对位置而实现舒适的行驶的车外环境识别装置。
为了解决如上所述的技术问题,本发明的一种车外环境识别装置,其特征在于,具有:图像处理部,获取拍摄检测区域的图像数据;空间位置信息生成部,基于图像数据而确定检测区域中的多个对象部位各自的对于本车辆的相对位置;特定物确定部,基于图像数据以及对象部位的相对位置而确定对应于对象部位的特定物,并将特定物的相对位置作为图像位置而予以存储;数据位置确定部,根据基于GPS的本车辆的绝对位置以及地图数据而确定作为特定物对本车辆的相对位置的数据位置;校正值导出部,导出作为图像位置与数据位置之差的校正值;位置校正部,通过导出的校正值而将基于GPS的本车辆的绝对位置进行校正。
优选地,校正值导出部可在特定物确定部能够确定特定物的期间内间歇性地导出校正值。
优选地,还可以具有:车外环境检测部,用于检测车外环境;标准确定部,根据车外环境而确定将基于图像数据的相对位置与基于校正后的GPS的绝对位置中的哪一个使用于预定的控制。
优选地,特定物可以是在本车辆行进的行进路径中离本车辆预定距离的点。优选地,特定物可以是信号灯或道路标识。
根据本发明,可通过高精度地校正基于GPS的本车辆的绝对位置而实现舒适的行驶。
附图说明
图1为表示环境识别系统的连接关系的模块图。
图2为表示车外环境识别装置的概略性功能的功能模块图。
图3为用于说明亮度图像和距离图像的说明图。
图4为用于说明信号灯的特定操作的说明图。
图5为表示驾驶辅助控制的流程的控制框图。
图6为用于说明行进路径的说明图。
图7为表示车外环境识别装置的概略性功能的功能模块图。
图8为用于说明车外环境检测部以及标准确定部的概略性的优先处理流程的流程图。
符号说明:
1:本车辆                     110:摄像装置
120、250:车外环境识别装置    160:图像处理部
162:空间位置信息生成部       164:特定物确定部
172:数据位置确定部           174:校正值导出部
176:位置校正部               280:车外环境检测部
282:标准确定部
具体实施方式
以下,参照附图而详细说明本发明的优选实施方式。在相关实施方式中示出的尺寸、材料及其他具体数值等只不过是用于使发明的理解变得容易的示例,除非有特别例外的情形,均不是用于限定本发明。另外,在本说明书及附图中,关于实质上具有相同的功能、构造的要素,通过赋予相同的符号而省略重复说明,并且对与本发明没有直接关系的要素未予图示。
近年来,一种通过搭载于车辆的摄像装置拍摄本车辆的前方的车外环境并基于图像中的颜色信息和/或位置信息而检测出信号灯、车道标线等特定物,从而估计本车辆的行进路径而辅助驾驶员的驾驶操作的技术正在得到普及。然而,可识别的车外环境仅限于摄像装置可拍摄的检测区域,对于盲点和/或远处却难以识别。
因此,在本实施方式中,尝试通过使用可将立体物、道路等作为电子数据参照的地图数据识别拍摄困难的区域中的车外环境,从而将直到远处的较长的行进路径也作为控制输入,由此提高行驶控制的精度。然而,如果只用地图数据就无法掌握用地图表示的特定物与行驶的车辆之间的相对的位置关系。在此,可以用搭载于本车辆的GPS而掌握本车辆的绝对位置,然而GPS的位置精度不是太高,因此即使将包含误差的本车辆的绝对位置作为控制输入而调用,也具有不能充分辅助驾驶员的驾驶操作的顾虑。因此,在本实施方式中,利用基于图像而导出的相对位置而高精度地校正基于GPS的本车辆的绝对位置,通过有效地利用摄像装置中难以掌握的地图数据的信息,由此可以舒适的行驶。
[环境识别系统100]
图1为表示环境识别系统100的连接关系的模块图。环境识别系统100包含设置于本车辆1内的摄像装置110、车外环境识别装置120、车辆控制装置(ECU:Engine Control Unit)130而构成。
摄像装置110包含CCD(Charge-Coupled Device,电荷耦合元件)和/或CMOS(Complementary Metal-Oxide Semiconductor,互补金属氧化物半导体)等摄像元件而构成,用于拍摄相当于本车辆1的前方的环境,并可以生成由三种颜色(R(红)、G(绿)、B(蓝))构成的彩色图像和/或黑白图像。在此,将利用摄像装置110拍摄的彩色图像称为亮度图像,以与后述的距离图像相区分。
而且,以在本车辆1的行进方向侧上使两个摄像装置110各自的光轴大致平行的方式,在大致呈水平的方向上分离而配置摄像装置110。摄像装置110例如每隔1/60秒的帧(60fps)而连续生成将本车辆1的前方的检测区域中存在的对象物拍摄而得的图像数据。在此,成为作为特定物识别的对象的对象物不仅包括车辆、行人、信号灯、道路标识、车道标线、公路、护栏这些独立存在的立体物,而且还包括可作为尾灯、方向指示器、信号灯的各个亮灯部分等的立体物的一部分而确定的物体和/或基于这些对象物而执行进一步的计算而导出的行进路径等。以下实施方式中的各功能部是将这样的图像数据的更新作为契机而在每一帧执行各项处理。
车外环境识别装置120分别从两个摄像装置110取得图像数据,利用所谓的图案匹配而导出视差,并将导出的视差信息(相当于作为车辆前方方向的距离的纵深距离)映射到图像数据而生成距离图像。关于亮度图像以及距离图像将在后面详述。并且,车外环境识别装置120利用基于亮度图像的亮度以及基于距离图像的与本车辆1之间的纵深距离而确定位于本车辆前方的检测区域中的对象物究竟对应于哪个特定物。
车外环境识别装置120在特定物被确定时基于任意的特定物(例如车道标线)而导出行进路径,并为了适当地在所导出的行进路径上行驶而将表示其旨意的信息输出到车外环境识别装置120,从而辅助驾驶员的驾驶操作。而且,车外环境识别装置120在跟踪任意的特定物(例如前行车辆)的同时导出特定物的相对速度等,并判定特定物与本车辆1碰撞的可能性究竟高还是低。在此,当判定为碰撞的可能性较高时,车外环境识别装置120通过设置于驾驶员的前方的显示器122而将其旨意警示(报知)给驾驶员,并同时对车辆控制装置130输出表示其旨意的信息。
车辆控制装置130通过方向盘132、油门踏板134、制动踏板136而接受驾驶员的操作输入,并传递给操舵机构142、驱动机构144、制动机构146,从而控制本车辆1。而且,车辆控制装置130遵从车外环境识别装置120的指示而控制操舵机构142、驱动机构144、制动机构146。
以下详述车外环境识别装置120的构成。在此,对于本实施方式的特征性的基于GPS的本车辆1的绝对位置的校正进行详细说明,而对于与本实施方式的特征无关的构成则省略说明。
[第一实施方式:车外环境识别装置120]
图2为表示车外环境识别装置120的概略性功能的功能模块图。如图2所示,车外环境识别装置120包含接口(I/F,Interface)部150、数据存储部152、中央控制部154而构成。
接口部150为用于进行与摄像装置110和/或车辆控制装置130之间的双向信息交换的接口。数据存储部152由RAM、快闪存储器、HDD(Hard Disk Drive,硬盘驱动器)等构成,用于存储以下示出的各功能部的处理所必要的各种各样的信息,并且,暂时性存储从摄像装置110接收的图像数据。
中央控制部154由中央处理器(CPU)、记录有程序等的ROM、包含有作为工作区(work area)的RAM等的半导体集成电路所构成,并通过系统总线156而控制接口部150、数据存储部152等。而且在本实施方式中,中央控制部154还作为图像处理部160、空间位置信息生成部162、特定物确定部164、驾驶辅助控制部166、GPS获取部168、地图处理部170、数据位置确定部172、校正值导出部174、位置校正部176、扩大行进路径导出部178而发挥功能。以下对这样的功能部按照大体的目的而以图像处理、特定物确定处理、驾驶辅助控制、基于GPS的本车辆1的绝对位置的校正这一顺序进行详细的操作说明。
[图像处理]
图像处理部160分别从两个摄像装置110获得图像数据,并利用所谓的图案匹配而导出视差,所述的图案匹配将对应于从一方的图像数据中任意抽取的块(例如,水平4像素×垂直4像素的排列)的块从另一方的图像数据中进行检索。其中,“水平”表示所拍摄的亮度图像的画面横向,而“垂直”表示所拍摄的亮度图像的画面纵向。
作为该图案匹配,可以考虑在两个图像数据之间以表示图像中的任意位置的块为单位而比较亮度(Y色差信号)。例如有如下的一些方法:取亮度的差值的SAD(Sum of Absolute Difference,绝对差之和)、将差值平方而使用的SSD(Sum of Squared intensity Difference,亮度差平方和)、取从各像素的亮度引平均值的分散值的相似度的NCC(Normalized Cross Correlation,归一化互相关)等。图像处理部160针对展现于检测区域(例如,水平600像素×垂直180像素)的全部块执行这样的块单位的视差导出处理。在此将块设定为水平4像素×垂直4像素,然而块内的像素数为可以任意设定。
然而,在图像处理部160中虽然可以对作为检测分辨率单位的每一块导出视差,却无法识别该块究竟是哪种对象物的一部分。因此,视差信息不是以对象物单位导出,而是以检测区域中的检测分辨率单位(例如块单位)独立导出。在此是将把如此导出的视差信息(相当于纵深距离)映射到图像数据的图像称为距离图像。
图3为用于说明亮度图像210和距离图像212的说明图。例如假设通过两个摄像装置110而针对检测区域214生成图3的(a)所示的亮度图像(图像数据)210。然而,在此为了使理解容易,只将两个亮度图像210的一个方向示意性地表示。在本实施方式中,图像处理部160从这样的亮度图像210中求出每个块的视差,并形成如图3的(b)所示的距离图像212。距离图像212中的各个块中关联有该块的视差。在此,为了说明的方便而将导出了视差的块用黑点表示。
返回到图2进行说明,空间位置信息生成部162基于由图像处理部160生成的距离图像212而利用所谓的立体法而将检测区域214内的每个块的视差信息变换为包含水平距离、高度(垂直距离)以及纵深距离的三维位置信息(相对位置)。然而,在本实施方式中,优选至少让水平距离及纵深距离的二维相对位置确定。在此,立体法利用三角测量法,是一种由对象物的视差导出该对象物的针对摄像装置110的纵深距离的方法。此时,空间位置信息生成部162基于对象部位的纵深距离、以及位于与对象部位相同的纵深距离处的道路表面上的点与对象部位在距离图像212上的检测距离而导出对象部位的从道路表面算起的高度。相关的纵深距离的导出处理、三维位置确定处理可应用各种各样的现有技术,故在此省略说明。
[特定物确定处理]
特定物确定部164利用基于亮度图像210的亮度和基于距离图像212的三维相对位置而确定检测区域214中的对象部位(像素和/或块)究竟对应于哪个特定物,并将所确定的特定物的相对位置作为图像位置,并与特定物关联起来而存储于数据存储部152。例如在本实施方式中,特定物确定部164对位于本车辆1前方的一个或多个信号灯、以及在各个信号灯中正在发光的信号色(红色信号色、黄色信号色、绿色信号色)进行确定。
图4为用于说明信号灯的特定操作的说明图。在此将确定信号灯的红色信号色的处理作为示例而对其确定顺序进行说明。首先,特定物确定部164判定亮度图像210中的任意的对象部位的亮度是否包含于特定物(红色信号色)的亮度范围(例如,将亮度(R)作为标准值,而亮度(G)为标准值(R)的0.5倍以下,亮度(B)为标准值(R)的0.38倍以下)。并且,如果包含于成为对象的亮度范围中,则在其对象部位附上表示该特定物的识别编号。在此,如图4的放大图所示,在对应于特定物(红色信号色)的对象部位附上识别编号“1”。
然后,特定物确定部164将任意的对象部位作为基准点,并将该对象部位与水平距离的差值和高度的差值(还可以进一步包括纵深距离的差值)位于预定的规定范围内的、视为对应于同一特定物的(附加有同一识别编号)对象部位进行群组化,将该对象部位也作为一体的对象部位群。在此,预定范围用实际空间上的距离表示,并可设定为任意值(例如1.0m等)。而且,关于通过群组化而被新追加的对象部位,特定物确定部164也将该对象部位作为基准点而将水平距离的差值和高度的差值处于预定范围内的、特定物(红色信号色)相同的对象部位进行群组化。结果,如果附加有同一识别编号的对象部位之间的距离在预定范围内,则那些所有的对象部位将会被群组化。在此,如图4的放大图所示,将附加有识别编号“1”的对象部位群组化之后变成对象部位群220。
接着,特定物确定部164判定群组化的对象部位群220是否满足与该特定物相关联的高度范围(例如4.5~7.0m)、宽度范围(例如0.05~0.2m)、形状(例如圆形)等预定的条件。在此,关于形状,参照预先与特定物关联起来的模板而比较其形状(图案匹配),并基于具有预定值以上的相关性的事实而判定为条件成立。并且,如果预定的条件成立,便将该群组化的对象部位群220确认为特定物(红色信号色)或特定物(信号灯)。于是,特定物确定部164可基于图像数据而确定信号灯。而且,在此举出通过红色信号色确定信号灯的示例,然而也可以基于黄色信号色、蓝色信号色等而确定信号灯,这一点不在话下。
并且,在对象部位群220具有该特定物所特有的特征的情况下,也可以将其特征作为条件而确认为特定物。例如在信号灯的发光体由LED(LightEmitting Diode,发光二极管)构成的情况下,该发光体是以人眼所无法识别的周期(例如100Hz)点亮-熄灭。因此,特定物确定部164还可以基于与LED点亮-熄灭时间非同步地获取的亮度图像210的对象部位亮度的时间上的变化而确定特定物(红色信号色)。
而且,特定物确定部164还可以通过与信号灯相同的处理而确定本车辆1行进的行进路径。在此情况下,特定物确定部164首先确定本车辆前方展开的道路上的多个白线。具体而言,特定物确定部164判定任意的对象部位的亮度是否包含在特定物(白线)的亮度范围。而且,在对象部位均处于预定的规定范围内的情况下,特定物确定部164将该对象部位一并进行群组化,并将该对象部位也设为一体的对象部位群。
接着,特定物确定部164判定群组化的对象部位群是否满足与该特定物(白线)相关联的高度范围(例如道路表面上)、宽度范围(例如0.10~0.25m)、形状(例如实线或虚线)等预定的条件。并且,如果预定的条件成立,便将其群组化的对象部位群作为特定物(白线)。接着,特定物确定部164从已确定的在本车辆前方展开的多个白线中抽取水平距离最接近于本车辆1的左右各一条白线,由此将位于所抽取的左右各一条白线的中央,且平行的线导出而作为行进路径。这样,特定物确定部164可以基于图像数据而确定行进路径。
[驾驶辅助控制]
驾驶辅助控制部166基于特定物确定部164所确定的行进路径而辅助驾驶员的驾驶操作。例如,驾驶辅助控制部166根据本车辆1的行驶状态(例如偏航率、速度)而估计本车辆1实际行进的行进路径,并控制本车辆1的行驶状态以使其实际的行进路径与特定物确定部164所确定的行进路径一致,即使本车辆1在车道上妥当地行进。关于相关的实际行进路径的导出,可应用各种各样的现有技术,如日本特开2012-185562号公报、日本特开2010-100120号公报、日本特开2008-130059号公报、日本特开2007-186175号公报等,故在此省略其说明。
图5为表示驾驶辅助控制的流程的控制框图。驾驶辅助控制部166包含曲率估计模块166a、曲率目标偏航率模块166b、水平差值目标偏航率模块166c、扭矩导出模块166d而构成,并基于行进路径而辅助驾驶员的驾驶操作。
首先,曲率估计模块166a基于根据图像数据导出的行进路径而导出该行进路径所呈现的曲线的曲率半径R。曲率目标偏航率模块166b基于曲率估计模块166a所导出的曲率而导出本车辆1中应产生的目标偏航率γr。
水平差值目标偏航率模块166c导出基于图像数据而导出的行进路径与本车辆前方处的前方注视线交叉的交点(前方注视点)的水平距离、以及在维持当前的行驶状态(本车辆1的速度、偏航率、舵角等)的状态下通过前方注视线之际的与前方注视线之间的交点的水平距离,并导出使交点之间的水平距离的差值(水平差值)ε成为0(零)所需的偏航率,设置为基于水平差值的目标偏航率γε。在此,前方注视线为从本车辆宽度方向中心朝前方方向延伸的直线(直进线)的、位于本车辆1的预定距离(例如10.24m)前方的垂线(朝宽度方向延伸的线)。并且,这里的水平距离表示前方注视线上的从直进线起算的距离。
如以下的数学式1所示,扭矩导出模块166d在作为前馈项的基于曲率的目标偏航率γr以及作为反馈项的基于水平差值的目标偏航率γε上分别乘以预定的调整系数kr、kε(例如,kr=0.5、kε=0.5)并相加,从而导出综合的目标偏航率γs。
γs=kr·γr+kε·γε…  (数学式1)
而且,扭矩导出模块166d导出用于实现这样的综合的目标偏航率γs的目标操舵角θs,并将由相关的目标操舵角θs求出的目标操舵扭矩Ts输出到控制对象,例如输出到驱动机构144。关于上述驾驶辅助控制,在本申请人的日本特开2004-199286号公报等中已说明具体的处理,故在此省略其详细说明。这样,驾驶辅助控制部166可基于行进路径而辅助驾驶员的驾驶操作。
[基于GPS的本车辆1的绝对位置的校正]
图6为用于说明行进路径的说明图。在上述的驾驶辅助控制中,特定物确定部164利用基于图像数据而确定的行进路径而辅助驾驶操作。但如果利用基于图像数据的行进路径而进行控制,则存在无法获取像图6中以虚线和箭头表示的那样的直到远处的足够长的行进路径的情形。在本实施方式中,如上所述,利用地图数据而获取连拍摄困难的区域也包含的行进路径(图6中以实线和箭头表示的“基于GPS的行进路径”),从而提高行驶控制的精度。在此,在利用地图数据的情况下,需要通过搭载于本车辆1的GPS而导出地图数据上的本车辆1的绝对位置,然而基于GPS的本车辆1的绝对位置的位置精度却并不太高。因此,如下所述地校正基于GPS的本车辆1的绝对位置。
GPS获取部168通过GPS而获取本车辆1的绝对位置(例如纬度、经度)。地图处理部170参照地图数据而获取本车辆1行驶中的附近的道路信息。相关的地图数据可以存储于数据存储部152,然而也可以设置为从搭载于本车辆1的导航装置和/或互联网等通信网获取。
数据位置确定部172参照通过GPS获取部168获取的本车辆1的绝对位置而导出本车辆1是否位于地图数据的某一位置上。并且,基于地图数据中的本车辆1的绝对位置和作为目标的特定物的绝对位置而导出作为针对本车辆1的特定物的相对位置的数据位置。
在此,作为目标的特定物可应用地图数据中示有绝对位置的特定物和/或基于地图数据的其他特定物的绝对位置而通过计算能够掌握绝对位置的特定物。作为前者的特定物,例如可应用信号灯、道路标识等,而作为后者的特定物,可应用行进路径当中离本车辆1预定距离的点,例如可应用行进路径与本车辆前方的前方注视线交叉的交点等。在此,道路标识包括引导标识、警戒标识、限制标识、指示标识以及辅助标识。
在此,作为目标的特定物,当采用行进路径与前方注视线之间的交点时,数据位置确定部172与后述的扩大行进路径导出部178不同地基于地图数据中的道路信息以及通过GPS获取部168获取的本车辆1的绝对位置而导出地图数据上的行进路径,并导出该行进路径与前方注视线之间的交点。
校正值导出部174将特定物确定部164导出的图像位置与数据位置确定部172导出的数据位置进行比较,并导出作为其差值(图像位置-数据位置)的校正值而存储于数据存储部152。在此,校正值也可以用纬度的差值与经度的差值表示。并且,当作为目标的特定物不只选择一个而选择多个时,例如在选择了行进路径与本车辆前方的前方注视线交叉的交点以及信号灯的情况下,也可以对各自的图像位置与数据位置之间的差值取平均而作为校正值。
然而,不能保证特定物确定部164时时刻刻都能确定特定物,例如在由于天气(车外环境)等某种原因而无法从摄像装置110获取有效的图像数据的情况下,将会出现无法准确地确定特定物的情况。在此情况下,校正值导出部174在特定物确定部164能够确定特定物的期间内导出校正值。而且,为了减轻处理负荷,校正值导出部174在能够确定特定物的期间内间歇性地(例如5分钟一次)导出校正值。通过这样重新导出校正值,则存储于数据存储部152的校正值得到更新。
位置校正部176将导出的校正值相加于GPS获取部168获取的本车辆1的绝对位置,从而校正基于GPS的本车辆1的绝对位置。
扩大行进路径导出部178通过地图数据中的道路信息以及基于校正后的GPS的本车辆1的绝对位置而导出地图数据上的行进路径。并且,驾驶辅助控制部166取代特定物确定部164所确定的行进路径而基于扩大行进路径导出部178导出的行进路径辅助驾驶员的驾驶操作。如此,高精度地校正基于GPS的绝对位置,通过有效地利用凭借摄像装置110难以识别的地图数据的信息,据此可将行进路径取为足够长,并能够实现舒适的行驶。
[第二实施方式]
在第一实施方式中,将基于图像数据的特定物的相对位置与基于GPS的特定物的相对位置进行比较,并通过其差值(校正值)而校正基于GPS的本车辆1的绝对位置,而且,通过反映了基于校正后的GPS的本车辆1的绝对位置的地图数据而计算行进路径,并取代基于图像数据的行进路径而采用基于GPS的行进路径。
然而,不能保证总是能够获取基于GPS的本车辆1的绝对位置,并且,如上所述,图像数据也不能保证总是能够获取。因此,在本实施方式中,将基于GPS的绝对位置与基于图像数据的相对位置中的任何一种均可利用作为前提,并根据车外环境而将用于所述驾驶辅助控制等预定的控制的位置信息在基于GPS的绝对位置与基于图像数据的相对位置之间进行切换。
图7为表示第二实施方式中的车外环境识别装置250的概略性功能的功能模块图。如图7所示,车外环境识别装置250包含接口部150、数据存储部152、中央控制部154而构成。而且,中央控制部154还作为图像处理部160、空间位置信息生成部162、特定物确定部164、驾驶辅助控制部166、GPS获取部168、地图处理部170、数据位置确定部172、校正值导出部174、位置校正部176、扩大行进路径导出部178、车外环境检测部280、标准确定部282而发挥功能。作为第一实施方式中的构成要素而已述的接口部150、数据存储部152、中央控制部154、图像处理部160、空间位置信息生成部162、特定物确定部164、驾驶辅助控制部166、GPS获取部168、地图处理部170、数据位置确定部172、校正值导出部174、位置校正部176、扩大行进路径导出部178在实质上功能相同,因此省略重复说明,在此主要说明构造不同的车外环境检测部280、标准确定部282。
车外环境检测部280检测车外环境,尤其是检测摄像装置110的摄像环境以及GPS的电磁波环境。
标准确定部282根据车外环境检测部280检测出的车外环境而确定将基于图像数据的相对位置与基于校正后的GPS的绝对位置中的哪一个使用于预定的控制。
图8为用于说明车外环境检测部280以及标准确定部282的概略性的优先处理流程的流程图。车外环境检测部280检测GPS的电磁波环境(S300),并判定是否能够有效地检测出基于GPS的本车辆1的绝对位置(S302),例如判定车外空间是否开阔(并非隧道)等,在此,如果能够有效地检测出基于GPS的本车辆1的绝对位置(S302中的“是”),则标准确定部282确定将基于GPS的绝对位置使用于控制(S304)。并且,如果判定为不能够有效地检测出本车辆1的绝对位置(S302中的“否”),则标准确定部282确定将基于图像数据的相对位置使用于控制(S306)。
如此,在并不是隧道、高层建筑之间的区域中,执行将基于GPS的绝对位置作为标准的控制,从而在由于天阴或降雨等某种原因而无法从摄像装置110获取有效的图像数据的情况下,也能够高精度地维持本车辆1的行驶控制。而且,在隧道、高层建筑之间等无法有效地检测到基于GPS的本车辆1的绝对位置的区域中,执行取代GPS而将基于图像数据的相对位置作为标准的控制,从而仍然能够高精度地维持本车辆1的行驶控制。
[第三实施方式]
在第二实施方式中,举出了根据车外环境而选择基于GPS的绝对位置与基于图像数据的相对位置中的任意一个而使用于控制的示例进行了说明。然而,在基于GPS的绝对位置与基于图像数据的相对位置中的任意一个均有效的情况下,还可以将两者以相辅相成的方式加以利用。例如,在执行基于任意一个的控制的同时基于另一个而评价该控制的可靠性。通过这样,可相互地提高两者的可靠性和/或精度,并能够实现更加稳定的行驶控制。
如上所述,在所述的车外环境识别装置120、250中,能够高精度地校正基于GPS的本车辆1的绝对位置。并且,基于如此校正的GPS而执行利用地图数据的行驶控制,从而可以实现舒适的行驶。而且,根据车外环境而将基于图像数据的相对位置与基于校正后的GPS的绝对位置中的任意一个使用于行驶控制,从而不必局限于车外环境的变化而可以维持稳定且高精度的行驶控制。
并且,还提供一种使计算机作为车外环境识别装置120发挥功能的程序和/或记录有该程序的计算机可读的软盘、磁光盘、ROM、CD、DVD、BD等记录介质。在此,程序是指通过任意的语言、记述方法记述的数据处理单元。
以上已参照附图而对本发明的优选实施方式进行了说明,然而显然的是本发明并不局限于相关的实施方式。显然,如果是本领域的技术人员就能够在权利要求书中记载的范围内想到各种变形例或修正例,那些当然也应该属于本发明的技术范围。
例如在上述的实施方式中,作为利用GPS以及地图数据的预定控制,举例说明了驾驶辅助控制,然而并不局限于所描述的情形,也可以应用于ACC中的前行车辆追尾控制、舵角控制、扭矩控制、减速控制、停止控制等多种多样的控制。
而且,在上述的实施方式中是对使用相隔配置的两个摄像装置110的示例进行了说明,然而只要能够确定特定物,仅使用一个摄像装置也能够实现本实施方式。
产业上的可利用性
本发明涉及一种用于识别本车辆外部的环境的车外环境识别装置,尤其可以利用于对基于GPS的本车辆的绝对位置进行校正的车外环境识别装置。

Claims (9)

1.一种车外环境识别装置,其特征在于,具有:
图像处理部,获取拍摄检测区域的图像数据;
空间位置信息生成部,基于所述图像数据而确定所述检测区域中的多个对象部位各自的对于本车辆的相对位置;
特定物确定部,基于所述图像数据以及所述对象部位的相对位置而确定对应于该对象部位的特定物,并将该特定物的相对位置作为图像位置而予以存储;
数据位置确定部,根据基于GPS的本车辆的绝对位置以及地图数据而确定作为所述特定物对本车辆的相对位置的数据位置;
校正值导出部,导出作为所述图像位置与所述数据位置之差的校正值;
位置校正部,通过导出的校正值而将基于所述GPS的本车辆的绝对位置进行校正。
2.如权利要求1所述的车外环境识别装置,其特征在于,所述校正值导出部在所述特定物确定部能够确定所述特定物的期间内间歇性地导出校正值。
3.如权利要求1或2所述的车外环境识别装置,其特征在于,还具有:
车外环境检测部,用于检测车外环境;
标准确定部,根据所述车外环境而确定将基于所述图像数据的相对位置与基于校正后的所述GPS的绝对位置中的哪一个使用于预定的控制。
4.如权利要求1或2所述的车外环境识别装置,其特征在于,所述特定物为在本车辆行进的行进路径中离本车辆预定距离的点。
5.如权利要求3所述的车外环境识别装置,其特征在于,所述特定物为在本车辆行进的行进路径中离本车辆预定距离的点。
6.如权利要求1或2所述的车外环境识别装置,其特征在于,所述特定物为信号灯或道路标识。
7.如权利要求3所述的车外环境识别装置,其特征在于,所述特定物为信号灯或道路标识。
8.如权利要求4所述的车外环境识别装置,其特征在于,所述特定物为信号灯或道路标识。
9.如权利要求5所述的车外环境识别装置,其特征在于,所述特定物为信号灯或道路标识。
CN201410440306.9A 2013-09-09 2014-09-01 车外环境识别装置 Pending CN104424487A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013185942A JP2015052548A (ja) 2013-09-09 2013-09-09 車外環境認識装置
JP2013-185942 2013-09-09

Publications (1)

Publication Number Publication Date
CN104424487A true CN104424487A (zh) 2015-03-18

Family

ID=52478691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410440306.9A Pending CN104424487A (zh) 2013-09-09 2014-09-01 车外环境识别装置

Country Status (4)

Country Link
US (1) US20150073705A1 (zh)
JP (1) JP2015052548A (zh)
CN (1) CN104424487A (zh)
DE (1) DE102014112601A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105222775A (zh) * 2015-10-28 2016-01-06 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN107054221A (zh) * 2015-11-26 2017-08-18 马自达汽车株式会社 标识识别系统
CN107450530A (zh) * 2016-05-23 2017-12-08 本田技研工业株式会社 车辆控制系统以及车辆位置的确定装置、方法及程序产品
CN108363985A (zh) * 2018-03-06 2018-08-03 深圳市易成自动驾驶技术有限公司 目标对象感知系统测试方法、装置及计算机可读存储介质
CN108475471A (zh) * 2016-01-26 2018-08-31 三菱电机株式会社 车辆判定装置、车辆判定方法和车辆判定程序
CN110194164A (zh) * 2018-02-26 2019-09-03 本田技研工业株式会社 车辆用控制装置、车辆以及路线引导装置
CN110231039A (zh) * 2019-06-27 2019-09-13 维沃移动通信有限公司 一种定位信息修正方法及终端设备
CN113220805A (zh) * 2020-02-06 2021-08-06 丰田自动车株式会社 地图生成装置、记录介质以及地图生成方法
CN113875223A (zh) * 2019-06-14 2021-12-31 马自达汽车株式会社 外部环境识别装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558408B2 (en) 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
KR102263731B1 (ko) * 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
US10007998B2 (en) * 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
DE102015210015A1 (de) * 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
EP3130891B1 (en) 2015-08-11 2018-01-03 Continental Automotive GmbH Method for updating a server database containing precision road information
EP3130945B1 (en) * 2015-08-11 2018-05-02 Continental Automotive GmbH System and method for precision vehicle positioning
EP3131020B1 (en) 2015-08-11 2017-12-13 Continental Automotive GmbH System and method of a two-step object data processing by a vehicle and a server database for generating, updating and delivering a precision road property database
JP6803657B2 (ja) * 2015-08-31 2020-12-23 日立オートモティブシステムズ株式会社 車両制御装置および車両制御システム
CN108140309B (zh) 2015-11-20 2020-12-08 三菱电机株式会社 驾驶辅助装置、驾驶辅助系统以及驾驶辅助方法
KR101769807B1 (ko) * 2016-02-03 2017-08-21 (주)한양정보통신 관심 영역 설정 장치 및 방법
JP6312754B2 (ja) * 2016-08-04 2018-04-18 三菱電機株式会社 車両走行制御装置および車両走行制御方法
KR102518534B1 (ko) * 2016-11-30 2023-04-07 현대자동차주식회사 차량 위치 인식 장치 및 방법
US10754348B2 (en) * 2017-03-28 2020-08-25 Uatc, Llc Encoded road striping for autonomous vehicles
US10387727B2 (en) 2017-09-13 2019-08-20 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
WO2019118713A1 (en) * 2017-12-15 2019-06-20 Walmart Apollo, Llc System for determining the location of an autonomous vehicle when a location system is offline
JP6950538B2 (ja) * 2018-01-11 2021-10-13 トヨタ自動車株式会社 車両撮影支援装置及びプログラム
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
CN110673609A (zh) * 2019-10-10 2020-01-10 北京小马慧行科技有限公司 车辆行驶的控制方法、装置及系统
US11816902B2 (en) * 2020-08-26 2023-11-14 Subaru Corporation Vehicle external environment recognition apparatus
US11386650B2 (en) * 2020-12-08 2022-07-12 Here Global B.V. Method, apparatus, and system for detecting and map coding a tunnel based on probes and image data
CN112945244B (zh) * 2021-02-03 2022-10-14 上海博汽智能科技有限公司 适用于复杂立交桥的快速导航系统及导航方法
JPWO2023007588A1 (zh) * 2021-07-27 2023-02-02

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146351A (ja) * 1993-11-24 1995-06-06 Sumitomo Electric Ind Ltd 位置検出装置
JPH11184375A (ja) 1997-12-25 1999-07-09 Toyota Motor Corp デジタル地図データ処理装置及びデジタル地図データ処理方法
JP4145644B2 (ja) 2002-12-17 2008-09-03 富士重工業株式会社 車両の走行制御装置
JP2007011937A (ja) * 2005-07-04 2007-01-18 Nissan Motor Co Ltd 信号機検出システム、信号機検出装置、情報センター、および信号機検出方法
JP4916723B2 (ja) 2006-01-16 2012-04-18 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2007232690A (ja) * 2006-03-03 2007-09-13 Denso Corp 現在地検出装置、地図表示装置、および現在地検出方法
JP4856525B2 (ja) 2006-11-27 2012-01-18 富士重工業株式会社 先行車両離脱判定装置
JP2008249555A (ja) * 2007-03-30 2008-10-16 Mitsubishi Electric Corp 位置特定装置、位置特定方法および位置特定プログラム
JP5398222B2 (ja) 2008-10-22 2014-01-29 富士重工業株式会社 車線逸脱防止装置
JP2010190647A (ja) * 2009-02-17 2010-09-02 Mitsubishi Electric Corp 車両位置測定装置及び車両位置測定プログラム
US9052207B2 (en) * 2009-10-22 2015-06-09 Tomtom Polska Sp. Z O.O. System and method for vehicle navigation using lateral offsets
JP4865096B1 (ja) 2011-03-03 2012-02-01 富士重工業株式会社 車線逸脱警報制御装置
DE102011118161B3 (de) * 2011-11-10 2013-03-28 Audi Ag Verfahren zur Positionsbestimmung
JP5995589B2 (ja) * 2012-07-30 2016-09-21 キヤノン株式会社 補正値導出装置、変位量導出装置、制御装置、および補正値導出方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105222775B (zh) * 2015-10-28 2018-10-09 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN105222775A (zh) * 2015-10-28 2016-01-06 烽火通信科技股份有限公司 一种基于智能终端的空间位置排序方法
CN107054221A (zh) * 2015-11-26 2017-08-18 马自达汽车株式会社 标识识别系统
CN107054221B (zh) * 2015-11-26 2019-08-30 马自达汽车株式会社 标识识别系统
CN108475471A (zh) * 2016-01-26 2018-08-31 三菱电机株式会社 车辆判定装置、车辆判定方法和车辆判定程序
CN107450530B (zh) * 2016-05-23 2021-01-26 本田技研工业株式会社 车辆控制系统以及车辆位置的确定装置、方法及存储介质
CN107450530A (zh) * 2016-05-23 2017-12-08 本田技研工业株式会社 车辆控制系统以及车辆位置的确定装置、方法及程序产品
CN110194164A (zh) * 2018-02-26 2019-09-03 本田技研工业株式会社 车辆用控制装置、车辆以及路线引导装置
CN108363985A (zh) * 2018-03-06 2018-08-03 深圳市易成自动驾驶技术有限公司 目标对象感知系统测试方法、装置及计算机可读存储介质
CN113875223A (zh) * 2019-06-14 2021-12-31 马自达汽车株式会社 外部环境识别装置
CN113875223B (zh) * 2019-06-14 2024-02-06 马自达汽车株式会社 外部环境识别装置
CN110231039A (zh) * 2019-06-27 2019-09-13 维沃移动通信有限公司 一种定位信息修正方法及终端设备
CN113220805A (zh) * 2020-02-06 2021-08-06 丰田自动车株式会社 地图生成装置、记录介质以及地图生成方法
CN113220805B (zh) * 2020-02-06 2023-12-29 丰田自动车株式会社 地图生成装置、记录介质以及地图生成方法

Also Published As

Publication number Publication date
JP2015052548A (ja) 2015-03-19
DE102014112601A1 (de) 2015-03-12
US20150073705A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
CN104424487A (zh) 车外环境识别装置
US9978276B2 (en) Vehicle exterior environment recognition device
US11436919B2 (en) Method and apparatus for determining driving strategy of a vehicle
CN104346623B (zh) 车外环境识别装置
CN106170828B (zh) 外界识别装置
CN107203738A (zh) 车辆车道边界定位
US20160252905A1 (en) Real-time active emergency vehicle detection
EP3235684A1 (en) Apparatus that presents result of recognition of recognition target
US20170262710A1 (en) Apparatus that presents result of recognition of recognition target
JP7005326B2 (ja) 路側物認識装置
JP2020086545A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN109961643A (zh) 提醒方法、提醒装置和车载设备
KR102158169B1 (ko) 차선 인식장치
JP2021064056A (ja) ゼブラゾーン認識装置、車両制御装置、ゼブラゾーン認識方法、およびプログラム
KR20140109011A (ko) 터널 인식에 의한 차량 제어장치 및 제어방법
JP6530782B2 (ja) 車両制御装置
JP5983238B2 (ja) 車線境界線検出装置及び車線境界線検出方法
JP7255707B2 (ja) 信号機認識方法及び信号機認識装置
JP7255706B2 (ja) 信号機認識方法及び信号機認識装置
CN115143973A (zh) 地图信息判定装置、存储介质以及地图信息判定方法
CN112613335A (zh) 识别装置、识别方法及存储介质
KR20180009280A (ko) 3d 맵 데이터를 이용한 차선 위치확인 및 경로 안내 시스템
CN115050203B (zh) 地图生成装置以及车辆位置识别装置
US20230174069A1 (en) Driving control apparatus
CN114987530A (zh) 地图生成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318