CN113160594B - 变化点检测装置以及地图信息发布系统 - Google Patents

变化点检测装置以及地图信息发布系统 Download PDF

Info

Publication number
CN113160594B
CN113160594B CN202110078524.2A CN202110078524A CN113160594B CN 113160594 B CN113160594 B CN 113160594B CN 202110078524 A CN202110078524 A CN 202110078524A CN 113160594 B CN113160594 B CN 113160594B
Authority
CN
China
Prior art keywords
image
change point
map information
vehicle
coincidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110078524.2A
Other languages
English (en)
Other versions
CN113160594A (zh
Inventor
宇野智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113160594A publication Critical patent/CN113160594A/zh
Application granted granted Critical
Publication of CN113160594B publication Critical patent/CN113160594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明涉及变化点检测装置及地图信息发布系统。变化点检测装置(处理器(160))具有：存储器(170)，存储表示道路上和道路周围的与行驶条件关联的构造物的地图信息；物体检测部(162)，从由搭载于车辆(100)的车载摄像头(110)得到的表示车辆周围环境的图像中检测遮挡构造物的遮蔽物体(20)；对照部(163)，在地图信息中除去由遮蔽物体遮挡的构造物，将图像与地图信息对照，计算图像与地图信息的一致度；及变化点检测部(164)，在一致度小于等于预定阈值的情况下，判定为图像所示的构造物有与地图信息所示的对应的构造物不同的变化点。确定关于道路或其周围的构造物从制作高精度地图时起产生了某些变化点的地点。

Description

变化点检测装置以及地图信息发布系统
技术领域
本发明涉及变化点检测装置以及地图信息发布系统。
背景技术
关于交通信息管理系统，以下为公知技术：第1汽车行驶于范围外路径时收集到的该范围外路径的行驶信息从第1汽车经由网络逐次地被收集到中心，制作出第1汽车通行了的范围外路径的交通信息后加以管理，并将所管理的该交通信息经由网络发送给第2汽车(例如参照专利文献1)。
现有技术文献
专利文献1：日本特开2004-245758号公报
发明内容
发明所要解决的问题
以自动驾驶的实用化为目的，设想了利用高精度地图。利用于自动驾驶的高精度地图中包含车道划分线(车道标线、分道线)等道路标示(路面标志)、道路标识(道路标志牌)以及信号机(交通信号灯)等的信息。通过自动驾驶来行驶的车辆(自动驾驶车辆)通过将由搭载于自身车辆的车载摄像头(camera)所得到的自身车辆周围的图像与高精度地图进行匹配，准确地推定自身车辆的位置，并且确定行驶中的车道。
然而，在关于自动驾驶车辆行驶中的道路或者其周围的构造物，从制作高精度地图时起有某些变化，且高精度地图与自身车辆周围的图像不一致的情况下，有时会导致自动驾驶控制不正常。
于是，本发明的目的在于，确定关于道路或者其周围的构造物从制作高精度地图时起产生了某些变化点的地点。
用于解决问题的技术方案
根据一个实施方式，提供一种变化点检测装置。该变化点检测装置具有：存储部，其存储表示道路上和道路周围的与行驶条件关联的构造物的地图信息；检测部，其从由搭载于车辆的拍摄部得到的表示车辆周围的环境的图像中检测遮挡构造物的物体；对照部，其在地图信息中除去由物体遮挡的构造物，将图像与地图信息进行对照(比对)，计算图像与地图信息的一致度(重合度)；以及变化点检测部，其在一致度小于等于预定阈值的情况下，判定为图像所示出的构造物存在与地图信息所示出的对应的构造物不同的变化点。
在该变化点检测装置中，优选为，变化点检测部基于表示得到图像时的车辆周围的环境状况的信息、图像上的示出物体的区域的尺寸或者构造物的尺寸，判定能否从图像中判别(辨别)构造物，且仅在判定为能够从图像中判别构造物的情况下，判定为存在变化点。
在该变化点检测装置中，优选为，对照部对于将图像分割而得到的多个局部图像中的每一个，将该局部图像与地图信息的对应于该局部图像的局部区域进行对照，计算局部图像与地图信息的局部区域的局部一致度，变化点检测部在一致度超过预定阈值且关于多个局部图像中的任一个的局部一致度小于等于预定局部一致度阈值的情况下，判定为在该局部图像所示出的构造物与地图信息的对应于该局部图像的局部区域所示出的构造物之间存在变化点。
该变化点检测装置还具有地图信息更新部，地图信息更新部基于变化点，更新地图信息。
根据其他实施方式，提供一种地图信息发布系统。该地图信息发布系统具有多个车辆以及能够与多个车辆中的每一个通信的服务器，多个车辆中的每一个具有变化点检测装置，变化点检测装置具有：存储部，其存储表示道路上和道路周围的与行驶条件关联的构造物的地图信息；检测部，其从由搭载于车辆的拍摄部得到的表示车辆周围环境的图像中检测遮挡构造物的物体；对照部，其在地图信息中除去由物体遮挡的构造物，将图像与地图信息进行对照，计算图像与地图信息的一致度；变化点检测部，其在一致度小于等于预定阈值的情况下，判定为图像所示出的构造物存在与地图信息所示出的对应的构造物不同的变化点；以及发送部，其在由变化点检测部判定为存在变化点的情况下，向服务器发送变化点的信息，服务器在从多个车辆中的任一个接收到变化点的信息时，向其他车辆发送变化点的信息。
发明效果
本发明涉及的变化点检测装置取得如下效果：能够确定关于道路或者其周围的构造物从制作高精度地图时起产生了某些变化点的地点。
附图说明
图1是表示一个实施方式的安装有变化点检测装置的地图信息发布系统的构成的示意图。
图2是表示搭载于车辆的车辆控制系统的构成的示意图。
图3是表示服务器的构成的示意图。
图4是表示处理器的关于变化点检测处理的功能块的示意图。
图5是表示地图信息被进行更新的例子的示意图。
图6是表示车载摄像头拍摄得到的图像中映现有遮蔽物体的状态的示意图。
图7是表示对划分线的模糊不清进行检测的方法的一例的示意图。
图8是表示ECU的处理器进行的变化点检测处理的流程图。
标号说明
10道路；12岔路；14、16划分线；18墙壁；20遮蔽物体；100车辆；110车载摄像头；120测位信息接收机；130环境信息取得部；140无线终端；150电子控制装置(ECU)；160处理器；161投影部；162物体检测部；163对照部；164变化点检测部；165地图信息更新部；166发送部；170存储器；180通信接口；300服务器；310控制装置；312处理器；314存储器；316通信接口；320储存装置；400通信网络；500无线基站；1000地图信息发布系统。
具体实施方式
以下，参照附图，对变化点检测装置进行说明。变化点检测装置例如将由车载摄像头得到的表示车辆周围的环境的图像与地图信息进行对照，检测地图信息所示出的与行驶条件关联的构造物和实际的构造物之间的变化点。
在将图像与地图信息进行对照时，存在图像中包含有遮挡构造物的物体(以下，也称为遮蔽物体)的情况。在该情况下，将图像与地图信息进行了对照的结果，有可能会误检测出变化点。在本实施方式中，若在图像中检测出遮蔽物体，则从地图信息中的对照对象中除去由遮蔽物体遮挡的构造物后，再将图像与地图信息进行对照。通过进行这样的处理，对于没有由遮蔽物体遮挡的构造物，由于将图像与地图信息进行对照，因此将会对这些构造物正确地检测出变化点。而且，对于由遮蔽物体遮挡的构造物，由于不检测变化点，因此能抑制误检测出变化点。
图1是表示一个实施方式的安装有变化点检测装置的地图信息发布系统1000的构成的示意图。该地图信息发布系统1000具有作为能够自主行驶的自动驾驶车辆的一例的多个车辆100以及服务器300。各车辆100与服务器300能够经由通过光通信线路等构成的通信网络400以及无线基站500相互通信，无线基站500经由网关(未图示)与通信网络400连接。即，无线基站500进行各车辆100与服务器300间的通信的中继。作为一例，变化点检测装置安装于车辆100。在地图信息发布系统1000中，基于变化点，将地图信息更新为最新的信息。此外，在本实施方式中，各车辆100关于变化点检测处理而具有相同的构成，服务器300对各车辆100应用相同的处理，因此，以下只要没有特殊需要，将仅对一台车辆100进行说明。
服务器300配置于管理中心。管理中心使用服务器300对多个车辆100提供地图信息等各种信息。另外，管理中心使用服务器300，收集与各车辆100检测出的变化点有关的信息，并将与变化点有关的信息、或者更新出的地图信息发布给各车辆100。除此之外，管理中心还使用服务器300进行用于控制各车辆100的各种处理。
图2是表示搭载于车辆100的车辆控制系统的构成的示意图。车辆控制系统具有车载摄像头110、测位信息接收机120、环境信息取得部130、无线终端140以及电子控制装置(ECU：Electronic Control Unit)150。ECU150是变化点检测装置的一例。车载摄像头110、测位信息接收机120、环境信息取得部130、无线终端140以及ECU150各自以能够经由遵照控制器局域网(CAN：Controller Area Network)、以太网(Ethernet)这样的标准的车内网络进行通信的方式连接。
车载摄像头110是拍摄部的一例，具有由CCD(电荷耦合器件)或者C-MOS(互补金属氧化物半导体)等对可见光具有敏感度的光电转换元件的阵列所构成的二维检测器、以及形成在该二维检测器上成为拍摄对象的区域的像的成像光学系统。车载摄像头110设置在车辆内部的仪表板或者挡风玻璃的附近等，按预定拍摄周期(例如1/30秒～1/10秒)拍摄车辆100的周围(例如车辆100的前方)，生成表示车辆100周围的环境的图像。由车载摄像头110得到的图像优选为彩色图像。另外，车载摄像头110既可以构成为包括立体摄像头，也可以构成为从左右图像的视差取得到图像上的各构造物的距离。车载摄像头110每当生成图像时，将该生成的图像经由车内网络向ECU150输出。
测位信息接收机120取得表示车辆100的当前位置和姿势的测位信息。例如，测位信息接收机120能够设为GPS(Global Positioning System，全球定位系统)接收机。而且，测位信息接收机120每当取得测位信息时，将取得的测位信息经由车内网络向ECU150输出。
环境信息取得部130主要取得表示车辆100周围的环境的信息(以下，称为环境信息)。环境信息取得部130包括环境温度传感器、检测车辆100外部的照度的照度传感器、和检测车辆100外部的降雨量的降雨传感器等。
此外，环境信息除了这些传感器检测的检测值以外还包含涉及到防抱死制动系统(AVS：Anti-lock Braking System)、车辆稳定控制系统(VSC：Vehicle StabilityControl)、牵引力控制系统(TRC：Traction Control System)等车辆稳定控制的控制值。此外，在这些车辆稳定控制中，使用轮速传感器、制动液压传感器等检测出的检测值。另外，环境信息也包含表示车辆100的雨刷器的工作状态的控制值、前照灯(头灯)的指示信号的设定值(表示远光和近光中的任一个的设定值)等。再者，环境信息也可以包含基于图像识别(包括基于机器学习的识别)的气象状况或者路面状况的判定值。这些检测值、控制值、设定值、判定值等是与车辆100周围的环境相关联地变化的值，环境信息取得部130取得这些值。因此，除了上述的传感器以外，环境信息取得部130例如也可以是有别于ECU150而设置的ECU、或者ECU150本身。环境信息取得部130将取得的环境信息经由车内网络向ECU150输出。
无线终端140例如具有天线以及执行如无线信号的调制和解调这样的与无线通信关联的各种处理的信号处理电路。而且，无线终端140从无线基站500接收下行链路的无线信号，另外，向无线基站500发送上行链路的无线信号。即，无线终端140从自无线基站500接收到的下行链路的无线信号中取出从服务器300向车辆100传输的信号(例如，地图信息、变化点的信息、后述的黑名单的信息等)并交给ECU150。另外，无线终端140生成包括从ECU150收取到的向服务器300发送的信号(例如，车辆100的当前位置和姿势、与变化点有关的信息、车载摄像头110拍摄到的图像、将图像与地图信息重叠得到的重叠图像、环境信息等)的上行链路的无线信号，并发送该无线信号。
ECU150具有处理器160、存储器170以及通信接口180。处理器160具有一个或多个CPU(Central Processing Unit)及其外围电路。处理器160也可以还具有如逻辑运算单元、数值运算单元或者图形处理单元这样的其他的运算电路。存储器170是存储部的一例，例如具有易失性的半导体存储器以及非易失性的半导体存储器。存储器170中存储有地图信息、车载摄像头110的内部参数等的信息。地图信息是表示车辆行驶的道路上以及道路周围的与行驶条件关联的构造物(以下，简称为构造物)的信息，包含这些构造物的三维的位置信息。此外，构造物例如包括画在路面上的车道划分线或者道路边界线这样的道路标示、道路标识、信号机、道路端的路缘石或者墙壁、和接近于道路的建筑物等。内部参数包括车辆100中的车载摄像头110的安装位置、车载摄像头110相对于车辆100的姿势、和车载摄像头110的焦点距离等。通信接口180具有用于将ECU150与车内网络连接的接口电路。此外，对于由ECU150进行的变化点检测处理，将会在后面进行说明。
图3是表示服务器300的构成的示意图。服务器300具有控制装置310以及储存装置320。
控制装置310具有处理器312、存储器314以及通信接口316。处理器312具有一个或多个CPU(Central Processing Unit)及其外围电路。处理器312也可以还具有如逻辑运算单元、数值运算单元或者图形处理单元这样的其他的运算电路。存储器314例如具有易失性的半导体存储器以及非易失性的半导体存储器。通信接口316具有用于将控制装置310与服务器300内的网络或者通信网络400连接的接口电路。通信接口316构成为能够经由通信网络400以及无线基站500与车辆100通信。即，通信接口316将从车辆100经由无线基站500以及通信网络400接收到的信息交给处理器312。另外，通信接口316将从处理器312收取到的信息经由通信网络400以及无线基站500向车辆100发送。
储存装置320是存储部的一例，例如具有硬盘装置或者光记录介质及其访问(access)装置。而且，储存装置320存储有地图信息。另外，储存装置320存储有由地图信息发布系统1000利用的各种信息。再者，储存装置320也可以存储用于执行在处理器312上所执行的处理的计算机程序。此外，储存装置320由硬盘驱动器等构成。对于在服务器300侧进行的处理，将会在后面进行说明。
以下，对变化点检测处理的详情进行说明。图4是表示处理器160的关于变化点检测处理的功能块的示意图。处理器160具有投影部161、物体检测部162、对照部163、变化点检测部164、地图信息更新部165以及发送部166。处理器160具有的上述各部例如是由在处理器160上工作的计算机程序实现的功能模块。也即是说，处理器160具有的上述各部由处理器160和用于使其发挥功能的程序(软件)构成。另外，该程序也可以记录于ECU150具备的存储器170或者从外部连接的记录介质。或者，处理器160具有的上述各部也可以是设置于处理器160的专用的运算电路。
通过图4所示的构成，处理器160将从车载摄像头110取得的图像与地图信息进行对照，计算图像与地图信息之间的一致度。而且，处理器160在一致度小于等于预定阈值的情况下检测变化点。在相对于地图信息所示出的构造物，实际的构造物发生了变化的情况下，将图像与地图信息进行对照时会检测出变化点。在该情况下，为了使实际的构造物的变化反映于地图信息而将地图信息更新。
图5是表示地图信息被进行更新的例子的示意图。在此，作为构造物发生了变化的例子，列举将设置于道路10的岔路12与道路10进行划分的划分线14、表示路肩与道路10的边界或者中央分离带与道路10的边界的道路边界线17、道路10左侧的墙壁18等构造物发生了变化的情况为例进行说明。
图5示出了在车辆100行驶于单侧双车道的道路10时车载摄像头110拍摄车辆前方所生成的图像。左右所示的图像是在车辆100的位置和姿势、内部参数相同的条件下拍摄到的图像，但拍摄的定时(timing)不同。在图5的左侧的图像中，在双车道的道路10的左侧存在岔路12，沿着道路10的车道与岔路12的边界存在有划分线14。在道路10上行驶的车辆100通过越过划分线14进入到岔路12，能够前往与道路10不同的方向。此外，道路10由划分线16划分为双车道。
另一方面，图5的右侧的图像是在岔路12被废弃且划分线14不见了之后拍摄到的图像。在图5的右侧的图像中，随着岔路12被废弃，表示路肩与道路10的边界的道路边界线17、墙壁18的形状也发生了变化。
在地图信息中，除了图5所示的岔路12、划分线14、16、道路10左侧的墙壁18等构造物之外，道路标识、信号机等构造物的三维的位置例如也由世界坐标系表示为特征点群的坐标。
在岔路12、划分线14等构造物刚没有了之后，地图信息中依然表示有岔路12、划分线14等构造物的信息。因此，会对参照了地图信息的车辆100给予错误的信息，参照了地图信息的车辆控制系统会识别为依然存在岔路12、划分线14等。
另一方面，处理器160每当取得车载摄像头110拍摄生成的图像时，逐次将图像与地图信息进行对照，检测图像与地图信息之间的变化点。在将岔路12以及划分线14等构造物没有了之后拍摄到的图像与地图信息进行对照时，会检测出变化点。基于变化点，将地图信息更新，从而地图信息成为反映出岔路12以及划分线14等构造物没有了的信息。
图6是表示在岔路12、划分线14等构造物没有了之后拍摄到的图像中映现有遮蔽物体20的状态的示意图。在图6所示的例子中，遮蔽物体20是作为前车的大型巴士，由遮蔽物体20遮挡了划分线16、道路边界线17、墙壁18等构造物的一部分。即使岔路12以及划分线14等构造物没有了这一情况已经反映于地图信息，但是若遮蔽物体20映现在图像中，则在将图像与地图信息进行对照时，两者的一致度也会被判定得低，作为存在变化点而做出误检测。
因此，处理器160从图6所示的车载摄像头110的图像中检测遮挡构造物的遮蔽物体20，在将图像与地图信息进行对照时，通过将地图信息所示出的构造物中的由遮蔽物体20遮挡的构造物(在图6的例子中是隐藏在遮蔽物体20的背侧的划分线16、道路边界线17、墙壁18等)从对照对象中除去而进行对照，从而计算图像与地图信息的一致度。而且，处理器160在一致度小于等于预定阈值的情况下，判定为图像所示出的构造物存在与地图信息所示出的对应的构造物不同的变化点。
由此，对于由遮蔽物体20遮挡的构造物，不检测变化点，因此即使在存在遮挡构造物的遮蔽物体20的情况下，也能准确地检测变化点。另外，对于地图信息所示出的由遮蔽物体20遮挡的构造物，能抑制这些构造物的信息被误更新。
以下，详细说明处理器160所进行的处理。处理器160逐次取得车载摄像头110按上述的预定拍摄周期所生成的图像、以及测位信息接收机120接收到的与车辆100的当前位置和姿势有关的测位信息。
处理器160的投影部161通过将存储于存储器170的三维的地图信息投影在由车载摄像头110生成的图像上，将地图信息转换为二维的信息。此时，基于车辆100的当前位置和姿势以及内部参数，将地图信息所示出的构造物投影在图像上。更详细而言，投影部161假定车辆100的位置和姿势，将地图信息所示出的车辆100周围的构造物投影在由车载摄像头110生成的图像上。例如，投影部161将由从测位信息接收机120接收到的最新的测位信息所表示的车辆100的位置、以及与根据最近的多个测位信息求取的车辆100的行进方向相当的车辆100的姿势作为车辆100的假定位置以及假定姿势。投影部161按照该假定位置和假定姿势以及内部参数，求取从世界坐标系向相机坐标系的转换公式，相机坐标系以车载摄像头110的位置作为原点，以车载摄像头110的光轴方向作为一个轴方向。这种转换公式由表示坐标系间的旋转的旋转矩阵与表示坐标系间的平行移动的平移向量的组合表示。而且，投影部161按照该转换公式，将地图信息所包含的由世界坐标系表示的车辆100周围的道路上的构造物的坐标转换为相机坐标系的坐标。而且，投影部161基于内部参数，将转换为相机坐标系的坐标的构造物投影在图像上。由此，针对由车载摄像头110得到的图像，生成重叠有地图信息所示出的构造物的重叠图像。
此外，投影部161也可以基于车辆100的假定位置和假定姿势以及内部参数，确定由地图信息表示出的构造物中的能够通过车载摄像头110拍摄的区域，仅将确定出的构造物转换到相机坐标系。例如，将车载摄像头110的位置作为原点，将由车载摄像头110的视场角(焦点距离)确定的区域作为能够拍摄的区域。由此，由于除去了无法由车载摄像头110拍摄的范围来进行坐标转换和投影，因此能减轻投影部161的处理负荷。
物体检测部162从由车载摄像头110生成的图像中检测车辆100周围的构造物。例如，物体检测部162通过将图像输入到分类器(识别器)，检测图像所示出的构造物。物体检测部162例如能够使用如下的分割用的分类器作为分类器：该分类器预先学习为，根据被输入的图像，对于该图像的各像素，按有可能由该像素表示的物体的种类，输出该像素表示了该物体的准确度，识别为表示了准确度成为最大的物体。物体检测部162例如能够使用全卷积网络(FCN：Fully Convolutional Network)这样的具有分割用的卷积神经网络型(CNN)架构的深度神经网络(DNN)作为这种分类器。或者，物体检测部162也可以利用随机森林(random forest)或者支持向量机(support vector machine)这样的按照其他机器学习方法的分割用的分类器。在该情况下，物体检测部162通过将图像输入到分割用的分类器，在该图像中确定映现有构造物的像素。而且，物体检测部162将映现有相同种类的构造物的像素的集合作为表示出该构造物的区域。
或者，物体检测部162也可以对图像应用索贝尔滤波器(Sobel filter)这一边缘检测滤波器，从图像中检测表示出边缘的边缘像素作为特征点。物体检测部162也可以通过对边缘像素的集合执行霍夫变换，从图像中检测直线。而且，物体检测部162在从图像中检测出的直线沿着车辆100的行进方向延伸的情况下，也可以将该直线检测为作为道路上的构造物的一例的车道划分线。
另外，物体检测部162通过将图像输入到分类器来检测遮蔽物体20。这时，物体检测部162也可以有别于检测构造物所用的分类器而使用预先学习为从被输入的图像中检测该图像所示出的遮蔽物体20的分类器。物体检测部162例如能够使用SSD(Single ShotMultiBox Detector)或者Faster R-CNN这样的具有卷积神经网络型(CNN)架构的深度神经网络作为这种分类器。
另外，物体检测部162通过对表示有检测出的构造物的区域的图像进行边缘检测处理，检测表示构造物的特征点。物体检测部162将检测出的构造物的种类、表示示出该构造物的区域的信息(例如，表示示出该构造物的区域的位图(bitmap))以及特征点向对照部163输出。
对照部163将投影在由车载摄像头110生成的图像上的、地图信息所示出的构造物与从由车载摄像头110生成的图像中检测出的构造物进行对照，计算两者的一致度。此时，对照部163将由遮蔽物体20遮挡的构造物从对照对象中除去后，再将地图信息所示出的构造物与从由车载摄像头110生成的图像中检测出的构造物进行对照。
例如，对照部163在物体检测部162从图像中检测出构造物的特征点的情况下，进行图像的特征点与地图信息的特征点是否一致的匹配，并在重叠图像内，计算一致的特征点的数量相对于特征点的总数的比例，由此，计算地图信息所示出的构造物与从由车载摄像头110生成的图像中检测出的构造物的一致度。在该情况下，例如根据下式计算一致度。
一致度＝地图信息的特征点中的到从图像中检测出的特征点中的任一特征点的距离小于等于预定值的特征点的数量/对于地图信息设定的特征点的总数
此外，对照部163在从物体检测部162取得了表示出构造物的位图的情况下，也可以利用公知的模板匹配的方法，计算地图信息所示出的构造物与从图像中检测出的构造物的一致度。
在计算一致度时，若由物体检测部162检测出遮蔽物体20，则对照部163进行将地图信息所示出的构造物中的由遮蔽物体20遮挡的构造物从对照对象中除去的处理。由此，由遮蔽物体20遮挡的地图信息中的区域被排除在一致度的计算之外。
例如，在图6所示的车载摄像头110的图像的情况下，由物体检测部162检测出大型巴士作为遮蔽物体20。对照部163将由遮蔽物体20遮挡的构造物(隐藏在遮蔽物体20背后的道路10、划分线16、道路边界线17、墙壁18等)从对照对象中除去。而且，对照部163通过将由车载摄像头110得到的图像与除去了由遮蔽物体20遮挡的构造物的地图信息进行对照，计算图像与地图信息的一致度。
这时，对照部163通过在对车载摄像头110的图像重叠了地图信息所示出的构造物的状态下，将位于在图像中检测出的遮蔽物体20的区域的构造物从对照对象中除去，能够将由遮蔽物体20遮挡的构造物从对照对象中除去。
此外，考虑由物体检测部162检测出的遮蔽物体20的位置包含误差等，对照部163也可以将比检测出的遮蔽物体20大的区域内所包括的构造物从对照对象中除去。
投影部161使假定位置和假定姿势每次变化预定量，并在多个假定位置和假定姿势上，执行与上述同样的坐标系转换、投影的各处理。对照部163也可以确定一致度成为最大时的假定位置和假定姿势，将该假定位置和假定姿势推定为车辆100的实际的位置和姿势。此外，也可以对由对照部163推定出的车辆100的实际的位置和姿势，应用从轮速传感器获得的车辆100的移动量、从角速度传感器获得的车辆100的偏航角的变化，从而校正由对照部163推定出的值。像这样推定出的车辆100的实际的位置和姿势能够用于车辆100的自动驾驶。即，车辆100的控制系统基于推定出的车辆100的实际的位置和姿势，一边参照地图信息一边控制油门、刹车、转向，从而能够进行自动驾驶以使车辆100在所期望的路径上行驶。
将对照部163计算出的一致度发送给变化点检测部164。变化点检测部164对一致度与预定阈值进行比较。此外，对照部163也可以一边推定车辆100的实际的位置和姿势，一边对多个假定位置和假定姿势中的每一个，计算地图信息所示出的构造物与从图像中检测出的构造物的一致度，求取一致度的最大值。在该情况下，将一致度的最大值发送给变化点检测部164，变化点检测部164对一致度的最大值与预定阈值进行比较。
变化点检测部164在一致度小于等于预定阈值的情况下，判定为图像所示出的构造物存在与地图信息所示出的对应的构造物不同的变化点。例如，在上述的特征点匹配的情况下，车载摄像头110的图像的特征点中的、与地图信息的特征点不一致的特征点相当于变化点。或者，地图信息的特征点中的、与车载摄像头110的图像的特征点不一致的特征点相当于变化点。另外，在模板匹配的情况下，按匹配了的区域求取一致度，将一致度小于等于阈值的区域作为变化点。
另一方面，根据构造物，存在仅简单将图像与地图信息进行对照而不能检测出变化点的情况。例如，作为道路上的构造物的一例的道路标示会随着劣化变得模糊不清而看不见。然而，在道路标示的一部分模糊不清这样的情况下，该模糊不清对一致度的影响不大。因此，即使要将图像与地图信息进行对照来检测由模糊不清引起的变化点，若图像与地图信息整体上一致，则也存在一致度高于预定阈值的可能性。因此，道路标示的模糊不清有时无法通过上述的方法被检测为变化点。
因此，对照部163在检测由道路标示的模糊不清引起的变化点的情况下，将图像分割成多个局部图像，对每个局部图像计算与在地图信息上对应的局部区域的局部一致度。此外，对每个局部图像计算局部一致度的处理与上述的一致度的计算同样地进行。在图像与地图信息的差异是由道路标示的模糊不清引起的时，由对照部163进行的对照的结果，对于整个图像，与地图信息对照了时的一致度会比预定阈值大。另一方面，若在局部图像当中，产生了模糊不清的道路标示存在于局部图像中，则该局部图像中的局部一致度成为小于等于预定阈值(局部一致度阈值)。因此，变化点检测部164在局部一致度小于等于局部一致度阈值的情况下，判定为在该局部图像所示出的构造物与在地图信息上对应的局部区域所示出的构造物之间存在由道路标示的模糊不清引起的变化点。
图7是表示检测作为道路标示的划分线的模糊不清的方法的一例的示意图。在此，以图5的左侧所示的图像为例，对检测将道路10划分为双车道的划分线16所产生的模糊不清作为变化点的情况进行说明。
在图7所示的例子中，在图像中将道路10的区域以虚线L1～L4为边界分割为8个局部图像P1～P8。对照部163对局部图像P1～P8中的每一个，与地图信息的对应的局部区域进行对照，求取局部一致度。
在此，假设只有将道路10划分为双车道的划分线16中的、表示于局部图像P3的划分线16(在图7中由虚线表示)模糊不清。此时，对于整个图像，与地图信息对照了时的一致度大于预定阈值。另外，对于局部图像P1、P2、P4、P5、P6、P7、P8，要么在图像中不存在模糊不清的划分线16，要么模糊不清的划分线16在图像中占的区域非常小。因此，将局部图像P1、P2、P4、P5、P6、P7、P8中的每一个与地图信息的对应的局部区域进行对照所得到的局部一致度大于局部一致度阈值。
另一方面，对于局部图像P3，由于模糊不清的划分线16在局部图像中占据大的区域，因而将局部图像P3与地图信息的对应的局部区域进行对照所得到的局部一致度小于局部一致度阈值。因此，变化点检测部164根据由对照部163进行的对照的结果，在局部图像P3与地图信息的对应的局部区域之间，检测由道路标示的模糊不清引起的变化点。例如，在上述的特征点匹配的情况下，变化点检测部164将局部图像的特征点中的、与地图信息的对应的局部区域的特征点不一致的特征点检测为由模糊不清引起的变化点。
此外，在图7的例子中，对于局部图像P1、P2、P5、P6，由于前车作为遮蔽物体20映现于图像，因而对照部163通过在地图信息中将由遮蔽物体20遮挡的构造物从对照对象中除去并进行对照，计算局部图像与地图信息的局部一致度。
图8是表示ECU150的处理器160进行的变化点检测处理的流程图。图8的处理由处理器160按预定控制周期执行。首先，物体检测部162从由车载摄像头110得到的图像检测遮蔽物体20(步骤S100)。接着，对照部163在地图信息中除去由遮蔽物体20遮挡的构造物，将由车载摄像头110得到的图像与地图信息上的对应区域进行对照来计算一致度(步骤S102)。
接着，变化点检测部164判定一致度是否小于等于预定阈值(步骤S104)，在一致度小于等于预定阈值的情况下前进至步骤S106。在步骤S106中，变化点检测部164检测图像上表示出的构造物与地图信息上的对应的构造物间的变化点。在步骤S106之后结束处理。另外，在步骤S104中一致度超过预定阈值的情况下，结束处理。
根据以上的处理，处理器160在从由车载摄像头110生成的图像中检测出遮挡构造物的遮蔽物体20的情况下，将由遮蔽物体20遮挡的构造物从对照对象中除去后，将车载摄像头110生成的图像与地图信息进行对照来计算一致度。因此，即使在构造物由遮蔽物体20遮挡的情况下，也能准确地计算图像与地图信息的一致度。据此，能基于一致度精确地检测出图像所示出的构造物与地图信息所示出的构造物之间的变化点。
地图信息更新部165基于由变化点检测部164检测出的变化点，将地图信息更新。例如，地图信息更新部165将在重叠图像上检测出的变化点转换为相机坐标系的坐标。而且，地图信息更新部165通过将在相机坐标系中表示的变化点的坐标转换至世界坐标系，获得在世界坐标系中表示出的变化点的坐标。而且，地图信息更新部165基于在世界坐标系中表示出的变化点的坐标，将地图信息更新。这时，例如若车载摄像头110的图像的特征点中的、与地图信息的特征点不一致的特征点被检测为变化点，则地图信息更新部165更新地图信息以使得变化后的构造物由变化点的坐标表示。地图信息更新部165也可以除了变化点的坐标之外还基于由物体检测部162识别出的与变化点的位置对应的构造物的种类的信息，将地图信息更新。更新后的地图信息存储于存储器170。
发送部166将与变化点有关的信息(变化点的坐标、与变化点对应的构造物的种类等)与表示检测出变化点这一情况的标志一起经由无线终端140向无线基站500发送。被发送的与变化点有关的信息由服务器300取得。这时，也可以将重叠有图像上的构造物与地图信息所表示出的构造物的重叠图像作为证据向服务器300侧发送。由此，在服务器300侧，变化点的检测结果的说服力提高。与变化点有关的信息存储于服务器300的储存装置320。服务器300将与变化点有关的信息发送给各车辆100。因此，各车辆100能够基于与变化点有关的信息，将各车辆100具有的地图信息更新。
另外，发送部166将由地图信息更新部165更新出的地图信息经由无线终端140向无线基站500发送。更新后的地图信息由服务器300取得，并存储于储存装置320。服务器300将更新后的地图信息发送给各车辆100。因此，各车辆100能够利用更新后的地图信息进行自动驾驶。
如上所述，根据本实施方式，在从由车载摄像头110生成的图像中检测出遮挡构造物的遮蔽物体20的情况下，将由遮蔽物体20遮挡的构造物从对照对象中除去，再将地图信息与图像进行对照。因此，即使在构造物由遮蔽物体20遮挡的情况下，也能准确地计算图像与地图信息的一致度。因此，在存在地图信息所示出的构造物与实际的构造物不同的变化点的情况下，能精确地检测出该变化点。
(变形例)
处理器160也可以即使在图像与地图信息的一致度小于等于预定阈值的情况下，也仅在能够从图像中判别构造物的情况下判定为存在变化点。在无法从图像中判别构造物的情况下，即使图像与地图信息的一致度低，也有可能是由于无法从图像中判别构造物而引起的一致度低。因此，变化点检测部164基于由环境信息取得部130取得的信息或者图像中的示出遮蔽物体20的区域的尺寸，判定能否从图像中判别构造物。而且，变化点检测部164仅在判定为能够从图像中判别构造物的情况下，判定为车载摄像头110的图像与地图信息之间产生了变化点。
例如，变化点检测部164在从照度传感器获得的照度超过了预定阈值的情况下或者照度到达了可计测的上限值附近这样的情况下，判定为是车载摄像头110受到逆光的状况或者夕阳照到了车载摄像头110的状况等，而无法从图像中判别构造物。此外，变化点检测部164也可以根据从测位信息接收机120获得的车辆前方的朝向为向西并且时刻为日落时刻(傍晚)来判定车载摄像头110受到西晒这一情况。另外，变化点检测部164也可以基于图像所示出的各像素的亮度的统计值，随着亮度的统计值越低，判定为越无法从图像中判别构造物。另外，变化点检测部164也可以在如逆光时这样亮度的统计值到达了上限值附近的情况下，判定为无法从图像中判别构造物。
另外，雨刷器的工作速度越快，则由于降雨而越难以进行图像上的构造物的判别，因此，变化点检测部164在雨刷器的工作速度超过预定阈值的情况下，判定为无法从图像中判别构造物。另外，雨量越多，则越难以进行图像上的构造物的判别，因此，变化点检测部164在降雨传感器检测出的降雨量超过预定阈值的情况下，判定为无法从图像中判别构造物。
另外，变化点检测部164基于环境温度传感器的检测值，在气温小于等于预定阈值的情况下，设想为路面有积雪和/或结冰，因此判定为无法从图像中判别构造物。另外，变化点检测部164基于涉及防抱死制动系统(AVS)、车辆稳定控制系统(VSC)、牵引力控制系统(TRC)等车辆稳定控制的工作信息，在这些系统的工作频率超过预定阈值的情况下，设想为路面有积雪和/或结冰，因此判定为无法从图像中判别构造物。此外，当路面有积雪和/或结冰时，尤其难以进行道路标示等道路上的构造物的判别。
另外，变化点检测部164基于前照灯的指示信号的设定值，在相对于前照灯点亮着的时间，前照灯设定为远光的时间的比例超过预定阈值的情况下，设想为正在昏暗的道路上行驶，因此判定为无法从图像中判别构造物。再者，变化点检测部164基于由图像识别得到的气象、路面状况的判定值，在气象状况、路面状况差的情况下，判定为无法从图像中判别构造物。
另外，变化点检测部164当在图像内示出遮蔽物体20的区域的尺寸大于预定阈值的情况下，判定为无法从图像中判别构造物。例如在图6所示的例子中，在与作为遮蔽物体20的大型巴士的车间距离更近的情况下，在图像内示出遮蔽物体20的区域会变得非常大，变得无法从图像中判别构造物。作为一例，在相对于由车载摄像头110生成的图像的整个面积，遮蔽物体20的面积大于等于1/2的情况下，变化点检测部164判定为无法从图像中判别构造物。
另外，变化点检测部164基于构造物的尺寸，对于微小尺寸的构造物，判定为无法从图像中判别构造物。例如，变化点检测部164对于道路端的小的路缘石、道路旁的小的道路标识或者牌子等尺寸小于预定阈值的构造物，判定为无法从图像中识别构造物。这些小尺寸的构造物也可以预先在地图信息上确定。
如上，变化点检测部164能够仅在判定为能从图像中判别构造物的情况下，判定为车载摄像头110的图像与地图信息之间产生了变化点。由此，在图像所示出的构造物与地图信息所示出的对应的构造物没有差异而由于无法从图像中判别构造物导致一致度降低这样的情况下，能抑制变化点的误检测。
另外，与变化点有关的信息也可以在服务器300侧作为表示对自动驾驶有妨碍这一情况的黑名单的信息被加以管理。而且，黑名单的信息也可以经由通信网络400以及无线基站500发送给各车辆100。由此，例如接收到黑名单的信息的车辆100通过在到达检测出变化点的位置的附近之前向车辆100的驾驶员发警告，能够唤起驾驶员对实际的构造物相对于地图信息发生了变化这一情况的注意。尤其在到服务器300将更新后的地图信息发布给各车辆100为止需要一定程度的时间这样的情况下，通过在各车辆100收取更新后的地图信息之前，各车辆100识别到黑名单的信息，从而各车辆100即使在地图信息被更新之前也能够唤起驾驶员对实际的构造物相对于地图信息发生了变化这一情况的注意。另外，黑名单的信息也可以在服务器300或者车辆100中用于进行自动驾驶的禁止区间的设定、避开自动驾驶的禁止区间的车道变更计划或者避开自动驾驶的禁止区间的路径搜索。
处理器160也可以不常态地进行用于检测变化点的处理。例如，处理器160也可以仅限于当在自动驾驶控制中发生了与构造物的变化关联性高的异常的情况下检测变化点。作为这样的异常，例如可列举由于相对于地图信息所示出的划分线，实际的划分线发生了变化，因此车辆100从所期望的路径偏离的情况等。由此，能抑制检测变化点的处理、更新地图信息的处理的负荷，并且能抑制伴随变化点的检测的与服务器300的通信处理的负荷。
另外，因为黑名单表示正在进行地图修改，所以处理器160也可以基于上述的黑名单的信息，在除了黑名单的信息所包含的地点以外进行用于检测变化点的处理，由此减轻处理负荷。
另外，在以上的说明中，说明了在车辆100侧进行变化点检测处理的情况，但也可以是服务器300的控制装置310的处理器312执行图4所示的各部的处理。在该情况下，车载摄像头110生成的图像、与车辆100的当前位置和姿势有关的信息、内部参数以及环境信息从无线终端140向无线基站500发送，并由服务器300取得。服务器300的处理器312进行与上述的由处理器160进行的变化点检测处理同样的处理，检测变化点。再者，服务器300的处理器312进行与上述的地图信息更新部165同样的处理，将地图信息更新。
另外，也可以在车辆100侧进行直到变化点检测处理的处理，在服务器300侧进行地图信息的更新。在该情况下，在车辆100侧检测出的变化点的坐标以及与构造物的种类有关的信息从无线终端140向无线基站500发送，并由服务器300取得。服务器300的处理器312进行与上述的地图信息更新部165同样的处理，将地图信息更新。
再者，根据其他变形例，变化点检测装置也可以作为车辆100所具备的行车记录仪、导航装置等装置而与ECU150分开安装。
以上，对本发明涉及的优选的实施方式进行了说明，但本发明并非限定于这些实施方式，而可以在技术方案的记载内实施各种修正和变更。

Claims (5)

1.一种变化点检测装置，具有：
存储部，其存储表示道路上和道路周围的与行驶条件关联的构造物的地图信息；
检测部，其从由搭载于车辆的拍摄部得到的表示所述车辆周围的环境的图像中检测遮挡所述构造物的物体；
对照部，其在所述地图信息中除去由所述物体遮挡的所述构造物，将所述图像与所述地图信息进行对照，计算所述图像与所述地图信息的一致度；以及
变化点检测部，其在所述一致度小于等于预定阈值的情况下，判定为所述图像所示出的所述构造物存在与所述地图信息所示出的对应的所述构造物不同的变化点。
2.根据权利要求1所述的变化点检测装置，
所述变化点检测部基于表示得到所述图像时的所述车辆周围的环境状况的信息、所述图像上的示出所述物体的区域的尺寸或者所述构造物的尺寸，判定能否从所述图像中判别所述构造物，且仅在判定为能够从所述图像中判别所述构造物的情况下，判定为存在所述变化点。
3.根据权利要求1或2所述的变化点检测装置，
所述对照部对于将所述图像分割而得到的多个局部图像中的每一个,将该局部图像与所述地图信息的对应于该局部图像的局部区域进行对照，计算所述局部图像与所述地图信息的所述局部区域的局部一致度，
所述变化点检测部在所述一致度超过预定阈值且关于所述多个局部图像中的任一个的所述局部一致度小于等于预定局部一致度阈值的情况下，判定为在该局部图像所示出的所述构造物与所述地图信息的对应于该局部图像的所述局部区域所示出的所述构造物之间存在所述变化点。
4.根据权利要求1至3中任一项所述的变化点检测装置，
还具有地图信息更新部，所述地图信息更新部基于所述变化点，更新所述地图信息。
5.一种地图信息发布系统，其具有多个车辆以及能够与所述多个车辆中的每一个通信的服务器，
所述多个车辆中的每一个具有变化点检测装置，
所述变化点检测装置具有：
存储部，其存储表示道路上和道路周围的与行驶条件关联的构造物的地图信息；
检测部，其从由搭载于所述车辆的拍摄部得到的表示所述车辆周围的环境的图像中检测遮挡所述构造物的物体；
对照部，其在所述地图信息中除去由所述物体遮挡的所述构造物，将所述图像与所述地图信息进行对照，计算所述图像与所述地图信息的一致度；
变化点检测部，其在所述一致度小于等于预定阈值的情况下，判定为所述图像所示出的所述构造物存在与所述地图信息所示出的对应的所述构造物不同的变化点；以及
发送部，其在由所述变化点检测部判定为存在所述变化点的情况下，向所述服务器发送所述变化点的信息，
所述服务器在从所述多个车辆中的任一个接收到所述变化点的信息时，向其他车辆发送所述变化点的信息。
CN202110078524.2A 2020-01-23 2021-01-20 变化点检测装置以及地图信息发布系统 Active CN113160594B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-009322 2020-01-23
JP2020009322A JP7173062B2 (ja) 2020-01-23 2020-01-23 変化点検出装置及び地図情報配信システム

Publications (2)

Publication Number Publication Date
CN113160594A CN113160594A (zh) 2021-07-23
CN113160594B true CN113160594B (zh) 2023-05-30

Family

ID=76878684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078524.2A Active CN113160594B (zh) 2020-01-23 2021-01-20 变化点检测装置以及地图信息发布系统

Country Status (3)

Country Link
US (1) US11662221B2 (zh)
JP (1) JP7173062B2 (zh)
CN (1) CN113160594B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214694A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Lokalisierungsvorrichtung zur visuellen Lokalisierung eines Fahrzeugs
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
WO2023007562A1 (ja) * 2021-07-26 2023-02-02 本田技研工業株式会社 制御装置
CN113720325B (zh) * 2021-09-14 2024-05-17 阿里巴巴达摩院(杭州)科技有限公司 环境变化检测方法、装置、电子设备及计算机存储介质
CN114445359B (zh) * 2022-01-24 2023-09-08 上海歆广数据科技有限公司 一种网格数据体系中电子地图质量控制系统及方法
EP4379321A1 (en) * 2022-11-30 2024-06-05 Volkswagen Ag Method for detection of map deviations, system and vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
CN106412551A (zh) * 2015-07-29 2017-02-15 雅马哈发动机株式会社 异常图像检测装置、图像处理系统及车辆
JP2017162356A (ja) * 2016-03-11 2017-09-14 日本電気株式会社 情報認識システム、情報認識装置、車両、情報認識方法およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3644473B2 (ja) * 1997-08-07 2005-04-27 アイシン・エィ・ダブリュ株式会社 地図表示装置及び記録媒体
JP2002243469A (ja) 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
KR100485059B1 (ko) * 2001-10-19 2005-04-22 후지쓰 텐 가부시키가이샤 화상표시장치
JP4131930B2 (ja) * 2002-12-16 2008-08-13 株式会社日立製作所 地図更新プログラム及び地図更新装置
JP4260504B2 (ja) 2003-02-17 2009-04-30 本田技研工業株式会社 交通情報管理システム
JP4130441B2 (ja) * 2004-07-16 2008-08-06 三菱電機株式会社 地図情報処理装置
US8260543B2 (en) * 2007-03-29 2012-09-04 Alpine Electronics, Inc. Hidden point detection and warning method and apparatus for navigation system
EP2622578B1 (en) * 2010-09-30 2015-01-14 Analogic Corporation Object classification using two-dimensional projection
CN103868515A (zh) * 2013-12-25 2014-06-18 沈阳美行科技有限公司 一种放大图和缩小地图的自由移动的方法
JP6160634B2 (ja) * 2015-02-09 2017-07-12 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
JP2016156973A (ja) 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
KR101656808B1 (ko) * 2015-03-20 2016-09-22 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
KR101675306B1 (ko) * 2015-03-20 2016-11-11 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
WO2016151750A1 (ja) * 2015-03-24 2016-09-29 パイオニア株式会社 地図情報記憶装置、自動運転制御装置、制御方法、プログラム及び記憶媒体
CN106527424B (zh) * 2016-09-20 2023-06-09 深圳银星智能集团股份有限公司 移动机器人及移动机器人的导航方法
CN108121764B (zh) 2016-11-26 2022-03-11 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
JP6572930B2 (ja) 2017-03-24 2019-09-11 株式会社デンソー 情報処理装置及び情報処理システム
WO2018225446A1 (ja) 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
JP6822427B2 (ja) 2017-06-09 2021-01-27 株式会社デンソー 地図変化点検出装置
JP7043755B2 (ja) 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JP6828655B2 (ja) 2017-10-20 2021-02-10 トヨタ自動車株式会社 自車位置推定装置
JP6729611B2 (ja) 2018-02-01 2020-07-22 株式会社デンソー 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体
JP2019168610A (ja) 2018-03-23 2019-10-03 パイオニア株式会社 データ構造、情報処理装置及び地図作成装置
US10984260B2 (en) * 2019-05-23 2021-04-20 GM Global Technology Operations LLC Method and apparatus for controlling a vehicle including an autonomous control system
CN114454882A (zh) * 2022-02-25 2022-05-10 重庆长安汽车股份有限公司 自主控制车辆怠速启停控制方法、系统、车辆及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
CN106412551A (zh) * 2015-07-29 2017-02-15 雅马哈发动机株式会社 异常图像检测装置、图像处理系统及车辆
JP2017162356A (ja) * 2016-03-11 2017-09-14 日本電気株式会社 情報認識システム、情報認識装置、車両、情報認識方法およびプログラム

Also Published As

Publication number Publication date
US20210231460A1 (en) 2021-07-29
CN113160594A (zh) 2021-07-23
US11662221B2 (en) 2023-05-30
JP2021117048A (ja) 2021-08-10
JP7173062B2 (ja) 2022-11-16

Similar Documents

Publication Publication Date Title
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
EP2282295B1 (en) Object recognizing device and object recognizing method
CN104185588B (zh) 用于确定道路宽度的车载成像系统及方法
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
US11100806B2 (en) Multi-spectral system for providing precollision alerts
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
TWI534764B (zh) 車輛定位裝置與方法
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
JP7190261B2 (ja) 位置推定装置
CN113012445A (zh) 智能交通控制系统及其控制方法
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
JP2017117105A (ja) 見通し判定装置
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
JP7183729B2 (ja) 撮影異常診断装置
CN110539748A (zh) 基于环视的拥堵跟车系统和终端
CN116635919A (zh) 物体跟踪装置以及物体跟踪方法
KR20210100777A (ko) 차량의 위치를 결정하는 장치 및 그의 동작 방법
JP7446445B2 (ja) 画像処理装置、画像処理方法、及び車載電子制御装置
US20230251650A1 (en) Remote operation system, information providing method, and remote operator terminal
CN113932820A (zh) 对象检测的方法和装置
JP2023055257A (ja) 自己位置推定装置
CN114792412A (zh) 交通指示物识别方法、交通指示物识别装置以及车辆
CN117528264A (zh) 一种参数调整方法、装置和智能驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant