CN110998684A - 图像收集系统、图像收集方法、图像收集装置、记录介质、以及车辆用通信装置 - Google Patents

图像收集系统、图像收集方法、图像收集装置、记录介质、以及车辆用通信装置 Download PDF

Info

Publication number
CN110998684A
CN110998684A CN201880051060.2A CN201880051060A CN110998684A CN 110998684 A CN110998684 A CN 110998684A CN 201880051060 A CN201880051060 A CN 201880051060A CN 110998684 A CN110998684 A CN 110998684A
Authority
CN
China
Prior art keywords
image
vehicle
positional relationship
unit
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880051060.2A
Other languages
English (en)
Other versions
CN110998684B (zh
Inventor
铃木功一
井川纯一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110998684A publication Critical patent/CN110998684A/zh
Application granted granted Critical
Publication of CN110998684B publication Critical patent/CN110998684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

图像收集系统具备：图像取得部，其取得由搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；位置关系信息取得部，其取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；保存处理部，其将由所述图像取得部所取得的所述图像以与由所述位置关系信息取得部所取得的所述位置关系信息附加关联的方式而保存在数据库中。

Description

图像收集系统、图像收集方法、图像收集装置、记录介质、以及 车辆用通信装置
技术领域
本发明涉及图像收集系统、图像收集方法、图像收集装置、记录介质、以及车辆用通信装置。
背景技术
一直以来，已知一种如下的技术，即，在导航装置中，在到目的地为止的路线引导中，当本车辆从引导交叉路口到达预定的距离近前的地点时，将被设置于该引导交叉路口的周边的广告牌作为标记来利用，并进行交叉路口引导的技术。
此外，在下述专利文献1中公开了一种如下的技术，即，在导航装置中，将由车载摄像机所拍摄到的车辆的前方的广告牌或显示式的影像数据修正为从正面观察的图像数据，并将该图像数据显示在显示器上的技术。
在先技术文献
专利文献
专利文献1：日本特开2016-095688号公报
发明内容
发明所要解决的课题
另外，为了通过导航装置来实施利用了标记对象物(广告牌等)的交叉路口引导等，例如，需要从由车载摄像机所拍摄到的图像中对标记对象物进行图像识别，并将该标记对象物的图像预先保存在设置于中心处的数据库中。
但是，一直以来，由于在由车载摄像机所拍摄到的图像中标记对象物的拍摄角度各种各样，因此产生了如下的问题，即，针对每个图像而标记对象物的图像识别精度有所不同。
本发明为了解决上述的现有技术的课题，其目的在于，使其能够提高被保存于数据库中的标记对象物的图像的图像识别精度。
用于解决课题的方法
本公开内容的一个方式的图像收集系统具备：图像取得部，其取得由搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；位置关系信息取得部，其取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；保存处理部，其将由所述图像取得部所取得的所述图像以与由所述位置关系信息取得部所取得的所述位置关系信息附加关联的方式而保存在数据库中。
根据本结构，能够以可对拍摄到该图像时的标记对象物与车辆之间的位置关系进行识别的方式而将由拍摄装置拍摄到的图像保存在数据库中。由此，例如，在执行目标对象物的图像识别处理时，通过从数据库中仅读取标记对象物和车辆具有特定的位置关系的图像，从而能够以固定的图像识别精度来执行目标对象物的图像识别处理。
在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，所述位置关系信息包含，表示所述车辆正在行驶的行驶车道的信息、以及表示所述标记对象物的方向相对于所述车辆的行进方向所成的角度的信息中的至少任意一方。
根据本结构，能够将由拍摄装置所拍摄到的图像以如下方式而保存在数据库中，所述方式为，可对拍摄到该图像时的车辆正在行驶的行驶车道、以及标记对象物的方向相对于车辆的行进方向所成的角度中的任意一方进行识别的方式。由此，例如，在执行目标对象物的图像识别处理时，通过从数据库中仅读取与特定的行驶车道附加了关联的图像、或与特定的角度附加了关联的图像，从而能够以固定的的图像识别精度来执行目标对象物的图像识别处理。
在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，还具备：拍摄位置计算部，其针对所述车辆正在行驶的道路所具有的多条行驶车道的各条行驶车道，而计算出能够从预定的角度对所述标记对象物进行拍摄的所述车辆的行进方向上的拍摄位置；拍摄控制部，其在由所述拍摄位置计算部所计算出的多个拍摄位置中的各个拍摄位置处，实施使所述拍摄装置拍摄所述图像的拍摄控制，通过所述拍摄控制部在由所述拍摄位置计算部所计算出的所述多个拍摄位置中的各个拍摄位置处实施拍摄控制，从而所述图像取得部而取得由所述拍摄装置所拍摄到的多个图像。
根据本结构，无论车辆行驶于任何一条行驶车道中，均能够取得标记对象物从预定的角度被拍摄到的图像。即，能够将由拍摄装置所拍摄到的多个图像中的任意一个图像设为，标记对象物从预定的角度被拍摄到的图像。此外，根据本结构，由于能够将图像的拍摄张数设为最小限度(＝行驶车道数)，因此，能够减轻被拍摄到的多个图像所涉及的通信容量以及存储容量。
在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，所述位置关系信息取得部通过从由所述图像取得部所取得的图像中对所述车辆正在行驶的行驶车道进行确定，从而取得表示所述车辆正在行驶的行驶车道的信息，以作为所述位置关系信息，所述保存处理部优先地将如下的图像保存在所述数据库中，即，由所述图像取得部所取得的多个图像中的、在与由所述位置关系信息取得部所确定的所述车辆正在行驶的行驶车道相对应的拍摄位置处被拍摄到的图像。
根据本结构，能够通过执行对车辆正在行驶的行驶车道进行确定的这种比较简单的图像识别处理，从而对拍摄到图像时的标记对象物与车辆之间的位置关系进行确定。而且，通过在数据库中优先地保存在与被确定的行驶车道相对应的拍摄位置处被拍摄到的图像，从而实际上能够在数据库中优先地保存实现了从预定的角度对标记对象物进行拍摄的图像。因此，根据本结构，能够提高被保存于数据库中的标记对象物的图像的图像识别精度，且能够抑制数据库的存储区域的利用效率的降低。
在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，所述位置关系信息取得部通过根据由所述图像取得部所取得的图像中的所述车辆与所述标记对象物之间的位置关系来进行计算，从而取得表示所述标记对象物的方向相对于所述车辆的行进方向所成的角度的信息，以作为所述位置关系信息；所述保存处理部优先地将如下的图像保存在所述数据库中，即，由所述图像取得部所取得的多个图像中的、由所述位置关系信息取得部所计算出的角度为所述预定的角度的图像。
根据本结构，即使在由于拍摄条件(例如，GPS精度等)的变化等而可能产生标记对象物的拍摄方向偏离预定的角度的事态的情况下，实际上，也能够在数据库中优先地保存实现了从预定的角度对标记对象物进行拍摄的图像。因此，根据本结构，能够提高被保存于数据库中的标记对象物的图像的图像识别精度，且能够抑制数据库的存储区域的利用效率的降低。
在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，所述图像取得部、所述拍摄位置计算部以及所述拍摄控制部被设置于车载设备中，所述车载设备被搭载于所述车辆上，所述位置关系信息取得部以及所述保存处理部被设置于中心处，所述车载设备具备：图像发送部，其向所述中心发送由所述图像取得部所取得的多个所述图像；车道变更检测部，其对所述车辆正在行驶的行驶车道被变更了的情况进行检测，在由所述拍摄装置在多个所述拍摄位置中的全部所述拍摄位置处均拍摄到所述图像之前的期间内由所述车道变更检测部检测到所述行驶车道的变更的情况下，所述图像发送部不向所述中心发送由所述拍摄装置所拍摄到的任何一个所述图像。
或者，在本公开内容的一个方式的图像收集系统中，可以采用如下的方式，即，还具备车道变更检测部，所述车道变更检测部对所述车辆正在行驶的行驶车道被变更了的情况进行检测，在由所述拍摄装置在多个所述拍摄位置中的全部所述拍摄位置处均拍摄了所述图像之前的期间内由所述车道变更检测部检测到所述行驶车道的变更的情况下，所述保存处理部不向所述数据库中保存由所述拍摄装置所拍摄到的任何一个所述图像。
根据本结构，当车辆正在行驶的行驶车道被变更了时，有可能会在与被设想的行驶车道不同的行驶车道中拍摄了被设想的行驶车道用的图像(即，标记对象物的拍摄方向未成为预定的角度的图像)，在这样的情况下，本发明能够避免标记对象物的拍摄方向未成为预定的角度的图像被保存于数据库中的情况。
发明的效果
能够提高被保存于数据库中的标记对象物的图像的图像识别精度。
附图说明
图1为表示实施方式所涉及的图像收集系统的功能结构的图。
图2为表示由实施方式所涉及的导航装置(ECU)所执行的处理的步骤的一个示例的流程图。
图3为表示由实施方式所涉及的中心(ECU)所执行的处理的步骤的一个示例的流程图。
图4为用于对由实施方式所涉及的导航装置(ECU)计算出的每条行驶车道的拍摄位置的一个示例进行说明的图。
图5A为表示由实施方式所涉及的摄像机按照每条行驶车道进行拍摄而得到的图像的一个示例的图。
图5B为表示由实施方式所涉及的摄像机按照每条行驶车道进行拍摄而得到的图像的一个示例的图。
图5C为表示由实施方式所涉及的摄像机按照每条行驶车道进行拍摄而得到的图像的一个示例的图。
图6为表示由实施方式所涉及的中心(ECU)所执行的处理的步骤的改变例的流程图。
具体实施方式
以下，参照附图，对本发明的实施方式的图像收集系统进行说明。
(图像收集系统10的功能结构)
图1为表示实施方式所涉及的图像收集系统10的功能结构的图。图1所示的图像收集系统10为，以具备中心150以及导航装置100的方式而构成，并被设为能够从中心150经由网络140而向导航装置100提供各种信息及各种服务的系统。
此外，图像收集系统10被设为，能够将由搭载于车辆上的摄像机102所拍摄到的、以广告牌为标记对象物的图像从导航装置100向中心150发送，并在中心150中，基于从导航装置100收集到的多个图像来构建广告牌引导DB(Data Base，数据库)153。
此外，虽然在图1中示出了一台导航装置100，但实际上，图像收集系统10具备多台导航装置100(均具有与图1所示的导航装置100相同的结构)。即，中心150能够向多台导航装置100提供各种信息及各种服务，并能够从多台导航装置100收集图像。
(中心150)
中心150为“图像收集装置”的一个示例，且为被设置于车辆的外部的设施(例如，服务提供公司所管理的设施)内的装置。中心150与网络140连接。作为网络140，例如可以列举出互联网、公共无线线路等。中心150能够经由网络140而向导航装置100提供各种服务(例如，导航系统的服务器功能等)。
如图1所示，中心150具备通信I/F(Inter Face，接口)151、行驶DB152、广告牌引导DB153、地图DB154以及ECU160。
通信I/F151通过对经由网络140而进行的与导航装置100之间的通信进行控制，从而在其与导航装置100之间实施各种数据的发送及接收。
行驶DB152对从导航装置100发送的探测器数据进行存储。各探测器数据例如包括由摄像机102按照每条行驶车道进行拍摄而得到的多个图像、用于对拍摄对象的广告牌进行确定的信息(例如，ID、位置信息等)、和各图像的拍摄位置的位置信息。
广告牌引导DB153为“数据库”的一个示例。广告牌引导DB153对多个广告牌引导数据进行存储。“广告牌引导数据”是指，关于能够实施将广告牌用作标记的交叉路口引导的交叉路口，而包含将广告牌用作标记的交叉路口引导所需的数据在内的数据。例如，广告牌引导数据包含广告牌的名称(例如，店铺名称)、位置信息(经度以及纬度)、图像等。
地图DB154对地图数据进行存储。地图数据包含多个节点数据和多个连接线数据。节点数据为相当于交叉路口的数据。连接线数据为相当于节点与节点之间的道路区间的数据。
ECU160为对中心150的整体进行控制的装置。如图1所示，ECU160具备探测器保存处理部161。此外，作为广告牌引导数据制作功能，ECU160具备广告牌图像识别部162、位置关系信息取得部163、以及广告牌引导数据保存处理部164。此外，作为导航服务器功能，ECU160具备路线搜索部165以及路线引导部166。
探测器保存处理部161在经由通信I/F151而接收从导航装置100发送的探测器数据时，将该探测器数据保存在行驶DB152中。从导航装置100发送的探测器数据中至少包含：由摄像机102按照每条行驶车道进行拍摄而得到的多个图像、用于对拍摄对象的广告牌进行确定的信息(例如，ID、位置信息等)、和各图像的拍摄位置的位置信息。
在探测器数据被保存于行驶DB152中时，广告牌图像识别部162通过根据该探测器数据中所含的多个图像而执行公知的图像识别处理，从而对广告牌进行图像识别。
位置关系信息取得部163对于探测器数据中所含的多个图像中的各个图像，通过对由广告牌图像识别部162所图像识别出的广告牌与车辆之间的位置关系进行确定，从而取得表示该位置关系的位置关系信息。在本实施方式中，位置关系信息取得部163通过对探测器数据中所含的多个图像执行图像识别处理，以确定车辆正在行驶的行驶车道，从而取得表示车辆正在行驶的行驶车道的位置关系信息，以作为表示由广告牌图像识别部162所图像识别出的广告牌、和车辆之间的位置关系的位置关系信息。作为从图像中确定行驶车道的方法，虽然能够使用公知的方法，但例如可以采用如下的方法，即，通过对多条白线进行图像识别，从而确定多个行驶车道，并基于图像中的这些多条行驶车道的显示位置、和车辆中的摄像机的设置位置之间的关系，来对车辆正在行驶的行驶车道进行确定。例如，在车辆的水平宽度方向上的中央处设置摄像机的情况下，能够确定为，显现在图像的水平宽度方向上的中央的行驶车道为车辆正在行驶的行驶车道。
广告牌引导数据保存处理部164基于由位置关系信息取得部163所取得的位置关系信息，而提取探测器数据中所含的多个图像中的、拍摄对象的广告牌(由广告牌图像识别部162所图像识别出的广告牌)从预定的角度被拍摄而得的图像，并将该图像保存在广告牌引导DB153中。在本实施方式中，广告牌引导数据保存处理部164优先地向广告牌引导DB153中保存如下的图像，即，探测器数据中所含的多个图像中的、在与由位置关系信息取得部163所确定的行驶车道相对应的拍摄位置处被拍摄到的图像。例如，如图4所示，在车辆402正在行驶的道路400具有三个行驶车道L1、L2、L3的情况下，在探测器数据中包含三个行驶车道L1、L2、L3的各自的图像。在此设为，通过位置关系信息取得部163而确定为车辆402正行驶于第二行驶车道L2上。探测器数据中所含的多个图像中的、在与第二行驶车道L2对应的拍摄位置处被拍摄到的图像为，车辆402正行驶于第二行驶车道L2上时拍摄对象的广告牌的拍摄方向成为预定的角度(例如，45°)的图像。另一方面，探测器数据中所含的多个图像中的、在与第一行驶车道L1、第三行驶车道L3相对应的拍摄位置处被拍摄到的图像为，车辆402正行驶于第二行驶车道L2上时拍摄对象的广告牌的拍摄方向未成为预定的角度的图像。因此，在该情况下，广告牌引导数据保存处理部164优先地向广告牌引导DB153中保存如下的图像，即，探测器数据中所含的多个图像中的、在与第二行驶车道L2对应的拍摄位置处被拍摄到的图像。另一方面，广告牌引导数据保存处理部164不向广告牌引导DB153中保存如下的图像，即，探测器数据中所含的多个图像中的、在与第一行驶车道L1、第三行驶车道L3相对应的拍摄位置处被拍摄到的图像。由此，在广告牌引导DB153中，优先地保存了拍摄对象的广告牌的拍摄方向成为预定的角度(例如，45°)的图像。
路线搜索部165在从导航装置100接收到路线搜索要求时，基于被存储于地图DB154中的地图数据，来搜索从根据该路线搜索要求中所含的当前地信息而被确定的导航装置100的当前地起、至通过该路线搜索要求中所含的目的地信息而被确定的目的地为止的路线。在由路线搜索部165所搜索出的路线中，包含构成到目的地为止的路径的连接线列、和路线上的各交叉路口的交叉路口引导数据。在此，关于能够实施将设置于周边的广告牌用作标记的交叉路口引导的交叉路口，在该交叉路口引导数据中包含从广告牌引导DB153中取得的广告牌引导数据(例如，广告牌的名称(例如，店铺名称)、位置信息(经度以及纬度)、图像等)。
路线引导部166基于由路线搜索部165所搜索出的路线，而实施从该路线的出发地起到目的地为止的路线引导。由路线引导部166所实施的路线引导伴随有：由导航装置100所具备的显示器104所实施的路线引导画面的显示、以及由导航装置100所具备的扬声器105所实施的路线引导语音的输出。在此，路线引导部166在由路线搜索部165所搜索出的路线上，针对包含广告牌引导数据的交叉路口，基于该广告牌引导数据而实施将广告牌用作标记的交叉路口引导(例如，“如果看到○○的广告牌，则左转弯”等)。此时，路线引导部166使显示器104显示广告牌引导数据中所含的图像(即，从广告牌引导DB153中取得的广告牌的图像)。由此，车辆的驾驶员能够容易地根据在显示器104中显示的图像来掌握是否只要将某个广告牌作为标记即可。
此外，ECU160被构成为，具备CPU(Central Processing Unit，中央处理单元)、主存储装置(例如，ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)等)、辅助存储装置(例如，HDD(Hard Disk Drive硬盘驱动器)、闪存等)等的硬件。图1所示的ECU160的各功能例如在ECU160中通过CPU(计算机)执行被存储于主存储装置或辅助存储装置中的程序而被实现。
CPU所执行的程序既可以以被预先导入至ECU160中的状态而被提供，也可以从外部提供并被导入至ECU160中。在后者的情况下，该程序既可以由计算机可读取的存储介质(例如，USB存储器、存储卡、CD-ROM等)来提供，也可以通过从网络(例如，互联网等)上的服务器中进行下载来提供。
此外，中心150既可以物理性地由一台信息处理装置(例如，服务器装置等)构成，也可以物理性地由多台信息处理装置构成。在后者的情况下，多台信息处理装置也可以经由网络而被相互连接。
(导航装置100)
导航装置100为“车载设备”的一个示例，且为被搭载于汽车等的车辆上的装置。导航装置100能够经由网络140而利用由中心150所提供的各种服务(例如，导航系统的服务器功能等)。
如图1所示，导航装置100具备通信I/F101、摄像机102、GPS(Global PositioningSystem)103、显示器104、扬声器105、地图数据存储部106、以及ECU110。
通信I/F101通过对经由网络140而实施的与中心150之间的通信进行控制，从而在其与中心150之间实施各种数据的发送及接收。作为通信I/F101，例如，能够使用DCM(DataCommunication Module，数据通信模块)用的通信I/F等。摄像机102为“拍摄装置”的一个示例。摄像机102对将车辆的前方设为拍摄方向的、一定的视场角(在此，为后述的“预定的角度”的两倍以上)的图像进行拍摄。GPS(Global Positioning System，全球定位系统)103基于从GPS卫星接收到的GPS信号，而对车辆的当前位置(经度以及纬度)进行检测。
显示器104为显示各种信息(例如，地图画面、路线引导画面等)的装置。作为显示器104，例如可以列举出液晶显示器、有机EL(Electro Luminescence，电致发光)显示器等。扬声器105输出各种语音(例如，路线引导语音等)。
地图数据存储部106对地图数据进行存储。例如，地图数据存储部106对由中心150提供的地图数据进行保存。由此，针对显示过一次的地图画面，地图数据存储部106能够基于被保存在该地图数据存储部106中的地图数据，而再次显示该地图画面。因此，能够抑制与地图数据存储部106之间的通信频率，并能够获得地图画面的显示速度提高等的效果。
ECU110为对导航装置100的整体进行控制的装置。如图1所示，作为图像发送功能，ECU110具备道路判断部111、拍摄位置计算部112、拍摄控制部113、图像取得部114、图像发送部115以及车道变更检测部116。此外，ECU110具备导航客户功能部117。
道路判断部111对车辆是否行驶于预定的道路中进行判断。在本实施方式中，“预定的道路”是指符合以下四个条件的道路。
(1)在车辆的行进方向上距拍摄对象的广告牌在预定的距离范围内。
(2)在与车辆的行进方向正交的方向上距拍摄对象的广告牌在预定的距离范围内。
(3)具有多条行驶车道。
(4)道路的曲率在预定值以下(大致为直线道路)。
上述条件(1)以及条件(2)例如能够基于拍摄对象的广告牌的位置信息、和表示由GPS103所检测出的车辆的当前位置的信息来进行判断。此外，上述条件(3)以及条件(4)例如能够基于被存储于地图数据存储部106中的车辆正在行驶的道路的连接线数据来进行判断。
拍摄位置计算部112针对车辆正在行驶的道路所具有的多条行驶车道中的各条行驶车道，而计算出能够从预定的角度对拍摄对象的广告牌进行拍摄的车辆的行进方向上的拍摄位置。例如，在将车辆的行进方向上的从拍摄对象的广告牌的位置起至拍摄位置为止的距离设为X，将与车辆的行进方向正交的方向上的从拍摄对象的广告牌的位置起至拍摄位置为止的距离设为Y，将上述预定的角度设为θ的情况下，由于距离Y以及预定的角度θ为固定，因此，拍摄位置计算部112只要通过下述数学式(1)来计算出距离X即可。
tanθ＝X/Y…(1)
例如，如图4所示，在车辆402正在行驶的道路400具有三条行驶车道L1、L2、L3且将上述预定的角度θ设为45°的情况下，当与车辆402的行进方向正交的方向(图中Y轴方向)上的、从第一行驶车道L1起至广告牌401的位置为止的距离Y1为30m时，车辆402的行进方向(图中X轴方向)上的、从拍摄位置P1起至广告牌401的位置为止的距离X1成为30m。
同样地，在与车辆402的行进方向正交的方向上的、从第二行驶车道L2起至广告牌401的位置为止的距离Y2为35m的情况下，车辆402的行进方向上的从拍摄位置P2起至广告牌401的位置为止的距离X2成为35m。
而且，同样地，当与车辆402的行进方向正交的方向上的、从第三行驶车道L3起至广告牌401的位置为止的距离Y3为40m时，车辆402的行进方向上的从拍摄位置P3起至广告牌401的位置为止的距离X3为40m。
拍摄控制部113在由拍摄位置计算部112所计算出的、每条行驶车道的多个拍摄位置的各个拍摄位置处，执行使摄像机102对拍摄对象的广告牌的图像进行拍摄的拍摄控制。
图像取得部114取得由摄像机102所拍摄到的图像(每条行驶车道的图像)，并在每取得一个图像时，将该一个图像临时性地存储在导航装置100所具备的存储器中。
车道变更检测部116对车辆正在行驶的行驶车道被变更了的情况进行检测。例如，车道变更检测部116基于车辆的方向盘的转向角信号、由被搭载于车辆上的车道脱离检测系统所检测的车道脱离检测信号等，从而能够检测出车辆正在行驶的行驶车道被变更了的情况。此外，例如，基于从由摄像机102所拍摄到的车辆前方的图像中对划分行驶车道的道路的白线进行图像识别而得到的结果，从而能够检测出车辆正在行驶的行驶车道被变更了的情况。
在由摄像机102所实施的全部的行驶车道的图像的拍摄结束时，图像发送部115从存储器读取该全部的行驶车道的图像，并将该图像经由通信I/F101而向中心150发送。但是，在通过摄像机102而拍摄了全部的行驶车道的图像之前的期间内通过车道变更检测部116而检测出行驶车道的变更的情况下，图像发送部115不向中心150发送由摄像机102所拍摄到的任何一个图像。
导航客户功能部117实现导航系统中的客户功能。例如，导航客户功能部117通过向中心150要求到目的地为止的路线搜索以及路线引导，从而能够使中心150实施该路线搜索以及路线引导。而且，导航客户功能部117根据由中心150所实施的到目的地为止的路线的引导，来执行由显示器104所实施的地图画面以及路线引导画面的显示、由扬声器105所实施的路线引导语音的输出等。
此外，ECU110被构成为，具备CPU、主存储装置(例如，ROM、RAM等)、辅助存储装置(例如，HDD、闪存等)等的硬件。图1所示的ECU110的各功能例如在ECU110中通过CPU执行被存储于主存储装置或辅助存储装置中的程序而被实现。
(由导航装置100所实施的处理的步骤)
图2为表示由实施方式所涉及的导航装置100(ECU110)所执行的处理的步骤的一个示例的流程图。图2的处理例如在车辆正在行驶的期间内每当该车辆到达距拍摄对象的广告牌预定的距离近前的位置时，通过ECU110而被执行。
例如，导航装置100预先从中心150取得拍摄对象的多个广告牌的列表。在该列表中，示出了拍摄对象的多个广告牌的各个位置信息。ECU110基于拍摄对象的多个广告牌的各个位置信息和车辆的当前位置信息，来判断车辆是否已到达距拍摄对象的任意一个广告牌预定的距离近前的位置处。而且，ECU110在判断为车辆已到达距拍摄对象的任意一个广告牌预定的距离近前的位置时，通过执行以下的处理而取得该广告牌的图像。
首先，道路判断部111对车辆是否正在行驶于预定的道路上进行判断(步骤S201)。在步骤S201中判断为车辆并未行驶于预定的道路的情况下(步骤S201：否)，道路判断部111再次执行步骤S201的处理。
另一方面，在步骤S201中，在判断为车辆正在行驶于预定的道路上的情况(步骤S201：是)下，拍摄位置计算部112将针对车辆正在行驶的道路所具有的多条行驶车道的各条行驶车道，而计算能够从预定的角度对拍摄对象的广告牌进行拍摄的、车辆的行进方向上的位置，以作为拍摄位置P(步骤S202)。例如，如图4所示，在车辆402正在行驶的道路400具有三个行驶车道L1、L2、L3的情况下，拍摄位置计算部112计算出与这些三个行驶车道L1、L2、L3对应的三个拍摄位置P1、P2、P3。
此后，拍摄控制部113对车辆是否已经到达在步骤S202中计算出的任意一个拍摄位置进行判断(步骤S203)。例如，在步骤S202中，在计算出三个拍摄位置P1、P2、P3的情况下，拍摄控制部113对车辆402是否已经到达这三个拍摄位置P1、P2、P3中的任意一个进行判断。该判断能够基于各拍摄位置的位置信息、和车辆402的当前位置的位置信息而实施。在步骤S203中，在判断为车辆未到达任何一个拍摄位置的情况下(步骤S203：否)，拍摄控制部113再次执行步骤S203的处理。
另一方面，在步骤S203中判断为车辆已到达任意一个拍摄位置的情况下(步骤S203：是)，拍摄控制部113使摄像机102对拍摄对象的广告牌的图像进行拍摄(步骤S204)。而且，图像取得部114取得在步骤S204中被拍摄到的图像，并使导航装置100所具备的存储器临时性地存储该图像(步骤S205)。通过反复执行步骤S203～S205的处理，从而使在步骤S202中被计算出的多个拍摄位置的各个图像被存储在存储器中。例如，当在步骤S202中计算出三个拍摄位置P1、P2、P3时，通过反复执行三次步骤S203～S205的处理，从而使这三个拍摄位置P1、P2、P3的各自的图像被存储在存储器中。
此后，拍摄控制部113对是否已在步骤S202中被计算出的全部的拍摄位置处拍摄了图像进行判断(步骤S206)。在步骤S206中判断为尚未在全部的拍摄位置处拍摄了图像的情况下(步骤S206：否)，ECU110使处理返回至步骤S203。
另一方面，在步骤S206中判断为已在全部的拍摄位置处拍摄了图像的情况下(步骤S206：是)，图像发送部115在由摄像机102拍摄了全部的行驶车道的图像位置之前的期间内，对是否通过车道变更检测部116而检测出行驶车道的变更进行判断(步骤S207)。
在步骤S207中判断为检测出了行驶车道的变更的情况下(步骤S207：是)，ECU110从存储器中废弃至此为止由摄像机102所拍摄到的全部的图像，并结束图2所示的一系列的处理。在车辆正在行驶的行驶车道被变更了的情况下，有可能会拍摄到标记对象物的拍摄方向未成为预定的角度的图像。因此，ECU110在车辆正在行驶的行驶车道被变更了的情况下从存储器中废弃由摄像机102所拍摄到的全部的图像。由此，能够避免标记对象物的拍摄方向未成为预定的角度的图像被保存于数据库中的情况。
另一方面，在步骤S207中判断为未检测到行驶车道的变更的情况下(步骤S207：否)，图像发送部115从存储器中读取全部的行驶车道的图像，并将包含这些图像的探测器数据经由通信I/F101而向中心150发送(步骤S208)。然后，ECU110结束图2所示的一系列的处理。
(由中心150所执行的处理的步骤的一个示例)
图3为表示由实施方式所涉及的中心150(ECU160)所执行的处理的步骤的一个示例的流程图。图3的处理例如在中心150进行工作的期间内通过ECU160而被反复执行。
首先，探测器保存处理部161对是否接收到从导航装置100发送的探测器数据进行判断(步骤S301)。在步骤S301中判断为未接收到探测器数据的情况下(步骤S301：否)，探测器保存处理部161再次执行步骤S301的处理。
另一方面，在步骤S301中判断为接收到探测器数据的情况下(步骤S301：是)，探测器保存处理部161将该探测器数据保存至行驶DB152中(步骤S302)。
接下来，广告牌图像识别部162通过根据在步骤S302中被保存于行驶DB152中的探测器数据所含的多个图像而执行公知的图像识别处理，从而对拍摄对象的广告牌进行图像识别(步骤S303)。而且，广告牌图像识别部162判断是否通过步骤S303的图像识别处理而图像识别出了应该进行交叉路口引导的广告牌(步骤S304)。例如，ECU160预先将应该进行交叉路口引导的广告牌的列表保持于存储器中。在该列表中包含在步骤S303中被图像识别出的广告牌的情况下，广告牌图像识别部162判断为，“图像识别出了应该进行交叉路口引导的广告牌”。
在步骤S304中判断为并未图像识别出应该进行交叉路口引导的广告牌的情况下(步骤S304：否)，ECU160结束图3所示的一系列的处理。
另一方面，在步骤S304中判断为图像识别出了应该进行交叉路口引导的广告牌的情况下(步骤S304：是)，位置关系信息取得部163基于探测器数据中所含的多个图像而对车辆正在行驶的行驶车道进行确定(步骤S305)。例如，如图4所示，在车辆402正在行驶的道路400具有三个行驶车道L1、L2、L3的情况下，从这三个行驶车道L1、L2、L3中对车辆402正在行驶的行驶车道进行确定。
而且，广告牌引导数据保存处理部164优先地将如下的图像保存在广告牌引导DB153中，即，探测器数据所含的多个图像中的、在与在步骤S305中被确定的行驶车道相对应的拍摄位置处被拍摄到的图像。例如，当被确定为车辆402正在行驶的行驶车道为行驶车道L2时，广告牌引导数据保存处理部164从探测器数据所含的多个图像中提取在与该行驶车道L2相对应的拍摄位置P2处被拍摄到的图像，并将该图像优先地保存在广告牌引导DB153中。此后，ECU160结束图3所示的一系列的处理。
如此，通过对车辆正在行驶的行驶车道进行确定，并将在与该行驶车道相对应的拍摄位置处被拍摄到的图像保存在广告牌引导DB153中，从而在广告牌引导DB153中会始终优先地保存有拍摄对象的广告牌的拍摄方向为预定的角度(例如，45°)的图像。
(每条行驶车道的拍摄位置的一个示例)
图4为，用于对由实施方式所涉及的导航装置100(ECU110)所计算出的、每条行驶车道的拍摄位置的一个示例进行说明的图。图4所示的道路400为，具有行驶车道L1、L2、L3的三条车道的直线道路。在此，对在各条行驶车道中拍摄广告牌401的拍摄方向成为45°的图像的示例进行说明。
例如，在图4的示例中，在与车辆402的行进方向(图中X轴方向)正交的方向(图中Y轴方向)上的、从第一行驶车道L1起至广告牌401的位置为止的距离Y1为30m的情况下，拍摄位置计算部112将车辆402的行进方向(图中X轴方向)上的、距广告牌401为30m近前的位置设定为拍摄位置P1。该拍摄位置P1为在第一行驶车道L1上广告牌401的拍摄方向成为45°的位置。
此外，在图4的示例中，在与车辆402的行进方向正交的方向上的、从第二行驶车道L2起至广告牌401的位置为止的距离Y2为35m的情况下，拍摄位置计算部112将车辆402的行进方向上的、距广告牌401为35m近前的位置设定为拍摄位置P2。该拍摄位置P2为，在第二行驶车道L2上广告牌401的拍摄方向成为45°的位置。
此外，在图4的示例中，在与车辆402的行进方向正交的方向上的、从第三行驶车道L3起至广告牌401的位置为止的距离Y3为40m的情况下，拍摄位置计算部112将车辆402的行进方向上的、距广告牌401为40m近前的位置设定为拍摄位置P3。该拍摄位置P3为，在第三行驶车道L3上广告牌401的拍摄方向成为45°的位置。
拍摄控制部113在由拍摄位置计算部112所计算出的多个拍摄位置P1、P2、P3中的各个拍摄位置处，使摄像机102拍摄广告牌401的图像。如果车辆402正在行驶于第一行驶车道L1上，则在拍摄位置P1处被拍摄到的图像成为广告牌401的拍摄方向为45°的图像。此外，如果车辆402正在行驶于第二行驶车道L2上，则在拍摄位置P2处被拍摄到的图像成为广告牌401的拍摄方向为45°的图像。此外，如果车辆402正在行驶于第三行驶车道L3上，则在拍摄位置P3处被拍摄到的图像成为广告牌401的拍摄方向为45°的图像。即，通过在拍摄位置P1、P2、P3的各个拍摄位置处对图像进行拍摄，从而无论车辆402行驶于任何一条行驶车道上，均能够获得广告牌401从预定的角度(45°)被拍摄到的图像。
(针对每条行驶车道而被拍摄到的图像的一个示例)
图5为，表示通过实施方式所涉及的摄像机102而对每条行驶车道进行拍摄而得到的图像的一个示例的图。图5A所示的图像501为，在车辆402正在行驶于道路400的第二行驶车道L2上时，在作为距广告牌401为40m近前的位置的拍摄位置P3处，由摄像机102拍摄到的图像的一个示例。
此外，图5B所示的图像502为，在车辆402正在行驶于道路400的第二行驶车道L2上时，在作为距广告牌401为35m近前的位置的拍摄位置P2处，由摄像机102拍摄到的图像的一个示例。
此外，图5C所示的图像503为，在车辆402正在行驶于道路400的第二行驶车道L2上时，在作为距广告牌401为30m近前的位置的拍摄位置P1处，由摄像机102拍摄到的图像的一个示例。
在此，如在图4中所说明的那样，在车辆402正在行驶于第二行驶车道L2上的情况下，在拍摄位置P2处被拍摄到的图像成为广告牌401的拍摄方向为45°的图像。因此，图5B所示的图像502由于广告牌401的拍摄方向成为45°，因此被优先地保存于广告牌引导DB153中。
另一方面，图5A所示的图像501由于广告牌401的拍摄方向与45°相比成为窄角，因此，未被保存于广告牌引导DB153中。同样地，图5C所示的图像503由于广告牌401的拍摄方向与45°相比成为广角，因此未被保存于广告牌引导DB153中。
如此，通过确定车辆正在行驶的行驶车道，并在广告牌引导DB153中优先地保存在与该行驶车道相对应的拍摄位置处被拍摄到的图像，从而在广告牌引导DB153中将会始终优先地保存拍摄对象的广告牌的拍摄方向为预定的角度(例如，45°)的图像。
如以上所说明的那样，根据本实施方式的图像收集系统10，由搭载于车辆上的摄像机102所拍摄到的多个图像中的、拍摄对象的广告牌从预定的角度被拍摄到的图像被优先地保存于设置在中心150处的广告牌引导DB153中。由此，在被保存于广告牌引导DB153中的多个图像之间，能够以较高的精度统一广告牌的图像识别精度。此外，能够防止图像识别精度较低的图像被无谓地保存在广告牌引导DB153中的情况。因此，根据本结构，能够提高被保存于广告牌引导DB153中的广告牌的图像的图像识别精度，并能够抑制广告牌引导DB153的存储区域的利用效率的降低。
此外，根据本实施方式的图像收集系统10，能够针对车辆正在行驶的道路所具有的多个行驶车道中的各个行驶车道，而取得拍摄对象的广告牌从预定的角度被拍摄到的图像。因此，在车辆侧无法确定行驶车道的情况下，无论车辆行驶于任何一条行驶车道上，中心150均能够获得拍摄对象的广告牌从预定的角度被拍摄到的图像。此外，根据本结构，由于能够将图像的拍摄张数设为最小限度(＝行驶车道数)，因此，能够减轻被拍摄到的多个图像所涉及的通信容量以及存储容量。
此外，根据本实施方式的图像收集系统10而设为，在通过摄像机102而在多个拍摄位置中的全部拍摄位置处均拍摄了图像之前的期间内检测出车辆正在行驶的行驶车道的变更的情况下，不向中心150发送由摄像机102所拍摄到的任何一个图像。根据本结构，当车辆正在行驶的行驶车道被变更时，有可能会在与被设想的行驶车道不同的行驶车道上拍摄到被设想的行驶车道用的图像(即，拍摄对象的广告牌的拍摄方向未成为预定的角度的图像)，在这样的情况下，本发明能够避免拍摄对象的广告牌的拍摄方向未成为预定的角度的图像被保存于广告牌引导DB153中的情况。
此外，根据本实施方式的图像收集系统10，能够从图像中对车辆正在行驶的行驶车道进行确定，以作为拍摄到拍摄对象的广告牌的图像时的、广告牌与车辆之间的位置关系。因此，根据本结构，能够通过对车辆正在行驶的行驶车道进行确定的比较简单的图像识别处理，而对拍摄到图像时的标记对象物与车辆之间的位置关系进行确定。
(由中心150所执行的处理的步骤的改变例)
图6为表示由实施方式所涉及的中心150(ECU160)所涉及的处理的步骤的改变例的流程图。图6的处理为图3的处理的改变例。图6的处理例如在中心150进行工作的期间内通过ECU160而被反复执行。
首先，探测器保存处理部161对是否接收到从导航装置100发送的探测器数据进行判断(步骤S601)。在步骤S601中判断为未接收到探测器数据的情况下(步骤S601：否)，探测器保存处理部161再次执行步骤S601的处理。
另一方面，在步骤S601中判断为接收到探测器数据的情况下(步骤S601：是)，探测器保存处理部161将该探测器数据保存于行驶DB152中(步骤S602)。
接下来，广告牌图像识别部162通过根据在步骤S602中被保存于行驶DB152中的探测器数据所含的多个图像而执行公知的图像识别处理，从而对拍摄对象的广告牌进行图像识别(步骤S603)。而且，广告牌图像识别部162对是否通过步骤S603的图像识别处理而图像识别出了应该进行交叉路口引导的广告牌进行判断(步骤S604)。
在步骤S604中判断为并未图像识别出应该进行交叉路口引导的广告牌的情况下(步骤S604：否)，ECU160结束图6所示的一系列的处理。
另一方面，在步骤S604中判断为图像识别出了应该进行交叉路口引导的广告牌的情况下(步骤S604：是)，针对探测器数据所含的多个图像的各个图像，位置关系信息取得部163基于该图像中的车辆与广告牌之间的位置关系而对广告牌的拍摄方向相对于车辆的行进方向所成的角度进行确定(步骤S605)。例如，在探测器数据中包含图5所示的图像501、502、503的情况下，作为图像501中的广告牌的拍摄方向的角度，位置关系信息取得部163计算出与45°相比为窄角的角度。此外，作为图像502中的广告牌的拍摄方向的角度，位置关系信息取得部163计算出45°。此外，作为图像503中的广告牌的拍摄方向的角度，位置关系信息取得部163计算出与45°相比为广角的角度。
而且，广告牌引导数据保存处理部164优先地将如下的图像保存在广告牌引导DB153中，即，探测器数据所含的多个图像中的、在步骤S605中被确定的角度为预定的角度的图像。例如，在预定的角度为45°的情况下，广告牌引导数据保存处理部164将由位置关系信息取得部163所计算出的角度为45°的图像501优先地保存在广告牌引导DB153中。此后，ECU160结束图6所示的一系列的处理。
如此，根据本改变例的图像收集系统10，作为拍摄到拍摄对象的广告牌的图像时的广告牌与车辆之间的位置关系，能够根据图像中的车辆与广告牌之间的位置关系，而对拍摄对象的广告牌的方向与车辆的行进方向构成的角度进行确定。因此，根据本结构，即使在根据拍摄条件的变化(例如，GPS精度等)而使拍摄对象的广告牌的拍摄方向偏离预定的角度的这种情况下，实际上也能够优先地将拍摄对象的广告牌的拍摄方向成为预定的角度的图像保存在广告牌引导DB153中。因此，根据本结构，能够更加提高被保存于广告牌引导DB153中的广告牌的图像的图像识别精度。
以上，虽然对本发明的优选的实施方式进行了详细的叙述，但本发明并未被限定于这些实施方式，在权利要求书所记载的本发明的主旨的范围内，能够实施各种变形或变更。
例如，虽然在实施方式中，作为“标记对象物”的一个示例而使用了广告牌，但并未被限定于此。例如，只要“标记对象物”为标识、铜像、建筑物等的能够作为交叉路口引导等的标记来使用的物体，则为任何物体均可。
此外，例如，在实施方式中，也可以将导航装置100所具备的功能的一部分设置在中心150、或者能够与导航装置100连接的其他的信息处理装置中。
此外，例如，在实施方式中，也可以将中心150所具备的一部分功能设置在导航装置100、或能够与中心150连接的其他的信息处理装置中。
此外，虽然在上述实施方式中，在通过车道变更检测部116而检测出车辆正在行驶的行驶车道被变更了的情况下，将由摄像机102所拍摄到的多个图像全部在不向中心150发送的条件下进行废弃，但并未被限定于此。例如，也可以设为，在通过车道变更检测部116而检测出车辆正在行驶的行驶车道被变更了的情况下，将由摄像机102所拍摄到的多个图像全部向中心150发送，而在中心150处，广告牌引导数据保存处理部164不向广告牌引导DB153中保存任何一个图像(即，废弃)。
此外，在上述实施方式中，优先地向广告牌引导DB153中保存如下的图像，即，由摄像机102所拍摄到的图像中的、标记对象物(广告牌)从预定的角度被拍摄到的图像，但并未被限定于此。
例如，也可以设为，将由摄像机102所拍摄到的全部的图像以与表示车辆正在行驶的行驶车道的信息附加关联的方式而保存在广告牌引导DB153中。由此，例如，在执行目标对象物的图像识别处理时，能够通过从广告牌引导DB153中仅读取与特定的行驶车道被附加了关联的图像，而以固定的图像识别精度来执行目标对象物的图像识别处理。在该情况下，表示车辆正在行驶的行驶车道的信息既可以从外部(例如，车辆)取得，也可以通过从图像中对车辆正在行驶的行驶车道进行确定来取得。此外，在该情况下，无需计算出标记对象物的方向相对于车辆的行进方向所成的角度。
此外，例如，也可以将由摄像机102拍摄到的全部的图像将与表示标记对象物的方向相对于车辆的行进方向所成的角度的信息附加关联的方式而保存在广告牌引导DB153中。由此，例如，当执行目标对象物的图像识别处理时，通过从广告牌引导DB153中读取与特定的角度被附加了关联的图像，从而能够以固定的图像识别精度来执行目标对象物的图像识别处理。在该情况下，表示标记对象物的方向相对于车辆的行进方向所成的角度的信息既可以从外部(例如，车辆)取得，也可以通过根据图像中的车辆与标记对象物之间的位置关系来进行计算而取得。此外，在该情况下，无需对车辆正在行驶的行驶车道进行确定。
此外，例如，也可以将由摄像机102拍摄到的全部的图像以与表示车辆正在行驶的行驶车道的信息、和标记对象物的方向相对于车辆的行进方向所成的角度的信息的双方附加关联的方式，而保存在广告牌引导DB153中。由此，例如，当执行目标对象物的图像识别处理时，能够通过从广告牌引导DB153中仅读取与特定的行驶车道被附加了关联的图像、或与特定的角度被附加了关联的图像，从而以固定的图像识别精度来执行目标对象物的图像识别处理。在该情况下，表示车辆正在行驶的行驶车道的信息既可以从外部(例如，车辆)取得，也可以通过根据图像而对车辆正在行驶的行驶车道进行确定来取得。此外，表示标记对象物的方向相对于车辆的行进方向所成的角度的信息既可以从外部(例如，车辆)取得，也可以通过根据图像中的车辆与标记对象物之间的位置关系来进行计算而取得。
此外，除了上述实施方式之外，例如，也可以在图像收集系统中包含车辆用通信装置，所述车辆用通信装置具备图像取得部和图像发送部，所述图像取得部取得由搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像，所述图像发送部向中心发送由图像取得部所取得的图像中的、标记对象物以预定的角度被拍摄到的图像。在该情况下，各图像中的标记对象物的拍摄方向也可以由车辆用通信装置(例如，“拍摄方向确定部”)来进行确定。例如，车辆用通信装置也可以基于标记对象物的位置信息(经度以及纬度)和车辆的当前位置信息(经度以及纬度)而对图像中的标记对象物的拍摄方向进行确定。此外，例如，车辆用通信装置也可以基于图像中的车辆与标记对象物之间的位置关系，而对图像中的标记对象物的拍摄方向进行确定。根据本结构，也能够在数据库中优先地保存实现了从预定的角度对标记对象物进行拍摄的图像。因此，根据本结构，能够提高被保存于数据库中的标记对象物的图像的图像识别精度，并且，能够抑制数据库的存储区域的利用效率的降低。
本国际申请要求基于2017年8月10日提交的日本国专利申请第2017-155304号的优先权，并将该申请的全部内容引用至本国际申请中。
符号说明
10 图像收集系统
100 导航装置(车载设备)
101 通信I/F
102 摄像机(拍摄装置)
103 GPS
104 显示器
105 扬声器
106 地图数据存储部
110 ECU
111 道路判断部
112 拍摄位置计算部
113 拍摄控制部
114 图像取得部
115 图像发送部
116 车道变更检测部
117 导航客户功能部
140 网络
150 中心(图像收集装置)
151 通信I/F
152 行驶DB
153 广告牌引导DB(数据库)
154 地图DB
160 ECU
161 探测器保存处理部
162 广告牌图像识别部
163 位置关系信息取得部
164 广告牌引导数据保存处理部
165 路线搜索部
166 路线引导部
400 道路
401 广告牌
402 车辆

Claims (11)

1.一种图像收集系统，具备：
图像取得部，其取得由搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；
位置关系信息取得部，其取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；
保存处理部，其将由所述图像取得部所取得的所述图像以与由所述位置关系信息取得部所取得的所述位置关系信息附加关联的方式而保存在数据库中。
2.如权利要求1所述的图像收集系统，其中，
所述位置关系信息包含，表示所述车辆正在行驶的行驶车道的信息、以及表示所述标记对象物的方向相对于所述车辆的行进方向所成的角度的信息中的至少任意一方。
3.如权利要求2所述的图像收集系统，其中，
还具备：
拍摄位置计算部，其针对所述车辆正在行驶的道路所具有的多条行驶车道中的各条行驶车道，而计算出能够从预定的角度对所述标记对象物进行拍摄的所述车辆的行进方向上的拍摄位置；
拍摄控制部，其在由所述拍摄位置计算部所计算出的多个所述拍摄位置中的各个拍摄位置处，实施使所述拍摄装置拍摄所述图像的拍摄控制，
通过所述拍摄控制部在由所述拍摄位置计算部所计算出的多个所述拍摄位置的各个拍摄位置处实施拍摄控制，从而所述图像取得部取得由所述拍摄装置所拍摄到的多个图像。
4.如权利要求3所述的图像收集系统，其中，
所述位置关系信息取得部通过从由所述图像取得部所取得的图像中对所述车辆正在行驶的行驶车道进行确定，从而取得表示所述车辆正在行驶的行驶车道的信息，以作为所述位置关系信息，
所述保存处理部优先地将如下的图像保存在所述数据库中，即，由所述图像取得部所取得的多个图像中的、在与由所述位置关系信息取得部所确定的所述车辆正在行驶的行驶车道相对应的拍摄位置处被拍摄到的图像。
5.如权利要求3所述的图像收集系统，其中，
所述位置关系信息取得部通过根据由所述图像取得部所取得的图像中的所述车辆与所述标记对象物之间的位置关系来进行计算，从而取得表示所述标记对象物的方向相对于所述车辆的行进方向所成的角度的信息，以作为所述位置关系信息；
所述保存处理部优先地将如下的图像保存在所述数据库中，即，由所述图像取得部所取得的多个图像中的、由所述位置关系信息取得部所计算出的角度为所述预定的角度的图像。
6.如权利要求3所述的图像收集系统，其中，
所述图像取得部、所述拍摄位置计算部以及所述拍摄控制部被设置于车载设备中，所述车载设备被搭载于所述车辆上，
所述位置关系信息取得部以及所述保存处理部被设置于中心处，
所述车载设备具备：
图像发送部，其向所述中心发送由所述图像取得部所取得的多个所述图像；
车道变更检测部，其对所述车辆正在行驶的行驶车道被变更了的情况进行检测，
在由所述拍摄装置在多个所述拍摄位置中的全部所述拍摄位置处均拍摄了所述图像之前的期间内由所述车道变更检测部检测到所述行驶车道的变更的情况下，所述图像发送部不向所述中心发送由所述拍摄装置所拍摄到的任何一个所述图像。
7.如权利要求3所述的图像收集系统，其中，
还具备车道变更检测部，所述车道变更检测部对所述车辆正在行驶的行驶车道被变更了的情况进行检测，
在由所述拍摄装置在多个所述拍摄位置中的全部所述拍摄位置处均拍摄了所述图像之前的期间内由所述车道变更检测部检测到所述行驶车道的变更的情况下，所述保存处理部不向所述数据库中保存由所述拍摄装置所拍摄到的任何一个所述图像。
8.一种图像收集方法，包括：
图像取得工序，取得由被搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；
位置关系信息取得工序，取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；
保存处理工序，将在所述图像取得工序中所取得的所述图像以与在所述位置关系信息取得工序中所取得的所述位置关系信息附加关联的方式而保存在数据库中。
9.一种图像收集装置，具备：
图像取得部，其取得由被搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；
位置关系信息取得部，其取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；以及，
保存处理部，其将由所述图像取得部所取得的所述图像以与由所述位置关系信息取得部所取得的所述位置关系信息附加关联的方式而保存在数据库中。
10.一种计算机可读取的记录介质，其记录有用于使计算机作为如下的部分而发挥功能的程序，即，
图像取得部，其取得由被搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；
位置关系信息取得部，其取得表示拍摄到所述图像时的所述标记对象物与所述车辆之间的位置关系的位置关系信息；以及，
保存处理部，其将由所述图像取得部所取得的所述图像以与由所述位置关系信息取得部所取得的所述位置关系信息附加关联的方式而保存在数据库中。
11.一种车辆用通信装置，具备：
图像取得部，其取得由被搭载于车辆上的拍摄装置所拍摄到的标记对象物的图像；
图像发送部，其向中心发送如下的图像，即，由所述图像取得部所取得的所述图像中的、所述标记对象物以预定的角度而被拍摄到的所述图像。
CN201880051060.2A 2017-08-10 2018-08-09 图像收集系统、图像收集方法、图像收集装置、记录介质 Active CN110998684B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-155304 2017-08-10
JP2017155304A JP6838522B2 (ja) 2017-08-10 2017-08-10 画像収集システム、画像収集方法、画像収集装置、および記録媒体
PCT/JP2018/029916 WO2019031582A1 (ja) 2017-08-10 2018-08-09 画像収集システム、画像収集方法、画像収集装置、記録媒体、および車両用通信装置

Publications (2)

Publication Number Publication Date
CN110998684A true CN110998684A (zh) 2020-04-10
CN110998684B CN110998684B (zh) 2022-02-01

Family

ID=65272276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051060.2A Active CN110998684B (zh) 2017-08-10 2018-08-09 图像收集系统、图像收集方法、图像收集装置、记录介质

Country Status (5)

Country Link
US (1) US11410429B2 (zh)
JP (1) JP6838522B2 (zh)
CN (1) CN110998684B (zh)
DE (1) DE112018004108T5 (zh)
WO (1) WO2019031582A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120627A (zh) * 2020-08-25 2022-03-01 丰田自动车株式会社 控制装置、系统、非临时性的计算机可读介质、以及广告显示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12010719B2 (en) * 2019-02-13 2024-06-11 Sony Group Corporation Moving body, communication method, and program
US11854402B2 (en) * 2020-07-10 2023-12-26 Here Global B.V. Method, apparatus, and system for detecting lane departure events based on probe data and sensor data
CN112537302B (zh) * 2020-11-30 2022-06-17 南通路远科技信息有限公司 一种无人驾驶交通载具车道保持方法、装置及交通载具
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
JP7309310B1 (ja) * 2023-03-07 2023-07-18 株式会社ファンクリエイト 逆走検出装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1530889A (zh) * 1998-10-13 2004-09-22 ���ǵ�����ʽ���� 道路模型化方法及基于该方法的车道标志识别方法
CN1637385A (zh) * 2003-12-24 2005-07-13 爱信艾达株式会社 导航装置和导航系统
CN1961197A (zh) * 2004-06-02 2007-05-09 株式会社查纳位资讯情报 车载导航装置和目标车辆位置修正方法
JP2010519550A (ja) * 2007-02-21 2010-06-03 テレ アトラス ノース アメリカ インコーポレイテッド 絶対座標及び相対座標を含む車両ナビゲーション及び案内のためのシステム及び方法
CN102132557A (zh) * 2008-09-03 2011-07-20 三菱电机株式会社 车用拍摄系统
CN102184535A (zh) * 2011-04-14 2011-09-14 西北工业大学 一种车辆所在车道边界检测方法
CN104603578A (zh) * 2012-09-28 2015-05-06 爱信艾达株式会社 交叉路口引导系统、方法以及程序
CN105074794A (zh) * 2013-04-04 2015-11-18 日产自动车株式会社 信号识别装置
CN105793669A (zh) * 2013-12-06 2016-07-20 日立汽车系统株式会社 车辆位置推定系统、装置、方法以及照相机装置
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
US20170220881A1 (en) * 2016-02-03 2017-08-03 Hanyang Information & Communications Co., Ltd. Apparatus and method for setting region of interest

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232135A (ja) * 1997-02-20 1998-09-02 Sony Corp 画像データ収集方法、画像データ提供方法、地図作成方法、位置データ提供方法、ナビゲーション装置及び車両
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP4946238B2 (ja) 2006-07-25 2012-06-06 株式会社デンソー 車両周辺撮影送信装置および車両周辺撮影送信プログラム
JP2008045893A (ja) 2006-08-11 2008-02-28 Denso Corp カーナビゲーション装置
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
JP5625987B2 (ja) * 2011-02-16 2014-11-19 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
JP2013036930A (ja) 2011-08-10 2013-02-21 Alpine Electronics Inc ナビゲーション装置およびこれを備えたナビゲーションシステム
US9393961B1 (en) * 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
JP2016095688A (ja) 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP2017155304A (ja) 2016-03-03 2017-09-07 株式会社東芝 二酸化炭素電解装置
JP6649191B2 (ja) * 2016-06-29 2020-02-19 クラリオン株式会社 車載処理装置
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10962982B2 (en) * 2016-07-21 2021-03-30 Mobileye Vision Technologies Ltd. Crowdsourcing the collection of road surface information
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
JP7125214B2 (ja) * 2018-04-03 2022-08-24 モービルアイ ビジョン テクノロジーズ リミテッド プログラムおよびコンピューティングデバイス
GB2621722B (en) * 2019-02-14 2024-06-05 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
WO2020242945A1 (en) * 2019-05-24 2020-12-03 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation based on image analysis

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1530889A (zh) * 1998-10-13 2004-09-22 ���ǵ�����ʽ���� 道路模型化方法及基于该方法的车道标志识别方法
CN1637385A (zh) * 2003-12-24 2005-07-13 爱信艾达株式会社 导航装置和导航系统
CN1961197A (zh) * 2004-06-02 2007-05-09 株式会社查纳位资讯情报 车载导航装置和目标车辆位置修正方法
JP2010519550A (ja) * 2007-02-21 2010-06-03 テレ アトラス ノース アメリカ インコーポレイテッド 絶対座標及び相対座標を含む車両ナビゲーション及び案内のためのシステム及び方法
CN102132557A (zh) * 2008-09-03 2011-07-20 三菱电机株式会社 车用拍摄系统
CN102184535A (zh) * 2011-04-14 2011-09-14 西北工业大学 一种车辆所在车道边界检测方法
CN104603578A (zh) * 2012-09-28 2015-05-06 爱信艾达株式会社 交叉路口引导系统、方法以及程序
CN105074794A (zh) * 2013-04-04 2015-11-18 日产自动车株式会社 信号识别装置
CN105793669A (zh) * 2013-12-06 2016-07-20 日立汽车系统株式会社 车辆位置推定系统、装置、方法以及照相机装置
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
US20170220881A1 (en) * 2016-02-03 2017-08-03 Hanyang Information & Communications Co., Ltd. Apparatus and method for setting region of interest

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈明芽 等: "单目视觉自然路标辅助的移动机器人定位方法", 《浙江大学学报(工学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120627A (zh) * 2020-08-25 2022-03-01 丰田自动车株式会社 控制装置、系统、非临时性的计算机可读介质、以及广告显示方法

Also Published As

Publication number Publication date
US20200210725A1 (en) 2020-07-02
JP2019036013A (ja) 2019-03-07
DE112018004108T5 (de) 2020-05-20
WO2019031582A1 (ja) 2019-02-14
CN110998684B (zh) 2022-02-01
US11410429B2 (en) 2022-08-09
JP6838522B2 (ja) 2021-03-03

Similar Documents

Publication Publication Date Title
CN110998684B (zh) 图像收集系统、图像收集方法、图像收集装置、记录介质
JP4847090B2 (ja) 位置測位装置、および位置測位方法
KR101919366B1 (ko) 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
JP6325806B2 (ja) 車両位置推定システム
EP2598842B1 (en) Guidance device, guidance method, and guidance program
WO2014115563A1 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
JP2009014574A (ja) 道路情報生成装置、道路情報生成方法および道路情報生成プログラム
KR20060122284A (ko) 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법
JP2013200218A (ja) ナビゲーション装置、自律航法支援方法および自律航法支援プログラム
CN111319560B (zh) 信息处理系统、程序和信息处理方法
JP2009205403A (ja) 道路標示認識装置、および道路標示認識方法
JP2020038632A (ja) 標示物認識システム及び標示物認識方法
WO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
JP6165422B2 (ja) 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム
JP2014215205A (ja) 情報処理装置、サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
CN106840181B (zh) 用于确定车辆位置的系统和方法
JP2012159373A (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
JP2018010320A (ja) サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム
CN113566824A (zh) 车辆定位方法、装置、电子设备及存储介质
JP6224343B2 (ja) サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP7036783B2 (ja) 位置推定システム、位置推定方法、及び位置推定プログラム
JP2005339176A (ja) 車両認識装置、ナビゲーション装置および車両認識方法
JP5434745B2 (ja) 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant