CN104520675B - 摄像机参数运算装置、导航系统及摄像机参数运算方法 - Google Patents

摄像机参数运算装置、导航系统及摄像机参数运算方法 Download PDF

Info

Publication number
CN104520675B
CN104520675B CN201380041261.1A CN201380041261A CN104520675B CN 104520675 B CN104520675 B CN 104520675B CN 201380041261 A CN201380041261 A CN 201380041261A CN 104520675 B CN104520675 B CN 104520675B
Authority
CN
China
Prior art keywords
road
camera parameters
camera
landscape
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380041261.1A
Other languages
English (en)
Other versions
CN104520675A (zh
Inventor
奥出真理子
蛭田智昭
天谷真
天谷真一
志磨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN104520675A publication Critical patent/CN104520675A/zh
Application granted granted Critical
Publication of CN104520675B publication Critical patent/CN104520675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种摄像机参数运算装置,其运算表示摄像机的安装位置的高度和摄像机的朝向的摄像机参数,该摄像机参数用于将摄像机拍摄到的包含道路的风景的风景图像变换成导航用,该摄像机参数运算装置包括:取得位置信息的位置信息取得部;基于位置信息取得与当前位置对应的道路数据并从道路数据取得在当前位置的路宽信息的路宽信息取得部;从摄像机取得风景图像的风景图像取得部;和基于风景图像和路宽信息对摄像机参数进行校正计算的摄像机参数校正部。

Description

摄像机参数运算装置、导航系统及摄像机参数运算方法
技术领域
本发明涉及摄像机参数运算装置、导航系统及摄像机参数运算方法。
背景技术
作为本发明的背景技术有专利文献1。专利文献1中记载了即使在车辆行驶中也能够高频度地修正车载摄像机的光轴的车载摄像机的校准装置。
已有技术文献
专利文献
专利文献1:日本特开2008-11174号公报
发明内容
发明要解决的问题
然而,根据专利文献1中记载的车载摄像机的校准装置,由于在拍摄到路面标志时进行摄像机参数的校正,因此关于路面标志的信息需要预先包含在地图数据中。然而,这存在地图数据大小变得比以往更大的问题。
因此,本发明提供一种保持原有的地图数据不变地进行摄像机参数的校正的导航用摄像机参数运算装置和导航用摄像机参数运算方法。
用于解决问题的手段
根据本发明的第一方式,一种摄像机参数运算装置,其运算表示安装在移动物体上的摄像机的安装位置的高度和摄像机的朝向的摄像机参数,该摄像机参数用于将由摄像机拍摄到的包含移动物体移动的道路的风景的风景图像变换成导航用,该摄像机参数运算装置包括:位置信息取得部,其取得关于移动物体的当前位置的位置信息;路宽信息取得部,其基于位置信息取得与当前位置对应的道路数据,从道路数据取得关于移动物体移动的道路在当前位置上的路宽的路宽信息;从摄像机取得风景图像的风景图像取得部;和摄像机参数校正部,其基于风景图像和路宽信息,对摄像机参数进行校正计算。
根据本发明的第二方式,一种摄像机参数运算方法,在为了将安装在移动物体上的摄像机所拍摄到的包含移动物体移动的道路的风景的风景图像变换成导航用,而运算表示摄像机的安装位置的高度和摄像机的朝向的摄像机参数的摄像机参数运算装置中,取得关于移动物体的当前位置的位置信息,基于位置信息取得与当前位置对应的道路数据,从道路数据取得关于移动物体移动的道路在当前位置上的路宽的路宽信息,从摄像机取得风景图像,基于风景图像和路宽信息,对摄像机参数进行校正计算。
发明的效果
通过本发明,能够提供一种保持原有的地图数据不变地进行用于将图像变换成导航用的摄像机参数的校正计算的摄像机参数运算装置和导航用摄像机参数运算方法。
附图说明
图1是表示导航系统的整体结构的图。
图2是表示中央装置执行的摄像机参数可否校正判断处理流程的图。
图3是表示中央装置所执行的摄像机参数校正时刻判定处理流程的图。
图4是用于说明摄像机参数校正时刻判定处理的补充说明图。
图5是表示中央装置执行的摄像机参数校正处理流程的图。
图6是用于说明图5的摄像机参数校正处理的步骤S508的补充说明图。
图7是用于说明图5的摄像机参数校正处理的步骤S502的补充说明图。
图8是用于说明图5的摄像机参数校正处理的步骤S502的补充说明图。
图9是用于说明图5的摄像机参数校正处理的步骤S502的补充说明图。
图10是表示导航系统执行的利用图像信息的到目的地的引导导航处理流程的图。
图11是表示导航系统单机执行的利用图像信息的到目的地的引导导航处理流程的图。
图12是说明通过包含于导航系统的中央装置中的路线引导部在步骤S1118中执行的引导导航中的一个例子的处理流程。
图13是表示输出到导航系统的导航装置中所含的显示部50的显示例的图。
图14是表示输出到导航系统的导航装置中所含的显示部50的显示例的图。
图15是表示输出到导航系统的导航装置中所含的显示部50的显示例的图。
图16是表示导航系统的整体结构的图。
具体实施方式
―――第一实施方式―――
以下参考附图针对本发明的第一实施方式详细地进行说明。
(整体结构)
图1是表示本发明的第一实施方式的导航系统的整体结构的图。以下设导航装置为本实施方式的导航系统的终端装置,针对本实施方式进行说明。
在图1中,本实施方式的中央装置1连接到通信网络2,经基站3利用移动电话等无线通信连接到安装在车辆4上的导航装置5。进一步地,导航装置5上连接了摄像机6。摄像机6是安装在车辆4上、用于拍摄车辆4当前位置周边的风景图像的摄像机。
中央装置1由包含中央CPU(Central Processing Unit,中央处理器)100和由半导体存储器、硬盘装置等构成的存储装置110等的计算机(信息处理装置)构成。如图1所示,该中央装置1在功能上包含通信接口部11、信息取得部12、摄像机(参数)可否校正判断部13、摄像机(参数)校正时刻检测部14、信息提供部15、图像处理部16、前方风景预测图像生成部17、摄像机参数校正部18、地图数据库20等功能模块而构成。
信息取得部12、摄像机可否校正判断部13、摄像机校正时刻检测部14、信息提供部15、图像处理部16、前方风景预测图像生成部17、摄像机参数校正部18,通过中央CPU 100执行保存在未图示的程序存储器中的规定程序而实现。地图数据库20包含在存储装置110中。
通信接口部11进行对应通信网络2的通信控制,并且通过通信网络2与导航装置5进行数据收发。
信息取得部12经通信接口部11取得从导航装置5发送来的处理请求、由摄像机6拍摄到的车辆4前方的风景图像的图像信息、车辆4的当前位置的位置信息(经度纬度等坐标、以及时刻)、包含车辆4的轨迹数据、移动方向及行驶速度等的各种行驶信息。
摄像机参数可否校正判断部13将信息取得部12取得到的车辆4的位置信息和移动方向等行驶信息与从地图数据库20读入的道路数据进行地图匹配。由此,摄像机参数可否校正判断部13取得道路信息,识别并取得包括车辆4行驶的道路的周边道路的道路信息中所含的对摄像机参数校正有效的信息,例如路宽、车道数、坡度、转弯等信息。此时,摄像机参数可否校正判断部13也可通过信息取得部12从外部信息中心取得车辆4行驶的道路附近的交通信息例如天气、气温、路面状况、堵车、道路施工等信息,进行施工中的道路不适宜摄像机校正等判断。外部信息中心具有发布关于天气、气温、路面状况、堵车、道路施工等的交通信息的发布服务器,连接到通信网络2。
摄像机参数校正时刻检测部14与风景预测图像生成部17和图像处理部16协同工作。风景预测图像生成部17基于由摄像机参数可否校正判断部13取得的道路数据和下述的摄像机参数校正部18计算出的摄像机参数,来生成车辆4前方的风景预测图像。如上所述,由摄像机参数可否校正判断部13取得的道路数据为基于由信息取得部12取得的车辆4的当前位置的位置信息及移动方向的道路数据。
摄像机参数校正时刻检测部14从风景预测图像生成部17取得车辆4前方的风景预测图像。摄像机参数校正时刻检测部14通过使图像处理部16基于信息取得部12取得的摄像机参数对信息取得部12取得的车辆4的当前位置周边的风景图像的图像信息进行变换,从而取得风景变换图像。摄像机参数校正时刻检测部14分别生成上述风景预测图像和上述风景变换图像的显示图像上的特征点或特征线,相互比较这些特征点或特征线的坐标,判断是否具有相似性。基于该相似性判断结果,摄像机参数校正时刻检测部14判断是否需要进行表示摄像机6的姿态(朝向)即安装在车辆4的摄像机6的安装位置的高度和摄像机6相对于车辆4的朝向的摄像机参数的校正,其中摄像机6与生成车辆4当前位置周边的风景图像的图像信息的导航装置5连接。
摄像机参数校正部18在摄像机参数校正时刻检测部14判断为需要摄像机参数校正时,利用信息取得部12取得的车辆4的当前位置周边的风景图像的图像信息和摄像机参数可否校正判断部13取得的关于车辆4行驶的道路在当前位置周边的路宽和车道数的路宽信息,来校正摄像机参数。如上所述,该路宽信息由摄像机参数可否校正判断部13从道路数据取得,该道路数据包含于由摄像机参数可否校正判断部13基于信息取得部12取得的车辆4的位置信息和移动方向而从地图数据库20读入的车辆4的当前位置周边的地图信息中。
信息提供部15在摄像机参数可否校正判断部13判断为摄像机参数不可校正时,将该判断结果经由通信接口部11发送到导航装置5。信息提供部15在摄像机参数校正时刻检测部14判断为不需摄像机参数校正时,将该判断结果经由通信接口部11发送到导航装置5。信息提供部15在摄像机参数校正时刻检测部14判断为需摄像机参数校正时,将摄像机参数校正部18计算出的摄像机参数经由通信接口部11发送到导航装置5。
安装在车辆4上的导航装置5包含显示部50、通信部51、主体部52、操作部53、GPS(Global Positioning System,全球定位系统)接收部54、摄像机连接部55、存储部56等而构成。
导航装置5为包含作为终端CPU的主体部52、存储部56等而构成的计算机。导航装置5也可为内置了未图示的DVD(Digital Versatile Disk,数字多功能光盘)等的驱动装置、闪存、USB(Universal Serial Bus,通用串行总线)存储器的读写装置等的计算机。在此,存储部56由半导体存储器或硬盘装置等构成,保存有地图数据库520。此外,操作部53包含各种开关、按钮、触摸屏、遥控装置、语音麦克风等输入装置,并且包含语音扬声器等输出装置。显示部50由LCD(Liquid Crystal Display,液晶显示器)等构成。通信部51经由基站3和通信网络2与中央装置1连接以能够进行基于无线通信的数据通信。GPS接收装置54接收来自未图示的GPS卫星的电波,检测出车辆4的当前位置。摄像机连接部55连接到摄像机6,读入由摄像机6拍摄的车辆前方的风景图像的图像信息。
主体部52包含通信控制部511、信息取得部512、摄像机参数更新部513、图像处理部514、位置信息取得部51、图像处理取得部516、路线探索部517、路线引导部518、输入输出接口部519、路线引导信息生成部522等功能模块而构成。主体部52的这些功能模块通过主体部52执行保存在未图示的程序存储器中的规定程序来实现。
通信控制部511进行对进行基于移动电话或无线LAN等的通信的通信部51的通信控制,并且经由基站3或通信网络2与中央装置1之间进行数据收发。输入输出接口部519将来自操作部53的开关、按钮、语音或触摸屏等的输入信息转换成对目的地或中央装置1的请求信息等各种信息,输入到主体部52,并且向显示部50和/或操作部53的语音生成装置输出地图信息和由路线引导部518生成的引导信息等显示信息或语音信息。
位置信息取得部515取得GPS接收部54检测出的经度纬度、高度及时刻信息等GPS信息和来自安装在车辆4上的未图示的姿态(朝向)传感器的车辆4的前进方向等姿态(朝向)信息,保存在存储部56中。此时,也可通过位置信息取得部515和上述的位置信息一起取得经由未图示的车内网络例如CAN(Controller Area Network,控制器局域网)取得车辆4的刹车信息、闪光灯、停车、方向盘操作信息等行驶信息,并作为行驶轨迹信息保存到存储部56中。
信息提供部521在导航装置5的电源开启时(开始驾驶时)、由输入输出接口部519请求路线时、根据从位置信息取得部515获得的数据检测出车辆4的移动时、或者在指定的时间,将从位置信息取得部515获得的车辆4的当前位置的位置信息或从图像信息取得部516取得的车辆4前方的风景图像的图像信息等发送到中央装置1,请求摄像机参数的更新。
信息取得部512经由通信部51和通信控制部511取得从中央装置1发送来的包含摄像机参数的各种信息。信息取得部512将取得的摄像机参数保存在摄像机参数存储部513中。
图像信息取得部516取得摄像机6拍摄的车辆4前方的风景图像的图像信息。图像信息取得部516取得的图像信息经由信息提供部512、通信控制部511由通信部51发送到中央装置1。此外,图像信息取得部516取得的风景图像的图像信息被发送给图像处理部514,该风景图像被基于摄像机参数进行坐标变换,用于车辆4周边的地物检测。
图像处理部514从图像信息取得部516取得摄像机6拍摄的车辆4前方的风景图像的图像信息,利用摄像机参数存储部513保存的摄像机参数对该风景图像进行坐标变换。图像处理部514通过该坐标变换获得与车辆4的乘员从车辆4的当前位置眺望时的风景相当的风景变换图像,基于该风景变换图像识别道路、标志、建筑物、人物或前方车辆等周边地物,将该结果提供给路线引导部518。
路线探索部517根据经由输入输出接口部519输入的路线请求从地图数据库520读取道路网信息,计算从出发地即车辆4的当前位置到目的地的推荐路线。路线探索部517例如利用迪杰斯特拉(Dijkstra)法等数学方法探索基于单位路链的行程时间、速度或距离等的最低成本路线作为推荐路线。路线探索部517向路线引导部518提供关于推荐路线的路线信息。
路线引导信息生成部522基于图像处理部514提供的周边地物信息、路径探索部517提供的路线信息,生成到目的地的引导信息。路线引导部518基于路线引导信息生成部522生成的引导信息经由输入输出接口部519和操作部53将车辆4按照推荐路线引导到目的地。
此外,图1所示的例子中,中央装置1在图像处理部16中根据从导航装置5发送来的图像信息计算道路或建筑物等特征点(或特征线),但也可在导航装置5的图像处理部514中计算这些特征点(或特征线)并发送到中央装置1。这种情况下,不需要从导航装置5向中央装置1发送图像信息,减少了通信量。
此外,在图1所示的例子中,导航装置5在图像处理部514中识别周边地物,利用识别的结果进行引导导航,但也可如图16所示的导航系统,在中央装置1的图像处理部16中进行周边地物的识别。这种情况下,从中央装置1向导航装置5发送周边地物的位置和距离信息。通过这样,可以不需要导航装置5的图像处理部514,减小导航装置5的处理负担,即使导航装置5的主体部52的CPU处理能力不高也能够进行利用图像处理的到目的地的引导导航。此外,为了正确地识别周边地物,期望在地图数据库520中保存道路的形状、路宽、车道信息、建筑物的形状和高度等周边地物的详细的且新的信息。在图16所示的导航系统中,为了进行使中央装置1的图像处理部16正确地识别周边地物的图像处理,中央装置1的地图数据库20保存周边地物的详细的且新的信息即可。因此,终端装置5即使不具有大容量的地图数据库520也能够进行利用图像处理的到目的地的引导导航。
(摄像机参数可否校正判断部13的处理流程)
图2是表示本实施方式的中央装置1中包含在中央装置1的中央CPU100中的摄像机参数可否校正判断部13的处理流程的例子。摄像机可否校正判断部13判断是否能够进行基于摄像机参数校正部18的摄像机6的摄像机参数校正。中央CPU 100收到由通信接口部11接收的来自导航装置5的请求信息,开始摄像机参数可否校正判断处理,执行下述各步骤的处理。开始本处理后,信息取得部12取得由通信接口部11接收的来自导航装置5的请求信息。摄像机可否校正判断部13取得由信息取得部12取得的请求信息中所含的由车辆4的经度和纬度表示的位置信息和移动方向等信息(步骤S20)。摄像机可否校正判断部13根据车辆4的位置信息和移动方向,从地图数据库20取得位于当前位置的包括车辆4前方的车辆周边的地图数据(步骤S21)。摄像机可否校正判断部13通过地图匹配处理确定车辆4行驶的道路(步骤S22)。摄像机可否校正判断部13基于包含车辆4行驶的道路信息和/或车辆4的周边道路的信息的道路信息,在以下的步骤S23、S24和S25中判断车辆4行驶的道路是否满足当前位置周边的规定道路条件。
摄像机可否校正判断部13确认车辆4行驶的道路或周边道路是否为居民区道路(步骤S23)。在道路数据中未包含详细的道路信息或正确的道路信息时,或者在道路数据中包含与具有规定道路属性的道路对应的道路数据时,将对应该道路数据的道路判断为居民区道路。规定的道路属性例如为比规定宽度小的道路宽度、比规定数目小的车道数、窄道路等道路种类或者除了双向车道分离的主线路链之外的路链种类。摄像机可否校正判断部13在车辆4行驶的道路或周边道路判断为居民区道路的情况下(步骤S23为“是”),判断为车辆4行驶的当前位置被包含在无法进行摄像机参数校正的区域中,并输出判断结果(步骤S27),结束本处理。
在步骤S23中,与车辆4行驶的道路或周边道路对应的道路数据中包含详细的道路信息或正确的道路信息的情况下(步骤S23为“否”),确认车辆4行驶的道路或周边道路是否存在起伏(步骤S24)。在车辆4行驶的道路或周边道路为存在坡道或上下方向的起伏变化的道路的情况下(步骤S24为“是”),摄像机可否校正判断部13判断为车辆4行驶的当前位置被包含在无法进行摄像机参数校正的区域中,并输出判断结果(步骤S27),结束本处理。例如基于路链数据中所含的坡度信息或高度信息,在道路坡度比规定坡度值大的情况下,判断为存在道路的起伏变化。如果车辆4行驶的道路或周边道路中不存在起伏变化(步骤S24为“否”),摄像机可否校正判断部13确认车辆4在当前位置周边预定行驶的道路区间(或者行驶的可能性高的道路区间)的直线性(步骤S25)。在道路区间短并且存在较多左右弯曲等方向转换的地方或者道路区间中包含曲线区间等的情况下,判断为该道路区间不具有直线性。例如在基于路链数据中所含的曲率信息,道路曲率比规定的曲率值大的情况下,判断为道路不具有直线性。例如,车辆4在当前位置周边预定行驶的道路区间中相互连接的两条道路区间形成了比规定角度小的连接角度的情况下,判断为道路不具有直线性。
车辆4的当前位置周边的道路区间不具有直线性的情况下(步骤S25为“否”),摄像机可否校正判断部13判断为车辆4的当前位置被包含在无法进行摄像机参数校正的区域中,并输出判断结果(步骤S27),结束本处理。车辆4的当前位置周边的道路区间具有直线性的情况下(步骤S25为“是”),摄像机可否校正判断部13判断为车辆4行驶的道路在当前位置周边满足规定道路条件。这种情况下,摄像机可否校正判断部13判断为在车辆4的当前位置能够进行摄像机参数校正,并输出该判断结果(步骤S26),结束本处理。
(摄像机参数校正时刻检测部14的处理流程)
图3是表示本实施方式的中央装置1中包含在中央装置1的中央CPU100中的摄像机参数校正时刻检测部14的处理流程的例子。摄像机参数校正时刻检测部14判断是否需要摄像机参数校正。
通过包含在中央装置1的中央CPU 100中的摄像机参数可否校正判断部13判断为能够进行摄像机参数校正后,摄像机参数校正时刻检测部14使风景预测图像生成部17生成车辆4的当前位置上车辆4的前方(前进方向)的风景预测图像,并取得所生成的风景预测图像(步骤S30)。风景预测图像以摄像机的高度为视点来生成。显示例300表示所生成的风景预测图像的一个例子。作为此时使用的摄像机的高度,可预先设定车高,也可在摄像机6内置GPS功能的情况下设定从GPS获得的摄像机6的高度信息。接着,摄像机参数校正时刻检测部14通过基于道路数据的计算,使图像处理部16从预测风景提取道路或建筑物等周围地物在显示画面坐标上的特征点(特征线)(步骤S31)。在本实施方式中,使用道路边缘作为周围地物的特征点(特征线)进行说明。显示例301中表示道路边缘的一个例子。线段A1和A2为预测风景中前方道路两侧的边缘线。
接着,摄像机参数校正时刻检测部14取得由信息取得部12取得的摄像机6拍摄的包含车辆4的前方道路的风景图像的图像信息(表示在显示例304中)和当前的摄像机参数,发送给图像处理部16(步骤S32)。摄像机参数校正时刻检测部14使图像处理部16利用当前的摄像机参数对风景图像的图像信息进行坐标变换,生成相当于从车辆4的当前位置眺望的实际风景的变换图像(步骤S33)。显示例302中表示了生成的实际风景的一个例子。摄像机参数校正时刻检测部14使图像处理部16通过图像处理计算从实际风景提取周围地物在显示画面坐标上的特征点(特征线)(步骤S34)。显示例303中表示实际风景的道路边缘的一个例子。线段B1和B2为前方道路的两端的边缘线。
道路边缘A1和A2与道路边缘B1和B2对应相同的道路,从同一视点看到的风景应该相同,因此道路边缘A1和A2应该分别与道路边缘B1和B2一致。摄像机参数校正时刻检测部14比较双方的道路边缘在画面上的坐标值来判断道路边缘A1和A2与道路边缘B1和B2的相似性(步骤S35)。在不认为有相似性的情况下(步骤S35为“否”),摄像机参数校正时刻检测部14判断为需要摄像机参数校正,并输出该判断结果(步骤S36),结束本处理。在认为有相似性的情况下(步骤S35为“是”),摄像机参数校正时刻检测部14判断为不需摄像机参数校正,并输出该判断结果(步骤S36),结束本处理。
图4是用于对图3的步骤S35中的道路边缘相似性判定处理进行补充说明的补充图。图中的道路边缘A1、A2为从预测风景提取出的道路边缘,道路边缘B1、B2为从实际风景提取出的道路边缘。点40和41为从各道路边缘获得的消失点。摄像机参数校正时刻检测部14根据作为各消失点在画面的水平方向(X方向)和垂直方向(Y方向)上的X分量和Y分量的X40、Y40、X41、Y41,计算消失点在显示坐标上的差,在该差超过规定范围的情况下判断为没有相似性。作为坐标差的替代,也可使用图中各边缘线的角度差θ1(道路边缘A1与B1相互所成的角度)和角度差θ2(道路边缘A2与B2相互所成的角度),在其分别为规定角度以上的角度差的情况下,判断为没有相似性。在道路边缘A1和B1与道路边缘A2和B2相互平行的情况下或者在有效的显示坐标的范围内无法获得角度差的情况下,也同样地判断为没有相似性。
(摄像机参数校正部18的处理流程)
图5是表示本实施方式的中央装置1中包含在中央装置1的中央CPU100中的摄像机参数校正部18的摄像机参数校正计算处理流程的例子。摄像机参数校正部18对摄像机参数进行校正计算。图6是用于说明图5的处理流程的步骤S508的补充图,图7~9是用于说明步骤S502的补充图。
在摄像机参数校正时刻检测部14判断为需要摄像机参数校正后,摄像机参数校正部18确认车辆4上安装的摄像机6是否具有陀螺传感器等姿态传感器并且该姿态传感器获得的数据是否已经被信息取得部12经由通信接口部11获得(步骤S500)。在此,摄像机的姿态由作为三轴的旋转角的俯仰角θc、侧倾角φc、偏航角ψc表示。在已获得摄像机6的姿态信息的情况下(步骤S500为“是”),摄像机参数校正部18取得摄像机的姿态信息(θc、φc、ψc)(步骤S510)。接着,摄像机参数校正部18取得车辆4的姿态信息(θv、φv、ψv)(步骤S511)。在此,如果车辆4具有陀螺仪等姿态传感器并且该姿态传感器获得的车辆4的姿态信息被导航装置5取得,则信息取得部12可经由通信接口部11取得车辆4的姿态信息(θv、φv、ψv)。摄像机参数校正部18取得该车辆4的姿态信息(θv、φv、ψv)。如果没有获得车辆4的姿态信息,摄像机参数校正部18根据包含车辆4过去的行驶轨迹的位置信息计算车辆4的朝向来设定车辆4的姿态(θv、φv、ψv)。
接着,摄像机参数校正部18根据上述摄像机6的姿态信息和车辆4的姿态信息,计算用于对与摄像机6的朝向相应地在摄像机6的拍摄图像中产生的失真(歪斜)进行修正的修正参数(步骤S512)。此时的处理利用图6进行补充说明。图6举以垂直于纸面的z轴为中心的旋转角即偏航角为例子来表示摄像机姿态与车辆姿态的差异。摄像机6设置在车辆4的车内,摄像机6的朝向不一定与车辆4的前进方向(前方)一致。因此,需要利用从上述各姿态传感器获得角度信息,将摄像机6得到的拍摄图像变换成从车辆4眺望的风景。在各姿态传感器输出以正北为基准的角度信息ψc、ψv的情况下,将摄像机6得到的拍摄图像的拍摄角度中的偏航角旋转移动δψ=ψc+ψv,则与车辆姿态的偏航角一致。该旋转移动量δψ设为偏航角的校正参数。对于与其它两轴对应的俯仰角、侧倾角也同样地计算与拍摄角度通过旋转移动而与车辆姿态一致时的旋转角度对应的修正参数δθ、δφ。
接着,摄像机参数校正部18取得摄像机6拍摄的风景图像的图像信息(步骤S503)。图像520表示此时的风景图像的一个例子。摄像机参数校正部18利用步骤S512中计算的修正参数,对图像520进行坐标变换,生成从车辆4眺望的图像521(步骤S504)。摄像机参数校正部18检测图像521的特征点(特征线)。在本实施方式中,摄像机参数校正部18检测道路边缘523和524作为图像521的特征点(特征线)(步骤S505)。如图像525所示,摄像机参数校正部18根据经过画面中心点P的中心线和步骤S505中检测出的道路边缘,计算画面上的道路宽度(路宽)w。摄像机参数校正部18从地图数据库20中所含的与当前位置相应地取得的道路数据中,取得与画面上的道路对应的实际道路的道路宽度(路宽)W(步骤S506)。摄像机参数校正部18基于画面上的道路宽度w与实际的道路宽度W之比,计算摄像机的安装位置的高度h(步骤S507)。将步骤S512中计算出的表示摄像机朝向的修正参数(δθ,δφ,δψ)和步骤S507中计算出的摄像机的安装位置的高度h作为用于将摄像机6拍摄的风景图像的图像信息变换成导航用的新摄像机参数,校正摄像机参数(步骤S508),并结束本处理。
在未获得摄像机姿态信息的情况下(步骤S500为“否”),摄像机参数校正部18利用步骤S30中生成的车辆前方的风景预测图像来计算摄像机6的修正参数(δθ,δφ,δψ)。首先,取得从表示预测风景的风景预测图像和表示实际风景的风景变换图像得到的道路边缘的消失点40、41(步骤S501)。根据经过图4所示的消失点40、41的直线70,计算修正参数(δθ,δφ,δψ)(步骤S502)。在此,利用多个消失点计算摄像机参数的方法在日本特开2008-11174号公报中也有公开。在本实施方式中,通过从对应预测风景的风景预测图像取得消失点的其中之一,即使在对应实际风景的风景变换图像只能得到一个消失点时,也可获得修正参数。
针对步骤S502的处理利用图7~9进行补充说明。首先,利用图7说明计算侧倾角的修正参数δφ的方法。作经过消失点40、41的直线70和与画面700的横轴方向(x轴方向)平行的直线71。计算两直线所成的角度α,并将该角度α作为侧倾角的修正参数δφ。
图8是用于计算俯仰角的修正参数δθ的补充说明图。点Q为从画面中心点P向直线70所引的垂线的交点。如果摄像机6的焦距f为已知的值,则俯仰角的修正参数δθ可由式(1)求出。
【式1】
δθ=tan-1{线段PQ/f}
进一步地,图9是用于设定偏航角的修正参数δψ的补充说明图。以消失点41为点U,求出线段QU在x轴方向的分量,通过式(2)计算偏航角的修正参数δψ。
【式2】
δψ=tan-1{线段QU·cosδθ/f}
接着,摄像机参数校正部18取得摄像机6拍摄的风景图像的图像信息(步骤S503)。摄像机参数校正部18利用步骤S502中得到的修正参数(δθ,δφ,δψ),对步骤S503中取得的风景图像进行坐标变换(S504),并检测变换后的画面上的道路边缘(步骤S505)。摄像机参数校正部18计算画面上的道路宽度(路宽)w。摄像机参数校正部18从地图数据库20中所含的与当前位置相应地取得的道路数据中,取得与画面上的道路对应的实际道路的道路宽度(路宽)W(步骤S506)。摄像机参数校正部18基于画面上的道路宽度w与实际的道路宽度W之比,计算摄像机的安装位置的高度(步骤S507)。摄像机参数校正部18将步骤S502和S507中计算出的摄像机参数作为新摄像机参数,校正摄像机参数(步骤S508),并结束本处理。
(导航系统的整体处理流程)
图10表示由本实施方式的中央装置1和导航装置5构成的导航系统的整体处理流程。在该导航系统中,进行摄像机6的摄像机参数校正,进行利用摄像机6拍摄的风景图像的图像信息的到目的地的引导导航。图14、图15是表示导航装置5的画面显示例1400和1500的图,为本处理流程的补充说明图。
在导航装置5中,在通过将摄像机6安装到摄像机连接部55来将摄像机6连接到导航装置5后,开始导航处理。位置信息取得部515取得由GPS接收部接收到的GPS信号,更新与车辆4的当前位置和前进方向相关的位置信息(步骤S1110)。图像信息取得部516经由摄像机连接部55取得摄像机6拍摄的风景图像的图像信息。信息提供部521将更新后的位置信息和摄像机6拍摄的风景图像的图像信息经由通信控制部511和通信部51发送到中央装置1,请求摄像机参数(步骤S1111)。
包含在中央装置1的CPU 100中的信息取得部12经由通信接口部11接收来自导航装置5的摄像机参数请求(步骤S1101)。在信息取得部12接收到摄像机参数请求后,摄像机可否校正判断部13基于摄像机参数请求中所含的位置信息,从地图数据库20读取地图信息,通过地图匹配确定对应车辆4当前位置的地图上的位置(步骤S1102)。如果步骤S1102中确定地图上的位置例如为道路上的位置,摄像机可否校正判断部13按照图2的摄像机参数可否校正判断处理来判断是否能够进行摄像机参数的校正(步骤S1103)。如果不能进行摄像机参数校正(步骤S1103为“否”),摄像机可否校正判断部13判断为不能进行摄像机参数校正,信息提供部15经由通信接口部11将不能进行摄像机参数校正的通知发送给导航装置5(步骤S1107),中央装置1侧的处理结束。
在能够进行摄像机参数校正的情况下(步骤S1103为“是”),摄像机参数校正时刻检测部14按照图3的摄像机参数校正时刻检测处理流程检测是否需要摄像机参数校正(步骤S1104)。如果不需要摄像机参数校正(步骤S1104为“否”),摄像机参数校正时刻检测部14判断为不需要摄像机参数校正,信息提供部15经由通信接口部11将不需摄像机参数校正的通知发送到导航装置5(步骤S1108),中央装置1侧的处理结束。在需要摄像机参数校正的情况下(步骤S1104为“是”),摄像机参数校正部18按照图5的摄像机参数校正计算处理流程执行摄像机参数的校正计算处理(步骤S1105)。信息提供部15将步骤S1105中摄像机参数校正部18获得的摄像机参数经由通信接口部11发送到导航装置5(步骤S1106),中央装置1侧的处理结束。
导航装置5的信息取得部512经由通信部51和通信控制部511接收来自中央装置1的信息(步骤S1112),在信息取得部512在步骤S1112的接收信息包含不能进行摄像机校正的通知的情况下(步骤S1113为“是”),信息取得部512经由输入输出接口部519在显示部50等输出车辆4的当前位置的行驶环境中无法进行摄像机参数校正的消息(步骤S1120)。路线探索部517探索从车辆4的当前位置到目的地的推荐路线。路线引导信息生成部522基于路线探索部517获得的路线信息,生成用于按照路线探索部517探索得到的推荐路线将车辆4引导到目的地的路线引导信息。路线引导部518利用路线引导信息生成部522生成的引导信息,进行不与摄像机6协同的引导(步骤S1121),同时在该引导中信息提供部521经由通信控制部511和通信部51向中央装置1请求摄像机参数,直到能够进行摄像机参数校正为止。
图14表示步骤S1120中的显示部50的显示例1400。图标141表示与摄像机的协同工作状态。显示消息140显示校正中的通知直到获得步骤S1114中的判定结果为止,即直到实施摄像机参数校正为止。信息取得部512在步骤S1112中接收到不需要摄像机参数校正的通知的信息的情况下(步骤S1114为“是”),经由输入输出接口部519向显示部50等输出无需摄像机参数更新的消息(步骤S1121),利用摄像机参数存储部513中保存的摄像机参数来执行步骤S1116以后的处理。
图15表示步骤S1121中的显示部50的显示输出例1500。摄像机校正结束后,图标141变成图标151,显示消息140也切换成显示消息150。信息取得部512在步骤S1112接收到包含摄像机参数的信息的情况下(步骤S1114为“否”),将摄像机参数存储部513中保存的摄像机参数更新为步骤S1112中接收到的摄像机参数(步骤S1115)。图像信息取得部516从摄像机连接部55取得摄像机6拍摄的风景图像的图像信息(步骤S1116)。图像处理部514从摄像机参数存储部513读取更新后的摄像机参数,通过利用该更新后的摄像机参数对图像信息进行坐标变换来生成风景变换图像(步骤S1117)。
图像处理部514基于步骤S1117中生成的风景变换图像和摄像机6的焦距,识别和计算车辆4到当前位置周边的地物例如车辆4前方交叉路口及在该交叉路口正在等待绿灯的前方车辆为止的推算距离,并且识别车辆4行驶中的行驶车道等(步骤S1118)。利用图像处理来识别在车道端部所画的线的种类,例如实线、虚线、双线等种类,由此识别车辆4行驶中的行驶车道。路线探索部517探索从车辆4的当前位置到目的地的推荐路线。路线引导信息生成部522利用步骤S1117中图像处理部514得到的从车辆4的当前位置到前方交叉路口或前方车辆的推算距离及行驶车道相关的行驶状况的识别结果、路线探索部517探索得到的推荐路线的信息、和步骤S1117中生成的风景变换图像,生成路线引导信息(步骤S1119)。该路线引导信息中包含了如下的用于进行引导导航的信息,例如在路线引导部518在判断为未在车辆4应在的行驶车道上移动时引导车辆4的乘员进行车道移动,或者警告向前方车辆等前方检测物接近的危险等。
路线引导部518基于步骤S1119中生成的路线引导信息,经由输入输出接口部519向显示部50等输出上述车道移动的引导或上述危险的警告,同时将车辆4按照推荐路线引导到目的地(步骤S1120)。本处理返回步骤S1116(步骤S1121),使得在车辆4按照推荐路线到达目的地之前或者输入导航处理结束的通知之前重复步骤S1116~S1121的处理。如果在引导中摄像机6从摄像机连接部55取下后又再次装上,则执行从步骤S1110开始的本处理,基于安装状态的摄像机6的姿态信息和车辆4的姿态信息来校正摄像机参数。
中央装置1的中央CPU 100计算表示摄像机6的安装位置的高度h和摄像机6的朝向(δθ,δφ,δψ)的摄像机参数。为了将安装在车辆4上的摄像机6所拍摄的、包含车辆4行驶的道路的风景的风景图像变换成导航用而计算该摄像机参数。中央CPU 100包括信息取得部12、摄像机可否校正判断部13、摄像机参数校正时刻检测部14、摄像机参数校正部18。信息取得部12取得关于车辆4当前位置的位置信息,并且经由与终端装置5的通信从摄像机6取得风景图像。摄像机参数校正部18基于位置信息取得与当前位置相应的道路数据,从道路数据中取得车辆4行驶的道路在当前位置的路宽。摄像机参数校正部18基于风景图像和路宽信息对摄像机参数进行校正计算。由此,能够利用现有的地图数据中所含的现有的道路数据进行摄像机参数的校正。
在利用由可拆卸的摄像机6拍摄的风景图像的图像信息将车辆4引导到目的地的导航系统中,由于摄像机6的重新安装、引导中的操作或振动导致摄像机6的姿态产生偏移,存在需要频繁进行摄像机参数校正的情况。中央装置1的中央CPU 100基于车辆4的周围环境来判断能否进行摄像机参数校正,在检测到摄像机6的状态发生偏移时对摄像机参数进行校正计算。因此,即使终端装置5的主体部52的CPU处理能力不太高,主体部52也能够一边识别车辆4行驶中的周围环境一边将车辆4引导导航到目的地。
经由通信从终端装置5向中央装置1发送摄像机参数校正所需的位置信息和图像信息,在中央装置1进行摄像机参数校正计算,并将中央装置1计算所得的摄像机参数发送到终端装置5。因此,即使终端装置5不具备摄像机参数校正计算所需的功能,也能够一边修正摄像机6的姿态偏移带来的影响,一边利用由摄像机6拍摄到的风景图像的图像信息进行车辆4的引导导航。即,由于在中央装置1中进行摄像机参数校正计算,因此即使终端装置5不具有摄像机参数校正计算所需的详细且最新的地图,也能够利用由摄像机6拍摄到的风景图像的图像信息进行车辆4的引导导航。具体而言,即使使用类似智能手机那样的不具有地图的终端装置作为终端装置5,也能够利用由智能手机所具备的摄像头拍摄到的风景图像的图像信息进行车辆4的引导导航。
―――变形例―――
(1)图10的处理流程对应于在中央装置1侧进行关于摄像机参数校正的处理的方式,但为了使得步骤S1116~S1119的处理可在中央装置1侧执行,可通过信息提供部521经由通信控制部511和通信部51将步骤S1116取得的风景图像的图像信息发送到中央装置1。这种情况下,信息取得部512经由通信部51和通信接口部511取得在中央装置1侧得到的车辆4的行驶状况的识别结果(车辆4的与周边地物的距离、行驶车道等)以及到目的地的路线引导信息。通过这样,终端装置5的结构变得更简单,不对终端装置5的主体部52产生摄像机参数校正和图像处理相关的处理负担,因此车辆4到目的地的路线计算、引导导航以及其它的处理能够无延迟地在合适的时刻执行。此外,不需在地图数据库520中保存车辆4的周边地物的识别所需的包括道路宽度的地物形状等的详细的地图信息,能够减小地图数据库520的大小。此外,如果利用GPS接收部54取得的位置信息、时刻和行驶速度,在车辆4到达引导点前等规定位置时、根据到达规定位置的预测时间等更新预先设定的时间或交通信息时、或者在车辆4在规定速度以上行驶时等,控制从终端装置5向中央装置1的图像信息的发送时刻,则能够抑制终端装置5的主体部52的通信负担。
(2)图11表示导航装置5不与中央装置1协同下单独地执行图10的处理时的处理流程。与中央装置1的步骤S1102、S1103、S1104、S1105中进行的摄像机参数校正计算相关的处理相当的处理由导航装置5进行。位置信息取得部515更新位置信息(步骤S1110),执行与步骤S1102相同的地图匹配(步骤S101),路线探索部517与步骤S1103同样地判断能否进行摄像机参数校正(步骤S102)。如果摄像机参数可校正,则路线探索部517与步骤S1104同样地判断是否需要摄像机参数校正(步骤S103),在需要摄像机校正的情况下,路线探索部517进行与步骤S1105同样的摄像机参数校正计算(步骤S104)。之后,利用校正后的摄像机参数识别周边的行驶环境、执行到目的地的引导导航的步骤S1116~1121的处理与上述相同。
(3)图12是说明路线引导部518在步骤S1120执行的利用图像信息的引导导航的一个例子的处理流程。图13是用于说明图12的处理流程的补充图。在步骤S1120中,基于左右转弯地点通知等路线引导信息将车辆4引导到目的地,其中路线引导信息由路线引导信息生成部522基于路线探索部517计算的路线信息而生成。路线引导部518通过位置信息取得部515取得GPS接收部54得到的位置信息,确认车辆4的当前位置是否在引导点(步骤S120)。在车辆4的当前位置不在引导点的情况下(步骤S120为“否”),如果路线引导信息生成部522生成的路线引导信息中存在导航信息,路线引导部518取得该导航信息(步骤S125),并经由输入输出接口部519分别在操作部53和/或显示部50以语音和/或画面显示进行输出(步骤S124)。
在车辆4的当前位置为引导点的情况下(步骤S120为“是”),路线引导部518取得步骤S1118中计算得到的从车辆4到周边地物的推算距离信息、例如从车辆4到引导点的推算距离(步骤S121)。在引导点为左右转弯交叉路口的情况下,路线引导部518例如取得到图13的人行横道126的推算距离。进一步地,根据在步骤S1118中识别的在车道端部所画的线127的模式种类(直线)和线128的模式种类(虚线),通过图像处理识别车辆4行驶中的车道(步骤S122)。路线引导部518从地图数据库520取得车辆4行驶的车道相关的信息,根据引导点的左右转弯方向、车辆4到引导点的推算距离和行驶车道,使路线引导导航信息生成部522生成该引导点的导航信息,并取得该导航信息(步骤S123)。路线引导部518经由输入输出接口部519分别在操作部53和显示部50将该导航信息以语音和/或画面显示进行输出(步骤S124)。
例如,在车辆准备在前方的引导点右转并且车辆4当前行驶的车道不是右转车道而是直行车道的情况下,路线引导部518使路线引导导航信息生成部522生成提醒向右转车道移动的箭头129和导航文字130,在显示部50进行画面显示。在此,关于构成导航信息的箭头129和导航文字130,在考虑安全和交通状况(行驶速度)的合适时刻通知车辆4到引导点126的预测到达时间或推算距离。
(4)在即使图3的步骤S35中为否定判定但车辆4的当前位置位于引导点附近时,也将处理推进到S37而不进行摄像机参数校正计算处理和摄像机参数发送。由此能够减小终端装置5在引导导航时对主体部52的CPU处理能力的影响。
上述各实施方式和变形例可分别进行组合。此外,只要不破坏本发明的特征性的功能,本发明对上述实施方式中的机器结构并不加以限定。对于可认为在本发明的技术思想范围内的其它实施方式,也被包含在本发明的范围内。
下一优先权基础申请的公开内容作为引文包含于此。
日本专利申请2012年第172930号(2012年8月3日申请)
附图标记的说明
1……中央装置
2……通信网络
3……基站
4……车辆
5……终端装置(导航装置)
6……摄像机
11……通信接口部
12……信息取得部
13……摄像机参数可否校正判断部
14……摄像机参数校正时刻检测部
15……信息提供部
16……图像处理部
17……风景预测图像生成部
18……摄像机参数校正部
20……地图数据库
50……显示部
51……通信部
52……主体部
53……操作部
54……GPS接收部
55……摄像机连接部
56……存储部
100……中央CPU
110……存储装置
511……通信控制部
512……信息取得部
513……摄像机参数存储部
514……图像处理部
515……位置信息取得部
516……图像信息取得部
517……路线探索部
518……路线引导部
519……输入输出接口部
520……地图数据库
521……信息提供部
522……路线引导信息生成部

Claims (10)

1.一种摄像机参数运算装置,其运算摄像机参数,所述摄像机参数表示安装在车辆上的摄像机的安装位置的高度和所述摄像机的朝向,该摄像机参数用于将由所述摄像机拍摄到的包含所述车辆移动的道路的风景的风景图像变换成导航用,该摄像机参数运算装置的特征在于,包括:
位置信息取得部,其取得关于所述车辆的当前位置的位置信息;
路宽信息取得部,其基于所述位置信息取得与所述当前位置对应的道路数据,从所述道路数据取得关于所述车辆移动的道路在所述当前位置上的实际路宽的路宽信息;
从所述摄像机取得所述风景图像的风景图像取得部;和
摄像机参数校正部,其基于所述风景图像和所述路宽信息,对所述摄像机参数进行校正计算,
所述摄像机参数校正部基于所述风景图像来计算所述风景图像的画面上的所述车辆移动的道路在所述当前位置上的路宽,并基于计算得到的所述画面上的路宽与所述实际路宽之比来计算所述摄像机的安装位置的高度。
2.如权利要求1所述的摄像机参数运算装置,其特征在于,还包括:
预测图像生成部,其基于所述位置信息和由所述路宽信息取得部取得的所述道路数据,生成所述风景的预测图像,并且提取所述预测图像中所含的第一特征部分;
风景图像取得部,其取得由所述摄像机拍摄到的所述风景图像;
第一变换部,其基于所述摄像机参数对所述风景图像进行坐标变换,由此生成第一风景变换图像;
特征提取部,其利用图像处理运算从所述第一风景变换图像提取第二特征部分;和
相似性判断部,其判断所述预测图像生成部取得的所述第一特征部分与所述特征提取部取得的所述第二特征部分是否相似,
在由所述相似性判断部判断出所述第一特征部分与所述第二特征部分不相似时,由所述摄像机参数校正部对所述摄像机参数进行校正计算。
3.如权利要求2所述的摄像机参数运算装置,其特征在于,还包括:
道路数据取得部,其基于所述位置信息取得与所述当前位置对应的所述道路数据;和
道路条件判断部,其基于所述道路数据判断在所述当前位置周边所述道路是否满足规定的道路条件,
在由所述道路条件判断部判断出所述道路满足所述道路条件时,由所述摄像机参数校正部对所述摄像机参数进行校正计算。
4.如权利要求3所述的摄像机参数运算装置,其特征在于:
所述道路条件判断部在以下任一情况下判断所述道路满足所述规定的道路条件:在当前位置周边的所述道路的路宽小于规定宽度的情况;在当前位置周边的所述道路的车道数小于规定数目的情况;在当前位置周边的所述道路的道路种类被划分为小道路的情况;与在当前位置周边的所述道路对应的路链的路链种类不为主线路链的情况;在当前位置周边的所述道路的坡度大于规定的坡度值的情况;在当前位置周边的所述道路的曲率大于规定的曲率值的情况;和与在当前位置周边的所述道路对应的路链与其它路链的连接角度小于规定角度的情况。
5.一种导航系统,其特征在于,包括:
权利要求1~4中任一项所述的摄像机参数运算装置;
摄像机连接部,其用于安装并连接所述摄像机,使所述风景图像取得部能够取得由所述摄像机拍摄到的所述风景图像;和
第二变换部,其基于由所述摄像机参数校正部校正计算后的所述摄像机参数,对所述风景图像进行坐标变换,由此生成第二风景变换图像。
6.如权利要求5所述的导航系统,其特征在于,还包括:
路线探索部,其探索从所述当前位置到目的地的推荐路线;
路线引导信息生成部,其基于所述推荐路线和所述第二风景变换图像,生成用于使用所述第二风景变换图像将所述车辆按照所述推荐路线引导到所述目的地的路线引导信息;和
路线引导部,其基于所述路线引导信息生成部生成的所述路线引导信息,将所述车辆按照所述推荐路线引导到所述目的地。
7.如权利要求6所述的导航系统,其特征在于:
所述导航系统还包括移动状况识别部,所述移动状况识别部基于所述第二风景变换图像、所述摄像机的焦距、由所述摄像机参数校正部校正计算后的所述摄像机参数,计算从所述当前位置到所述当前位置周边的所述道路上的交叉路口或所述车辆前方的其它车辆的推算距离,并且基于在所述风景图像包含的所述车辆移动的车道的端部所画的线的种类,利用图像处理来识别所述车道,由此识别所述车辆的移动状况,
所述路线引导信息生成部基于由所述移动状况识别部识别出的所述推算距离和所述车道、以及所述第二风景变换图像,生成所述路线引导信息。
8.如权利要求6所述的导航系统,其特征在于:
所述位置信息取得部、所述路宽信息取得部、所述风景图像取得部、所述摄像机参数校正部、所述第二变换部、所述路线探索部和所述路线引导信息生成部包含于服务器装置中,
所述摄像机连接部和所述路线引导部包含于终端装置中,
所述服务器装置还包含第一通信处理部,所述第一通信处理部从所述终端装置接收所述风景图像取得部所要取得的所述风景图像,并且向所述终端装置发送由所述路线引导信息生成部生成的所述路线引导信息,
所述终端装置还包含第二通信处理部,所述第二通信处理部向所述服务器装置发送由所述摄像机拍摄到的所述风景图像,并且从所述服务器装置接收在所述路线引导部进行的路线引导中使用的所述路线引导信息。
9.如权利要求6所述的导航系统,其特征在于:
所述位置信息取得部、所述路宽信息取得部、所述风景图像取得部和所述摄像机参数校正部包含于服务器装置中,
所述摄像机连接部、所述第二变换部、所述路线探索部、所述路线引导信息生成部和所述路线引导部包含于终端装置中,
所述服务器装置还包含第一通信处理部,所述第一通信处理部从所述终端装置接收所述风景图像取得部所要取得的所述风景图像,并且向所述终端装置发送由所述摄像机参数校正部校正计算后的所述摄像机参数,
所述终端装置还包含第二通信处理部,所述第二通信处理部向所述服务器装置发送由所述摄像机拍摄到的所述风景图像,并且从所述服务器装置接收在所述第二变换部生成所述第二风景图像中使用的所述摄像机参数。
10.一种摄像机参数运算方法,其特征在于,
在为了将安装在车辆上的摄像机所拍摄到的包含所述车辆移动的道路的风景的风景图像变换成导航用,而运算摄像机参数的摄像机参数运算装置中,所述摄像机参数表示所述摄像机的安装位置的高度和所述摄像机的朝向,所述摄像机参数运算方法执行以下步骤:
取得关于所述车辆的当前位置的位置信息,
基于所述位置信息取得与所述当前位置对应的道路数据,
从所述道路数据取得关于所述车辆移动的道路在所述当前位置上的实际路宽的路宽信息,
从所述摄像机取得所述风景图像,
基于所述风景图像和所述路宽信息,对所述摄像机参数进行校正计算,
基于所述风景图像来计算所述风景图像的画面上的所述车辆移动的道路在所述当前位置上的路宽,并基于计算得到的所述画面上的路宽与所述实际路宽之比来计算所述摄像机的安装位置的高度。
CN201380041261.1A 2012-08-03 2013-08-01 摄像机参数运算装置、导航系统及摄像机参数运算方法 Active CN104520675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012172930A JP5926645B2 (ja) 2012-08-03 2012-08-03 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
JP2012-172930 2012-08-03
PCT/JP2013/070880 WO2014021421A1 (ja) 2012-08-03 2013-08-01 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法

Publications (2)

Publication Number Publication Date
CN104520675A CN104520675A (zh) 2015-04-15
CN104520675B true CN104520675B (zh) 2018-10-02

Family

ID=50028088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380041261.1A Active CN104520675B (zh) 2012-08-03 2013-08-01 摄像机参数运算装置、导航系统及摄像机参数运算方法

Country Status (5)

Country Link
US (1) US9948853B2 (zh)
EP (1) EP2881710B1 (zh)
JP (1) JP5926645B2 (zh)
CN (1) CN104520675B (zh)
WO (1) WO2014021421A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015049717A1 (ja) * 2013-10-01 2015-04-09 株式会社日立製作所 移動体位置推定装置および移動体位置推定方法
KR20150059489A (ko) * 2013-11-22 2015-06-01 현대자동차주식회사 협로 검출 방법과 협로 검출 장치 및 협로 검출 시스템
KR101605514B1 (ko) * 2014-02-28 2016-04-01 주식회사 코아로직 차선 인식 장치 및 방법
WO2015162910A1 (ja) * 2014-04-24 2015-10-29 パナソニックIpマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
GB2513738A (en) * 2014-05-08 2014-11-05 Daimler Ag Method for determining a position of a vehicle by a navigation system of the vehicle
JP6439287B2 (ja) * 2014-06-18 2018-12-19 株式会社デンソー 運転支援装置、運転支援方法、画像補正装置、画像補正方法
JP6453645B2 (ja) * 2014-12-25 2019-01-16 京セラ株式会社 ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法
EP3046076B1 (de) * 2015-01-16 2018-03-14 Delphi Technologies, Inc. Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
JP6437629B2 (ja) * 2015-03-03 2018-12-12 パイオニア株式会社 経路探索装置、制御方法、プログラム及び記憶媒体
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN108450058B (zh) * 2015-12-28 2022-07-26 英特尔公司 实时自动车载相机校准
CN106989756B (zh) * 2016-01-21 2020-04-14 高德软件有限公司 确定兴趣点位置的方法和装置
CN105564335B (zh) * 2016-01-29 2017-12-05 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置
JP2017199972A (ja) * 2016-04-25 2017-11-02 オリンパス株式会社 端末装置、情報取得システム、情報取得方法およびプログラム
JP6214717B1 (ja) * 2016-05-24 2017-10-18 三菱電機株式会社 車載カメラキャリブレーション補助装置
JP6686760B2 (ja) 2016-07-21 2020-04-22 いすゞ自動車株式会社 画像処理装置及び画像処理方法
JP2018032253A (ja) * 2016-08-25 2018-03-01 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム
WO2018127962A1 (ja) * 2017-01-06 2018-07-12 三菱電機株式会社 報知制御装置および報知制御方法
JP6773223B2 (ja) * 2017-06-20 2020-10-21 日産自動車株式会社 走行制御方法及び走行制御装置
CN113822939A (zh) 2017-07-06 2021-12-21 华为技术有限公司 车载传感器的外部参数标定的方法和设备
CN110019580B (zh) 2017-08-25 2022-07-12 腾讯科技(深圳)有限公司 地图显示方法、装置、存储介质及终端
JP6820561B2 (ja) * 2017-12-28 2021-01-27 パナソニックIpマネジメント株式会社 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
JP7006527B2 (ja) 2018-07-09 2022-01-24 トヨタ自動車株式会社 車載装置および車両捜索システム
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
CN109579863A (zh) * 2018-12-13 2019-04-05 北京航空航天大学 基于图像处理的未知地形导航系统及方法
JP7191671B2 (ja) * 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
TWI693493B (zh) * 2019-03-11 2020-05-11 整技科技股份有限公司 導引載具控制系統與方法
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
FR3094511B1 (fr) * 2019-03-25 2021-04-09 Alstom Transp Tech Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants
KR20220037725A (ko) * 2020-09-18 2022-03-25 현대자동차주식회사 차량 및 그를 위한 주변 영상 보정 방법
CN112862899B (zh) * 2021-02-07 2023-02-28 黑芝麻智能科技(重庆)有限公司 用于图像获取设备的外参标定方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
US6133947A (en) * 1995-11-15 2000-10-17 Casio Computer Co., Ltd. Image processing system capable of displaying photographed image in combination with relevant map image
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160434B2 (ja) * 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
JP3094758B2 (ja) * 1993-11-12 2000-10-03 トヨタ自動車株式会社 車両用画像センサ
JP3099691B2 (ja) * 1995-08-09 2000-10-16 三菱自動車工業株式会社 走行路における対象物位置計測方法
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP4670528B2 (ja) * 2005-07-29 2011-04-13 日産自動車株式会社 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP4820221B2 (ja) 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
US7839431B2 (en) 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
CN101435706A (zh) * 2007-11-14 2009-05-20 环隆电气股份有限公司 道路影像辨识导航装置与导航方法
JP2009260475A (ja) * 2008-04-14 2009-11-05 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及びプログラム
US8373763B2 (en) 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
US8775073B2 (en) * 2008-05-30 2014-07-08 Navteq B.V. Data mining in a digital map database to identify insufficient merge lanes along roads and enabling precautionary actions in a vehicle
US9182241B2 (en) * 2008-05-30 2015-11-10 Here Global B.V. Data mining in a digital map database to identify unusually narrow lanes or roads and enabling precautionary actions in a vehicle
CN101608923A (zh) * 2008-06-20 2009-12-23 联咏科技股份有限公司 全球定位系统导航装置及其所应用的导航方法
CN102197276A (zh) * 2008-10-28 2011-09-21 株式会社博思科 道路计测装置及道路计测方法
US9459113B2 (en) * 2008-11-21 2016-10-04 GM Global Technology Operations LLC Visual guidance for vehicle navigation system
US8896686B2 (en) * 2009-06-23 2014-11-25 Here Global B.V. Determining a geometric parameter from a single image
US8885049B2 (en) 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
TWI408339B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
FR2962581B1 (fr) 2010-07-06 2013-07-05 Imajing Methode de calibration de l'orientation d'une camera video embarquee

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133947A (en) * 1995-11-15 2000-10-17 Casio Computer Co., Ltd. Image processing system capable of displaying photographed image in combination with relevant map image
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统

Also Published As

Publication number Publication date
EP2881710A1 (en) 2015-06-10
JP2014032118A (ja) 2014-02-20
JP5926645B2 (ja) 2016-05-25
US9948853B2 (en) 2018-04-17
CN104520675A (zh) 2015-04-15
US20150222813A1 (en) 2015-08-06
EP2881710B1 (en) 2019-04-10
EP2881710A4 (en) 2016-10-12
WO2014021421A1 (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
CN104520675B (zh) 摄像机参数运算装置、导航系统及摄像机参数运算方法
JP7020728B2 (ja) システム、方法およびプログラム
JP7432285B2 (ja) レーンマッピング及びナビゲーション
JP4847090B2 (ja) 位置測位装置、および位置測位方法
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
CN114286925A (zh) 用于识别潜在通信障碍的系统和方法
JP2022518911A (ja) 乗り物のセンサとカメラアレイからの構造化された地図データの生成
CN111065891A (zh) 基于增强现实的室内导航系统
WO2008044309A1 (en) Navigation system, mobile terminal device, and route guiding method
WO2005038402A1 (ja) ナビゲーション装置
JP2009199572A (ja) 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
WO2011100535A1 (en) Augmented reality maps
JP2005098853A (ja) 地図データ更新方法および地図データ更新装置
AU2015238339B2 (en) Navigation system
CN113924462A (zh) 用于确定物体尺寸的导航系统和方法
US9791287B2 (en) Drive assist system, method, and program
JP2023054314A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2012037475A (ja) サーバ装置、ナビゲーションシステム、ナビゲーション装置
CN116202538B (zh) 地图匹配融合方法、装置、设备及存储介质
JP2011174748A (ja) 地図表示装置、方法およびプログラム
CN111406226A (zh) 移动物体、定位系统、定位程序和定位方法
WO2014148104A1 (ja) ナビゲーションシステム、方法およびプログラム
JP2007003206A (ja) 車載用ナビゲーション装置
CN117387644A (zh) 定位方法、装置、电子设备、存储介质及程序产品
JP2022154987A (ja) 地図情報判定装置及び地図情報判定用コンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant