CN104833360B - 一种二维坐标到三维坐标的转换方法 - Google Patents

一种二维坐标到三维坐标的转换方法 Download PDF

Info

Publication number
CN104833360B
CN104833360B CN201410045376.4A CN201410045376A CN104833360B CN 104833360 B CN104833360 B CN 104833360B CN 201410045376 A CN201410045376 A CN 201410045376A CN 104833360 B CN104833360 B CN 104833360B
Authority
CN
China
Prior art keywords
coordinate
dimensional
map
camera
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410045376.4A
Other languages
English (en)
Other versions
CN104833360A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Wisdom Sensor Technology Co Ltd
Original Assignee
Wuxi Wissen Intelligent Sensing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Wissen Intelligent Sensing Technology Co Ltd filed Critical Wuxi Wissen Intelligent Sensing Technology Co Ltd
Priority to CN201410045376.4A priority Critical patent/CN104833360B/zh
Publication of CN104833360A publication Critical patent/CN104833360A/zh
Application granted granted Critical
Publication of CN104833360B publication Critical patent/CN104833360B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3614Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明为增强现实实景导航中屏幕二维坐标到地图三维坐标的转换方法。本发明为了解决点击屏幕图像特定位置定位到地图坐标系中该点的坐标,进而检索出该点在数据库中的信息,再显示出来。本发明提出通过分析原始二维坐标系中坐标分布结构,基于点击在屏幕上点的位置,根据相机内部参数,预测出该点在相机坐标系中的三维坐标。通过三维空间转换,转换为地图坐标系的坐标。进而检索出该点的具体信息。

Description

一种二维坐标到三维坐标的转换方法
技术领域
本发明涉及一种基于增强现实技术的车载实景导航方法,涉及三维空间坐标转换方法。
背景技术
当今社会,汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时,汽车交通事故,汽车尾气排放带来的环境污染以及交通阻塞带来的问题,已成为日益严峻的全球性社会问题。因此,利用各种先进的汽车新技术、设备和理念减少交通事故、提高汽车安全和减小交通压力有很大的市场潜能。
上一世纪90年代以后,随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用,汽车安全技术得到了更加迅猛的发展。现如今,汽车安全技术的研究已由单一安全技术的研发,向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心,具有特定的识别判断能力,能在各种复杂情况下自动协助驾驶员或自行控制汽车,确保行车安全。
汽车导航技术诞生于上个世纪后期,主要功能包括汽车的位置的定位,目的地信息提供以及路径引导,以及良好的易操作性,即友好的人机界面。在经历了一段走向成熟的过程之后,逐步推向市场。尤其进入新世纪以来,车辆不断增多,道路状况日渐复杂,这就对导航技术产生了巨大的市场需求,因而推动导航技术取得了长足的进展。然而随之产生的情况就是系统越来越复杂,需要完成的功能也越来越多,传统的导航系统已经无法胜任。
对社会和国家而言,导航技术的普及大大缓解了交通拥堵,在提高交通效率的同时,对环保也有所改善,符合国家的利益。因而该技术的推广应用也得到了国家从基础设施到配套软件环境的大力支持。
如今二维导航市场竞争日益加剧,各个导航公司都在谋求新的利益增长点,三维虚拟导航、实景导航等新兴导航应运而生,而通过增强现实技术开发的增强现实实景导航系统有更优的人机交互,更准确的导航信息,更多的扩展功能;在未来的导航产品中具有巨大的竞争优势。
在交通问题日益严重的中国,由于历史原因,城市均不可能通过大规模道路建设来彻底解决交通问题。因此,车载导航系统作为智能交通的一个重要组成部分,是缓解交通压力,方便出行的首要选择。
随着我国经济的发展和急速成长的车载导航市场,车载导航产品已经从二维平面地图发展到三维地图;从CG地图发展到实景地图;从单纯地图服务到综合车载通讯信息服务Telematics 。现如今消费者更加看重产品的人机交互和可视化效果,利用增强现实功能集成的增强现实实景导航系统可以更优的实现这一效果。
发明内容
本发明是为了解决增强现实实景导航中点击屏幕图像特定位置定位到地图坐标系坐标的问题。
本发明通过实际道路宽度,推测出该点在相机坐标系中的X坐标,根据相机内参,计算出该点在相机坐标系中的坐标。通过三维空间转换,转换为地图坐标系的坐标。
本发明利用道路宽度预测目标点在相机坐标系中的X坐标,实现屏幕二维坐标到地图三维坐标的转换。
附图说明
图1是屏幕坐标系示意图。
图2是相机坐标系x坐标预测示意图。
图3是相机投射模型。
图4是相机投射模型简化及坐标关系。
图5是惯性导航模型图。
图6是三维坐标转换图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。增强现实实景导航系统是由装配在车体前方的摄像头和GPS惯性导航模块组成。为了使驾驶员能够通过点击屏幕上的点链接到实景的地图坐标,实现与地图上是标志物相匹配,显示该标志物的信息,就需要进行二维坐标到实景三维坐标的转换。
本发明提出通过推测得出目标点在相机坐标系中的X坐标,根据相机内参,计算出该点在相机坐标系中的坐标,通过三维空间转换,转换为地图坐标系的坐标。
本发明通过点击屏幕,获取屏幕坐标,设屏幕坐标系Cxy,如图1所示,设屏幕坐标系Cxy。
本发明所提出的目标点X坐标预测根据车辆所在道路宽度,如图2所示。道路宽度为2x,建筑物距离道路距离为x’。判断点击的点在屏幕中心线的左侧还是右侧,如果在左侧,设置该点在相机坐标系中的坐标为-(3/2*x+x’),如果在右侧,设置该点在相机坐标系中的坐标为1/2*x+x’。
根据图3中图像投射模型,简化后如图4,矩形方框表示图像平面,O 点为摄像机光心,射线 OO’为摄像机光轴,O’为摄像机光轴和图像平面的交点,位于图像平面中心,在Cxy中坐标为(Cx,Cy)。A、B、C 为周围的任意兴趣点,A’、B’、C’分别为各兴趣点在图像平面的投影。兴趣点 A 和 C 由于同处于射线 OA 上,则在图像平面上的投影位置重合。
由此可得出结论,兴趣点和摄像机光心的连线与图像平面的交点即为该兴趣点在图像平面上的投影位置。以下需要做的工作就是依据此原理,研究计算投影位置的方法。下面提出相机投影模型:
转成其次坐标形式为:
根据投影模型,不难发现,图像平面的宽和高分别与摄像机水平和垂直视角成一定比例。设以图像平面中心为原点的图像坐标系为 Cxy。在 Cxy下,兴趣点在图像平面上的投影点的坐标为(x,y),将投影点分别投射到 Cxy的 X 轴和 Y 轴上,形成了两个投射点。将这两个投射点分别与摄像机光心进行连线,这两条直线会与摄像机的光轴形成两个夹角,分别为水平和垂直夹角。那么,该投影点坐标的 x 和 y 分别与这两个夹角形成的比例是等于宽高与水平垂直视角的比例。通过这个关系,只要获取兴趣点和摄像机光心的连线与摄像机光轴的水平垂直夹角,并已知图像平面的宽高和摄像机水平垂直视角,即可计算出 Cxy下兴趣点在图像平面上的投影坐标(x, y)。
根据目标点B’,得B’ B1’和O’B1’分别垂直于Cx、Cy,BB1垂直于Oxz,B1B2垂直于Oz,B1B2即为预测出的目标点在相机坐标系中的x值。则:
由此计算出目标点在相机坐标系中的三维坐标。
下面阐述相机坐标系到地图坐标系转换的三维方法。
首先要进行精确的车辆定位,影响系统投射的因素有两方面,第一,车辆的位置精度; 第二,车辆的姿态精度。系统要求位置定位精度在3米以内,角度定位精度在5°以内。
传统的GPS定位系统就无法满足系统要求,在这里我们提出使用GPS惯性导航系统(GPS/INS)进行姿态测量,如图5所示。GPS/INS在单独应用时,均能提供有效的精确度,这点是我们毋庸置疑的。但因其设计逻辑的不同,产生在使用上各有不同的限制,GPS的缺点是INS所没有的,INS不足的地方,GPS则可以弥补,从整体看,只有GPS和INS结合在一起,才能获得十全十美的导航系统。在单独应用的情况下,INS可以在短时间载体高机动情况下提供连续的精确辅助数据,而GPS则是在长时间情况下提供离散且精确的辅助数据,换句话说就是在短时间与即时的情况下,INS拥有比GPS更小的误差,但长时间使用时,就必须通过GPS离散的丈量数值来提供修正,并藉着对系统漂移量的把握,可达到状态参数快速估算与收敛的目的。
在组合系统中拥有一套卡尔曼滤波器,可以处理卫星推导所需的虚拟间隔及间隔差丈量值,并用来估测计算出GPS丈量值与INS值之间的误差余量值,将最后结果以回授方式来修正INS,以提供精确的导航数值。
卡尔曼滤波器是以状态空间技术发展的一种返推式滤波方法,该法的特点是不要求保存储存过往的丈量数据,当新的数据测得之后,根据新的数据和前一时刻的状态参数估测值,藉由系统本身的状态转移方程式(即动态方程),按照一套返推公式,即可算出新的状态参数估测值。
空间坐标转换法采用的模型主要有布尔莎模型、奠洛金斯基模型等。其中应用最多的是布尔莎模型,如图6所示,其模型为
式中: 为点在相机坐标系中的三维坐标,为点在地图坐标系中的三维坐标,m为尺度比例因子,为平移量,为欧拉角。如果都是小角度,则,有
转换公式也可表示为
在此模型中,未知转换参数有7个,要想求解必须具有3个公共点,当公共点多于3个时,则应按最小二乘法求解转换参数最佳估值,其误差方程为
.
式中:

Claims (4)

1.一种实景导航中二维屏幕坐标转换为三维地图坐标的方法,其特征在于,包括:利用相机投影和坐标变换模型,加上车辆的定位数据和电子地图信息,根据车辆所在道路宽度,推测出目标物在相机中的水平方向坐标,根据相机内参,计算出目标物在相机坐标系中的三维坐标,通过三维空间转换分别求出其地图空间的三维坐标信息。
2.根据权利要求1所述的实景导航中二维屏幕坐标转换为三维地图坐标的方法,其特征在于,车辆在地图上的三维坐标位置是利用高精度的惯性陀螺和GPS,加上电子地图信息,可以准确标记出车辆与其他目标在地图空间中的相对位置。
3.根据权利要求2所述的实景导航中二维屏幕坐标转换为三维地图坐标的方法,其特征在于,相机系统,通过精准标定,可以得出相机与路面的空间关系,包括位置关系和角度关系;这样,图像上的点可以准确找出对应的投影关系。
4.根据权利要求3所述的实景导航中二维屏幕坐标转换为三维地图坐标的方法,其特征在于,目标物通过相机图像进行选择,判断目标的投影关系,加上车辆的位置和地图信息来判断目标物体的三维地图坐标。
CN201410045376.4A 2014-02-08 2014-02-08 一种二维坐标到三维坐标的转换方法 Expired - Fee Related CN104833360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410045376.4A CN104833360B (zh) 2014-02-08 2014-02-08 一种二维坐标到三维坐标的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410045376.4A CN104833360B (zh) 2014-02-08 2014-02-08 一种二维坐标到三维坐标的转换方法

Publications (2)

Publication Number Publication Date
CN104833360A CN104833360A (zh) 2015-08-12
CN104833360B true CN104833360B (zh) 2018-09-18

Family

ID=53811397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410045376.4A Expired - Fee Related CN104833360B (zh) 2014-02-08 2014-02-08 一种二维坐标到三维坐标的转换方法

Country Status (1)

Country Link
CN (1) CN104833360B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105509716B (zh) * 2015-11-26 2018-03-27 武大吉奥信息技术有限公司 一种基于增强现实技术的地理信息采集方法及装置
CN106097243A (zh) * 2016-05-31 2016-11-09 上海美迪索科电子科技有限公司 一种利用摄像头拍摄的3d地图快速成型方法
CN107464264A (zh) * 2016-06-02 2017-12-12 南京理工大学 一种基于gps的相机参数标定方法
CN106227218A (zh) * 2016-09-27 2016-12-14 深圳乐行天下科技有限公司 一种智能移动设备的导航避障方法及装置
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106949891A (zh) * 2017-03-01 2017-07-14 深圳鹏锐信息技术股份有限公司 一种新型的室内定位系统以及基于陀螺仪和视频分析的室内双向二次校正定位方法
CN107451235B (zh) * 2017-07-25 2020-08-14 广州视源电子科技股份有限公司 空间维度标记的展示方法和装置
CN109145697A (zh) * 2017-08-10 2019-01-04 湖南超能机器人技术有限公司 一种语音召唤智能居家康护机器人的方法
CN107885800B (zh) * 2017-10-31 2020-02-14 平安科技(深圳)有限公司 地图中目标位置修正方法、装置、计算机设备和存储介质
CN109155822B (zh) * 2017-11-28 2021-07-27 深圳市大疆创新科技有限公司 图像处理方法和装置
EP3729000A4 (en) * 2017-12-21 2021-07-14 Bayerische Motoren Werke Aktiengesellschaft METHOD, DEVICE AND SYSTEM FOR DISPLAYING POI INFORMATION WITH EXTENDED REALITY
CN109062416B (zh) * 2018-08-29 2021-11-02 广州视源电子科技股份有限公司 地图的状态转换方法和装置
CN109284456B (zh) * 2018-08-30 2022-04-12 广东越维信息科技有限公司 网页控件在ar中的空间定位方法和ar系统
CN110148196B (zh) 2018-09-12 2022-03-25 腾讯大地通途(北京)科技有限公司 一种图像处理方法、装置以及相关设备
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN111696140B (zh) * 2020-05-09 2024-02-13 青岛小鸟看看科技有限公司 基于单目的三维手势追踪方法
CN111708366B (zh) * 2020-06-29 2023-06-06 山东浪潮科学研究院有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111996883B (zh) * 2020-08-28 2021-10-29 四川长虹电器股份有限公司 一种检测公路路面宽度的方法
CN112632181B (zh) * 2020-12-21 2024-02-06 北京百度网讯科技有限公司 地图显示方法、装置、设备、存储介质和终端设备
CN112669470B (zh) * 2020-12-31 2024-05-28 佳讯飞鸿(北京)智能科技研究院有限公司 基于bim的摄像机标注方法和装置
CN116625385B (zh) * 2023-07-25 2024-01-26 高德软件有限公司 路网匹配方法、高精地图构建方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN102121831A (zh) * 2010-12-01 2011-07-13 北京腾瑞万里科技有限公司 实时街景导航方法及设备
JP2012194494A (ja) * 2011-03-18 2012-10-11 Casio Comput Co Ltd 地図表示装置、地図表示方法及びプログラム
US8577604B1 (en) * 2010-07-07 2013-11-05 Google Inc. System and method of determining map coordinates from images
CN103471500A (zh) * 2013-06-05 2013-12-25 江南大学 一种单目机器视觉中平面坐标与空间三维坐标点的转换方法
CN103578141A (zh) * 2012-08-06 2014-02-12 北京图盟科技有限公司 基于三维地图系统的增强现实实现方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
US8577604B1 (en) * 2010-07-07 2013-11-05 Google Inc. System and method of determining map coordinates from images
CN102121831A (zh) * 2010-12-01 2011-07-13 北京腾瑞万里科技有限公司 实时街景导航方法及设备
JP2012194494A (ja) * 2011-03-18 2012-10-11 Casio Comput Co Ltd 地図表示装置、地図表示方法及びプログラム
CN103578141A (zh) * 2012-08-06 2014-02-12 北京图盟科技有限公司 基于三维地图系统的增强现实实现方法及装置
CN103471500A (zh) * 2013-06-05 2013-12-25 江南大学 一种单目机器视觉中平面坐标与空间三维坐标点的转换方法

Also Published As

Publication number Publication date
CN104833360A (zh) 2015-08-12

Similar Documents

Publication Publication Date Title
CN104833360B (zh) 一种二维坐标到三维坐标的转换方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
Chiang et al. Performance enhancement of INS/GNSS/refreshed-SLAM integration for acceptable lane-level navigation accuracy
EP3343172B1 (en) Creation and use of enhanced maps
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
CN108645420B (zh) 一种基于差分导航的自动驾驶车辆多路径地图的创建方法
CN108961811A (zh) 停车场车辆定位方法、系统、移动终端及存储介质
CN104428686A (zh) 用于获得车辆位置的方法和车辆
Hu et al. Real-time data fusion on tracking camera pose for direct visual guidance
Zang et al. Accurate vehicle self-localization in high definition map dataset
US20220090939A1 (en) Ehorizon upgrader module, moving objects as ehorizon extension, sensor detected map data as ehorizon extension, and occupancy grid as ehorizon extension
CN111426320A (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
CN111220143A (zh) 一种成像设备的位置和姿态确定方法及装置
US11361490B2 (en) Attention guidance for ground control labeling in street view imagery
US20210072041A1 (en) Sensor localization from external source data
CN114323050A (zh) 车辆定位方法、装置和电子设备
AU2015238339A1 (en) Navigation system
Hoang et al. 3D motion estimation based on pitch and azimuth from respective camera and laser rangefinder sensing
Kim et al. Localization of a car based on multi-sensor fusion
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
Chiang et al. Mobile mapping technologies
CN111221020A (zh) 一种室内外定位方法、装置及系统
Flade et al. Lane detection based camera to map alignment using open-source map data
US11287281B2 (en) Analysis of localization errors in a mobile object
US20220197893A1 (en) Aerial vehicle and edge device collaboration for visual positioning image database management and updating

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 214028 2 building, C tower, Longshan Road 4, Wang Chuang technology innovation center, Wuxi New District, Jiangsu.

Patentee after: Wuxi wisdom Sensor Technology Co., Ltd.

Address before: 214028 2 building, C tower, Longshan Road 4, Wang Chuang technology innovation center, Wuxi New District, Jiangsu.

Patentee before: Wuxi Wissen Intelligent Sensing Technology Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180918

Termination date: 20200208