CN111766619A - 一种道路标牌智能识别辅助的融合导航定位方法及装置 - Google Patents

一种道路标牌智能识别辅助的融合导航定位方法及装置 Download PDF

Info

Publication number
CN111766619A
CN111766619A CN202010457974.8A CN202010457974A CN111766619A CN 111766619 A CN111766619 A CN 111766619A CN 202010457974 A CN202010457974 A CN 202010457974A CN 111766619 A CN111766619 A CN 111766619A
Authority
CN
China
Prior art keywords
road sign
navigation
road
information
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010457974.8A
Other languages
English (en)
Inventor
刘立刚
卜智勇
周斌
金圣峣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jihui Mobile Communication Technology Research Institute Co ltd
Original Assignee
Jiangsu Jihui Mobile Communication Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jihui Mobile Communication Technology Research Institute Co ltd filed Critical Jiangsu Jihui Mobile Communication Technology Research Institute Co ltd
Priority to CN202010457974.8A priority Critical patent/CN111766619A/zh
Publication of CN111766619A publication Critical patent/CN111766619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种道路标牌智能识别辅助的融合导航定位方法及装置，应用于导航定位技术领域，所述方法中先对卫星导航系统GNSS的状态进行评估，在GNSS状态好的情况下进行GNSS/INS组合导航，否则进行INS/DR组合导航，在INS/DR组合导航过程中通过道路标牌信息处理和道路标牌信息辅助导航修正实现高精度的导航定位。本发明利用大部分道路标牌具备的唯一性、易识别、精确位置信息和易获取等特点，在卫星导航系统可用性不足的场景中，利用道路标牌提供的精确位置信息，为INS/DR组合导航系统提供位置修正，实现GNSS不可用场景中的高精度定位。

Description

一种道路标牌智能识别辅助的融合导航定位方法及装置
技术领域
本发明涉及导航定位技术领域，尤其涉及一种道路标牌智能识别辅助的融合导航定位方法及装置。
背景技术
高精度定位在很多领域有重要的应用。例如，随着自动驾驶技术的快速发展，导航系统需要满足更高的要求，包括：高精度、高分辨率、高可靠性、低成本、低功耗和小型化等。但是，当前主要的导航定位技术，都无法单独满足这些需求。
卫星导航系统(Global Navigation Satellite System，GNSS)，是当前主要的一种定位技术，具有全球覆盖、全天候工作、定位精度高等优势，成为最广泛的定位导航手段。然而，在某些情况下，GNSS可用性会受损，精度会下降。例如，在城市峡谷区域，受到卫星信号被遮挡、多路径反射等的影响，GNSS定位精度会急剧下降，甚至失效。再比如，在隧道、地下车库等场景下，GNSS也无法使用。而且，GNSS信号是否微弱，很易被有意或无意的干扰信号淹没无法使用。
惯性导航系统(Inertial Navigation System，INS)是一种不依赖外部信息的自主导航系统，工作原理基于牛顿运动定律，其基于加速度计测量到的载体运动加速度，基于陀螺仪测量到的载体的旋转角速度，通过计算机对这些测量值进行处理，得到载体的姿态、速度和位置。INS具有数据更新率高、短期精度和稳定性好等优点。随着微机电系统(Micro-Electrical-Mechanical System，MEMS)加工技术的成熟，MEMS惯性器件(加速度计和陀螺仪)得到了前所未有的发展，以其价格低廉、重量轻、体积小以及功耗低等优势广泛地应用于组合导航系统中。但现有的MEMS器件精度较低，无法长时间、长距离维持定位精度。因此，通常INS需要其他信息辅助来及时修正误差。
由于GNSS和INS具有良好的互补性，一般将两者组合形成GNSS/INS组合导航系统，能够使导航系统提供稳定、可靠的导航信息。
另外，对于车载导航系统，惯性导航与里程计的组合，即INS/DR组合导航，也是一种技术方案。这种方式在GNSS可用性下降时，里程计为INS提供车载系统的运动速度，形成航位推算(DR，Dead Reckoning)模式可部分修正单纯INS导航时误差的快速发散。然而，这种方式的精度受限于MEMS器件的精度、里程计的精度等因素影响，1NS/DR组合导航也不能长时间、长距离提供高精度的定位。
在公开号为CN110779521A的一种多源融合的高精度定位方法与装置专利中，在使用卫导与惯导组合导航的基础上，采用里程计与惯导组合的方式在卫星导航不可用时提供高精度位置信息。特别是，针对影响里程计与惯导组合精度的若干因素，提出相应的技术方案，来提高里程计与惯导组合时的定位精度，但是该专利仅在卫星导航不可用时，在里程计的辅助下提供高精度的位置信息，仍然不能实现长时间、长距离提供高精度的定位。
发明内容
发明目的：针对现有技术中卫星导航系统不可用的情况下无法得到高精度定位的缺陷，本发明公开了一种道路标牌智能识别辅助的融合导航定位方法及装置，通过将道路标牌智能识别技术融合到导航中，实现在各种场景下的高精度定位。
技术方案：为实现上述技术目的，本发明采用以下技术方案。
一种道路标牌智能识别辅助的融合导航定位方法包括以下步骤：
S1、卫星导航系统状态评估：卫星导航系统即GNSS，检测GNSS信号是否接收稳定且系统状态好，若GNSS状态好，则进行GNSS/INS组合导航，执行步骤S2，否则，进行INS/DR组合导航和道路标牌信息辅助导航修正，执行步骤S3；
S2、进行卫星导航系统和惯性导航系统组合导航：惯性导航系统即INS，由GNSS和INS实现GNSS/INS组合导航，通过INS测量载体运动的状态，计算运动载体位置，结合GNSS定位定向结果与INS定位定向结果，输出实时的运动载体位置、姿态信息，实现导航定位，然后返回步骤S1，进入下一个处理周期；
S3、进行惯性导航系统和航位推算组合导航：航位推算即DR，由INS和DR实现INS/DR组合导航系统，通过INS测量运动载体的状态，计算运动载体位置，结合DR定位定向结果与1NS定位定向结果，输出实时的运动载体位置、姿态信息；
S4、道路标牌信息处理：在运动载体上采集道路图像，并对道路图像中若干道路标牌区域进行提取，在提取的所有道路标牌区域中对道路标牌信息进行识别，将识别结果在道路标牌数据库内进行检索，若在检索过程中能获取道路标牌信息，则执行步骤S5，否则返回步骤S1，进入下一个处理周期；
S5、进行道路标牌信息辅助导航修正：根据道路图像获取若干实时的道路标牌图像信息，依次判断运动载体是否通过道路标牌所在位置，判断成功后，在运动载体通过道路标牌所在位置时，对步骤S3中输出的运动载体位置进行修正，输出实时的运动载体位置、姿态信息，实现辅助导航定位，返回步骤S1，等待进入下一个处理周期；否则返回步骤S4，重新采集道路图像。
优选地，所述S4中道路标牌信息处理具体过程包括：
S41、获取道路图像：由固定于运动载体前方的摄像头实时捕获运动载体前进方向的道路图像，保留每次图像获取的时刻，用于后续计算；
S42、若干道路标牌区域识别：对获取的道路图像进行处理，识别包含道路标牌的图像区域；若识别出的道路标牌区域，且路牌区域为长方形，则表明道路标牌位于行驶方向的正前方，则执行步骤S43；否则，说明道路图像中没有道路标牌区域，或者道路标牌不在行驶方向的前方，则返回步骤S1，进入下一个处理周期；
S43、道路标牌智能识别：在道路标牌区域中对道路标牌进行智能识别，包括道路标牌的文字、交通指示符号以及各部分之间的相对位置关系；若识别成功，则执行步骤S44；否则返回步骤S1，进入下一个处理周期；
S44、道路标牌信息检索：根据S43中识别信息，向道路标牌数据库中检索对应的道路标牌信息；若未检索到相应的道路标牌信息，则返回步骤S1，进入下一个处理周期；否则执行步骤S45；
S45、输出检索到的道路标牌信息：道路标牌信息包括道路标牌编号、道路标牌中文字、道路标牌地理坐标、道路标牌尺寸；输出检索到的道路标牌信息并结束处理，执行步骤S5。
优选地，所述道路标牌地理坐标包括道路标牌的经度、纬度和高度。
优选地，所述S5进行道路标牌信息辅助导航修正具体过程包括：
S51、根据道路图像获取若干实时的道路标牌图像信息，判断当前道路标牌信息是否可用于导航定位：获取若干实时的道路标牌图像信息，道路标牌图像信息包括道路标牌的长、宽像素数，进而计算长边距离估计值与短边距离估计值；比较长边距离估计值与短边距离估计值的差值，若差值大于第一门限值，则认定当前道路标牌信息误差较大，不宜用于导航定位，结束处理过程，返回步骤S1，进入下一个处理周期；否则，执行步骤S52；
S52、根据长边距离估计值和短边距离估计值计算运动载体与道路标牌的距离，判断运动载体是否通过道路标牌所在位置：所述运动载体与道路标牌的距离为长边距离估计值和短边距离估计值的平均值，将所述平均值与第二门限值比较，若平均值小于第二门限值，则运动载体通过道路标牌所在位置，执行步骤S53，；否则，不能确定运动载体是否通过道路标牌所在位置，返回步骤S51；
S53、道路标牌信息辅助导航修正：获取道路标牌数据库内的道路标牌信息，根据道路标牌信息中的道路标牌精确定位计算输出运动载体位置信息。
优选地，所述步骤S51中计算长边距离估计值与短边距离估计值的具体过程包括：获取若干实时的道路标牌图像信息，道路标牌图像信息包括道路标牌的长、宽像素数，进而计算运动载体与道路标牌的距离：
Figure BDA0002507999790000041
Figure BDA0002507999790000042
其中w1、p1和d1分别为道路标牌的长边实际长度、长像素数和长边距离估计值，w2、p2和d2分别为道路标牌的短边实际长度、宽像素数和短边距离估计值，f为相机的焦距。
优选地，所述S2中结合GNSS定位定向结果与INS定位定向结果或S3中结合DR定位定向结果与INS定位定向结果，其具体过程包括：采用卡尔曼滤波方法对GNSS定位定向结果或DR定位定向结果与INS定位定向结果进行组合。
一种道路标牌智能识别辅助的融合导航定位装置，用于实现以上任一所述的一种道路标牌智能识别辅助的融合导航定位方法，包括：依次连接的融合导航处理模块、路牌信息处理模块和路牌信息数据库；
所述融合导航处理模块包括融合导航处理计算机以及与融合导航处理计算机连接的惯性测量器件、GNSS卫星导航模块、里程计、摄像头、无线通信模块和天线、电源模块；
所述融合导航处理计算机的存储器内存有道路标牌数据库；所述路牌信息处理模块包括与融合导航处理计算机连接的摄像头。
优选地，所述惯性测量器件为加速度计或陀螺仪。
优选地，所述融合导航定位装置还包括网络服务器或云计算服务器，所述网络服务器或云计算服务器用于存储道路标牌数据库，所述网络服务器或云计算服务器通过无线通信模块和天线与融合导航处理计算机连接。
有益效果：
1、本发明在卫星导航系统不可用、同时采用INS/DR组合导航系统进行导航定位的场景中，如城市峡谷、隧道、地下车库等场景，利用道路标牌提供的精确位置信息，为INS/DR组合导航系统提供辅助位置修正，从根本上抑制INS/DR误差随时间累积，且不断发散的趋势，消除导航定位误差，实现高精度定位；
2、本发明中采用智能图像处理和文字识别等技术，对路牌信息进行处理，道路标牌具备的唯一性、易识别、精确位置信息和易获取等优点。
附图说明
图1为本发明的总方法流程图；
图2为本发明的模块组成图；
图3为INS/DR导航修正处理流程；
图4为路牌信息处理流程图；
图5为本发明的装置组成框图；
图6为本发明的城市道路中可用于辅助定位的道路标牌示例图；
图7为本发明的高速公路中可用于辅助定位的道路标牌示例图；
图8为本发明的县级公路中可用于辅助定位的道路标牌示例图；
图9为本发明的不可用于辅助定位的道路标牌示例图；
图10为道路标牌图像区域提取示例图；
图11为道路标牌距离由远到近的过程示例图。
具体实施方式
以下结合附图对本方案做进一步的说明和解释。
城市道路内及周边布放着大量的各类标牌、指示牌等。例如，道路交通标志，用文字或图形符号对车辆、行人传递指示、禁令等信号，或指示道路方向、道路名称等。再例如，道路附件的场所有一些用于宣传、广告等的标牌。一部分此类标牌提供的信息，可以用于定位。这样的标牌具有如下特点：
1)这些标牌内容易于识别。比如，交通指示牌，一般是蓝底白字。指示牌的内容以文字为主，没有复杂的图案，易于计算机识别。
2)这些标牌在一个较小的区域内，具有唯一性。首先，一个地区内道路名称一般是唯一的；其次，即便是不同地区(如不同市县)有相同的道路名称导致的内容相同的标牌的存在，完全可以通过当前的大致位置来简单地分辨出正确的标牌。
3)这些标牌的精确位置信息是已知的，特别地，把路牌看做一个平面，其精确位置可定义为其中心点的精确位置，包括该点的经度、维度和高度等。另外，路牌中心点距离地面的高度也是易于预先获得的。
4)这些路牌的大小是可知的，包括路牌的左右方向的长度、上下方向的宽度或高度等。
附图中给出了部分可用于辅助定位和不可用于辅助定位的道路标牌示例图，其中图6为本发明的城市道路中可用于辅助定位的道路标牌示例图；图7为本发明的高速公路中可用于辅助定位的道路标牌示例图；图8为本发明的县级公路中可用于辅助定位的道路标牌示例图，此类路牌的识别准确率可能难以保证，对识别准确率不够的此类路牌，不宜收录入路牌信息数据库中；图9为本发明的不可用于辅助定位的道路标牌示例图，在道路中，此类路牌不具有唯一性。
基于以上的道路标牌特征，本发明利用这些道路标牌提供的信息，来实现高精度的组合导航。
以下对字母定义做出相应解释：
GNSS：Global Navigation Satellite System，即卫星导航系统；GNSS是一种无线电导航技术，GNSS的误差均为随机误差，如大气层误差、电离层延时误差和多路径效应误差等；GNSS的优点为精度高、误差不累积且接收机价格便宜；而缺点为输出不连续、不能输出姿态信息且成本昂贵；
INS：Inertial Navigation System，即惯性导航系统，采用惯性仪表进行导航定位；其中惯性仪表包括加速度计和惯性敏感器件如传统机械陀螺仪、振动陀螺仪、光学陀螺仪、MEMS/MOMES陀螺仪、超导磁悬浮陀螺仪等。INS的误差包括位置误差、速度误差和姿态误差，所有误差均包括确定性误差如与加速度有关误差等和随机误差如一阶马尔可夫过程等，且误差随时间累积；其优点为自主性强、短时间精度高，且能连续提供位置、速度和姿态；但它的缺点在于导航的误差随时间累积，而导航精度越高，价格越昂贵。
DR：Dead Reckoning，即航位推算，通过计程仪或里程表实现导航定位，其优点为自主定位、结构简单和成本低，缺点为误差累积太大，限于要求不高的场合。
组合导航中采用回路反馈法或最优估计法对各系统的组合实现性能互补，最优估计法中主要采用卡尔曼滤波算法，从概率统计最优的角度估计出系统误差并消除之。
本发明公开了一种道路标牌智能识别辅助的融合导航定位方法及装置，用于对运动载体如车载系统等物体进行高精度定位；其中装置包括三部分，它们之间的关系如附图2所示：
模块1：融合导航处理模块，是主控模块，用于处理卫星导航、里程计和道路图像位置信息融合。它根据卫星导航、里程计等状态评估组合导航状态，并反馈给模块2，同时接收模块2输出的路牌位置信息，进行融合导航处理。
模块2：道路标牌图像处理模块，用于道路图像信息采集和分析。它根据路牌图像识别的结果向路牌信息数据库检索路牌信息，从数据库中获得检索结果；同时，它接受模块1反馈的融合状态信息，并在一定条件下向模块1输出路牌位置信息，由模块1执行融合导航处理。
模块3：道路标牌信息数据库，用来存储道路标牌信息。它接受模块2的检索请求，并向模块2反馈检索结果。
模块1：融合导航处理模块
融合导航处理模块，是主控模块，在每一个处理周期内，根据GNSS状态来执行GNSS/INS组合导航，或者执行INS/DR组合导航；在INS/DR组合导航时，执行模块2的功能进行路牌信息处理和辅助的导航修正。
如附图1所示，具体包括如下步骤：
步骤1.1：GNSS状态评估。一般地，GNSS接收机会输出一些状态来申明当前定位定向输出的可用性、精度级别等信息。这些信息可用于描述GNSS的状态。当GNSS能提供有效的定位定向输出时，则GNSS状态好；否则认为GNSS状态不好。判断GNSS状态，判断依据可以是GNSS模块输出的状态标志。如果GNSS状态好，则进行GNSS/INS组合导航，即步骤1.2；否则，当GNSS状态不佳时，例如处于地下车库、隧道等GNSS信号完全被屏蔽的区域，或者处于城市高楼林立的道路中GNSS定位误差较大的区域，则进行INS/DR组合导航和路牌信息辅助导航修正，即步骤1.3及后续步骤。
步骤1.2：执行GNSS/INS组合导航处理。GNSS/1NS组合导航基于惯性测量组件，如加速度计、陀螺仪等，对载体运动状态的测量，推算载体位置，并使用卡尔曼滤波方法将GNSS定位定向结果与INS定位定向结果进行组合，输出实时的载体位置、姿态等信息。GNSS/INS组合导航是比较成熟的技术，有较多的实现方案。执行完本步骤之后，重新返回步骤1.1，进入下一个处理周期。
步骤1.3：INS/DR组合导航处理。INS/DR组合导航与GNSS类似，同样基于惯性测量组件(加速度计、陀螺仪等)对载体运动状态的测量，推算载体位置，所不同的是，它使用卡尔曼滤波方法将DR定位定向结果与INS定位定向结果进行组合。INS/DR组合导航是比较成熟的技术，有较多的实现方案。
步骤1.4：路牌信息处理。执行模块2的处理过程，包括道路图像采集、路牌区域提取、路牌信息识别、路牌数据库检索等步骤。如果路牌信息处理返回结果为成功，则执行步骤1.5；否则，重新返回步骤1.1，进入下一个处理周期。
步骤1.5：INS/DR导航修正处理。通过对路牌距离的估计与追踪，判断车载系统是否通过路牌所在位置。当车载系统通过路牌所在位置时，对INS/DR组合导航的位置进行修正。修正结束之后，返回步骤1.1，进入下一个处理周期。
其中载体姿态的计算可参考2006年西北工业大学的严恭敏的博士学位论文《车载自主定位定向系统研究》以及2019年西北工业大学出版社出版的严恭敏和翁浚的《捷联惯导算法与组合导航原理》；卡尔曼滤波方法从概率统计最优的角度估计出组合导航的系统误差并消除。
INS/DR导航修正处理的流程如图3所示，具体包括以下步骤。
步骤1.5.1：分别根据路牌长、宽的像素数，估计运动载体与路牌的距离。
从路牌图像中估计路牌与拍摄点(车载系统)的距离d的方法，是基于摄像头的焦距f(单位：米)和目标物体的尺寸大小w(单位：米)和这两个已知条件，以及目标物体在图像中的像素数p，根据如下公式估计：
Figure BDA0002507999790000083
相机的焦距f，由相机的工作参数给定；路牌的长边或短边的实际长度w，由路牌信息处理模块提供。
设路牌长边的实际长度为w1、像素数为p1，路牌短边的实际长度为w2、像素数为p2，则根据公式(2)和公式(3)分别估计出两个估计距离即长边距离估计值d1和短边距离估计值d2；
Figure BDA0002507999790000081
Figure BDA0002507999790000082
然后，比较d1和d2的差值，如果两个值相差较大，即|d1-d2|＞d0，其中d0是第一门限值即一个预设的门限值，如d0设为2米，则表明当前路牌信息误差较大，不宜用于定位，结束处理过程。否则，说明当前路牌图像信息稳定，可用于定位修正，即执行步骤1.5.2。
步骤1.5.2：根据长边距离估计值和短边距离估计值计算运动载体与道路标牌的距离。
运动载体与路牌距离值d可取两者的平均值。即
d＝(d1+d1)/2 (4)
然后，判断车载系统是否到达路牌所在的位置。
可将运动载体与路牌距离d与预设的门限值dth即第二门限值比较，如果d＜dth，则说明车载系统正在通过路牌所在位置，则执行下一步。例如dth可取值0.5米。否则，说明车载系统尚未到达路牌所在位置，返回步骤1.5.1，持续监测路牌距离，附图11为道路标牌距离由远到近的过程示例。
步骤1.5.3：根据路牌的位置信息，修正组合导航的定位输出。
当车载系统通过路牌所在位置时，对INS/DR组合导航的位置进行修正，即使用路牌的精确位作为组合导航的位置输出，但是输出位置的高度需要用路牌位置的高度减去路牌距地高度得到的路牌下方地面高度，从而得到精确的位置输出。
模块2：路牌信息处理模块
路牌信息处理模块，用于道路图像信息采集和分析，并检索路牌信息数据库。图4是路牌信息处理的流程图。如附图4所示，具体包括如下步骤。
步骤2.1：获取道路图像。由固定于车辆前方的摄像头实时捕获车辆前进方向的道路图像。保留次图像获取的时刻，用于后续估计行驶距离。
步骤2.2：路牌区域识别。使用基于深度学习的目标检测算法，对获取到的道路图像进行处理。优选地，使用基于回归的目标检测算法，如基于SSD的算法、ResNet算法或RefineDet算法等，以快速完成路牌区域识别。如果图像中有完整路牌，则输出路牌区域的图像，否则输出路牌识别不成功的标志。如附图10所示，对获取的道路图像进行处理，识别包含路牌的图像区域。如果识别出路牌的区域，且路牌区域为长方形，则表明路牌位于行驶方向的正前方，则执行步骤2.3；否则，说明图像区域中没有路牌，或者路牌不在行驶方向的前方，结束处理。
步骤2.3：路牌信息智能识别。使用基于深度学习的智能算法，对包含路牌的图像区域进行信息智能识别，包括路牌内的文字、交通指示符号、以及各部分之间的相对位置关系等。优选地，使用全卷积的语义分割模块，对路牌图像区域进行处理，准确得到路牌中不同的中文、拼音和数字等多个子区域；文字识别模块和数字识别模块采用SSD算法、R-CNN算法等分别对每个子区域进行文字或数字识别；然后，使用识别出的内容生成路牌的特征信息。如果成功识别出上述信息，则执行步骤2.4；否则结束处理。
步骤2.4：路牌信息检索。以上一步中识别到的路牌特征，向数据库中检索对应的路牌信息。如果有必要，在检索时应该提供消除路牌歧义的信息，例如当前所在区域(市县区)。如果无法检索到满足条件的路牌，则结束处理。如果检索到满足条件的路牌，则执行步骤2.5。
步骤2.5：输出检索到的路牌信息，可能包括路牌编号、路牌地理坐标(经度、维度和高度)，可能还包括路牌尺寸(长度、宽度或者高度)。结束处理。
模块3：路牌信息数据库，存储道路标牌信息。
路牌信息数据库用于存储道路标牌信息，并响应模块2的路牌信息检索请求，返回响应的路牌信息。如附图6所示，路牌信息包括以下内容：
路牌编号：数据库内为每个路牌指定的全局唯一的编号；
路牌中的文字：包括汉字、拼音和英文等，用来标识道路名称、方向、交通指示等；
路牌中的符号：包括路牌中的指示符号，例如左转、右转、直行或多个符号的组合等；
路牌内容的布局：包括道路文字间的相对位置等；
路牌的大小尺寸：路牌的长度、宽度(或高度)等；
路牌的位置：指路牌中心点所处位置的地理坐标，一般包括经度、维度和高度三个分量；另外，为了便于消除不同区域道路同名引起的路牌歧义，路牌信息中心还包括路牌所属省、市、区的信息。
本发明的路牌信息数据库，可以存储在导航设备的存储器内，亦可以存储在网络服务器中。如果存储于网络服务器或云计算服务器，则通过无线通信网络访问数据库服务器。
本发明利用大部分道路标牌具备的唯一性、易识别、精确位置信息和易获取等特点，借助智能图像处理和文字识别等技术，在卫星导航系统不可用、同时采用INS/DR组合导航系统进行导航定位的场景中，如城市峡谷、隧道、地下车库等场景，利用道路标牌提供的精确位置信息，为INS/DR组合导航组合导航系统提供辅助位置修正，从根本上抑制1NS/DR误差随时间累积，且不断发散的趋势，消除导航定位误差，实现高精度定位。
如附图5所示，本发明还提供一种道路标牌辅助的高精度融合定位装置包括：融合导航处理计算机，以及与组合导航计算机连接的惯性测量器件(包括陀螺仪和加速度计等)、GNSS卫星导航模块、里程计、摄像头、无线通信模块和天线以及电源模块。所述融合导航计算机用于执行本发明的一种道路标牌智能识别辅助的融合导航定位方法。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种道路标牌智能识别辅助的融合导航定位方法，其特征在于，包括以下步骤：
S1、卫星导航系统状态评估：卫星导航系统即为GNSS，检测GNSS信号是否接收稳定且系统状态好；若GNSS状态好，则进行GNSS/INS组合导航，执行步骤S2，否则，进行1NS/DR组合导航和道路标牌信息辅助导航修正，执行步骤S3；
S2、进行卫星导航系统和惯性导航系统组合导航：惯性导航系统即为INS，由GNSS和INS实现GNSS/INS组合导航，通过INS测量载体运动的状态，计算运动载体位置，结合GNSS定位定向结果与INS定位定向结果，输出实时的运动载体位置、姿态信息，实现导航定位，然后返回步骤S1，进入下一个处理周期；
S3、进行惯性导航系统和航位推算组合导航：航位推算即为DR，由INS和DR实现INS/DR组合导航系统，通过INS测量运动载体的状态，计算运动载体位置，结合DR定位定向结果与INS定位定向结果，输出实时的运动载体位置、姿态信息；
S4、道路标牌信息处理：在运动载体上采集道路图像，并对道路图像中若干道路标牌区域进行提取，在提取的所有道路标牌区域中对道路标牌信息进行识别，将识别结果在道路标牌数据库内进行检索，若在检索过程中能获取道路标牌信息，则执行步骤S5，否则返回步骤S1，进入下一个处理周期；
S5、进行道路标牌信息辅助导航修正：根据道路图像获取若干实时的道路标牌图像信息，依次判断运动载体是否通过道路标牌所在位置，判断成功后，在运动载体通过道路标牌所在位置时，对步骤S3中输出的运动载体位置进行修正，输出实时的运动载体位置、姿态信息，实现辅助导航定位，返回步骤S1，等待进入下一个处理周期；否则返回步骤S4，重新采集道路图像。
2.根据权利要求1所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于，所述S4中道路标牌信息处理具体过程包括：
S41、获取道路图像：由固定于运动载体前方的摄像头实时捕获运动载体前进方向的道路图像，保留每次图像获取的时刻，用于后续计算；
S42、若干道路标牌区域识别：对获取的道路图像进行处理，识别包含道路标牌的图像区域；若识别出的道路标牌区域，且路牌区域为长方形，则表明道路标牌位于行驶方向的正前方，则执行步骤S43；否则，说明道路图像中没有道路标牌区域，或者道路标牌不在行驶方向的前方，则返回步骤S1，进入下一个处理周期；
S43、道路标牌智能识别：在道路标牌区域中对道路标牌进行智能识别，包括道路标牌的文字、交通指示符号以及各部分之间的相对位置关系；若识别成功，则执行步骤S44；否则返回步骤S1，进入下一个处理周期；
S44、道路标牌信息检索：根据S43中识别信息，向道路标牌数据库中检索对应的道路标牌信息；若未检索到相应的道路标牌信息，则返回步骤S1，进入下一个处理周期；否则执行步骤S45；
S45、输出检索到的道路标牌信息：道路标牌信息包括道路标牌编号、道路标牌中文字、道路标牌地理坐标、道路标牌尺寸；输出检索到的道路标牌信息并结束处理，执行步骤S5。
3.根据权利要求2所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于：所述道路标牌地理坐标包括道路标牌的经度、纬度和高度。
4.根据权利要求1所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于：所述S5进行道路标牌信息辅助导航修正具体过程包括：
S51、根据道路图像获取若干实时的道路标牌图像信息，判断当前道路标牌信息是否可用于导航定位：获取若干实时的道路标牌图像信息，道路标牌图像信息包括道路标牌的长、宽像素数，进而计算长边距离估计值与短边距离估计值；比较长边距离估计值与短边距离估计值的差值，若差值大于第一门限值，则认定当前道路标牌信息误差较大，不宜用于导航定位，结束处理过程，返回步骤S1，进入下一个处理周期；否则，执行步骤S52；
S52、根据长边距离估计值和短边距离估计值计算运动载体与道路标牌的距离，判断运动载体是否通过道路标牌所在位置：所述运动载体与道路标牌的距离为长边距离估计值和短边距离估计值的平均值，将所述平均值与第二门限值比较，若平均值小于第二门限值，则运动载体通过道路标牌所在位置，执行步骤S53，；否则，不能确定运动载体是否通过道路标牌所在位置，返回步骤S51；
S53、道路标牌信息辅助导航修正：获取道路标牌数据库内的道路标牌信息，根据道路标牌信息中的道路标牌精确定位计算输出运动载体位置信息。
5.根据权利要求4所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于，所述步骤S51中计算长边距离估计值与短边距离估计值的具体过程包括：获取若干实时的道路标牌图像信息，道路标牌图像信息包括道路标牌的长、宽像素数，进而计算运动载体与道路标牌的距离：
Figure FDA0002507999780000031
Figure FDA0002507999780000032
其中w1、p1和d1分别为道路标牌的长边实际长度、长像素数和长边距离估计值，w2、p2和d2分别为道路标牌的短边实际长度、宽像素数和短边距离估计值，f为相机的焦距。
6.根据权利要求1所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于，所述S2中结合GNSS定位定向结果与INS定位定向结果或S3中结合DR定位定向结果与INS定位定向结果，其具体过程包括：采用卡尔曼滤波方法对GNSS定位定向结果或DR定位定向结果与INS定位定向结果进行组合。
7.一种道路标牌智能识别辅助的融合导航定位装置，用于实现权利要求1-6任一所述的一种道路标牌智能识别辅助的融合导航定位方法，其特征在于，包括：依次连接的融合导航处理模块、路牌信息处理模块和路牌信息数据库；
所述融合导航处理模块包括融合导航处理计算机以及与融合导航处理计算机连接的惯性测量器件、GNSS卫星导航模块、里程计、摄像头、无线通信模块和天线、电源模块；
所述融合导航处理计算机的存储器内存有道路标牌数据库；所述路牌信息处理模块包括与融合导航处理计算机连接的摄像头。
8.根据权利要求7所述的一种道路标牌智能识别辅助的融合导航定位装置，其特征在于：所述惯性测量器件为加速度计或陀螺仪。
9.根据权利要求7所述的一种道路标牌智能识别辅助的融合导航定位装置，其特征在于：还包括网络服务器或云计算服务器，所述网络服务器或云计算服务器用于存储道路标牌数据库，所述网络服务器或云计算服务器通过无线通信模块和天线与融合导航处理计算机连接。
CN202010457974.8A 2020-05-26 2020-05-26 一种道路标牌智能识别辅助的融合导航定位方法及装置 Pending CN111766619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457974.8A CN111766619A (zh) 2020-05-26 2020-05-26 一种道路标牌智能识别辅助的融合导航定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457974.8A CN111766619A (zh) 2020-05-26 2020-05-26 一种道路标牌智能识别辅助的融合导航定位方法及装置

Publications (1)

Publication Number Publication Date
CN111766619A true CN111766619A (zh) 2020-10-13

Family

ID=72719579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457974.8A Pending CN111766619A (zh) 2020-05-26 2020-05-26 一种道路标牌智能识别辅助的融合导航定位方法及装置

Country Status (1)

Country Link
CN (1) CN111766619A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112362070A (zh) * 2020-10-15 2021-02-12 武汉科技大学城市学院 一种车辆导航方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112362070A (zh) * 2020-10-15 2021-02-12 武汉科技大学城市学院 一种车辆导航方法及装置

Similar Documents

Publication Publication Date Title
CN111380539B (zh) 车辆定位、导航方法和装置及相关系统
CN111833717B (zh) 用于定位交通工具的方法、装置、设备和存储介质
KR101919366B1 (ko) 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
CN102565832B (zh) 用附加车载视觉传感器加强gps或gps/传感器车辆定位的方法
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
US7928905B2 (en) Method of using road signs to augment global positioning system (GPS) coordinate data for calculating a current position of a personal navigation device
EP3663718B1 (en) Method and apparatus for estimating a localized position on a map
US11686862B2 (en) Inferring vehicle location and movement using sensor data fusion
CN101819043B (zh) 导航装置及导航方法
JP5116555B2 (ja) 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
CN108627175A (zh) 用于识别车辆位置的系统和方法
US20090228204A1 (en) System and method for map matching with sensor detected objects
CN107339996A (zh) 车辆自定位方法、装置、设备及存储介质
JP5404861B2 (ja) 静止物地図生成装置
CN107735692A (zh) 用于对车辆进行定位的方法和设备
EP3842735B1 (en) Position coordinates estimation device, position coordinates estimation method, and program
CN104748756B (zh) 使用云计算测量车辆位置的方法
US11951992B2 (en) Vehicle positioning method and apparatus, storage medium, and electronic device
JP2008065087A (ja) 静止物地図生成装置
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
CN110119138A (zh) 用于自动驾驶车辆的自定位方法、系统和机器可读介质
CN110018503B (zh) 车辆的定位方法及定位系统
EP3647820A1 (en) Method, apparatus, and computer program product for establishing location
CN108827325B (zh) 对数据进行定位的方法、设备和计算机可读的存储介质
US11812342B2 (en) Cellular-based navigation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination