CN102156866A - 路牌识别系统及路牌识别方法 - Google Patents
路牌识别系统及路牌识别方法 Download PDFInfo
- Publication number
- CN102156866A CN102156866A CN 201110056606 CN201110056606A CN102156866A CN 102156866 A CN102156866 A CN 102156866A CN 201110056606 CN201110056606 CN 201110056606 CN 201110056606 A CN201110056606 A CN 201110056606A CN 102156866 A CN102156866 A CN 102156866A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- guideboard
- panoramic picture
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种路牌识别系统及路牌识别方法，路牌识别系统包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接。本发明的路牌识别系统及路牌识别方法可以将实景路牌中的文字按用户设定的语言进行翻译，并将翻译后的文字融合到路牌图像中进行显示，从而弥补了路牌标注信息因语言障碍造成的不足。
Description
技术领域
本发明涉及路牌信息再显示技术领域，特别涉及一种路牌识别系统及路牌识别方法。
背景技术
随着我国的经济发展以及开放度的提高，近年来越来越多的外籍人士来到中国学习、工作、旅游及参加大型活动。但是，道路上的路牌和公共场所的标识一般都只有中文标注，少数场合会用中英文进行标注，对于不懂英语和汉语的外国人来说，辨识路牌无疑是一件极为困难的事情。
发明内容
本发明的目的在于提供一种路牌识别系统及路牌识别方法，能将路牌以用户设定的语言进行显示，方便用户辨认。
本发明的技术方案如下：
一种路牌识别系统，包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接；服务器用于存储全景图像和进行文字翻译；控制模块用于协调、控制各模块工作；人机交互模块用于接收用户的输入指令；计算机模式识别模块用于对路牌图像上的文字信息进行自动识别和提取；图像融合模块用于将翻译后的文字与路牌图像进行融合，并将该路牌图像融合到全景图中；存储模块用于存储地图数据、原始图像及融合后的图像；显示模块用于显示路牌图像或全景图像。
所述的路牌识别系统，其中，还包括图像输入模块和文字翻译模块，图像输入模块和文字翻译模块分别与控制模块连接，图像输入模块用于获取路牌图像，文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。
所述的路牌识别系统，其中，无线网络是3G网络。
所述的路牌识别系统，其中，路牌识别装置中集成有GPS接收芯片。
一种路牌识别装置，包括图像输入模块、控制模块、显示模块、计算机模式识别模块、文字翻译模块、存储模块、图像融合模块，图像输入模块、显示模块、文字翻译模块、存储模块、计算机模式识别模块、图像融合模块分别与控制模块连接；图像输入模块用于获取路牌图像；控制模块用于协调、控制各模块工作；计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取；文字翻译模块用于将提取出的文字信息翻译成用户指定的语言；图像融合模块用于将翻译后的文字与原路牌图像进行融合；存储模块用于存储原始图像及融合后的图像；显示模块用于显示融合后的图像。
所述的路牌识别系统，其中，还包括人机交互模块，人机交互模块与控制模块连接，用于接收用户的输入指令。
所述的路牌识别系统，其中，人机交互模块采用便携式设备上的触摸屏实现，图像输入模块采用便携式设备内置的摄像头实现。
一种路牌识别方法，包括：获取用户选择的二维地图中的地点；调用与该二维地图中的地点最为接近的一帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。
一种路牌识别方法，包括：获取用户拍摄的路牌图像；将路牌图像与最接近的一帧全景图像进行匹配；调用该帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。
一种路牌识别方法，包括：获取用户拍摄的路牌图像；对路牌图像中的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合；存储融合后的图像；显示融合后的图像。
本发明的有益效果是：
本发明的路牌识别系统及路牌识别方法可以将实景路牌中的文字按用户设定的语言进行翻译，并将翻译后的文字融合到路牌图像中进行显示，从而弥补了路牌标注信息因语言障碍造成的不足。
附图说明
图1是离线模式下的路牌识别装置的示意图；
图2是在线模式下的路牌识别系统的示意图。
具体实施方式
以下将结合附图，对本发明的具体实施方式和实施例加以详细说明，所描述的具体实施例仅用以解释本发明，并非用于限定本发明的具体实施方式。
本发明路牌识别装置具有离线模式和在线模式两种工作模式。
如图1所示，离线模式为单机模式，离线模式下的路牌识别装置包括图像输入模块、控制模块、显示模块、人机交互模块(可选)、计算机模式识别模块、文字翻译模块、图像融合模块、存储模块。图像输入模块、显示模块、人机交互模块、计算机模式识别模块、文字翻译模块、图像融合模块、存储模块分别与控制模块连接。
图像输入模块采用便携设备内置的摄像头实现。用户可以通过内置的摄像头对路牌进行拍摄，图像输入模块将拍摄的路牌图像传送至控制模块。
控制模块用于协调、控制各模块工作。
控制模块将路牌图像传送至计算机模式识别模块，计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取。具体实现方法为：通过成熟模式识别技术(如OCR技术)提取出图像中的文字信息。
文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。在离线模式下，文字翻译模块采用便携设备内置的翻译词典实现。
图像融合模块用于将翻译后的文字通过成熟的图像融合技术与原路牌图像进行融合(即将原路牌图像中的文字替换为翻译后的文字)，然后将融合后的图像发送至控制模块。
控制模块控制显示模块显示融合后的图像。
显示模块可以采用便携设备(如手机、PDA等)上的液晶显示设备实现。
存储模块用于存储原始图像及融合后的图像。
人机交互模块不是必须的，主要是为了更便于用户使用。人机交互模块用于提供人为参与捕获路牌信息的功能，可以更加快速便捷的提取出用户自定义选择的路牌信息。人机交互模块可以采用便携设备上的触摸屏实现。当启用此功能时，控制模块首先将图像输入模块获取的路牌图像传送至显示模块进行显示，用户通过触摸屏圈选出自己感兴趣的路牌所在范围，控制模块将此区域范围导入至计算机模式识别模块。之后重复以上的工作流程，直至显示模块显示出融合后的图像。
此外，人机交互模块还可以采用便携设备上的键盘实现，通过键盘上的方向键移动图像，通过键盘上的确认键进行选定操作。
请参阅图2，在线模式为服务器-客户端模式，在线模式下的路牌识别系统包括路牌识别装置(即客户端)和服务器。在线模式下的路牌识别装置包括图像输入模块(可选)、控制模块、显示模块、人机交互模块、计算机模式识别模块、文字翻译模块(可选)、存储模块、图像融合模块、通信模块。图像输入模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、文字翻译模块、图像融合模块、通信模块分别与控制模块连接。通信模块通过无线网络与服务器连接。
图像输入模块不是必须的，用户除了可以采用内置摄像头获取路牌图像外，还可以通过无线网络(如手机3G网络)从服务器调用360°全景图来获取图像。360°全景图来自服务器的数据库，这些高清的全景图像采用专业摄影测量设备进行数据采集，用户在获得许可的前提下便可调用这些全景图像。具体实现方法是：用户通过路牌识别装置内置的二维地图(存储在存储模块中)选择自己感兴趣的地点，路牌识别装置将该地点坐标通过无线网络发送至服务器，服务器通过搜索调出与该地点最为接近的一帧全景图像，并将此图像传至路牌识别装置。用户通过触摸屏圈选出自己感兴趣的路牌所在范围并发出处理该范围内图像的指令，此区域范围随即导入至计算机模式识别模块。
计算机模式识别模块对路牌图像上的文字信息进行自动识别和提取。控制模块将提取出的文字通过无线网络上传至服务器，借助互联网进行文字翻译(即在线翻译)。在线翻译的好处在于由于网络字典的单词量更大，所以翻译后的内容将更为准确。当然，这个翻译工作也可以采用文字翻译模块实现(即本地翻译)。或者采用本地翻译与在线翻译相结合的方式。
控制模块将翻译后的文字传送至图像融合模块，图像融合模块将翻译后的文字与路牌图像进行融合，并将融合后的路牌图像融合到360°全景图中。控制模块控制显示模块显示全景图像，此时的全景图像还可以调用服务器里已有的建筑物和道路等兴趣点(POI，Point Of Interest)的名称信息，一并显示给用户。
如果用户是采用内置摄像头来完成路牌图像的输入功能，则在调用全景图像时，服务器将自动匹配摄像头拍摄的路牌图像至与其最接近的一帧全景图像，并调用此全景图像，此时需要有图像获取处的地理坐标信息(可以由用户自定义输入，或在路牌识别装置中集成GPS接收芯片进行自身定位，或者通过手机信号基站GPRS定位)，该地理坐标信息将使得服务器的匹配更加快速准确。
存储模块用于存储二维地图、原始图像及融合后的图像。
在图1和图2中，路牌识别装置可以采用便携式设备(如手机、PDA、便携式笔记本电脑)实现。
下面通过一个应用实例对上述路牌识别系统进行更清楚的说明，在此应用实例中，用户采用离线模式进行图像输入，采用在线模式进行翻译，采用离线和在线两种模式进行图像再显示，用户的使用语言为德语。
步骤一，拍摄照片
此用户处于深圳某地，并拍摄了一张包含文字地标路牌信息的照片。
步骤二，选定区域
用户通过触摸屏选出包含文字信息的区域。
步骤三，文字翻译
路牌识别装置将选定区域内的中文“深圳世界之窗”提取出来，上传至服务器，服务器将文字翻译成德文“Fenster der Welt，Shenzhen”。
步骤四，图像再显示
路牌识别装置将文字“Fenster der Welt，Shenzhen”融合在拍摄的路牌图像中，替换原有文字“深圳世界之窗”，并在显示模块中显示出融合后的图像。
步骤五，在线全景显示
路牌识别装置向服务器发送该装置的位置，服务器调用与该装置位置最接近的全景图像进行匹配，匹配出包含该路牌信息的一帧全景图像之后，融合翻译过的路牌图像以及一些POI信息显示给用户。
此外，本发明还提供了三种图像融合的方法，分别如下：
第一种图像融合的方法包括：获取用户拍摄的路牌图像；对路牌图像中的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合；存储融合后的图像；显示融合后的图像。
第二种图像融合的方法包括：获取用户选择的二维地图中的地点；调用与该二维地图中的地点最为接近的一帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。
第三种图像融合的方法包括：获取用户拍摄的路牌图像；将路牌图像与最接近的一帧全景图像进行匹配；调用该帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种路牌识别系统，其特征在于：包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接；
服务器用于存储全景图像和进行文字翻译；
控制模块用于协调、控制各模块工作；
人机交互模块用于接收用户的输入指令；
计算机模式识别模块用于对路牌图像上的文字信息进行自动识别和提取；
图像融合模块用于将翻译后的文字与路牌图像进行融合，并将该路牌图像融合到全景图中；
存储模块用于存储地图数据、原始图像及融合后的图像；
显示模块用于显示路牌图像或全景图像。
2.根据权利要求1所述的路牌识别系统，其特征在于，还包括图像输入模块和文字翻译模块，图像输入模块和文字翻译模块分别与控制模块连接，图像输入模块用于获取路牌图像，文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。
3.根据权利要求1所述的路牌识别系统，其特征在于，无线网络是3G网络。
4.根据权利要求1所述的路牌识别系统，其特征在于，路牌识别装置中集成有GPS接收芯片。
5.一种路牌识别装置，其特征在于：包括图像输入模块、控制模块、显示模块、计算机模式识别模块、文字翻译模块、存储模块、图像融合模块，图像输入模块、显示模块、文字翻译模块、存储模块、计算机模式识别模块、图像融合模块分别与控制模块连接；
图像输入模块用于获取路牌图像；
控制模块用于协调、控制各模块工作；
计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取；
文字翻译模块用于将提取出的文字信息翻译成用户指定的语言；
图像融合模块用于将翻译后的文字与原路牌图像进行融合；
存储模块用于存储原始图像及融合后的图像；
显示模块用于显示融合后的图像。
6.根据权利要求5所述的路牌识别装置，其特征在于，还包括人机交互模块，人机交互模块与控制模块连接，用于接收用户的输入指令。
7.根据权利要求6所述的路牌识别装置，其特征在于，人机交互模块采用便携式设备上的触摸屏实现，图像输入模块采用便携式设备内置的摄像头实现。
8.一种路牌识别方法，其特征在于，包括：
获取用户选择的二维地图中的地点；
调用与该二维地图中的地点最为接近的一帧全景图像；
获取用户圈选出的图像范围；
对图像范围内的文字信息进行自动识别和提取；
对提取出的文字进行翻译；
将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；
存储全景图像；
显示全景图像。
9.一种路牌识别方法，其特征在于，包括：
获取用户拍摄的路牌图像；
将路牌图像与最接近的一帧全景图像进行匹配；
调用该帧全景图像；
获取用户圈选出的图像范围；
对图像范围内的文字信息进行自动识别和提取；
对提取出的文字进行翻译；
将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；
存储全景图像；
显示全景图像。
10.一种路牌识别方法，其特征在于，包括：
获取用户拍摄的路牌图像；
对路牌图像中的文字信息进行自动识别和提取；
对提取出的文字进行翻译；
将翻译后的文字与原图像进行融合；
存储融合后的图像；
显示融合后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110056606 CN102156866A (zh) | 2011-03-09 | 2011-03-09 | 路牌识别系统及路牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110056606 CN102156866A (zh) | 2011-03-09 | 2011-03-09 | 路牌识别系统及路牌识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102156866A true CN102156866A (zh) | 2011-08-17 |
Family
ID=44438357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110056606 Pending CN102156866A (zh) | 2011-03-09 | 2011-03-09 | 路牌识别系统及路牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102156866A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902994A (zh) * | 2012-12-28 | 2014-07-02 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
| CN106021408A (zh) * | 2016-05-13 | 2016-10-12 | 立德高科（昆山）数码科技有限责任公司 | 通过识读指定图像对所选定的标识图像进行播放的方法 |
| CN106560835A (zh) * | 2015-09-30 | 2017-04-12 | 高德软件有限公司 | 一种路牌识别方法及装置 |
| CN106991733A (zh) * | 2016-01-20 | 2017-07-28 | 上海海拉电子有限公司 | 一种车辆钥匙、停车位置监测系统及车辆钥匙操作方法 |
| CN112257099A (zh) * | 2020-12-24 | 2021-01-22 | 北京中超伟业信息安全技术股份有限公司 | 一种适用于应急销毁车上的保密设备识别装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1482572A (zh) * | 2003-06-27 | 2004-03-17 | 杭州信雅达系统工程股份有限公司 | 票据图象处理装置 |
| US20050002566A1 (en) * | 2001-10-11 | 2005-01-06 | Riccardo Di Federico | Method and apparatus for discriminating between different regions of an image |
-
2011
- 2011-03-09 CN CN 201110056606 patent/CN102156866A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050002566A1 (en) * | 2001-10-11 | 2005-01-06 | Riccardo Di Federico | Method and apparatus for discriminating between different regions of an image |
| CN1482572A (zh) * | 2003-06-27 | 2004-03-17 | 杭州信雅达系统工程股份有限公司 | 票据图象处理装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《Proceedings of the Workshop on Perceptive User Interfaces》 20011130 Jie Yang et al An Automatic Sign Recognition and Translation System , * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902994A (zh) * | 2012-12-28 | 2014-07-02 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
| CN106560835A (zh) * | 2015-09-30 | 2017-04-12 | 高德软件有限公司 | 一种路牌识别方法及装置 |
| CN106560835B (zh) * | 2015-09-30 | 2019-05-24 | 高德软件有限公司 | 一种路牌识别方法及装置 |
| CN106991733A (zh) * | 2016-01-20 | 2017-07-28 | 上海海拉电子有限公司 | 一种车辆钥匙、停车位置监测系统及车辆钥匙操作方法 |
| CN106021408A (zh) * | 2016-05-13 | 2016-10-12 | 立德高科（昆山）数码科技有限责任公司 | 通过识读指定图像对所选定的标识图像进行播放的方法 |
| CN112257099A (zh) * | 2020-12-24 | 2021-01-22 | 北京中超伟业信息安全技术股份有限公司 | 一种适用于应急销毁车上的保密设备识别装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9424255B2 (en) | Server-assisted object recognition and tracking for mobile devices | |
| US9665986B2 (en) | Systems and methods for an augmented reality platform | |
| CN103335657B (zh) | 一种基于图像捕获和识别技术增强导航功能的方法和系统 | |
| US10147399B1 (en) | Adaptive fiducials for image match recognition and tracking | |
| CN103945129A (zh) | 基于移动终端的拍照预览构图指导方法及系统 | |
| US20140193038A1 (en) | Image processing apparatus, image processing method, and program | |
| KR101790655B1 (ko) | 버스 정보 조회, 피드백 방법, 모바일 단말 및 서버 | |
| CN110442813B (zh) | 一种基于ar的旅游纪念信息处理系统及方法 | |
| US20150032771A1 (en) | System and method for sharing geo-localized information in a social network environment | |
| CN108114471B (zh) | Ar业务处理方法、装置、服务器及移动终端 | |
| KR20150075532A (ko) | 증강 현실 제공 장치 및 방법 | |
| EP4050305A1 (en) | Visual positioning method and device | |
| US20120229487A1 (en) | Method and Apparatus for Reflection Compensation | |
| CN102156866A (zh) | 路牌识别系统及路牌识别方法 | |
| CN103731599A (zh) | 拍照方法及相机 | |
| EP3933753A1 (en) | Method for processing image, related device and storage medium | |
| CN106709837A (zh) | 一种基于移动终端对违建信息的高精度采集方法 | |
| Khan et al. | Rebirth of augmented reality-enhancing reality via smartphones | |
| CN202171801U (zh) | 一种包含有位置信息图片的生成装置和处理装置 | |
| Hui et al. | Mobile augmented reality of tourism-Yilan hot spring | |
| CN206684750U (zh) | 一种基于展会活动的图像识别及信息查询系统 | |
| CN103327246A (zh) | 一种多媒体拍摄处理方法、装置及智能终端 | |
| CN104572830A (zh) | 推荐拍摄信息的处理方法及装置 | |
| Frajberg et al. | Heterogeneous information integration for mountain augmented reality mobile apps | |
| TW201305985A (zh) | 行動運算裝置的內容提供方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110817 |