CN106415595A - 用于使用不同语言的翻译的交通工具的图像捕获系统 - Google Patents

用于使用不同语言的翻译的交通工具的图像捕获系统 Download PDF

Info

Publication number
CN106415595A
CN106415595A CN201580009674.0A CN201580009674A CN106415595A CN 106415595 A CN106415595 A CN 106415595A CN 201580009674 A CN201580009674 A CN 201580009674A CN 106415595 A CN106415595 A CN 106415595A
Authority
CN
China
Prior art keywords
vehicles
language
text
information
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580009674.0A
Other languages
English (en)
Inventor
尼兰詹·默西
安迪·韦尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Land Rover UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Land Rover UK Ltd filed Critical Land Rover UK Ltd
Publication of CN106415595A publication Critical patent/CN106415595A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)

Abstract

一种用在具有选定交通工具语言的交通工具中的系统，该系统包括：用于捕获交通工具外部的图像场景的图像捕获部件，其中，图像场景包括一个或更多个信息指示，一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本。提供了用于将表示选定交通工具语言的交通工具语言信号输出至非自载服务器的部件；并且提供了用于将表示国家语言的国家语言信号输出至非自载服务器的部件。还提供了用于将文本输出至非自载服务器以将文本从国家语言翻译成交通工具语言的部件；以及用于从非自载服务器接收表示翻译文本的翻译文本输出的部件。提供了用于将翻译文本输出传送给交通工具用户的部件。在替选布置中，该系统承载用于将文本从国家语言翻译成交通工具语言的自载翻译器，使得翻译自载地进行而不是非自载地进行。

Description

用于使用不同语言的翻译的交通工具的图像捕获系统
技术领域
本公开内容涉及用在交通工具中的系统，具体地但非排他地，涉及在旨在讲不同语言的多个不同国家中驾驶的交通工具中使用的系统。本公开内容还涉及并入这样的交通工具系统的交通工具以及有助于在多个不同国家中驾驶交通工具的方法。本发明的各方面涉及系统、方法及交通工具。
背景技术
自载(on-board)卫星导航系统具有以所选择的语言为驾驶员提供口头指示的设备，使得可以容易地理解并跟随如由用户所选择的导航路线。然而，在驾驶交通工具穿越讲不同语言的不同国家或领土的情况下，对交通工具驾驶员而言存在以下问题：他们可能不理解在路线中出现的道路标志的语言或其他信息显示。例如，当驾驶交通工具穿越欧洲时，交通工具驾驶员可能不得不驾驶经过若干不同国家，每个国家具有不同的语言，而交通工具驾驶员或乘客可能不熟悉任何一种语言。这可能对驾驶员造成具有压力的驾驶体验，并且如果重要的道路交通信息经由道边的标牌来传达，则存在潜在的危险。对驾驶员而言，词典可用于查找他们不熟悉的语言中的词，然而此过程与驾驶交通工具的动作不相容，所以需要中断行程以使驾驶员查找翻译。
基于这样的背景，构思出了本发明。本发明的实施方式可以提供有助于驾驶员在多个不同地理区域中的道路上使用的方法或系统。根据以下描述、权利要求书和附图，本发明的其他目的和优点将变得明显。
发明内容
本发明的各方面提供了如所附权利要求书中要求保护的系统、方法及交通工具。
根据本发明的一方面，提供了一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与该系统之间要使用所述选定交通工具语言来进行通信，该系统包括：用于捕获交通工具外部的图像场景的图像捕获部件，其中，图像场景包括一个或更多个信息指示，一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；用于将表示选定交通工具语言的交通工具语言信号输出至非自载服务器的部件；用于将表示国家语言的国家语言信号输出至非自载服务器的部件；用于将文本输出至非自载服务器以将文本从国家语言翻译成交通工具语言的部件；用于接收从非自载服务器输出的表示翻译文本的翻译文本的部件；以及用于将翻译文本输出传送至交通工具用户的部件。
另一方面，提供了一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与该系统之间要使用所述选定交通工具语言来进行通信，该系统包括：用于捕获交通工具外部的图像场景的图像捕获部件，其中，图像场景包括一个或更多个信息指示，一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；用于将文本从国家语言翻译成选定交通工具语言并生成表示翻译文本的翻译文本输出的部件；以及用于将翻译文本输出传送至交通工具用户的部件。
出于本说明书的目的，短语“信息指示”意在指示当交通工具正行驶时以数字或字母字符或其他符号的形式向交通工具用户传达含义或指示的、具有标牌、电子或其他显示板、广告牌或任何其他布告牌上通常承载的类型的任意字符，并且包括例如具有道路名称和编号、方向信息、道路出口或路口编号、距离、道路标志符号和地名的形式的字符。
可以视觉地或听觉地或者通过这两者将信息输出传送给用户。可以由用户经由例如人机界面(HMI)根据偏好来选择通信部件。
该系统通过以下方式来帮助驾驶员在道路上使用：通过使用相机系统捕获图像数据并将从图像数据得到的使用熟悉的语言翻译的文本传送给驾驶员来为驾驶员提供查看可能使用了不熟悉的语言的道路标志信息或者当驾驶员直接查看标志时他可能已经遗漏的道路标志信息的设备。
有益的是，相对于交通工具计算机系统非自载地或外部地执行翻译处理，以便减小自载计算机所需的处理器能力以及数据存储。
本实施方式提供了以下优点：翻译软件不需要被存储在交通工具自身上，而是存储在非自载服务器上。这降低了对自载的交通工具计算机的处理要求。
然而，如果在交通工具上执行翻译，则在存在无线“黑点”或者交通工具与外部服务器系统之间的通信相对弱的情况下是有利的，原因是仍然可以经由自载翻译处理器为用户呈现成像文本的翻译。
信息指示还可以包括图像场景中的符号，该系统包括用于根据符号得到符号含义的部件以及用于将符号含义传送至交通工具用户的部件。
信息指示可以包括在图像场景中的道路标志中。可替选地或另外地，信息指示可以包括在图像场景中的广告牌中。
该系统可以包括用于确定交通工具的地理位置的位置指示部件，并且其中，用于输出国家语言信号的部件从位置指示部件得到国家语言信号。
图像处理部件可以包括用于生成多个信息输出的部件，其中，信息输出中的每个信息输出表示图像场景的不同区域中的文本和/或符号。以这种方式，用户可以选择要被呈现的与道路标志的不同区域相关或与沿路边的连续道路标志相关的多条信息。
在本实施方式中，对于该系统而言有益的是：包括用于使得用户能够对需要来自其的信息的图像场景的区域进行选择的用户选择部件。
在另一实现中，可以按照交通工具经过图像场景中的相应的不同区域的次序将多个信息输出传送给用户。
在一种实施方式中，通信部件可以被布置成以取决于图像场景中的信息指示的位置的方式将信息输出传送给交通工具用户。
该系统可以包括具有多个扬声器的音频系统，每个扬声器在交通工具中的不同位置处。如果生成了多个信息输出，则信息输出中的每个信息输出可以根据扬声器在交通工具中的位置以及图像场景中的信息指示的位置通过扬声器中的不同的扬声器来传送。这以他们的部件获得信息所需的最小努力为驾驶员提供了图像场景中的信息的特别方便的位置依赖呈现。具体地，如果根据图像场景中的相应信息指示相对于驾驶员的相对位置来传送信息输出，则以特别清楚的方式来建议驾驶员。
通信部件可以包括音频系统和/或视觉显示屏。
该系统可以包括用于使得用户能够选择视觉显示屏或音频系统作为通信部件的部件。
根据本发明的另一方面，提供了一种用在具有选定交通工具语言的交通工具中的方法，交通工具用户与该系统之间要使用所述选定交通工具语言来进行通信，该方法包括：捕获交通工具外部的图像场景，其中，图像场景包括一个或更多个信息指示，一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；将表示选定交通工具语言的交通工具语言信号输出至非自载服务器；将表示国家语言的国家语言信号输出至非自载服务器；将文本输出至非自载服务器以将文本从国家语言翻译成交通工具语言；从非自载服务器接收表示翻译文本的翻译文本输出；以及将翻译文本输出传送给交通工具用户。
根据另一方面，提供了一种用在具有选定交通工具语言的交通工具中的方法，在交通工具用户与该系统之间要使用所述选定交通工具语言来进行通信，该方法包括：捕获交通工具外部的图像场景，其中，图像场景包括一个或更多个信息指示，一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；将文本从国家语言翻译成选定交通工具语言并生成表示翻译文本的翻译文本输出；以及将翻译文本输出传送给交通工具用户。
根据又一方面，本发明涉及一种包括如上述陈述中的任何陈述所阐述的系统的交通工具。
在本申请的范围内，应当明确地设想，在前述段落中、在权利要求书中和/或在以下说明书和附图中阐述的各个方面、实施方式、示例和替代以及特别是其各个特征可以独立地被采用或以任意组合被采用。也就是说，除非这样的特征不相容，否则所有实施方式和/或任何实施方式的特征可以以任意方式和/或组合来组合。本申请人保留改变任何原始提交的权利要求或因此提交任何新的权利要求的权利，该权利包括对任何原始提交的权利要求进行修正以使其取决于和/或包括虽然最初未以那样的方式要求保护的任何其他权利要求的任何特征的权利。
附图说明
现在将参照下面的图仅借助于示例对本发明的实施方式进行描述，在附图中：
图1示出了根据本发明的第一实施方式的交通工具系统的示意图，该交通工具系统包括用于捕获图像场景的交通工具相机系统；
图2是当交通工具行驶在途中时可以由图1中的交通工具相机系统捕获的图像场景的示例；
图3是当交通工具行驶在途中时可以由图1中的交通工具相机系统捕获的替选图像场景的示例；
图4是可以被捕获的图像场景中的道路标志的示例，道路标志包括文本信息和符号信息两者；
图5是示出了从由交通工具相机系统捕获的图像场景中的道路标志中提取符号信息和文本信息的方法的步骤的流程图；以及
图6示出了根据图1中示出的本发明的替选实施方式的交通工具系统的示意图。
具体实施方式
交通工具通常包括自载的交通工具计算机系统10，自载的交通工具计算机系统10自动地响应于来自各种交通工具传感器的传感器输出或者响应于用户发起的命令来控制各种交通工具设置。交通工具计算机系统10的构成部分是以下信息娱乐系统，该信息娱乐系统使得能够分别经由交通工具内的无线电系统和电视系统(未示出)将音频和视觉自载娱乐服务提供给交通工具用户。信息娱乐系统还包括卫星导航系统(未示出)。
交通工具配备有具有全球位置传感器12的形式的位置指示部件，该位置指示部件通过与外部定位系统(未示出)进行通信来创建当前交通工具位置的指示。全球位置传感器12将输出信号14提供至计算机系统10从而将交通工具位置的指示提供至计算机。此外，输出信号14特别用作卫星导航系统的输入。
自载计算机系统10可以只包括交通工具上承载的并且在购买时构成交通工具的整体部分的硬件，或者可以部分地或全部地由还用于交通工具上非自载的其他目的的、交通工具自载的装置，诸如驾驶员的个人装置(例如，平板或智能电话)提供。鉴于此，可以在交通工具用户的个人移动装置上运行的应用中实施本发明。
计算机系统10根据位置信号得到相应的国家指示信号以提供交通工具正在其中行驶的国家的指示。国家指示信号可以从存储在计算机系统10上的查找表得到。
如果计算机系统部分地或全部地在交通工具内的由用户携带的移动装置中实施，则移动装置可以用于生成国家信号。移动装置通常与移动网络运营商通信，以使得能够确定交通工具正行驶在局域网的哪个小区中。
在购买交通工具时经由交通工具语言设置功能16来设置交通工具的语言，交通工具的语言与用户希望与HMI通信的语言相对应。将交通工具语言信号18从交通工具语言设置功能16提供至计算机系统10。交通工具还包括麦克风20以使得交通工具用户能够向计算机系统10发出语音命令或者当经由无线连接(例如，)通过计算机系统进行操作时使得能够与用户的电话进行交互。
交通工具还包括人机界面(HMI)22，驾驶员可以经由HMI 22输入或控制各种交通工具设置，如对信息娱乐系统的输入并且包括对卫星导航系统的输入。为此，HMI设置有用户输入界面24。HMI 22还包括用于向交通工具驾驶员显示关于各种交通工具设置或属性的信息的通常呈LCD显示屏26形式的显示部件。HMI经由输出信号28与交通工具计算机进行通信。交通工具还包括响应于来自交通工具计算机的控制输出信号32的音频系统30。
在购买交通工具时对交通工具的语言进行设置，交通工具的语言与用户希望与HMI通信的语言相对应(例如，英语、德语、法语)。如随后将进一步详细描述的，语言信号18被输入至交通工具计算机系统10，使得经由HMI显示器26和/或音频系统30用正确的语言将通信如指令和其他提示输出给驾驶员。
交通工具的前方配备有相机系统40，该相机系统40用于在交通工具行驶在途中时从图像场景捕获图像数据。相机系统40经由输出信号42将图像场景数据提供至计算机系统。计算机系统10包括用于对由相机系统捕获的图像数据进行处理的处理器部件。出于处理图像数据的目的，计算机系统包括图像处理器44、标志-符号-文本(SST)识别处理器46和文本-语音(TTS)处理器48。
计算机系统10还包括数据存储装置或存储器50，在所述数据存储装置或存储器50中可以暂时地或永久地存储被提供至计算机系统10的数据。
自载计算机系统以经由无线连接56的常规方式经由因特网服务提供商54与外部服务器52进行通信。
如果在语言与交通工具的选定语言不同的国家或领土中正在驾驶交通工具，则如由交通工具语言信号18所指示的，该系统能够操作用于从承载使用外国语言的文本的道路标志捕获图像数据并且使得能够翻译图像数据中的文本。该系统还能够操作用于使得能够解释由道路标志承载的符号，尤其当驾驶员行驶在除了他自己的国家以外的国家中时他可能不熟悉这些符号。可以将文本的翻译和符号的解释传送给驾驶员以帮助安全便捷的驾驶。
参照图2，示出了当交通工具行驶在途中时可以由交通工具相机系统40捕获的图像场景60的示例。图像场景60包括第一道路标志62和第二道路标志64，第一道路标志62包括各自承载文本的第一标志区域62a和第二标志区域62b，第二道路标志64包括单个文本区域。道路标志62、64上的文本可以涉及例如地名或名胜、方向或正行驶的道路的出口。相机系统40从场景捕获图像数据并将图像数据输出至图像处理器44。图像处理器44对数据进行处理并将数据提供至SST处理器46。SST处理器46确定图像场景中是否出现了标志。如果识别出了标志，则与图像的标志元素相关的图像数据经历符号识别步骤，以确定标志上是否出现了符号。图像数据还经历文本识别步骤，以确定标志上是否出现了文本。在图2的示例中，道路标志62、64上均不存在要识别的符号，仅存在文本。
对于图2所示的道路标志，出于翻译的目的，从图像数据提取第一道路标志62的第一标志区域62a和第二标志区域62b上的文本以及第二道路标志64上的文本。在数据存储装置50中，给图像场景中出现道路标志62、64的各个位置分配文本指示。如根据以下描述将变得清楚的，出于呈现的目的，对标志的不同区域的数字分配是有用的。
将文本指示连同与如从全球位置传感器12得到的识别交通工具正在其中行驶的国家的交通工具位置相对应的国家指示信号(未示出)输出至外部服务器52。国家指示信号提供道路标志62、64上的文本的语言的指示。经由无线通信将国家指示信号发送至存储在外部服务器52上的文本翻译处理器。此外，经由无线通信将由计算机系统10接收到的交通工具语言信号18发送至外部服务器52。因此，外部服务器52接收与图像场景中的道路标志中的文本相对应的数据、国家指示信号和交通工具语言信号。
由外部服务器52上的文本翻译处理器来翻译在外部服务器52处接收的文本，在外部服务器52上的文本翻译处理器中将文本从国家语言9(如由国家指示信号所指示的)转换成交通工具语言(如由交通工具语言信号所指示的)。经由无线通信将与翻译文本相对应的数据传送回至计算机系统10。将与翻译文本相对应的数据输入至自载计算机上的TTS处理器48，在TTS处理器48中将文本转换成与音频系统30兼容的文本信号以使得能够通过音频系统的扬声器为驾驶员听觉上呈现翻译文本。还将翻译文本转换成与HMI显示器22兼容的文本信号，使得可以为驾驶员视觉上呈现翻译文本。HMI显示器26为驾驶员呈现选择画面以使得他能够经由用户输入部件24来选择在听觉上收听与道路标志信息相关的通告还是使用信息的可视显示来呈现与道路标志信息相关的通告或者是否使用视觉上和听觉上两者来呈现与道路标志信息相关的通告。
将与翻译文本相对应的数据存储在计算机系统上的数据存储器50中，使得在需要时可以在以后对数据进行访问。如下文将进一步详细描述的，将翻译文本数据与图像场景数据组合地存储，使得驾驶员可以从由相机系统50捕获的先前图像场景中进行选择以检索所需要的文本信息。
为了翻译的可视呈现，可以在数据存储装置50中为道路标志62、64中的文本的每个区域分配不同的数字指示。然后，在显示画面26上为用户呈现表明哪个数字指示与道路标志62、64中的文本的哪个区域相对应的查找表格。例如，可以为第一道路标志62的第一区域62a分配数字1，可以为第一道路标志62的第二区域62b分配数字2，并且可以为第二道路标志64分配数字3。选择画面包括与1、2和3相对应的三个文本翻译的列表以使得驾驶员能够将图像中的道路标志与适当的翻译文本相关联。
可替选地或另外地，响应于驾驶员选择感兴趣的标志的特定区域，可以为他提供文本翻译的可听通告。例如，驾驶员可以通过选择数字1来选择收听与第一道路标志62的第一区域62a相关的可听通告，或者可以通过选择数字3来选择收听与第二道路标志64相关的通告。
在上述实施方式的变型中，可以按照交通工具经过道路标志62、64的次序为驾驶员呈现与翻译文本相对应的通告。在这种情况下，当驾驶员经过上面有文本的道路标志时，他在行程中将只收听通告而无需做出选择。
该系统还可以被配置成使得驾驶员能够从数据存储器50中检索与先前已经经过的道路标志相关的信息。为此，驾驶员选择HMI显示器26上的选项以请求先前的道路标志信息。然后，为他呈现一系列先前图像，他可以使用用户输入部件24从这一系列先前图像中选择文本的翻译所需的先前道路标志。从数据存储器50检索所选择的翻译并且根据他选择的偏好将所选择的翻译听觉上或视觉上呈现给驾驶员。
在另一实施方式中，该系统可以被配置成结合音频系统进行操作以根据道路标志在图像场景70中的位置为驾驶员提供通告。参照图3，交通工具行程可以包括沿三车道公路或汽车高速公路行驶，三个车道中的每个车道上分别具有第一高架道路标志72、第二高架道路标志74和第三高架道路标志76。
音频系统30包括布置在交通工具中的不同位置处的多个扬声器(未示出)。通常，例如，音频系统30可以包括左手前方扬声器、左手后方扬声器、右手前方扬声器、右手后方扬声器和中央前方扬声器。与前面一样，相机系统40捕获包括三个高架道路标志72、74、76的图像场景70。将与道路标志中的文本相关的数据连同交通工具语言信号和国家输出信号一起输出至外部服务器52用于翻译。在外部服务器52处翻译文本并且将与翻译文本相对应的数据发送回至计算机系统10。将与翻译文本相对应的数据输入至TTS处理器48，在TTS处理器48中将翻译文本转换成与音频系统兼容的文本输出信号，以使得能够为驾驶员听觉上呈现翻译文本。
将每个道路标志72、74、76的位置指示分配给数据存储器50中的关联文本数据以指示道路标志在图像场景70中的位置。然后，计算机系统根据文本在图像场景70中的位置将文本信号输出至音频系统30。例如，将与左手车道上方的道路标志72的文本相对应的文本输出信号输出至左手前方扬声器，将与右手车道上方的道路标志76的文本相对应的文本输出信号输出至右手前方扬声器，并且将与中间车道上方的道路标志74的文本相对应的文本输出信号输出至前方中央扬声器。每次通过一个扬声器依次递送可听输出。通过其收听通告的扬声器向驾驶员指示文本是从图像场景70中的哪一部分(即，左、右或中间)得到的。
还在图像处理器44中将与翻译文本相对应的数据转换成与HMI显示器26兼容的文本输出信号。如前所述，在数据存储器中，存储与左手道路标志72相关的文本数据并为其分配数字1，存储与中间道路标志74相关的文本数据并为其分配数字2，并且存储与右手道路标志76相关的文本数据并为其分配数字3。在HMI显示器26上为驾驶员呈现图像场景的可视显示以及数字指示1、2和3。还在显示器26上呈现数字指示的列表以及相应的文本翻译以使得驾驶员能够选择需要重复翻译的道路标志72、74或76。驾驶员可以选择重复文本翻译的可听通告或者可以选择视觉上呈现文本翻译。
在本发明的又一实施方式中，系统无需要求任何翻译方面却可以简单地用于使得能够使用道路标志的语言视觉上或听觉上为驾驶员呈现作为先前已经经过的道路标志的提醒的文本。当在驾驶员开车经过时他未能全面阅读或理解道路标志的内容时，这可能是有用的。如前面一样，相机系统40捕获图像数据并将数据发送至计算机系统10。如果全球位置传感器12指示交通工具正在归属国行驶，使得不存在语言问题，所以无需出于翻译目的而将数据发送至外部服务器52。相反，在TTS处理器48中对数据进行转换以提供可以被输出至音频系统30的文本输出信号。还在图像处理器44中对数据进行转换以提供与HMI显示器26兼容的文本输出信号。如前所述，在HMI显示器26上为驾驶员呈现图像场景以及归属于文本的每个区域的数字指示，以使得能够选择需要翻译的文本。然后，可以根据驾驶员的选择听觉上或视觉上呈现翻译。
图4示出了可能在法国的道路上遇到的并且所捕获的图像场景中的道路标志80的示例。相机系统40捕获场景的图像并将图像数据发送至计算机系统10用于处理。道路标志80包括符号82以及文本84。与前面一样，由SST识别处理器46对图像数据进行处理以识别图像场景中出现的道路标志80。SST识别处理器46还能够操作用于识别并从图像数据中提取与符号82相关的数据。然后解释该符号，使得可以向驾驶员呈现该符号的含义。当驾驶员正行驶在他不熟悉道路符号的、除了他的归属国以外的国家时，这尤其有用。
图5示出了进一步详细示出计算机系统10如何进行操作以从并入符号指示82和文本指示84两者的道路标志80中辨别含义的流程图。在标志识别步骤90中，SST识别处理器46确定图像场景中出现道路标志80。GPS传感器还将关于道路标志80的地理位置的指示92提供至HMI显示器(或音频系统)。
在随后的标志解析步骤94中，系统对已经识别出的场景中的标志上的符号执行符号识别检查96并且对已经识别出的场景中的标志上的文本执行文本识别步骤98。在必要时，SST识别处理器46从图像数据中提取符号数据和文本数据。对于图4中的道路标志80，仅存在要识别的一个符号82和一个文本指示84，但对于其他道路标志，可以存在附加的符号指示或文本指示(如由附加的框100和102所表示的)。在识别出多个符号和/或文本的情况下，从数据中提取每一个符号和/或文本以提供独立且分立的数据集用于处理的下一阶段。
处理的下一阶段是在步骤108中确定是否需要符号含义的翻译或文本含义的翻译。如果国家指示信号指示正在语言与交通工具的选定语言不同的国家中驾驶交通工具，则需要文本指示的翻译。
如果需要文本指示的翻译，则计算机系统(或移动装置)还基于全球位置传感器输出将国家指示信号发送至外部服务器52以指示交通工具正在其中行驶的国家(在本示例中，法国)。
为了将所识别的、道路标志中的符号的含义传送给用户，外部服务器52承载针对各种不同国家将道路标志符号与它们的含义联系起来的数据存储器或数据库104。外部服务器52在数据存储器104中查找与(如根据国家指示信号所确定的)适当的国家相对应的符号的含义并将表示符号含义106的数据信号发送回至计算机系统10。如果在步骤108中已经确定需要将符号含义翻译成选定交通工具语言(即，由于选定交通工具语言与交通工具正在其中行驶的国家的语言不同)，则在将与含义相关的数据被发送回至交通工具之前，在远端服务器52上执行翻译步骤。
一旦TTS处理器48已经对符号含义进行了处理以提供与音频系统30兼容的符号输出信号，则然后在步骤112中，将翻译输出呈现给驾驶员。因此，驾驶员听到了符号含义的翻译可听呈现。
以对与符号82相关的数据类似的方式，在步骤98中(如果存在文本的多个区域，则包括步骤102)从图像场景提取与文本84相关的数据。如果确定交通工具正在其中行驶的国家的语言与交通工具的选定语言不同，则经由无线通信将文本数据发送至外部服务器52并且在步骤110中在远端服务器52上执行对文本含义的翻译。如果正在语言与交通工具的选定语言相同的国家中驾驶交通工具，则不需要文本指示的翻译并且可以以文本在道路标志上出现的形式对应于文本简单地在听觉上将文本传送给驾驶员。
如果需要翻译，则将文本数据连同交通工具语言信号和国家指示信号一起发送至外部服务器52。如前所述，外部服务器52在数据存储器中查找并将与文本的翻译版本相对应的数据信号提供至计算机系统10。
如果国家语言信号指示交通工具正在其中行驶的国家具有不止一种语言，则在外部服务器52上确定要根据哪种语言来翻译文本。可替选地，可以为驾驶员呈现可以从中选择国家语言用于随后在外部服务器52上翻译成交通工具语言的列表。
与前面一样，在步骤112中，驾驶员可以选择经由音频系统30收听翻译文本的可听通告或者在HMI显示器26上查看翻译文本的可视指示，或者他可以选择这两个选项。在HMI显示器26上为驾驶员呈现选择画面以使得他能够选择他偏好的呈现方法。经由用户输入装置24选择偏好的呈现类型。
参照图6，在另一实施方式中，对于处理的翻译阶段，计算机系统10不需要依赖外部服务器52，而是可以设置有自载翻译处理器120。在这种情况下，将与图像场景中的文本相对应的数据连同国家指示信号和交通工具语言信号一起提供至翻译处理器120。翻译处理器120将文本翻译成交通工具语言，并且如果驾驶员选择了可听呈现，则将适当的文本输出信号输出至音频系统30。可替选地，如果驾驶员已经选择了视觉上查看翻译，则将适当的文本信号输出至HMI显示器以向驾驶员视觉呈现翻译文本。本实施方式的益处在于：当交通工具与图1中的外部服务器52正在通信时可能存在的任何无线通信“黑点”不会导致被传送给驾驶员的翻译信息的延迟。
在不与图1中的外部服务器52进行通信的情况下，计算机系统还在数据存储器中存储将标志符号信息与用于可以驾驶交通工具的、世界上的各个国家的含义关联起来的查找表。当相机系统将包括与图像场景中的道路标志中的文本相关的数据的图像数据返回至计算机系统10时，将数据连同相应的国家指示信号一起输入至存储器50，使得可以从相关查找表提取相应的含义。然后，在TTS处理器48中也对含义进行转换以根据驾驶员所选择的偏好使用交通工具语言将适当的文本输出信号提供至音频系统30和/或将适当的文本输出信号提供至HMI显示器26。
在再一实施方式中，系统可以被配置成使非自载的以及自载的文本翻译步骤和符号解释步骤得以执行。例如，如果交通工具正行驶在与外部服务器的无线通信丢失的“黑点”中，或者仅提供数据的缓慢通信，则系统可以被配置成依赖自载的文本翻译和符号解释功能。
除了道路标志的翻译和解释以外，还可以设想本发明提供益处的其他应用。例如，交通工具上的相机系统可以从布告牌或广告捕获图像数据，使得系统可以为交通工具驾驶员提供出现在这样的布告牌上的大量其他有用信息诸如关于名胜、饭店、商店和服务设施的信息的翻译或解释。
本领域技术人员应当理解的是，在不偏离所附权利要求书的范围的情况下，可以采用许多替代形式对本发明进行修改。
在以下带编号的条款中阐述了本发明的更多方面：
条款1.一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与所述系统之间要使用所述选定交通工具语言来进行通信，所述系统包括：用于捕获所述交通工具外部的图像场景的图像捕获装置，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；用于将表示选定交通工具语言的交通工具语言信号输出至非自载服务器的装置；用于将表示所述国家语言的国家语言信号输出至所述非自载服务器的装置；用于将所述文本输出至所述非自载服务器以将所述文本从所述国家语言翻译成所述交通工具语言的装置；用于从所述非自载服务器接收表示翻译文本的翻译文本输出的翻译器；以及用于将所述翻译文本输出传送给所述交通工具用户的通信装置。
条款2.一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与所述系统之间要使用所述选定交通工具语言来进行通信，所述系统包括：用于捕获所述交通工具外部的图像场景的图像捕获装置，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了选定交通工具语言以外的国家语言的文本；用于将所述文本从所述国家语言翻译成所述选定交通工具语言并生成表示所述翻译文本的翻译文本输出的翻译装置；以及用于将所述翻译文本输出传送给所述交通工具用户的通信装置。
条款3.根据条款1所述的系统，其中，所述信息指示还包括符号，所述系统包括用于从所述符号得到符号含义的处理器，以及其中，所述通信装置将所述符号含义传送给所述交通工具用户。
条款4.根据条款1所述的系统，其中，所述信息指示包括在所述图像场景中的道路标志中。
条款5.根据条款1所述的系统，其中，所述信息指示包括在所述图像场景中的广告牌中。
条款6.根据条款1所述的系统，包括用于确定所述交通工具的地理位置的位置指示，以及其中，所述输出装置从所述位置指示得到所述国家语言信号。
条款7.根据条款1所述的系统，其中，所述图像处理器包括用于生成多个信息输出的输出装置，其中，所述信息输出中的每个信息输出表示所述图像场景的不同区域中的文本和/或符号。
条款8.根据条款7所述的系统，包括用于使得用户能够选择所述图像场景的需要来自其的信息的区域的用户选择装置。
条款9.根据条款7所述的系统，其中，所述输出装置被配置成按照所述交通工具经过所述图像场景中的相应的不同区域的次序将所述多个信息输出传送给所述用户。
条款10.根据条款1所述的系统，其中，所述通信装置被配置成以取决于所述图像场景中的所述信息指示的位置的方式将所述信息输出传送给所述交通工具用户。
条款11.根据条款10所述的系统，包括具有多个扬声器的音频系统，每个扬声器位于所述交通工具中的不同位置处，以及其中，根据扬声器在所述交通工具中的位置以及所述信息指示在所述图像场景中的位置通过所述扬声器来传送所述信息输出或每个信息输出。
条款12.根据条款1所述的系统，其中，所述通信装置包括音频系统。
条款13.根据条款1所述的系统，其中，所述通信装置包括视觉显示屏。
条款14.根据条款12所述的系统，还包括用于使得用户能够选择所述通信装置的类型的选择部件。
条款15.一种用在具有选定交通工具语言的交通工具中的方法，在交通工具用户与系统之间要使用所述选定交通工具语言来进行通信，所述方法包括：捕获所述交通工具外部的图像场景，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；将表示所述选定交通工具语言的交通工具语言信号输出至非自载服务器；将表示所述国家语言的国家语言信号输出至所述非自载服务器；将所述文本输出至所述非自载服务器以将所述文本从所述国家语言翻译成所述交通工具语言；从所述非自载服务器接收表示翻译文本的翻译文本输出；以及将所述翻译文本输出传送给所述交通工具用户。
条款16.一种用在具有选定交通工具语言的交通工具中的方法，在交通工具用户与系统之间要使用所述选定交通工具语言来进行通信，所述方法包括：捕获所述交通工具外部的图像场景，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；将所述文本从所述国家语言翻译成所述选定交通工具语言并生成表示翻译文本的翻译文本输出；以及将所述翻译文本输出传送给所述交通工具用户。
条款17.一种包括根据条款1所述的系统的交通工具。

Claims (18)

1.一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与所述系统之间要使用所述选定交通工具语言来进行通信，所述系统包括：
用于捕获所述交通工具外部的图像场景的图像捕获部件，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；
用于将表示所述选定交通工具语言的交通工具语言信号输出至非自载服务器的部件；
用于将表示所述国家语言的国家语言信号输出至所述非自载服务器的部件；
用于将所述文本输出至所述非自载服务器以将所述文本从所述国家语言翻译成所述交通工具语言的部件；
用于从所述非自载服务器接收表示翻译文本的翻译文本输出的部件；以及
用于将所述翻译文本输出传送至所述交通工具用户的部件。
2.一种用在具有选定交通工具语言的交通工具中的系统，在交通工具用户与所述系统之间要使用所述选定交通工具语言来进行通信，所述系统包括：
用于捕获所述交通工具外部的图像场景的图像捕获部件，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；
用于将所述文本从所述国家语言翻译成所述选定交通工具语言并且生成表示翻译文本的翻译文本输出的部件；以及
用于将所述翻译文本输出传送至所述交通工具用户的部件。
3.根据权利要求1或2所述的系统，其中，所述信息指示还包括符号，所述系统包括用于从所述符号得到符号含义的部件，以及其中，所述的用于传送的部件将所述符号含义传送给所述交通工具用户。
4.根据权利要求1至3中任一项所述的系统，其中，所述信息指示包括在所述图像场景中的道路标志中。
5.根据权利要求1至4中任一项所述的系统，其中，所述信息指示包括在所述图像场景中的广告牌中。
6.根据权利要求1至5中任一项所述的系统，包括用于确定所述交通工具的地理位置的位置指示部件，以及其中，所述的用于将所述国家语言信号输出至所述非自载服务器的部件从所述位置指示部件得到所述国家语言信号。
7.根据权利要求1至6中任一项所述的系统，其中，所述图像处理部件包括用于生成多个信息输出的部件，其中，所述信息输出中的每个信息输出表示所述图像场景的不同区域中的文本和/或符号。
8.根据权利要求7所述的系统，包括用于使用户能够选择所述图像场景的要从其得到所述信息输出的区域的用户选择部件。
9.根据权利要求7或8所述的系统，其中，所述的用于生成多个信息输出的部件被配置成以所述交通工具经过所述图像场景中的相应的不同区域的次序将所述多个信息输出传送给用户。
10.根据权利要求1至9中任一项所述的系统，其中，所述的用于传送的部件被配置成以取决于所述信息指示在所述图像场景中的位置的方式将所述信息输出传送给交通工具用户。
11.根据权利要求10所述的系统，包括具有各自位于所述交通工具中的不同位置处的多个扬声器的音频系统，以及其中，根据扬声器在所述交通工具中的位置以及所述信息指示在所述图像场景中的位置，通过扬声器来传送所述信息输出或每个信息输出。
12.根据权利要求1至11中任一项所述的系统，其中，所述的用于传送的部件包括音频系统。
13.根据权利要求1至12中任一项所述的系统，其中，所述的同于传送的部件包括视觉显示屏。
14.根据权利要求12或13所述的系统，还包括用于使得用户能够选择所述的用于传送的部件的类型的部件。
15.一种用在具有选定交通工具语言的交通工具中的方法，在交通工具用户与系统之间要使用所述选定交通工具语言来进行通信，所述方法包括：
捕获所述交通工具外部的图像场景，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；
将表示所述选定交通工具语言的交通工具语言信号输出至非自载服务器；
将表示所述国家语言的国家语言信号输出至所述非自载服务器；
将所述文本输出至所述非自载服务器以将所述文本从所述国家语言翻译成所述交通工具语言；
从所述非自载服务器接收表示翻译文本的翻译文本输出；以及
将所述翻译文本输出传送给所述交通工具用户。
16.一种用在具有选定交通工具语言的交通工具中的方法，在交通工具用户与系统之间要使用所述选定交通工具语言来进行通信，所述方法包括：
捕获所述交通工具外部的图像场景，其中，所述图像场景包括一个或更多个信息指示，所述一个或更多个信息指示包括使用除了所述选定交通工具语言以外的国家语言的文本；
将所述文本从所述国家语言翻译成所述选定交通工具语言并且生成表示翻译文本的翻译文本输出；以及
将所述翻译文本输出传送给所述交通工具用户。
17.一种包括根据权利要求1至14中任一项所述的系统的交通工具。
18.一种基本上如本文中参照附图所描述的系统、方法或交通工具。
CN201580009674.0A 2014-02-21 2015-02-19 用于使用不同语言的翻译的交通工具的图像捕获系统 Pending CN106415595A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1403068.8 2014-02-21
GB1403068.8A GB2523353B (en) 2014-02-21 2014-02-21 System for use in a vehicle
PCT/EP2015/053540 WO2015124695A1 (en) 2014-02-21 2015-02-19 An image capture system for a vehicle using translation of different languages

Publications (1)

Publication Number Publication Date
CN106415595A true CN106415595A (zh) 2017-02-15

Family

ID=50482575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009674.0A Pending CN106415595A (zh) 2014-02-21 2015-02-19 用于使用不同语言的翻译的交通工具的图像捕获系统

Country Status (6)

Country Link
US (1) US9971768B2 (zh)
EP (1) EP3108404A1 (zh)
JP (1) JP2017509065A (zh)
CN (1) CN106415595A (zh)
GB (1) GB2523353B (zh)
WO (1) WO2015124695A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016001986A1 (de) 2016-02-19 2017-08-24 Audi Ag Kraftfahrzeug mit einer Erfassungseinrichtung zum Erfassen eines Verkehrszeichens und Verfahren zum Betreiben eines Kraftfahrzeugs
WO2017200553A1 (en) * 2016-05-20 2017-11-23 Ford Global Technologies, Llc Sign language inputs to a vehicle user interface
US10845199B2 (en) * 2016-06-10 2020-11-24 Apple Inc. In-venue transit navigation
US10579741B2 (en) * 2016-08-17 2020-03-03 International Business Machines Corporation Proactive input selection for improved machine translation
US10311330B2 (en) 2016-08-17 2019-06-04 International Business Machines Corporation Proactive input selection for improved image analysis and/or processing workflows
JP2018173755A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法及び運転支援プログラム
DE102017211510A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Aufnahme und Auswertung von Informationen
JP7024427B2 (ja) * 2018-01-17 2022-02-24 トヨタ自動車株式会社 車両用表示装置
JP6624747B2 (ja) * 2018-03-20 2019-12-25 クオリティソフト株式会社 音声伝達システム
JP7196433B2 (ja) * 2018-06-26 2022-12-27 横河電機株式会社 装置、方法、プログラムおよび記録媒体
US10482675B1 (en) 2018-09-28 2019-11-19 The Toronto-Dominion Bank System and method for presenting placards in augmented reality
US11244319B2 (en) 2019-05-31 2022-02-08 The Toronto-Dominion Bank Simulator for value instrument negotiation training
US20220308819A1 (en) * 2019-09-03 2022-09-29 Lg Electronics Inc. Method for processing data and electronic device therefor
FR3108194B1 (fr) * 2020-03-11 2022-02-25 Psa Automobiles Sa Méthodes et systèmes d’interprétation des messages des panneaux de signalisation à messages variables

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1359557A1 (en) * 2002-04-30 2003-11-05 Matsushita Electric Industrial Co., Ltd. Vehicle navigation system that automatically translates roadside signs and objects
EP1507129A1 (en) * 2003-08-14 2005-02-16 Harman/Becker Automotive Systems GmbH Computer-based system and method for outputting information to a driver of a vehicle
US20080221862A1 (en) * 2007-03-09 2008-09-11 Yahoo! Inc. Mobile language interpreter with localization
CN101647031A (zh) * 2007-03-22 2010-02-10 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示
US20130343608A1 (en) * 2012-06-20 2013-12-26 Audi Ag Information device

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
JPH07159190A (ja) 1993-12-09 1995-06-23 Zanabui Informatics:Kk 車載用音響装置統合システム
US5937384A (en) * 1996-05-01 1999-08-10 Microsoft Corporation Method and system for speech recognition using continuous density hidden Markov models
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
DE69914368T2 (de) * 1998-11-25 2005-03-10 Microsoft Corp., Redmond Netzwerk- und sprachmodelle zur verwendung in einem spracherkennungssystem
EP1903453A3 (en) * 2000-06-09 2008-04-09 British Broadcasting Corporation A method of parsing an electronic text file
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US6937747B2 (en) * 2001-09-24 2005-08-30 Hewlett Packard Development Company, L.P. System and method for capturing non-audible information for processing
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7720683B1 (en) * 2003-06-13 2010-05-18 Sensory, Inc. Method and apparatus of specifying and performing speech recognition operations
US7725319B2 (en) * 2003-07-07 2010-05-25 Dialogic Corporation Phoneme lattice construction and its application to speech recognition and keyword spotting
JP3848319B2 (ja) * 2003-11-11 2006-11-22 キヤノン株式会社 情報処理方法及び情報処理装置
JP2006079356A (ja) * 2004-09-09 2006-03-23 Denso Corp 車線案内装置
ATE505785T1 (de) * 2004-09-17 2011-04-15 Agency Science Tech & Res System zur identifikation gesprochener sprache und verfahren zum training und betrieb dazu
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US8150617B2 (en) * 2004-10-25 2012-04-03 A9.Com, Inc. System and method for displaying location-specific images on a mobile device
ATE403213T1 (de) * 2004-12-28 2008-08-15 Loquendo Spa System und verfahren zur automatischen spracherkennung
US8200495B2 (en) * 2005-02-04 2012-06-12 Vocollect, Inc. Methods and systems for considering information about an expected response when performing speech recognition
US8195462B2 (en) * 2006-02-16 2012-06-05 At&T Intellectual Property Ii, L.P. System and method for providing large vocabulary speech processing based on fixed-point arithmetic
KR100826875B1 (ko) * 2006-09-08 2008-05-06 한국전자통신연구원 온라인 방식에 의한 화자 인식 방법 및 이를 위한 장치
US8531521B2 (en) * 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
KR100897554B1 (ko) * 2007-02-21 2009-05-15 삼성전자주식회사 분산 음성인식시스템 및 방법과 분산 음성인식을 위한 단말기
US8515728B2 (en) * 2007-03-29 2013-08-20 Microsoft Corporation Language translation of visual and audio input
US7912289B2 (en) * 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
US20090285445A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab System and Method of Translating Road Signs
US8180635B2 (en) * 2008-12-31 2012-05-15 Texas Instruments Incorporated Weighted sequential variance adaptation with prior knowledge for noise robust speech recognition
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
US8700399B2 (en) * 2009-07-06 2014-04-15 Sensory, Inc. Systems and methods for hands-free voice control and voice search
KR101253104B1 (ko) * 2009-09-01 2013-04-10 한국전자통신연구원 패턴 데이터베이스화 장치 및 그 방법, 이를 이용한 음성 이해 장치 및 그 방법
US9558183B2 (en) * 2009-09-04 2017-01-31 Synchronoss Technologies, Inc. System and method for the localization of statistical classifiers based on machine translation
US8401852B2 (en) * 2009-11-30 2013-03-19 Microsoft Corporation Utilizing features generated from phonic units in speech recognition
KR101154011B1 (ko) * 2010-06-07 2012-06-08 주식회사 서비전자 다중 모델 적응화와 음성인식장치 및 방법
GB2482874B (en) * 2010-08-16 2013-06-12 Toshiba Res Europ Ltd A speech processing system and method
KR20120045582A (ko) * 2010-10-29 2012-05-09 한국전자통신연구원 음향 모델 생성 장치 및 방법
WO2012147166A1 (ja) * 2011-04-26 2012-11-01 トヨタ自動車株式会社 運転支援装置
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US9421866B2 (en) * 2011-09-23 2016-08-23 Visteon Global Technologies, Inc. Vehicle system and method for providing information regarding an external item a driver is focusing on
US10875525B2 (en) * 2011-12-01 2020-12-29 Microsoft Technology Licensing Llc Ability enhancement
US9305411B2 (en) * 2012-03-14 2016-04-05 Autoconnect Holdings Llc Automatic device and vehicle pairing via detected emitted signals
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US9489950B2 (en) * 2012-05-31 2016-11-08 Agency For Science, Technology And Research Method and system for dual scoring for text-dependent speaker verification
US8493198B1 (en) * 2012-07-11 2013-07-23 Google Inc. Vehicle and mobile device traffic hazard warning techniques
DE102012014484A1 (de) * 2012-07-21 2013-01-24 Daimler Ag Unterstützen eines Fahrers eines Kraftfahrzeugs durch ein Übersetzen von Verkehrszeichen
US10008016B2 (en) * 2012-09-05 2018-06-26 Facebook, Inc. Proximity-based image rendering
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
TWI475558B (zh) * 2012-11-08 2015-03-01 Ind Tech Res Inst 詞語驗證的方法及裝置
JP6102944B2 (ja) * 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9037450B2 (en) * 2012-12-14 2015-05-19 Microsoft Technology Licensing, Llc Text overlay techniques in realtime translation
JP5744352B2 (ja) * 2013-01-09 2015-07-08 三菱電機株式会社 車両周辺表示装置
KR102332968B1 (ko) * 2013-04-26 2021-12-01 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
KR101905827B1 (ko) * 2013-06-26 2018-10-08 한국전자통신연구원 연속어 음성 인식 장치 및 방법
US9786178B1 (en) * 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
CN104143328B (zh) * 2013-08-15 2015-11-25 腾讯科技（深圳）有限公司 一种关键词检测方法和装置
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统
US9449598B1 (en) * 2013-09-26 2016-09-20 Amazon Technologies, Inc. Speech recognition with combined grammar and statistical language models
US9620108B2 (en) * 2013-12-10 2017-04-11 Google Inc. Processing acoustic sequences using long short-term memory (LSTM) neural networks that include recurrent projection layers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1359557A1 (en) * 2002-04-30 2003-11-05 Matsushita Electric Industrial Co., Ltd. Vehicle navigation system that automatically translates roadside signs and objects
EP1507129A1 (en) * 2003-08-14 2005-02-16 Harman/Becker Automotive Systems GmbH Computer-based system and method for outputting information to a driver of a vehicle
US20080221862A1 (en) * 2007-03-09 2008-09-11 Yahoo! Inc. Mobile language interpreter with localization
CN101647031A (zh) * 2007-03-22 2010-02-10 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示
US20130343608A1 (en) * 2012-06-20 2013-12-26 Audi Ag Information device

Also Published As

Publication number Publication date
EP3108404A1 (en) 2016-12-28
US9971768B2 (en) 2018-05-15
US20160350286A1 (en) 2016-12-01
JP2017509065A (ja) 2017-03-30
GB2523353A (en) 2015-08-26
GB2523353B (en) 2017-03-01
GB201403068D0 (en) 2014-04-09
WO2015124695A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
CN106415595A (zh) 用于使用不同语言的翻译的交通工具的图像捕获系统
CN106104566A (zh) 用在交通工具中的系统
US20170168774A1 (en) In-vehicle interactive system and in-vehicle information appliance
US6199014B1 (en) System for providing driving directions with visual cues
CN109073404A (zh) 用于基于地标和实时图像生成导航方向的系统和方法
JPWO2005066882A1 (ja) 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム
US20170206887A1 (en) Road sign announcer
JP2013089096A (ja) 車両用広告呈示システム
US20160178389A1 (en) Method for operating a navigation system, navigation system and motor vehicle
CN106595686A (zh) 一种车载导航系统、方法、车载设备及车辆
CN103971623A (zh) 一种导游移动终端及导游方法
US20160140613A1 (en) Advertisement providing system and method thereof
JP2016095688A (ja) 車載用情報表示装置
de Waard et al. Visual map and instruction-based bicycle navigation: a comparison of effects on behaviour
WO2008041283A1 (fr) Dispositif de guidage sur iitinéraire, procédé d'enregistrement d'information, procédé de guidage sur itinéraire, programme d'enregistrement d'information, programme de guidage sur itinéraire et support d'enregistrement
GB2541519A (en) A system for use in a vehicle
KR20080040110A (ko) 네비게이션을 이용한 광고 이미지 표시 장치 및 방법
JP6623657B2 (ja) 情報提供装置、情報提供システム及び情報提供方法
JP6362647B2 (ja) 経路案内方法、経路案内装置、および経路案内プログラム
WO2020149257A1 (ja) 案内文生成装置、案内システム、案内文生成方法及びプログラム
JP2019061328A (ja) 案内システム、及び案内プログラム
JP2007248749A (ja) 表示画面調整装置、表示画面調整方法、表示画面調整プログラムおよび記録媒体
JP3778550B2 (ja) ナビゲーション装置、ナビゲーション方法及びそのプログラム
JP2010230316A (ja) ナビゲーション装置およびナビゲーション装置における気象情報提示方法
JP2021025769A (ja) 地図表示システム、ナビゲーション端末および地図表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170215