CN111727132B - 电子设备及其文本提供方法 - Google Patents

电子设备及其文本提供方法 Download PDF

Info

Publication number
CN111727132B
CN111727132B CN201880077079.4A CN201880077079A CN111727132B CN 111727132 B CN111727132 B CN 111727132B CN 201880077079 A CN201880077079 A CN 201880077079A CN 111727132 B CN111727132 B CN 111727132B
Authority
CN
China
Prior art keywords
text
user
windshield
camera
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077079.4A
Other languages
English (en)
Other versions
CN111727132A (zh
Inventor
元荣敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111727132A publication Critical patent/CN111727132A/zh
Application granted granted Critical
Publication of CN111727132B publication Critical patent/CN111727132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/163—Language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Systems (AREA)

Abstract

公开了一种电子设备。所述电子设备包括：显示器，用于在运输装置的挡风玻璃上显示图像；第一相机，用于捕获乘坐在所述运输装置中的用户的图像；第二相机，用于捕获所述运输装置的外部的图像；以及处理器，用于将第二相机捕获的图像中包含的文本翻译成任何其它语言，并控制所述显示器使得在挡风玻璃上显示翻译文本，其中，所述处理器基于所述运输装置的行驶速度和由第一相机捕获的图像中的所述用户的注视，在所述挡风玻璃的不同区域上显示所述翻译文本。

Description

电子设备及其文本提供方法
技术领域
本公开一般地涉及一种电子设备及其文本提供方法，并且更具体地，涉及一种被配置为在交通工具中提供的挡风玻璃上显示文本的电子设备及其文本提供方法。
背景技术
归因于电子技术的最新发展，大多数汽车配备有导航，并且通过导航向用户提供前往目的地的方向。
然而，由于所有建筑物、商店、饭店等都在导航中显示，因此用户可能会感到不舒服。特别地，当用户在使用用户不理解的语言的国家开车时，用户可能无法仅通过导航找到用户想要找到的地方。
因此，当用户驾驶汽车时，需要用于提供关于该汽车周围存在的文本的信息的方法。
发明内容
技术问题
本申请将提供一种电子设备及其文本提供方法，该电子设备被配置为翻译交通工具周围存在的文本并将文本显示在该交通工具的挡风玻璃上，并根据该交通工具的行驶速度在挡风玻璃的不同区域中提供翻译文本。
技术方案
实施例的一方面涉及一种在交通工具中提供的电子设备，包括：显示器，被配置为在交通工具的挡风玻璃上显示图像；第一相机，被配置为捕获乘坐在交通工具中的用户的图像；第二相机，被配置为捕获交通工具的外部的图像，以及处理器，被配置为将由第二相机捕获的图像中包含的文本翻译成任何其它语言，并控制显示器以在挡风玻璃上显示翻译文本，其中，处理器被配置为基于交通工具的行驶速度和通过第一相机捕获的用户的注视而在挡风玻璃的不同区域上显示翻译文本。
处理器可以被配置为基于行驶速度低于预定速度，检测由第一相机捕获的用户的注视，并且在基于用户的注视而确定的挡风玻璃的区域上显示翻译文本。
处理器可以被配置为基于检测到的用户的注视，识别在第二相机捕获的至少一个文本当中用户的注视指向的文本，将识别出的文本翻译成其它语言，并在挡风玻璃上将翻译文本显示在用户的注视指向的区域上。
处理器可以被配置为基于用户的注视改变，在由第二相机捕获的至少一个文本当中识别用户的注视指向的文本，将识别出的文本翻译成其它语言，并在挡风玻璃上将翻译文本显示在用户的注视指向的区域上。
处理器可以被配置为基于行驶速度高于预定速度，在挡风玻璃的预定区域上显示翻译文本而不检测用户的注视。
处理器可以被配置为在由第二相机捕获的至少一个文本当中识别在挡风玻璃的预定区域上透射的文本，将识别出的文本翻译成其它语言，并在挡风玻璃的预定区域上显示翻译文本。
处理器可以被配置为基于在翻译文本当中存在与用户输入的文本相匹配的文本，提供用于指示存在匹配文本的反馈。
实施例的一个方面涉及一种提供在交通工具中提供的电子设备的文本的方法，该方法包括：通过第一相机捕获乘坐在交通工具中的用户的图像；通过第二相机捕获交通工具的外部的图像；以及将由第二相机捕获的图像中包含的文本翻译成其它语言，并在交通工具的挡风玻璃上显示翻译文本，其中，所述显示包括基于交通工具的行驶速度和由第一相机捕获的用户的注视而在挡风玻璃的不同区域上显示翻译文本。
所述显示可包含：基于行驶速度低于预定速度，检测由第一相机捕获的用户的注视，并且在通过用户的注视确定的挡风玻璃的区域上显示翻译文本。
所述显示可以包含：基于检测到的用户的注视，识别在第二相机捕获的至少一个文本当中用户的注视指向的文本，将识别出的文本翻译成其它语言，并在挡风玻璃上将翻译文本显示在用户的注视指向的区域上。
所述显示可以包含：基于用户的注视被改变，识别改变的用户的注视指向的文本，将识别出的文本翻译成其它语言，并在挡风玻璃上将翻译文本显示在改变的用户的注视指向的区域上。
所述显示可以包含：基于行驶速度高于预定速度，在挡风玻璃的预定区域上显示翻译文本而不检测用户的注视。
所述显示可以包含：在由第二相机捕获的至少一个文本当中识别在挡风玻璃的预定区域上透射的文本，将识别出的文本翻译成其它语言，并在挡风玻璃的预定区域上显示翻译文本。
所述方法还可以包含：基于在翻译文本当中存在与用户输入的文本相匹配的文本，提供用于指示存在匹配文本的反馈。
有益技术效果
根据本公开的各种实施例，存在于交通工具外部的文本被实时翻译并显示在挡风玻璃上，使得即使在使用用户不理解的语言的区域中驾驶交通工具时，也可以向用户提供驾驶便利性。特别地，根据交通工具的行驶速度，翻译文本被显示在挡风玻璃的不同区域中，使得用户可以被提供各种信息而不会因驾驶而分心。
附图说明
图1是示出根据本公开的实施例的电子设备的视图；
图2是示出根据本公开的实施例的电子设备的配置的框图；
图3和图4是示出根据本公开的各种实施例的识别透射区域的方法的视图；
图5至图7是示出根据本公开的各种实施例的提供翻译文本的方法的视图；
图8是示出根据本公开的实施例的从用户接收文本的方法的视图；
图9和图10是示出根据本公开的各种实施例的提供与输入的文本相匹配的文本的方法的视图；
图11是示意性地示出根据实施例的包含电子设备的交通工具的配置的框图；以及
图12是示出根据本公开的实施例的文本提供方法的流程图。
具体实施方式
实施本公开的方式
在下文中，将参考附图更详细地描述本公开的示例实施例。
考虑到本公开的配置和功能，本公开中使用的术语被选定为当前广泛使用的通用术语，但是可以取决于本领域技术人员的意图、新技术的先例、出现等而有所不同。另外，在特殊情况下，可以使用由申请人选择的术语。在这种情况下，将在对应的详细描述中详细解释这些术语的含义。因此，在说明中使用的术语不应当必然被解释为术语的简单名称，而应当基于术语的含义和本公开的整体内容来定义。
此外，当某个部分被声明为“包括”某个元素时，除非另有声明，否则这意味着该某个部分可以包含另一个元素，而不是将其排除在外。此外，在本公开中，“模块”或“单元”执行至少一个功能或操作，并且可以由硬件或软件或硬件和软件的组合来实现。
本公开中的交通工具是运输乘坐在该交通工具中的人员或被装载的货物的运输装置，诸如汽车、飞机、摩托车、(电动)自行车、电动轮、轮船、火车等。另外，当交通工具是汽车时、该交通工具可以包含小型、中型、大型、两轮交通工具和专用交通工具，并且可以包含乘用车、厢式货车、卡车、公共汽车、货运车等。另外，本公开中的用户是乘坐交通工具的人员，并且可以是驾驶或操纵该交通工具的人员，诸如驾驶员、操纵者、领航员等或乘坐该交通工具的乘客。
以下，将以本领域普通技术人员将理解的方式更详细地描述本公开的示例实施例。然而，示例性实施例可以以各种不同的配置来实现，并且不限于本文提供的描述。此外，由于公知的功能或结构会以不必要的细节模糊本发明，因此不对其进行详细描述。
图1是示出根据本公开的实施例的电子设备的视图；
参考图1，电子设备100可以安装在交通工具10上。在这种情况下，电子设备100可以是在交通工具10中提供的单独系统，或可以是辅助系统(诸如高级驾驶员辅助系统(advanced driver assist system,ADAS))，或者可以是辅助系统的一部分。另外，电子设备100可以是诸如电子控制单元(electronic control unit，ECU)之类的控制设备，其电子控制涉及交通工具10的操作的各种功能，或者可以是该控制设备的一部分。
电子设备100可以在交通工具10的挡风玻璃11(即，交通工具10的前玻璃)上显示各种屏幕。
特别地，电子设备100可以将捕获交通工具10的外部的图像中包含的文本翻译成用户可以理解的语言，并且将翻译文本显示在挡风玻璃上。
根据行驶速度，当用户看到在对象上显示的文本时，电子设备100可以在通过挡风玻璃透射文本的区域中显示翻译文本，或者可以不管用户的注视如何，在特定区域中显示翻译文本。
如上所述，根据本公开的各种实施例，在交通工具10的外部存在的文本被实时翻译并显示在挡风玻璃上，使得即使在使用用户不理解的语言的区域中驾驶交通工具10时，也可以向用户提供驾驶便利性。
特别地，根据交通工具10的行驶速度，翻译文本被显示在挡风玻璃的不同区域中，使得用户可以被提供各种信息而不会因驾驶而分心。
在下文中，将详细描述根据各种实施例的在挡风玻璃上显示文本的方法。
图2是示出根据本公开的实施例的电子设备的配置的框图。
参考图2，电子设备100包含显示器110、第一相机120、第二相机130和处理器140。
显示器110在交通工具10的挡风玻璃上显示图像。例如，显示器110可以在交通工具10的挡风玻璃上显示包含文本的图像。
文本可以是其中捕获交通工具10的外部的图像中包含的文本被翻译成用户可以理解的语言的文本。
显示器110可以被实现为将图像投影到挡风玻璃上以显示屏幕的平视显示器(head up display,HUD)。另外，显示器110可以被实现为在交通工具10的挡风玻璃上设置的透明显示器。
第一相机120捕获交通工具10上的用户。例如，第一相机120可以位于挡风玻璃的上部以沿交通工具10的内部方向进行捕获。因此，第一相机120可以捕获交通工具10上的用户的图像。下文中，在描述中由第一相机120捕获的图像将被称为后方图像。
第二相机130捕获交通工具10的外部。例如，第二相机130可以位于挡风玻璃的上部，并且可以以沿交通工具10的向外方向进行捕获。换言之，尽管第二相机130被布置在与第一相机120相同的位置处，但是第二相机130可以以沿与第一相机120相反的方向进行捕获。因此，第二相机130可以捕获存在于交通工具10前方的各种对象。在下文中，在描述中由第二相机130捕获的图像被称为前方图像。
对象可以包含存在于外部环境中的标志、建筑物的标志等。
处理器140控制电子设备100的整体操作。
处理器140可以使用由第一相机120和第二相机130捕获的图像，在挡风玻璃上识别对象通过其透射的区域。下文中，为了便于描述，对象被透射的区域称为透射区域。
处理器140可以在由第一相机120捕获的图像(即，后方图像)中检测用户，并获得用户在三维空间的坐标。
例如，处理器140可以通过从后方图像中检测边缘来识别对象，并且可以确定该对象是否对应于人的面部、外形等，以从后方图像中检测用户。另外，当第一相机120被实现为深度相机时，处理器140可以通过使用后方图像，基于第一相机120所处的位置来检测相对于用户的距离、角度和方向，并获取用户在3D空间中的坐标值。
然而，上述方法仅是示例，并且可以使用各种算法来检测用户并获得检测到的该用户的坐标值。
处理器140可以检测用户的注视。因此，第一相机120可以包含能够向用户发射光的至少一个发光器件(例如，IR LED等)。
处理器140可以在后方图像中检测用户的眼睛，并通过在后方图像中检测从发光元件发出的光从用户的眼睛反射的位置来检测用户的注视。
例如，处理器140可以检测用户眼睛的瞳孔，并识别从发光元件发出的光从用户的角膜反射的位置。另外，处理器140可以使用瞳孔的中心与光从角膜反射的位置之间的相对位置关系来设置眼睛的初始位置。处理器140可以基于用户何时看向前方来设置眼睛的初始位置。可以基于虹膜，根据左眼和右眼的白色部分(即巩膜)与眼睛的比率来识别用户是否看向前方。
当仅改变用户的注视而用户的位置保持恒定时，从角膜反射的光的位置不改变，但是瞳孔中心的位置改变。因此，处理器140可以通过将两点之间的差和瞳孔的中心位置与在初始位置处光被反射的位置之间的差进行比较来识别用户的注视。
然而，上述方法仅是示例，并且各种注视跟踪算法可以用于跟踪用户的注视。
另外，处理器140可以检测由第二相机130捕获的图像(即，前方图像)中的对象，并获取对象在3D空间中的坐标。
例如，处理器140可以通过检测前方图像中的边缘来识别对象。另外，当第二相机130被实现为深度相机时，处理器140可以通过使用前方图像，基于第二相机130所处的点来检测相对于对象的距离、角度、方向等，以获取对象在3D空间中的坐标值。
然而，上述方法仅是示例，并且可以使用各种算法来检测对象并获取检测到的对象的坐标值。
处理器140可以使用用户和对象的坐标值，识别其中对象在挡风玻璃上被透射的区域，即透射区域。
处理器140可以在存在于交通工具10外部的至少一个对象当中，识别用户正在观看的对象透射和在挡风玻璃上看到的区域。换句话说，处理器140可以考虑到用户的注视，识别出驾驶员当前正在观看的对象在挡风玻璃上透射的区域。
例如，如图3中所示，第一相机120和第二相机130的安装位置被视为原点，用户31的位置被视为L1(x1，y1，z1)，第一对象32的位置被视为L2(x2，y2，z2)，并且第二对象33的位置是L3(x3，y3，z3)。
处理器140可以基于用户的注视来识别出用户正在观看的对象，可以识别出用户正在观看的区域，并且可以识别出用户正在观看的对象透射的区域。
例如，如图3中所示，当基于L1点考虑到沿朝向用户的注视34的方向上的用户视角而存在具有恒定夹角的两条直线时，第二对象33存在于该两条直线之间。因此，处理器140可以识别出用户正在注视第二对象33。
处理器140确定连接L1和L3点的直线，并且可以将挡风玻璃11所形成的表面和对应的直线在3D空间中相交的区域T识别为用户正在观看的第二对象33在挡风玻璃上透射的区域。T可以是根据对象的尺寸和用户与对象之间的距离，基于该表面和该直线相交的点在预定距离内的区域。
处理器140可以在不考虑用户的注视的情况下识别对象在挡风玻璃上透射的区域，并识别该区域是否在挡风玻璃的预定区域内。
不考虑用户的注视可以意味着通过假设用户向前看而不考虑用户正在观看的方向来识别对象在挡风玻璃上透射的区域。预定区域可以指在基于挡风玻璃的中心的预定距离内的区域。
例如，如图4中所示，假设第一相机120和第二相机130的安装位置被视为原点，并且用户41的位置是L1(x1，y1，z1)，第一对象42的位置是L2(x2，y2，z2)，第二对象43的位置是L3(x3，y3，z3)。
处理器140可以假设用户正在向前方看，并且基于用户的位置来识别对象在挡风玻璃上透射的区域。
例如，处理器140可以确定连接L1和L2点的直线，并且对于向前看的用户，处理器140可以将挡风玻璃11所形成的表面和对应的直线在3D空间中相交的区域T1识别为第一对象42在挡风玻璃上透射的区域。T1可以是根据对象的尺寸、用户与对象之间的距离等，基于该表面和该直线相交的点在预定距离内的区域。
另外，处理器140可以确定连接L1和L3点的直线，并且对于向前看的用户，处理器140可以将挡风玻璃11所形成的表面和对应的直线在3D空间中相交的区域T2识别为第二对象43在挡风玻璃上透射的区域。T2可以是根据对象的尺寸、用户与对象之间的距离等，基于该表面和该直线相交的点在预定距离内的区域。
另外，处理器140可以识别在挡风玻璃的预定区域内是否存在每个对象的透射区域。
例如，如图4中所示，当预定区域等于A时，处理器140可以确定T1区域不包含在预定区域A中并且T2区域包含在该预定区域中。换句话说，在第一对象42和第二对象43当中，处理器140可以将第二对象43在挡风玻璃11上透射的区域识别为包含在该预定区域中。
通过这种方法，该过程可以识别对象在挡风玻璃上透射的区域。
同时，处理器140可以控制显示器110以将在第二相机130所捕获的图像中包含的文本翻译成另一种语言，并将翻译文本显示在挡风玻璃上。
因此，处理器140可使用文本读取算法(例如，光学字符读取器(opticalcharacter reader,OCR)算法等)来辨识写在第二相机130所捕获的对象上的文本。
另外，处理器140可以将辨识出的文本翻译成另一种语言。
文本被翻译成的语言可以由用户预先设置。例如，用户可以将用户能够理解的语言设置为该文本被翻译成的语言。
在这种情况下，电子设备100可以包含用于文本翻译的语言数据库，并且处理器140可以使用该语言数据库来翻译辨识出的文本。
另外，处理器140可以将辨识出的文本发送到提供翻译服务的服务器(未示出)，并且可以从该服务器(未示出)接收翻译文本。为了这一操作，电子设备100可以包含用于与服务器(未示出)进行通信的通信模块。
同时，处理器140可以基于交通工具的行驶速度以及由第一相机120捕获的用户的注视，在挡风玻璃的不同区域中显示翻译文本。
当交通工具10的行驶速度低于预定速度时，处理器140可以检测由第一相机120捕获的用户的注视，并在基于用户的注视而确定的挡风玻璃的区域中显示翻译文本。
例如，处理器140可以基于检测到的用户的注视，在第二相机130所捕获的至少一个文本当中识别用户的注视所指向的文本，将所识别的文本翻译成另一种语言，并在用户的注视所指向的挡风玻璃上的区域中显示翻译文本。
换句话说，当交通工具10的行驶速度低于预定速度时，用户很可能在不分心驾驶的情况下辨识出所看到的文本。
因此，当交通工具10的行驶速度低于预定速度时，处理器140可以优先翻译用户正在观看的文本，并在用户正在观看的文本在挡风玻璃上透射的区域中显示翻译文本。
处理器140可以不对第二相机130所捕获的图像中存在的其它文本执行翻译，或者可以在翻译用户正在观看的文本之后执行翻译，从而减少了翻译负担以实时提供文本翻译。
同时，在挡风玻璃上识别在用户的注视所指向的区域中存在的对象(即文本)以及用户的注视所指向的区域(即，其中对应的对象在挡风玻璃上透射的区域)的方法与图3的描述相同。
例如，如图5中所示，假定交通工具10以低于预定速度(例如30km/h)的速度移动，并且在第二相机130所拍摄的图像中辨识出“DENTIST 510”，“NAILS 520”和“SNACK 530”。
在这种情况下，当在用户的注视所指向的区域中存在“NAILS 520”和“SNACK 530”时，处理器140可以将在辨识出的文本当中的存在于用户的注视所指向的区域中的“NAILS520”和“SNACK(530)”翻译成韩语。
处理器140可以在“NAILS 520”在挡风玻璃上透射的区域540中显示其中“NAILS520”以韩语成文的“560”，并且可以在“SNACK 530”在挡风玻璃上透射的区域550中显示其中“SNACK 530”以韩语成文的“/>570”。
同时，当用户的注视改变时，处理器140可以在第二相机130所捕获的至少一个文本当中识别用户的改变的注视所指向的文本，将识别出的文本翻译成另一种语言，并在挡风玻璃上在用户的改变的注视所指向的区域中显示翻译文本。
换句话说，当用户的注视改变并且用户正以另一种方式观看时，处理器140可以去除先前显示的文本，并且翻译在用户新近观看的区域中存在的文本以在挡风玻璃上显示。
例如，图5假定用户正在观看“NAILS”和“SNACK”，并且将注视改变为观看“DENTIST”。
在这种情况下，如图6中所示，处理器140可以将在辨识出的文本610、620和630当中的在用户的注视所指向的区域中存在的“DENTIST 610”翻译成韩文。
另外，处理器140可以在“DENTIST 610”在挡风玻璃上透射的区域640中显示其中“DENTIST 610”以韩语成文的“650”在这种情况下，处理器140可以在挡风玻璃上去除先前显示的关于“NAILS”和“SNACK”的韩文。
由此，当交通工具10的行驶速度低于预定速度时，处理器140可以考虑到用户的注视而将翻译文本显示在挡风玻璃上。
当交通工具10的行驶速度大于或等于预定速度时，处理器140可以在挡风玻璃的预定区域中显示翻译文本而不检测用户的注视。预定区域可以是距挡风玻璃的中心预定距离内的区域。
例如，处理器140可以在第二相机130所捕获的至少一个文本当中，识别在挡风玻璃的预定区域上透射的文本，并且可以将识别出的文本翻译成另一种语言以在挡风玻璃的预定区域上显示翻译文本。
换句话说，当交通工具10的行驶速度高于预定速度时，用户以高速驾驶交通工具10，因此用户的注视很可能面向前方。
因此，当交通工具10的行驶速度高于预定速度时，处理器140可以假设用户向前看而不单独检测用户的注视，识别在挡风玻璃的预定区域上透射的文本，首先翻译识别出的文本，然后在透射区域上显示翻译文本。
处理器140可以不对第二相机130所捕获的图像中存在的其它文本执行翻译，或者可以在首先翻译用户观看的文本之后执行翻译，从而减轻翻译负担以实时提供文本翻译。
同时，识别对象(即文本)在挡风玻璃上透射的区域而不单独检测用户的注视以及识别对应区域是否包含在挡风玻璃的预定区域内的方法与图4的描述相同。
例如，假定交通工具10以高于预定速度(例如30km/h)的速度运动，如图7所示，由第二相机130捕获的诸如“Park 710”、“International Airport 720”和“Gas Station730”被辨识。
在文本当中，处理器140可以将其中在挡风玻璃上透射的区域包含在预定区域740中的“Park 710”和“International Airport 720”翻译成韩文。
另外，处理器140可以显示“770”，其中在挡风玻璃上透射“InternationalAirport 720”的区域750中“International Airport 720”被写成韩语，并显示“/>780”，其中在挡风玻璃上透射“Gas Station 730”的区域760中“Gas Station 730”被写成韩语。其中在挡风玻璃上透射的区域不包含在预定区域740中的文本“PARK 710”可以不以韩语显示。
当在翻译文本当中存在与从用户输入的文本相匹配的文本时，处理器140可以提供反馈以指示存在匹配的文本。
对于这一操作，处理器140可以从用户接收文本。用户可以采用用户可以理解的语言输入文本，并且该文本可以是用户想要去或找到的目的地或地点的名称。
例如，如图8中所示，用户可以通过在交通工具10的中央仪表板上提供的触摸屏以韩语输入例如“(便利店)”。
然而，这仅是示例，并且用户可以通过与电子设备100执行通信的另一外部设备(诸如智能电话等)来输入文本。在这种情况下，该外部设备可以向电子设备100发送输入文本，并且电子设备100可以包含用于与该外部设备进行通信的通信模块。
可以各种形式提供反馈。例如，处理器140可以显示与用户输入的文本相匹配的文本的颜色、形状、尺寸等，以与其它文本区分开。对于另一示例，当存在与用户输入的文本相匹配的文本时，处理器140可以提供关于交通工具10的手柄、座椅等的振动反馈，或者可以通过交通工具10的扬声器输出特定的声音。
例如，参考图9，如图5中所示，当在用户的注视所指向的区域中存在的文本是“NAILS 910”和“SNACK 920”时，处理器140可以显示“930”，它是在“NAILS 910”在挡风玻璃上透射的区域中写成韩语的“NAILS 910”，并且可以显示“/>940”，它是在“SNACK920”在挡风玻璃上透射的区域中写成韩语的“SNACK 920”。
当先前从用户输入的文本是“snack”时，处理器140可以以比“930”更大的尺寸显示“/>940”。
对于另一示例，参考图10，当辨识出在挡风玻璃的预定区域中包含的文本(诸如“International Airport 1010”和“Gas Station 1020”)时，处理器140可以显示“1030”它是在“International Airport 1010”在挡风玻璃上透射的区域中写成韩语的“International Airport 1010”，并且可以显示“/>1040”，它是在“GasStation 1020”在挡风玻璃上透射的区域中写成韩语的“Gas Station 1020”。
当用户先前输入的文本是“Gas Station”时，处理器140可以以不同于“1030”的颜色显示“/>1040”。
同时，上述示例描述了当根据交通工具10的行驶速度在不同区域中正在显示文本时，在存在用户先前输入的文本时，可以提供其反馈。
然而，这仅是示例，并且处理器140可以仅考虑用户已预先输入的文本并提供其反馈。
例如，处理器140可以辨识第二相机130所捕获的图像中的文本，并且识别在辨识出的文本当中是否存在与用户输入的文本相匹配的文本。
第二相机130所捕获的图像中包含的文本和用户输入的文本的语言可以不同。
另外，当在辨识出的文本当中存在与用户输入的文本相匹配的文本时，处理器140可以提供其反馈。
例如，当在辨识出的文本当中存在用户输入的文本时，处理器140可以在挡风玻璃上透射的区域上仅显示对应的文本，或者可以通过使文本的颜色、形状、尺寸等与其它文本相区分来一同显示该文本与其它文本。另外，当在辨识出的文本当中存在用户输入的文本时，处理器140可以提供关于交通工具10的手柄、座椅等的振动反馈，或者可以通过交通工具10的扬声器输出特定的声音。
图11是概略性地示出根据实施例的包含电子设备的交通工具的配置的框图。
图11描述了作为实施例的由汽车实现的交通工具10的配置。
参考图11，交通工具10包含根据本公开的实施例的电子设备100，并且还可以包含高级驾驶辅助系统(ADAS)12、执行与交通工具的操作(诸如交通工具10的驾驶/制动/驱动等)有关的整体控制的ECU 13、输入单元14、检测器15、输出单元16、驱动单元17和门18。
在图2中，电子设备100被示为与高级驾驶辅助系统(ADAS)12和ECU 13区分开，但这仅仅是一个实施例，根据各种实施例，电子设备100的组件当中的至少一个可以是ADAS12的全部或部分，也可以是ECU 13的全部或部分。
ADAS 12可以被称为驾驶员的驾驶辅助系统或高级驾驶辅助系统，并且可以提供与汽车的安全性有关的各种辅助功能。
例如，ADAS 12可提供：自适应巡航控制功能，其识别前方交通工具并自动保持安全距离；智能巡航控制功能，其识别距前方交通工具的距离并自动调整速度；交通拥堵辅助功能，其可在城市的拥挤地区中与前方交通工具保持一定距离；自适应远光功能，其取决于白天和黑夜以及是否有迎面驶来的交通工具而交替操作远光和近光；夜视功能，其通过使用红外或热成像相机来预先检测并通知驾驶员看不到的对象；盲区警告功能，检测并通知盲区等中是否有交通工具；等等。
ECU 13例如可以检测交通工具10的状况以确定燃料的喷射量和点火时间，使得交通工具10的发动机不发生故障。
例如，ECU 13可以考虑发动机的转速、进气量、吸入压力和加速器的开度，可以基于预定点火时间歧管绝对压力(manifold absolute pressure,MAP)值和燃料喷射MAP值来校准水温传感器、氧传感器等，并且可以调节喷射器的打开和关闭速率。
输入单元14可以接收与交通工具10的控制有关的各种用户命令，并且可以在交通工具10中提供。对于这一操作，输入单元14可以包含多个按钮或触摸屏。在这种情况下，处理器140可以控制交通工具10的各个部件以根据通过输入单元14接收到的用户命令进行操作。
检测器15可以检测交通工具10的周围环境。例如，检测器15可以包含对象检测传感器(诸如激光雷达传感器、雷达传感器、超声传感器、视觉传感器、红外传感器、LED传感器等)，或距离检测传感器。
另外，检测器15还可以包含在加速度传感器、陀螺仪传感器、照度传感器、接近传感器、压力传感器、噪声传感器(例如麦克风)、视频传感器(例如相机模块)、温度传感器、震动传感器、倾斜传感器、3轴磁传感器、语音识别传感器或计时器当中的至少一个。
另外，检测器15可以检测电池状态信息、燃料状态信息、发动机状态信息(与发动机状态、机油状态、同步带状态有关的信息)、轮胎信息(轮胎磨损和翘曲等)、行驶速度信息、行驶方向信息、根据车轮的旋转或转向的转向信息、车灯信息、车内温度和湿度信息、车倾斜信息等。另外，检测器15可以通过照度传感器识别是白天还是晚上，并且可以根据白天的亮度或用户注视的方向来获取照明信息。
处理器140可以通过使用由检测器15实时获取的检测信息来控制交通工具10的各个部件。
输出单元16可以包含用于显示各种屏幕的显示器(未示出)和用于输出各种音频的扬声器(未示出)。
显示器(未示出)可以位于中央仪表板、玻璃窗或座椅上，或者可以被实现为其中图像被投影到前玻璃(即挡风玻璃)上的平视显示器。
同时，显示器(未示出)和扬声器(未示出)可以是电子设备100的组件。
驱动单元17可以包含用于驱动控制交通工具10的各种操作(包含驾驶)的部件的灯驱动单元、转向驱动单元、制动驱动单元、电源驱动单元、悬架驱动单元等。
尽管未示出，但交通工具10还可以包含存储器(未示出)，其中存储有用于控制交通工具10的各种程序和数据。存储器的至少一部分(未示出)可以在交通工具10中被单独提供，或者可以被包含在交通工具10的ADAS 12或ECU 13中。然而，电子设备100中所提供的存储器(未示出)可以存储用于控制交通工具10的各种程序和数据。
同时，处理器140可以连接到交通工具10中包含的用于发送/接收各种数据和信号的各种部件。另外，处理器140可以生成并发送用于控制交通工具中包含的各种部件的控制命令。然而，这仅是示例，并且可以在交通工具10中提供用于控制交通工具10中包含的各种组件的单独处理器。
处理器140可以例如驱动操作系统或应用程序以控制连接到处理器140的硬件或软件的组件并执行各种数据处理和计算。另外，处理器140可以将从其它组件中的至少一个接收到的命令或数据加载到易失性存储器，并且将各种数据存储在非易失性存储器中。
对于这一操作，处理器140可以被实现为用于执行功能的专用处理器(例如，嵌入式处理器)或用于通过运行存储在存储器设备中的一个或多个软件程序来执行功能的通用处理器(CPU、GPU或应用处理器)。
以上的示例中描述了电子设备100被安装在交通工具10上，但这仅仅是示例。
换句话说，当电子设备100被实现为安装在交通工具10上的外部设备时，电子设备100可以被实现为智能电话、平板式个人计算机(PC)、个人数字助理(PDA)、便携式PMP等，或者可以是这些设备的一部分，并且可以被实现为(诸如连接到交通工具连接器(例如，车载诊断(on board diagnostics,OBD)终端或OBD连接器等)的车载诊断)驾驶辅助工具、导航设备等，或者可以是这些设备的一部分。
例如，当电子设备100被实现为智能电话时，电子设备100安装在交通工具10上以通过电子设备100的前置摄像头捕获用户，并通过后置摄像头捕获交通工具100的外部。通过执行上述相同的操作，处理器140可以根据交通工具10的行驶速度在挡风玻璃的不同区域中显示翻译文本。
在这种情况下，电子设备100可以与交通工具10中提供的系统进行通信，以接收关于交通工具10的行驶速度的信息。当显示翻译文本时，电子设备100可以通过其中提供的投影仪将图像投影到交通工具10的挡风玻璃上，或者控制在交通工具10上提供的投影仪将图像投影到挡风玻璃上。
上述实施例已经描述了当用户看到根据交通工具的速度在对象上显示的文本时，在对应文本在挡风玻璃上透射的区域中显示翻译文本，或者，不管用户的注视如何，都在挡风玻璃的特定区域提供翻译文本。
然而，这仅是示例，并且处理器140可以在根据用户的注视之外，还根据车轮的旋转方向(或角度)或转向来翻译和提供文本。
例如，处理器140可以根据检测器15检测到的车轮的旋转方向或转向来翻译在交通工具10旋转的方向上存在的文本，并且可以在挡风玻璃上显示翻译文本。
例如，当交通工具10向左旋转时，处理器140可以翻译向挡风玻璃中的左侧区域透射的文本，并在挡风玻璃的左侧区域上显示翻译文本。另外，当交通工具10向右旋转时，处理器140可以翻译向挡风玻璃中的右侧区域透射的文本，并在挡风玻璃的右侧区域上显示翻译文本。
由此，可以根据车轮的旋转方向或转向而在不同的区域中提供翻译文本。
图12是示出根据本公开的实施例的文本提供方法的流程图。
首先，通过第一相机捕获乘坐在交通工具中的用户(S1210)，并且可以通过第二相机捕获交通工具的外部(S1220)。
通过第二相机捕获的图像中包含的文本可以被翻译成任何其它语言，并且在交通工具的挡风玻璃上显示翻译文本(S1230)。
可以基于交通工具的行驶速度和通过第一相机捕获的用户的注视将翻译文本显示在挡风玻璃的不同区域上。
首先，在操作S1230中，当行驶速度低于预定速度时，可以检测通过第一相机捕获的用户的注视，并且可以在通过用户的注视所确定的挡风玻璃的区域上显示翻译文本。
具体地，基于检测到的用户的注视，可以在通过第二相机捕获的至少一个文本当中识别用户的注视所指向的文本，所识别的文本可以被翻译成任何其它语言，并且翻译文本可以被显示在用户正在观看的挡风玻璃的区域上。
另外，当用户的注视改变时，可以在通过第二相机捕获的至少一个文本当中识别改变的用户的注视所指向的文本，识别出的文本可以被翻译成任何其它语言，并且翻译文本可以在用户正在观看的挡风玻璃的区域上显示。
在操作S1230中，当行驶速度高于预定速度时，可以在不检测用户的注视的情况下将翻译文本显示在挡风玻璃的预定区域上。
例如，在至少一个文本当中的在挡风玻璃的预定区域上透射的文本可以通过第二相机来识别，可以将识别出的文本翻译成任何其它语言，并且可以在挡风玻璃的预定区域上显示翻译文本。
如果在翻译文本当中存在与用户输入的文本相匹配的文本，则可以提供用于指示存在匹配文本的反馈。
以上描述了这种用于显示文本的详细方法。
根据实施例，上述各种实施例可以被实现为包含存储在可由机器(例如，计算机)读取的机器可读存储介质中的指令的软件。该设备可以包含根据所公开的实施例的电子设备，作为从存储介质调用所存储的指令并且可以根据所调用的指令进行操作的设备。当指令由处理器执行时，处理器可以使用其它组件来指导执行与指令对应的功能，或者可以在处理器的控制下执行这些功能。指令可以包含由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。“非暂时性”意思是存储介质不包含信号并且是有形的，但不能区分数据是半永久性地还是临时性地存储在存储介质中。
另外，根据实施例，根据上述各种实施例的方法可以被提供为计算机程序产品的一部分。该计算机程序产品可以在买方和卖方之间交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)线上分发。在线上分发的情况下，计算机程序产品的至少一部分可以至少临时存储或临时生成在存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器中的存储器上)。
此外，根据上述各种实施例的每个组件(例如，模块或程序)可以由单个实体或多个实体组成，并且上述子组件中的一些子组件可以省略或其它子组件可以进一步包含在各个实施例中。通常或另外地，一些组件(例如，模块或程序)可以被集成到单个实体中，以执行由每个相应组件在集成之前执行的相同或相似的功能。根据各种实施例，由模块、程序或其它组件执行的操作可以是顺序地、并行地或二者同时、迭代地或启发式地执行，或者至少一些操作可以以不同的顺序执行、被省略或可以添加其它操作。

Claims (6)

1.一种在交通工具中提供的电子设备，包括：
显示器，被配置为在所述交通工具的挡风玻璃上显示图像；
第一相机，被配置为捕获乘坐在所述交通工具中的用户的图像；
第二相机，被配置为捕获所述交通工具的外部的图像；以及
处理器，被配置为将由第二相机捕获的图像中包含的文本翻译成任何其它语言，并控制所述显示器以在所述挡风玻璃上显示翻译文本，
其中，所述处理器被配置为基于所述交通工具的行驶速度和由第一相机捕获的所述用户的注视而在所述挡风玻璃的不同区域上显示所述翻译文本，
其中，所述处理器被配置为基于所述行驶速度低于预定速度，检测由第一相机捕获的所述用户的注视，基于检测到的用户的注视，识别在由第二相机捕获的多个文本当中所述用户的注视指向的文本，将识别出的文本翻译成其它语言，并且将翻译文本显示在所述挡风玻璃上所述用户的注视指向的区域上，以及
其中，所述处理器被配置为基于所述行驶速度快于预定速度，通过识别在由第二相机捕获的多个文本当中的在所述挡风玻璃的预定区域上透射的文本，将识别出的文本翻译成其它语言，并且在所述挡风玻璃的所述预定区域上显示翻译文本来在所述挡风玻璃的预定区域上显示所述翻译文本而不检测所述用户的注视。
2.如权利要求1所述的电子设备，其中，所述处理器被配置为基于所述用户的注视改变，识别在由第二相机捕获的至少一个文本当中所述用户的注视指向的文本，将识别出的文本翻译成其它语言，并在所述挡风玻璃上将所述翻译文本显示在所述用户的注视指向的区域上。
3.如权利要求1所述的电子设备，其中，所述处理器被配置为基于在所述翻译文本当中存在与所述用户输入的文本相匹配的文本，提供用于指示存在匹配文本的反馈。
4.一种在交通工具中提供的电子设备的提供文本的方法，包括：
通过第一相机捕获乘坐在所述交通工具中的用户的图像；
通过第二相机捕获所述交通工具的外部的图像；以及
将由第二相机捕获的图像中包含的文本翻译成其它语言，并在所述交通工具的挡风玻璃上显示翻译文本，
其中，所述显示包括基于所述交通工具的行驶速度和由第一相机捕获的所述用户的注视而在所述挡风玻璃的不同区域上显示所述翻译文本，
其中，所述显示包括：基于所述行驶速度低于预定速度，检测由第一相机捕获的所述用户的注视，基于检测到的用户的注视，识别在由第二相机捕获的多个文本当中所述用户的注视指向的文本，将识别出的文本翻译成其它语言，并且将翻译文本显示在所述挡风玻璃上所述用户的注视指向的区域上，以及
其中，所述显示包括：基于所述行驶速度快于预定速度，通过识别在由第二相机捕获的多个文本当中的在所述挡风玻璃的预定区域上透射的文本，将识别出的文本翻译成其它语言，并在所述挡风玻璃的所述预定区域上显示所述翻译文本来在所述挡风玻璃的所述预定区域上显示所述翻译文本而不检测所述用户的注视。
5.如权利要求4所述的方法，其中，所述显示包括：基于所述用户的注视改变，识别改变的用户的注视指向的文本，将识别出的文本翻译成其它语言，并在所述挡风玻璃上将所述翻译文本显示在改变的用户的注视指向的区域上。
6.如权利要求4所述的方法，还包括：基于在所述翻译文本当中存在与所述用户输入的文本相匹配的文本，提供用于指示存在匹配文本的反馈。
CN201880077079.4A 2017-11-29 2018-10-08 电子设备及其文本提供方法 Active CN111727132B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170161962A KR102446387B1 (ko) 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법
KR10-2017-0161962 2017-11-29
PCT/KR2018/011818 WO2019107730A1 (ko) 2017-11-29 2018-10-08 전자 장치 및 그의 텍스트 제공 방법

Publications (2)

Publication Number Publication Date
CN111727132A CN111727132A (zh) 2020-09-29
CN111727132B true CN111727132B (zh) 2023-07-25

Family

ID=66665612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077079.4A Active CN111727132B (zh) 2017-11-29 2018-10-08 电子设备及其文本提供方法

Country Status (5)

Country Link
US (1) US11440408B2 (zh)
EP (1) EP3666579A4 (zh)
KR (1) KR102446387B1 (zh)
CN (1) CN111727132B (zh)
WO (1) WO2019107730A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
EP4134867A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. IDENTIFICATION METHOD AND DEVICE FOR IDENTIFICATION OF AN OBJECT OF INTEREST OF A USER

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925272A (en) * 1988-02-15 1990-05-15 Yazaki Corporation Indication display unit for vehicles
CN102866991A (zh) * 2007-03-22 2013-01-09 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
CN105974584A (zh) * 2015-03-11 2016-09-28 现代摩比斯株式会社 抬头显示器及其控制方法
KR20160120104A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 차량용 표시장치 및 그것의 제어방법
CN106233184A (zh) * 2014-03-31 2016-12-14 瓦伊拉耶有限责任公司 透过汽车挡风玻璃显示信息的方法及其实施装置
CN206155363U (zh) * 2016-09-28 2017-05-10 马文强 一种眼动行为分析及车辆屏幕控制装置
CN106915302A (zh) * 2015-12-24 2017-07-04 Lg电子株式会社 用于车辆的显示装置及其控制方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020043025A1 (en) * 2000-10-17 2002-04-18 Zayas Jose A. Retractable parking space barrier
US7389602B1 (en) * 2001-07-11 2008-06-24 Anthony Simoes Handicap placard dash display
US20040210444A1 (en) * 2003-04-17 2004-10-21 International Business Machines Corporation System and method for translating languages using portable display device
KR100613906B1 (ko) 2004-11-16 2006-08-21 한국전자통신연구원 주행속도 기반 연속적인 공간영역 질의 처리에 의한헤드업 디스플레이 장치를 갖는 차량항법 시스템 및 그의정보 출력 방법
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
JP2009139940A (ja) * 2007-11-16 2009-06-25 Panasonic Corp 画像表示装置
KR101588890B1 (ko) 2008-07-10 2016-01-27 삼성전자주식회사 카메라 기반 영상의 문자 인식 및 번역 방법
KR100926165B1 (ko) * 2009-08-18 2009-11-10 (주)애니쿼터스 Ｎｆｃ 컨트롤러를 통한 원샷 ｃａｌｌ·원샷 ｓｍｓ·원샷 인터넷 접속 기능을 갖는 휴대폰 단말기 자동전송 장치 및 방법
US8894415B2 (en) * 2009-09-29 2014-11-25 Advanced Training System Llc System, method and apparatus for driver training
WO2011074209A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 透過型表示装置
WO2012042744A1 (ja) * 2010-10-01 2012-04-05 パナソニック株式会社 表示装置、移動体及び制御装置
KR101628394B1 (ko) * 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
US9421866B2 (en) 2011-09-23 2016-08-23 Visteon Global Technologies, Inc. Vehicle system and method for providing information regarding an external item a driver is focusing on
KR101723080B1 (ko) * 2012-03-15 2017-04-04 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR20140058309A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 차량용 컨트롤 장치
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
WO2014162211A2 (en) 2013-03-15 2014-10-09 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US20140375810A1 (en) * 2013-06-21 2014-12-25 Digimarc Corporation Vehicular safety methods and arrangements
CN104597625A (zh) 2013-10-30 2015-05-06 富泰华工业（深圳）有限公司 智能眼镜
US9393902B2 (en) * 2013-10-31 2016-07-19 Hendrikus A. Le Sage Transparent illuminated display system for automobiles
KR20150066036A (ko) 2013-12-06 2015-06-16 이동녀 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
US9720259B2 (en) * 2014-10-13 2017-08-01 William Hart Eyewear pupilometer
US20160323722A1 (en) * 2014-11-12 2016-11-03 Katherine Rose Kovarik Method and System for Improving the Safety of Driving While Communicating
JP2016161479A (ja) 2015-03-04 2016-09-05 株式会社ゼンリンデータコム ナビゲーションシステム及びナビゲーション方法
JP2016173802A (ja) 2015-03-18 2016-09-29 株式会社ゼンリンデータコム 経路案内装置
KR101853396B1 (ko) * 2015-08-21 2018-04-30 엘지전자 주식회사 차량 내 휴대 기기를 제어하는 장치 및 방법
JP6272375B2 (ja) 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
WO2019053890A1 (ja) * 2017-09-15 2019-03-21 三菱電機株式会社 照射装置および照射方法
KR102073861B1 (ko) * 2018-01-17 2020-02-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925272A (en) * 1988-02-15 1990-05-15 Yazaki Corporation Indication display unit for vehicles
CN102866991A (zh) * 2007-03-22 2013-01-09 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
CN106233184A (zh) * 2014-03-31 2016-12-14 瓦伊拉耶有限责任公司 透过汽车挡风玻璃显示信息的方法及其实施装置
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
CN105974584A (zh) * 2015-03-11 2016-09-28 现代摩比斯株式会社 抬头显示器及其控制方法
KR20160120104A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 차량용 표시장치 및 그것의 제어방법
CN106915302A (zh) * 2015-12-24 2017-07-04 Lg电子株式会社 用于车辆的显示装置及其控制方法
CN206155363U (zh) * 2016-09-28 2017-05-10 马文强 一种眼动行为分析及车辆屏幕控制装置

Also Published As

Publication number Publication date
EP3666579A4 (en) 2020-10-21
KR102446387B1 (ko) 2022-09-22
EP3666579A1 (en) 2020-06-17
WO2019107730A1 (ko) 2019-06-06
KR20190069633A (ko) 2019-06-20
US20210197665A1 (en) 2021-07-01
CN111727132A (zh) 2020-09-29
US11440408B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
US10773646B2 (en) Lamp for vehicle
CN106915302B (zh) 用于车辆的显示装置及其控制方法
CN109476315B (zh) 驾驶员辅助装置及具有该装置的车辆
US10296083B2 (en) Driver assistance apparatus and method for controlling the same
CN107914713B (zh) 车辆用显示装置及包括其的车辆
US10474147B2 (en) Autonomous vehicle
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
EP3093192B1 (en) Rear combination lamp for vehicle comprising a display
US9267808B2 (en) Visual guidance system
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
KR20160142167A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN111727132B (zh) 电子设备及其文本提供方法
KR102005443B1 (ko) 사용자 인터페이스 장치
US11256088B2 (en) Vehicle display device
KR20200067120A (ko) 차량 제어장치 및 차량 제어방법
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102168041B1 (ko) 차량 제어장치 및 차량 제어방법
KR101816570B1 (ko) 차량용 디스플레이 장치
KR102192146B1 (ko) 차량 제어장치 및 차량 제어방법
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102480989B1 (ko) 차량용 디스플레이 장치 및 그 동작 방법
KR101858701B1 (ko) 차량용 헤드 업 디스플레이 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant