CN113170016A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN113170016A
CN113170016A CN201880099670.XA CN201880099670A CN113170016A CN 113170016 A CN113170016 A CN 113170016A CN 201880099670 A CN201880099670 A CN 201880099670A CN 113170016 A CN113170016 A CN 113170016A
Authority
CN
China
Prior art keywords
processor
camera
front image
mobile terminal
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099670.XA
Other languages
English (en)
Inventor
郑斗景
李机炯
李在浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202410474002.8A priority Critical patent/CN118200431A/zh
Publication of CN113170016A publication Critical patent/CN113170016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
    • G08G1/096883—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input information is obtained using a mobile device, e.g. a mobile phone, a PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种在放置于车辆的状态下提供增强现实导航画面的移动终端，其包括：至少一个相机，获取前方图像；显示器；以及至少一个处理器，对所述前方图像进行校准，并驱动增强现实导航应用，以在所述显示器上显示包括至少一个AR(Augmented Reality：增强现实)图形客体和已校准的前方图像的增强现实导航画面。

Description

移动终端及其控制方法
技术领域
本发明涉及移动终端及其控制方法。
背景技术
近年来，相比于嵌入到车辆的导航，人们更活跃地使用移动终端的导航。用户在未乘坐车辆时将移动终端放置在包或口袋中，而在乘坐在车辆内时将移动终端放置于车辆并用作导航。
另一方面，近年来，积极地开展了关于增强现实导航的研发。此外，关于用于在移动终端实现增强现实导航的研究也在积极的开展。
但是，每次将移动终端放置于车辆时，移动终端的位置或姿势会发生变化，因此存在用相机拍到的图像不恒定的问题。
发明内容
发明要解决的问题
本发明为了解决上述问题而提出，其目的在于，提供一种显示包括AR图形客体和已校准的前方图像的增强现实导航画面的移动终端。
另外，本发明的目的还在于，提供一种显示包括AR图形客体和已校准的前方图像的增强现实导航画面的移动终端的动作方法。
本发明的目的并不限定于以上提及到的目的，本领域的技术人员能够通过以下的记载明确理解未被提及到的其他目的。
用于解决问题的手段
为了解决上述问题，本发明实施例的移动终端在放置于车辆的状态下提供增强现实导航画面，其中，包括：至少一个相机，获取前方图像；显示器；以及至少一个处理器，对所述前方图像进行校准，并驱动增强现实导航应用，以在所述显示器上显示包括至少一个AR(Augmented Reality：增强现实)图形客体和已校准的前方图像的增强现实导航画面。
根据本发明的实施例，所述处理器从所述前方图像中裁剪车辆的至少一部分所处的第一区域，所述车辆的至少一部分包括引擎盖、车顶、A柱、仪表板以及支架中的至少一个。
根据本发明的实施例，所述至少一个相机包括：第一相机，获取所述前方图像；和第二相机，与所述第一相机相比，获取广角图像；所述处理器基于经过可在所述前方图像中检测的消失点(vanishing point)的水平线和经过所述消失点的竖直线中的至少一个，来判断所述前方图像的上下左右的平衡，所述处理器基于所述平衡，来确定是否使用所述广角图像。
根据本发明的实施例，所述至少一个相机包括：第一相机，获取所述前方图像；和第二相机，与所述第一相机相比，获取广角图像；所述处理器将第一AR图形客体叠加在所述前方图像中与在所述前方图像中检测出的第一对象对应的一部位，所述处理器基于所述第一AR图形客体在所述前方图像中的位置，来确定是否使用所述广角图像。
根据本发明的实施例，所述处理器使可在所述前方图像中检测的左右方向的消失线(vanishing line)位于所述导航画面的上下方向的中心。
根据本发明的实施例，还包括生成第一感测数据的陀螺仪传感器和生成第二感测数据的加速度传感器；所述移动终端基于所述第一感测数据和所述第二感测数据来判断放置倾斜度值，对所述导航画面补偿所述放置倾斜度值。
根据本发明的实施例，在接收到主屏幕按键输入信号和其他应用运行输入信号中的至少一种的情况下，所述处理器使所述相机去激活，并在后台驱动所述增强现实导航应用。
根据本发明的实施例，在获取到车辆的静止状态信息的情况下，所述处理器使所述相机去激活，并驱动所述增强现实导航应用，以显示没有前方图像和AR图形客体的导航画面。
根据本发明的实施例，在车辆的静止状态之后获取到车辆的移动状态信息的情况下，所述处理器激活所述相机，并基于所述相机的去激活之前的校准数据，对由被激活的相机获取到的前方图像进行校准。
关于其他实施例的具体内容包含在具体实施方式和附图中。
发明效果
根据本发明，具有如下效果中的一种或者多种效果。
第一、在将移动终端放置于车辆时，在没有额外的设定的情况下提供基于已校准的前方图像的增强现实导航画面。
第二、无需在每次将移动终端放置于车辆时都要调整移动终端的姿势或进行手动校准。
第三、消除了在用户乘坐多种类型的车辆时每次都需要进行设定的麻烦。
本发明的效果并不限定于以上提及到的效果，本领域的技术人员能够从权利要求书的记载明确理解未被提及到的其他效果。
附图说明
图1是本发明实施例的移动终端的框图。
图2是本发明实施例的处理器的详细框图。
图3是用于说明本发明实施例的导航画面的图。
图4是用于说明生成本发明实施例的导航画面的动作的图。
图5是本发明实施例的流程图。
图6a至图6b是用于说明本发明实施例的消失线、引擎盖线以及中心线的图。
图7a至图7d是用于说明本发明实施例的裁剪动作的图。
图8a至图8b是用于说明本发明实施例的裁剪动作的图。
图9a至图11d是用于说明本发明实施例的使用广角图像的动作的图。
图12a至图12b是用于说明本发明实施例的消失线调整动作的图。
图13a至图13c是用于说明本发明实施例的移动终端放置倾斜度值补偿动作的图。
图14a至图14c是用于说明根据本发明的实施例，移动终端在特定状况下的动作的图。
图15是用于说明根据本发明的实施例，移动终端在步行模式下的动作的图。
具体实施方式
下面，参照附图对本说明书中公开的实施例进行详细的说明，并且对与图号无关地对相同或类似的结构要素赋予了相同的附图标记，并将省去对其重复的说明。在以下说明中使用的针对结构要素的接后缀“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用，其自身并不带有相互区分的含义或作用。并且，在对本说明书公开的实施例进行说明的过程中，如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所公开的实施例的技术思想，则将省去对其详细的说明。并且，所附的附图仅是为了容易理解本说明书所公开的实施例，不应由所附的附图来限定本说明书所公开的技术思想，而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。
“第一”、“第二”等包含序数的术语可用于说明多种结构要素，但是所述结构要素并不由所述术语所限定。所述术语仅是用于将一个结构要素与其他结构要素区分的目的来使用。
如果提及到某个结构要素“连接”或““耦合”于另一结构要素，则应理解为可能是直接连接于或耦合于该另一结构要素，但也可能它们中间存在有其他结构要素。反之，如果提及到某个结构要素“直接连接”或“直接耦合”于另一结构要素，则应当被理解为是它们之间不存在有其他结构要素。
除非在上下文明确表示有另行的含义，否则单数的表达方式包括复数的表达方式。
在本申请中，“包括”或“具有”等术语仅是为了指定说明书上记载的特征、数字、步骤、动作、结构要素、部件或其组合的存在，而并不意在排除一个或其以上的其他特征或数字、步骤、动作、结构要素、部件或其组合的存在或添加的可能性。
在以下的说明中，左侧表示车辆行驶方向的左侧，右侧表示车辆行驶方向的右侧。
图1是本发明实施例的移动终端的框图。
参照图1，移动终端可以包括手机、智能手机(smart phone)、笔记本电脑(laptopcomputer)、数字广播用终端、PDA(personal digital assistants：个人数字助理)、PMP(portable multimedia player：便携式多媒体播放器)、导航、平板计算机(slate PC)、平板PC(tablet PC)、超级本(ultrabook)、可穿戴设备(wearable device，例如，手表式终端(smart watch)、眼镜式终端(smart glass)、HMD(head mounted display：头戴式显示器))等。
移动终端100可以以放置于车辆的状态提供增强现实导航画面。移动终端100可以在车辆的内部放置为，显示器151朝向车辆的驾驶舱而至少一个相机121朝向车辆的前方。
移动终端100可以包括无线通信部110、至少一个相机121、陀螺仪传感器143、加速度传感器144、显示器151、存储器170、至少一个处理器180以及供电部190。
移动终端100还可以包括具有广播接收模块、移动通信模块、无线网络模块、近距离通信模块以及位置信息模块的无线通信部。移动终端100还可以包括具有麦克风、用户输入部的输入部。根据实施例，可以将相机121分类为输入部的下位构成。移动终端100还可以包括具有接近传感器、照度传感器的感测部。移动终端100可以包括具有声音输出部、触觉模块以及光输出部的输出部。根据实施例，显示器151可以分类为输出部的下位构成。移动终端100还可以包括用于与其他装置交换电源或数据的接口部。
无线通信部110可以包括能够使移动终端100和无线通信系统之间、移动终端100和其他移动终端100之间、或移动终端100和外部服务器之间无线通信的一个以上的模块。无线通信部110可以包括将移动终端100连接到一个以上的网络的一个以上的模块。
在根据用于移动通信的技术标准或通信方式(例如，GSM(Global System forMobile communication：全球移动通信系统)、CDMA(Code Division Multi Access：码分多址)、CDMA2000(Code Division Multi Access 2000：码分多址2000)、EV-DO(EnhancedVoice-Data Optimized or Enhanced Voice-Data Only：增强型优化语音数据或增强型仅语音数据)、WCDMA(Wideband CDMA：宽带CDMA)、HSDPA(High Speed Downlink PacketAccess：高速下行链路分组接入)、HSUPA(High Speed Uplink Packet Access：高速上行链路分组接入)、LTE(Long Term Evolution：长期演进)、LTE-A(Long Term Evolution-Advanced：高级长期演进)、5G等)建立的移动通信网上，无线通信部110与基站、外部终端、服务器中的至少一个收发无线信号。
相机121可以对由图像传感器获得的静止图像或视频等的图像帧进行处理。被处理的图像帧可以显示在显示部151或存储于存储器170。相机121可以包括相机传感器(例如，CCD、CMOS等)、光传感器(或图像传感器)以及激光传感器中的至少一种。
相机121可以获取车辆的前方图像。获取到的车辆的前方图像可以存储于存储器170或传送给处理器180。相机121可以基于在处理器180生成的控制信号而被激活或去激活。
相机121可以包括第一相机和第二相机。
第一相机可以获取车辆的前方图像。与第二相机相比，第一相机可以获取窄角图像。第一相机可以配置在第二相机周边。第一相机可以基于在处理器180生成的控制信号而被激活或去激活。
第二相机可以获取车辆的前方图像。第二相机可以在去激活的状态下，根据处理器180的请求信号而被激活并获取前方图像。与第一相机相比，第二相机可以获取广角图像。第二相机可以基于在处理器180生成的控制信号而被激活或去激活。
陀螺仪传感器(gyroscope sensor)143能够使移动终端100测量移动终端100的角速度。陀螺仪传感器143可以基于测量到的角速度，生成第一感测数据。
加速度传感器(acceleration sensor)144可以测量移动终端100的加速度。加速度传感器144可以基于测量到的加速度，生成第二感测数据。
显示器151显示(输出)移动终端100所处理的信息。例如，显示部151可以显示移动终端100所驱动的应用程序的运行画面信息、或基于这种运行画面信息的UI(UserInterface：用户界面)、GUI(Graphic User Interface：图形用户界面)信息。
显示部151可以包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode，OLED)、柔性显示器(flexible display)、三维显示器(3D display)、电子墨水显示器(e-ink display)中的至少一种。
另外，显示部151可以根据移动终端100的实现形态而具有两个以上。在此情况下，复数个显示部可在移动终端100的一个面上隔开配置或一体地配置，另外也可以分别配置于彼此不同的面。
显示部151可以包括触摸传感器，用于感测对显示部151的触摸，使得通过触摸方式接收控制指令的输入。由此，当存在对显示部151的触摸时，触摸传感器可以检测所述触摸，处理器180可以根据此产生与所述触摸对应的控制指令。通过触摸方式输入的内容可以是文字或数字或者在各种模式下的指示或可指定的菜单项目。如此，显示部151可以与触摸传感器一起形成触摸屏，并且在此情况下触摸屏可作为用户输入部发挥功能。
另外，存储器170存储支持移动终端100的多种功能的数据。存储器170可以存储移动终端100所驱动的复数个应用程序(application program或应用(application))、用于移动终端100的动作的数据、指令等。这种应用程序中的至少一部分可通过无线通信而从外部服务器下载。另外，这种应用程序中的至少一部分可以在出厂时已存在于移动终端100中，以实现移动终端100的基本功能(例如，接电话功能、打电话功能、接收消息功能、发送消息功能)。另一方面，应用程序可以存储于存储器170，安装于移动终端100，被处理器180驱动为执行所述移动终端的动作(或功能)。
存储器170可存储用于处理器180的动作的程序，也可以临时存储输入/输出的数据(例如，电话簿、消息、静止图像、视频等)。所述存储器170可以存储与响应于所述触摸屏上的触摸输入而输出的各种模式的振动和声音有关的数据。
存储器170可以包括闪存类型(flash memory type)、硬盘类型(hard disktype)、SSD类型(Solid State Disk type)、SDD类型(Silicon Disk Drive type)、多媒体卡微型(multimedia card micro type)、卡型存储器(例如SD或XD存储器等)、随机存取存储器(random access memory；RAM)、SRAM(static random access memory：静态随机存取存储器)、只读存储器(read-only memory；ROM)、EEPROM(electrically erasableprogrammable read-only memory：电可擦除可编程只读存储器)、PROM(programmableread-only memory：可编程只读存储器)、磁存储器、磁盘以及光盘中的至少一种类型的存储介质。移动终端100也可以与在互联网上执行所述存储器170的存储功能的网络存储装置(web storage)关联地进行动作。
处理器180可以与相机121、陀螺仪传感器143、加速度传感器144、显示器151、存储器170以及供电部190电连接，并交换信号。处理器180可以通过专用集成电路(applicationspecific integrated circuits，ASICs)、数字信号处理器(digital signal processors，DSPs)、数字信号处理设备(digital signal processing devices，DSPDs)、可编程逻辑设备(programmable logic devices，PLDs)、现场可编程门阵列(field programmable gatearrays，FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)，微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。处理器180可以通过来自供电部190的电源而被驱动。
处理器180控制移动终端100的整体动作。处理器180对通过上面说明的构成要素输入或输出的信号、数据、信息等进行处理，或者通过运行存储于存储器170的应用程序，来向用户提供或处理适当的信息或功能。
处理器180可以接收车辆的前方图像。
处理器180可以对前方图像进行校准。
处理器180可以通过裁剪(cropping)前方图像来进行校准。在前方图像中，可能会存在对构成导航画面不需要的区域。处理器180可以删除这些不需要的区域。处理器180可以裁剪前方图像中车辆的至少一部分所处的第一区域。在此，车辆的至少一部分可以包括引擎盖、车顶、A柱、仪表板以及支架中的至少一个。处理器180可以基于利用直方图(Histogram)进行的图像处理，裁剪第一区域。
处理器180可以将与导航相关的信息输出到被裁剪的区域。例如，处理器180可以将时间信息、位置信息、行驶中的道路的信息、出发地信息、出发时间信息、目的地信息、距目的地的剩余距离信息、到达目的地的剩余时间信息以及预计到达时间信息中的至少一种显示在被裁剪的区域。
处理器180可以利用广角图像来执行校准。处理器180可以基于经过可在由第一相机获取到的前方图像中检测的消失点(vanishing point)的水平线和经过所述消失点的竖直线中的至少一个，来判断前方图像的上下左右的平衡。处理器180可以基于前方图像的上下左右的平衡，来确定是否使用由第二相机获取到的广角图像。处理器180可以将第一AR图形客体叠加在由第一相机获取到的前方图像中与在前方图像中检测出的第一对象对应的一部位。处理器180可以基于第一AR图形客体在前方图像中的位置，来确定是否使用广角图像。
处理器180可以通过调整可在前方图像中检测的消失线(vanishing line)的位置来进行校准。处理器180可以使可在前方图像中检测的左右方向的消失线(vanishingline)位于导航画面的上下方向的中心。
处理器180可以通过对移动终端100的放置倾斜度值进行补偿来执行校准。处理器180可以基于从陀螺仪传感器143接收到的第一感测数据和从加速度传感器144接收到的第二感测数据，来判断放置倾斜度值。处理器180可以对导航画面补偿放置倾斜度值。处理器180可以使用卡尔曼滤波器来补偿第一感测数据和第二感测数据。根据实施例，处理器180可以进一步基于从地磁传感器和温度传感器接收到的数据，来判断放置倾斜度值。根据实施例，处理器180可以基于从重力传感器接收到的第三感测数据，来判断放置倾斜度值并对其进行补偿。
处理器180可以驱动增强现实导航应用，以在显示器151显示增强现实导航画面。增强现实导航画面可以包括至少一个AR(Augmented Reality：增强现实)图形客体和已校准的前方图像。
处理器180可以通过用户输入部来接收主屏幕按键输入信号及其他应用运行输入信号中的至少一种。在此情况下，处理器180可以使相机121去激活，以中断前方图像的获取。处理器180可以将增强现实导航应用驱动为在后台运行。通过如上所述的控制，能够防止不必要的获取前方图像并进行处理导致的浪费电池和浪费处理能力。
处理器180可以通过处理前方图像或从车辆接收信号，来获取车辆的静止状态信息。在获取到车辆的静止状态信息的情况下，处理器180可以使相机121去激活。在此情况下，处理器180可以将增强现实导航应用驱动为显示没有前方图像和AR图形客体的导航画面。在车辆处于静止状态之后，处理器180可以通过处理前方图像或从车辆接收信号来获取车辆的移动状态信息。在车辆处于静止状态之后获取到车辆的移动状态信息时，处理器180可以激活相机121。处理器180可以基于相机121的去激活之前的校准数据，对由被激活的相机获取到的前方图像进行校准。
处理器180可以通过无线通信部110从服务器接收信号、信息以及数据中的至少一种。处理器180可以从服务器接收增强现实导航应用的数据。
处理器180可以从服务器接收路径信息，并基于路径信息来驱动导航应用。路径信息可以包括地图数据和AR图形客体。
处理器180可以从服务器接收地图数据。地图数据可以包括标清(standarddefinition，SD)地图数据和高清(high definition，HD)地图数据中的至少一种。处理器180可以在特定时间点下载整个地图数据并将其存储于存储器170以供使用。处理器180可以按预先设定的周期仅下载整个地图数据中的一部分数据，并将其存储于存储器170之后临时使用。使用过的地图数据可以删除。处理器180可以从服务器接收AR图形客体(例如，AR指示符)数据。
处理器180可以基于设定的路径，仅下载整个地图数据中的一部分数据，并存储于存储器170之后临时使用。处理器180可以接收与通过由用户输入的目的地而生成的路径对应的地图数据，并将接收到的地图数据存储于存储器170。处理器170可以与地图数据一起接收与路径对应的AR图形客体，并将接收到的AR图形客体存储于存储器170。处理器170可以在使用存储于存储器170的地图数据和AR图形客体之后将其删除。
当在导航运行中路径信息基于从服务器接收到的路径信息而被更新的情况下，处理器180可以接收更新后的路径信息来驱动导航应用。处理器180可以根据更新后的路径信息，来变更预先设定的路径。
处理器180可以实时接收与预想行驶路径对应的路径信息。处理器180可以根据通信强度来调节与包括预想行驶路径的区间相应的路径信息的接收量。例如，在通信强度为第一基准值以上的情况下，处理器180可以接收与相对长的区间相应的路径信息。
根据实施例，可以在服务器生成后述的复数个表面(导航地图表面、AR相机表面、AR GUI表面以及导航GUI表面)。处理器180可以从服务器接收复数个表面来构成导航画面。处理器180可以根据通信强度来调整接收的表面(surface)的数量。例如，在通信强度弱的情况下，处理器180可以仅接收导航GUI表面，途中若通信强度逐渐变强则可以追加接收ARGUI表面。
处理器180可以接收在服务器中已处理的AR图形信息，并基于接收到的AR图形信息来输出AR指示符。在存在由增强现实导航应用预先设定的POI(Point of interest：兴趣点)的情况下，处理器180可以在AR导航时追加显示AR指示符。处理器180可以从服务器实时接收POI信息。处理器180可以在接收POI信息时，一起接收与POI对应的AR指示符。
在处理器180的控制下，供电部190接收外部的电源、内部的电源，并向各个构成要素供给所需的电源。供电部190包括电池，所述电池可以是可充电的内置电池，并且可以为了充电等而可装拆地结合于终端主体。供电部190可以设置有连接端口，连接端口可以作为为了电池的充电而供电的外部充电器电连接的接口160的一个例子。
作为另一例，供电部190可以构成为不使用所述连接端口而以无线方式对电池充电。在此情况下，供电部190可利用基于电磁感应现象的电感耦合(Inductive Coupling)方式或基于电磁共振现象的共振耦合(Magnetic Resonance Coupling)方式中的一种以上方式，从外部的无线电力传送装置接收电力。
另一方面，移动终端100可以包括当由处理器180驱动时执行复数个步骤的计算机可读介质。复数个步骤可以包括：接收前方图像的步骤；对所述前方图像执行校准的步骤；以及驱动增强现实导航应用，以在显示器上显示包括至少一个AR图形客体和所述已校准的前方图像的增强现实导航画面的步骤。下面，参照图5进一步详细说明复数个步骤。
图2是本发明实施例的处理器的详细框图。
图3是用于说明本发明实施例的导航画面的图。
图4是用于说明生成本发明实施例的导航画面的动作的图。
参照附图，处理器180可以包括导航引擎(Navigation Engine)210、AR引擎(Augmented Reality Engine)220以及导航应用(Navigation Application)230。
导航引擎210可以接收地图数据和GPS数据。导航引擎210可以基于地图数据和GPS数据，执行地图匹配。导航引擎210可以进行路径规划(route planning)。导航引擎210可以显示地图，并执行路径引导(route guidance)。导航引擎210可以将路径引导信息提供给导航应用230。另一方面，导航引擎210可以包括导航控制器211。导航控制器211可以接收地图匹配数据、地图显示数据、路径引导数据。导航控制器211可以向AR引擎220提供路径数据、POI(point of interest：兴趣点)数据等。导航控制器211可以向导航应用230提供路径引导数据和地图显示帧。
AR引擎220可以包括适配器(adaptor)221和渲染器(renderer)222。适配器221可以从相机121接收前方图像数据、从陀螺仪传感器143接收第一感测数据、从速度传感器144接收第二感测数据。根据实施例，适配器可以从地磁传感器、温度传感器和重力传感器中的至少一个接收感测数据。
可以基于从校准因子数据库(calibration factor DB)提供的数据，对前方图像执行校准。AR引擎220可以基于前方图像数据和路径数据，执行对象检测。AR引擎220可以执行预测和内插(Prediction&Interpolation)。
渲染器222可以基于路径数据、POI数据以及预测和内插结果数据，执行渲染。渲染器222可以向导航应用230提供AR GUI(graphical user interface：图形用户界面)帧和AR相机帧。
导航应用230可以生成增强现实导航画面。如图3所示的例子，增强现实导航画面可以包括导航地图表面310、AR相机表面320、AR GUI表面330以及导航GUI表面340。导航应用230可以基于从导航控制器211接收到的地图显示帧，来生成导航地图表面310。导航应用230可以基于从渲染器222接收到的AR相机帧，来生成AR相机表面320。导航应用230可以基于从渲染器222接收到的AR GUI帧，来生成AR GUI表面330。导航应用230可以基于从导航控制器211接收到的路径引导数据，来生成导航GUI表面340。
参照图4，若启动导航应用230(S410)，则可以在导航应用230生成导航地图表面310、AR相机表面320、AR GUI表面330以及导航GUI表面340(S420)。导航应用230可以向AR引擎220提供AR相机表面320的参数和AR GUI表面330的参数(S430)。AR引擎220可以向相机服务器171注册回调函数以接收前方图像数据(S440)。可以理解为，相机服务器171包括在存储器170中。AR引擎220可以接收前方图像数据并进行裁剪(S450)。导航应用230可以在AR相机表面320显示被裁剪的前方图像(S460)。AR引擎230可以执行AR(S470)。导航应用230可以基于被裁剪的前方图像，在AR GUI表面330显示AR GUI(S480)。
图5是本发明实施例的流程图。
参照图4和图5，说明移动终端的动作方法(S500)。移动终端100可以在放置于车辆的状态下提供增强现实导航画面。
处理器180可以接收车辆前方图像(S510)。相机121可以拍摄车辆前方图像。处理器180可以接收由相机121拍摄的车辆前方图像。步骤S510可以包括步骤S511、步骤S512以及步骤S513。
处理器180可以生成AR GUI表面330和AR相机表面320(S511)。处理器180可以通过得到相机121的控制而接收车辆前方图像(S512)。处理器180可以将来自相机121的车辆前方图像显示在AR GUI表面330和AR相机表面320(S513)。
处理器180可以对车辆前方图像进行校准(S520)。步骤S520可以包括步骤S521、步骤S522、步骤S523、步骤S524、步骤S525以及步骤S526。
当校准开始时(S521)，处理器180可以在车辆前方图像中，检测并提取消失线(vanishing line)、引擎盖线以及中心线(S522、S523)。关于在步骤S523中提取到的消失线、引擎盖线、中心线的数据可以存储于校准因子DB172。校准因子DB172可以包括在存储器170中。处理器180可以计算相机121的高度和倾斜度(S524)。例如，处理器180可以基于感测数据(例如，第一感测数据和第二感测数据)，来计算相机121的高度和倾斜度(S524)。处理器180可以基于在步骤S523和步骤S524中获取到的数据，执行对于车辆前方图像的校准(S525)。处理器180可以结束校准(S526)。
执行校准的步骤(S525)可以包括处理器180在所述前方图像中裁剪车辆的至少一部分所处的第一区域的步骤。车辆的至少一部分可以包括引擎盖、车顶、A柱、仪表板以及支架中的至少一个。
执行校准的步骤(S525)可以包括：处理器180基于经过可在所述前方图像中检测的消失点(vanishing point)的水平线和经过所述消失点的竖直线中的至少一个，判断所述前方图像的上下左右的平衡的步骤；和所述处理器基于所述平衡，判断是否使用所述广角图像的步骤。
另一方面，移动终端的动作方法(S500)可以包括将第一AR图形客体叠加在车辆前方图像中与在前方图像中检测出的第一对象对应的一部位的步骤。进行叠加的步骤可以是步骤S544的下位步骤。
执行校准的步骤(S525)可以包括，处理器180基于所述第一AR图形客体在所述前方图像中的位置，确定是否使用所述广角图像的步骤。执行校准的步骤(S525)可以包括处理器180使可在所述前方图像中检测的左右方向的消失线(vanishing line)位于所述导航画面的上下方向的中心的步骤。
移动终端的动作方法(S500)还可以包括：陀螺仪传感器143生成第一感测数据的步骤；和加速度传感器144生成第二感测数据的步骤。执行校准的步骤(S525)可以包括：所述处理器基于所述第一感测数据和所述第二感测数据，判断放置倾斜度的步骤；和所述处理器对所述导航画面补偿所述放置倾斜度的步骤。
处理器180可以驱动增强现实导航应用，以在显示器151上显示包括至少一个AR图形客体和已校准的前方图像的增强现实导航画面300(S530)。步骤S530可以包括步骤S531至步骤S549。
校准成功的情况下的实施例
处理器180可以显示校准结果(S531)。在判断为校准成功的情况下(S532)，处理器180可以在开始AR模式之后开始导航模式S533、S534。处理器180可以搜索路径(S535)。处理器180可以接收并解析路径信息(S536)。
另一方面，处理器180可以开始传感器的控制(S540)。处理器180可以注册各种传感器数据的接收回调(S541)。处理器180可以接收并解析IMU(Inertial MeasurementUnit，惯性测量单元)传感器数据。IMU传感器可以包括陀螺仪传感器143和加速度传感器144，处理器180可以接收第一感测数据和第二感测数据作为IMU传感器数据。处理器180可以基于步骤S546的解析结果和步骤S542的解析结果，预测并内插车辆的行驶(S543)。处理器180可以在AR GUI表面330显示演习(maneuver)(S544)。处理器180可以在AR GUI表面330显示AR图形客体。处理器180可以通过步骤S546，将第一AR图形客体叠加在前方图像中与在前方图像中检测出的第一对象对应的一部位。之后，处理器180可以引导路径(S537)。处理器180可以基于在步骤S535中搜索到的路径和在步骤S544中的演习来引导路径。处理器180可以判断AR引导，并且判断是否为AR引导时间点(S538、S539)。在判断为是AR引导时间点的情况下，处理器180可以执行步骤S544。在判断为不是AR引导时间点的情况下，处理器180可以执行步骤S537。
处理器180可以接收并解析相机121传感器数据(S546)。处理器180可以基于在相机121获取到的图像，检测出对象(例如，车道、其他车辆、二轮车、行人等)。处理器180可以基于检测出的对象的信息，识别车道(S547)。处理器180可以裁剪相机图像(S548)。处理器180可以基于存储于校准因子DB172的数据来裁剪前方图像。处理器180可以基于S547的车道识别数据和S548的图像数据，在AR相机表面320显示3D地毯(S549)。
校准失败的情况下的实施例
处理器180可以显示校准结果(S531)。在判断为校准失败的情况下(S532)，处理器180可以在不启动AR模式的情况下开启导航模式(S534)。处理器180可以搜索路径(S535)。处理器180可以按照搜索到的路径执行路径引导(S537)。
图6a至图6b是用于说明本发明实施例的消失线、引擎盖线以及中心线的图。
参照附图，处理器180可以在由相机121拍摄到的车辆前方图像中，检测出消失线610、引擎盖线620以及中心线630。消失线610可以定义为是经过在车辆前方图像中检测出的消失点601的水平线。引擎盖线620可以定义为是经过在车辆前方图像中检测出的引擎盖的最上端的水平线。中心线630可以定义为是经过消失点601的竖直线。
根据实施例，处理器180可以与用户输入对应地以消失线610、引擎盖线620以及中心线630为基准执行校准。如图6a所示的例子，若根据用户输入来设定消失线610、引擎盖线620以及中心线630，则处理器180可以将前方图像校准为使消失线610、引擎盖线620以及中心线630分别与设定的位置相对应。
图7a至图7d是用于说明本发明实施例的裁剪动作的图。
如图7a所示的例子，处理器180可以在由相机121拍摄的车辆前方图像中检测出消失线710、引擎盖线720以及中心线730。如图7b所示的例子，处理器180可以在车辆前方图像中删除引擎盖线710的下部区域。处理器180可以在被删除的引擎盖线710的下部区域显示关于导航的信息740。例如，处理器180可以在引擎盖线710的下部区域显示时间信息、位置信息、行驶中的道路信息、出发地信息、出发时间信息、目的地信息、距目的地的剩余距离信息、到达目的地的剩余时间信息、以及预计到达时间信息中的至少一种。处理器180可以在显示器151的一区域显示导航地图750和导航GUI755。
如图7c所示的例子，处理器180可以在车辆前方图像中删除不需要的区域。处理器180可以删除对车辆的行驶没有任何影响的对象区域。例如，处理器180可以在车辆前方图像中删除与位于人行道的固定对象相应的区域。如此，通过删除对车辆的行驶没有影响的对象区域，可以防止在驾驶时注意力分散。如图7d所示的例子，处理器180可以显示AR导航画面300。
图8a至图8b是用于说明本发明实施例的裁剪动作的图。
如图8a所示的例子，处理器180可以检测支架线810。支架线810可以定义为是在移动终端的支架中、从向画面的中心凸出最多的部位沿竖直方向或水平方向形成的线。如图8b所示的例子，为了删除支架820，处理器180可以以支架线810为中心删除显示有支架的区域。
图9a至图11d是用于说明本发明实施例的使用广角图像的动作的图。
参照附图，相机121可以包括第一相机和第二相机。第一相机可以获取车辆的前方图像。与第一相机相比，第二相机可以获取广角图像。在第二相机去激活的状态下，若处理器180确定使用广角图像，则第二相机可以被激活。
处理器180可以基于前方图像中的消失线910和中心线920，判断前方图像的上下左右平衡。处理器180可以基于上下左右的平衡，确定是否使用广角图像。例如，在判断为中心线920偏向前方图像的左侧的情况下，处理器180可以激活第二相机。处理器180可以从由被激活的第二相机获取到的图像中取出第一相机获取到的图像左侧外侧的图像，来补偿第一相机的前方图像。
另一方面，在车辆10逐渐接近交叉路口的情况下，处理器180可以逐渐改变第一相机的视角并将前方图像逐渐放大显示。
另一方面，处理器180可以基于道路的形状数据，判断是否使用广角图像。例如，处理器180可以基于在左侧或右侧形成的道路的弯道数据，判断是否使用广角图像。
图10a的附图标记1010例示了由第一相机获取到的前方图像。附图标记1020例示了由第二相机获取到的前方图像。处理器180可以将第一AR图形客体叠加在前方图像中与在前方图像中检测出的第一对象对应的一部位。处理器180可以基于第一AR图形客体在前方图像中的位置，确定是否使用广角图像。如图10b所示的例子，在AR图形客体1030因路径向右侧形成而位于前方图像的右侧的情况下，处理器180可以取出第二相机的广角图像中超出第一相机的前方图像的右侧区域，来补偿第一相机的前方图像。在此情况下，如图10c所示的例子，在使用广角图像时，处理器180可以使比例尺小于使用广角图像之前的比例尺，并结合第一相机的前方图像和第二相机的广角图像中的一部分来显示。或者，处理器180也可以仅对第二相机的广角图像进行处理并显示。在此情况下，处理器180可以保持前方区域显示区域的尺寸。如图10d所示的例子，当使用广角图像时，处理器180可以使比例尺等于使用广角图像之前的比例尺，并结合第一相机的前方图像和第二相机的广角图像中的一部分来显示。或者，处理器180也可以仅对第二相机的广角图像进行处理并显示。在此情况下，处理器180可以使前方区域的显示区域的尺寸变大。处理器180可以使导航地图显示区域变小。
图11a的附图标记1110例示了由第一相机获取到的前方图像。附图标记1120例示了由第二相机获取到的前方图像。处理器180可以使第一AR图形客体叠加在前方图像中与在前方图像中检测出的第一对象对应的一部位。处理器180可以基于第一AR图形客体在前方图像中的位置，确定是否使用广角图像。如图11b所示的例子，在AR图形客体1130因路径向左侧形成而位于前方图像的左侧的情况下，处理器180可以取出第二相机的广角图像中超出第一相机的前方图像的左侧区域，来补偿第一相机的前方图像。在此情况下，如图11c所示的例子，当使用广角图像时，处理器180可以使比例尺小于使用广角图像之前的比例尺，并结合第一相机的前方图像和第二相机的广角图像中的一部分来显示。或者，处理器180可以仅对第二相机的广角图像进行处理并显示。在此情况下，处理器180可以保持前方区域显示区域的尺寸。如图11d所示的例子，当使用广角图像时，处理器180可以使比例尺等于使用广角图像之前的比例尺，并结合第一相机的前方图像和第二相机的广角图像中的一部分来显示。或者，处理器180也可以仅对第二相机的广角图像进行处理并显示。在此情况下，处理器180可以使前方区域的显示区域的尺寸变大。处理器180可以使导航地图显示区域变小。
图12a至图12b是用于说明本发明实施例的消失线调整动作的图。
参照附图，处理器180可以在前方图像中检测消失线1210。如图12a所示的例子，处理器180可以判断消失线1210是否位于比导航画面的上下方向上的中心1220更靠下方的位置。在此情况下，处理器180可以将前方图像中显示在导航画面的区域调整为使消失线1210位于中心1220。如图12b所示的例子，处理器180可以使消失线1210位于导航画面的上下方向的中心1220。
处理器180可以判断消失线是否位于比导航画面的上下方向的中心更靠上方的位置。在此情况下，处理器180可以使消失线位于导航画面的上下方向的中心。
图13a至图13c是用于说明本发明实施例的车辆在斜坡上行驶时的倾斜度值校正动作的图。
如图13a和图13b所示的例子，当车辆在平地上行驶时，处理器180可以计算移动终端的倾斜度值、计算消失线，构成查找表1310。查找表1310可以存储于存储器170。例如，在移动终端100的倾斜度为90度、85度、80度、75度的情况下，计算各个消失线，构成查找表1310。
如图13c和图13d所示的例子，当车辆在斜坡上行驶时，处理器180可以基于查找表1310，对移动终端100的放置倾斜度值进行校正。例如，处理器180可以基于第一感测数据和第二感测数据中的至少一个数据，判断移动终端100的放置倾斜度值为75度。处理器180可以确认到消失线的值为540。处理器180可以基于查找表1310，确认到移动终端的与消失线值对应的倾斜度值为90度。处理器180可以将车辆倾斜行驶时移动终端100的放置倾斜度校正为90度。
图14a至图14c是用于说明根据本发明实施例，移动终端在特定状况下的动作的图。
图14a例示了AR导航应用在前台运行的情形。AR导航应用的前台运行参照图1至图13c进行了说明。
图14b例示了在相机去激活的状态下AR导航应用在前台运行的情形。移动终端100的动作方法还可以包括：处理器180获取车辆的静止状态信息的步骤；处理器180使相机121去激活的步骤；以及处理器180驱动所述增强现实导航应用，以显示没有前方图像和AR图形客体的导航画面的步骤。
在获取到车辆的静止状态信息的情况下，处理器180可以使所述相机去激活，并驱动所述增强现实导航应用，以显示没有前方图像和AR图形客体的导航画面。处理器180可以在AR导航画面中删除AR GUI表面和AR相机表面，使AR导航画面仅包括导航GUI表面和导航地图表面。
另一方面，移动终端100的动作方法还可以包括：处理器180在车辆的静止状态之后获取车辆的移动状态信息的步骤；处理器180激活所述相机的步骤；以及处理器180基于相机121的去激活之前的校准数据，对由被激活的相机121获取到的前方图像执行校准的步骤。
在车辆的静止状态之后获取到车辆的移动状态信息的情况下，处理器180可以激活相机121，并且基于相机121的去激活之前的校准数据，对由被激活的相机121获取到的前方图像进行校准。处理器180可以从校准因子DB172中调用校准数据，对由被激活的相机121获取到的前方图像进行校准。
图14c例示了AR导航应用在后台运行的情形。移动终端100的动作方法可以包括：处理器180接收主屏幕按键输入信号和其他应用运行输入信号中的至少一种的步骤；处理器180使相机121去激活的步骤；以及处理器180使所述增强现实导航应用在后台运行的步骤。
在接收到主屏幕按键输入信号和其他应用运行输入信号中的至少一种的情况下，处理器180可以使相机121去激活，并在后台驱动所述增强现实导航应用。
图15是用于说明根据本发明的实施例，移动终端在步行模式下的动作的图。
参照图15，移动终端100可以以车辆模式和步行模式使用。在以车辆模式使用移动终端100的情况下，移动终端100如参照图1至图14说明的一样进行动作。
在以步行模式使用移动终端100的情况下，处理器180可以提供步行用AR导航画面。处理器180可以执行校准，以从行人前方图像中删除不妨碍步行的对象区域。处理器180可以放大显示行人前方图像中用于引导步行路径的区域，而可以删除剩余的区域。
前述的本发明可由在记录有程序的介质中作为计算机可读取的代码来实现。计算机可读取的介质包括存储有可由计算机系统读取的数据的所有种类的记录装置。作为计算机可读取的介质的例子，有硬盘驱动器(Hard Disk Drive，HDD)、固态盘(Solid StateDisk，SSD)、硅盘驱动器(Silicon Disk Drive，SDD)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且也可以载波(例如，基于因特网的传输)的形态实现。另外，所述计算机也可包括终端的处理器。因此，以上所述的详细的说明在所有方面上不应被理解为限制性的，而是应当被理解为是示例性的。本发明的范围应当由权利要求书的合理的解释而定，本发明的等价范围内的所有变更应当落入本发明的范围。
附图标记说明
100：移动终端
121：相机
151：显示器
180：处理器

Claims (19)

1.一种移动终端，所述移动终端在放置于车辆的状态下提供增强现实导航画面，其中，包括：
至少一个相机，获取前方图像；
显示器；以及
至少一个处理器，对所述前方图像进行校准，并驱动增强现实导航应用，以在所述显示器上显示包括至少一个AR(Augmented Reality：增强现实)图形客体和已校准的前方图像的增强现实导航画面。
2.根据权利要求1所述的移动终端，其中，
所述处理器从所述前方图像中裁剪车辆的至少一部分所处的第一区域，
所述车辆的至少一部分包括引擎盖、车顶、A柱、仪表板以及支架中的至少一个。
3.根据权利要求1所述的移动终端，其中，
所述至少一个相机包括：
第一相机，获取所述前方图像；以及
第二相机，与所述第一相机相比，获取广角图像，
所述处理器基于经过可在所述前方图像中检测的消失点(vanishing point)的水平线和经过所述消失点的竖直线中的至少一个，来判断所述前方图像的上下左右的平衡，
所述处理器基于所述平衡，来确定是否使用所述广角图像。
4.根据权利要求1所述的移动终端，其中，
所述至少一个相机包括：
第一相机，获取所述前方图像；以及
第二相机，与所述第一相机相比，获取广角图像，
所述处理器将第一AR图形客体叠加在所述前方图像中与在所述前方图像中检测出的第一对象对应的一部位，
所述处理器基于所述第一AR图形客体在所述前方图像中的位置，来确定是否使用所述广角图像。
5.根据权利要求1所述的移动终端，其中，
所述处理器使可在所述前方图像中检测的左右方向的消失线(vanishing line)位于所述导航画面的上下方向的中心。
6.根据权利要求1所述的移动终端，其中，还包括：
陀螺仪传感器，生成第一感测数据；以及
加速度传感器，生成第二感测数据；
所述移动终端基于所述第一感测数据和所述第二感测数据来判断放置倾斜度值，
对所述导航画面补偿所述放置倾斜度值。
7.根据权利要求1所述的移动终端，其中，
在接收到主屏幕按键输入信号和其他应用运行输入信号中的至少一种的情况下，所述处理器使所述相机去激活，并在后台驱动所述增强现实导航应用。
8.根据权利要求1所述的移动终端，其中，
在获取到车辆的静止状态信息的情况下，所述处理器使所述相机去激活，并驱动所述增强现实导航应用，以显示没有前方图像和AR图形客体的导航画面。
9.根据权利要求8所述的移动终端，其中，
在车辆的静止状态之后获取到车辆的移动状态信息的情况下，所述处理器激活所述相机，并基于所述相机的去激活之前的校准数据，对由被激活的相机获取到的前方图像进行校准。
10.一种移动终端的动作方法，所述移动终端在设置于车辆的状态下提供增强现实导航画面，其中，所述动作方法包括：
至少一个处理器接收前方图像的步骤；
至少一个处理器对所述前方图像执行校准的步骤；以及
所述处理器驱动增强现实导航应用，以在显示器上显示包括至少一个AR图形客体和已校准的前方图像的增强现实导航画面的步骤。
11.根据权利要求10所述的移动终端的动作方法，其中，
所述执行校准的步骤包括：
所述处理器从所述前方图像中裁剪车辆的至少一部分所处的第一区域的步骤，
所述车辆的至少一部分包括引擎盖、车顶、A柱、仪表板以及支架中的至少一个。
12.根据权利要求10所述的移动终端的动作方法，其中，
所述至少一个相机包括：
第一相机，获取所述前方图像；以及
第二相机，与所述第一相机相比，获取广角图像；
所述执行校准的步骤包括：
所述处理器基于经过可在所述前方图像中检测的消失点(vanishing point)的水平线和经过所述消失点的竖直线中的至少一个，来判断所述前方图像的上下左右的平衡的步骤；以及
所述处理器基于所述平衡，来判断是否使用所述广角图像的步骤。
13.根据权利要求10所述的移动终端的动作方法，其中，
还包括：
将第一AR图形客体叠加在所述前方图像中与在所述前方图像中检测出的第一对象对应的一部位的步骤，
所述至少一个相机包括：
第一相机，获取所述前方图像；以及
第二相机，与所述第一相机相比，获取广角图像；
在所述执行校准的步骤中，所述处理器基于所述第一AR图形客体在所述前方图像中的位置，来确定是否使用所述广角图像。
14.根据权利要求10所述的移动终端的动作方法，其中，
所述执行校准的步骤包括：
所述处理器使可在所述前方图像中检测的左右方向的消失线(vanishing line)位于所述导航画面的上下方向的中心的步骤。
15.根据权利要求10所述的移动终端的动作方法，其中，
还包括：
陀螺仪传感器生成第一感测数据的步骤；以及
加速度传感器生成第二感测数据的步骤；
所述执行校准的步骤包括：
所述处理器基于所述第一感测数据和所述第二感测数据，来判断放置倾斜度的步骤；以及
所述处理器对所述导航画面补偿所述放置倾斜度的步骤。
16.根据权利要求10所述的移动终端的动作方法，其中，包括：
所述处理器接收主屏幕按键输入信号和其他应用运行输入信号中的至少一种的步骤；
所述处理器使所述相机去激活的步骤；以及
所述处理器在后台驱动所述增强现实导航应用的步骤。
17.根据权利要求10所述的移动终端的动作方法，其中，还包括：
所述处理器获取车辆的静止状态信息的步骤；
所述处理器使所述相机去激活的步骤；以及
所述处理器驱动所述增强现实导航应用，以显示没有前方图像和AR图形客体的导航画面的步骤。
18.根据权利要求17所述的移动终端的动作方法，其中，还包括：
所述处理器在车辆的静止状态之后获取车辆的移动状态信息的步骤；
所述处理器激活所述相机的步骤；以及
所述处理器基于所述相机的去激活之前的校准数据，对由被激活的相机获取到的前方图像执行校准的步骤。
19.一种移动终端，所述移动终端在放置于车辆的状态下提供增强现实导航画面，其中，包括：
至少一个相机，获取前方图像；
显示器；
至少一个处理器；以及
计算机可读介质，在由所述处理器驱动时执行复数个步骤；
所述复数个步骤包括：
接收前方图像的步骤；
对所述前方图像执行校准的步骤；以及
驱动增强现实导航应用，以在显示器上显示包括至少一个AR图形客体和已校准的前方图像的增强现实导航画面的步骤。
CN201880099670.XA 2018-09-21 2018-09-21 移动终端及其控制方法 Pending CN113170016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410474002.8A CN118200431A (zh) 2018-09-21 2018-09-21 移动终端及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/011341 WO2020059926A1 (ko) 2018-09-21 2018-09-21 이동단말기 및 그 제어방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410474002.8A Division CN118200431A (zh) 2018-09-21 2018-09-21 移动终端及其控制方法

Publications (1)

Publication Number Publication Date
CN113170016A true CN113170016A (zh) 2021-07-23

Family

ID=69887324

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880099670.XA Pending CN113170016A (zh) 2018-09-21 2018-09-21 移动终端及其控制方法
CN202410474002.8A Pending CN118200431A (zh) 2018-09-21 2018-09-21 移动终端及其控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410474002.8A Pending CN118200431A (zh) 2018-09-21 2018-09-21 移动终端及其控制方法

Country Status (5)

Country Link
US (2) US11615593B2 (zh)
EP (1) EP3855712A4 (zh)
KR (1) KR102569214B1 (zh)
CN (2) CN113170016A (zh)
WO (1) WO2020059926A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3855712A4 (en) * 2018-09-21 2022-05-04 LG Electronics Inc. MOBILE TERMINAL AND METHOD OF CONTROL THEREOF
US20210072027A1 (en) * 2019-09-09 2021-03-11 Caci, Inc. - Federal Systems and methods for providing localization and navigation services
EP4209401A4 (en) * 2020-09-02 2024-04-03 LG Electronics Inc. SYSTEM FOR VEHICLE AR SCREEN IMAGE AND METHOD FOR PROVIDING VEHICLE AR SCREEN IMAGE SERVICE
WO2024080419A1 (ko) * 2022-10-14 2024-04-18 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
KR102548579B1 (ko) * 2022-11-30 2023-06-29 주식회사 모라이 혼합 현실 영상 기반 자율 주행 차량 평가 방법 및 시스템
KR102551145B1 (ko) * 2022-11-30 2023-07-04 주식회사 모라이 주행 환경과 연관된 혼합 현실 영상 생성 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595368A (zh) * 2007-01-29 2009-12-02 株式会社东芝 汽车导航装置
US20120226437A1 (en) * 2011-03-01 2012-09-06 Mitac International Corp. Navigation device with augmented reality navigation functionality
CN102692234A (zh) * 2011-03-24 2012-09-26 昆达电脑科技(昆山)有限公司 在导航画面中显示前方车辆影像的导航方法及导航装置
US20150049080A1 (en) * 2011-09-26 2015-02-19 Nokia Corporation Method and Apparatus for Rendering Items in a User Interface
US20150145951A1 (en) * 2012-10-30 2015-05-28 Thinkware Systems Corporation Navigation guidance apparatus and method using wide-angle lens camera image

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60130264T2 (de) * 2001-06-13 2008-05-21 Volume Interactions Pte. Ltd. Führungssystem
EP4342723A1 (en) * 2008-08-18 2024-03-27 Christopher B. Austin Vehicular battery charger, charging system, and method
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
US9135754B2 (en) * 2012-05-07 2015-09-15 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US9738223B2 (en) * 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US20170042631A1 (en) * 2014-04-22 2017-02-16 Surgerati, Llc Intra-operative medical image viewing system and method
WO2016188547A1 (en) * 2015-05-22 2016-12-01 Here Global B.V. An apparatus and associated methods for providing turn guidance
KR102222102B1 (ko) * 2015-06-12 2021-03-03 주식회사 파인디지털 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법
KR20170016700A (ko) 2015-08-04 2017-02-14 엘지전자 주식회사 이동단말기 및 그 제어방법
US10217286B1 (en) * 2015-09-21 2019-02-26 Amazon Technologies, Inc. Realistic rendering for virtual reality applications
US20170315771A1 (en) * 2016-04-28 2017-11-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for selectively displaying images in an autonomous vehicle
CN109690634A (zh) * 2016-09-23 2019-04-26 苹果公司 增强现实显示器
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
DE102018204254B4 (de) * 2018-03-20 2020-12-03 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
EP3855712A4 (en) * 2018-09-21 2022-05-04 LG Electronics Inc. MOBILE TERMINAL AND METHOD OF CONTROL THEREOF
CN114502061B (zh) * 2018-12-04 2024-05-28 巴黎欧莱雅 使用深度学习的基于图像的自动皮肤诊断
US11238657B2 (en) * 2020-03-02 2022-02-01 Adobe Inc. Augmented video prototyping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595368A (zh) * 2007-01-29 2009-12-02 株式会社东芝 汽车导航装置
US20120226437A1 (en) * 2011-03-01 2012-09-06 Mitac International Corp. Navigation device with augmented reality navigation functionality
CN102692234A (zh) * 2011-03-24 2012-09-26 昆达电脑科技(昆山)有限公司 在导航画面中显示前方车辆影像的导航方法及导航装置
US20150049080A1 (en) * 2011-09-26 2015-02-19 Nokia Corporation Method and Apparatus for Rendering Items in a User Interface
US20150145951A1 (en) * 2012-10-30 2015-05-28 Thinkware Systems Corporation Navigation guidance apparatus and method using wide-angle lens camera image

Also Published As

Publication number Publication date
KR102569214B1 (ko) 2023-08-21
EP3855712A4 (en) 2022-05-04
US20230196695A1 (en) 2023-06-22
CN118200431A (zh) 2024-06-14
KR20210047896A (ko) 2021-04-30
WO2020059926A1 (ko) 2020-03-26
EP3855712A1 (en) 2021-07-28
US20210375055A1 (en) 2021-12-02
US11615593B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
CN113170016A (zh) 移动终端及其控制方法
EP2241857B1 (en) Method and apparatus for displaying image of mobile communication terminal
KR101612785B1 (ko) 차량 내비게이션 방법 및 그 장치
EP2317281B1 (en) User terminal for providing position and for guiding route thereof
CN109253735B (zh) 路径规划方法、装置及存储介质
US8583364B2 (en) Navigation method of mobile terminal and apparatus thereof
US20170278486A1 (en) Display control apparatus, display control method, and program
JP5795278B2 (ja) ナビゲーション装置、自律航法支援方法および自律航法支援プログラム
EP2703780A2 (en) Navigation apparatus and display method thereof
KR101824555B1 (ko) 차량에 장착되어 전방 표시 장치 기능을 수행할 수 있는 이동 단말기, 상기 이동 단말기 구동 방법, 및 상기 이동 단말기와 연동되는 경로 안내 장치
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
EP2988097B1 (en) Driving support system, method, and program
JP5063871B2 (ja) 携帯機用地図表示システム
CN111243314A (zh) 信息提供系统、服务器、移动终端、非暂时性存储介质和信息提供方法
CN104039580A (zh) 用于驾驶员通知的方法和设备
US10568148B2 (en) Systems and methods for communicating notices within a vehicle using a mobile device
JP7023775B2 (ja) 経路案内プログラム、経路案内方法及び情報処理装置
US20180112987A1 (en) Azimuth specifying system
JP2016223898A (ja) 位置算出装置、位置算出システム及び位置算出方法
US10776641B2 (en) Information processing device and method of determining an image data displayed on the same
JP5174942B2 (ja) 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
KR102135314B1 (ko) 무인 비행체 시스템 및 무인 비행체의 제어 방법
JP2013141111A (ja) 撮像システム
JP2014066595A (ja) ナビゲーション装置
KR20140074557A (ko) 내비게이션 디스플레이 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication