CN114056236A - 增强现实处理装置、基于增强现实的路线引导方法以及电子装置 - Google Patents

增强现实处理装置、基于增强现实的路线引导方法以及电子装置 Download PDF

Info

Publication number
CN114056236A
CN114056236A CN202110902611.5A CN202110902611A CN114056236A CN 114056236 A CN114056236 A CN 114056236A CN 202110902611 A CN202110902611 A CN 202110902611A CN 114056236 A CN114056236 A CN 114056236A
Authority
CN
China
Prior art keywords
route guidance
vehicle
data
linear data
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110902611.5A
Other languages
English (en)
Other versions
CN114056236B (zh
Inventor
高锡弼
金信亨
朴永世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210100694A external-priority patent/KR20220018425A/ko
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN114056236A publication Critical patent/CN114056236A/zh
Application granted granted Critical
Publication of CN114056236B publication Critical patent/CN114056236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

公开一种利用处理器的基于增强现实的路线引导方法。本方法，包括：获取在行驶时车辆的拍摄装置所拍摄的行驶影像的步骤；获取到车辆的目的地的路线数据的步骤；从所获取的行驶影像中识别车辆行驶中的车道的两侧车道线的步骤；对于在行驶影像中识别出两侧车道线的区域，基于识别出的两侧车道线生成第一路线引导线性数据的步骤；对于在行驶影像中未识别出两侧车道线的区域，使用路线数据的链路线性数据来生成第二路线引导线性数据的步骤；结合第一路线引导线性数据和第二路线引导线性数据来生成结合路线引导线性数据的步骤；以及利用所生成的结合路线引导线性数据，在增强现实上显示路线引导对象的步骤。

Description

增强现实处理装置、基于增强现实的路线引导方法以及电子 装置
技术领域
本发明涉及一种通过增强现实来显示与车辆驾驶相关的各种增强现实对象的技术。
背景技术
增强现实(Augmented Reality：AR)是指在现实世界(Real-world)合成虚拟物体或信息，使其看起来像现实环境中存在的物体的技术。
与在虚拟世界合成虚拟对象而显示的虚拟现实(Virtual Reality：VR)不同，增强现实是在现实世界合成虚拟对象，因此，可以向用户提供仅由现实世界无法得到的附加信息。
由于这些特性，增强现实正被应用于多种领域。
作为例子，有基于增强现实提供与车辆驾驶相关的引导的增强现实导航。这种增强现实导航通过在投影用户实际看到的显示世界的屏幕上视觉上重叠地提供附加信息来提高用户的便利性。上述附加信息，例如有兴趣点(Point Of Interest：POI)、表示目的地为止的路线的图形元素等。
然而，传统的增强现实导航，由于摄像头环境的限制，存在难以显示离车辆远距离的信息，以及难以在高速行驶环境下显示信息的问题。
由于这些缺点，传统的增强现实导航所提供的路线引导对象无法以模样和形态准确的构图表达，因此，存在驾驶员难以通过对象准确了解路线的问题。另外，在传统的增强现实导航中，各种ADAS(Advanced Driver Assistance System，先进驾驶辅助系统)对象等也以图标的形式被简单地表现，这降低了增强现实的优点的真实感，而导致驾驶者的驾驶便利性降低的问题。
发明内容
本发明的各种课题之一是，提供一种通过结合车辆行驶中识别的车道线和路线数据的链路线性数据来实现通过增强现实显示的路线引导对象的方法。
本发明的各种课题之一是，提供一种实现路线引导对象的方法，所述方法对用户显示直观、动态且逼真性得以提高的增强现实。
本发明的各种课题之一是，提供一种在车辆行驶的过程中发生车道线偏离的情况下，可以对路线引导对象显示LDWS(Lane Departure Warning System，车道偏离警示系统)的方法。
为达成所述目的，根据本发明的一实施例的利用处理器的基于增强现实的路线引导方法，其中，包括：获取在行驶时车辆的拍摄装置所拍摄的行驶影像的步骤；获取到所述车辆的目的地的路线数据的步骤；从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线的步骤；对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别出的两侧车道线生成第一路线引导线性数据的步骤；对于在所述行驶影像中未识别出两侧车道线的区域，使用所述路线数据的链路线性数据来生成第二路线引导线性数据的步骤；结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据的步骤；以及利用所述生成的结合路线引导线性数据，在增强现实上显示路线引导对象的步骤。
而且，生成所述第二路线引导线性数据的步骤，还可以包括：基于构成所述第一路线引导线性数据的第一点的位置计算构成所述链路线性数据的多个点的移动值的步骤；以及基于所述计算出的移动值，使构成所述链路线性数据的多个点移动的步骤。
而且，生成所述第二路线引导线性数据的步骤，还可以包括：基于所述车辆的行驶方向矢量和所述车辆的路线方向矢量之间的角度差计算所述链路线性数据的旋转角度的步骤；以及基于所述计算出的旋转角度旋转所述移动而产生的链路线性数据的步骤。
而且，还可以包括在所述行驶影像中仅识别出一侧车道线时，基于车道线宽数据来生成对另一侧车道线的虚拟车道线的步骤。
而且，所述路线引导对象，可以包括：箭头形状的第一路线引导对象，在所述结合路线引导线性数据具有中心，指向车辆应该行驶的路线；第二路线引导对象，显示在所述第一路线引导对象的左侧和左侧车道线之间；以及第三路线引导对象，显示在所述第一路线引导对象的右侧和右侧车道线之间。
而且，当所述车辆向前行驶时，通过从前向后移动来显示所述路线引导对象，所述路线引导对象的移动速度可根据所述车辆的速度而改变。
而且，还可以包括当所述车辆接近弯道地点时，显示弯道地点引导对象而不显示所述路线引导对象的步骤。
而且，还可以包括当所述车辆偏离车道线时，改变所述第二路线引导对象和所述第三路线引导对象中的至少一个的显示状态而显示的步骤。
另外，为达成所述目的，根据本发明的一实施例的执行基于增强现实的路线引导的电子装置，其中，包括：显示部，用于显示屏幕；行驶影像获取部，用于获取行驶中的车辆的拍摄装置所拍摄的行驶影像；路线数据获取部，用于获取到所述车辆的目的地的路线数据；车道线识别部，用于从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线；路线引导线性数据生成部，对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别的两侧车道线生成第一路线引导线性数据，并在所述行驶影像中未识别出两侧车道线的区域，利用所述路线数据的链路线性数据生成第二路线引导线性数据，结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据；以及控制部，用于控制所述显示部使得利用所述生成的结合路线引导线性数据来将路线引导对象显示在增强现实影像中。
而且，所述路线引导对象，可以包括：箭头形状的第一路线引导对象，在所述结合路线引导线性数据具有中心，指向车辆应该行驶的路线；第二路线引导对象，显示在所述第一路线引导对象的左侧和左侧车道线之间；以及第三路线引导对象，显示在所述第一路线引导对象的右侧和右侧车道线之间。
而且，当所述车辆向前行驶时，所述路线引导对象从前向后移动而显示在增强现实影像中，所述路线引导对象的移动速度可根据所述车辆的速度而改变。
而且，当所述车辆接近弯道地点时，所述控制部可以控制所述显示部使得显示弯道地点引导对象而不显示所述路线引导对象。
而且，当所述车辆偏离车道线时，所述控制部可以控制所述显示部使得改变所述第二路线引导对象和所述第三路线引导对象中的至少一个的显示状态而显示。
另外，为达成所述目的，根据本发明的一实施例的增强现实处理装置，其中，包括：行驶影像获取部，用于获取在行驶时由车辆的拍摄装置拍摄的行驶影像；路线数据获取部，用于获取到所述车辆的目的地的路线数据；车道线识别部，从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线；路线引导线性数据生成部，对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别出的两侧车道线生成第一路线引导线性数据，对于在所述行驶影像中未识别出两侧车道线的区域，使用所述路线数据的链路线性数据来生成第二路线引导线性数据，结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据；以及增强现实影像生成部，利用所述生成的结合路线引导线性数据，生成映射路线引导对象的增强现实影像。
而且，所述路线引导线性数据生成部，可以基于构成所述第一路线引导线性数据的第一点的位置计算构成所述链路线性数据的多个点的移动值，并可以基于所述计算出的移动值，使构成所述链路线性数据的多个点移动。
而且，所述路线引导线性数据生成部，可以基于所述车辆的行驶方向矢量和所述车辆的路线方向矢量之间的角度差计算所述链路线性数据的旋转角度，并可以基于所述计算出的旋转角度旋转所述移动而产生的链路线性数据。
而且，所述路线引导线性数据生成部，还可以包括在所述行驶影像中仅识别出一侧车道线时，基于车道线宽数据来生成对另一侧车道线的虚拟车道线的步骤。
另外，为达成所述目的，根据本发明的一实施例，可以提供程序，其存储于包括用于执行基于增强现实的路线引导方法的程序编码的计算机可读记录介质中。
另外，为达成所述目的，根据本发明的一实施例，可以提供一种计算机可读记录介质，其中记录有用于执行基于增强现实的路线引导方法的程序。
发明效果
根据本发明的各种实施例，基于识别车辆的行驶车道(Lane)两侧车道线(Lanemarking)标记的结果表示路线引导对象，在车道线被擦除或看不见的远距离，使用存储在存储部的路线数据来显示路线引导对象，从而，可以在增强现实上显示更准确的路线引导对象。
根据本本发明的各种实施例，在增强现实上可以显示驾驶员可以直观地识别的动态路线引导对象。
根据本发明的各种实施例，在车辆行驶过程中发生车道偏离时，可以在增强现实上直观地显示路线引导对象和车道偏离引导对象。
附图说明
图1是示出根据本发明的一实施例的增强现实处理装置的框图。
图2是更详细地示出根据本发明的一实施例的增强现实影像生成部的框图。
图3是示出根据本发明的一实施例的车辆的驾驶环境的图。
图4是用于说明根据本发明的一实施例的路线引导线性数据的生成方法的图。
图5是用于说明根据本发明的一实施例的车辆改变车道时的第二路线引导线性数据的误差校正的图。
图6是用于说明根据本发明的一实施例的车辆行驶弯道段时的第二路线引导线性数据的误差校正的图。
图7是示出根据本发明的一实施例的拍摄影像和虚拟3D空间之间的变换关系的图。
图8是用于说明根据本发明的一实施例的路线引导对象的图。
图9是示出根据本发明的其他实施例的增强现实处理装置的框图。
图10是示出根据本发明的一实施例的电子装置的框图。
图11是用于说明与根据本发明的一实施例的电子装置连接的系统网络的图。
图12是示出根据本发明的一实施例的增强现实影像生成方法的流程图。
图13是具体示出根据本发明的一实施例的线性数据生成步骤的流程图。
图14是示出当执行到目的地的导航时通过电子装置显示的增强现实影像的图。
图15是示出当车辆偏离车道时通过电子装置显示的增强现实影像的图。
图16至图17是示出当车辆接近弯道地点时通过电子装置显示的增强现实影像的图。
图18是示出根据本发明的一实施例的电子装置不具备拍摄部时的体现形态的图。
图19是示出根据本发明的一实施例的电子装置具备拍摄部时的体现形态的图。
图20是示出根据本发明的一实施例的使用平视显示器(HUD，Head-Up Display)的体现形态的图。
图21是示出根据本发明的一实施例的自动驾驶系统的框图。
图22是示出根据本发明的一实施例的自动驾驶汽车的结构的框图。
具体实施方式
以下的内容仅例示发明的原理。因此，本发明所属技术领域的普通技术人员可以发明虽未在说明书中明确说明或图示但体现发明的原理且包含在发明的概念中的多种装置。并且，在本说明书中列举的所有条件部术语及实施例仅用于明确理解本发明的概念，而并不局限于如上所述的特别列举的实施例及状态。
并且，应理解为不仅是本发明的原理、观点及实施例，列举特定实施例的所有详细说明均包括所述事项的结构及功能性等同物。并且，应理解为所述等同物不仅包括目前公知的等同物，而且还包括将来要开发的等同物，即，与结构无关，以执行相同功能的方式发明的所有元件。
因此，例如，应理解为本说明书中的框图示出使本发明的原理具体化的例示性电路的概念性观点。与此类似，应理解为所有流程图、状态变换图、伪代码等实质上可通过计算机可读介质体现，无论是否明确示出计算机或处理器，均表示可由计算机或处理器执行的多种处理器。
包括处理器或与其类似的概念呈现的功能模块的图中所示的多种元件的功能不仅与专用硬件相关，而且还与适当软件相关，从而可使用具有执行软件能力的硬件。当由处理器提供时，所述功能可由单一专用处理器、单一共享处理器或多个个别处理器提供，其中一部分可以共享。
并且，用处理、控制或与处理和控制类似的概念提出的术语的明确使用不能排他性地引用具有执行软件能力的硬件来解释，应理解为没有限制地暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存贮器(RAM)及非挥发性存储器。可包括周知常规的其他硬件。
在本说明书的发明要求保护范围中，表现成用于执行详细说明中记载的功能的手段的结构要素，例如，意图包括具有执行所述功能的电路元件的组合或包括固件/微代码等的所有形式的软件的功能的所有方法，以执行所述功能的方式与用于执行所述软件的适当电路相结合。在通过所述发明要求保护范围定义的本发明中，由多种手段提供的功能相结合并与发明要求保护范围所要求的方式相结合，因此，应理解为可提供所述功能的任何手段也与从本说明书中把握的功能等同。
所述目的、特征及优点通过与附图相关的以下的详细说明将变得更加明确，由此，本发明所属技术领域的普通技术人员可容易实施本发明的技术思想。并且，在说明本发明的过程中，在判断为对于与本发明相关的公知技术的具体说明会使本发明的主旨不清楚的情况下，将省略对其的详细说明。
以下，参照附图，详细说明本发明的多种实施例。
图1是示出根据本发明的一实施例的增强现实处理装置的框图。图2是更详细地示出根据本发明的一实施例的增强现实影像生成部的框图。参照图1至图2，增强现实处理装置10，可以包括：影像获取部11、路线数据获取部12、车道线识别部13、路线引导线性数据生成部14以及增强现实影像生成部15。
此处，增强现实影像生成部15，可以包括：校准部15-1、虚拟3D空间生成部15-2、对象生成部15-3以及映射部15-4的全部或局部。
所述增强现实处理装置10可以基于在车辆的拍摄装置上拍摄的行驶影像生成用于引导汽车用户的增强现实影像。
此处，车辆的行驶是指车辆由驾驶员行驶并位于道路上的状态，并且可以是包括车辆在道路上行驶的行驶状态、车辆在道路上的停车状态、及车辆的停车状态的概念。
此外，汽车用户可以是包括汽车驾驶员和汽车非驾驶员(例如，同乘者、乘客等)的概念。
另外，由车辆的拍摄装置拍摄的行驶影像可以包括根据车辆拍摄前方的前方行驶影像、根据车辆拍摄后方的后方行驶影像。
所述增强现实处理装置10可以使用软件、硬件或其组合来实现。作为一例，根据硬件实现，可以使用专用集成电路(ASICs，application specific integrated circuits)、数字信号处理器(DSPs，digital signal processors)、数字信号处理设备(DSPDs,digitalsignal processing devices)、可编程逻辑器件(PLDs，programmable logic devices)、现场可编程门阵列(FPGAs，field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(micro-processors)用于执行其他功能的电气单元中的至少一个来实现。
下面，为了方便说明，将以行驶影像为前方行驶影像的情况为例，更详细地说明构成增强现实处理装置10的每个构成模块。
影像获取部11可以获取由车辆的拍摄装置拍摄的行驶影像。具体地，影像获取部11可以实时地获取在车辆行驶时由安装在车辆的拍摄装置拍摄的行驶影像。
此处，所获取的行驶影像可以包括根据车道线(lane marking)区分的多个车道(lane)、由多个车道组成的道路(road)以及在该道路上行驶的多个车辆。
车道线(lane marking)可以指形成车辆所在车道(lane)的两侧线(line)。另外，车道(lane)可以指诸如第一车道、第二车道…第N车道等，由车道线形成，车辆行驶的道路。
路线数据获取部12可以从地图数据中获取到车辆目的地的路线数据。此处，地图数据从设置有增强现实处理装置10的电子装置100的存储部110获取，或者通过与电子装置100和其他的外部地图数据库(Database)的有线/无线通信获取，或者可以从其他的电子装置获取。
此外，路线数据可以包括用于表示到车辆目的地的路线的链路数据和节点数据。
此处，链路数据可以由链路线性数据和链路属性数据而构成。
即，在地图数据中，道路或构成道路的每条车道可以由多个链路的连接而构成，链路线性数据是表示链路的线性特征的数据，对链路线性数据可以分配对构成线的至少一个点的位置数据。此处，位置数据可以为GPS数据。这种链路线性数据可用于生成路线引导线性数据，所述路线引导线性数据用于在增强现实中显示路线引导对象。
另外，链路属性数据可以包括链路的标识符、指示链路是双向链路还是单向链路的数据、基于车辆行驶方向的链路的起点和终点、道路编号、道路名称、道路长度、道路等级(Road Rank)信息、道路类型(Road Type)信息、道路宽度数据、道路车道数数据及道路倾斜数据、引导代码数据(例如，引导限速、管制区等的数据)中的至少一个。
节点数据可以包括节点的标识符、对节点的属性数据和对节点的位置数据。此处，位置数据可以为GPS数据，节点属性数据可以包括节点的方向属性。
车道线识别部13可以从由影像获取部11获取的行驶影像中识别出车辆正在行驶的车道的车道线。具体地，车道线识别部13可以在由影像获取部11获取的行驶影像中检测出对应于车道线的边缘(edge)，并基于检测到的边缘生成边缘图像。此外，车道线识别部13可基于检测到的边缘检测直线分量，并基于检测到的直线分量生成边缘直线处理图像。另外，车道线识别部13可以利用所生成的边缘图像和边缘直线处理图像来检测对应于车道线的车道线点。此外，车道线识别部13可以基于检测到的车道线点来识别车道线。
在这种情况下，车道线识别部13可以通过分别检测对应于左车道线的车道线点和对应于右车道线的车道线点来识别车辆正在行驶的两侧车道线线。
路线引导线性数据生成部14可以生成用于在增强现实中显示路线引导对象的路线引导线性数据。具体地，路线引导线性数据生成部14对在行驶影像中识别出两侧车道线的区域基于识别出的两侧车道线生成第一路线引导线性数据，并对在行驶影像中未识别出两侧车道线的区域利用路线数据的链路线性数据可以生成第二路线引导线性数据。另外，路线引导线性数据生成部14可以结合所生成的第一路线引导线性数据和第二路线引导线性数据生成结合路线引导线性数据。
参照图3至图4更详细地说明路线引导线性数据生成部14的动作。
图3是示出根据本发明的一实施例的车辆的行驶环境的图。图4是用于说明根据本发明的一实施例的路线引导线生成方法的图。
在车辆行驶过程中会存在行驶车道线的一部分被擦除的车道区域31-2的情况(31)或者车辆行驶车道线的一部分被前方车辆遮住的车道区域32-2的情况(32)。此时，车道线识别部13在位于车辆前方的局部车道区域31-1、32-1可以识别出车道线，但在剩下的局部车道区域31-2、32-2中无法识别出车道线。
或者，会存在因车道线模糊或处于远距离而无法通过车道线识别部13识别的情况(33)。即使在这种情况下，车道线识别部13也可以在位于车辆前方的局部车道区域33-1识别出车道线，但在剩下的局部车道区域33-2无法识别出车道。
因此，对于在行驶影像中识别出两侧车道线的区域41-1，可以基于识别出的两侧车道线生成第一路线引导线性数据。具体地，路线引导线性数据生成部14可以基于在车道线识别部13检测到的构成左车道线的多个点41-2和构成右车道线的多个点41-3确定位于中间的虚拟点41-4，并可以连接多个虚拟点来生成第一路线引导线性数据41-5。
然而，对于在行驶影像中未识别出两侧车道线的区域42-2，可以使用路线数据的链路线性数据生成第二路线引导线性数据。具体地，路线引导线性数据生成部14可以基于多个链路线性数据43中车辆的当前位置检测出对应于未被识别到两侧车道线的区域41-1的链路线性数据43-1、43-2，并基于检测到的链路线性数据43-1、43-2生成第二路线引导线性数据42-5。
一方面，路线引导线性数据生成部14可以组合所生成的第一路线引导线性数据41-5和第二路线引导线性数据42-5来生成结合路线引导线性数据44。
另一方面，当生成结合路线引导线性数据44时，路线引导线性数据生成部14可以执行第二路线引导线性数据42-5的误差校正。
具体地，路线引导线性数据生成部14可以基于构成第一路线引导线性数据的第一点的位置来计算构成链路线性数据的多个点的移动值。此外，路线引导线性数据生成部14可以基于计算出的移动值来移动(translation)构成链路线性数据的多个点。
此外，路线引导线性数据生成部14可以基于车辆的行驶方向矢量和车辆的路线方向矢量之间的角度差来计算链路线性数据的旋转角度。另外，路线引导线性数据生成部14可以基于计算出的旋转角度旋转(rotation)根据移动(translation)而产生的链路线性数据。
将参照图5至图6更详细地说明路线引导线性数据生成部14的误差校正。
图5是用于说明根据本发明的一实施例的车辆改变车道时第二路线引导线性数据的误差校正的图。
附图标记71为车辆行驶时将车道从第二车道改变为第一车道的过程的图，在第二车道上行驶的车辆71-1上拍摄的影像可以如同附图标记72，改变到第一车道中的车辆71-2上拍摄的影像可以如同附图标记73。
在这种情况下，路线引导线性数据生成部14对于在行驶影像中识别出两侧车道线的区域72-1、73-1可以基于所识别的两侧车道线来生成第一路线引导线性数据。
然而，对于在行驶影像中未识别出两侧车道线的区域72-3、73-3可以利用路线数据的链路线性数据75、76生成第二路线引导线性数据。
此时，车辆的位置数据和分配在链路线性数据的位置数据之间会存在位置误差。因此，根据本发明的一实施例的路线引导线性数据生成部14可以基于行驶中的车辆71-1、71-2的位置数据来确定构成第一路线引导线性数据的第一点72-2、73-2的位置，并且，基于链路线性数据75、76的位置数据确定构成链路线性数据的多个点的初始位置75-1、76-1。此处，第一点72-2、73-2可以为识别区域72-1、73-1的第一路线引导线性数据的最后点。
另一方面，路线引导线性数据生成部14可以基于构成第一路线引导线性数据的第一点72-2、73-2的位置计算构成链路线性数据的多个点的初始位置75-1、76-1的移动值d1。并且，路线引导线性数据生成部14可以基于计算出的移动值d1生成将构成链路线性数据的多个点移动(translation)的第二路线引导线性数据75-2、76-2。
另外，如在改变到第一车道的车辆71-2，当设置在车辆的摄像头的光轴矢量V1和车辆的路线方向矢量V2不同时，会存在角度误差。此处，设置在车辆的摄像头的光轴矢量V1的含义与朝向车辆的行驶方向的行驶方向矢量的含义相同，可以作为相同的概念。
因此，路线引导线性数据生成部14可以基于摄像头的光轴矢量V1和车辆路线方向矢量V2之间的角度差θ来计算链路线性数据的旋转角。作为一例，旋转角度以摄像头的光轴矢量V1为准可以由车辆的路线方向矢量V2的旋转方向和旋转角度的大小而构成。
此外，路线引导线性数据生成部14可以基于计算出的旋转角度将根据移动(translation)而产生的链路线性数据朝相同的旋转方向旋转相同的旋转角度(rotation)。
因此，路线引导线性数据生成部14可以生成校正了位置误差和角度误差的第二路线引导线性数据76-3。
图6是用于说明根据本发明的一实施例的车辆行驶弯道段时第二路线引导线性数据的误差校正的图。
附图标记81为车辆行驶弯道段的图，在进入弯道段之前从车辆81-1上拍摄的影像如同附图标记82，行驶在弯道段的车辆81-2上拍摄的影像如同附图标记83。
此时，路线引导线性数据生成部14对在行驶影像中识别出两侧车道线的区域82-1、83-1可以基于识别出的两侧车道线生成第一路线引导线性数据。
然而，对于在行驶影像未识别出两侧车道线的区域82-3、83-3，可以利用路线数据的链路线性数据85、86来生成第二路线引导线性数据。
此时，车辆的位置数据和分配在链路线性数据的位置数据之间会存在位置误差。因此，根据本发明的一实施例的路线引导线性数据生成部14可以基于行驶中的车辆81-1、81-2的位置数据来确定构成第一路线引导线性数据的第一点82-2、83-2的位置，并且，可以基于链路线性数据85、86的位置数据确定构成链路线性数据的多个点的初始位置85-1、86-1。此处，第一点82-2、83-2可以为识别区域82-1、83-1的第一路线引导线性数据的最后点。
另一方面，路线引导线性数据生成部14可以基于构成第一路线引导线性数据的第一点82-2、83-2的位置计算构成链路线性数据的多个点的初始位置85-1、86-1的移动值d1。并且，路线引导线性数据生成部14可以基于计算出的移动值d1生成将构成链路线性数据的多个点移动(translation)的第二路线引导线性数据85-2、86-2。
另外，在车辆行驶弯道段的情况下，由于摄像头的光轴矢量V1和车辆的路线方向矢量V2不同，因此，会存在角度误差。因此，路线引导线性数据生成部14可以基于摄像头的光轴矢量V1和车辆路线方向矢量V2之间的角度差θ2来计算链路线性数据的旋转角度。
作为一例，旋转角度以摄像头的光轴矢量V1为准，可以由车辆的路线方向矢量V2的旋转方向和旋转角度大小而构成。
此外，路线引导线性数据生成部14可以基于所计算的旋转角度使由移动而产生的链路线性数据朝相同的旋转方向旋转相同的旋转角度。由此，路线引导线性数据生成部14可以生成已补正位置误差和角度误差的第二路线引导线性数据86-3。
然而，在进入弯道段之前没有摄像头的光轴矢量V1和车辆的路线方向矢量V2之间的角度差，因此，不需要进行旋转补正。
另一方面，在行驶影像中仅识别出一侧车道线时，路线引导线性数据生成部14可以基于车道线宽数据来生成对另一侧车道线的虚拟车道线。另外，路线引导线性数据生成部14可以基于在车道线识别部13识别的一侧车道线和虚拟生成的另一侧虚拟车道线确定位于中间的虚拟点，并可以连接虚拟点来生成路线引导线性数据。此外，路线引导线性数据生成部14可以结合通过虚拟点生成的路线引导线性数据与未识别出两侧车道线的区域的路线引导线性数据来生成结合路线引导线性数据。
另一方面，增强现实影像生成部15可以利用在路线引导线性数据生成部14生成的结合路线引导线性数据来生成在增强现实上显示各种对象的增强现实影像。参考图2更详细地说明增强现实影像生成部15。
校准部15-1可以执行从摄像头拍摄的拍摄影像推定与摄像头相对应的摄像头参数的校准(Calibration)。其中，摄像头参数可以为照片结像到实际空间(或现实世界)的关系的信息即构成摄像头矩阵的参数。
此处，参数，如图7(a)所示，可以包括摄像头外部参数(extrinsic parameters)601、摄像头内部参数(intrinsic parameters)602。此处，摄像头内部参数602的fx、fy可以为焦距(focal length)，cx、cy可以为主点(principal point)，skew_c＝tanα可以为偏斜系数(skew coefficient)。另外，摄像头外部参数601可为将世界坐标系(worldcoordinate system)605上的3D点的坐标X、Y、Z变换为摄像头坐标系(Camera CoordinateSystem)604上的3D点的坐标Xc、Yc、Zc的旋转/移动变换矩阵。由于摄像头外部参数不是摄像头固有的参数，因此，可根据摄像头的安装位置和安装方向而异，并且，根据世界坐标系的定义而异。
即，根据本发明的校准部15-1可以执行从拍摄影像推定相当于摄像头的摄像头参数的校准(Calibration)。
虚拟3D空间生成部15-2可以基于由摄像头拍摄的拍摄影像生成虚拟3D空间。具体地，虚拟3D空间生成部15-2可以基于校准部15-1推定的摄像头参数从由摄像头拍摄的影像获取深度信息(Depths information)，并且，基于所获取的深度信息和拍摄影像来生成虚拟3D空间。具体地，参照图7b，摄像头拍摄影像是通过将世界坐标系605的三维空间上的多个点透视投影(perspective projection)到影像坐标系603的二维图像平面而得到。因此，3D空间生成部15-2可以通过基于摄像头参数执行上述操作的反过程来生成对摄像头的拍摄影像的世界坐标系605的虚拟3D(3-Dimensional)空间。
即，根据本发明的虚拟3D空间生成部15-2可以基于校准部15-1推定的摄像头参数从行驶影像获取深度信息(Depths information)，并基于所获取的深度信息和行驶影像来生成3D空间。
对象生成部15-3在增强现实上可以生成用于引导的各种对象。在本发明中，对象将说明指代通过增强现实显示的各种图形元素。此处，对象可以包括前方车辆碰撞防止引导对象、路线引导对象、车道偏离引导对象、弯道引导对象、弯道地点引导对象等的车辆行驶时可以引导的各种图形元素。
作为一例，当由用户输入到目的地的路线引导请求时，对象生成部15-3可以生成在对应于现实世界的拍摄影像显示从车辆的当前位置到目的地为止的路线的路线引导对象。参照图8更加详细说明所述路线引导对象。
参照图8，由对象生成部15生成的路线引导对象，可以包括具有箭头形状的第一路线引导对象611、具有矩形形状的第二路线引导对象612以及第三路线引导对象613。此处，第一路线引导对象611是指车辆应该行驶的路线的箭头形状，以在路线引导线性数据生成部14生成的结合路线引导线性数据为中心配置，可通过增强现实显示。另外，第二路线引导对象612配置在第一路线引导对象611的左侧和左侧车道线之间，可通过增强现实显示，第三路线引导对象613配置在第一路线引导对象61的右侧和右侧车道线之间，可通过增强现实显示。
此处，路线引导对象611、612、613的颜色可根据车辆的行驶环境而不同。此外，第二路线引导对象612及第三路线引导对象613可以被体现为透明度从外侧到内侧逐渐增加。
另外，当车辆偏离车辆行驶中的车道的车道线时，对象生成部15-3可以在对应于现实世界的拍摄影像中生成用于引导车道线偏离的车道线偏离引导对象。
此外，当车辆行驶中接近弯道地点时，对象生成部15-3可以在对应于现实世界的拍摄影像中生成用于引导弯道地点的弯道地点引导对象。
此外，当车辆行驶中接近前方车辆时，对象生成部15-3可以在对应于现实世界的拍摄影像中生成前方车辆碰撞防止引导对象。
此处，对象可以被体现为3D对象、纹理图像或艺术线条。
映射部15-4在虚拟3D空间生成部15-2生成的虚拟3D空间可以确定由对象生成部15-3生成的对象的映射位置，并在所确定的映射位置映射对象。即，根据本发明的映射部16-4可以根据在对象生成部15-3生成的引导对象的种类确定在虚拟3D空间中的映射位置，并生成在所确定的映射位置上映射的虚拟3D空间数据。
此外，增强现实影像生成部15可以利用摄像头矩阵将映射对象的虚拟3D空间数据转换为2D影像来生成增强现实影像。
在对象生成部15-3生成路线引导对象时，映射部15-4可以计算出在路线引导线性数据生成部14生成的结合路线引导线性数据的在虚拟3D空间中的位置、左侧车道线的在虚拟3D空间中的位置以及右侧车道线的在虚拟3D空间中的位置。另外，映射部15-4可以基于在虚拟3D空间计算的位置确定路线引导对象的映射位置，并且生成映射到所确定的映射位置的虚拟3D空间数据。
在这种情况下，映射部15-4可以确定路线引导对象的映射位置，使得第一路线引导对象611的中心位于虚拟3D空间中结合路线引导线性数据的位置。此外，映射部15-4可以将第二路线引导对象612的映射位置确定在虚拟3D空间中左侧车道线的位置与虚拟3D空间中第一路线引导对象611的位置之间。另外，映射部15-4可以将第三路线引导对象613的映射位置确定在虚拟3D空间中右侧车道线的位置与虚拟3D空间中第一路线引导对象611的位置之间。此外，映射部15-4可以生成分别映射到第一路线引导对象611、第二路线引导对象612和第三路线引导对象613的所确定映射位置的虚拟3D空间数据。此外，增强现实影像生成部15可以利用摄像头矩阵将映射路线引导对象611、612、613的虚拟3D空间数据转换成2D影像来生成增强现实影像。因此，在增强现实影像可以重叠显示摄像头拍摄的影像和路线引导对象611、612、613。
此处，当车辆向前行驶时，可以从前向后移动显示路线引导对象611。即，当车辆向前行驶时，显示在车辆前方的路线引导对象611可以逐渐接近车辆显示。
此外，第一路线引导对象611的移动速度可根据车辆的行驶速度而变化。即，当车辆的向前行驶速度增加时，第一路线引导对象611从前向后移动的速度也会增加。此外，当车辆的向前行速度降低时，第一路线引导对象611从前向后移动的速度也会降低。此外，当车辆的向前行驶速度为“0”即停止状态时，第一路线引导对象611的移动速度也为“0”，可以不移动。
在对象生成部15-3生成弯道地点引导对象、前方车辆碰撞防止引导对象及车道线偏离防止引导对象中的至少一个时，映射部15-4可以计算出所生成的对象在虚拟3D空间中的位置。此外，映射部15-4可基于在虚拟3D空间中计算的位置确定对象的映射位置，并生成映射到所确定的映射位置的虚拟3D空间数据。此外，增强现实影像生成部15可以利用摄像头矩阵将映射对象的虚拟3D空间数据转换为2D影像来生成增强现实影像。因此，在增强现实影像上可以显示摄像头拍摄的影像、弯道地点引导对象、前方车辆碰撞防止引导对象及车道线偏离防止引导对象中的至少一个。
另一方面，当车辆偏离车道线时，增强现实影像生成部15可以改变第二路线引导对象612和第三路线引导对象613中的至少一个的显示状态，来显示增强现实影像。作为一例，增强现实影像生成部15可以生成不同地表示在车辆偏离车道线之前的第二路线引导对象612和第三路线引导对象613的颜色和车辆偏离车道线之后的第二路线引导对象612和第三路线引导对象613的颜色的增强现实影像。作为其他例，增强现实影像生成部15可以生成在第二路线引导对象612和第三路线引导对象613中区分表示对应于车辆偏离车道线的路线引导对象(例如，偏离左侧车道线时为第二路线引导对象612、偏离右侧车道线时为第三路线引导对象613)的增强现实影像。
另外，当车辆接近弯道地点时，增强现实影像生成部15不显示第一路线引导对象611、第二路线引导对象612及第三路线引导对象613，而可以生成显示弯道地点引导对象的增强现实影像。
图9是示出根据本发明的其他实施例的增强现实处理装置的框图。参照图9，根据本发明的其他实施例的增强现实处理装置20还可以在图1所示的增强现实处理装置10中的曲线化部16和滤波部17。
曲线化部16可以对在车道线识别部13识别的两侧车道线进行曲线化。具体地，曲线化部16从所识别出的两侧车道中分别检测多个车道线点，通过摄像头透视投影(cameraprojection)将检测到的车道线点投影到虚拟3D空间，计算在虚拟3D空间上对应于车道线点的经曲线化的空间线形来执行两侧车道线的曲线化。
另外，如上所述，曲线化部16还可以在虚拟3D空间解释在路线引导线性数据生成部14生成的第一路线引导线性数据和第二路线引导线性数据进行曲线化。
此处，曲线化部16，例如可以将贝塞尔曲线(Bezier Curve)曲线化。
通过所述曲线化部16的曲线化过程，可以将不规则的车道线识别结果计算为平滑的车道线。
另外，滤波部17可以对在装置的运行过程中计算的空间坐标进行滤波处理。
具体地，滤波部17可以执行从与车道线识别部13识别的两侧车道线的多个车道线点相对应的虚拟3D空间的空间坐标上去除噪声点的过滤。
另外，如上所述，滤波部17还可以在3D空间解释在路线引导线性数据生成部14生成的第一路线引导线性数据和第二路线引导线性数据进行滤波。
此处，滤波部17，例如可以使用均值滤波器(mean filter)来执行滤波处理。通过使用这样的均值滤波器，在车辆改变车道时，可以通过当前获得的每个空间坐标和过去空间坐标的加权平均来控制路线引导对象平滑移动。
图10是示出根据本发明的一实施例的电子装置的框图。参照图10，电子装置100包括存储部110、输入部120、输出部130、增强现实处理部160、控制部170、通信部180、感测部190、电源部195的全部或局部。
其中，电子装置100可以由向车辆的驾驶员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数据助理(PDA，personal digital assistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能玻璃、工程玻璃、导航(navigation)、作为车辆用影像拍摄装置的车载行车记录仪(Car dash cam)及车载录像机(Car video recorder)等的多种装置体现，并可设置于车辆。
驾驶相关引导可以包括如路线引导、车道线偏离引导、车道线维持引导、前方车辆出发引导、信号灯变更引导、前方车辆碰撞防止引导、车道变更引导、车道引导、弯道引导等用于辅助车辆驾驶员的驾驶的多种引导。
其中，路线引导可以包括：增强现实路线引导，在拍摄行驶中的车辆的前方的影像结合如用户的位置、方向等的各种信息来执行路线引导；以及二维或三维路线引导，在二维(2D，2-Dimensional)或三维(3D，3-Dimensional)的地图数据结合用户的位置、方向等的各种信息来执行路线引导。
不仅如此，路线引导可以包括通过在航空地图数据结合如用户的位置、方向等的各种信息来执行路线引导的航空地图路线引导。其中，路线引导包括用户搭乘车辆进行驾驶的情况和用户行走或跑步移动的情况下的路线引导。
并且，车道线(Lane marking)偏离引导可用于引导行驶中的车辆是否偏离车道线。
并且，车道线(Lane)维持引导可用于引导车辆回到原本行驶的车道线。
并且，前方车辆出发引导可用于引导位于停车状态的车辆前方的车辆是否出发。
并且，信号灯变更引导可用于引导位于停车状态的车辆的前方的信号灯的信号是否变更。作为一例，若表示停止信号的红色信号灯被亮的状态下变为表示出发信号的绿色信号灯，则对其进行引导。
并且，前方车辆碰撞防止引导若与位于停车或行驶中的车辆的前方的车辆的距离为规定距离以内，则引导以防与前方车辆发生碰撞。
并且，车道线变更引导是为了引导目的地为止的路线而引导车辆从所在的车道向其他车道变更路线。
并且，车道引导可用于引导当前车辆所在的车道。
并且，弯道引导可用于引导在规定时间之后车辆行驶的道路为弯道。
如上所述，可以提供多种引导的如车辆的前方影像的驾驶相关影像可以通过设置于车辆的摄像头或智能手机的摄像头拍摄。其中，摄像头可为与设置于车辆的电子装置100形成为一体来拍摄车辆前方的摄像头。
作为另一例，摄像头可为与电子装置100单独设置于车辆来拍摄车辆前方的摄像头。在此情况下，摄像头可为朝向车辆的前方设置的单独的车辆用影像拍摄装置，电子装置100可以与单独设置的车辆用影像拍摄装置通过有线、无线通信接收拍摄影像，或者若向电子装置100插入用于存储车辆用影像拍摄装置的拍摄影像的存储介质，则电子装置100可以接收拍摄影像。
以下，基于上述内容，更加详细说明根据本发明的一实施例的电子装置100。
存储部110用于存储电子装置100的动作所需要的多种数据及应用。尤其，存储部110可以存储电子装置100的动作所需要的数据，例如，操作系统、路线搜索应用、地图数据等。
并且，存储部110可以存储通过电子装置100的动作生成的数据，例如，从出发地到目的地搜索的路线数据、接收的影像等。
所述存储部110可以由如随机存取存储器(RAM，Random Access Memory)、闪存、只读存储器(ROM，Read Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable ROM)、电子可擦除可编程只读存储器(EEPROM，Electronically Erasableand Programmable ROM)、寄存器、硬盘、可移动磁盘、存储卡、全球用户身份模块(USIM，Universal Subscriber Identity Module)等的内置型存储器件体现，也可以由如USB存储器等的可拆装型存储器件体现。
输入部120具有将从电子装置100的外部的物理输入变换为特定电信号的功能。其中，输入部120可以包括用户输入部121和麦克风部123的全部或局部。
用户输入部121可以接收如触摸、推送动作等的用户输入。其中，用户输入部121可以利用多种按钮形态、接收触摸输入的触摸传感器、接收接近运动的接近传感器中的至少一个来体现。
麦克风部123可以接收用户的语音及车辆的内外部发生的音响。
输出部130是向用户用影像及/或语音输出电子装置100的数据的装置。其中，输出部130可以包括显示部131和音频输出部133的全部或局部。
显示部131是向用户输出可以视觉识别的数据的装置。显示部131可以由设置于电子装置100的壳体前面的显示部体现。并且，显示部131与电子装置100形成为一体，可以输出视觉识别数据，如平视显示器(Head Up Display)，与电子装置100单独设置而可以输出视觉识别数据。
音频输出部133是输出电子装置100可听觉识别的数据的装置。音频输出部133可以由将电子装置100的需要向用户提醒的数据以声音表现的扬声器体现。
车道检测部140可执行上述车道线识别部13的功能。增强现实处理部160可以执行上述的增强现实处理装置10、20的功能。即，增强现实处理部160可以生成将摄像头所拍摄的行驶影像和各种对象重叠显示的增强现实影像。
一方面，通信部180可以用于使电子装置100与其他设备进行通信而设置。通信部180可以包括位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189的全部或局部。
位置数据部181为通过全球导航卫星系统(GNSS，Global Navigation SatelliteSystem)获取位置数据的装置。全球导航卫星系统为利用从人工卫星接收的电波信号来计算接收终端的位置的导航系统。作为全球导航卫星系统的具体例，根据其操作系统，可以举全球定位系统(GPS，Global Positioning System)、伽利略(Galileo)、全球轨道导航卫星系统(GLONASS，Global Orbiting Navigational Satellite System)、指南针(COMPASS)、印度区域导航卫星系统(IRNSS，Indian Regional Navigational Satellite System)、准天顶卫星系统(QZSS，Quasi-Zenith Satellite System)等。根据本发明的一实施例的系统的数据部181接收在使用电子装置100的区域服务的全球导航卫星系统信号来获取位置数据。或者，除全球导航卫星系统之外，位置数据部181可以通过与基站或访问接入点(AP，Access Point)的通信获取位置数据。
无线网络部183连接无线网络来获取或发送数据。无线网络部183可通过被定义为执行无线局域网(WLAN，Wireless LAN)、无线宽带(Wibro，Wireless broadband)、全球微波接入互操作性(Wimax，World interoperability for microwave access)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)的无线数据收发的多种通讯协议连接网络。
广播收发部185通过各种广播系统收发广播信号。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT，Digital Multimedia BroadcastingTerrestrial)、数字多媒体广播卫星(DMBS，Digital Multimedia BroadcastingSatellite)、前向链路媒体(MediaFLO，Media Forward Link Only)、手持数字视频广播(DVBH，Digital Video Broadcast Handheld)、地面综合业务数字广播(ISDBT，IntegratedServices Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可以包含交通数据、生活数据等。
移动通信部186可以根据第三代(3G，3rd Generation)、第三代合作伙伴计划(3GPP，3rd Generation Partnership Project)、长期演进(LTE，Long Term Evolution)等的多种移动通信规格连接移动网络来进行语音及数据通信。
近距离通信部187为用于近距离通信的装置。如上所述，近距离通信部187可以通过蓝牙(Bluetooth)、射频识别(RFID，Radio Frequency Identification)、红外线通信(IrDA，Infrared Data Association)、超宽带(UWB，Ultra WideBand)、紫蜂(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi，Wireless-Fidelity)等进行通信。
有线通信部189为可以使电子装置100与其他设备有线连接的接口设备。有线通信部189可以为通过USB端口进行通信的USB模块。
如上所述，所述通信部180可以利用位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备进行通信。
作为一例，在电子装置100不包括摄像头功能的情况下，可以利用近距离通信部187、有线通信部189中的至少一个来接收在如汽车行车记录仪(Car dash cam)或车载视频录像机(Car video recorder)的车辆用影像拍摄装置拍摄的影像。
作为其他例，在与多个设备进行通信的情况下，一个可以通过近距离通信部187进行通信，另一个可以通过有线通信部119进行通信。
感测部190为可以感测电子装置100的当前状态的装置。感测部190可以包括运动感测部191和光感测部193的全部或局部。
运动感测部191可以感应电子装置100的三维空间上的运动。运动感测部191可以包括三轴地磁传感器及三轴加速度传感器。将通过运动感测部191获取的运动数据与通过位置数据部181获取的位置数据相结合来更加准确地计算附着电子装置100的车辆的轨迹。
光感测部193为测量电子装置100的周边照度(illuminance)的装置。可利用通过光感测部193获取的照度数据来使显示部131的亮度变化为与周边亮度相对应。
电源部195为供应电子装置100的动作或与电子装置100相连接的其他设备的动作所需的电源的装置。电源部195可以为从内置于电子装置100的电池或车辆等的外部电源接收电源的装置。并且，电源部195根据接收电源的形态由有线通信模块119体现或者由无线接收的装置体现。
控制部170控制电子装置100的整体动作。具体地，控制部170可以控制存储部110、输入部120、输出部130、增强现实处理部160、通信部180、感测部190、电源部195的全部或局部。
即控制部170可以基于预定条件(例如，车辆的行驶环境及/或用户通过输入部120进行输入等)控制增强现实处理部160，在显示部131上显示符合预定条件的增强现实影像。
作为一例，当由用户通过输入部120输入到目的地为止的路线引导请求时，控制部170可以控制增强现实处理部160以生成所拍摄的行驶影像和路线引导对象重叠显示的增强现实影像，并可以控制显示部131显示所生成的增强现实影像。
图11为用于说明根据本发明的一实施例的与电子装置连接的系统网络的图。参照图11，根据本发明的一实施例的电子装置100可以由如导航、车辆用影像拍摄装置、智能手机或其他车辆用增强现实界面提供装置等的设置于车辆的各种装置体现，可以与多种通信网及其他电子装置61、62、63、64连接。
并且，电子装置100可以根据从人造卫星20接收的电波信号来与GPG模块联动并计算当前位置及当前时段。
各个人造卫星20可以发送频带不同的L带频率。电子装置100以从各个人造卫星20发送的L带频率到达电子装置100为止所需要的时间为基础计算当前位置。
另一方面，电子装置100可以通过通信部180，并通过控制站50(ACR)、基站50(RAS)、访问接入点(AP，Access Point)等与网络30无线连接。若电子装置100与网络30连接，则也与网络30连接的其他电子装置61、62间接连接而交换数据。
另一方面，电子装置100可以通过具有通信功能的其他设备63与网络30间接连接。例如，在电子装置100不具有可以与网络30连接的模块的情况下，可通过近距离通信模块等来与具有通信功能的其他设备63进行通信。
下面，参照图12至图13更详细地说明根据本发明的一实施例的增强现实处理方法。
图12是示出根据本发明的一实施例的增强现实影像生成方法的流程图。参照图12，可以获取在行驶时由车辆的拍摄装置拍摄的行驶影像(S110)。具体地，获取步骤(S110)可以实时获取车辆行驶过程中设置在车辆上的拍摄装置拍摄的行驶影像。
然后，可以获取到车辆的目的地的路线数据(S120)。具体地，获取步骤(S120)可以从地图数据中获取到车辆的目的地的路线数据。此处，路线数据可以包括用于表示到车辆的目的地的路线的链路数据和节点数据，链路数据可以由链路线性数据和链路属性数据构成。
然后，可以从获取的行驶影像中识别车辆行驶中的车道的两侧车道线(S130)。具体地，识别步骤(S130)，可以包括：在获取的行驶影像中检测对应于车道线的边缘(edge)的步骤；基于检测到的边缘生成边缘图像的步骤；基于检测到的边缘检测直线分量的步骤；基于检测到的直线分量生成边缘直线处理图像的步骤；利用所生成的边缘图像和边缘直线处理图像来检测对应于车道线的车道线点的步骤；以及根据检测到的车道线点识别车道线的步骤。即，识别步骤(S130)中，通过分别检测与左侧车道线对应的车道线点和与右侧车道线对应的车道线点，可以识别车辆行驶中的两侧车道线。
此外，对于在行驶影像中识别出两侧车道线的区域，可以基于识别出的两侧车道线生成第一路线引导线性数据(S140)。具体地，在生成第一路线引导线性数据的步骤中，可以基于检测到的构成左侧车道线的多个点和构成右侧车道线的多个点确定位于中间的虚拟点，并连接虚拟点来生成第一路线引导线性数据。
另外，对于在行驶影像中未识别出两侧车道线的区域，可以使用路线数据的链路线性数据来生成第二路线引导线性数据(S150)。具体地，在生成第二路线引导线性数据的步骤(S150)，可以在多个链路线性数据中基于车辆的当前位置检测出与未识别出两侧车道线的区域相对应的链路线性数据，并基于检测到的链路线性数据生成第二路线引导线性数据。
此处，生成第二路线引导线性数据的步骤(S150)可以包括校正位置误差和角度误差的步骤。
具体地，生成第二路线引导线性数据的步骤(S150)，可以包括：基于构成第一路线引导线性数据的第一点的位置计算构成链路线性数据的多个点的移动值的步骤；以及基于计算出的移动值移动构成所述链路线性数据的多个点的步骤。
此外，生成第二路线引导线性数据的步骤(S150)，还可以包括：基于车辆的行驶方向矢量与车辆的路线方向矢量之间的角度差计算所述链路线性数据的旋转角度的步骤；以及基于计算出的旋转角度使移动而产生的链路线性数据旋转的步骤。
根据所述生成第二路线引导线性数据的步骤(S150)，可以生成已校正位置误差和角度误差的第二路线引导线性数据。
另一方面，还可以包括：在识别车道线的步骤(S130)中仅识别出一侧车道线时，基于车道线宽数据生成对另一侧车道线的虚拟车道线的步骤；以及基于所识别的一侧车道线和虚拟生成的另一侧虚拟车道线确定位于中间的虚拟点，并通过连接虚拟点来生成路线引导线性数据的步骤。
此外，可以通过结合第一路线引导线性数据和第二路线引导线性数据来生成结合路线引导线性数据(S160)。
并且，可以基于所生成的结合路线引导线性数据来生成映射路线引导对象的增强现实影像(S170)。此处，路线引导对象可以包括箭头形状的第一路线引导对象、地毯形状的第二路线引导对象及第三路线引导对象。参考图13更详细地说明所述增强现实影像的生成步骤(S170)。
另外，电子装置100还可以执行显示所述生成的增强现实影像的步骤。
图13是具体示出根据本发明的一实施例的线性数据生成步骤的流程图。参照图13，可以计算出在生成步骤S160中生成的结合路线引导线性数据在虚拟3D空间中的位置、左侧车道线在虚拟3D空间中的位置、以及右侧车道线在虚拟3D空间中的位置(S210)。
并且，可以确定第一路线引导对象的映射位置，使得第一路线引导对象的中心位于虚拟3D空间中结合路线引导线性数据的位置(S220)。
而且，可以在虚拟3D空间中的左侧车道线的位置与虚拟3D空间中的第一路线引导对象的位置之间确定第二路线引导对象的映射位置(S230)。
而且，可以在虚拟3D空间中的右侧车道线的位置与虚拟3D空间中的第一路线引导对象的位置之间确定第三路线引导对象的映射位置(S240)。
而且，可以生成映射到第一路线引导对象、第二路线引导对象及第三路线引导对象的每一个所确定映射位置的虚拟3D空间数据(S250)。
而且，可以利用摄像头矩阵将映射路线引导对象的虚拟3D空间数据转换成2D影像来生成增强现实影像(S260)。因此，增强现实影像中可以重叠显示摄像头拍摄影像和路线引导对象。
另外，根据本发明的一实施例的增强现实影像生成方法，还可以包括将在车道线识别部13识别的两侧车道线、第一路线引导线性数据及第二路线引导线性数据中的至少一个曲线化的步骤。
此外，根据本发明的一实施例的增强现实影像生成方法，还可以包括对在装置的运行过程中计算的3D空间中的空间坐标进行滤波处理的步骤。
图14是示出当执行到目的地的路线引导时通过电子装置显示的增强现实影像的图。参照图14，电子装置100的显示部131可以显示重叠摄像头所拍摄的行驶影像1301和路线引导对象1302、1303、1304的增强现实影像1300。
增强现实影像1300是在第一时点的增强现实影像，而增强现实影像1320是从第一时点经过预定时间后的第二时点的增强现实影像。
增强现实影像1300、1320可以包括在车辆前方行驶的前方车辆的影像。
此外，路线引导对象，可以包括：在车辆行驶的车道上以箭头形状显示的第一路线引导对象1302、在车辆行驶的车道上以矩形显示的第二路线引导对象1303、以及车辆行驶的车道上以矩形显示的第三路线引导对象1304。
此处，第一路线引导对象1302可以以在由路线引导线性数据生成部14生成的结合路径引导线性数据为中心配置而显示在增强现实影像1300上。另外，第二路线引导对象1303可以配置在第一路线引导对象1302的左侧和左侧车道线之间并通过增强现实显示，并且，第三路线引导对象1304可以配置在第一路线引导对象1302的右侧和右侧车道线之间并通过增强现实显示。
此处，第二路线引导对象1303和第三路线引导对象1304可以从外侧到内侧逐渐具有透明度。
另外，当车辆向前行驶时，可以通过从前向后移动来显示路线引导对象1302、1303、1304。即，在第一时点的增强现实影像1300中显示在车辆前方的第一路线引导对象1310-1在车辆向前行驶预定时间的第二时点的增强现实影像1320中更靠近车辆显示(1310-1)。此外，路线引导对象1302、1303、1304的移动速度可以根据车辆的行驶速度而改变。
路线引导对象1302、1303、1304可以由蓝色显示，在预定条件下，该颜色可以改变或消失。作为一例，路线引导对象1302、1303、1304的颜色变更的预定条件可以是车辆偏离车道线的条件，路线引导对象1302、1303、1304消失的预定条件可以是车辆接近弯道地点的条件。
根据本发明，车道中心的第一路线引导对象1302根据车辆速度通过动画处理移动，使得如画在车道上一样自然且动态地表现对象。
图15是示出当车辆偏离车道线时通过电子装置显示的增强现实影像的图。增强现实影像1410是在执行路线引导的过程中，与位于车辆前方的前方车辆的距离减小到预定距离以内时显示在电子装置100上的影像，增强现实影像1420是在影像1410的预定时间后车辆偏离车道线时显示在电子装置100上的影像。
电子装置100的显示部131可以显示重叠由摄像头拍摄的行驶影像1401和路线引导对象1402、1403、1404的增强现实影像1410、1420。
首先，在执行路线引导的过程中，与位于车辆的前方的前方车辆的距离减小到预定距离以内时，电子装置100可以显示包括路线引导对象1402、1403、1404以及前方车辆碰撞防止引导对象1405的增强现实影像1410。此处，前方车辆碰撞防止引导对象1405可以显示在前方车辆的影像区域，并且，可以显示与前方车辆的碰撞时间。
然后，当车辆偏离车道线时，电子装置100可以改变第二路线引导对象1403和第三路线引导对象1404中的至少一个的显示状态而显示。具体地，电子装置100将第二路线引导对象1403和第三路线引导对象1404的颜色从蓝色变为红色，并将与车辆偏离的车道线对应的第三路线引导对象1404可以点灭显示。在增强现实影像1420未显示第三路线引导对象1404，这因为是在点灭状态下捕获的影像。
另外，在这种情况下，第一路线引导对象1402的颜色可以保持为蓝色。
此外，电子装置100可以显示包括与车辆偏离的车道线相对应的车道线偏离引导对象1406的增强现实影像1420。
图16至图17是示出当车辆接近弯道地点时通过电子装置显示的增强现实影像的图。参照图16至图17，当车辆接近需要改变行驶方向的弯道地点(掉头、左转、右转等)时，电子装置100可以删除路线引导对象并显示仅包含弯道地点引导对象的增强现实影像。此处，弯道地点引导对象可以包括在弯道地点用垂直排列的箭头引导弯道地点的行驶方向的第一弯道地点引导对象1501；以及用上下跳动的动画引导弯道地点的行驶方向的第二弯道地点引导对象1502。
作为一例，当车辆接近掉头地点时，电子装置100可以显示增强现实影像1510。此外，当车辆接近左转地点时，电子装置100可以根据左转方向显示增强现实影像1520、1530或1540。此外，当车辆接近右转地点时，电子装置100可以根据左转方向显示增强现实影像1610、1620或1630。
根据本发明，当接近弯道地点时，通过删除路线引导对象并显示弯道地点引导对象来使用户清楚地识别弯道地点信息。
图18为示出根据本发明的一实施例的电子装置不具有拍摄部的情况下的体现形态的图。参照图18，与车辆用电子装置100单独设置的车辆用影像记录装置200可通过有线、无线通信方式构成根据本发明的一实施例的系统。
车辆用电子装置100可以包括设置于壳体191的前面的显示部131、操作键121及麦克风123。
车辆用影像记录装置200可以包括影像获取装置所谓摄像头222、麦克风224及附着部281。
图19为示出根据本发明的一实施例的电子装置具备拍摄部的情况下的体现形态的图。参照图19，在电子装置100包括拍摄部150时，电子装置100的拍摄部150拍摄车辆的前方，并使用户识别电子装置100的显示部分。由此，可以体现根据本发明的一实施例的系统。
图20为示出利用根据本发明的一实施例的平视显示器(HUD，Head-Up Display)的体现形态的图。参照图20，平视显示器可通过与其他设备的有线、无线通信在平视显示器上显示增强现实引导屏幕。
作为一例，增强现实可通过利用车辆前玻璃的平视显示器或利用额外的影像输出装置的影像重叠等提供，如上所述，增强现实处理部160可以生成在增强现实影像或玻璃上重叠的界面图像等。由此，可体现增强现实导航或车辆信息娱乐系统等。
根据以上说明的本发明的各种实施例，基于识别车辆行驶车道(Lane)的两侧车道线(Lane marking)标记的结果，显示路线引导对象，并且在车道线被擦除或看不清的长距离利用存储在存储部的路线数据显示路线引导对象，从而，可以更加准确地将路线引导对象显示在增强现实中。
而且，根据本发明的各种实施例，在增强显示上可以表示驾驶员可以直观地识别的动态路线引导对象。
而且，根据本发明的各种实施例，在车辆行驶时发生车道线偏离时，在增强显示上可以直观地显示路线引导对象和车道线偏离引导对象。
另外，构成根据本发明的增强现实处理装置10及电子装置100的模块的至少一个以上可以由用于自动行驶的系统的一模块而实现，执行导航功能。参照图21至图22对此进行更详细地说明。
参照图21，根据本实施例的自动驾驶汽车2000可以包括控制装置2100、感测模块2004a、2004b、2004c、2004d、引擎2006及用户界面2008。
自动驾驶汽车2000可以具有自动行驶模式或手动模式。作为一例，根据通过用户界面2008接收的用户输入，可以从手动模式切换为自动行驶模式，或者可以从自动行驶模式切换为手动模式。
当车辆2000以自动行驶模式运行时，自动驾驶汽车2000可以在控制装置2100的控制下运行。
在本实施例中，控制装置2100可以包括具备存储器2122及处理器2124的控制器2120、传感器2110、通信装置2130、物体检测装置2140。
在本实施例中，物体检测装置2140是用于检测位于车辆2000外部的物体的装置，物体检测装置2140检测位于车辆2000外部的物体，并且可以生成根据检测结果的物体信息。
物体信息可以包括关于物体的存在或不存在的信息、物体的位置信息、车辆与物体之间的距离信息、以及车辆与物体之间的相对速度信息。
物体可以包括位于车辆2000外部的各种对象，例如车道线、其他车辆、行人、交通信号、光、道路、构造物、减速带、地形物及动物等。在此，交通信号可以是包括交通信号灯、交通标志、在路面上绘制的图案或文字的概念。另外，光可以是从其他车辆的灯产生的光、从路灯产生的光或日光。
另外，构造物可以是位于道路周围并固定在地面上的物体。例如，构造物可以包括路灯、街道树、建筑物、电线杆、交通信号灯及桥梁。地形物可以包括山、山坡等。
所述物体检测装置2140可以包括摄像头模块。控制器2120可以从由摄像头模块拍摄的外部图像提取对象信息，并使控制器2120处理这些信息。
另外，物体检测装置2140还可以包括用于识别外部环境的成像装置。除了LIDAR之外，还可以利用RADAR、GPS设备、里程表(Odometry)和其他计算机视觉设备、超声传感器、红外传感器，并且，这些装置可根据需要选择或同时启动进行更加精密地检测。
另外，传感器2110可以与感测模块2004a、2004b、2004c、2004d连接而获得车辆内部/外部环境的各种感测信息。其中，传感器2110可包括、姿势传感器(例如，偏航传感器(yaw sensor)、侧倾传感器(roll sensor)、俯仰传感器(pitch sensor)、碰撞传感器、车轮传感器(wheel sensor)、速度传感器、倾斜传感器、重量感应传感器、航向传感器(headingsensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、电池传感器、燃料传感器、轮胎传感器、通过方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板位置传感器、制动踏板位置传感器等。
由此，传感器2110可以获取对车辆姿态信息、车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息、方向盘旋转角度、车外照度、施加在加速踏板上的压力、施加在制动踏板上的压力等的感测信号。
另外，传感器2110还可以包括加速踏板传感器、压力传感器、引擎旋转速度传感器(engine speed sensor)、空气流量传感器(AFS)、进气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、TDC传感器、曲柄角传感器(CAS)等。
如此，传感器2110可以基于感测数据生成车辆状态信息。
无线通信装置2130用于体现自动驾驶汽车2000之间的无线通信。例如，可以使用户的手机、或其他无线通信装置2130、其他车辆、中央装置(交通控制装置)、服务器等与自动驾驶汽车2000进行通信。无线通信装置2130可以根据连接无线协议收发无线信号。无线通信协议可以为无线保真(Wi-Fi)、蓝牙(Bluetooth)、长期演进(Long-Term Evolution，LTE)、编码部分多址(Code Division Multiple Access，CDMA)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、移动通信全球系统(Global Systems forMobile Communications，GSM)，但通信协议不局限于此。
并且，在本实施例中，自动驾驶汽车2000可以通过无线通信装置2130实现车辆之间的通信。即，无线通信装置2130可以通过车辆对车辆(V2V)之间的通信(vehicle-to-vehicle communication)与道路上的其他车辆及其他多个车辆执行通信。自动驾驶汽车2000可通过车辆之间的通信收发如行驶警告、交通信息的信息，也可以向其他车辆请求信息或者从其他车辆接收信息。例如，无线通信装置2130可通过专用短距离通信(DSRC，dedicated short-range communication)装置或蜂窝车对车通信(C-V2V，Celluar-V2V)装置执行车对车通信。并且，除车辆之间的通信之外，还可以通过无线通信装置2130执行车辆与其他事物(例如，步行者所携带的电子装置等)之间的通信(V2X，Vehicle to Everythingcommunication)。
在本实施例中，控制器2120是控制车辆2000内的每个单元的整体动作的单元，由车辆的制造公司制造或者在制造后，为了执行自动行驶的功能而追加构成。或者，可以包括通过制造时构成的控制器2120的更新持续执行附加功能的结构。所述控制器2120还可以命名为ECU(Electronic Control Unit)。
控制器2120从所连接的传感器2110、物体检测装置2140、通信装置2130等收集各种数据，并可基于所收集的数据向车辆内作为其他结构包含的传感器2110、引擎2006、用户界面2008、通信装置2130、物体检测装置2140传递控制信号。并且，虽未图示，但也可以向与车辆的行驶有关的加速装置、制动系统、转向装置、或导航装置传递控制信号。
在本实施例中，控制器2120可以对引擎2006进行控制，例如，自动驾驶汽车2000感测正在行驶的道路的限速并控制引擎2006以防止行驶速度超过限速，并可以控制引擎2006以在不超过限速的范围内加速自动驾驶汽车2000的行驶速度。
另外，在自动驾驶汽车2000行驶时自动驾驶汽车2000接近或偏离车道线时，控制器2120可以判断车道线的接近和偏离是否由于正常行驶情况而引起或者其他的行驶情况而引起，根据判断结果可以控制引擎2006以控制车辆的行驶。具体地，自动驾驶汽车2000可以配备根据本发明的一实施例的车道线检测装置10，车道线检测装置10可以检测形成在车辆行驶中的车道两侧的车道线。在这种情况下，控制器2120判断自动驾驶汽车2000是否接近或偏离车道线，若判断自动驾驶汽车2000接近或偏离车道线，则可以判断是否由于正常行驶情况而引起或者其他的行驶情况而引起。其中，作为正常行驶情况的例，会有车辆需要改变车道的情况。另外，作为其他的行驶情况的例，会存在不需要改变车辆的车道的情况。在车辆不需要改变车道的情况下，若控制器2120判断接近或偏离车道线，则可以控制自动驾驶汽车2000的行驶在自动驾驶汽车2000不偏离车道线的情况下正常行驶。
所述车道线检测装置10可以由自动驾驶汽车2000的控制装置2100中的一模块而构成。即，控制装置2100的存储器2122和处理器2124可以通过软件实现根据本发明的车道线检测方法。
在车辆的前方存在其他车辆或障碍物的情况下，控制器2120可以对引擎2006或制动系统进行控制以使行驶车辆减速，除速度之外，还可以控制轨迹、运行路线、转向角度。控制器2120可以根据车辆的行驶车道线、行驶信号等其他外部环境的识别信息来生成所需的控制信号并对车辆的行驶进行控制。
控制器2120除生成自我控制信号之外，与周边车辆或中央服务器进行通信，并通过所接收的信息传送用于控制周边装置的指令，由此可以控制车辆的行驶。
并且，当摄像头模块2150的位置改变或拍摄角度改变时，控制器2120很难根据本实施例准确地识别车辆或车道线，因此，为了防止所述现象，生成控制信号来执行摄像头模块2150的校准(calibration)。因此，在本实施例中，控制器2120通过摄像头模块2150发生校准控制信号，由此，即使摄像头模块2150的安装位置因随着自动驾驶汽车2000的移动发生的振动或冲击等而改变，也可以持续维持摄像头模块2150的正常安装位置、方向、拍摄角度等。在预先存储的摄像头模块2120的最初安装位置、方向、拍摄角度信息和在自动驾驶汽车2000的行驶过程中测量的摄像头模块2120的最初安装位置、方向、拍摄角度信息等变为临界值以上时，控制器2120可以产生控制信号来执行摄像头模块2120的校准。
在本实施例中，控制器2120可以包括存储器2122及处理器2124。处理器2124可以根据控制器2120的控制信号执行存储于存储器2122的软件。具体而言，控制器2120在存储器2122存储用于执行根据本发明的车道线检测方法的数据及指令，为了实现在此说明的一个以上的方法，指令可通过处理器2124执行。
在此，存储器2122可存储于能够在非易失性处理器2124中执行的记录介质。存储器2122可通过适当的内外部装置存储软件和数据。存储器2122可以由随机存取存储器(RAM，random access memory)、只读存储器(ROM，read only memory)、硬盘及与软件保护器相连接的存储器2122装置构成。
存储器2122至少可以存储操作系统(OS，Operating system)、用户应用、可执行指令。存储器2122也可以存储应用数据、排列数据结构。
处理器2124为微处理器或适当的电子处理器，也可以为控制器、微控制器或状态机。
处理器2124可以通过计算装置的组合体现，计算装置可以由数字信号处理器、微处理器或这些的适当组合构成。
另外，自动驾驶汽车2000还可以包括用户对所述控制装置2100输入的用户界面2008。用户界面2008可通过适当的相互作用使用户输入信息。例如，可由触摸屏、键盘、操作按钮等体现。用户界面2008向控制器2120传送输入或指令，控制器2120可以响应于输入或指令执行车辆的控制动作。
并且，用户界面2008作为自动驾驶汽车2000外部装置，可通过无线通信装置2130与自动驾驶汽车2000进行通信。例如，用户界面2008可以与手机、平板电脑或其他计算机装置建立联动。
进而，在本实施例中说明了自动驾驶汽车2000包括引擎2006的情况，但还可以包括其他类型的推进系统。例如，车辆可通过电能运行，也可以通过氢能或组合这些的混合系统运行。因此，控制器2120包括基于自动驾驶汽车2000的推进系统的推进机制，可以向各个推进机制的结构提供所述控制信号。
下面，参照图22更加详细地说明执行根据本实施例的的车道线检测方法的控制装置2100的详细结构。
控制装置2100包括处理器2124。处理器2124可以为常用单一或多重芯微处理器、专用微处理器、微控制器、可编程门阵列等。处理器可以被称为中央处理装置(CPU)。并且，在本实施例中，处理器2124还可以组合多个处理器使用。
控制装置2100还包括存储器2122。存储器2122可以为存储电子信息的任意电子零件。除了单一存储器之外，存储器2122还可以包括多个存储器2122的组合。
用于执行根据本发明的车道线检测方法的数据及指令语2122a还可以存储于存储器2122。当处理器2124执行多个指令语2122a时，指令语2122a和用于执行指令所需的数据2122b的全部或一部分可以加载于2124a、2124b。
控制装置2100还可以包括用于收发信号的发射机2130a、接收机2130b或收发器2130c。一个以上的天线2132a、2132b可以与发射机2130a、接收机2130b或各个收发器2130c电连接，还可以包括多个天线。
控制装置2100还可以包括数字信号处理器(DSP)2170，使得车辆可通过数字信号处理器2170更加迅速地处理数字信号。
控制装置2100还可以包括通信接口2180。通信接口2180还可以包括用于将其他装置与控制装置2100相连接的一个以上的端口及/或通信模块。通信接口2180可以使用户和控制装置2100相互作用。
控制装置2100的多种结构可通过一个以上的总线2190相连接，总线2190还可以包括电力总线、控制信号总线、状态信号总线、数据总线等。根据处理器2124的控制，多个结构可通过总线2190相互传递信息并执行所需的功能。
一方面，在说明书以及权利要求范围中“第一”、“第二”、“第三”以及“第四”等术语是，若有记载的话，其是为了区分类似的构成要素之间而使用的，虽并非如此，其是为了说明特定顺序或者发生顺序而使用的。与其一同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以按照未在此处图示或者说明的其他顺序执行。同样，当此处记载为方法包括一系列步骤时，此处公开的步骤的顺序并不是一定执行该步骤的顺序，而且，可以省略任意的记载的步骤以及/或者在该方法可以追加未在此处记载的任意的其他步骤。例如，在不脱离本发明的权利范围的情况下，第一构成要素可以命名为第二构成要素，类似地，第二构成要素可以命名为第一构成要素。
另外，说明书以及权利要求范围的“左侧”、“右侧”、“前”、“后”、“上部”、“底部”、“在上”、“在下”等术语是为了说明而使用的，并不一定是说明不变的相对位置。与其一同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以朝未在此处图示或者说明的其他方向动作。此处使用的术语“连接”被定义为是通过电力或者非电力方式直接或者间接连接。此处记载为相互“邻接”的对象根据使用该语句的文章而适当地可以为相互物理接触或者相互邻接或者相互在相同的一般范围或者区域的对象。此处存在的“一实施例中”的语句指代相同的实施例，但并不是一定的。
另外，在说明书以及权利要求范围中“连接”、“连接的”、“耦合”、“耦合的”、“结合”、“结合的”等表述的多种变形称呼作为包括与其他构成要素直接连接或者通过其他构成要素间接连接的含义而使用。
相反，当提及某种结构要素与另一结构要素“直接连接”或“直接联接”时，应当理解为中间不存在其他结构要素。
另外，对在本说明书中使用的构成要素的接尾词“模块”以及“部”是仅考虑方便撰写说明书而赋予或者混用的，其本身并不具有相互区分的含义或者作用。
另外，本说明书中使用的术语是用来说明实施例的，而不是用来限定本发明。在本说明书中，在文章中未作特别提及时，单数形式包括复数形式。本发明中不得解释为“构成”或者“包括”等术语必须都包含说明书中所提及的各种构成要素、或各种步骤，可以不包括其中局部构成要素或局部步骤，或者还可以包括其他附加构成要素或步骤。
以上针对本发明以其优选实施例为中心进行了说明。通过本说明书公开的所有实施例和条件性示例是本领域技术人员为了使读者方便理解本发明的原理和概念而记载的，本领域技术人员应理解本发明在不脱离本发明的本质上的特性的范围内可以由变形的形态体现。
因此，应在说明的观点而不是限定的观点上考虑公开的实施例。并且，应解释为本发明的范围记载在权利要求范围内而不是所述的说明中，而且与其相同范围内的所有不同之处均包含在本发明中。
一方面，上述的根据本发明的多种实施例的方法可以由程序体现并提供给服务器或者设备。由此，每个装置与存储有程序的服务器或者设备连接，从而能够下载所述程序。
另外，上述的根据本发明的多种实施例的控制方法可以由程序体现，并存储在多种非临时性可读介质(non-transitory computer readable medium)中来提供。非临时性可读介质是指半永久地存储数据并通过设备可读取(reading)的介质而不是如寄存器、高速缓存、存储器等短时间内存储数据的介质。具体地，上述的多种应用或者程序可以存储在CD、DVD、硬盘、蓝光盘、USB、记忆卡、ROM等非临时性可读介质来提供。
以上，图示说明了本发明的优选实施例，然而本发明并不局限于上述特定的实施例，本领域的技术人员可以在不脱离权利要求范围所请求包含的本发明的要旨内进行多种变形实施，不仅如此，这些变形实施不应与本发明的技术思想或者前景分开理解。

Claims (19)

1.一种基于增强现实的路线引导方法，其为利用处理器的基于增强现实的路线引导方法，其特征在于，包括：
获取在行驶时由车辆的拍摄装置拍摄的行驶影像的步骤；
获取到所述车辆的目的地的路线数据的步骤；
从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线的步骤；
对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别出的两侧车道线生成第一路线引导线性数据的步骤；
对于在所述行驶影像中未识别出两侧车道线的区域，使用所述路线数据的链路线性数据来生成第二路线引导线性数据的步骤；
结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据的步骤；以及
利用所述生成的结合路线引导线性数据，在增强现实上显示路线引导对象的步骤。
2.根据权利要求1所述的基于增强现实的路线引导方法，其特征在于，生成所述第二路线引导线性数据的步骤，包括：
基于构成所述第一路线引导线性数据的第一点的位置计算构成所述链路线性数据的多个点的移动值的步骤；以及
基于所述计算出的移动值，使构成所述链路线性数据的多个点移动的步骤。
3.根据权利要求2所述的基于增强现实的路线引导方法，其特征在于，生成所述第二路线引导线性数据的步骤，还包括：
基于所述车辆的行驶方向矢量和所述车辆的路线方向矢量之间的角度差计算所述链路线性数据的旋转角度的步骤；以及
基于所述计算出的旋转角度旋转所述移动而产生的链路线性数据的步骤。
4.根据权利要求1所述的基于增强现实的路线引导方法，其特征在于，还包括在所述行驶影像中仅识别出一侧车道线时，基于车道线宽数据来生成对另一侧车道线的虚拟车道线的步骤。
5.根据权利要求1所述的基于增强现实的路线引导方法，其特征在于，所述路线引导对象，包括：
箭头形状的第一路线引导对象，在所述结合路线引导线性数据具有中心，指向车辆应该行驶的路线；
第二路线引导对象，显示在所述第一路线引导对象的左侧和左侧车道线之间；以及
第三路线引导对象，显示在所述第一路线引导对象的右侧和右侧车道线之间。
6.根据权利要求1所述的基于增强现实的路线引导方法，其特征在于，当所述车辆向前行驶时，通过从前向后移动来显示所述路线引导对象，所述路线引导对象的移动速度根据所述车辆的速度而改变。
7.根据权利要求1所述的基于增强现实的路线引导方法，其特征在于，还包括当所述车辆接近弯道地点时，显示弯道地点引导对象而不显示所述路线引导对象的步骤。
8.根据权利要求5所述的基于增强现实的路线引导方法，其特征在于，还包括当所述车辆偏离车道线时，改变所述第二路线引导对象和所述第三路线引导对象中的至少一个的显示状态而显示的步骤。
9.一种电子装置，其为用于执行基于增强现实的路线引导的电子装置，其特征在于，包括：
显示部，用于显示屏幕；
行驶影像获取部，用于获取行驶中的车辆的拍摄装置所拍摄的行驶影像；
路线数据获取部，用于获取到所述车辆的目的地的路线数据；
车道线识别部，用于从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线；
路线引导线性数据生成部，对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别的两侧车道线生成第一路线引导线性数据，并在所述行驶影像中未识别出两侧车道线的区域，利用所述路线数据的链路线性数据生成第二路线引导线性数据，结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据；以及
控制部，用于控制所述显示部使得利用所述生成的结合路线引导线性数据来将路线引导对象显示在增强现实影像中。
10.根据权利要求9所述的电子装置，其特征在于，所述路线引导对象，包括：
箭头形状的第一路线引导对象，在所述结合路线引导线性数据具有中心，指向车辆应该行驶的路线；
第二路线引导对象，显示在所述第一路线引导对象的左侧和左侧车道线之间；以及
第三路线引导对象，显示在所述第一路线引导对象的右侧和右侧车道线之间。
11.根据权利要求9所述的电子装置，其特征在于，当所述车辆向前行驶时，所述路线引导对象从前向后移动而显示在增强现实影像中，
所述路线引导对象的移动速度根据所述车辆的速度而改变。
12.根据权利要求9所述的电子装置，其特征在于，当所述车辆接近弯道地点时，所述控制部控制所述显示部使得显示弯道地点引导对象而不显示所述路线引导对象。
13.根据权利要求10所述的电子装置，其特征在于，当所述车辆偏离车道线时，所述控制部控制所述显示部使得改变所述第二路线引导对象和所述第三路线引导对象中的至少一个的显示状态而显示。
14.一种增强现实处理装置，其特征在于，包括：
行驶影像获取部，用于获取在行驶时由车辆的拍摄装置拍摄的行驶影像；
路线数据获取部，用于获取到所述车辆的目的地的路线数据；
车道线识别部，从所述获取的行驶影像中识别所述车辆行驶中的车道的两侧车道线；
路线引导线性数据生成部，对于在所述行驶影像中识别出两侧车道线的区域，基于所述识别出的两侧车道线生成第一路线引导线性数据，对于在所述行驶影像中未识别出两侧车道线的区域，使用所述路线数据的链路线性数据来生成第二路线引导线性数据，结合所述第一路线引导线性数据和所述第二路线引导线性数据来生成结合路线引导线性数据；以及
增强现实影像生成部，利用所述生成的结合路线引导线性数据，生成映射路线引导对象的增强现实影像。
15.根据权利要求14所述的增强现实处理装置，其特征在于，所述路线引导线性数据生成部，基于构成所述第一路线引导线性数据的第一点的位置计算构成所述链路线性数据的多个点的移动值，并基于所述计算出的移动值，使构成所述链路线性数据的多个点移动。
16.根据权利要求15所述的增强现实处理装置，其特征在于，所述路线引导线性数据生成部，基于所述车辆的行驶方向矢量和所述车辆的路线方向矢量之间的角度差计算所述链路线性数据的旋转角度，并基于所述计算出的旋转角度旋转所述移动而产生的链路线性数据。
17.根据权利要求14所述的增强现实处理装置，其特征在于，所述路线引导线性数据生成部，还包括在所述行驶影像中仅识别出一侧车道线时，基于车道线宽数据来生成对另一侧车道线的虚拟车道线的步骤。
18.一种程序，其存储于包括用于执行权利要求1至8所述的基于增强现实的路线引导方法的程序编码的计算机可读记录介质中。
19.一种计算机可读记录介质，其中记录有用于执行根据权利要求1至8所述的基于增强现实的路线引导方法的程序。
CN202110902611.5A 2020-08-06 2021-08-06 增强现实处理装置、基于增强现实的路线引导方法以及电子装置 Active CN114056236B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20200098828 2020-08-06
KR20200098847 2020-08-06
KR10-2020-0098847 2020-08-06
KR10-2020-0098828 2020-08-06
KR10-2021-0100694 2021-07-30
KR1020210100694A KR20220018425A (ko) 2020-08-06 2021-07-30 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치

Publications (2)

Publication Number Publication Date
CN114056236A true CN114056236A (zh) 2022-02-18
CN114056236B CN114056236B (zh) 2024-10-18

Family

ID=80114865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110902611.5A Active CN114056236B (zh) 2020-08-06 2021-08-06 增强现实处理装置、基于增强现实的路线引导方法以及电子装置

Country Status (2)

Country Link
US (2) US11828615B2 (zh)
CN (1) CN114056236B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253455A (zh) * 2021-04-06 2021-08-13 东风汽车集团股份有限公司 一种自动变道ar-hud显示系统及使用方法
CN118274865A (zh) * 2024-06-04 2024-07-02 山东北骏重工有限公司 一种面向矿用车辆的分布式学习路径规划方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508953B2 (ja) * 2020-08-31 2024-07-02 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム
DE102021202666A1 (de) * 2021-03-18 2022-09-22 Volkswagen Aktiengesellschaft Dynamischer AR-Hinweis
EP4105818A1 (en) * 2021-06-18 2022-12-21 Continental Autonomous Mobility Germany GmbH Method and system for estimating road lane geometry
CN113566836A (zh) * 2021-06-28 2021-10-29 阿波罗智联(北京)科技有限公司 道路指引方法、装置、电子设备及存储介质
CN114170381A (zh) * 2021-12-07 2022-03-11 贝壳技术有限公司 三维路径展示方法、装置、可读存储介质及电子设备
US11760373B2 (en) * 2022-01-26 2023-09-19 GM Global Technology Operations LLC Method and system for smart road departure warning and navigation assist in inclement weather with low visibility

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160063871A (ko) * 2014-11-27 2016-06-07 현대오트론 주식회사 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
WO2017095116A1 (ko) * 2015-11-30 2017-06-08 현대엠엔소프트 주식회사 내비게이션 장치 및 그 경로 안내 방법
CN109297505A (zh) * 2018-12-03 2019-02-01 深圳创维汽车智能有限公司 Ar导航方法、车载终端及计算机可读存储介质
US20190283776A1 (en) * 2018-03-14 2019-09-19 Audi Ag Driver assistance system and method for a motor vehicle for displaying an augmented reality
US20190384304A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014220199B3 (de) * 2014-10-06 2016-01-14 Continental Automotive Gmbh Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System
JP2018125629A (ja) * 2017-01-30 2018-08-09 日本精機株式会社 ヘッドアップディスプレイ装置
WO2021039198A1 (ja) * 2019-08-23 2021-03-04 株式会社デンソー 表示制御装置及び表示制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160063871A (ko) * 2014-11-27 2016-06-07 현대오트론 주식회사 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
WO2017095116A1 (ko) * 2015-11-30 2017-06-08 현대엠엔소프트 주식회사 내비게이션 장치 및 그 경로 안내 방법
US20190283776A1 (en) * 2018-03-14 2019-09-19 Audi Ag Driver assistance system and method for a motor vehicle for displaying an augmented reality
US20190384304A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks
CN109297505A (zh) * 2018-12-03 2019-02-01 深圳创维汽车智能有限公司 Ar导航方法、车载终端及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253455A (zh) * 2021-04-06 2021-08-13 东风汽车集团股份有限公司 一种自动变道ar-hud显示系统及使用方法
CN118274865A (zh) * 2024-06-04 2024-07-02 山东北骏重工有限公司 一种面向矿用车辆的分布式学习路径规划方法

Also Published As

Publication number Publication date
US20240085208A1 (en) 2024-03-14
US11828615B2 (en) 2023-11-28
US20220042813A1 (en) 2022-02-10
CN114056236B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN114056236B (zh) 增强现实处理装置、基于增强现实的路线引导方法以及电子装置
CN113212498B (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
US10351060B2 (en) Parking assistance apparatus and vehicle having the same
US11814063B2 (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
KR20150144681A (ko) 전자 장치 및 그의 제어 방법
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
US12002355B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
US12031834B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
KR102533246B1 (ko) 항법 장치 및 이를 포함하는 차량 운전 보조장치
KR20210071584A (ko) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
KR20220018425A (ko) 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치
KR20170024943A (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
CN117296333A (zh) Hdr混合方案内的图像位置相关模糊控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant