CN109035861A - 用于引导行驶信息的设备和方法及具有该设备的车辆系统 - Google Patents

用于引导行驶信息的设备和方法及具有该设备的车辆系统 Download PDF

Info

Publication number
CN109035861A
CN109035861A CN201710910741.7A CN201710910741A CN109035861A CN 109035861 A CN109035861 A CN 109035861A CN 201710910741 A CN201710910741 A CN 201710910741A CN 109035861 A CN109035861 A CN 109035861A
Authority
CN
China
Prior art keywords
vehicle
mode
driving
processor
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710910741.7A
Other languages
English (en)
Other versions
CN109035861B (zh
Inventor
崔在燮
金埈亨
姜仁杬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN109035861A publication Critical patent/CN109035861A/zh
Application granted granted Critical
Publication of CN109035861B publication Critical patent/CN109035861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了用于引导行驶信息的设备和方法及具有该设备的车辆系统。车辆的行驶信息引导设备，包括控制器和处理器。控制器通信地连接到车辆的传感器系统和通信设备中的至少一者，并且接收车辆的行驶信息。在车辆行进时，通过控制器来收集接收到的行驶信息，并且基于行驶信息来识别车辆的当前行驶状态。处理器步基于车辆的速度和车辆的行驶方向来确定视图模式，并且基于对应于所确定的视图模式的虚拟摄像头的位置和角度，来对由摄像机系统拍摄的车辆周围的图像进行视图变换。处理器从而生成视图变换图像，并且通过车辆的显示屏上视图变换图像来显示对应于所识别的车辆的行驶状态的状态信息。

Description

用于引导行驶信息的设备和方法及具有该设备的车辆系统
相关申请的引证
本申请基于并要求2017年6月9日在韩国知识产权局提交的韩国专利申请第10-2017-0072557号优先权的权益，其公开的全部内容通过引证结合于此。
技术领域
本发明涉及一种行驶信息引导设备和方法及具有该设备的车辆系统。
背景技术
近年来，已经实现了在行驶时检测在车辆周围发生的对于驾驶员而言危险的状况的系统。
例如，已经开发了以下系统：在行驶时当预测到将与附近车辆碰撞时，警告驾驶员可能碰撞的状况，从而让驾驶员采取规避行动。此外，已经开发了以下系统：在行驶时向驾驶员表明路线改变状况，从而让驾驶员意识到行驶路线的改变。
现有的驾驶员引导系统在具有相同视点的引导图像中显示要提供给驾驶员的信息，因此难以区分警示状况(caution situation)与警告状况(warning situation)之间的差异。此外，由于现有的驾驶员引导系统不能实时地提供其中发生警告状况的时间点的图像，驾驶员难以快速识别发生警告状况的位置。
发明内容
本发明解决现有技术中发生的上述问题，同时保持现有技术实现的优点。
本发明的一个方面，提供一种行驶信息引导设备和方法以及提供该设备的车辆系统。该装置、方法和系统能够根据在车辆中发生的各种行驶状态来改变视图变换时间点，从而让驾驶员容易地确认扩展的视野范围。尤其，在确认了危险程度并且通过按照车辆的各个方向提供的状态条进行显示，以使得驾驶员迅速了解行驶状态。
本发明构思要解决的技术问题不限于上述问题，并且本发明所属领域的技术人员将从以下说明中清楚地理解在此未提及的任何其它的技术问题。
根据本发明的一个方面，一种车辆的行驶信息引导设备包括控制器和处理器。控制器，通信地连接到传感器系统和通信设备中的至少一者以及显示屏，并且通过所述传感器系统和所述通信设备中的至少一者，接收所述车辆的行驶信息。处理器通信地连接到所述控制器，并且所述处理器被配置为：在所述车辆行进时，收集通过所述传感器系统和所述通信设备中的至少一者以及所述控制器接收到的行驶信息，并且基于所收集的行驶信息，识别所述车辆的当前行驶状态。处理器还基于所述车辆的速度和所述车辆的行驶方向，确定视图模式，基于与所确定的视图模式对应的虚拟摄像头的位置和角度，对摄像机系统拍摄的所述车辆周围的图像进行视图变换。处理器从而生成用于在显示器上显示的视图变换图像，所述显示器通过所述控制器通信地连接到所述处理器，以及在通过所述控制器通信地连接的显示屏上，通过所述视图变换图像来显示与所识别的车辆的行驶状态对应的状态信息。
根据本发明的另一个方面，一种行驶信息引导方法包括：在车辆行进时，获取通过车辆的摄像机系统拍摄的车辆周围的图像。在车辆行进时，通过通信地连接到车辆摄像机系统的车辆的处理器来收集包含车辆的速度和车辆的行驶方向的车辆的行驶信息。基于所收集的行驶信息来识别车辆的当前行驶状态。基于车辆的速度和车辆的行驶方向通过处理器来确定视图模式；并且基于与所确定的视图模式相对应的虚拟摄像头的位置和角度，通过处理器来对车辆周围的图像进行视图变换，以生成视图变换图像。在通信地连接于车辆处理器的显示器上，显示通过视图变换图像的对应于所识别的车辆的行驶状态的状态信息。
根据本发明的另一个方面，一种车辆系统包括：接口，通过显示屏显示车辆的行驶状态信息；摄像机系统，在车辆行进时拍摄车辆周围图像；传感器系统，在车辆行进时测量车辆的行驶状态；通信设备，与附近车辆通信以接收关于附近车辆的信息；以及行驶信息引导设备。行驶信息引导设备：在车辆行进时收集车辆的行驶信息，以基于所收集的行驶信息来识别车辆的当前行驶状态。行驶信息引导设备基于虚拟摄像头的位置和角度来对由摄像机系统拍摄的车辆周围的图像进行视图变换，以生成视图变换图像，虚拟摄像头的位置和角度与根据车辆的速度和车辆的行驶方向确定的视图模式相对应。行驶信息引导设备之后在接口的显示屏上通过视图变换图像来显示对应于所识别的车辆的行驶状态的状态信息。
根据上述，根据在车辆中产生的各种行驶状态来改变视图变换时间点，以使得驾驶员容易地确认扩展的视野范围，并且驾驶员可通过根据行驶状态将状态信息中的危险程度划分成多个等级的方式来迅速地了解行驶状态，并且通过由车辆的各个方向提供的状态条来引导各个状态的状态信息。
附图说明
本发明的上述和其它目的、特征以及优点将会从以下结合附图的详细地说明中更显而易见：
图1是示出根据本发明的示例性实施方式的应用了行驶信息引导设备的例证性的车辆系统的框图。
图2A至图2B、图3A至图3F、图4至图6、图7A至图7C以及图8A至图8I是示出根据本发明的示例性实施方式的行驶信息引导设备的操作示意图。
图9是示出根据本发明的示例性实施方式的行驶信息引导设备的操作视图。
图10是示出根据本发明的示例性实施方式的行驶信息引导方法的流程图。
图11是示出根据本发明的示例性实施方式的能够执行行驶信息引导方法的计算机系统的结构框图。
具体实施方式
下文中，将参照附图对本发明构思的示例性实施方式详细进行说明。在附图中，将使用相同的附图标记贯穿全文来表示相同或等同的元素。此外，为了对本发明的要点不造成不必要的混淆，可能会不提供公知的特征或功能的详细说明。
在本发明构思的示例性实施方式的元素的说明中，可能在文中使用术语(第一、第二、第一的、第二的、A、B、(a)以及(b)等)。这些术语仅是用于将一个元素从另一个元素中区分，但是并不限制相应元素或指示相应元素之间的任何顺序或优先级。除非另外定义，本文中使用的所有术语(包括技术和科学术语)具有与本发明所属领域的技术人员通常理解含义相同的含义。在通常使用的字典中定义的这些的术语将被理解为具有等同于相关技术领域中语境意义的含义，并且将不被理解为具有理想或过于正式的含义，除非在本申请中清楚地定义。
图1是根据本发明的示例性实施方式的应用了行驶信息引导设备的例证性的车辆系统的框图。
参照图1，车辆系统可包括：接口10、摄像机系统20、传感器系统30、通信设备40、存储器50和行驶信息引导设备100。
接口10可包括：接收控制指令的输入装置以及输出行驶信息引导设备100的操作状态和引导结果的输出装置。此外，接口10可以是用户输入或输出接口，通过该接口可接收用户输入指令，并且通过该接口可向用户传送消息和信息。
在此，输入装置可包括：按钮、鼠标、操纵杆、转向梭(jog shuttle)、触针笔等。此外，输入装置可包括在显示器(例如触敏显示屏)上实现的软键。
输出装置可包括：显示器和/或语音输出装置(例如扬声器)。例如，显示器可显示由行驶信息引导设备100提供的行驶状态引导画面。
在显示器中包括触摸感应器(例如，触摸膜、触摸片、触摸板等)的情形中，显示器可作为触摸屏进行操作，并且能够在显示器内以集成的方式来实现输入装置和输出装置。
显示器可包括以下各项中的至少一项：液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、场发射显示器(FED)或三维(3D)显示器。
摄像机系统20可包括安装在车辆前侧、后侧、左侧和/或右侧的一个或多个摄像头来拍摄车辆周围的图像。在一些实施方式中，可将摄像头设置至车辆的前侧、后侧、左侧、和右侧每一侧。摄像机系统20能够拍摄车辆周围的图像(例如，车辆的前方图像、后方图像、左侧图像和右侧图像)，并且将图像传送到行驶信息引导设备100。
传感器系统30可包括一个或多个传感器(其中，包含至少一者传感器用于在车辆行进时感测车辆周围的信息)。作为示例，传感器系统30可包括感测车辆的当前状态和/或车辆的部件或系统(例如转向灯的开/关状态、行驶车道、行驶路线)的传感器、感测车辆的位置和/或速度的传感器、以及检测车辆周围的障碍物并感测障碍物的位置和速度的传感器。在此，各个传感器可由超声波传感器、雷达、红外线传感器、扫描器、摄像头以及其组合等来实现。
只要传感器系统30能够感测车辆周围的信息来提供本文中说明的感测数据/信息以及功能，则传感器系统30不应被限制于此或由此限制。
通信设备40可包括支持与包含在车辆中的电气装置、控制器和/或车辆中装配的系统进行通信接口的通信模块或收发器。例如，通信设备40可接收由传感器系统30测量的信息并且将接收的信息传送到行驶信息引导设备100，并且还能够将从行驶信息引导设备100接收的行驶状态引导信息传送到接口10和/或存储器50。
通信设备40可包括支持车辆网络通信(例如，控制器区域网络(CAN)通信、局部互联网络(LIN)通信以及Flex-ray通信等)的模块。
通信设备40可包括用于无线互联网接入的模块或用于近距离通信的模块。作为无线互联网技术，通信设备40可使用各种有线或无线通信标准(包括：无线LAN(WLAN)、无线宽带(Wibro)、Wi-Fi、全球微波接入互操作性(Wimax)等)支持通信。通信设备40可使用近距离通信标准(包括：蓝牙、ZigBee、超宽带(UWB)、射频识别(RFID)、红外数据通讯(IrDA)等的作为近距离通信技术)另外地或选择地支持通信。
在这种情形下，通信设备40可通过与位于具有通信设备40的车辆附近的附近车辆进行车对车(V2V)通信，将有关该车辆的信息发送到附近的车辆，或者接收附近车辆的有关信息。
存储器50可存储用于操作行驶信息引导设备100的数据和/或算法以及程序指令。
作为示例，存储器50可存储通过通信设备40接收的附近车辆的有关信息和/或由传感器系统30测量的信息。此外，存储器50可存储关于视图模式的信息、关于每个视图模式的行驶信息以及针对视图变换所设置的信息。此外，存储器50可存储机器可读编程指令和/或算法，以执行响应于根据行驶状态所确定的视图模式的视图变换。
此外，存储器50可存储根据行驶状态来构造行驶状态引导画面的信息。
在图1所示的实施方式中，用于操作行驶信息引导设备100的数据和/或算法可存储在车辆系统的存储器50中。然而，在一些实施方式中，可在行驶信息引导设备100中使用单独的存储装置来存储数据和算法。
在本实施方式中，存储器50可包括一个或多个包含暂时和/或非暂时性存储介质的存储介质/媒体(例如，随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)以及电可擦除可编程只读存储器(EEPROM)等)。
行驶信息引导设备100能够从传感器系统30和/或通信设备40收集车辆的行驶信息和/或车辆周围的信息。行驶信息引导设备100可基于所收集的信息来识别车辆的当前行驶状态。在这种情况下，行驶信息引导设备100可根据所识别的车辆的当前行驶状态来确定视图模式，并且可基于所确定的视图模式来执行视图变换，下面将进一步进行详细说明，以向驾驶员引导车辆的行驶状态。
每当预定的视图变换事件发生时，行驶信息引导设备100可确定对应于车辆的行驶状态的视图模式，并且响应事件发生，可向驾驶员提供根据所确定的视图模式进行视图变换的行驶状态引导画面。
在这种情况下，行驶信息引导设备100可包括控制器110和处理器160。处理器160具有存储软件指令的相关的非暂时性存储器，当通过处理器160执行时，其提供行驶信息识别模块120、确定模块130、视图变换模块140以及行驶状态引导模块150的功能。在此，控制器110可处理行驶信息引导设备100的元件之间传输的信息，并且具体地，可处理处理器160和接口10、摄像机系统20、传感器系统30、通信设备40以及存储器50之间传递的信息。处理器160可采取一个或多个处理器以及存储程序指令的相关的存储器的形式，并且在一些示例中可使用一个或多个处理器来实现控制器110和处理器160两者的功能。
处理器160的行驶信息识别模块120能够从传感器系统30(例如，在传感器系统30直接感测行驶信息和/或车辆周围的信息的情况下)和/或通信设备40(例如，在行驶信息和/或车辆周围的信息由其他装置/传感器/系统收集，并且通过通信设备40传送到行驶信息引导设备100的情况下)收集车辆的行驶信息和/或车辆周围的信息。行驶信息识别模块120可基于所收集的信息来识别(例如，检测、确定或辨认)车辆的当前行驶状态。
作为示例，行驶信息识别模块120可识别以下各项中的至少一项：车辆的速度、车辆的行驶路线、车辆的车道改变状态、车辆的行驶车道的位置(例如车辆在行驶车道内的位置)、车辆的偏离车道状态、车辆的自动驾驶模式的操作状态、障碍物相对于车辆的接近状态、车辆与障碍物之间的距离、或车辆与障碍物之间的相对速度。
处理器160的确定模块130可基于由行驶信息识别模块120所识别的车辆的当前行驶状态来确定视图模式。在这种情况下，确定模块130可核实是否由于驾驶员的动作或意图而发生与行驶状况相关的变化事件(例如，减速事件、加速事件以及车道改变事件等)，并且可根据核实结果来切换视图模式。此外，确定模块130可核实是否发生与车辆周围的状况相关的变化事件(例如车道偏离事件、障碍物靠近事件等)，并且可根据核实结果来切换视图模式。
确定模块130能够响应于驾驶员输入的输入信号而确定视图模式，并能够切换到所确定的视图模式，而与车辆周围状况的变化事件的发生无关。
在本实施方式的视图模式中，应用于视图变换的虚拟摄像头的位置和角度可根据行驶状况的变化事件和/或车辆周围状况的变化事件所发生的位置而变化。
参照图2A和2B，将根据发生的事件对视图模式相关的实施方式进行说明。
参照图2A，视图模式可包括：第一模式、第二模式、第三模式和第四模式，其中虚拟摄像头在前后方向上的位置和角度根据由车辆速度引起行驶状况的变化事件而被设置为具有不同的值。
可将第一模式设置为以下位置和角度，即，该位置和角度成为相对于虚拟摄像头的前后方向的基准，并且在这种情况下，虚拟摄像头的设置位置和角度可对应于图2A的附图标记211。在车辆的速度约为30[kph]到约为60[kph]的范围内的情形下，确定模块130可将第一模式设置为视图模式。
第二模式可对应于车辆高速行驶的情形，并且在这种情况下，虚拟摄像头的设置位置和角度可对应于图2A的附图标记213。如附图标记213所示，在第二模式中，可将虚拟摄像头在前后方向上的位置设置在基准位置之后，并且在第二模式中，可将虚拟摄像头的角度设置为小于基准角度的角度。在车辆的速度超过约60[kph]的情况下，确定模块130可将第二模式设置为视图模式。
第三模式可对应于车辆低速行驶的情形，并且在这种情况下，虚拟摄像头的设置位置和角度可对应于图2A的附图标记215。如附图标记215所示，在第三模式中，可将虚拟摄像头在前后方向上的位置设置在基准位置之前，并且在第三模式中，可将虚拟摄像头的角度设置为大于基准角度的角度。在车辆的速度约10[kph]以上且小于约30[kph]的情况下，确定模块130可将第三模式设置为视图模式。
第四模式可对应于车辆以非常低的速度行驶的情形，并且在这种情况下，虚拟摄像头的设置位置和角度可对应于图2A的附图标记217。如附图标记217所示，在第四模式中，可将虚拟摄像头在前后方向上的位置设置在第三模式中的位置之前，并且在第四模式中，可将虚拟摄像头的角度设置为大于第三模式中角度的角度。作为示例，在第四模式中虚拟摄像头的位置可对应于车辆的前后方向上的中心位置(例如，沿着车辆的前后轴线的车辆中心上方的位置)，并且可将角度设置为相对于车辆的前后方向上的中心位置大约成90度。
在车辆的速度小于约10[kph]的情况下，确定模块130可将第四模式设置为视图模式。
此外，参照图2B，视图模式可包括第五模式和第六模式，其中虚拟摄像头在左右方向上的位置和角度根据由于车道变化引起的行驶状况的变化事件以及由于车道偏离造成车辆周围状况的变化事件而被不同地设置。
在第五模式和第六模式中，将虚拟摄像头的沿着车辆的前后轴线的位置和角度作为虚拟摄像头的左右方向的基准，并可被设置为与第一模式相同。
第五模式可对应于车辆向左方移动的情形，并且在这种情况下，沿着车辆的右-左轴线的虚拟摄像头的设置位置和角度可对应于图2B的附图标记223。如附图标记223所示，在第五模式中，虚拟摄像头在左右方向上的位置可被设置为沿着车辆的右-左轴线的基准位置的左侧，并且在第五模式中，虚拟摄像头的角度可被设置为沿着车辆的右-左轴线朝左方的小于基准角度的角度。
在车辆的左转向灯被打开或者车辆由于相对于车辆的行驶方向穿过左线而离开当前车道的情况下，确定模块130可将第五模式设置为视图模式。在这种情况下，确定模块130可根据车辆的速度将第一模式至第四模式之一和第五模式确定为视图模式。
第六模式可对应于车辆向右方移动的情形，并且在这种情况下，沿着车辆的右-左轴线，虚拟摄像头的设定位置和角度可对应于图2B的附图标记225。如附图标记225所示，在第六模式中，虚拟摄像头左右方向上的位置可被设置为沿着车辆的右-左轴线在基准位置的右侧，并且在第六模式中的虚拟摄像头的角度可被设置为沿着车辆的右-左轴线朝右方向小于基准角度的角度。
在车辆的右转向灯被打开或者车辆由于相对于车辆的行驶方向穿过右线而离开当前车道的情况下，确定模块130可将第六模式设置为视图模式。在这种情况下，确定模块130可根据车辆的速度将第一模式至第四模式之一和第六模式确定为视图模式。
处理器160的视图变换模块140可基于虚拟摄像头的设置位置和角度对车辆周围的图像(例如，通过摄像机系统20的摄像头拍摄的车辆周围的前方图像、后方图像、左侧图像和右侧图像)执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。
视图变换模块140可根据对应于设置为默认值的视图模式的虚拟摄像头的位置和角度来生成对于输入图像的视图变换图像。
作为示例，视图变换模块140可响应于第一模式调整虚拟摄像头在前后方向和左右方向上的基准位置和基准角度，通过使用调整后的虚拟摄像头对输入图像进行视图变换，并且对经过视图变换的图像进行合成来生成视图变换图像。对应于第一模式的所生成的视图变换图像可表示为如图3A所示。
此外，视图变换模块140可基于由于发生变化事件而通过确定模块130所确定的视图模式来调整虚拟摄像头的位置和角度，并且可基于所调整的虚拟摄像头来生成对于输入图像的视图变换图像。
作为示例，在车辆的速度超过约60[kph]并且确定模块130将第二模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第二模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。在第二模式中生成的视图变换图像可表示为如图3B所示。
在车辆以低速行驶(例如，车辆的速度约10[kph]以上且小于约30[kph])并且确定模块130将第三模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第三模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。在第三模式中生成的视图变换图像可表示为如图3C所示。
此外，在车辆以非常低的速度行驶(例如，车辆的速度小于约10[kph])并且确定模块130将第四模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第四模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。在第四模式中生成的视图变换图像可表示为如图3D所示。
此处，如果除了车辆的速度之外没有发生其他变化事件，则视图变换模块140可基于第二模式至第四模式之一来执行视图变换。在这种情况下，视图变换模块140可基于虚拟摄像头在左右方向上的基准位置和基准角度来执行视图变换。
作为另一示例，在打开左转向灯并且确定模块130将第五模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第五模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。在第五模式中生成的视图变换图像可表示为如图3E所示。
此外，在车辆由于相对于行驶方向穿过右线而离开当前行驶车道并且确定模块130将第六模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第六模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。在第六模式中生成的视图变换图像可表示为如图3F所示。
同时，在车辆以小于约10[kph]的速度行驶时左转向灯被打开并且确定模块130将第四模式和第五模式确定为视图模式的情况下，视图变换模块140可基于针对所确定的第四模式和第五模式而设置的虚拟摄像头的位置和角度，对输入的图像执行视图变换，并且能够对经过视图变换的图像进行合成来生成视图变换图像。
图3A至图3F示出了第一模式至第六模式，但是视图模式还可包括基于通过内插分别对应于第一模式至第六模式中的至少两种模式的参数值来获取的值，来提供至少两种模式之间的视图的模式。因此，可连续地切换视图模式，并且因此可提供无违和感的视图变换图像作为不断变化的行驶参数(例如，车辆速度和相对于车道的行驶位置)。
处理器160的行驶状态引导模块150可将视图变换模块140生成的视图变换图像传送到接口10，从而通过显示屏引导车辆的当前行驶状态。在这种情况下，行驶状态引导模块150可将与车辆的当前行驶状态相对应的状态信息添加到视图变换图像，从而通过显示屏输出图像和状态信息。这里，与行驶状态对应的状态信息可在下表1中详细的确定。
表1
作为示例，在车辆周围存在障碍物或附近车辆的情况下，行驶状态引导模块150可基于车辆与障碍物(或附近车辆)之间的距离将状态信息(例如，足够、接近或非常接近)添加到视图变换图像中。
此外，在车辆周围存在障碍物或附近车辆的情况下，行驶状态引导模块150可基于车辆与障碍物(或附近的车辆)之间的相对速度将状态信息(例如，保持/远离、靠近或非常接近)添加到视图变换图像中。
此外，行驶状态引导模块150可基于车辆的行驶车道的位置将状态信息(例如，正常、邻近或越过)添加到视图变换图像中。
此外，行驶状态引导模块150可基于车辆的车道变化将状态信息(例如，危险的或可能的)添加到视图变换图像中。
此外，行驶状态引导模块150可将关于车辆的行驶路线或引导路线的信息添加到视图变换图像中。
此外，行驶状态引导模块150可根据基于车辆周围的障碍物(或附近车辆)的接近状态、行驶车道的位置以及车道改变状态的行驶危险程度将状态信息(例如，安全、警示或警告)添加到视图变换图像中。
这里，可将状态信息通过多种方式进行显示(例如图像、图标、表情符号、字符、数字、特殊字符、颜色等)。
此外，行驶状态引导模块150可将车辆的行驶危险程度划分为多个等级，并且考虑到各个方向将引导车辆周围状态信息的状态条划分为多个部分，以便在视图变换图像中显示行驶危险程度和状态条。
参照图4至图6，将详细地说明通过视图变换图像来显示根据车辆的行驶危险程度的状态信息的实施方式。
图4至图6示出了通过在视图变换图像中显示车辆周围的状态条来对车辆行进危险程度相关的状态信息进行引导的实施方式。
图4示出根据第一实施方式对车辆的行驶危险程度相关的状态信息进行引导的实施方式。
参照图4，可根据相对于车辆(或周围)的方向将状态条分成多个部分。例如，可将状态条划分成分别对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧的八个状态条。在这种情况下，行驶状态引导模块150可使用在车辆周围显示的八个状态条来引导对于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧的车辆周围的状态信息。
这里，行驶状态引导模块150能够将行驶危险程度相关的状态信息分类为安全、警示和警告的三个阶段，并且可通过八个状态条来引导对应于三个阶段中的每个阶段的状态信息。
在这种情况下，如图4的(a)、(b)和(c)所示，可通过使对比度、图案和/或颜色不同来显示与行驶危险程度相对应的各个阶段的状态信息。这里，图4的(a)中的附图标记411可表示安全状态，图4的(b)中附图标记421可表示警示状态，以及图4的(c)中的附图标记431可表示警告状态。在车辆的行驶危险程度为警告状态的情况下，行驶状态引导模块150可通过接口10另外地输出警报声并且由附图标记435表示对应的图标。
图5示出根据第二实施方式对车辆的行驶危险程度相关的状态信息进行引导的实施方式。
参照图5，可根据车辆的方向将状态条分成多个部分。例如，可将状态条划分成分别对应于车辆的前侧、左侧、右侧和后侧的四个状态条。在这种情况下，行驶状态引导模块150可使用显示在车辆周围的四个状态条来引导对于车辆的前侧、左侧、右侧和后侧的车辆周围的状态信息。
这里，行驶状态引导模块150能够将行驶危险程度相关的状态信息分类为安全、警示和警告的三个阶段，并且可通过四个状态条来引导对应于三个阶段中的每个阶段的状态信息。
在这种情况下，如图5的(a)、(b)和(c)所示，可通过使对比度、图案和/或颜色不同来显示与行驶危险程度相对应的各个阶段的状态信息。这里，图5的(a)中的附图标记511可表示安全状态，图5的(b)中附图标记521可表示警示状态，以及图5的(c)中的附图标记531可表示警告状态。在车辆的行驶危险程度为警告状态的情况下，行驶状态引导模块150可通过接口10另外地输出警报声并且由附图标记535表示对应的图标。
图6示出根据第三实施方式对车辆的行驶危险程度相关的状态信息进行引导的实施方式。
参照图6，可根据车辆的方向将状态条分成多个部分。例如，可将状态条划分成分别对应于车辆的前左侧、前侧、前右侧、左前侧、左后侧、右前侧、右后侧、后左侧、后侧和后右侧的十个状态条。在这种情况下，行驶状态引导模块150可使用显示在车辆周围的十个状态条来引导对应于车的前左侧、前侧、前右侧、左前侧、左后侧、右前侧、右后侧、后左侧、后侧和后右侧的车辆周围的状态信息。
这里，行驶状态引导模块150能够将行驶危险程度相关的状态信息分类为安全、警示和警告的三个阶段，并且可通过状态条来引导对应于三个阶段中的每个阶段的状态信息。
在这种情况下，如图6的(a)、(b)和(c)所示，可通过使显示在车辆周围的状态条数量的不同来显示与行驶危险程度相对应的各个阶段的状态信息。作为示例，在车辆的行驶危险程度为安全状态的情况下，如图6的(a)所示，行驶状态引导模块150可使用各个方向上对应于附图标记611的一个状态条在视图变换图像上显示安全状态。在车辆的行驶危险程度为警示状态的情况下，如图6的(b)所示，行驶状态引导模块150可使用各个方向上对应于附图标记611和621的二个状态条在视图变换图像上显示警示状态。这里，能够以不同的对比度、不同的图案和/或不同的颜色来显示对应于附图标记611和621的两个状态条。
同时，在车辆的行驶危险程度为警告状态的情况下，如图6的(c)所示，行驶状态引导模块150可使用各个方向上对应于附图标记611、621和631的三个状态条在视图变换图像上显示警告状态。这里，能够以不同的对比度、不同的图案和/或不同的颜色来显示对应于附图标记611、621和631的三个状态条。
在车辆的行驶危险程度为警告状态的情况下，行驶状态引导模块150可通过接口10另外地输出警报声并且由附图标记635表示对应警报图标。
在图4至图6所示的实施方式中，可在车辆周围的各个方向上相同地显示根据车辆的行驶危险程度的状态信息，但是行驶状态引导模块150可选择性地显示不同的状态信息(例如，对应于在各个方向上其中由于考虑到车辆周围的情况而发生警告的变化事件的状态信息)。将参照图7A至7C对其进行详细描述。
图7A至7C示出了当相同的事件发生在以下情况下，以不同的方式显示状态信息的实施方式：其中，该情况为，由于附近车辆接近车辆的左前侧而导致该车辆周围状态相关的变化事件发生，以及由于该车辆相对于行驶方向越过右侧车线而离开当前车道导致发生与行驶状态相关的变化事件。
图7A示出根据第一实施方式在各个方向上对车辆的行驶危险程度相关的状态信息进行引导的实施方式。参照图7A，由于在车辆左前侧的行驶危险程度是警告状态，因此行驶状态引导模块150可通过分别对应各个方向的八个状态条中的与左前侧对应的状态条来显示警告状态。此外，由于车辆右侧的行驶危险程度是警示状态，行驶状态引导模块150可通过分别对应于各个方向的八个状态条中的与右侧对应的状态条来显示警示状态。
图7B示出根据第二实施方式在各个方向上对车辆的行驶危险程度相关的状态信息进行引导的实施方式。参照图7B，由于在车辆左前侧的行驶危险程度是警告状态，行驶状态引导模块150可通过分别对应于各个方向十个状态条中的与前左侧和左前侧对应的状态条来显示警告状态。此外，由于车辆右侧的行驶危险程度是警示状态，行驶状态引导模块150可通过分别对应于各个方向的十个状态条中的对应于右前侧和右后侧的状态条来显示警示状态。
图7C示出根据第三实施方式在各个方向上对车辆的行驶危险程度相关的状态信息进行引导的实施方式。参照图7C，由于在车辆左前侧的行驶危险程度是警告状态，因此行驶状态引导模块150可通过对应于分别对应于各方向的四个状态条中的对应于左侧的状态条来显示警告状态。此外，由于车辆右侧的行驶危险程度是警示状态，行驶状态引导模块150可通过分别对应于各方向的四个状态条中的对应于右侧的状态条来显示警示状态。
图8A至图8I示出示例性的视图变换图像，通过该视图变换图像，在各个视图模式中显示发生的与行驶状态相关的状态信息。下文所述的实施方式使用八个状态条示例性地显示对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧的状态信息，但其不应限于此或由此限制。
图8A示出当车辆以约30[kph]以下的速度行驶时，其中存在另一车辆在该车辆左侧以低速接近车辆并且存在另一车辆在该车辆后侧以高速接近的实施方式。
参照图8A，行驶状态引导模块150可在视图变换为第三模式的视图变换图像上显示对应于在左侧以低速接近该车辆的其他车辆的图像和相对速度信息，以及显示在相对于车辆位置的后侧以高速接近该车辆的另一车辆的图像和相对速度信息。此外，行驶状态引导模块150可通过分别对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧的八个状态条中的分别对应于左侧和左后侧的状态条显示警示状态，并通过对应于后侧的状态条来显示警告状态。
图8B示出当车辆以约60[kph]以下的恒速行驶时，其中存在另一车辆在该车辆右侧以低速接近该车辆的实施方式。
参照图8B，行驶状态引导模块150可在视图变换为第一模式的视图变换图像上显示对应于相对于该车辆位置的右侧的以低速接近该车辆的其他车辆的图像和相对速度信息。此外，行驶状态引导模块150可通过分别对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右侧的状态条来显示警示状态。
图8C示出当车辆以超过约60[kph]的高速行驶时，存在另一车辆在该车辆右后侧以高速接近该车辆的实施方式。
参照图8C，行驶状态引导模块150可在视图变换为第二模式的视图变换图像上显示对应于相对于该车辆位置的右后侧的以高速接近该车辆的其他车辆的图像和相对速度信息。此外，行驶状态引导模块150可通过分别对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右后侧的状态条来显示警告状态。
图8D示出当车辆以约60[kph]以下的恒速行驶时，存在另一车辆在该车辆左后侧以高速接近该车辆的实施方式。
参照图8D，行驶状态引导模块150可在基于第一模式和第五模式进行视图变换的视图变换图像上显示对应于相对于该车辆位置的左后侧的以高速接近该车辆的其他车辆的图像和相对速度信息。此外，行驶状态引导模块150可通过与高速接近该车辆的其他车辆的车对车(V2V)通信系统
来接收高速接近该车辆的其他车辆的先进行驶辅助系统(ADAS,autonomousdriving assist system)的操作状态信息，并且在视图变换图像上显示先进行驶辅助系统(ADAS)的操作状态信息。
此外，行驶状态引导模块150可通过分别对应于车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧的八个状态条中的分别对应于左侧和左后侧的状态条来显示警告状态。
图8E示出当车辆以约60[kph]以下的恒速行驶时，在右前侧存在行人的实施方式。
参照图8E，行驶状态引导模块150可在基于第一模式进行视图变换的视图变换图像上显示对应于相对于该车辆位置的右前侧的行人的图标。此外，行驶状态引导模块150可通过分别与车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右前侧的状态条来显示警告状态。
图8F示出当车辆以约60[kph]以下的恒速行驶时，由于车辆相对于行驶方向越过右线而离开当前行驶车道的实施方式。
参照图8F，行驶状态引导模块150可在基于第一模式和第六模式进行视图变换的视图变换图像上显示对应于相对于该车辆位置的右线的图像。此外，行驶状态引导模块150可通过分别与车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右侧的状态条来显示警告状态。
图8G和8H示出当车辆以约60[kph]以下的恒速行驶时，打开右转向灯或左转向灯的实施方式。
参照图8G，行驶状态引导模块150可在基于第一模式和第六模式进行视图变换的视图变换图像上的相对于车辆位置的右车道上显示可能进入的状态。此外，行驶状态引导模块150可通过分别与车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右侧的状态条来显示警示状态。此外，在前方道路存在交叉路口的情况下，行驶状态引导模块150可显示对应于该交叉路口的图像和引导路线。
参照图8H，行驶状态引导模块150可在基于第一模式和第五模式进行视图变换的视图变换图像上的相对于车辆位置的左车道上显示进入警示状态。此外，行驶状态引导模块150可通过与车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的分别对应于左侧和左后侧的状态条来显示警告状态。此外，在前方道路存在交叉路口的情况下，行驶状态引导模块150可显示对应于该交叉路口的图像和引导路线。
图8I示出当车辆以约60[kph]以下的恒速行驶时，存在另一车辆在右后侧以高速接近该车辆并且在道路前方存在弯曲车道的实施方式。
参照图8I，行驶状态引导模块150可在基于第一模式进行视图变换的视图变换图像上显示对应于相对于车辆位置的右后侧以高速接近车辆的其他车辆的图像和相对速度信息。此外，行驶状态引导模块150可通过分别与车辆的前侧、左前侧、右前侧、左侧、右侧、后侧、左后侧和右后侧对应的八个状态条中的对应于右后侧的状态条来显示警告状态。此外，行驶状态引导模块150可显示对应于前方道路存在弯曲车道的图像。
因此，如图8A至图8I所示，驾驶员可通过其中显示车辆的行驶状态信息的视图变换图像来快速地掌握车辆的当前状况。
在上述说明的实施方式中，可根据行驶危险的程度来改变状态条的颜色，但是还可根据实施方式和确定的行驶危险程度将状态条的颜色、对比度、形状或数量中的至少一者进行不同地显示。此外，只要驾驶员能够清楚地识别警示状态和警告状态，就可使用与行驶状态引导信息相关的各种显示方法。
同时，图9是示出根据本发明的另一示例性实施方式的视图变换图像的视图。
参照图9，视图变换模块140可基于由确定模块130响应于发生的变化事件而确定的视图模式来调整虚拟摄像头的位置和角度，并且可基于所调整的虚拟摄像头来生成视图变换图像910。在这种情况下，视图变换模块140可提供通过将前方图像920与视图变换图像910进行结合而获得的视图变换图像。作为示例，前方图像920可以是通过安装在车辆前方的前向窄角摄像机拍摄的图像。
在这种情况下，可提供具有扩展的前方视野的视图变换图像。
如上所述根据本实施方式的操作的行驶信息引导设备100能够在一个独立的硬件中实现，并且可由一个或多个处理器(例如微处理器或通用计算机系统)来驱动。或者，行驶信息引导设备100可被包含在其他硬件中，并且可依靠其他硬件的处理器来操作。
此外，如上所述根据本实施方式的操作的行驶信息引导设备100可与车辆中的控制器一体形成，或者可实现作为单独的装置之后连接到车辆中的控制器。
在下文中，将对根据本发明的设备的操作进行说明。
图10是示出根据本发明的示例性实施方式的行驶信息引导方法的流程图。
参照图10，车辆行进时，行驶信息引导设备100可获取由摄像机系统20拍摄的车辆周围的图像(S110)，并且通过车辆中的传感器(例如，传感器系统30的传感器)和/或与附近车辆的车对车(V2V)通信(例如，通过通信设备40)来收集行驶信息(S120)。在这种情况下，行驶信息引导设备100可基于在操作S120中所收集的行驶信息来识别车辆的当前行驶状态(S130)。
作为示例，行驶信息引导设备100可识别发生在车辆中或车辆周围的各种状态(例如车辆的速度、车辆的行驶路线、车辆的车道变化状态、车辆的行驶车道的位置、车辆偏离车道的状态、自动驾驶模式的操作状态、障碍物(或附近车辆)相对于车辆的接近状态、相对距离或相对速度)。
行驶信息引导设备100可基于在操作S130中所识别的车辆的当前行驶状态来确定对应的视图模式(S140)，并且基于在操作S140中所确定的视图模式中设置的虚拟摄像头的位置和角度，对操作S110中所获得的图像执行视图变换来生成视图变换图像(S150)。
然后，行驶信息引导设备100可将与车辆的当前行驶状态相对应的状态信息添加到操作S150中所生成的视图变换图像，并且可通过显示屏向驾驶员引导车辆的当前行驶状态(S160)。
在操作S160中引导车辆的当前行驶状态时发生另一视图变换事件的情况下(S170)，行驶信息引导设备100可重新执行操作S130至S160，以向驾驶员引导对应于新发生的视图变换事件的车辆当前行驶状态。
图11是示出根据本发明的示例性实施方式的执行行驶信息引导方法的计算系统的结构框图。可使用图11所示的计算机系统来实现图1所示的一个或多个元件。
参照图11，计算系统1000可包括通过总线1200彼此连接的至少一者处理器1100、内存器1300、用户接口输入装置1400、用户接口输出装置1500、存储器1600和网络接口1700。
处理器1100可以是对存储在内存器1300和/或存储器中的程序指令进行处理的中央处理单元(CPU)或半导体器件。内存器1300和存储器1600中的每一个可包括各种类型的易失性或非易失性存储介质。例如，内存器1300可包括只读存储器(ROM)1310和随机存取存储器(RAM)1320。
因此，关于本文公开的实施方式描述的方法或算法的操作，可以在通过由处理器1100执行的硬件模块、软件模块或两者的组合直接实现。软件模块可驻留在存储介质中(即，内存器1300和/或存储器1600)，例如随机存取存储器(RAM)、闪存、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可移动盘、光盘ROM(CD至ROM)。存储介质可被耦接到处理器1100。该处理器1100可以从存储介质读取信息并且可以将信息写入到存储介质。或者，可以将存储介质集成到处理器1100。集成的处理器和存储介质可驻留在专用集成电路(ASIC)中。ASIC可驻留在用户终端内。或者，处理器和存储介质可作为单独的组件驻留在用户终端中。
虽然已参考示例性实施方式对本发明进行了描述，但是对于本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下可进行多种变型和修改。
因此，本发明的示例性实施方式不是限制性的而是示例性的，并且本发明的精神和范围不限于此。本发明的精神和范围应通过所附权利要求书解释，并且应当理解，与本发明等同的所有技术构思都包括在本发明的精神和范围内。

Claims (20)

1.一种车辆的行驶信息引导设备，包括：
控制器，通信地连接到传感器系统和通信设备中的至少一者以及显示屏，并且所述控制器通过所述传感器系统和所述通信设备中的至少一者，接收所述车辆的行驶信息；
处理器，通信地连接到所述控制器，并且所述处理器被配置为：
在所述车辆行进时，收集通过所述传感器系统和所述通信设备中的至少一者以及所述控制器接收到的行驶信息，并且基于所收集的行驶信息，识别所述车辆的当前行驶状态；
基于所述车辆的速度和所述车辆的行驶方向，确定视图模式；
基于与所确定的视图模式对应的虚拟摄像头的位置和角度，对摄像机系统拍摄的所述车辆周围的图像进行视图变换，并生成用于在显示器上显示的视图变换图像，所述显示器通过所述控制器通信地连接到所述处理器；以及
在通过所述控制器通信地连接的显示屏上，通过所述视图变换图像来显示与所识别的车辆的行驶状态对应的状态信息。
2.根据权利要求1所述的行驶信息引导设备，其中，
所述视图模式选自第一模式、第二模式、第三模式和第四模式中，并且所述视图模式选自第五模式和第六模式，其中，在所述第一模式、所述第二模式、所述第三模式和所述第四模式中，所述虚拟摄像头相对于所述车辆的前后方向的位置和角度根据所述车辆的速度被不同地设定，其中，在所述第五模式和所述第六模式中，所述虚拟摄像头相对于所述车辆的左右方向的位置和角度根据所述车辆的行驶方向被不同地设定。
3.根据权利要求2所述的行驶信息引导设备，其中，
在所述车辆以恒定速度直线行驶的情况下，所述处理器被配置为将视图变换模式确定为所述第一模式，在所述第一模式中，相对于所述前后方向和所述左右方向设置所述虚拟摄像头的基准位置和基准角度。
4.根据权利要求3所述的行驶信息引导设备，其中，
所述处理器被配置为判断在所述第一模式期间是否在所述车辆的速度和行驶方向上发生视图变换事件。
5.根据权利要求3所述的行驶信息引导设备，其中，
在所述车辆以超过预定速度的高速行驶的情况下，所述处理器被配置为将所述视图模式确定为所述第二模式，在所述第二模式中，相对于所述车辆的前后方向，将所述虚拟摄像头的位置设置在所述虚拟摄像头的所述基准位置之后，并且将所述虚拟摄像头的角度设置为小于所述虚拟摄像头的所述基准角度的角度。
6.根据权利要求3所述的行驶信息引导设备，其中，
在所述车辆以低于预定速度的低速行驶的情况下，所述处理器被配置为将所述视图模式确定为所述第三模式或所述第四模式，在所述第三模式和所述第四模式每一者中，相对于所述车辆的前后方向，将所述虚拟摄像头的位置设置在所述虚拟摄像头的所述基准位置之前，并且将所述虚拟摄像头的角度设置为大于所述虚拟摄像头的所述基准角度的角度。
7.根据权利要求3所述的行驶信息引导设备，其中，
在所述车辆的左转信号灯被打开或所述车辆由于越过相对于所述行驶方向的左线而离开行驶车道的情况下，所述处理器被配置将所述视图模式确定为所述第五模式，在所述第五模式中，相对于所述车辆的左右方向，将所述虚拟摄像头的位置设置在所述虚拟摄像头的基准位置的左侧，并且将所述虚拟摄像头的角度设置为朝左方小于所述基准角度的角度。
8.根据权利要求3所述的行驶信息引导设备，其中，
在所述车辆的右转信号灯被打开或者所述车辆由于越过相对于所述行驶方向的右线而离开行驶车道的情况下，所述处理器被配置为将所述视图模式确定为所述第六模式，在所述第六模式中，相对于所述车辆的左右方向，将所述虚拟摄像头的位置设置在所述虚拟摄像头的基准位置的右侧，并且将所述虚拟摄像头的角度设置为朝右方小于所述基准角度的角度。
9.根据权利要求2所述的行驶信息引导设备，其中，
所述处理器被配置为连续地调整所述虚拟摄像头的位置和角度以提供将所述虚拟摄像头的位置和角度设置在所述第一模式、所述第二模式、所述第三模式和所述第四模式的至少两个设置的位置以及角度之间的视图，并且其中，所述处理器基于通过内插对应于所述第一模式至所述第六模式中的至少两种模式的参数值所获得的值来连续地调整所述虚拟摄像头的位置和角度。
10.根据权利要求1所述的行驶信息引导设备，其中，
所述处理器被配置为响应于用户输入的输入信号确定所述视图模式。
11.根据权利要求1所述的行驶信息引导设备，其中，
所述处理器被配置为基于以下各项，在所述视图变换图像中显示所述车辆的行驶危险程度和方向信息：根据障碍物或附近车辆的接近状态的状态信息、根据车辆的行驶车道位置的状态信息、以及根据车辆的车道变化的状态信息。
12.根据权利要求11所述的行驶信息引导设备，其中，
所述处理器被配置为在所述视图变换图像中显示表明状态信息并分别位于所述车辆周围的多个条，并且通过所述条，显示行驶危险程度的多个等级中的相应等级，并且，
其中，所述处理器被配置为根据所述行驶危险程度，对所述条的颜色、对比度、形状或数量中的至少一者进行不同地显示。
13.根据权利要求11所述的行驶信息引导设备，其中，
所述处理器被配置为基于根据所述障碍物或所述附近车辆的接近状态的状态信息，通过所述视图变换图像的对应位置来显示对应于所述障碍物或所述附近车辆的图像，并且显示所述状态信息。
14.根据权利要求11所述的行驶信息引导设备，其中，
所述处理器被配置为基于根据所述车辆的行驶车道的位置的状态信息，在所述视图变换图像中显示对应于在所述车辆离开行驶车道的方向上的车线的图像，并且显示引导路线信息。
15.根据权利要求11所述的行驶信息引导设备，其中，
所述处理器被配置为基于根据所述车辆的车道变化的状态信息，在所述视图变换图像中显示根据车道进入的警示状态信息，并且显示所述车辆前方的引导路线信息。
16.根据权利要求1所述的行驶信息引导设备，其中，
所述处理器被配置为根据所述车辆的行驶危险程度，输出警报声连同所述视图变换图像。
17.根据权利要求1所述的行驶信息引导设备，其中，
所述处理器被配置为识别以下各项中的至少一项：所述车辆的速度、行驶路线、车道改变状态、行驶车道的位置、车道偏离状态、自动驾驶模式的操作状态、障碍物接近状态、车辆与障碍物之间的距离、或所述车辆与所述障碍物之间的相对速度。
18.根据权利要求1所述的行驶信息引导设备，其中，
所述处理器被配置为使用安装在所述车辆中的所述传感器系统的多个传感器收集所述行驶信息，或者
所述处理器被配置为通过提供所述车辆与附近车辆之间的车对车(V2V)通信的所述通信设备来收集行驶信息。
19.一种行驶信息引导方法，包括以下步骤：
在车辆行进时，获取通过所述车辆的摄像机系统拍摄的车辆周围的图像；
在所述车辆行进时，由通信地连接到所述车辆的所述摄像机系统的所述车辆的处理器收集包含所述车辆的速度和所述车辆的行驶方向的所述车辆的行驶信息，并且基于所收集的行驶信息识别所述车辆的当前行驶状态；
所述处理器基于所述车辆的速度和所述车辆的行驶方向确定视图模式；
所述处理器基于与所确定的视图模式对应的虚拟摄像头的位置和角度，对所述车辆周围的图像进行视图变换，以生成视图变换图像；以及
在通信地连接到所述车辆的所述处理器的显示器上，通过所述视图变换图像显示对应于所识别的车辆的行驶状态的状态信息。
20.一种车辆系统，包括：
接口，被配置为通过显示屏显示车辆的行驶状态信息；
摄像机系统，被配置为在所述车辆行进时拍摄所述车辆周围的图像；
传感器系统，被配置为在所述车辆行进时测量所述车辆的行驶状态；
通信设备，被配置为与附近车辆通信以接收关于所述附近车辆的信息；以及
行驶信息引导设备，被配置为：
在所述车辆行进时收集所述车辆的行驶信息，以基于所收集的行驶信息识别所述车辆的当前行驶状态；
基于虚拟摄像头的位置和角度对由摄像机系统拍摄的所述车辆周围的图像进行视图变换以生成视图变换图像，所述虚拟摄像头的位置和角度与根据所述车辆的速度和所述车辆的行驶方向所确定的视图模式相对应；以及
在所述接口的显示屏上，通过所述视图变换图像显示对应于所识别的所述车辆的行驶状态的状态信息。
CN201710910741.7A 2017-06-09 2017-09-29 用于引导行驶信息的设备和方法及具有该设备的车辆系统 Active CN109035861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170072557A KR102310379B1 (ko) 2017-06-09 2017-06-09 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
KR10-2017-0072557 2017-06-09

Publications (2)

Publication Number Publication Date
CN109035861A true CN109035861A (zh) 2018-12-18
CN109035861B CN109035861B (zh) 2022-03-25

Family

ID=64332541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910741.7A Active CN109035861B (zh) 2017-06-09 2017-09-29 用于引导行驶信息的设备和方法及具有该设备的车辆系统

Country Status (4)

Country Link
US (1) US10640039B2 (zh)
KR (1) KR102310379B1 (zh)
CN (1) CN109035861B (zh)
DE (1) DE102017122867A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、系统及存储介质
WO2020237622A1 (en) * 2019-05-31 2020-12-03 Intel Corporation Using vector chart data with display lifecycles to visualize autonomous vehicle processes
CN113246860A (zh) * 2021-05-28 2021-08-13 广州小鹏汽车科技有限公司 控制方法、车载终端及车辆
CN113276774A (zh) * 2021-07-21 2021-08-20 新石器慧通（北京）科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10745009B2 (en) * 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
KR102506865B1 (ko) * 2017-12-13 2023-03-08 현대자동차주식회사 컷인 의도 판단 장치 및 방법
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
US10703386B2 (en) * 2018-10-22 2020-07-07 Ebay Inc. Intervehicle communication and notification
AU2019404207B2 (en) 2018-12-20 2023-12-14 Augean Robotics, Inc. Collaborative autonomous ground vehicle
KR102246498B1 (ko) * 2019-08-22 2021-05-03 주식회사 이에스피 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법
DE102020129676A1 (de) * 2020-11-11 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Visualisierung der umgebung eines kraftfahrzeugs in einer umgebungsanzeige
KR20220078772A (ko) * 2020-12-03 2022-06-13 현대모비스 주식회사 차량의 교차로 주행 제어 시스템 및 방법
CN115158344A (zh) * 2022-06-08 2022-10-11 上海集度汽车有限公司 显示方法、装置、车辆及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448774A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备及图像显示系统
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN103946907A (zh) * 2011-11-25 2014-07-23 本田技研工业株式会社 车辆周围监视装置
CN104067327A (zh) * 2011-11-01 2014-09-24 大众汽车有限公司 驾驶辅助系统警告消息的输出方法以及所属的驾驶辅助系统
CN106251701A (zh) * 2016-09-14 2016-12-21 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071631A (ja) 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム
US8676431B1 (en) 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
JP5689993B1 (ja) 2014-02-28 2015-03-25 株式会社ブリヂストン 車両走行状態監視装置
KR101565006B1 (ko) * 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102334656B1 (ko) 2014-10-15 2021-12-03 현대모비스 주식회사 차량의 주행 정보 표시 시스템
KR101684939B1 (ko) 2014-11-05 2016-12-09 현대모비스 주식회사 차량의 주행모드를 고려한 디스플레이 장치 및 방법
JP6417994B2 (ja) * 2015-02-09 2018-11-07 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
KR102309316B1 (ko) 2015-06-02 2021-10-05 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 구비한 차량
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101816157B1 (ko) * 2015-11-13 2018-01-09 현대오트론 주식회사 헤드업 디스플레이를 이용한 차량 충돌 방지 장치 및 방법
KR101809493B1 (ko) 2015-12-17 2017-12-15 한국화학연구원 수소 선택투과성 노보넨계 멤브레인 및 이의 제조방법
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
WO2017155219A1 (en) * 2016-03-07 2017-09-14 Lg Electronics Inc. Vehicle control device mounted in vehicle and control method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448774A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备及图像显示系统
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN104067327A (zh) * 2011-11-01 2014-09-24 大众汽车有限公司 驾驶辅助系统警告消息的输出方法以及所属的驾驶辅助系统
CN103946907A (zh) * 2011-11-25 2014-07-23 本田技研工业株式会社 车辆周围监视装置
CN106251701A (zh) * 2016-09-14 2016-12-21 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237622A1 (en) * 2019-05-31 2020-12-03 Intel Corporation Using vector chart data with display lifecycles to visualize autonomous vehicle processes
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、系统及存储介质
CN113246860A (zh) * 2021-05-28 2021-08-13 广州小鹏汽车科技有限公司 控制方法、车载终端及车辆
CN113276774A (zh) * 2021-07-21 2021-08-20 新石器慧通（北京）科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备

Also Published As

Publication number Publication date
US10640039B2 (en) 2020-05-05
CN109035861B (zh) 2022-03-25
KR102310379B1 (ko) 2021-10-12
US20180354419A1 (en) 2018-12-13
DE102017122867A1 (de) 2018-12-13
KR20180134604A (ko) 2018-12-19

Similar Documents

Publication Publication Date Title
CN109035861A (zh) 用于引导行驶信息的设备和方法及具有该设备的车辆系统
CN105324267B (zh) 驾驶支援装置
JP6466899B2 (ja) 車両用表示装置
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
CN108140311B (zh) 停车辅助信息的显示方法及停车辅助装置
EP3686084B1 (en) Parking support method and parking support device
JP6344417B2 (ja) 車両用表示装置
US8626427B2 (en) User interface method for terminal for vehicle and apparatus thereof
CN102951062B (zh) 用于改变车辆的至少一个大灯的光发射的方法与设备
JP6304272B2 (ja) 車両用注意喚起装置
WO2018025624A1 (ja) ヘッドアップディスプレイ装置、表示制御方法及び制御プログラム
CN108216242A (zh) 用于控制车辆的狭窄道路行驶的装置和方法
CN111788459A (zh) 辅助信息在显示单元上的显现
CN105103210A (zh) 用于引导在对象的周围环境中的车辆的方法和设备
CN109204136A (zh) 周边图像显示控制装置
JP5654284B2 (ja) 車両用ディスプレイ装置
WO2016067545A1 (ja) 注視誘導装置
JP6756101B2 (ja) 物体認識装置
CN109720341A (zh) 停车协助装置及方法
CN112824186A (zh) 用于在队列行驶时显示虚拟车道的装置及方法
JP2018092290A (ja) 車両用表示装置
JP2016146170A (ja) 画像生成装置及び画像生成方法
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
US11990066B2 (en) System and method to adjust inclined heads-up display perspective
JP5782928B2 (ja) 車両用通信システムおよびこれに用いる情報提供装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant