CN109624849A - 生成和显示指南的方法和装置 - Google Patents

生成和显示指南的方法和装置 Download PDF

Info

Publication number
CN109624849A
CN109624849A CN201811166928.1A CN201811166928A CN109624849A CN 109624849 A CN109624849 A CN 109624849A CN 201811166928 A CN201811166928 A CN 201811166928A CN 109624849 A CN109624849 A CN 109624849A
Authority
CN
China
Prior art keywords
guide
information
image
vehicle
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811166928.1A
Other languages
English (en)
Inventor
M·穆拉德
F·W·亨特齐克
M·沃尔斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109624849A publication Critical patent/CN109624849A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种在显示器上生成指南的方法和装置。该方法包括：检索关于路径的垂直轮廓的信息；生成表示路径的垂直轮廓的指南；以及将指南叠加在显示器上所显示的图像上。

Description

生成和显示指南的方法和装置
技术领域
与示例性实施例一致的装置和方法涉及在显示器上显示外部区域的图像和指南。更具体地，与示例性实施例一致的装置和方法涉及生成指南并将指南叠加在显示器上所显示的外部区域的图像上。
发明内容
一个或多个示例性实施例提供了一种生成指南、在外部区域的图像上叠加和显示指南的方法和装置。更具体地，一个或多个示例性实施例提供了一种在显示器上叠加并显示表示车辆外部区域的地势的指南的方法和装置。
根据示例性实施例的一方面，一种用于在显示器上生成指南的方法。该方法包括：检索关于路径的垂直轮廓的信息；生成表示路径的垂直轮廓的指南；以及将所生成的指南叠加在显示器上所显示的图像上。
该方法包括通过放置在车辆处的相机捕获图像。显示器上所显示的图像可以包括车辆周围区域的图像、车辆后方区域的图像和车辆前方区域的图像中的至少一种。
关于路径的垂直轮廓的信息可以源于绘图信息、车辆移动信息、图像信息和传感器信息中的至少一种。
生成表示路径的垂直轮廓的指南包括：生成地形轮廓；识别车辆周围的指定位置处的地形轮廓的三维坐标；将三维坐标变换为图像像素坐标；将图像像素坐标与线条或形状关联；以及用后续的地形轮廓样本过滤该地形轮廓。
将指南叠加在显示器上所显示的图像上包括将指南的三维坐标转换为图像上的点。
显示器上所显示的图像可以包括车辆后方区域的图像。表示路径的垂直轮廓的指南可以进一步表示车辆的行驶方向。
该方法可以包括：获得与车辆的转向角相对应的信息；以及基于与车辆的转向角相对应的信息生成表示车辆的行驶方向的指南。
关于路径的垂直轮廓的信息可以包括关于先前由车辆行驶的路径的信息。
根据示例性实施例的一方面，提供了一种在显示器上生成指南的装置。该装置包括：至少一个存储器，其包括计算机可执行指令；以及至少一个处理器，其配置为读取和执行计算机可执行指令。计算机可执行指令可以使得至少一个处理器检索关于路径的垂直轮廓的信息、生成表示路径的垂直轮廓的指南，以及将指南叠加在显示器上所显示的图像上。
该装置可以进一步包括配置为捕获图像的相机，并且计算机可执行指令可以使得至少一个处理器显示车辆周围区域的图像、车辆后方区域的图像和车辆前方区域的图像中的至少一种的图像。
计算机可执行指令可以使得至少一个处理器从绘图信息、车辆移动信息、图像信息和传感器信息中的至少一种获得关于路径的垂直轮廓的信息。
计算机可执行指令可以使得至少一个处理器通过生成地形轮廓、识别关于车辆周围的指定位置处的地形轮廓的三维坐标、将三维坐标变换为图像像素坐标、将图像像素坐标与线条或形状关联、以及用后续的地形轮廓样本过滤该地形轮廓来生成表示路径的垂直轮廓的指南。
计算机可执行指令使得至少一个处理器通过将指南的三维坐标转换为图像上的点来控制将指南叠加在显示器上所显示的图像上。
显示器上所显示的图像可以是车辆后方区域的图像。
表示路径的垂直轮廓的指南可以进一步表示车辆的行驶方向。计算机可执行指令可以使得至少一个处理器获得与车辆的转向角相对应的信息以及基于与车辆的转向角相对应的信息生成表示车辆的行驶方向的指南。
关于路径的垂直轮廓的信息可以包括关于车辆先前穿过的路径的信息。
该装置可以进一步包括配置为检测路径的地势的传感器，并且计算机可执行指令可以使得至少一个处理器基于从传感器获得的地势信息生成表示路径的垂直轮廓的指南。
根据示例性实施例的以下详细描述和附图，示例性实施例的其他目的、优点和新颖特征将变得更显而易见。
附图说明
图1示出了根据示例性实施例的生成指南的装置的框图；
图2示出了根据示例性实施例的生成指南的方法的流程图；
图3示出了根据示例性实施例的一方面的可由所生成的指南表示的倾斜路径的图示；
图4示出了根据示例性实施例的一方面的用于生成指南的相机参数的图示；
图5示出了根据示例性实施例的一方面的用于生成指南的信息的流程图；并且
图6示出了根据示例性实施例的一方面的基于路径的地势或垂直轮廓的生成指南的图示。
具体实施方式
现在将参考附图中的图1至图6详细描述生成和显示指南的装置和方法，其中，相同的参考标号始终表示相同的元件。
以下公开内容将使本领域技术人员能够实践本发明构思。然而，本文公开的示例性实施例仅仅是示例性的，并不将本发明构思限制于本文描述的示例性实施例。此外，通常应当认为每个示例性实施例的特征或方面的描述可用于其他示例性实施例的各方面。
还应理解，在本文中阐述第一元件“连接到”、“附接到”第二元件，“形成在”或“设置在”第二元件上的情况下，第一元件可以直接连接到第二元件，直接形成在或直接设置在第二元件上，或者在第一元件与第二元件之间可以存在中间元件，除非阐述第一元件“直接”连接到、附接到第二元件，“直接”形成或设置在第二元件上。另外，如果第一元件配置为从第二元件“发送”或“接收”信息，则第一元件可以直接向第二元件发送信息或从第二元件接收信息，经由总线发送或接收信息，经由网络发送或接收信息，或者经由中间元件发送或接收信息，除非指明第一元件“直接”向第二元件发送信息或从第二元件接收信息。
在整个公开内容中，所公开元件中的一个或多个可以组合到单个设备中或者组合到一个或多个设备中。另外，各个元件可以设置在单独的设备上。
诸如卡车或其他机器之类的车辆可以包括提供车辆或机器的外部区域的视图的显示器。显示器可以显示由面向车辆外部区域的相机或传感器捕获的车辆周围区域的图像。显示器的示例可以包括中心堆叠显示器、侧视镜显示器或后视镜显示器，其输出由面向车辆或机器后方的区域的相机提供的图像。这些显示器可以用于将车辆或机器引导到一地点或位置。
显示器可以将指南或图形元素叠加在所显示的车辆外部区域的图像上，以帮助操作者指导、定位、引导或操纵车辆。在一个示例中，车辆外部区域的图像可以由后视相机提供，例如位于车辆的后挡板、行李箱或保险杠上的后视倒车相机。指南或图形元素可以被动画或变换以反映车辆的方向、位置、移动或潜在的移动以及车辆行驶路径的斜坡、垂直轮廓、形状、地势。
图1示出了根据示例性实施例的生成指南的装置100的框图。如图1所示，根据示例性实施例，生成指南的装置100包括控制器101、电源102、存储器103、输出104、传感器105、用户输入106和通信设备108。生成指南的装置100不限于上述配置，并且可以配置为包括附加元件和/或省略一个或多个上述元件。生成指南的装置100可以作为车辆的一部分、作为独立部件、作为车载与车辆外设备之间的混合来实现，或者在另一计算设备中实现。
控制器101控制生成指南的装置100的整体操作和功能。控制器101可以控制生成指南的装置100的存储器103、输出104、传感器105、用户输入106和通信设备108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件组合中的一种或多种。
控制器101可以配置为从生成指南的装置100的存储器103、输出104、传感器105、用户输入106和通信设备108中的一个或多个发送和/或接收信息。信息可以经由总线或网络发送和接收，或者可以直接从生成指南的装置100的存储器103、输出104、传感器105、用户输入106和通信设备108中的一个或多个读取信息或向它们写入信息。合适的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11之类的无线网络，以及诸如以太网之类的其他适当的连接。
电源102向生成指南的装置100的控制器101、存储器103、输出104、传感器105、用户输入106和通信设备108中的一个或多个提供电力。电源102可以包括电池、插座、电容器、太阳能电池、发电机、风能设备、交流发电机等中的一种或多种。
存储器103配置用于存储信息并检索由生成指南的装置100使用的信息。存储器103可以由控制器101控制以存储从传感器105接收的信息并检索所存储的信息。存储器可以存储绘图信息、车辆移动信息、图像信息和传感器信息。另外，存储器103还可以包括配置为由处理器执行的计算机指令，以执行生成指南的装置100的功能。
可以从传感器105提供的信息接收或获得车辆移动信息、图像信息和传感器信息。例如，传感器105可以提供由传感器105拍摄的一个或多个图像的信息、传感器105与车辆周围区域之间的距离或传感器105检测到的车辆周围区域的地势信息或垂直轮廓信息。此外，可以根据绘图信息、车辆移动信息、图像信息和传感器信息确定地势信息或垂直轮廓信息。地势信息或垂直轮廓信息还可以从由包括显示指南的显示器的车辆或机器先前穿过或行驶的路径的传感器105记录的信息中获得。
存储器103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其他类型的介质/机器可读介质中的一种或多种。
输出104以一种或多种形式输出信息，包括：视觉、听觉和/或触觉形式。输出104可以由控制器101控制，以向生成指南的装置100的用户提供输出。输出104可以包括扬声器、声音变换器、显示器、中心定位的显示器、平视显示器、挡风玻璃显示器、触觉反馈设备、振动设备、触觉回馈设备、分接反馈设备、全息显示器、仪表灯、仪表板显示器、中心堆叠显示器、后视镜显示器、侧视镜显示器、指示灯等中的一种或多种。
根据一个示例，输出104可以是中心堆叠显示器、侧视镜显示器或后视镜显示器中的一种或多种。输出104可以配置为输出来自传感器105的图像，并将从传感器105确定的地势信息或垂直轮廓信息生成的指南叠加到图像上。此外，输出104可以输出包括声音通知、光通知和显示通知中的一种或多种的通知。
用户输入106配置为向生成指南的装置100提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、触控板、鼠标、触摸板等中的一种或多种。用户输入106可以配置为接收用户输入以确认或解除由输出104输出的通知。
传感器105可以是后置相机、相机、红外相机、夜视相机、超声波传感器、雷达、加速计、红外传感器、激光传感器、LIDAR(激光雷达)等中的一种或多种。根据示例，传感器105可以是安装在卡车的后挡板、车辆或机器的后视镜、发动机罩、仪表板、侧视镜、行李箱、高置停车灯或保险杠上的后视相机。可以分析来自传感器105的图像或信息以确定车辆周围或后方的区域的地势信息或垂直轮廓信息。
通信设备108可以由生成指南的装置100使用，以根据各种通信方法与各种类型的外部装置通信。通信设备108可以用于接收来自传感器105的图像信息、地势信息或垂直轮廓信息。此外，通信设备108可以用于将图像信息发送到输出104，以显示图像信息和所生成的叠加在图像信息上的指南。
通信设备108可以包括各种通信模块，诸如远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块中的一种或多种。广播接收模块可以包括地面广播接收模块，其包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近距离的外部装置通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器区域网络(CAN)或外部网络之类的有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议之类的无线通信协议连接到外部网络并与外部网络通信的模块。无线通信模块还可以包括移动通信模块，其访问移动通信网络并根据诸如第3代(3G)、第3代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee之类的各种移动通信标准执行通信。
根据示例，生成指南的装置100的控制器101可以配置为检索关于路径的垂直轮廓的信息，生成表示路径的垂直轮廓的指南，并且将指南叠加在显示器上所显示的图像上。关于路径的垂直轮廓或地势的信息可以包括绘图信息、车辆移动信息、图像信息和传感器信息中的至少一种。生成指南的装置100的控制器101可以配置为显示车辆周围区域的图像、车辆后方区域的图像和车辆前方区域的图像中的至少一种的图像。
根据示例，生成指南的装置100的控制器101可以配置为通过生成地形轮廓、识别在车辆周围的指定位置处的地形轮廓的三维坐标、将三维坐标变换为图像像素坐标、将图像像素坐标与线条或形状关联、以及用后续的地形轮廓样本过滤该地形轮廓来生成表示路径的垂直轮廓的指南。
用后续样本过滤第一地形轮廓可以包括：生成第二地形轮廓；识别关于在车辆周围的指定位置处的第二地形轮廓的三维坐标；将第二地形轮廓的三维坐标变换为第二图像像素坐标；将第二图像像素坐标与线条或形状关联；以及用第二地形轮廓过滤第一地形轮廓。
生成指南的装置100的控制器101可以配置为通过将指南的三维坐标转换为所显示图像上的点而将指南叠加在显示器上所显示的图像上。表示路径的垂直轮廓的指南还可以基于从车辆转向或车辆移动接收的信息被动画或变换以表示车辆的行驶方向。从车辆转向或车辆移动接收的信息可以包括与车辆的转向角相对应的信息。
图2示出了根据示例性实施例的生成指南的方法的流程图。图2的方法可以由生成指南的装置100执行，或者可以作为可由计算机执行的指令编码到计算机可读介质中以执行该方法。
参考图2，在操作210中检索或接收关于路径的垂直轮廓或地势的信息。然后，在操作S220中，使用所检索的信息来生成表示路径的垂直轮廓或地势的指南。在操作S230中，将指南叠加在路径的图像上并显示在车辆中的显示器上。
图3示出了根据示例性实施例的一方面的可由所生成的指南表示的倾斜路径的图示。参考图3，图示301中车辆后方的路径向上倾斜。这种向上的垂直轮廓可以通过图6所示的指南来说明(见下文)。此外，图示302中的路径向下倾斜，并且这也可以通过所生成的指南来说明。
图4示出了根据示例性实施例的一方面的用于生成指南的相机参数的图示。参考图4，通过计算三维(3D)指南空间中的点集来生成指南。三维(3D)指南空间中的点集被转换为相机空间中的点集‘Xc’403和‘Yc’404。
用于生成指南的点的原点400是相机镜头的中心。基于从旋转参数401计算的矩阵‘R’和从偏移402确定的平移矢量‘t’执行变换。用于执行从指南空间中的点坐标pg到相机空间中的点坐标pc的转换的等式由等式(1)给出。
pc＝R*(pg-t) (等式1)
其中pc是相机空间中的坐标矩阵R是旋转矩阵，(pg–t)是车辆空间坐标(Xv,Yv,Zv)减去平移矢量(P0x,P0y,P0z)的矩阵接下来，使用失真模型计算失真多项式的自变量w，失真变量如下表1所示：
失真模型 失真变量
TANSQ w＝(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>)/Z<sub>c</sub><sup>2</sup>
TAN w＝sqrt((X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>)/Z<sub>c</sub><sup>2</sup>)
COSSQ w＝(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>)/(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>+Z<sub>c</sub><sup>2</sup>)
COS w＝sqrt((X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>)/(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>+Z<sub>c</sub><sup>2</sup>))
SINSQ w＝Z<sub>c</sub><sup>2</sup>/(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>+Z<sub>c</sub><sup>2</sup>)
SIN w＝sqrt(Z<sub>c</sub><sup>2</sup>/(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>+Z<sub>c</sub><sup>2</sup>))
ANGLE w＝cos<sup>-1</sup>(sqrt((X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>)/(X<sub>c</sub><sup>2</sup>+Y<sub>c</sub><sup>2</sup>+Z<sub>c</sub><sup>2</sup>)))
然后，基于从表1确定的失真变量，使用下面的等式2计算失真因子。
df＝K0+K1w+K2w2+K3w3+K4w4+K5w5(等式2)，
其中df是失真因子，K1-K5是失真系数，并且w是根据表1中的失真模型计算的失真变量。
然后，利用失真因子和相机空间中的坐标(Xc,Yc,Zc)基于以下等式3和4计算像素坐标：
u＝(df*Xc*Fu)/Zc+U0 (等式3)
v＝(df*Yc*Fv)/Zc+V0 (等式4)，
其中(u,v)是像素坐标，df是根据等式2计算的失真因子，Xc、Yc是根据等式1确定的相机空间中的坐标，Fu和Fv是相机的焦距，并且(U0,V0)是图像中心像素坐标。
图5示出了根据示例性实施例的一方面的用于生成指南的信息的流程图。
参考图5，算法504使用绘图信息501、车辆行驶历史502和/或来自传感器105的信息503来估计车辆周围区域的垂直轮廓或地势。然后，算法505使用车辆后方区域的垂直轮廓或地势来生成显示在显示器506上的指南。
图6示出了根据示例性实施例的一方面的基于路径的地势或垂直轮廓的生成指南的图示。
参考图6，示出了不反映垂直轮廓信息或地势信息的指南以及反映垂直轮廓或地势信息的指南的示例。第一图示601示出了不反映垂直轮廓信息的指南。具体地，第一图示601由于指南的二维特征不能使观察者确定地形是倾斜的还是平坦的。在对比示例中，图示602示出了三维(3D)指南空间中的点集。图示602中的点集反映了地形的3D性质或者地形的地形或垂直轮廓。此外，图示603示出了转换成反映地形的垂直轮廓或地势的动画指南的图示602的点集。
本文公开的过程、方法或算法可以由处理设备、控制器或计算机递送/实施，这些处理设备、控制器或计算机可以包括任何现有的可编程电子控制设备或专用电子控制设备。类似地，所述过程、方法或算法可以作为可由控制器或计算机执行的多种形式的数据和指令存储，这些形式包括但不限于永久地存储在诸如ROM设备之类的不可写存储介质上的信息和可变地存储在诸如软盘、磁带、CD、RAM设备和其他磁光介质之类的可写存储介质上的信息。所述过程、方法或算法也可以在软件可执行对象中实施。替代地，所述过程、方法或算法可以全部或部分地利用适当的硬件组件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或者其他硬件组件或设备)或者硬件、软件和固件组件的组合实现。
上面已经参考附图描述了一个或多个示例性实施例。上述示例性实施例应仅被认为是描述性的，而不是为了限制目的。此外，在不脱离由所附权利要求限定的发明构思的精神和范围的情况下，可以修改示例性实施例。

Claims (10)

1.一种在显示器上生成指南的装置，所述装置包括：
至少一个存储器，其包括计算机可执行指令；以及
至少一个处理器，其配置为读取和执行所述计算机可执行指令，所述计算机可执行指令使得所述至少一个处理器：
检索关于路径的垂直轮廓的信息；
生成表示所述路径的所述垂直轮廓的指南；以及
将所述指南叠加在显示器上所显示的图像上。
2.根据权利要求1所述的装置，进一步包括配置为捕获所述图像的相机，
其中，所述计算机可执行指令使得所述至少一个处理器显示车辆周围区域的图像、车辆后方区域的图像和车辆前方区域的图像中的至少一种的图像。
3.根据权利要求1所述的装置，其中，所述计算机可执行指令使得所述至少一个处理器从绘图信息、车辆移动信息、图像信息和传感器信息中的至少一种获得关于所述路径的所述垂直轮廓的信息。
4.根据权利要求3所述的装置，其中，所述计算机可执行指令使得所述至少一个处理器通过以下方式生成表示所述路径的所述垂直轮廓的指南：
生成地形轮廓；
识别关于车辆周围的指定位置处的所述地形轮廓的三维坐标；
将所述三维坐标变换为图像像素坐标；
将所述图像像素坐标与线条或形状关联；以及
用后续的地形轮廓样本过滤所述地形轮廓。
5.根据权利要求4所述的装置，其中，所述计算机可执行指令使得所述至少一个处理器通过将所述指南的三维坐标转换为所述图像上的点来控制将所述指南叠加在所述显示器上所显示的图像上。
6.根据权利要求1所述的装置，其中，显示器上所显示的图像包括车辆后方区域的图像。
7.根据权利要求1所述的装置，其中，表示所述路径的所述垂直轮廓的所述指南进一步表示车辆的行驶方向。
8.根据权利要求7所述的装置，其中，所述计算机可执行指令使得所述至少一个处理器获得与车辆的转向角相对应的信息以及基于与所述车辆的所述转向角相对应的信息生成表示所述车辆的所述行驶方向的指南。
9.根据权利要求8所述的装置，其中，关于所述路径的所述垂直轮廓的信息包括关于车辆先前穿过的路径的信息。
10.根据权利要求1所述的装置，进一步包括配置为检测所述路径的地势的传感器，
其中，所述计算机可执行指令使得所述至少一个处理器基于从所述传感器获得的地势信息生成表示所述路径的所述垂直轮廓的指南。
CN201811166928.1A 2017-10-09 2018-10-08 生成和显示指南的方法和装置 Pending CN109624849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201715727966A 2017-10-09 2017-10-09
US15/727966 2017-10-09

Publications (1)

Publication Number Publication Date
CN109624849A true CN109624849A (zh) 2019-04-16

Family

ID=65817057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811166928.1A Pending CN109624849A (zh) 2017-10-09 2018-10-08 生成和显示指南的方法和装置

Country Status (2)

Country Link
CN (1) CN109624849A (zh)
DE (1) DE102018124798A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672112B (zh) * 2019-09-29 2021-11-12 阿波罗智联(北京)科技有限公司 引导线切换方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039727A (ja) * 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
CN103535029A (zh) * 2011-06-13 2014-01-22 本田技研工业株式会社 驾驶辅助装置
CN104303211A (zh) * 2011-10-11 2015-01-21 戴姆勒股份公司 用于在车辆显示器上整合虚拟对象的方法
CN105539287A (zh) * 2014-10-28 2016-05-04 爱信精机株式会社 周边监视装置
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
US20180162408A1 (en) * 2015-05-10 2018-06-14 Mobileye Vision Technologies Ltd. Road profile along a predicted path

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039727A (ja) * 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
CN103535029A (zh) * 2011-06-13 2014-01-22 本田技研工业株式会社 驾驶辅助装置
CN104303211A (zh) * 2011-10-11 2015-01-21 戴姆勒股份公司 用于在车辆显示器上整合虚拟对象的方法
CN105539287A (zh) * 2014-10-28 2016-05-04 爱信精机株式会社 周边监视装置
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
US20180162408A1 (en) * 2015-05-10 2018-06-14 Mobileye Vision Technologies Ltd. Road profile along a predicted path
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆

Also Published As

Publication number Publication date
DE102018124798A1 (de) 2019-04-11

Similar Documents

Publication Publication Date Title
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
US10137833B2 (en) Vehicle control apparatus, vehicle driving assistance apparatus, mobile terminal and control method thereof
CN109094669A (zh) 用于评估铰接角度的方法和设备
US10332002B2 (en) Method and apparatus for providing trailer information
US11076141B2 (en) Image processing device, image processing method, and vehicle
CN110341597A (zh) 一种车载全景视频显示系统、方法及车载控制器
CN109086786B (zh) 对lidar数据进行分类以实现目标探测的方法和装置
CN109076163A (zh) 成像控制装置、成像控制方法以及成像装置
KR101691312B1 (ko) 주차지역 안내 방법 및 시스템
CN109313021A (zh) 成像控制装置和方法、以及车辆
CN108280524A (zh) 识别车辆和生成预约信息的系统和方法
US10282074B2 (en) Method and apparatus for enhancing top view image
US10704957B2 (en) Imaging device and imaging method
CN111046762A (zh) 一种对象定位方法、装置电子设备及存储介质
US20180220082A1 (en) Method and apparatus for augmenting rearview display
CN108372826A (zh) 用于扩增后视显示器的方法和设备
CN110115024B (zh) 图像处理装置、图像处理方法和程序
CN106131483A (zh) 一种基于虚拟现实的巡检方法及相关设备、系统
CN107800747A (zh) 一种乘客定位显示处理方法及装置
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2015070350A (ja) 監視画像提示システム
KR102304391B1 (ko) 차량 및 그 제어 방법
CN109624849A (zh) 生成和显示指南的方法和装置
CN109323674A (zh) 用于混合离地间隙确定的设备和方法
US20180272978A1 (en) Apparatus and method for occupant sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190416