CN108569298A - 用于增强俯视图图像的方法和装置 - Google Patents

用于增强俯视图图像的方法和装置 Download PDF

Info

Publication number
CN108569298A
CN108569298A CN201810174259.6A CN201810174259A CN108569298A CN 108569298 A CN108569298 A CN 108569298A CN 201810174259 A CN201810174259 A CN 201810174259A CN 108569298 A CN108569298 A CN 108569298A
Authority
CN
China
Prior art keywords
vehicle
vertical view
view image
trailer
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810174259.6A
Other languages
English (en)
Other versions
CN108569298B (zh
Inventor
M·穆拉德
A·阿卜杜勒-拉赫曼
S·P·哈里发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108569298A publication Critical patent/CN108569298A/zh
Application granted granted Critical
Publication of CN108569298B publication Critical patent/CN108569298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于增强车辆的俯视图图像的方法和装置。该方法包括确定车辆或拖车的轨迹；并且基于所确定的轨迹，执行缩放车辆或拖车的俯视图图像以及移动俯视图图像中的至少一个。该方法和装置可以提供车辆周围环境的更清晰视图(包括拖车挂在车辆上的情况)，以便更好地导航车辆。

Description

用于增强俯视图图像的方法和装置
技术领域
根据示例性实施例的装置和方法涉及显示车辆的俯视图图像。更具体而言，根据示例性实施例的装置和方法涉及增强车辆的俯视图图像。
发明内容
一个或多个示例性实施例提供了一种调整车辆的显示俯视图图像的方法和装置。更具体而言，一个或多个示例性实施例提供了一种基于车辆转向角度、存在拖车和相应的动态拖车挂钩角度中的一个或多个来放大、缩小和/或移动车辆的俯视图图像的方法和装置。
根据示例性实施例的方面，提供了一种用于增强车辆或拖车的俯视图图像的方法。该方法包括确定车辆或拖车的轨迹，并且基于所确定的轨迹执行缩放车辆或拖车的俯视图图像以及移动俯视图图像中的至少一个。
基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个，可以执行确定车辆或拖车的轨迹。
该方法可以进一步包括确定拖车是否挂到车辆上。
可以基于所确定的轨迹并且基于拖车是否挂到车辆上执行该执行缩放俯视图图像以及移动俯视图图像中的至少一个。
缩放俯视图图像可以包括响应于拖车挂到车辆上而缩小俯视图图像，并且响应于拖车从车辆脱开而放大俯视图图像。
移动俯视图图像可以包括响应于车辆或拖车的所确定的轨迹是向右轨迹而向右移动图像，并且响应于车辆或拖车的所确定的轨迹是向左轨迹而向左移动图像。
移动图像可以包括将图像向右移动基于向右轨迹确定的距离，并且将图像向左平移动基于向左轨迹确定的距离。
确定拖车是否挂到车辆上可以包括检测与拖车的连接或者接收指示拖车挂到车辆上的用户输入。
缩放俯视图图像可以包括响应于用户选择俯视图图像上的图标而放大或缩小俯视图图像。
该方法可以进一步包括从设置在车辆上的多个摄像机接收多个图像，转换多个图像以形成俯视图图像，并且显示俯视图图像。
根据另一个示例性实施例的方面，提供了一种用于增强车辆或拖车的俯视图图像的装置。该装置包括至少一个存储器，其包括计算机可执行指令；以及至少一个处理器，其被配置为读取并执行计算机可执行指令。计算机可执行指令使至少一个处理器：确定车辆的轨迹；并且基于所确定的轨迹执行放大车辆或拖车的俯视图图像以及移动俯视图图像中的至少一个。
计算机可执行指令可以使至少一个处理器基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个来确定车辆或拖车的轨迹。
计算机可执行指令可以使至少一个处理器确定拖车是否挂到车辆上。
计算机可执行指令可以使至少一个处理器基于所确定的轨迹并且基于拖车是否挂到车辆上来执行缩放俯视图图像和移动俯视图图像中的至少一个。
计算机可执行指令可以使至少一个处理器通过响应于拖车挂到车辆上而缩小俯视图图像并且响应于拖车从车辆脱开而放大俯视图图像来缩放俯视图图像。
计算机可执行指令可以进一步使至少一个处理器通过响应于车辆或拖车的所确定的轨迹是向右轨迹而向右移动图像并且响应于车辆或拖车的所确定的轨迹是向左轨迹而向左移动图像来移动俯视图图像。
计算机可执行指令可以进一步使至少一个处理器通过将图像向右移动基于向右轨迹所确定的距离并且将图像向左平移动基于向左轨迹所确定的距离来移动图像。
计算机可执行指令可以进一步使至少一个处理器通过检测与拖车的连接或者接收指示拖车挂到车辆上的用户输入来确定拖车是否挂到车辆上。
计算机可执行指令可以进一步使至少一个处理器通过响应于用户选择俯视图图像上的图标而放大或缩小俯视图图像来缩放俯视图图像。
该装置可以进一步包括设置在车辆上的多个摄像机。计算机可执行指令可以使至少一个处理器从设置在车辆上的多个摄像机接收多个图像，转换多个图像以形成车辆的俯视图图像，并且显示车辆或拖车的俯视图图像。
该装置可以进一步包括显示器，其被配置为显示车辆的俯视图图像。
从以下示例性实施例的详细描述和附图，示例性实施例的其它目的、优点和新颖特征将变得更加显而易见。
附图说明
图1示出了根据示例性实施例的增强车辆或拖车的俯视图图像的装置的框图；
图2示出了根据示例性实施例的增强车辆或拖车的俯视图图像的方法的流程图；
图3示出了根据示例性实施例的方面移动和缩放车辆或拖车的俯视图图像的示意图；并且
图4示出了根据示例性实施例的方面移动和缩放车辆或拖车的俯视图图像的示意图。
具体实施方式
现在将参照附图的图1至4详细描述增强车辆的俯视图图像的装置和方法，所有附图中相同的附图标记指代相同的元件。
以下公开内容将使得本领域技术人员能够实践本发明的构思。然而，本文所公开的示例性实施例仅仅是示例性的，而并非将本发明的构思限制于本文所描述的示例性实施例。而且，每个示例性实施例的特征或方面的描述通常应当理解为可用于其它示例性实施例的不同方面。
还应当理解的是，如本文所述的，第一元件“连接到”第二元件、“附接到”第二元件、“形成在”第二元件上或“设置在”第二元件上可以是第一元件可能直接连接到第二元件，直接形成或设置在第二元件上，除非另有说明第一元件“直接”连接到第二元件，附接到第二元件，形成在第二元件上或设置在第二元件上。此外，如果第一元件被配置为向或从第二元件“发送”或“接收”信息，则第一元件可以直接向或从第二元件发送或接收信息，通过总线发送或接收信息，通过网络发送或接收信息，或通过中间元件发送或接收信息，除非另有说明第一元件“直接”向或从第二元件发送或接收信息。
本发明中，所公开的一个或多个元件可以组合成单个装置或组合成一个或多个装置。此外，各个元件可以设置在单独的装置上。
车辆可以包括多个摄像机，其提供车辆周围区域的图像，包括存在于车辆周围的障碍物。这些图像可以用于向车辆的驾驶员提供车辆的俯视图图像。俯视图图像可以显示车辆周围的预定半径。然而，在一些情况下，车辆的一侧的放大视图会为车辆的驾驶员提供即将转弯或其它障碍物的更清晰的视野。此外，放大的半径或视图可以向车辆的驾驶员提供挂到车辆上的拖车的运动视图以及挂车周围区域的视图。
可以由车辆的驾驶员切换或根据一个或多个预定情况切换放大或增强的视图。一个或多个预定情况可以包括拖车是否挂到车辆上、车辆的行驶方向、车辆转向角度、挂车挂钩角度和/或关于车辆运动的其它信息。预定情况可以通过移动或缩放俯视图图像来切换放大或增强视图，以便提供车辆周围目标区域的更清晰的视图。然后可以在车辆内部的显示器上将放大或增强的视图图像显示给车辆的驾驶员。
图1示出了根据示例性实施例的增强车辆100的俯视图图像的装置(即，增强车辆和/或拖车100的俯视图图像的装置)的框图。如图1所示，根据示例性实施例，增强车辆100的俯视图图像的装置包括控制器101、电源102、存储装置103、输出104、环绕视角摄像机105、用户输入106、拖车检测器107和通信装置108。然而，增强车辆100的俯视图图像的装置并不限于上述配置，并且可以被配置为包括额外的元件和/或省略一个或多个前述元件。增强车辆100的俯视图图像的装置可以实施为车辆的一部分，实施为独立部件，实施为车载装置与非车载装置之间的混合系统，或实施在另一个计算设备中。
控制器101控制增强车辆100的俯视图图像的装置的整体操作和功能。控制器101可以控制增强车辆100的俯视图图像的装置的存储装置103、输出104，环绕视角摄像机105、用户输入106和通信装置108中的一个或多个。控制器101可以包括以下各项中的一个或多个：处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件部件的组合。
控制器101可以被配置为向和/或从该增强车辆100的俯视图图像的装置的存储器103、输出104，环绕视角摄像机105、用户输入106、拖车检测器107以及通信装置108中的一个或多个发送和/或接收信息。可以通过总线发送或接收信息，或者可以从/向该增强车辆100的俯视图图像的装置的存储器103、输出104，环绕视角摄像机105、用户输入106、拖车检测器107以及通信装置108中的一个或多个读取/写入信息。合适的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、局域互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11等无线网络以及其它合适的连接(如以太网)。
电源102向该增强车辆100的俯视图图像的装置的控制器101、存储器103、输出104、环绕视角摄像机105、用户输入106、拖车检测器107和通信装置108中的一个或多个提供电力。电源102可以包括以下各项中的一个或多个：电池、插座、电容器、太阳能电池、发电机、风能设备、交流发电机等。
存储器103被配置为用于存储信息并检索由该增强车辆100的俯视图图像的装置所使用的信息。存储器103可以由控制器101控制，用于存储并检索从环绕视角摄像机105接收的信息。该信息可以包括由环绕视角摄像机105得到的信息和/或一个或多个图像。此外，存储器103还可以计算机指令，其被配置为由处理器执行以执行该增强车辆100的俯视图图像的装置的功能。
存储器103可以包括以下各项中的一个或多个：软盘、光盘、CD-ROMs(光盘只读存储器)、磁光盘、ROMs(只读存储器)、RAMs(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其它类型的介质/机器可读介质。
输出104以一种或多种形式输出信息，该形式包括：视觉、听觉和/或触觉形式。输出104可以由控制器101控制，用于向该增强车辆100的俯视图图像的装置的用户提供输出。输出104可以包括以下各项中的一个或多个：扬声器、音频、显示器、位于中央的显示器，头盔平视显示器、挡风玻璃显示器、力反馈装置、振动装置、触觉反馈装置、点击反馈装置、全息显示器、仪表灯、仪表板显示器、中央仪表台显示器、后视镜显示器、侧视镜显示器、指示灯等。
根据一个示例，输出104可以是中央仪表台显示器、仪表板显示器或头盔平视显示器中的一个或多个。输出104可以被配置为输出来自环绕视角摄像机105的一个或多个图像。该图像可以经过处理或变换并拼接在一起以显示车辆及其周围区域的俯视图图像。输出104还可以显示车辆的图像或车辆的形状以及周围区域内的障碍物。此外，输出104还可以输出提示，包括光提示和显示提示中的一个或多个。
用户输入106被配置为向该增强车辆100的俯视图图像的装置提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括以下各项中的一个或多个：触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像机、触控板、鼠标、触摸板等。用户输入106可以被配置为接收用户输入，用于确认或解除由输出104所输出的提示。用户输入106还可以被配置为接收用户输入，以便在输出104的视图之间循环。例如，用户输入106可以被配置为接收输入，以便放大俯视图图像，缩小俯视图图像并移动俯视图图像。
环绕视角摄像机105可以是摄像机、红外摄像机、360度摄像机或夜视摄像机中的一个或多个。环绕视角摄像机可以包括一个或多个摄像机。在一个示例中，环绕视角摄像机还可以包括雷达或激光成像技术。根据一个示例，环绕视角摄像机105可以安装在车辆的车顶、后备箱、侧视镜、车门、保险杠、发动机罩、格栅或仪表板等上。为了提供车辆的俯视图图像，来自环绕视角摄像机105的图像被转换以实现裁剪、旋转、放大和拼接的目的。
拖车检测器107可以是一种检测存在挂到车辆上的拖车的装置。具体而言，拖车检测器107可以检测与拖车的电连接，或者可以根据由摄像机所拍摄的图像检测拖车，或者可以根据超声或雷达传感器检测拖车。
通信装置108可以由该增强车辆100的俯视图图像的装置使用，用于根据不同通信方法与各种不同类型的外部装置进行通信。通信装置108可以用于向/从环绕视角摄像机105发送/接收图像信息。此外，通信装置108可以将图像信息发送到输出104，用于输出到该增强车辆100的俯视图图像的装置的显示器上。
通信装置108可以包括各种通信模块，例如以下各项中的一个或多个：远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块。广播接收模块可以包括地面广播接收模块，其包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近的外部装置进行通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器区域网络(CAN)或外部网络等有线网络接收信息的模块。无线通信模块是使用诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议等无线通信协议连接到外部网络并与外部网络进行通信的模块。无线通信模块还可以包括移动通信模块，其访问移动通信网络并根据各种不同的移动通信标准进行通信，例如第三代(3G)通信标准、第三代合作伙伴计划(3GPP)通信标准、长期演进(LTE)通信标准、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee。
根据示例，增强车辆100的俯视图图像的装置的控制器101可以被配置为确定车辆的轨迹；并且基于所确定的轨迹执行放大车辆的俯视图图像以及移动车辆的俯视图图像中的至少一个。控制器101可以被配置为从设置在车辆上的多个摄像机接收多个图像，转换该多个图像以形成车辆的俯视图图像，并且显示车辆的俯视图图像。
根据示例，增强车辆100的俯视图图像的装置的控制器101可以被配置为基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个来确定车辆的轨迹。此外，控制器101可以被配置为确定拖车是否挂到车辆上。
增强车辆100的俯视图图像的装置的控制器101可以被配置为基于所确定的轨迹并且基于拖车是否挂到车辆上来放大车辆的俯视图图像、缩小车辆的俯视图图像和/或移动车辆的俯视图图像。控制器101可以通过减小车辆周围视图的半径来放大俯视图图像，并且可以通过增加车辆周围或车辆一侧视图的半径来缩小俯视图图像。例如，车辆的右侧和/或前侧的视图可以放大，而车辆的后侧和/或左侧的视图保持不变或减小。
在一个示例中，当拖车挂到车辆上时，控制器101可以缩小车辆的俯视图图像，当拖车与车辆脱开或者未挂到车辆上时，控制器101可以放大车辆的俯视图图像。在另一个示例中，控制器101可以被配置为如果所确定的车辆轨迹是向右轨迹，向右移动图像，并且如果所确定的车辆轨迹是向左轨迹，向左移动图像。在又另一个示例中，控制器101可以被配置为根据选择图标的用户输入或根据在显示器上做手势的用户输入，缩放或移动车辆的俯视图图像。
图2示出了根据一个示例性实施例的一种用于增强车辆和/或拖车的俯视图图像的方法的流程图。如图2的方法可以由增强车辆100的俯视图图像的装置来执行，或者可以被编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。
参照图2，在操作210中显示车辆及其周围环境的俯视图图像。俯视图图像也可以示出附接到车辆上的拖车。例如，可以通过将放置在车辆上的多个摄像机的多个图像变换并拼接在一起而生成俯视图图像。
在操作S220中，确定车辆和/或拖车的轨迹。例如，可以根据传感器数据确定轨迹，该传感器数据包括以下各项中的一个或多个：位置数据、地图数据、道路角度、车辆的转向角度、车辆的车轮角度、车辆的前进方向、拖车挂钩角度、车辆的速度以及车辆的路径。
在操作S220中，可以根据所确定的轨迹执行缩放车辆和/或拖车的俯视图图像或者移动车辆和/或拖车的俯视图图像。此外，可以对俯视图图像执行其它类型的增强，以便向车辆的驾驶员提供车辆周围环境的更清晰的视图。而且，可以根据其它情况(例如车辆外部障碍物的存在或位置)执行图像的增强，该图像的增强包括放大车辆和/或拖车的俯视图图像或者移动车辆和/或拖车的俯视图图像。
图3是根据一个示例性实施例的一个方面移动并缩放车辆和/或拖车的俯视图图像的示意图。图3的示意图示出了可以在显示器上显示俯视图图像。
参照图3，图像301-304是示出车辆305及其周围环境的俯视图的图像，包括车辆和/或拖车行驶的路径或道路的参考306。具体而言，图像301示出了俯视图图像的标准放大视图。图像302示出了缩小视图，其可以由车辆轨迹、拖车的存在、车辆附近障碍物的存在、拖车轨迹、用户输入或其它情况而引起。
此外，图3还示出了图像303，该图像中，响应于车辆和/或拖车的轨迹或者路径的轨迹是向左轨迹，将俯视图图像向左移动。同样，图像304示出了响应于车辆的轨迹或者路径的轨迹是向右轨迹，将俯视图图像向右移动。
图4是根据一个示例性实施例的一个方面移动和缩放车辆或拖车的俯视图图像的示意图。参照图4，第一图像401示出了固定视图，第二图像402示出了动态视图。这两幅图像都示出了车辆403和参考405。然而，第二图像402还示出了响应于检测到拖车404显示拖车404。此外，第二图像402可以通过根据车辆的轨迹、外部障碍物的存在、路径的轨迹和/或其它情况，移动、放大和/或缩小图像而动态改变。
本文所公开的过程、方法或算法可以传递给/由处理装置、控制器或计算机(可以包括任何现有的可编程电子控制装置或专用电子控制装置)实施。同样，过程、方法或算法可以作为可由控制器或计算机的数据和指令存储，该控制器或计算机有多种形式，包括但不限于永久存储在不可写存储介质(例如ROM装置)上的信息以及可变存储在可写存储器介质(例如软盘、磁带、CD、RAM装置和其它磁性和光学介质)上的信息。过程、方法或算法还可以在软件可执行对象中实施。或者，过程、方法或算法可以整体或部分地用合适的硬件部件来实施，例如专用集成电路(ASIC)，现场可编程门阵列(FPGA)，状态机，控制器或其它硬件部件或装置，或者硬件、软件和固件部件的组合。
以上参照附图描述了一个或多个示例性实施例。上述的示例性实施例应当被理解为仅是描述性的，而非限制的目的。而且，在不脱离由以下权利要求书限定的本发明构思的精神和范围的情况下，可以对这些示例性实施例进行修改。

Claims (10)

1.一种用于增强车辆或拖车的俯视图图像的装置，所述装置包括：
至少一个存储器，其包括计算机可执行指令；以及
至少一个处理器，其被配置为读取并执行所述计算机可执行指令，所述计算机可执行指令使所述至少一个处理器：
确定车辆的轨迹；并且
基于所确定的轨迹，执行缩放所述车辆或拖车的俯视图图像以及移动所述俯视图图像中的至少一个。
2.如权利要求1所述的装置，其中所述计算机可执行指令使所述至少一个处理器基于所述车辆的转向角度、所述车辆的车轮角度、拖车挂钩角度、所述车辆的前进方向、所述车辆的速度和所述车辆的路径中的至少一个，确定所述车辆或拖车的所述轨迹。
3.如权利要求2所述的装置，其中所述计算机可执行指令使所述至少一个处理器确定拖车是否挂到所述车辆上。
4.如权利要求3所述的装置，其中所述计算机可执行指令使所述至少一个处理器基于所确定的轨迹并且基于所述拖车是否挂到所述车辆上，执行缩放所述俯视图图像和移动所述俯视图图像中的至少一个。
5.如权利要求4所述的装置，其中所述计算机可执行指令使所述至少一个处理器通过响应于所述拖车挂到所述车辆上而缩小所述俯视图图像并且响应于所述拖车从所述车辆脱开而放大所述俯视图图像来缩放所述俯视图图像。
6.如权利要求5所述的装置，其中所述计算机可执行指令使所述至少一个处理器通过响应于所述车辆或拖车的所确定的轨迹是向右轨迹而向右移动图像并且响应于所述车辆或拖车的所确定的轨迹是向左轨迹而向左移动图像来移动所述俯视图图像。
7.如权利要求6所述的装置，其中所述计算机可执行指令进一步使所述至少一个处理器通过将所述图像向右移动基于所述向右轨迹确定的距离并且将所述图像向左平移动基于所述向左轨迹确定的距离来移动所述图像。
8.如权利要求1所述的装置，其中所述计算机可执行指令进一步使所述至少一个处理器通过检测与所述拖车的连接或者接收指示所述拖车挂到所述车辆上的用户输入来确定所述拖车是否挂到所述车辆上，并且
其中所述计算机可执行指令进一步使所述至少一个处理器通过响应于用户选择所述俯视图图像上的图标而放大或缩小所述俯视图图像来缩放所述俯视图图像。
9.如权利要求1所述的装置，进一步包括多个摄像机，其设置在所述车辆上，
其中所述计算机可执行指令使所述至少一个处理器从设置在车辆上的多个摄像机接收多个图像，转换所述多个图像以形成所述车辆的所述俯视图图像，并且显示所述车辆或拖车的所述俯视图图像。
10.如权利要求1所述的装置，进一步包括显示器，其被配置为显示所述车辆的所述俯视图图像。
CN201810174259.6A 2017-03-10 2018-03-02 用于增强俯视图图像的方法和装置 Active CN108569298B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/455,371 US10282074B2 (en) 2017-03-10 2017-03-10 Method and apparatus for enhancing top view image
US15/455371 2017-03-10

Publications (2)

Publication Number Publication Date
CN108569298A true CN108569298A (zh) 2018-09-25
CN108569298B CN108569298B (zh) 2021-04-09

Family

ID=63259219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174259.6A Active CN108569298B (zh) 2017-03-10 2018-03-02 用于增强俯视图图像的方法和装置

Country Status (3)

Country Link
US (1) US10282074B2 (zh)
CN (1) CN108569298B (zh)
DE (1) DE102018105237A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6572862B2 (ja) 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
WO2020004593A1 (ja) * 2018-06-28 2020-01-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ生成装置およびデータ生成方法
CN109703466B (zh) * 2019-01-03 2022-04-12 京东方科技集团股份有限公司 抬头显示装置、驱动方法、车辆及电子设备
US11964659B2 (en) 2020-06-03 2024-04-23 GM Global Technology Operations LLC System and method for determining a hitch angle for controlling a vehicle with active rear steering
US12105222B2 (en) * 2020-11-23 2024-10-01 Harman International Industries, Incorporated Systems and methods for reducing cognitive workload and energy consumption by a sensor utilized on a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006055908A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
CN101998041A (zh) * 2009-08-20 2011-03-30 索尼公司 成像设备、控制该成像设备的方法和计算机程序
CN102059978A (zh) * 2009-11-16 2011-05-18 财团法人工业技术研究院 驾驶辅助方法与系统
CN102442311A (zh) * 2010-10-06 2012-05-09 罗伯特·博世有限公司 确定与车辆周边环境有关的编辑的图像数据的方法和设备
US20140362231A1 (en) * 2013-06-06 2014-12-11 Kustom Signals, Inc. Traffic enforcement system with time tracking and integrated video capture
US20160311273A1 (en) * 2015-04-24 2016-10-27 Phillip George Zaroor Systems and methods for monitoring tire pressure

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228700B2 (en) * 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006055908A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
CN101998041A (zh) * 2009-08-20 2011-03-30 索尼公司 成像设备、控制该成像设备的方法和计算机程序
CN102059978A (zh) * 2009-11-16 2011-05-18 财团法人工业技术研究院 驾驶辅助方法与系统
CN102442311A (zh) * 2010-10-06 2012-05-09 罗伯特·博世有限公司 确定与车辆周边环境有关的编辑的图像数据的方法和设备
US20140362231A1 (en) * 2013-06-06 2014-12-11 Kustom Signals, Inc. Traffic enforcement system with time tracking and integrated video capture
US20160311273A1 (en) * 2015-04-24 2016-10-27 Phillip George Zaroor Systems and methods for monitoring tire pressure

Also Published As

Publication number Publication date
US20180260103A1 (en) 2018-09-13
DE102018105237A1 (de) 2018-09-13
CN108569298B (zh) 2021-04-09
US10282074B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
CN108569298A (zh) 用于增强俯视图图像的方法和装置
US10229654B2 (en) Vehicle and method for controlling the vehicle
KR102309316B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN109937568B (zh) 图像处理装置和图像处理方法
US11158076B2 (en) Imaging control device and method, and vehicle
JP4556742B2 (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
US10086763B2 (en) System and method for enhancing vehicle environment perception
KR101562589B1 (ko) 영상 표시 장치 및 그 방법
CN108933936B (zh) 用于摄像头校准的方法和装置
US20180217255A1 (en) Radar for vehicle and vehicle provided therewith
US10704957B2 (en) Imaging device and imaging method
CN110177723A (zh) 用于提供周围视野的装置
US20200322585A1 (en) Image processing device, image processing method, and vehicle
CN108372826A (zh) 用于扩增后视显示器的方法和设备
US11056518B2 (en) Imaging apparatus and imaging method
JP5991648B2 (ja) 車両用表示制御装置
KR102288950B1 (ko) 차량 및 그 제어 방법
US10099616B2 (en) Vehicle and method for controlling the vehicle
CN109693613B (zh) 生成可牵引物体的定位指示符的方法和设备
US11671700B2 (en) Operation control device, imaging device, and operation control method
KR20130009119A (ko) 경보 발생 장치 및 그 방법
US20190122382A1 (en) Method and apparatus that display view alert
CN108399371A (zh) 用于调整前视图像的方法和设备
JP2021033944A (ja) 通信装置、通信方法及びプログラム
CN109624849A (zh) 生成和显示指南的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant