CN108372826A - 用于扩增后视显示器的方法和设备 - Google Patents

用于扩增后视显示器的方法和设备 Download PDF

Info

Publication number
CN108372826A
CN108372826A CN201810062525.6A CN201810062525A CN108372826A CN 108372826 A CN108372826 A CN 108372826A CN 201810062525 A CN201810062525 A CN 201810062525A CN 108372826 A CN108372826 A CN 108372826A
Authority
CN
China
Prior art keywords
image
camera
vehicle
rearview
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810062525.6A
Other languages
English (en)
Inventor
A·路易斯
M·纳斯里安
M·小查内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108372826A publication Critical patent/CN108372826A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Abstract

提供一种用于扩增后视显示器的方法和设备。该方法包括：检测用于扩增后视显示器的条件；以及响应于检测用于扩增后视显示器的条件，接收来自面向车辆后面第一区域的第一照相机的第一图像并且将所接收的第一图像显示在后视显示器上。该方法可用于扩增后视显示器，从而当后视显示器上显示的视野被阻挡时，提供未阻挡的视野。

Description

用于扩增后视显示器的方法和设备
引言
根据示例性实施例的设备和方法涉及后视显示器。更具体地说，根据示例性实施例的设备和方法涉及扩增后视显示器。
发明内容
一个或多个示例性实施例提供一种利用来自后置照相机的图像来扩增后视显示器的方法和设备。更具体地说，一个或多个示例性实施例提供一种扩增后视显示器的方法和设备，其利用来自第二照相机的未阻挡视野来提供来自第一照相机的阻挡视野。
根据示例性实施例的一方面，提供一种用于扩增后视显示器的方法。该方法包括：检测用于扩增后视显示器的条件；以及响应于检测用于扩增后视显示器的条件，接收来自面向车辆后面第一区域的第一照相机的第一图像并且将所接收的第一图像显示在后视显示器上。
检测用于扩增后视显示器的条件可包括：检测车辆的尾门是否闭合，并且响应于检测到车辆的尾门闭合，检测对扩增后视显示器的选项的用户选择。
检测用于扩增后视显示器的条件可包括：检测车辆的尾门是否闭合，并且响应于检测到车辆的尾门闭合而执行边缘检测算法，以在从面向车辆后面第二区域的第二照相机接收的第二图像中检测尾门和车板的边缘；以及确定尾门和车板的边缘中被遮挡的一部分是否大于基于边缘检测算法的预定校准数值。
在后视显示器上显示所接收的第一图像可包括：确定是否需要显示被遮挡的部分；确定被遮挡并且需要被显示的部分的位置；确定被遮挡并且需要被显示的部分的尺寸；确定第一图像的与第二图像中被遮挡的部分相对应的部分；以及裁剪第一图像的与第二图像中被遮挡的部分相对应的部分并将其叠加到第二图像中被遮挡的部分上。
在后视显示器上显示所接收的第一图像可包括裁剪所接收的第一图像并将其叠加到后视显示器上。
后视显示器可以是后视镜，且在后视显示器上显示所接收的第一图像可包括裁剪所接收的第一图像并将其叠加到后视镜的至少一部分上。
后视显示器可以是中心堆叠显示器，且在后视显示器上显示所接收的第一图像可包括裁剪所接收的第一图像并将其叠加到中心堆叠显示器的至少一部分上。
第一照相机可包括位于车辆的尾门或后备箱上的后视支持照相机。
后视显示器可显示由中央高位安装的刹车灯照相机获取的图像，且在后视显示器上显示所接收的第一图像包括裁剪所接收的第一图像并将其叠加到由中央高位安装的刹车灯照相机所获取图像的至少一部分上。
根据另一示例性实施例的一方面，提供一种用于扩增后视显示器的设备。该设备包括：至少一个存储器，该至少一个存储器包括计算机可执行指令；以及至少一个处理器，该至少一个处理器配置成读取并执行计算机可执行指令。计算机可执行指令致使至少一个处理器：检测用于扩增后视显示器的条件；以及响应于检测用于扩增后视显示器的条件，接收来自面向车辆后面第一区域的第一照相机的第一图像并且进行控制以将所接收的第一图像显示在后视显示器上。
计算机可执行指令可进一步致使至少一个处理器来通过如下检测用于扩增后视显示器的条件：检测车辆的尾门是否闭合；以及响应于检测到车辆的尾门闭合，检测对于扩增后视显示器的选项的用户选择。
计算机可执行指令可致使至少一个处理器通过如下检测用于扩增后视显示器的条件：检测车辆的尾门是否闭合，并且响应于检测到车辆的尾门闭合而执行边缘检测算法，以在从面向车辆后面第二区域的第二照相机接收的第二图像中检测尾门和车板的边缘；以及确定尾门和车板的边缘中被遮挡的一部分是否大于基于边缘检测算法的预定校准数值。
计算机可执行指令可致使至少一个处理器来控制以通过如下在后视显示器上显示所接收的第一图像：确定是否需要显示被遮挡的部分；确定被遮挡并且需要被显示的部分的位置；确定被遮挡并且需要被显示的部分的尺寸；确定所接收的第一图像的与第二图像中被遮挡的部分相对应的部分；以及裁剪第一图像的与第二图像中被遮挡的部分相对应的部分并将其叠加到第二图像中被遮挡的部分上。
该设备可进一步包括后视显示器，该后视显示器包括后视镜、中心堆叠显示器、仪表板显示器以及平视显示器的至少一个。
计算机可执行指令可致使至少一个处理器来控制，以通过裁剪所接收的第一图像并将其叠加到后视显示器上而在后视显示器上显示所接收的第一图像。
该设备可进一步包括第一照相机，该第一照相机位于车辆的后部分上，且该第一照相机可以是位于车辆的尾门或后备箱上的后视支持照相机。
该设备可进一步包括中央高位安装的刹车灯照相机，且计算机可执行指令致使至少一个处理器控制后视显示器，来显示由中央高位安装的刹车灯照相机获取的图像。
计算机可执行指令致使至少一个处理器来控制，以通过裁剪所接收的图像并将其叠加到由中央高位安装的刹车灯照相机所获取的图像的至少一部分而在后视显示器上显示所接收的第一图像。
根据另一示例性实施例的一方面，提供非瞬态计算机可读介质，该非瞬态计算机可读介质包括可由处理器执行的计算机可执行指令以执行用于扩增车辆的后视显示器的方法。该方法包括：检测由中央高位安装的刹车灯照相机获取的第一图像中的障碍物；响应于检测到障碍物，接收来自位于车辆的后部分上的第二照相机的第二图像；以及在后视显示器上替代第一图像的一部分而显示第二图像的至少一部分。
从示例性实施例的以下详细描述和附图中，示例性实施例的其它目的、优点以及新颖特征会变得更为显而易见。
附图说明
图1示出根据示例性实施例的扩增后视显示器的设备的框图；
图2示出根据示例性实施例的扩增后视显示器的方法的流程图；
图3示出根据另一示例性实施例的扩增后视显示器的方法的流程图；
图4示出根据示例性实施例的一方面的后置照相机及其视域的说明；以及
图5示出根据示例性实施例的一方面的后置照相机的各个视野的说明。
具体实施方式
现将详细地参照附图中的图1至5来描述扩增后视显示器的设备和方法，其中，类似的附图标记指代全文中类似的元件。
下文的内容会使得本领域技术人员能实践本发明的概念。然而，这里公开的示例性实施例仅仅是示例性的并且并不将本发明的概念限制为这里描述的示例性实施例。此外，每个示例性实施例的特征或方面的描述应通常被认为可用于其它示例性实施例的各方面。
还应理解的是，这里陈述的是，第一元件“连接于”、“附连于”第二元件、“形成在”或“设置在”第二元件上，该第一元件可直接地连接于第二元件、直接地形成在或直接地设置在第二元件上或者在第一元件和第二元件之间可存在中介元，除了陈述为第一元件“直接地”连接于、附连于第二元件、形成在或设置在第二元件上。此外，如果第一元件配置成“发送”或“接收”来自第二元件的信息，该第一元件可直接地向第二元件发送信息或接收来自第二元件的信息，经由总线发送或接收信息，经由网络发送或接收信息，或者经由中间元件发送或接收信息，除非第一元件指示为“直接地”向第二元件发送信息或者接收来自第二元件的信息。
在本发明全文中，所公开的一个或多个元件可组合到单个装置或组合到一个或多个装置中。此外，各个元件可设置在单个装置上。
诸如卡车的车辆可包括后视镜和后视照相机，从而为操作者提供车辆后面区域的视野。此外，车辆可包括显示器，该显示器输出由面向车辆后面区域的照相机提供的图像。显示器的示例可包括中心堆叠显示器、侧视镜显示器或后视镜显示器，其输出由面向视野后面的区域或者诸如车辆车板的车辆后方中区域的照相机所提供的图像。
后视照相机的一个示例可以是位于车辆的尾门、后备箱或保险杠上的后视支持照相机。后视照相机的另一示例是安装在皮卡车的车厢的顶部附近的中央高位安装的刹车灯照相机(CHMSL)。除了车辆后面的区域的视野以外，CHMSL为操作者提供卡车车板的视野。然而，CHMSL可能出现的一个问题在于，其视域可能被尾门或者被皮卡车的车板中的货物阻挡或遮挡。
为了解决上述阻挡问题，附加的照相机可安装在车辆的后方，从而为操作者提供附加的视野。然而，循环穿过来自不同照相机的视野对于车辆的操作者可能并不便利，尤其是如果车辆正逆向行驶的话。因此，利用来自附加照相机的未阻挡视野来扩增经阻挡视野的显示器可为操作者提供对经阻挡视野的问题的便利解决方案，而无需车辆操作者的附加输入或工作。
图1示出根据示例性实施例的扩增后视显示器的设备100的框图。如图1中所示，根据示例性实施例的扩增后视显示器的设备100包括控制器101、电源102、存储器103、输出104、第一后视照相机105、用户输入106、第二后视照相机107以及通信装置108。然而，扩增后视显示器的设备100并不局限于前述配置并且可配置成包括附加的元件和/或省略前述元件的一个或多个。扩增后视显示器的设备100可实施为车辆的一部分，作为独立部件、作为车辆和车辆外装置之间的混合件或者位于另一计算装置中。
控制器101控制扩增后视显示器的设备100的总体操作和功能。控制器101可控制扩增后视显示器的设备100的存储器103、输出104、第一后视照相机105、用户输入106、第二后视照相机107以及通信装置108的一个或多个。控制器101可包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件部件的组合的一个或多个。
控制器101可配置成发送和/或接收来自扩增后视显示器的设备100的存储器103、输出104、第一后视照相机105、用户输入106、第二后视照相机107以及通信装置108的一个或多个的信息。信息可经由总线或网络发送和接收，或者可从扩增后视显示器的设备100的存储器103、输出104、用户输入106、第二后视照相机107以及通信装置108的一个或多个读取或向其写入。合适网络连接的示例包括控制器局域网(CAN)、面向媒体的系统转移(MOST)、本地互联网络(LIN)、本地局域网(LAN)、诸如蓝牙和802.11的无线网络以及诸如以太网的其它合适连接。
电源102向扩增后视显示器的设备100的控制器101、存储器103、输出104、第一后视照相机105、用户输入106、第二后视照相机107以及通信装置108的一个或多个提供电力。电源102可包括电池、出口、电容器、太阳能电池、发电机、风能装置、交流发电机等的一个或多个。
存储器103配置成用于存储信息并且检索由扩增后视显示器的设备100使用的信息。存储器103可由控制器101控制，以存储从第二后视照相机107或第一后视照相机105接收的信息并且检索所存储的信息。该信息可包括由第二后视照相机107获取的一个或多个图像上的信息和/或由第一后视照相机105获取的一个或多个图像上的信息。此外，存储器103还可包括计算机指令，这些计算机指令配置成由处理器执行，以执行扩增后视显示器的设备100的功能。
存储器103可包括软盘、光盘、CD-ROM(压缩盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机访问存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪存存储器、高速缓存存储器、以及适合于存储机器可执行指令的其它类型的介质/机器可读介质的一个或多个。
输出104输出包括视觉、听觉和/或触觉形式的一个或多个形式的信息。输出104可由控制器101控制，以向扩增后视显示器的设备100的用户提供输出。输出104可包括扬声器、音频、显示器、位于中央的显示器、平视显示器、挡风玻璃显示器、触觉反馈装置、振动装置、触感反馈装置、点击反馈装置、全息显示器、仪器灯、仪表板显示器、中心堆叠显示器、后视镜显示器、侧视镜显示器、指示器灯等的一个或多个。
根据一个示例，输出104可以是中心堆叠显示器、侧视镜显示器或后视镜显示器的一个或多个。输出104可配置成输出来自第一后视照相机105的图像、来自第二后视照相机107的图像或者通过组合来自第一后视照相机105和第二后视照相机107的图像所产生的扩增图像。此外，输出104可输出通知，包括听觉通知、灯光通知和显示通知的一个或多个。通知可包括阻挡第一后视照相机105或第二后视照相机的视野的信息。
用户输入106配置成向扩增后视显示器的设备100提供信息和指令。用户输入106可用于向控制器101提供用户输入等。用户输入106可包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、照相机、跟踪板、鼠标、触摸垫的一个或多个。用户输入106可配置成接收用户输入，以了解或驳回由输出104输出的通知。用户输入106也可配置成接收用户输入，以在输出104的显示器模式之间循环。例如，用户输入106可配置成选择来自第一后视照相机105的图像、来自第二后视照相机107的图像或者通过组合来自第一后视照相机105和第二后视照相机107的图像所产生的扩增图像，以输出到输出104、例如后视显示器上。
第一后视照相机105和第二后视照相机107可以是来自后置照相机、照相机、红外照相机或夜视照相机的一个或多个。根据一示例，第一后视照相机105可以是安装在车辆的尾门、后备箱或保险杠上的后视照相机，且第二后视照相机107可以是安装在卡车车厢上的CHMSL，或反之亦然。可分析来自第二后视照相机107或第一后视照相机105的图像，以确定它们是否受阻挡。根据一示例，可裁剪来自第一后视照相机的图像并将其叠加到由中央高位安装的刹车灯照相机获取的图像的至少一部分上。
通信装置108可由扩增后视显示器的设备100使用，以根据各种通信方法与各种类型的外部设备通信。通信装置108可用于发送图像信息/接收来自第一后视照相机105和第二后视照相机107的图像信息。此外，通信装置108可将图像信息发送至输出104，以输出在扩增后视显示器的设备100的显示器上。
通信装置108可包括各种通信模块，例如远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块的一个或多个。广播接收模块可包括地面广播接收模块，该地面广播接收模块包括用来接收地面广播信号的天线、解调器和均衡器等等。NFC模块是根据NFC方法与位于附近距离处的外部设备通信的模块。GPS接收器是接收来自GPS卫星的GPS信号并且检测当前位置的模块。该有线通信模块可以是经由诸如局域网、控制器区域网络(CAN)或外部网络的有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议连接于外部网络并且与外部网络通信的模块。该无线通信模块可进一步包括移动通信模块，该移动通信模块访问移动通信网络并且根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee的各种移动通信标准来执行通信。
根据一示例，扩增后视显示器的设备100的控制器101可配置成检测用于扩增后视显示器的条件；以及响应于检测用于扩增后视显示器的条件，接收来自面向车辆后面第一区域的第一照相机的第一图像并且控制以将所接收的第一图像显示在后视显示器上。
根据一示例，扩增后视显示器的设备100的控制器101可配置成通过检测车辆的尾门是否闭合来检测用于扩增后视显示器的条件，并且响应于检测到车辆的尾门闭合来检测对于扩增后视显示器的选项的用户选择。
根据另一示例，响应于检测到车辆的尾门闭合，扩增后视显示器的设备100的控制器101可配置成执行边缘检测算法，以在从面向车辆后面第二区域的第二照相机接收的第二图像中检测尾门和车板的边缘；以及确定尾门和车板的边缘中被遮挡的一部分是否大于基于边缘检测算法的预定校准数值。
扩增后视显示器的设备100的控制器101可配置成控制，以通过确定是否需要显示被遮挡的部分、确定被遮挡并且需要被显示的部分的位置、确定被遮挡并且需要被显示的部分的尺寸、确定所接收的第一图像的与第二图像中被遮挡的部分相对应的部分而在后视显示器上显示所接收的第一图像；以及裁剪第一图像的与第二图像中被遮挡的部分相对应的部分并将其叠加到第二图像中被遮挡的部分上。
扩增后视显示器的设备100的控制器101可配置成通过在从后视照相机接收的图像上执行图像分析来确定车辆车板的门是否处于闭合位置中。后视照相机可捕获包括车辆车板的水平视域和车辆车板的挂钩的图像。
图2示出根据示例性实施例的扩增后视显示器的方法的流程图。图2所示的方法可由扩增后视显示器的设备100执行或者可作为指令编码到计算机可读介质中，这些指令能由计算机执行以执行该方法。
参照图2，在操作210中持续地检查用于扩增后视显示器的条件，且操作S210为否。例如，条件可以是其中一个后视照相机起作用，由照相机提供的图像被阻挡，对于扩增显示器的选项的用户选择，或者对使得车辆逆向移动的档位选择。如果在操作S210中检测扩增后视显示器的条件为是的话，在操作S220中接收来自面向车辆后面区域并且位于车辆的后部分上的照相机的第一图像。然后，在操作S230中，通过扩增后视显示器以将第一图像显示在来自诸如第二后置照相机的另一照相机的图像之上，将所接收的图像显示在后视显示器上。
图3示出根据另一示例性实施例的扩增后视显示器的方法的流程图。图3所示的方法可由扩增后视显示器的设备100执行或者可作为指令编码到计算机可读介质中，这些指令能由计算机执行以执行该方法。
参照图3，在操作S310中持续地检查由中央高位安装的刹车灯照相机获取的第一图像中的障碍物，并且S310中是否。如果存在障碍物(操作S310为是)，在操作S320中接收并处理来自面向车辆后面区域并且位于车辆的后部分上的第二照相机的第二图像。接下来，在操作S330中，替代第一图像的被阻挡的一部分，将第二图像的一部分显示在后视显示器上。第一图像的被替代的部分可以是与图4中视域被阻挡的部分403相对应的部分。如图4中所示，第二图像的替代第一图像的被阻挡部分的部分可与由照相机404所捕获的重捕获视域405相对应。
图4示出根据示例性实施例的一方面的后置照相机及其视域的说明。参照图4，CHMSL401在卡车车厢的顶部附近安装在刹车灯组件上。此外，低位安装的后视照相机402安装在卡车的尾门上。然而，后置照相机并不局限于安装在两个前述位置中，并且可安装在其它位置中，以面向车辆后面的区域或者面向围绕车辆的其它区域。
此外，CHMSL照相机401的视域示作403，且低位安装的后视照相机402的视域示作404。来自照相机的组合图像可用于显示示作重捕获视域405的更宽的重捕获视域。
图5示出根据示例性实施例的一方面的后置照相机的各个视野的说明。参照图5，未阻挡的CHMSL照相机图像的示例在501中示出，且来自后视低位安装的照相机的未阻挡图像在502中示出。如图503中所示，如果来自CHMSL照相机的图像变得被车辆车板中的货物阻挡，则车辆的操作者不再能够看到车辆后面的东西。因此，替代被阻挡的图像503显示扩增图像504。扩增图像504包括图像503并且经扩增，以使得替代图像503的一部分来显示图像502的一部分。换言之，图像502和503组合以显示在车辆显示器上，从而为车辆操作者提供对车辆后面区域的更佳视野。
这里公开的过程、方法或算法能输送至处理装置、控制器或计算机/由处理装置、控制器或计算机实施，该处理装置、控制器或计算机可包括任何现有的可编程电子控制装置或者专用电子控制装置。类似地，过程、方法或算法能以许多形式存储为可由控制器或计算机执行的数据和指令，这些形式包括但不限于永久地存储在诸如ROM装置的不可写存储介质上的信息和可变地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质的可写入存储介质上的信息。这些过程、方法或算法也可在软件可执行对象中实施。替代地，这些过程、方法或算法能整体地或部分地使用合适的硬件部件来体现，这些硬件部件例如是专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置或者硬件、软件和固件部件的组合。
上文参照附图描述了一个或多个示例性实施例。上文描述的示例性实施例仅仅应以描述性的意义来考虑而并不用于限制的目的。此外，可修改示例性实施例，而不会偏离本发明概念的由以下权利要求所限定的精神和范围。

Claims (10)

1.一种用于扩增后视显示器的设备，所述设备包括：
至少一个存储器，所述至少一个存储器包括计算机可执行指令；以及
至少一个处理器，所述至少一个处理器配置成读取并执行所述计算机可执行指令，且所述计算机可执行指令致使所述至少一个处理器：
检测用于扩增后视显示器的条件；以及
响应于检测用于扩增所述后视显示器的条件，接收来自面向车辆后面第一区域的第一照相机的第一图像并且控制以将所接收的第一图像显示在所述后视显示器上。
2.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下来检测用于扩增后视显示器的条件：
检测所述车辆的尾门是否闭合；
以及响应于检测到所述车辆的尾门闭合，检测对于扩增所述后视显示器的选项的用户选择。
3.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下来检测用于扩增后视显示器的条件：
检测所述车辆的尾门是否闭合；以及
响应于检测到所述车辆的尾门闭合，
执行边缘检测算法，以在从面向所述车辆后面第二区域的第二照相机所接收的第二图像中检测尾门和车板的边缘；以及
确定所述尾门和所述车板的边缘中被遮挡的一部分是否大于基于所述边缘检测算法的预定校准数值。
4.根据权利要求3所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器进行控制，以通过如下在所述后视显示器上显示所述所接收的第一图像：
确定是否需要显示被遮挡的部分；
确定被遮挡并且需要被显示的部分的位置；
确定被遮挡并且需要被显示的部分的尺寸；
确定所述所接收的第一图像的与所述第二图像中被遮挡的部分相对应的部分；以及
裁剪所述第一图像的与所述第二图像中被遮挡的部分相对应的部分并将其叠加到所述第二图像中被遮挡的部分上。
5.根据权利要求1所述的设备，进一步包括后视显示器，所述后视显示器包括后视镜、中心堆叠显示器、仪表板显示器以及平视显示器的至少一个。
6.根据权利要求5所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器进行控制，以通过裁剪所述所接收的第一图像并将其叠加在所述后视显示器上而在所述后视显示器上显示所述所接收的第一图像。
7.根据权利要求1所述的设备，进一步包括第一照相机，所述第一照相机位于所述车辆的后部分上，
其中，所述第一照相机包括位于所述车辆的尾门或后备箱上的后视支持照相机。
8.根据权利要求1所述的设备，进一步包括中央高位安装的刹车灯照相机，
其中，所述计算机可执行指令致使所述至少一个处理器来控制所述后视显示器，以显示由所述中央高位安装的刹车灯照相机所获取的图像。
9.根据权利要求8所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器来控制，以通过裁剪所述所接收的第一图像并将其叠加在由所述中央高位安装的刹车灯照相机获取的图像的至少一部分上而在所述后视显示器上显示所述所接收的第一图像。
10.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括可由处理器执行的计算机可执行指令，以执行用于扩增车辆的后视显示器的方法，所述方法包括：
检测由中央高位安装的刹车灯照相机获取的第一图像中的障碍物；
响应于检测到所述障碍物，接收来自位于所述车辆的后部分上的第二照相机的第二图像；以及
在所述后视显示器上替代所述第一图像的一部分而显示所述第二图像的至少一部分。
CN201810062525.6A 2017-01-30 2018-01-23 用于扩增后视显示器的方法和设备 Pending CN108372826A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/419,235 US20180220081A1 (en) 2017-01-30 2017-01-30 Method and apparatus for augmenting rearview display
US15/419235 2017-01-30

Publications (1)

Publication Number Publication Date
CN108372826A true CN108372826A (zh) 2018-08-07

Family

ID=62843127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810062525.6A Pending CN108372826A (zh) 2017-01-30 2018-01-23 用于扩增后视显示器的方法和设备

Country Status (3)

Country Link
US (1) US20180220081A1 (zh)
CN (1) CN108372826A (zh)
DE (1) DE102018101592A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
WO2018214093A1 (zh) 2017-05-25 2018-11-29 深圳市大疆创新科技有限公司 一种跟踪方法及装置
US20190299878A1 (en) * 2018-03-30 2019-10-03 AISIN Technical Center of America, Inc. Rear view camera system
US10857941B2 (en) * 2019-01-28 2020-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. E-mirror automatic position adjustment system
CN113615151A (zh) * 2019-03-26 2021-11-05 索尼半导体解决方案公司 车辆安装的照相机装置和图像失真校正方法
EP3969327A1 (en) 2019-05-15 2022-03-23 Continental Automotive Systems, Inc. Rear-view camera for pick-up trucks with open tailgates
JP7279566B2 (ja) 2019-07-26 2023-05-23 トヨタ自動車株式会社 車両用電子ミラーシステム
DE102019135192A1 (de) * 2019-12-19 2021-06-24 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Zustands einer Heckklappe eines Pritschenfahrzeugs durch Auswertung einer Region von Interesse, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem
CN111703371B (zh) * 2020-06-16 2023-04-07 阿波罗智联(北京)科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
US11643016B2 (en) * 2021-01-20 2023-05-09 Robert Bosch Gmbh Rearview camera field of view with alternative tailgate positions
US11662811B2 (en) * 2021-08-11 2023-05-30 GM Global Technology Operations LLC Holographic display system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system
CN103818316A (zh) * 2012-11-15 2014-05-28 通用汽车环球科技运作有限责任公司 在显示屏上显示机动车的后视摄像头系统的图像的方法
US20140207344A1 (en) * 2013-01-21 2014-07-24 Magna Electronics Inc. Vehicle hatch control system
WO2014130049A1 (en) * 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
CN104115204A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
CN104417458A (zh) * 2013-08-23 2015-03-18 福特全球技术公司 后挡板位置检测系统及方法
US20160119586A1 (en) * 2014-10-23 2016-04-28 Honda Motor Co., Ltd. Rearview obstruction camera system and associated method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
CN104115204A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
US20140071279A1 (en) * 2012-09-10 2014-03-13 Nissan North America, Inc. Vehicle video system
CN103818316A (zh) * 2012-11-15 2014-05-28 通用汽车环球科技运作有限责任公司 在显示屏上显示机动车的后视摄像头系统的图像的方法
US20140207344A1 (en) * 2013-01-21 2014-07-24 Magna Electronics Inc. Vehicle hatch control system
WO2014130049A1 (en) * 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
CN104417458A (zh) * 2013-08-23 2015-03-18 福特全球技术公司 后挡板位置检测系统及方法
US20160119586A1 (en) * 2014-10-23 2016-04-28 Honda Motor Co., Ltd. Rearview obstruction camera system and associated method

Also Published As

Publication number Publication date
DE102018101592A1 (de) 2018-08-02
US20180220081A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
CN108372826A (zh) 用于扩增后视显示器的方法和设备
CN107972609B (zh) 用于门状态检测的方法和装置
CN108663967B (zh) 用于提供拖车信息的方法和设备
CN110154949B (zh) 防止尾门与联结附件碰撞的方法和装置
KR102506860B1 (ko) 차량 내 객체 검출 장치 및 방법
US9487172B2 (en) Image display device and method thereof
EP3255868A1 (en) Methods, systems, and vehicles for disabling a function of one or more mobile devices within a passenger cabin of a vehicle
US10077046B2 (en) Method and apparatus for preventing collision with trailer
US20180220082A1 (en) Method and apparatus for augmenting rearview display
CN108216025B (zh) 提供乘员提醒的方法和装置
CN108664883B (zh) 用于启动挂接视图的方法和装置
CN108569298B (zh) 用于增强俯视图图像的方法和装置
CN110018752A (zh) 检测驾驶员对触敏显示器输入的方法和装置
CN109413377B (zh) 用于停车距离选择的方法和设备
CN108021859A (zh) 用于警告物体的方法和设备
CN108374619A (zh) 用于控制升降门的移动的方法和设备
US11814043B2 (en) Automotive analytics technology to provide synergistic collision safety
WO2016194144A1 (ja) 車両ドア開放警告装置および車両ドア開放警告システム
CN109323674B (zh) 用于混合离地间隙确定的设备和方法
CN110631771A (zh) 用于泄漏检测的方法和装置
US20190266878A1 (en) Vehicle-mounted device, notification system, and notification method
CN109693613B (zh) 生成可牵引物体的定位指示符的方法和设备
CN108399371A (zh) 用于调整前视图像的方法和设备
US20180272978A1 (en) Apparatus and method for occupant sensing
CN109693631A (zh) 显示视图警报的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180807