CN113508574A - 成像系统和方法 - Google Patents

成像系统和方法 Download PDF

Info

Publication number
CN113508574A
CN113508574A CN202080018175.9A CN202080018175A CN113508574A CN 113508574 A CN113508574 A CN 113508574A CN 202080018175 A CN202080018175 A CN 202080018175A CN 113508574 A CN113508574 A CN 113508574A
Authority
CN
China
Prior art keywords
image
image data
vehicle
scaling factor
towing vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018175.9A
Other languages
English (en)
Inventor
阿伦·弗里曼-鲍威尔
亚历山大·普莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of CN113508574A publication Critical patent/CN113508574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明的各方面涉及用于牵引车辆(V1)的成像系统(1)。成像系统(1)包括处理器，该处理器被配置成确定牵引车辆(V1)的参考速度(Vref)。从第一成像装置(C1)接收第一图像数据(D1)；并且从第二成像装置(C2)接收第二图像数据(D2)。第一成像装置(C1)可以设置在牵引车辆(V1)上；并且第二成像装置(C2)可以设置在被牵引车辆(V2)上。将第一缩放因子(SF1，SF2)应用于第二图像数据(D2)以生成经缩放的第二图像数据(D2)。第一缩放因子(SF1、SF2)根据所确定的牵引车辆(V1)的参考速度(Vref)来确定。通过将经缩放的第二图像数据(D2)的至少一部分与第一图像数据(D1)的至少一部分进行组合来生成合成图像数据(D3)。输出合成图像数据(D3)以显示在显示屏(10)上。本发明的各方面还涉及具有图像系统(1)的车辆(V1)、生成合成图像(IMG3)的方法以及非暂态计算机可读介质。

Description

成像系统和方法
技术领域
本公开涉及成像系统和方法。本发明的各方面涉及用于生成合成图像的成像系统、包括图像系统的车辆、生成合成图像的方法以及非暂态计算机可读介质。
背景技术
从英国专利申请第GB 1414632.8号已知，提供了用于生成联接到牵引车辆的挂车后面的区域的合成图像的系统和设备。合成图像是通过将由设置在牵引车辆上的摄像装置捕获的第一图像与由设置在挂车上的摄像装置捕获的第二图像进行组合来生成的。得到的合成图像可以包括挂车的半透明表示，以帮助评估其他车辆和对象的相对位置。第一摄像装置和第二摄像装置在物理上彼此移位。本申请的发明人已经认识到，摄像装置之间偏移的一个影响是，由第一摄像装置和第二摄像装置成像的同一对象可能看起来具有不同的尺寸。由于透视成像，这对于位于摄像装置附近的对象而言比远离摄像装置的对象更明显。当物理摄像装置从虚拟摄像装置视口的原点移位时，将来自摄像装置的图像组合到虚拟摄像装置视口中时也会出现该问题。
本发明的目的是解决与现有技术相关联的一个或更多个缺点。
发明内容
本发明的各方面和各实施方式提供了用于生成合成图像的成像系统；包括图像系统的车辆；生成合成图像的方法；以及根据所附权利要求的非暂态计算机可读介质。
根据本发明的一个方面，提供了用于车辆的成像系统，该成像系统具有处理器，该处理器被配置成：
从第一成像装置接收第一图像数据；
将第一缩放因子应用于第一图像数据以生成经缩放的第一图像数据，该第一缩放因子根据车辆参数来确定；以及
输出经缩放的第一图像数据以显示在显示屏上。
处理器可以被配置成确定牵引车辆的参考速度。第一缩放因子可以根据所确定的参考速度来确定。
处理器可以被配置成从第二成像装置接收第二图像数据。处理器可以被配置成通过将第二图像数据与经缩放的第一图像数据进行组合来生成合成图像数据。可以输出经缩放的第一图像数据作为合成图像数据的一部分。
替选地或另外，车辆参数可以包括测量的第一成像装置与显示屏之间的第一成像装置偏移距离。第一缩放因子可以与第一成像装置偏移距离成反比。
可以根据第一成像装置偏移距离与参考头部偏移距离之和来确定第一缩放因子。参考头部偏移距离可以是显示屏与参考头部位置之间的距离。
根据本发明的另一个方面，提供了一种用于牵引车辆的成像系统，该成像系统具有处理器，该处理器被配置成：
确定牵引车辆的参考速度；
从第一成像装置接收第一图像数据；
从第二成像装置接收第二图像数据；
将第一缩放因子应用于第二图像数据以生成经缩放的第二图像数据，该第一缩放因子根据所确定的牵引车辆的参考速度来确定；
通过将经缩放的第二图像数据的至少一部分与第一图像数据的至少一部分进行组合来生成合成图像数据；以及
输出合成图像数据以显示在显示屏上。
本发明的发明人已经确定，与现有技术相关联的上述限制可以通过以下操作来解决：对图像中的一者或两者进行缩放，使得所有对象在合成图像中看起来具有相同的相对大小。然而，用于完整图像的恒定缩放因子可能无法令人满意地实现这一点，因为对象在场景中可能处于不同的距离。应用于图像的缩放程度可以跨图像而变化。例如，基于场景下部的对象更靠近成像装置而上部的对象更远(例如，在天空中)的假设，图像可能像梯形石一样歪斜/扭曲。然而，这种方法可能导致附近对象失真，例如基于车辆的系统中的跟随车辆。至少在某些实施方式中，本发明执行缩放，使得合成图像中的对象以正确的尺寸呈现给用户。由于第一缩放因子是根据参考速度确定的，因此视场可能随着参考速度的变化而变化。例如，在某些实施方式中，当参考速度低时，来自第二成像装置的视图可能看起来被缩小；这可能会显示紧接在第二成像装置后方的广阔视场。相反，当参考速度高时，来自第二成像装置的视图可能看起来被放大；这可能会显示紧跟在第二成像装置后方的狭窄视场。狭窄视场提供了第二成像装置正后方的受限视野。
第一成像装置可以设置在牵引车辆上。第二成像装置可以设置在被牵引车辆上。被牵引车辆可以连接到牵引车辆。可以在牵引车辆与被牵引车辆之间设置铰接式接头或连接器。
处理器可以被配置成在第一图像数据内识别被牵引车辆的正面和/或正面区域。例如，处理器可以分析第一图像数据以识别被牵引车辆的外周或边界。
处理器可以被配置成选择第二图像数据的子部分。处理器可以被配置成将第一缩放因子应用于第二图像数据的选定子部分。第二图像数据的选定子部分的尺寸和/或位置可以对应于被牵引车辆在第一图像数据内的正面或正面区域的尺寸和/或位置。
替选地，处理器可以被配置成选择经缩放的第二图像数据的子部分。处理器可以通过将经缩放的第二图像数据的选定子部分与第一图像数据进行组合来生成合成图像数据。经缩放的第二图像数据的选定子部分的尺寸和/或位置可以对应于被牵引车辆在第一图像数据内的正面或正面区域的尺寸和/或位置。
处理器可以被配置成通过将经缩放的第二图像数据插入形成在第一图像数据中的窗口来生成合成图像数据。替选地或附加地，处理器可以被配置成通过将第一图像数据和经缩放的第二图像数据中的一个叠加到第一图像数据和经缩放的第二图像数据中的另一个上来生成合成图像数据。
第一成像装置可以具有第一视角，并且第二成像装置可具有第二视角。可以根据第一视角与第二视角的比率来确定第一缩放因子。
第一缩放因子可以与第一成像装置和第二成像装置之间的第一纵向距离成反比。第一纵向距离可以是用户指定的或者可以通过分析去往和/或来自第一成像装置和第二成像装置的通信信号来确定。可以预定义第一纵向距离的默认值。
根据下式计算第一缩放因子：
Figure BDA0003241195000000041
其中，x是第一成像装置与第二成像装置之间的第一纵向距离；并且
y是第一成像装置与虚拟对象之间的参考距离。
根据下式计算参考距离(y)：
y＝t.Vref+c
其中，t是参考时间段；
Vref是牵引车辆的参考速度；并且
c是常数。
处理器可以被配置成将第二缩放因子应用于第一图像数据和第二图像数据中的至少一个，第二缩放因子可以根据测量的第一成像装置与显示屏之间的第一成像装置偏移距离来确定。
可以根据第一成像装置偏移距离与参考头部偏移距离之和来确定第二缩放因子，参考头部偏移距离是显示屏与参考头部位置之间的距离。
根据本发明的另一个方面，提供了一种包括如本文所述的成像系统的车辆。
根据本发明的另一个方面，提供了一种处理图像的方法，该方法包括：
从第一成像装置接收第一图像；
将第一缩放因子应用于第一图像以生成经缩放的第一图像，该第一缩放因子根据车辆来参数；以及
输出经缩放的第一图像数据以显示在显示屏上。
根据本发明的另一个方面，提供了一种生成合成图像的方法，该方法包括：
确定自身车辆的参考速度；
从第一成像装置接收第一图像；
从第二成像装置接收第二图像；
将第一缩放因子应用于第二图像以生成经缩放的第二图像，该第一缩放因子根据所确定的自身车辆的参考速度来确定；
通过将经缩放的第二图像的至少一部分与第一图像数据的至少一部分进行组合来生成合成图像；以及
输出合成图像以显示在显示屏上。
第一成像装置可以设置在牵引车辆上。第二成像装置可以设置在被牵引车辆上。被牵引车辆可以连接到牵引车辆。可以在牵引车辆与被牵引车辆之间设置铰接式接头或连接器。
该方法可以包括：选择第二图像的子部分并且将第一缩放因子应用于第二图像的选定子部分。
该方法可以包括：选择经缩放的第二图像的子部分；以及通过将第一图像与经缩放的第二图像的选定子部分进行组合来生成合成图像。
该方法可以包括：生成合成图像包括将经缩放的第二图像插入到第一图像的窗口中。
第一成像装置可以具有第一视角，并且第二成像装置具有第二视角。可以根据第一视角与第二视角的比率来确定第一缩放因子。
第一缩放因子可以与第一成像装置和第二成像装置之间的第一纵向距离成反比。第一纵向方向可以平行于牵引车辆的行进方向(其通常对应于牵引车辆的行进方向)。
该方法可以包括：使用下式计算第一缩放因子：
Figure BDA0003241195000000051
其中，x是第一成像装置与第二成像装置之间的第一纵向距离；并且
y是第一成像装置与虚拟对象之间的参考距离。
可以根据下式计算参考距离(y)：
y＝t.Vref+c
其中，t是参考时间段；
Vref是牵引车辆的参考速度；并且
c是常数。
该方法可以包括：将第二缩放因子应用于第一图像和第二图像中的至少一个。第二缩放因子可以根据测量的第一成像装置与显示屏之间的第一成像装置偏移距离来确定。
可以根据第一成像装置偏移距离与参考头部偏移距离之和来确定第二缩放因子。参考头部偏移距离可以是显示屏与参考头部位置之间的距离。
根据本发明的另一个方面，提供了一种存储有指令集的非暂态计算机可读介质，该指令在被执行时使处理器执行本文描述的方法。
根据本发明的另一个方面，提供了一种用于车辆的成像系统，该成像系统具有处理器，该处理器被配置成：
从第一成像装置接收第一图像数据；
将第一缩放因子应用于第一图像数据以生成经缩放的第一图像数据；以及
输出经缩放的第一图像数据以显示在显示屏上；
其中，该第一缩放因子根据测量的第一成像装置与显示屏之间的第一成像装置偏移距离来确定。
第一缩放因子可以与第一成像装置偏移距离成反比。
可以根据第一成像装置偏移距离与参考头部偏移距离之和来确定第一缩放因子。参考头部偏移距离可以是显示屏与参考头部位置之间的距离。
第一缩放因子可以与第一成像装置偏移距离和参考头部偏移距离之和成反比。
处理器可以被配置成确定车辆的参考速度。可以根据所确定的参考速度来确定第一缩放因子。
可以根据下式计算第一缩放因子：
Figure BDA0003241195000000071
其中，x是第一成像装置与第二成像装置之间的第一纵向距离；并且
y是第一成像装置与虚拟对象之间的参考距离。
可以根据下式计算参考距离y：
y＝2.Vref+c
其中，Vref是牵引车辆(V1)的参考速度；并且
c是常数。
处理器可以被配置成：从第二成像装置接收第二图像数据；并且将第二缩放因子应用于第二图像数据以生成经缩放的第二图像数据。第二缩放因子可以根据测量的第二成像装置与显示屏之间第二成像装置偏移距离来确定。第二成像装置偏移距离可以沿着车辆的纵向轴线来测量。
第二缩放因子可以与第二距离成反比。第二缩放因子可以根据第二成像装置偏移距离与参考头部偏移距离之和来确定。参考头部偏移距离可以是显示屏与参考头部位置之间的距离。
第二缩放因子可以与第二成像装置偏移距离和参考头部偏移距离之和成反比。
根据本发明的另一个方面，提供了一种包括如本文所述的成像系统的车辆。
根据本发明的另一个方面，提供了一种对第一图像进行缩放以显示在显示屏上的方法，该方法包括：
从第一成像装置接收第一图像；
将第一缩放因子应用于第一图像以生成经缩放的第一图像；以及
输出经缩放的第一图像以显示在显示屏上；
其中，第一缩放因子根据测量的第一成像装置与显示屏之间的第一成像装置偏移距离来确定。
第一缩放因子可以与第一成像装置偏移距离成反比。可以根据第一成像装置偏移距离与参考头部偏移距离之和来确定第一缩放因子，参考头部偏移距离是显示屏与参考头部位置之间的距离。
第一缩放因子可以与第一成像装置偏移距离和参考头部偏移距离之和成反比。
该方法可以包括：确定自身车辆的参考速度。可以根据所确定的参考速度来确定第一缩放因子。
可以根据下式计算第一缩放因子：
Figure BDA0003241195000000081
其中，x是所述第一成像装置与所述第二成像装置之间的第一纵向距离；并且
y是第一成像装置与虚拟对象之间的参考距离。
可以根据下式计算参考距离y：
y＝2.Vref+c
其中，Vref是牵引车辆(V1)的参考速度；并且
c是常数。
该方法可以包括：接收第二图像；以及将第二缩放因子应用于第二图像以生成经缩放的第二图像。第二缩放因子可以根据测量的第二成像装置与显示屏之间的第二成像装置偏移距离来确定。
第二成像装置偏移距离可以是沿车辆的纵向轴线测量的第二纵向距离。
第二缩放因子可以与第二成像装置偏移距离成反比。
可以根据第二成像装置偏移距离与参考头部偏移距离之和来确定第二缩放因子。参考头部偏移距离可以是显示屏与参考头部位置之间的距离。
第二缩放因子可以与第二成像装置偏移距离和参考头部偏移距离之和成反比。
根据本发明的另一个方面，提供了一种其中存储有指令集的非暂态计算机可读介质，所述指令在被执行时使得处理器执行本文描述的方法。
在本申请的范围内，明确地旨在，在前面段落中、权利要求中和/或下面的描述和附图中阐述的各个方面、实施方式、示例和替代方案以及特别是其各个特征可以被独立地采用或者以任意组合采用。即，所有的实施方式和/或任何实施方式的特征可以以任何方式和/或组合来进行组合，除非这些特征不兼容。申请人保留修改任何原始提交的权利要求或相应提交任何新的权利要求的权利，包括将任何原始提交的权利要求修改成从属于任何其他权利要求的任何特征和/或并入任何其他权利要求的任何特征的权利，尽管最初没有以该方式要求保护。
附图说明
现在将参照附图，仅以示例的方式描述本发明的一个或更多个实施方式，在附图中：
图1示出了根据本发明的实施方式的设置在牵引车辆和被牵引车辆中的成像系统的示意图；
图2示出了图1所示的成像系统的示意图；
图3A示出了由设置在牵引车辆中的摄像装置捕获的牵引车辆图像。
图3B示出了由设置在被牵引车辆中的摄像装置捕获的被牵引车辆图像；
图4A示出了在牵引车辆图像中形成的与被牵引车辆对应的区域内的窗口；
图4B示出了通过将被牵引车辆图像的一部分插入到在牵引车辆图像中创建的窗口中来创建的合成图像；
图5A示出了对在牵引车辆图像中形成的窗口的角度范围的确定；
图5B示出了根据所确定的在牵引车辆图像中形成的窗口的角度范围来选择被牵引车辆图像的子部分；
图5C示出了被牵引车辆图像的子部分的经缩放的角度范围；
图5D示出了对被牵引车辆图像的经缩放的子部分的选择；
图5E示出了对从被牵引车辆图像中提取的子部分重新调整大小；
图5F示出了通过将被牵引车辆图像的经重新调整大小的子部分插入到牵引车辆图像中形成的合成图像；
图6示出了当牵引车辆和被牵引车辆以第一参考速度行驶时生成的合成图像；
图7示出了当牵引车辆和被牵引车辆以第二参考速度行驶时生成的合成图像；
图8示出了当牵引车辆和被牵引车辆以第三参考速度行驶时生成的合成图像；
图9示出了表示根据本实施方式的成像系统的实现方式的框图；以及
图10示出了根据本发明的又一实施方式的设置在牵引车辆和被牵引车辆中的成像系统的示意图。
具体实施方式
现在将参照附图描述根据本发明实施方式的成像系统1。成像系统1设置在第一车辆V1中。在本实施方式中，第一车辆V1连接至第二车辆V2。第一车辆V1是诸如汽车、商用车辆或牵引车的牵引车辆V1。第二车辆V2是诸如挂车的被牵引车辆V2。牵引车辆V1和被牵引车辆V2在图1中示出。牵引车辆V1具有第一纵向轴线XV1，并且被牵引车辆V2具有第二纵向轴线XV2。
如图1所示，成像系统1包括：至少一个控制器2、牵引车辆成像装置C1和被牵引车辆成像装置C2。在本实施方式中，牵引车辆成像装置C1为牵引车辆摄像装置C1的形式；并且被牵引车辆成像装置C2为被牵引车辆摄像装置C2的形式。牵引车辆摄像装置C1和被牵引车辆摄像装置C2彼此偏移第一纵向距离x。牵引车辆摄像装置C1设置在牵引车辆V1的后部并且沿面向后方的方向定向。牵引车辆摄像装置C1具有与第一纵向轴线XV1基本上平行的光轴。牵引车辆摄像装置C1具有包含牵引车辆V1的后方的区域的第一视场FOV1。牵引车辆摄像装置C1具有第一视角α。在使用中，牵引车辆摄像装置C1捕获与牵引车辆图像IMG1对应的第一图像数据D1。牵引车辆图像IMG1包括由牵引车辆摄像装置C1捕获的从牵引车辆V1面向后方的场景。例如，牵引车辆图像IMG1可以包括被牵引车辆V2的前面的至少一部分以及被牵引车辆V2周围的环境中的一些(例如到被牵引车辆V2的侧面和/或上方和/或下方)。被牵引车辆摄像装置C2设置在被牵引车辆V2的后部并且沿面向后方的方向定向。被牵引车辆摄像装置C2具有与第二纵向轴线XV2基本上平行的光轴。被牵引车辆摄像装置C2具有包含被牵引车辆V2的后方区域的第二视场FOV2。被牵引车辆摄像装置C2具有第二视角β。在使用中，被牵引车辆摄像装置C2捕获与被牵引车辆图像IMG2对应的第二图像数据D2。被牵引车辆图像IMG2包括由被牵引车辆摄像装置C2捕获的从被牵引车辆V2面向后方的场景。例如，被牵引车辆图像IMG2可以包括被牵引车辆V2后方的道路和被牵引车辆V2后方的其他车辆的图像。牵引车辆图像IMG1和/或被牵引车辆图像IMG2的水平和/或竖直范围取决于牵引车辆摄像装置C1和被牵引车辆摄像装置C2的视角。第一视角α和第二视角β可以彼此相同或可以彼此不同。在本实施方式中，牵引车辆摄像装置C1和被牵引车辆摄像装置C2各自包括具有约180°的视角α、视角β的广角镜头。被牵引车辆C1和牵引车辆C2的视角可以较窄。牵引车辆摄像装置C1和被牵引车辆摄像装置C2均为数码摄像装置。牵引车辆摄像装置C1可操作成生成表示牵引车辆图像IMG1的第一图像数据D1；并且被牵引车辆摄像装置C2可操作成生成表示被牵引车辆图像IMG2的第二图像数据D2。被牵引车辆摄像装置C1可操作成每秒捕获多个第一图像帧。牵引车辆摄像装置C2可操作成每秒捕获多个第二图像帧。
在本实施方式中，该或每个控制器2设置在牵引车辆V1中。如图2所示，控制器2包括至少一个电子处理器3。至少一个电子处理器3具有：用于从牵引车辆摄像装置C1和被牵引车辆摄像装置C2接收一个或更多个输入信号的一个或更多个电输入；以及用于输出输出信号的一个或更多个电输出。该或每个控制器2还包括至少一个存储器装置4，所述至少一个存储器装置电耦接至至少一个电子处理器3并且具有存储在存储器装置4中的指令。至少一个电子处理器3被配置成访问至少一个存储器装置4并且执行存储器装置4上的指令以执行本文中描述的方法。在本实施方式中，该或每个控制器2连接至无线接收器5。处理器3被配置为执行保存在电子存储器装置4中的一组软件指令，并且实现图像处理模块(由附图标记6表示)。
该或每个电子处理器3可以包括被配置成执行电子指令的任何合适的电子处理器(例如，微处理器、微控制器、ASIC等)。该或每个电子存储器装置4可以包括任何合适的存储器装置并且可以在其中或其上存储各种数据、信息、阈值、查找表或其他数据结构和/或指令。在实施方式中，存储器装置18具有存储在其中或其上的用于软件、固件、程序、算法、脚本、应用等的可以管理本文中所描述的方法的全部或部分的信息和指令。处理器或每个电子处理器3可以访问存储器装置18并且执行和/或使用那个或那些指令和信息以施行或执行本文描述的功能和方法中的一些或全部。
至少一个存储器装置4可以包括计算机可读存储介质(例如，非暂时性或非暂态存储介质)，计算机可读存储介质可以包括用于以机器或电子处理器/计算装置可读的形式存储信息的任何机构，包括但不限于：磁存储介质(例如，软盘)；光存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存；或用于存储这样的信息/指令的电或其他类型的介质。
处理器3连接至诸如牵引车辆CAN总线的通信总线8，以与其他牵引车辆系统通信。无线接收器5包括第一天线7。被牵引车辆摄像装置C2连接至具有第二天线11的无线发送器9。在使用中，无线发送器9将由被牵引车辆摄像装置C2捕获的第二图像数据D2发送至无线接收器5。处理器3被配置成接收由牵引车辆摄像装置C1生成的第一图像数据D1和由被牵引车辆摄像装置C2生成的第二图像数据D2。牵引车辆V1包括显示屏10，可以在显示屏10上选择性地显示分别从牵引车辆摄像装置C1接收的牵引车辆图像IMG1和从被牵引车辆摄像装置C2接收的被牵引车辆图像IMG2。
牵引车辆摄像装置C1居中地安装在牵引车辆V1的后部、后部牌照(未示出)的上方，并且在本实施方式中，可以选择性地在没有联接至牵引车辆V1的被牵引车辆V2情况下用作用于提供停车辅助的倒车摄像装置。可以考虑用于牵引车辆摄像装置C1的其他安装位置。被牵引车辆摄像装置C2居中地安装在被牵引车辆V2的后部。可以考虑用于被牵引车辆摄像装置C2的其他安装位置。牵引车辆摄像装置C1和被牵引车辆摄像装置C2以地平面以上大约相同的垂直高度布置。在替选布置中，牵引车辆摄像装置C1和被牵引车辆摄像装置C2可以在竖直方向和/或横向方向上彼此偏移。图像处理模块6可以被配置成校正任何这样的位置偏移。同样地，例如在牵引车辆摄像装置C1与被牵引车辆摄像装置C2中的一个或两个相对于相应的第一纵向轴线XV1和第二纵向轴线XV2角度偏移的情况下，图像处理模块6可以被配置成校正牵引车辆摄像装置C1与被牵引车辆摄像装置C2之间的角度偏移。
牵引车辆摄像装置C1输出包括与牵引车辆图像IMG1对应的所述第一图像数据D1的第一信号S1。将第一信号S1发布到通信总线8，并且向图像处理模块6提供第一输入。被牵引车辆摄像装置C2输出与被牵引车辆图像IMG2对应的所述第二图像数据D2。由无线发送器9将第二信号S2发送至无线接收器5，以向图像处理模块6提供第二输入。无线发送器9可以使用合适的无线通信标准(例如
Figure BDA0003241195000000131
)来发送第二信号S2。在变型中，可以通过被牵引车辆V2与牵引车辆V1之间的有线连接传输第二信号S2。作为示例，图3A示出了第一图像IMG1；并且图3B示出了第二图像IMG2。图3A和图3B中所示的第一图像IMG1和第二图像IMG2分别由第一摄像装置C1和第二摄像装置C2同时捕获。可以在由被牵引车辆V2上设置的第二摄像装置C2捕获的第二图像IMG2中看见路标SS1和跟随车辆FV1。然而，由于被牵引车辆V2的存在，在第一图像IMG1中路标SS1和跟随车辆FV1两者都被遮挡不在视图中。在图3B中，路标SS1和跟随车辆FV1由包括虚线的第一椭圆和第二椭圆突出显示。应当理解的是，出于帮助理解的目的已经添加了椭圆，并且椭圆不形成第二图像IMG2的一部分。
图像处理模块6被配置成将第一图像数据D1的至少一部分与第二图像数据D2的至少一部分组合以生成合成图像数据IMG3。图像处理模块6被配置成分析牵引车辆图像IMG1以识别被牵引车辆V2的外周P1。如图3A所示，外周P1表示来自牵引车辆摄像装置C1的视点的被牵引车辆V2的外部可视边界(或边缘)。图像处理模块6可以通过计算牵引车辆图像IMG1的两个或更多个帧之间的像素的光流矢量来识别外周P1。跨牵引车辆图像IMG1计算光流矢量的幅度的梯度。该梯度在该挂车T的外周P1处最大，在该处与牵引车辆图像IMG1的涉及挂车T(并且具有相对低速的移动)的区域相关联的像素被设置成接近或邻近于与牵引车辆图像IMG1的涉及背景(并且具有相对高速的移动)的区域相关联的像素。可以使用其他技术来识别被牵引车辆V2的外周P1。例如，可以基于所存储的对被牵引车辆V2进行限定的几何数据来对外周P1进行预定义或建模。如图4A所示，在已识别的外周P1内限定窗口W1。在本实施方式中，窗口W1为矩形，但是也可以有用地采用其他形状。
由外周P1包围的牵引车辆图像IMG1的区域表示牵引车辆图像IMG1内的被牵引车辆V2。如本文中所描述的，将被牵引车辆图像IMG2的至少一部分选择性地插入到已识别的外周P1内所设置的牵引车辆图像IMG1的区域中。图像处理模块6根据从牵引车辆摄像装置C1接收的第一图像数据D1和从被牵引车辆摄像装置C2接收的第二图像数据D2生成第三图像数据D3。第三图像数据D3表示输出以在显示屏10上显示的合成图像IMG3。组合第一图像数据D1和第二图像数据D2使得被牵引车辆图像IMG2覆盖在牵引车辆图像IMG1的对应区域上。在本实施方式中，将被牵引车辆图像IMG2的选定区域插入到外周P1内限定的窗口W1中。可以将被牵引车辆图像IMG2呈现为半透明图像，使得在牵引车辆图像IMG1中存在的被牵引车辆V2的特征保持可见。在本实施方式中，如图4B所示，在形成在牵引车辆图像IMG1的窗口W1中呈现被牵引车辆图像IMG2。所得到的合成图像IMG3提供了牵引车辆V1的后方区域的基本上连续、不间断的视图。
如图1所示，牵引车辆摄像装置C1与被牵引车辆摄像装置C2在纵向方向上彼此偏移。该纵向偏移引起同一对象在牵引车辆图像IMG1和在被牵引车辆图像IMG2中具有不同的大小。该差异在通过对牵引车辆图像IMG1与被牵引车辆图像IMG2进行组合而生成的合成图像IMG3中可以是明显的。根据本实施方式的图像处理模块6被配置成处理牵引车辆图像IMG1和/或被牵引车辆图像IMG2，以减少或去除合成图像IMG3中的任何这样的差异。现在将描述图像处理模块6的操作。
从牵引车辆摄像装置C1接收牵引车辆图像IMG1。如图3A所示，图像处理模块6分析牵引车辆图像IMG1以识别被牵引车辆V2的外周P1。如图4A所示，在牵引车辆图像IMG1内在外周P1内限定窗口W1。如图5A所示，在水平平面内确定牵引车辆图像IMG1内的被牵引车辆V2的第一角度范围θ1。第一角度范围θ1表示由被牵引车辆V2占据的牵引车辆图像IMG1的水平分量。例如可以参照被牵引车辆V2的预定义尺寸和虚拟摄像装置视口来确定第一角度范围θ1。虚拟摄像装置视口限定参照点(原点)，并且可以与牵引车辆摄像装置C1重合，或者可以与牵引车辆摄像装置C1具有已知的偏移。将第一角度范围θ1用作用于识别牵引车辆图像IMG1中的部分的模板。可选地，可以在竖直平面中确定牵引车辆图像IMG1内的被牵引车辆V2的角度范围。例如使用以下中的一个或更多个来确定牵引车辆图像IMG1中的被牵引车辆V2的正面的水平位置和/或竖直位置：牵引车辆V1与被牵引车辆V2之间的横摆(铰接)角；被牵引车辆V2的尺寸；以及外周P1。可以确定牵引车辆图像IMG1内的被牵引车辆V2的几何中心。
如图3B所示，从被牵引车辆摄像装置C2接收被牵引车辆图像IMG2。如图5B所示，图像处理模块6识别被牵引车辆图像IMG2的第一图像子区域RIMG1。在第二图像数据D2中识别与第一图像子区域RIMG1对应的数据。根据所确定的牵引车辆图像IMG1内的被牵引车辆V2的大小和位置(如由从对牵引车辆图像IMG1的分析得出的外周P1所限定的)来限定第一图像子区域RIMG1的大小和位置。第一图像子区域RIMG1的水平范围(沿X轴)与通过在水平平面内分析牵引车辆图像IMG1而确定的第一角度范围θ1成比例。可选地，第一图像子区域RIMG1的竖直范围(沿Y轴)可以与竖直平面中的角度范围成比例。当牵引车辆V1与被牵引车辆V2基本上对准时，被牵引车辆图像IMG2内的第一图像子区域RIMG1的水平位置至少基本上与所确定的牵引车辆图像IMG1中的被牵引车辆V2的正面的水平位置匹配。被牵引车辆图像IMG2内的第一图像子区域RIMG1的竖直位置至少基本上与所确定的牵引车辆图像IMG1中的被牵引车辆V2的正面的竖直位置匹配。第一图像子区域RIMG1的几何中心可以至少基本上与所确定的牵引车辆图像IMG1内的被牵引车辆V2的几何中心对准。
如图5C所示，将第一角度范围θ1乘以第一缩放因子SF1以计算第二(缩放)角度范围θ2(θ2＝θ1.SF1)。第一缩放因子SF1操作成修改被牵引车辆图像IMG2内的第一图像子区域RIMG1的角度范围。第一缩放因子SF1大于一(1)。如图5E所示，第二角度范围θ2大于第一角度范围θ1，使得原始(原来的)被牵引车辆图像IMG2的选定子部分大于在原始(原来的)牵引车辆图像IMG1中识别的与被牵引车辆V2对应的区域。应用第一缩放因子SF1以避免在合成图像IMG3中形成边界(或间隙)。如下定义第一缩放因子SF1：
Figure BDA0003241195000000151
其中，x是第一纵向距离；并且
y是参考距离。
参考距离y是被牵引车辆摄像装置C2与虚拟对象O1(图1所示)之间的距离。如下计算参考距离y：
y＝t.Vref+c [2]
其中，t是参考时间段；
Vref是牵引车辆V1的参考速度；并且
c是常数。
参考时间段t用于校准被牵引车辆摄像装置C2与虚拟对象之间的参考距离y。本实施方式中的参考时间段t是预定义的。已经确定参考时间段t为两(2)秒(即，t＝2秒)是适当的。参考时间段t可以小于或大于两(2)秒。常数c可以表示牵引车辆摄像装置C1与被牵引车辆摄像装置C2之间的纵向偏移。例如，常数c可以是两(2)米(即c＝2m)。常数c可以小于或大于两(2)米。可以根据一个或更多个车轮速度传感器来确定牵引车辆V1的参考速度Vref。可以使用诸如卫星定位系统的其他技术来确定参考速度Vref。
如上所述，第一缩放因子SF1大于一(1)。因此，第二角度范围θ2大于第一角度范围θ1(θ2＞θ1)。第二角度范围θ2限定了被牵引车辆图像IMG2内的第二图像子区域RIMG2。如图5B和图3C所示，第二图像子区域RIMG2大于第一图像子区域RIMG1。如图5D所示，从被牵引车辆图像IMG2提取与第二图像子区域RIMG2对应的被牵引车辆数据D1的子部分。由此，裁切被牵引车辆图像IM2以生成第二图像子区域RIMG2。
然后通过第二缩放因子SF2缩放第二图像子区域RIMG2。应用第二缩放因子SF2以重新调整第二图像子区域RIMG2的大小(即，修改第二图像子区域RIMG2的大小)。由此，第二缩放因子SF2改变被牵引车辆图像IMG2内的特征和对象的大小。在本实施方式中，第二缩放因子SF1小于一(1)。因此，如图5E所示，第二缩放因子SF2操作成减小第二图像子区域RIMG2的大小。如下定义第二缩放因子SF2：
Figure BDA0003241195000000161
其中，x是第一纵向距离；并且
y是参考距离。
然后将经重新调整大小的第二图像子区域RIMG2与牵引车辆图像IMG1组合以生成合成图像IMG3。特别地，将经重新调整大小的第二图像子区域RIMG2覆盖在牵引车辆图像IMG1上在以外周P1为边界的区域中。所得到的合成图像IMG3在图5F中示出。
第一缩放因子SF1和第二缩放因子SF2是互补的。在本实施方式中，第二缩放因子SF2是第一缩放因子SF1的倒数。然而，可以修改第一缩放因子SF1与第二缩放因子SF2之间的关系，例如以对第一视角α与第二视角β的差异进行补偿。可以将与第一视角α与第二视角β之比对应的校正因子(即α/β)应用于第二缩放因子SF2。
第一缩放因子SF1和第二缩放因子SF2是动态的并且根据牵引车辆V1的当前操作参数而变化。特别地，根据牵引车辆V1的参考速度Vref来确定第一缩放因子SF1和第二缩放因子SF2。因此，即使被牵引车辆V2与对象之间的距离基本上恒定，在合成图像IMG3中显示的对象的大小也将根据牵引车辆V1的参考速度Vref而变化。现在将描述实现动态图像缩放的效果。
在图3A中示出了牵引车辆图像IMG1；并且在图3B中示出了被牵引车辆图像IMG2。在牵引车辆图像IMG1中识别被牵引车辆V2的至少一部分的外周P1。如图4A所示，在牵引车辆图像IMG1的以外周P1为边界的区域内形成有切出图或窗口。将被牵引车辆图像IMG2的区域插入到牵引车辆图像IMG1中以形成合成图像IMG3。图4B示出了在不执行任何缩放操作的情况下将被牵引车辆图像IMG2的选定区域直接插入到被牵引车辆图像IMG1中的结果。应当理解的是，该技术引起合成图像IMG3中的不一致，例如合成图像IMG3可以包括跨第一图像IMG1与第二图像IMG2之间的过渡的中断或不连续。至少在本发明的某些实施方式中，可以通过执行动态缩放来减少或去除这些不一致。
在图6、图7和图8中示出了成像系统1实现动态缩放的操作。图6所示的图像表示牵引车辆V1和被牵引车辆V2以第一参考速度Vref1行驶的场景。图7所示的图像表示牵引车辆V1和被牵引车辆V2以第二参考速度Vref2行驶的场景。图8所示的图像表示牵引车辆V1和被牵引车辆V2以第三参考速度Vref3行驶的场景。第一参考速度Vref1大于第二参考速度Vref2，第二参考速度Vref2大于第三参考速度Vref3(即，Vref1＞Vref2＞Vref3)。
参考距离y与参考速度Vref成比例。由此，参考距离y随着参考速度Vref的增大而增大。牵引车辆V1以第一参考速度Vref1行驶时的参考距离y大于以第二参考速度Vref2或第三参考速度Vref3行驶时的参考距离y。类似地，牵引车辆V1以第二参考速度Vref2行驶时的参考距离y大于以第三参考速度Vref3行驶时的参考距离y。
第二缩放因子SF2是动态的并且根据参考速度Vref而变化。在本实施方式中，第二缩放因子SF2小于一(1)，使得被牵引车辆图像IMG2的大小减小。在替选实施方式中，第二缩放因子SF2可以大于一(1)，使得被牵引车辆图像IMG2的大小增大。例如可以修改第二缩放因子SF2以对不同的第一视角α和第二视角β进行补偿。第二缩放因子SF2与参考速度Vref成比例。因此，在高参考速度Vref时的第二缩放因子SF2比在低参考速度Vref时的第二缩放因子SF2大。在所示的示例中，牵引车辆V1以第一参考速度Vref1行驶时的第二缩放因子SF2大于以第二参考速度Vref2或第三参考速度Vref3行驶时的第二缩放因子SF2。类似地，牵引车辆V1以第二参考速度Vref2行驶时的第二缩放因子SF2大于以第三参考速度Vref2行驶时的第二缩放因子SF2。在所示示例中，当牵引车辆V1以第一参考速度Vref1形式时，第二缩放因子SF2大约为0.9，使得被牵引车辆图像IMG2以约90％进行缩放。当牵引车辆V1以第二参考速度Vref2行驶时，第二缩放因子SF2大约为0.7，使得被牵引车辆图像IMG2以约70％进行缩放。当牵引车辆V1以第三参考速度Vref3行驶时，第二缩放因子SF2大约为0.25，使得牵引车辆图像IMG2以约25％进行缩放。在图6、图7和图8中，作为对被牵引车辆图像IMG1应用第二缩放函数SF2的结果的合成图像IMG3中的跟随车辆FV1和路标SS1的大小的变化是明显的。如上所述，将第一缩放因子SF1应用于第一角度范围θ1以调整从被牵引车辆图像IMG2提取的第二图像子区域RIMG2的角度范围，从而减小或避免在合成图像IMG3中的被牵引车辆图像IMG2周围形成的边界或间隙。
图9示出了说明成像系统1的操作的框图100。从牵引车辆摄像装置C1(块110)接收牵引车辆图像IMG1。分析牵引车辆图像IMG1以识别表示被牵引车辆V2的正面或正面区域的区域(块120)。识别牵引车辆图像IMG1内的被牵引车辆V2的正面的第一角度范围θ1(块130)。从被牵引车辆摄像装置C2接收被牵引车辆图像IMG2(块140)。在被牵引车辆图像IMG2中识别第一图像子区域RIMG1(块150)，第一图像子区域RIMG1的大小和位置对应于表示被牵引车辆V2的正面或正面区域的区域的大小和位置。可选地，可以修改第一图像子区域RIMG1的水平和/或竖直位置，例如以对牵引车辆V1与被牵引车辆V2之间的铰接角的变化进行补偿。将第一角度范围θ1乘以第一缩放因子SF1以计算第二角度范围θ2(块160)。根据第二角度范围θ2修改第一图像子区域RIMG1的角度范围以生成第二图像子区域RIMG2(块170)。从被牵引车辆图像IMG2中提取所得到的第二图像子区域RIMG2(块180)。应用第二缩放因子SF2以重新调整第二图像子区域RIMG2的大小(块190)。然后，将经重新调整大小的第二图像子区域RIMG2与牵引车辆图像IMG1组合以生成合成图像IMG3(块200)。可以将合成图像IMG3输出到显示屏10或其他车辆系统。
已经将上述实施方式中的成像系统1描述为生成合成图像IMG3。已经认识到，可以采用在上述实施方式中描述的成像系统1的各方面以提供更直观的人机界面。现在将参照图10描述成像系统1的变型。相同的附图标记用于相同的部件。关于变型所描述的技术可以与在本文中设想的技术组合使用，或者独立于其他技术使用。
成像系统1被配置成将图像输出至设置在牵引车辆V1中的显示屏10。显示屏10通常被配置成用于由牵引车辆V1的驾驶员(未示出)观看。例如，显示屏10可以设置在牵引车辆V1的仪表板或中央控制器中。例如，可以由牵引车辆摄像装置C1或被牵引车辆摄像装置C2捕获图像。如上所述，牵引车辆摄像装置C1是设置在牵引车辆V1的后部的面向后部的摄像装置；并且被牵引车辆摄像装置C2是设置在被牵引车辆V2的后部的面向后部的摄像装置。摄像装置偏移距离是显示屏10与源摄像装置(在本实施方式中为牵引车辆摄像装置C1或被牵引车辆摄像装置C2)之间固有的。如图10所示，在显示屏10与牵引车辆摄像装置C1之间存在第一摄像装置偏移距离x1；并且显示屏10与被牵引车辆摄像装置C2之间存在第二摄像装置偏移距离x2。由于摄像装置偏移距离x1、x2，当存在于牵引车辆图像IMG1或被牵引车辆图像IMG2中的对象显示在显示屏10上时可能比牵引车辆V1的驾驶员所预期的大。例如，当位于牵引车辆摄像装置C1附近的对象显示在显示屏10上时将具有相对大的外观。然而，实际上，对象与驾驶员间隔开至少第一摄像装置C1)偏移距离。驾驶员直接观看(例如通过后风挡)或在后视镜中观看的相同场景将具有不同的缩放特性，并且相同的对象将具有不同的大小。已经认识到的是，显示屏10的显示特性的固有差异可能对驾驶员是不直观的。
为了补偿上述差异，成像系统1被配置成根据显示屏10与牵引车辆摄像装置C1或被牵引车辆摄像装置C2之间的摄像装置偏移距离来将缩放因子应用于源(原始)图像数据。缩放因子与在显示屏10与源摄像装置(本实施方式中的牵引车辆摄像装置C1或被牵引车辆摄像装置C2)之间的纵向方向上测量的摄像装置偏移距离x1、x2成正比地减小输出至显示屏10的图像的大小。应当理解的是，该技术可以应用于牵引车辆V1或被牵引车辆V2上设置的其他摄像装置。可以定义多个缩放因子，每个缩放因子与多个摄像装置中的一个相关联。例如，可以针对牵引车辆摄像装置C1定义第一缩放因子；并且可以针对被牵引车辆摄像装置C2定义第二缩放因子。替选地，例如可以根据由用户或车载系统提供的位置信息来动态地计算缩放因子。可以根据牵引车辆摄像装置偏移距离来确定第一缩放因子；并且可以根据被牵引车辆摄像装置偏移距离来确定第二缩放因子。成像系统1可以根据多个摄像装置中所选择的一个来选择多个缩放因子中的一个。
可选地，成像系统1还可以考虑显示屏10与牵引车辆V2的驾驶员的参考头部位置HP1之间的参考头部偏移距离x3。参考头部位置HP1是驾驶员在驾驶车辆时的头部的估计或近似位置。参考头部位置HP1可以是预定义的或者可以例如是根据驾驶员座椅的位置是可变的。虽然参考头部偏移距离x3通常小于摄像装置偏移距离，但是包括参考头部偏移距离可以使显示图像对驾驶员更直观。
应当理解的是，可以在存在被牵引车辆V2或不存在被牵引车辆V2的情况下实现该实施方式。例如，成像系统1可以配置成提供从设置在车辆上的一个或更多个摄像装置捕获并且在同一车辆的显示屏上显示的图像的缩放。
已经描述了示例控制器2，示例控制器2包括至少一个电子处理器3，至少一个电子处理器3被配置成执行存储在至少一个存储器装置4中的电子指令，电子指令在被执行时使电子处理器3执行本文中描述的方法。然而，可以设想，本发明不限于通过可编程处理装置来实现，并且本发明的功能和/或方法步骤中的至少一些和在一些实施方式中全部可以等同地通过非可编程硬件来实现，例如通过非可编程ASIC、布尔(Boolean)逻辑电路等。
本文中描述的成像装置C1、C2包括数码摄像装置。例如，摄像装置可以是在可见或非可见光谱中操作的光学摄像装置。替选地或附加地，成像装置C1、C2可以包括其他类型的传感器。例如，成像装置C1、C2可以包括以下中的一个或更多个：超声传感器、LIDAR传感器和雷达传感器。
应当理解的是，在不脱离本申请的范围的情况下，可以对本发明进行各种改变和修改。
在以下编号的条款中概述了本发明的各方面：
1.一种用于牵引车辆的成像系统，所述成像系统具有处理器，所述处理器被配置成：
确定所述牵引车辆的参考速度；
从设置在所述牵引车辆上的第一成像装置接收第一图像数据；
从设置在被牵引车辆上的第二成像装置接收第二图像数据；
将第一缩放因子应用于所述第二图像数据以生成经缩放的第二图像数据，所述第一缩放因子根据所确定的所述牵引车辆的参考速度来确定；
通过将所述经缩放的第二图像数据的至少一部分与所述第一图像数据的至少一部分进行组合来生成合成图像数据；以及
输出所述合成图像数据以显示在显示屏上。
2.根据条款1所述的成像系统，包括：选择所述第二图像数据的子部分，并且将所述第一缩放因子应用于所述第二图像数据的选定子部分。
3.根据条款1所述的成像系统，包括：选择所述经缩放的第二图像数据的子部分；以及通过将所述经缩放的第二图像数据的选定子部分与所述第一图像数据进行组合来生成所述合成图像数据。
4.根据条款1、2或3中任一项所述的成像系统，其中，生成所述合成图像数据包括：将所述经缩放的第二图像数据插入到形成在所述第一图像数据中的窗口中。
5.根据前述条款中任一项所述的成像系统，其中，所述第一成像装置具有第一视角，并且所述第二成像装置具有第二视角；其中，根据所述第一视角与所述第二视角之比来确定所述第一缩放因子。
6.根据前述条款中任一项所述的成像系统，其中，所述第一缩放因子与所述第一成像装置和所述第二成像装置之间的第一纵向距离成反比。
7.根据条款6所述的成像系统，其中，根据下式计算所述第一缩放因子：
Figure BDA0003241195000000211
其中，x是所述第一成像装置与所述第二成像装置之间的所述第一纵向距离；并且
y是所述第一成像装置与虚拟对象之间的参考距离。
8.根据条款7所述的成像系统，其中，根据下式计算所述参考距离：
y＝t.Vref+c
其中，t是参考时间段；
Vref是所述牵引车辆的所述参考速度；并且
c是常数。
9.根据前述条款中任一项所述的成像系统，其中，所述处理器被配置成将第二缩放因子应用于所述第一图像数据和所述第二图像数据中的至少一者，所述第二缩放因子根据测量的所述第一成像装置与所述显示屏之间的第一成像装置偏移距离来确定。
10.根据条款9所述的成像系统，其中，根据所述第一成像装置偏移距离与参考头部偏移距离之和来确定所述第二缩放因子，所述参考头部偏移距离是所述显示屏与参考头部位置之间的距离。
11.一种车辆，包括根据前述条款中任一项所述的成像系统。
12.一种生成合成图像的方法，所述方法包括：
确定自身车辆(host vehicle)的参考速度；
从第一成像装置接收第一图像；
从第二成像装置接收第二图像；
将第一缩放因子应用于所述第二图像以生成经缩放的第二图像，所述第一缩放因子根据所确定的自身车辆的参考速度来确定；
通过将所述经缩放的第二图像的至少一部分与所述第一图像数据的至少一部分进行组合来生成所述合成图像；以及
输出所述合成图像以显示在显示屏上。
13.根据条款12所述的方法，包括：选择所述第二图像的子部分，并且将所述第一缩放因子应用于所述第二图像的选定子部分。
14.根据条款12所述的方法，包括：选择所述经缩放的第二图像的子部分；以及通过将所述经缩放的第二图像的选定子部分与所述第一图像进行组合来生成所述合成图像。
15.根据条款12、13或14中任一项所述的方法，其中，生成所述合成图像包括：将所述经缩放的第二图像插入到所述第一图像的窗口中。
16.根据条款12至15中任一项所述的方法，其中，所述第一成像装置具有第一视角，并且所述第二成像装置具有第二视角；并且所述第一缩放因子根据所述第一视角与所述第二视角之比来确定。
17.根据条款12至16中任一项所述的方法，其中，所述第一缩放因子与所述第一成像装置和所述第二成像装置之间的第一纵向距离成反比。
18.根据条款17所述的方法，其中，根据下式计算所述第一缩放因子：
Figure BDA0003241195000000231
其中，x是所述第一成像装置与所述第二成像装置之间的所述第一纵向距离；并且
y是所述第一成像装置与虚拟对象之间的参考距离。
19.根据条款18所述的方法，其中，根据下式计算所述参考距离：
y＝t.Vref与c
其中，t是参考时间段；
Vref是所述牵引车辆的所述参考速度；并且
c是常数。
20.根据条款12至19中任一项所述的方法，包括：将第二缩放因子应用于所述第一图像和所述第二图像中的至少一者，所述第二缩放因子根据测量的所述第一成像装置与所述显示屏之间的第一成像装置偏移距离来确定。
21.根据条款20所述的方法，其中，根据所述第一成像装置偏移距离与参考头部偏移距离之和来确定所述第二缩放因子，所述参考头部偏移距离是所述显示屏与参考头部位置之间的距离。
22.一种存储有指令集的非暂态计算机可读介质，所述指令在被执行时使处理器执行根据条款12至21中任一项所述的方法。

Claims (13)

1.一种用于牵引车辆的成像系统，所述成像系统具有处理器，所述处理器被配置成：
确定所述牵引车辆的参考速度；
从设置在所述牵引车辆上的第一成像装置接收第一图像数据；
从设置在被牵引车辆上的第二成像装置接收第二图像数据；
将第一缩放因子应用于所述第二图像数据以生成经缩放的第二图像数据，所述第一缩放因子根据所确定的所述牵引车辆的参考速度来确定；
通过将所述经缩放的第二图像数据的至少一部分与所述第一图像数据的至少一部分进行组合来生成合成图像数据；以及
输出所述合成图像数据以显示在显示屏上。
2.根据权利要求1所述的成像系统，包括：选择所述第二图像数据的子部分，并且将所述第一缩放因子应用于所述第二图像数据的选定子部分。
3.根据权利要求1所述的成像系统，包括：选择所述经缩放的第二图像数据的子部分；以及通过将所述经缩放的第二图像数据的选定子部分与所述第一图像数据进行组合来生成所述合成图像数据。
4.根据权利要求1、2或3中任一项所述的成像系统，其中，生成所述合成图像数据包括：将所述经缩放的第二图像数据插入到形成在所述第一图像数据中的窗口中。
5.根据前述权利要求中任一项所述的成像系统，其中，所述第一成像装置具有第一视角，并且所述第二成像装置具有第二视角；其中，根据所述第一视角与所述第二视角之比来确定所述第一缩放因子。
6.根据前述权利要求中任一项所述的成像系统，其中，所述第一缩放因子与所述第一成像装置和所述第二成像装置之间的第一纵向距离成反比。
7.根据权利要求6所述的成像系统，其中，根据下式计算所述第一缩放因子：
Figure FDA0003241194990000021
其中，x是所述第一成像装置与所述第二成像装置之间的所述第一纵向距离；并且
y是所述第一成像装置与虚拟对象之间的参考距离。
8.根据权利要求7所述的成像系统，其中，根据下式计算所述参考距离：
y＝t.Vref+c
其中，t是参考时间段；
Vref是所述牵引车辆的所述参考速度；并且
c是常数。
9.根据前述权利要求中任一项所述的成像系统，其中，所述处理器被配置成将第二缩放因子应用于所述第一图像数据和所述第二图像数据中的至少一者，所述第二缩放因子根据测量的所述第一成像装置与所述显示屏之间的第一成像装置偏移距离来确定。
10.根据权利要求9所述的成像系统，其中，根据所述第一成像装置偏移距离与参考头部偏移距离之和来确定所述第二缩放因子，所述参考头部偏移距离是所述显示屏与参考头部位置之间的距离。
11.一种车辆，包括根据前述权利要求中任一项所述的成像系统。
12.一种生成合成图像的方法，所述方法包括：
确定自身车辆的参考速度；
从第一成像装置接收第一图像；
从第二成像装置接收第二图像；
将第一缩放因子应用于所述第二图像以生成经缩放的第二图像，所述第一缩放因子根据所确定的自身车辆的参考速度来确定；
通过将所述经缩放的第二图像的至少一部分与所述第一图像数据的至少一部分进行组合来生成所述合成图像；以及
输出所述合成图像以显示在显示屏上。
13.一种存储有指令集的非暂态计算机可读介质，所述指令在被执行时使处理器执行根据权利要求12所述的方法。
CN202080018175.9A 2019-03-02 2020-02-06 成像系统和方法 Pending CN113508574A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1902845.5A GB2582262B (en) 2019-03-02 2019-03-02 Imaging system and method
GB1902845.5 2019-03-02
PCT/EP2020/052927 WO2020177970A1 (en) 2019-03-02 2020-02-06 Imaging system and method

Publications (1)

Publication Number Publication Date
CN113508574A true CN113508574A (zh) 2021-10-15

Family

ID=66377367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018175.9A Pending CN113508574A (zh) 2019-03-02 2020-02-06 成像系统和方法

Country Status (5)

Country Link
US (2) US11833968B2 (zh)
EP (1) EP3935826A1 (zh)
CN (1) CN113508574A (zh)
GB (1) GB2582262B (zh)
WO (1) WO2020177970A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2582323B (en) * 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method
JP7294267B2 (ja) * 2020-08-05 2023-06-20 トヨタ自動車株式会社 車両用監視装置
GB2599380A (en) * 2020-09-30 2022-04-06 Roadmetric Ltd Measuring vehicle speeds with an uncalibrated camera
EP4012330A1 (en) * 2020-12-10 2022-06-15 Volvo Truck Corporation A system and method for estimating an articulation angle of an articulated vehicle combination

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2529408A (en) * 2014-08-18 2016-02-24 Jaguar Land Rover Ltd Display system and method
EP3028898A1 (de) * 2014-12-05 2016-06-08 MEKRA LANG GmbH & Co. KG Sichtsystem
CN106218506A (zh) * 2015-06-02 2016-12-14 Lg电子株式会社 车辆显示装置和包括该车辆显示装置的车辆
CN106573577A (zh) * 2014-08-18 2017-04-19 捷豹路虎有限公司 显示系统和方法
GB201709972D0 (en) * 2017-06-22 2017-08-09 Jaguar Land Rover Ltd Method of displaying an image
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
CN107848465A (zh) * 2015-05-06 2018-03-27 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
WO2018149665A1 (en) * 2017-02-16 2018-08-23 Jaguar Land Rover Limited Apparatus and method for displaying information

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP2013255237A (ja) * 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
TWI533694B (zh) * 2013-12-18 2016-05-11 歐特明電子股份有限公司 車用障礙物偵測顯示系統
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6311646B2 (ja) * 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
US20180154831A1 (en) * 2016-07-29 2018-06-07 Faraday&Future Inc. Composite display from one or more cameras
DE102016114689A1 (de) * 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
GB2566524B (en) * 2017-09-18 2021-12-15 Jaguar Land Rover Ltd Image processing method and apparatus
GB201718176D0 (en) * 2017-11-02 2017-12-20 Jaguar Land Rover Ltd Display method and apparatus
JP2021536599A (ja) * 2018-08-14 2021-12-27 モービルアイ ビジョン テクノロジーズ リミテッド 安全な距離でナビゲートするためのシステム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2529408A (en) * 2014-08-18 2016-02-24 Jaguar Land Rover Ltd Display system and method
CN106573577A (zh) * 2014-08-18 2017-04-19 捷豹路虎有限公司 显示系统和方法
EP3028898A1 (de) * 2014-12-05 2016-06-08 MEKRA LANG GmbH & Co. KG Sichtsystem
CN107848465A (zh) * 2015-05-06 2018-03-27 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
CN106218506A (zh) * 2015-06-02 2016-12-14 Lg电子株式会社 车辆显示装置和包括该车辆显示装置的车辆
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
WO2018149665A1 (en) * 2017-02-16 2018-08-23 Jaguar Land Rover Limited Apparatus and method for displaying information
GB201709972D0 (en) * 2017-06-22 2017-08-09 Jaguar Land Rover Ltd Method of displaying an image

Also Published As

Publication number Publication date
WO2020177970A1 (en) 2020-09-10
GB201902845D0 (en) 2019-04-17
US20220118910A1 (en) 2022-04-21
US20240109490A1 (en) 2024-04-04
US11833968B2 (en) 2023-12-05
GB2582262A (en) 2020-09-23
GB2582262B (en) 2022-09-28
EP3935826A1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
US11553153B2 (en) Display system and method
US11833968B2 (en) Imaging system and method
US11263758B2 (en) Image processing method and apparatus
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
GB2544158A (en) Display system and method
GB2529408A (en) Display system and method
CN113614779A (zh) 图像处理系统和方法
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
US20230097950A1 (en) Determining a current focus area of a camera image on the basis of the position of the vehicle camera on the vehicle and on the basis of a current motion parameter
US20200231099A1 (en) Image processing apparatus
GB2611615A (en) Imaging system and method
GB2597866A (en) Image processing method and apparatus
CN116101174A (zh) 车辆的碰撞提醒方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination