CN111480175A - 具有显示与广角图像的至少一个失真部分邻接的广角图像的未失真部分的显示器的相机监视系统 - Google Patents

具有显示与广角图像的至少一个失真部分邻接的广角图像的未失真部分的显示器的相机监视系统 Download PDF

Info

Publication number
CN111480175A
CN111480175A CN201880081172.2A CN201880081172A CN111480175A CN 111480175 A CN111480175 A CN 111480175A CN 201880081172 A CN201880081172 A CN 201880081172A CN 111480175 A CN111480175 A CN 111480175A
Authority
CN
China
Prior art keywords
wide
camera
surveillance system
image
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880081172.2A
Other languages
English (en)
Inventor
尼古拉斯·贝内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Truck Corp
Original Assignee
Volvo Truck Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Truck Corp filed Critical Volvo Truck Corp
Publication of CN111480175A publication Critical patent/CN111480175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

此相机监视系统(20)旨在向用户提供由相机捕获的场景的视图。为此，相机监视系统(20)包括用于捕获场景的广角图像的广角相机(22A、22B)，用于确定场景中的感兴趣区域的确定单元(28)，用于提供广角图像的包括感兴趣区域的未失真部分的图像处理系统(24A、24B)，以及用于显示广角图像的连续的所显示图像的显示器(26A、26B)。所显示图像包括与广角图像的至少一个失真部分邻接的未失真部分。

Description

具有显示与广角图像的至少一个失真部分邻接的广角图像的 未失真部分的显示器的相机监视系统
技术领域
本发明涉及一种用于向用户提供由相机捕获的场景的视图的相机监视系统。
该相机监视系统更具体地旨在向用户提供由用户驾驶的车辆的环境的视图。
背景技术
常规地，机动车辆配备有后视镜，以向机动车辆的驾驶员提供车辆的侧面的视图。这些后视镜通常分为提供不同的视场的两部分。通常，后视镜的最靠近驾驶员的部分由主外后视镜组成，而后视镜的更远离驾驶员较远的部分由广角外视镜组成。
这些镜具有不同的水平平均放大因数，所述水平平均放大因数包括由驾驶员在镜上所感知的对象的角度大小与如位于后视镜的位置处的观察者将看到的对象的角度大小之间的关系；主外后视镜的水平平均放大因数最高，而广角外视镜的水平平均放大因数较低。
几个标准更精确地定义了主外后视镜和广角外镜必须满足的要求。在欧洲，该定义由联合国欧洲经济委员会第46号法规“Uniform provisions concerning the approvalof devices for indirect vision and of motor vehicles with regard to theinstallation of these devices(关于批准用于间接视觉的设备和安装这些设备的机动车辆的统一规定)”提供，其中主外后视镜被定义为二类镜，并且广角外镜被定义为四类镜。
然而，镜的使用并不令人满意，我们现在迎来利用包括用于捕获车辆侧面的视图的相机和用于显示由相机捕获的视图的屏幕的相机监视系统代替传统的后视镜的趋势。这些相机监视系统旨在提供至少由常规镜提供的功能，并因此提供与由主外后视镜提供的视图相对应的视图以及与由广角外镜提供的视图相对应的视图。
最常见的解决方案包括向相机监视系统提供最靠近驾驶员的第一屏幕，该屏幕提供类似于主外后视镜提供的视图的第一视图，以及在邻接第一屏幕的同时更远离驾驶员的第二屏幕，所述第二屏幕提供类似于由广角外镜提供的视图的第二视图。
然而，这种解决方案在其装备拖车卡车时并不令人满意。实际上，常见的是，当卡车转弯时，拖车的端部将离开由第一屏幕提供的图像，并进入由第二屏幕提供的图像，其中驾驶员将因为最低的水平平均放大因数而具有错误的距离估计。而且，尽管利用传统的镜，可以通过驾驶员抬起他的头来规避这个问题，但是对于相机监视系统的屏幕不再是可能的。
发明内容
因此，本发明的一个目的是允许向拖车卡车的驾驶员提供其卡车侧面的视图，这将帮助驾驶员评估在他将必须引起他的注意的关键区域中的距离。本发明的其他目的是以一种对驾驶员来说将是人体工程学的方式提供该视图，并限制提供该视图所必需的计算。
为此，本发明涉及一种相机监视系统，其包括：
-广角相机，用于捕获场景的广角图像，
-确定单元，用于确定场景中的感兴趣区域，
-图像处理系统，用于提供广角图像的包括感兴趣区域的未失真部分，以及
-显示器，用于显示广角图像的连续的所显示图像，该所显示图像包括与广角图像的至少一个失真部分邻接的未失真部分。
根据本发明的特定实施例，相机监视系统还具有以下特征中的一个或多个特征，这些特征被单独地或根据任何技术上可能的组合考虑：
-广角图像具有第一预设极限和第二预设极限，并且所显示图像具有第一相对边界和第二相对边界，该失真部分或每个失真部分介于未失真部分与第一边界和第二边界中的相应的一个边界之间，显示器被配置为独立于感兴趣区域的位置，在第一边界处显示第一预设极限和在第二边界处显示第二预设极限；
-未失真部分具有沿着所显示图像的第一方向的第一平均放大因数和沿着所显示图像的与第一方向正交的第二方向的第二平均放大因数，第一和第二平均放大因数基本上彼此相等；
-第一和第二边界沿着第二方向彼此间隔开，并且优选地基本上平行于第一方向；
-该失真部分或每个失真部分具有沿着第一方向的初级平均放大因数和沿着第二方向的次级平均放大因数，初级平均放大因数基本上等于第一平均放大因数，次级平均放大因数小于第二平均放大因数；
-对于该所显示失真部分或每个所显示失真部分，所述未失真部分具有与所述失真部分接触的界面边缘，所述界面边缘沿着第一方向延伸；
-第一平均放大因数被包括在0.2和1.0之间；
-确定单元包括用于跟踪用户头部的移动的头部跟踪单元；
-确定单元包括用于跟踪用户注视方向的移动的注视跟踪单元；
-显示器被配置用于取决于场景中感兴趣区域的位置来使所显示图像中的未失真部分移位；以及
-广角相机被配置用于以预确定频率刷新广角图像。
本发明还涉及一种包括以上所定义的相机监视系统的机动车辆，广角相机被朝向车辆的后方定向，显示器包括在其上呈现所显示图像的显示表面，所述显示表面位于驾驶员的视场中。
根据本发明的特定实施例，机动车辆还具有以下特征：
-确定单元包括拖车跟踪单元，用于跟踪拖车相对于牵引车的位置。
本发明还涉及一种用于向用户提供由相机捕获的场景的视图的方法，其中，所述方法包括：
-使用广角相机捕获场景的广角图像，
-确定场景中的感兴趣区域，
-提供广角图像的包括感兴趣区域的未失真部分，以及
-显示广角图像的连续的所显示图像，该所显示图像包括与广角图像的至少一个失真部分邻接的未失真部分。
附图说明
在阅读以下仅作为示例提供并参考附图进行的描述之后，本发明的其他特征和优点将显而易见，在其中：
图1是根据本发明的机动车辆的俯视图，
图2是图1的机动车辆的相机监视系统的框图，
图3是图1的车辆的驾驶员的舱室的内部的视图，
图4是由图2的相机监视系统的相机提供的第一广角图像的视图。
图5是由图2的相机监视系统的显示器提供的与图4的广角图像相对应的第一所显示图像的视图。
图6是由图2的相机监视系统的相机提供的第二广角图像的视图，以及
图7是由图2的相机监视系统的显示器提供的与图6的广角图像相对应的第二所显示图像的视图。
具体实施方式
图1的机动车辆10包括拖车卡车。它以已知的方式包括牵引车12和由牵引车12拖曳的拖车14。牵引车12容纳旨在用于卡车10的驾驶员的舱室16(图3)。
在下文中，定向术语旨在参考图1所示的机动车辆的通常的正交定向参考系，并且该正交定向参考系包括：
-纵向轴线X，该纵向轴线X从后部朝向前部定向，
-横向轴线Y，该横向轴线Y从右朝向左定向，以及
-竖直轴线Z，该竖直轴线Z从底部朝向顶部定向。
卡车10的驾驶员坐在舱室16中时，通常朝卡车10正行驶的卡车10前方的道路看。但是，对于某些机动操作，驾驶员需要具有卡车10侧面的视图，同时注视卡车10前方的道路。由于这些侧面在驾驶员的视场之外，因此需要一种设备来向驾驶员提供所需的视图。
为此，卡车10包括图2所示的相机监视系统20。该相机监视系统20优选地仅在牵引车12上。
该相机监视系统20包括两个相机22A、22B，每个相机能够捕获各自场景的图像，以及针对每个相机22A、22B的图像处理系统24A、24B和显示器26A、26B。相机监视系统20进一步包括：确定单元28，该确定单元28用于为每个相机22A、22B确定由相机22A、22B成像的场景中的感兴趣区域；以及配置单元30，该配置单元30用于配置每个显示器26A、26B。
如图1所示，相机22A、22B的第一个相机22A设置在牵引车12的左侧上，而第二相机22B设置在牵引车12的右侧上。两个相机22A、22B朝向卡车10的后部定向，这意味着由每个相机22A、22B成像的场景位于相机22A、22B的后方。换句话说，每个相机22A、22B的视场32A、32B在从相机22A、22B向后延伸的方向定中。
每个相机22A、22B被特别地定向成使得其视场32A、32B包括牵引车12的相应侧34A、34B。
每个相机22A、22B特别地由广角相机组成，这意味着每个相机22A、22B能够捕获由相机成像的场景的广角图像。换句话说，相机22A、22B的视场32A、32B的角度范围较宽，即，宽于20度。
更具体地，是相机22A、22B的视场32A、32B的较宽的水平角度范围。相机22A、22B中的任何一个的视场的垂直角度范围不必宽。优选地，两个相机22A、22B的视场的竖直角度范围被包括在5度和20度之间。
因此，由相机22A、22B提供的图像失真，如在图4和6中可以看到的，其中提供了由右相机22B捕获的图像的示例50、52。“失真”是指这些图像的放大因数在固定的工作距离处在整个视场上变化。换句话说，如在图像50、52中所示的对象的尺寸与如由相机22A、22B所看到的对象的角度大小之间的关系取决于对象在图像50、52中的位置而变化。如在这些图像50、52上可以看到的，由于这种失真的结构，诸如拖车14的边缘54、56的右线在图像50、52上显得弯曲。
每个相机22A、22B被配置用于以预确定频率刷新其各自场景的图像，所述频率优选被包括在每秒40帧和80帧之间，优选在每秒50帧和70帧之间。
显示器26A、26B包括与第一相机22A相关联的第一显示器26A和与第二相机22B相关联的第二显示器26B。每个显示器26A、26B被配置用于在卡车10的驾驶员的视场中显示由其相关联的相机22A、22B捕获的图像的所显示图像。在图5和6上提供了分别对应于广角图像50和52的这种显示器图像的示例60、62。
为此，参照图3，分别为26A、26B的每个显示器，包括分别分别在其上呈现图像的36A、36B的显示表面，所述显示表面36A、36B位于卡车10的驾驶员的视场中。每个显示器26A、26B进一步包括用于在所述表面36A、36B上显示所显示图像的显示管理单元(未示出)。
在所示的示例中，每个显示器26A、26B的显示表面36A、36B包括屏幕。
每个显示器26A、26B的显示表面36A、36B设置在舱室16的与相关联的相机22A、22B的同一侧上。因此，第一显示器26A的显示表面36A设置在舱室16的左侧，而第二显示器26B的显示表面36B设置在舱室16的右侧。
距方向盘38最远的显示表面36A、36B大于其他显示表面36A、36B。在所示的示例中，方向盘38设置在舱室16的左侧；因此，最大的显示表面是显示表面36B。
每个显示表面36A、36B由框架39界定，该框架39包括最靠近牵引车12的纵向中间平面M(图1)的内边界40和最远离所述纵向中间平面M的外边界42。内边界40和外边界42因此彼此横向地间隔开。有利的是，内边界40和外边界42均基本上竖直定向。
配置单元30被配置用于将第一预设极限44和第二预设极限45设置到广角图像50、52，使得所显示图像60、62仅呈现广角图像50、52的被包括在所述预设极限44、45之间的一部分。这些预设极限44、45沿着水平方向彼此间隔开。
如上所述，确定单元28被配置用于针对每个相机22A、22B确定由相机22A、22B成像的场景中的感兴趣区域。为此，确定单元28通常包括用于跟踪驾驶员的注视方向的注视跟踪单元(未示出)和被配置用于取决于注视方向来确定场景中的感兴趣区域的位置的主计算器(未示出)。例如，主计算器被配置为当注视方向朝向与所述相机22A相关联的显示器26A、26B的显示表面36A、36B而被定向时，确定在由相机22A、22B成像的场景中存在感兴趣区域。主计算器进一步被配置为确定感兴趣区域在相机22A、22B的视场的角扇区中，该角扇区随着注视方向与内边界40的距离增加而越来越远离中间平面M。换句话说，主计算器在注视方向距内边界40的距离与感兴趣区域的视角之间提供了双射(bijection)，该感兴趣区域的角度被定义为纵向中间平面M与连接感兴趣区域与相机22A、22B的方向之间的角度，所述双射是递增函数。
可替选地，确定单元28包括：头部跟踪单元(未示出)，该头部跟踪单元用于跟踪驾驶员的头部的移动；以及主计算器(未示出)，该主计算器被配置用于取决于所述头部的位置来确定场景中的感兴趣区域的位置。例如，主计算器被配置为确定驾驶员向前倾斜越多，感兴趣区域的视角越大，所述视角被定义为在纵向中间平面M和连接感兴趣区域和相机22A、22B的方向之间的角度；换句话说，主计算器在驾驶员的头部距挡风玻璃43的距离的距离与感兴趣区域的视角之间提供双射，所述双射是递减函数。
在另一替代方案中，确定单元28包括：拖车跟踪单元(未示出)，该拖车跟踪单元用于跟踪拖车14相对于牵引车12的位置；以及主计算器(未示出)，该主计算器被配置用于取决于所述拖车14的位置来确定场景中感兴趣区域的位置。
拖车跟踪单元通常包括用于测量拖车14和牵引车12之间的角度的传感器。可替选地，拖车跟踪单元包括图像处理系统，该图像处理系统用于在由相机22A、22B提供的图像中识别拖车14的后端46(图1)的位置以及辅助计算器，该辅助计算器被配置用于推导拖车14相对于牵引车12的位置。在另一替代中，拖车跟踪单元包括用于测量牵引车12的转向角和牵引车12的速度的传感器，以及辅助计算器，该辅助计算器被配置为推导拖车14相对于牵引车12的位置。在后两种情况下，辅助计算器可以与主计算器合并。
主计算器然后被配置用于确定感兴趣区域包括拖车14的后端46位于其中的场景的区域。
在另一替代方案中，确定单元28包括上述注视跟踪单元、头部跟踪单元和拖车跟踪单元中的至少两个。在这种情况下，主计算器被配置用于从由不同跟踪单元提供的若干条信息中推导出感兴趣区域的位置。
每个图像处理系统24A、24B被配置用于接收由相机22A、22B中的各个相机捕获的广角图像。每个图像处理系统24A、24B进一步被配置用于从确定单元28接收指示当确定单元28已经确定在所述场景中存在这样的感兴趣区域时，由所述相应的相机22A、22B成像的场景中的感兴趣区域的位置的信号。
每个图像处理系统24A、24B被配置为处理由相应的相机22A、22B捕获的广角图像，以便提供所显示图像60、62，所显示图像60、62包括包含由确定单元28确定的感兴趣区域的未失真部分64，以及至少一个失真部分66、68。
“未失真部分”是指由所述部分64提供的放大因数在整个部分64中是恒定的。换句话说，如在部分64中示出的对象的尺寸与如由相机22A、22B所看到的对象的角度大小之间的关系对于在未失真部分中示出的每个对象是相同的。结果，在所述未失真部分64中正确地示出了右线，例如拖车14的边缘54、56。
图像处理系统24A、24B被配置为提供所显示图像60、62使得未失真部分64邻接至少一个失真部分66、68。因此，对于每个失真部分66、67，未失真部分64具有与所述失真部分66、67接触的界面边缘68、69。
图像处理系统24A、24B进一步被配置为提供所显示图像60、62，使得所显示图像60、62是连续的，即，使得在图像60、62中，特别是在未失真部分64和至少一个失真部分66、67之间的界面处不存在间断。
图像处理系统24A、24B被配置为在框架70内提供所显示图像60、62，所述框架70具有与相应显示器26A、26B的显示表面36A、36B的框架39相同的形状和相同的比率。
该框架70具有外边界72、内边界74、上边界76和下边界78，上边界76和下边界78沿着第一方向D1彼此间隔开，同时基本上彼此平行，外边界72和内边界74沿着第二方向D2彼此间隔开，同时基本上彼此平行。优选地，如图所示，外边界72和内边界74基本上平行于第一方向D1，并且上边界76和下边界78基本上平行于第二方向D2。此外，如图所示，第一方向D1和第二方向D2有利地基本上彼此正交。
图像处理系统24A、24B被配置为提供所显示图像60、62，使得内边界74由广角图像50、52的第一预设极限44组成，而外边界45由广角图像50、52的第二预设极限45组成，无论场景中感兴趣区域的位置如何。
图像处理系统24A、24B被配置为提供插入在未失真部分64与外边界72和内边界74中的相应一个边界之间的该失真部分66、67或每个失真部分66、67。
图像处理系统24A、24B进一步被配置为使得未失真部分64的该界面边缘68、69或每个界面边缘68、69沿着第一方向D1延伸。
图像处理系统24A、24B被配置为向未失真部分64提供沿着第一方向D1的第一平均放大因数，和沿着第二方向D2的第二平均放大因数，第二平均放大因数基本上等于第一平均放大因数。第一放大因数特别地被包括在0.2和1.0之间。
图像处理系统24A、24B进一步被配置为向该失真部分66或每个失真部分66提供沿着第一方向D1的初级平均放大因数，和沿着第二方向D2的次级平均放大因数。初级平均放大因数基本上等于第一放大因数，而次级平均放大因数小于第二放大因数。
图像处理系统24A、24B被配置为独立于场景中的感兴趣区域的位置，向未失真部分64提供沿着第二方向D2的固定宽度。所述宽度优选地是所显示图像60、62的从外边界72到内边界74测量的宽度的一半以上。例如，未失真部分64的宽度大约是所显示图像60、62的宽度的三分之二。
图像处理系统24A、24B被配置为使未失真部分64居中在感兴趣区域上并且取决于场景中感兴趣区域的位置来将未失真部分64在所显示图像60、62中移位。因此，如图4和图5所示，如果感兴趣区域距预设极限44、45比未失真部分64的宽度的一半更近，则未失真部分64邻接抵靠所显示图像60、62的内边界72或外边界74，并且在未失真部分64和相对边界72、74之间提供广角图像50的单个失真部分66。如图6和7所示，如果感兴趣区域距两个预设极限44、45比未失真部分64的宽度的一半更远，则未失真部分64与所显示图像60、62的内边界72和外边界74两者都间隔开，并且广角图像50的失真部分66、67设置在所述未失真部分64与内边界72和外边界74两者之间的未失真部分64的两侧上。
相应的显示器26A、26B被配置为显示由图像处理系统24A、24B提供的所显示图像60、62，所显示图像60、62的框架70与显示表面36A、36B的框架39匹配，内边界74与内边界40匹配，外边界72与外边界42匹配。
现在将描述由相机监视系统20实施的向驾驶员提供卡车侧视图的方法。
首先，卡车10正一直向前前进。然后使拖车14与牵引车12对准，并且由右相机22B捕获的图像则是图4所示的图像50。
确定单元28然后确定感兴趣区域是拖车14的后端46所在的角扇区。可以通过相对于牵引车12定位拖车14或通过识别驾驶员的眼睛或头部移动来做出确定，该驾驶员的眼睛或头部移动示出驾驶员对所述角扇区的兴趣。
确定单元28将该信息提供给图像处理系统24B，该图像处理系统24B提供图5的所显示图像60。然后，该图像由显示器26B显示在显示表面36B上。
然后卡车10向右转。结果，拖车14不再与牵引车12对准，而是朝向牵引车12的右侧移动。由右相机22B捕获的图像则是图6所示的图像52。
确定单元28然后确定感兴趣区域是拖车14的后端46位于其中的角扇区。可以通过相对于牵引车12定位拖车14或通过识别驾驶员的眼睛或头部移动来做出确定，该驾驶员的眼睛或头部移动示出驾驶员对所述角度扇区的兴趣。
该信息由确定单元28提供给图像处理系统24B，该图像处理系统24B提供图7的所显示图像62，其中未失真部分64已相对于图像60被移位。然后，该图像由显示器26B显示在显示表面36B上。
由于未失真部分64的移位，驾驶员具有定位在拖车14的后端46的右侧上的元件的更好的视图，并且因此可以更容易地评估这些对象与后端46的距离。

Claims (14)

1.一种用于向用户提供由相机捕获的场景的视图的相机监视系统(20)，所述相机监视系统(20)包括用于捕获场景的广角图像(50、52)的广角相机(22A、22B)，其特征在于，所述相机监视系统(20)进一步包括：
-确定单元(28)，所述确定单元用于确定所述场景中的感兴趣区域，
-图像处理系统(24A、24B)，所述图像处理系统用于提供所述广角图像(50、52)的包括所述感兴趣区域的未失真部分(64)，以及
-显示器(26A、26B)，所述显示器用于显示所述广角图像(50、52)的连续的所显示图像(60、62)，所显示图像(60、62)包括与所述广角图像(50、52)的至少一个失真部分(66、67)邻接的未失真部分(64)。
2.根据权利要求1所述的相机监视系统(20)，其中，所述广角图像(50、52)具有第一预设极限(44)和第二预设极限(45)，并且所显示图像(60、62)具有第一相对边界(72)和第二相对边界(74)，所述失真部分(66、67)或每个失真部分(66、67)被插入在所述未失真部分(64)与所述第一边界(72)和所述第二边界(72、74)中的相应一个边界之间，所述显示器(26A、26B)被配置为独立于所述感兴趣区域的位置，在所述第一边界(74)处显示所述第一预设极限(44)并且在所述第二边界(72)处显示所述第二预设极限(45)。
3.根据权利要求1或2所述的相机监视系统(20)，其中，所述未失真部分(64)具有沿着所显示图像(60、62)的第一方向(D1)的第一平均放大因数和沿着所显示图像(60、62)的与所述第一方向(D1)正交的第二方向(D2)的第二平均放大因数，所述第一平均放大因数和所述第二平均放大因数基本上彼此相等。
4.根据一起考虑权利要求2和3所述的相机监视系统(20)，其中，所述第一边界(72)和所述第二边界(74)沿着所述第二方向(D2)彼此间隔开，并且优选地基本上平行于所述第一方向(D1)。
5.根据权利要求3或4所述的相机监视系统(20)，其中，所述失真部分(66、67)或每个失真部分(66、67)具有沿着所述第一方向(D1)的初级平均放大因数和沿着所述第二方向(D2)的次级平均放大因数，所述初级平均放大因数基本上等于所述第一平均放大因数，所述次级平均放大因数小于所述第二平均放大因数。
6.根据权利要求3到5中任一项所述的相机监视系统(20)，其中，对于所述所显示失真部分(66、67)或每个所显示失真部分(66、67)，所述未失真部分(64)具有与所述失真部分(66、67)接触的界面边缘(68、69)，所述界面边缘(68、69)沿着所述第一方向(D1)延伸。
7.根据权利要求3到6中任一项所述的相机监视系统(20)，其中，所述第一平均放大因数被包括在0.2和1.0之间。
8.根据前述权利要求中的任一项所述的相机监视系统(20)，其中，所述确定单元(28)包括用于跟踪所述用户的头部的移动的头部跟踪单元。
9.根据前述权利要求中的任一项所述的相机监视系统(20)，其中，所述确定单元(28)包括用于跟踪用户的注视方向的移动的注视跟踪单元。
10.根据前述权利要求中的任一项所述的相机监视系统(20)，其中，所述显示器(26A、26B)被配置用于取决于所述场景中的所述感兴趣区域的位置来使所显示图像(60、62)中的所述未失真部分(64)移位。
11.根据前述权利要求中的任一项所述的相机监视系统(20)，其中，所述广角相机(22A、22B)被配置用于以预确定频率刷新所述广角图像(50、52)。
12.一种机动车辆(10)，包括根据前述权利要求中的任一项所述的相机监视系统(20)，所述广角相机(22A、22B)被朝向所述车辆(10)的后部定向，所述显示器(26A、26B)包括在其上呈现所显示图像(50、52)的显示表面(36A、36B)，所述显示表面(36A、36B)被定位于所述车辆(10)的驾驶员的视场中。
13.根据权利要求12所述的机动车辆(10)，包括牵引车(12)和拖车(14)，其中，所述确定单元(28)包括用于跟踪所述拖车(14)相对于所述牵引车(12)的位置的拖车跟踪单元。
14.一种用于向用户提供由相机捕获的场景的视图的方法，其特征在于，所述方法包括：
-利用广角相机(22A、22B)捕获场景的广角图像(50、52)，
-确定所述场景中的感兴趣区域，
-提供所述广角图像(50、52)的包括所述感兴趣区域的未失真部分(64)，以及
-显示所述广角图像(50、52)的连续的所显示图像(60、62)，所显示图像(60、62)包括与所述广角图像(50、52)的至少一个失真部分(66、67)邻接的所述未失真部分(64)。
CN201880081172.2A 2018-01-05 2018-01-05 具有显示与广角图像的至少一个失真部分邻接的广角图像的未失真部分的显示器的相机监视系统 Pending CN111480175A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/000137 WO2019135099A1 (en) 2018-01-05 2018-01-05 Camera monitoring system with a display displaying an undistorted portion of a wide angle image adjoining at least one distorted portion of the wide angle image

Publications (1)

Publication Number Publication Date
CN111480175A true CN111480175A (zh) 2020-07-31

Family

ID=61627130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880081172.2A Pending CN111480175A (zh) 2018-01-05 2018-01-05 具有显示与广角图像的至少一个失真部分邻接的广角图像的未失真部分的显示器的相机监视系统

Country Status (4)

Country Link
US (1) US11613207B2 (zh)
EP (1) EP3735673A1 (zh)
CN (1) CN111480175A (zh)
WO (1) WO2019135099A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11220214B1 (en) * 2020-08-04 2022-01-11 Robert Bosch Gmbh Vehicle viewing system and method including electronic image displays for rearward viewing by a driver

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481875A (zh) * 2009-09-11 2012-05-30 爱信精机株式会社 车辆周围监视装置
CN103310411A (zh) * 2012-09-25 2013-09-18 中兴通讯股份有限公司 一种图像局部增强方法和装置
CN105379268A (zh) * 2013-01-28 2016-03-02 微软技术许可有限责任公司 在视频编码中适应鲁棒性
US20160176344A1 (en) * 2013-08-09 2016-06-23 Denso Corporation Image processing apparatus and image processing method
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US8994825B2 (en) * 2011-07-28 2015-03-31 Robert Bosch Gmbh Vehicle rear view camera system and method
US9998659B2 (en) * 2012-03-01 2018-06-12 Geo Semiconductor Inc. Method and system for adaptive perspective correction of ultra wide-angle lens images
US20130278715A1 (en) * 2012-03-16 2013-10-24 Mark Nutsch System and method for discreetly collecting 3d immersive/panoramic imagery
US10946798B2 (en) 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
DE102014018040A1 (de) 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481875A (zh) * 2009-09-11 2012-05-30 爱信精机株式会社 车辆周围监视装置
CN103310411A (zh) * 2012-09-25 2013-09-18 中兴通讯股份有限公司 一种图像局部增强方法和装置
CN105379268A (zh) * 2013-01-28 2016-03-02 微软技术许可有限责任公司 在视频编码中适应鲁棒性
US20160176344A1 (en) * 2013-08-09 2016-06-23 Denso Corporation Image processing apparatus and image processing method
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统

Also Published As

Publication number Publication date
WO2019135099A1 (en) 2019-07-11
EP3735673A1 (en) 2020-11-11
US20210178967A1 (en) 2021-06-17
US11613207B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
US11553153B2 (en) Display system and method
US9457632B1 (en) Collision avoidance method including determining height of an object fixed to a vehicle
EP3431344B1 (en) Parking assistance device, onboard cameras, vehicle, and parking assistance method
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
US10269161B2 (en) Vehicular display device and vehicular display method
US20180186290A1 (en) Method for providing at least one information from an environmental region of a motor vehicle, display system for a motor vehicle driver assistance system for a motor vehicle as well as motor vehicle
US20130096820A1 (en) Virtual display system for a vehicle
JP6035298B2 (ja) ビジュアルシステム
WO2017037267A1 (en) Display system and method
EP1669243A1 (en) Vehicular visual assistance system
GB2529408A (en) Display system and method
KR20180085718A (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US11833968B2 (en) Imaging system and method
CN113614779A (zh) 图像处理系统和方法
CN111480175A (zh) 具有显示与广角图像的至少一个失真部分邻接的广角图像的未失真部分的显示器的相机监视系统
US10933812B1 (en) Outside-vehicle environment monitoring apparatus
US11400861B2 (en) Camera monitoring system
US20230125045A1 (en) Trailer end tracking in a camera monitoring system
EP4361999A1 (en) Camera monitor system with angled awareness lines
Nishiguchi et al. Image Processing Method for Speed Perception with Side View Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination