CN107409188A - 用于基于照相机的显示系统的图像处理 - Google Patents

用于基于照相机的显示系统的图像处理 Download PDF

Info

Publication number
CN107409188A
CN107409188A CN201680016205.6A CN201680016205A CN107409188A CN 107409188 A CN107409188 A CN 107409188A CN 201680016205 A CN201680016205 A CN 201680016205A CN 107409188 A CN107409188 A CN 107409188A
Authority
CN
China
Prior art keywords
visual field
image data
described image
controller
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680016205.6A
Other languages
English (en)
Other versions
CN107409188B (zh
Inventor
T·B·谢尔曼
D·G·麦克米兰
G·S·布什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN107409188A publication Critical patent/CN107409188A/zh
Application granted granted Critical
Publication of CN107409188B publication Critical patent/CN107409188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种用于车辆的显示系统。该系统包括构造成在相对于车辆的后方的视域中捕获图像数据的成像器。该系统还包括显示装置和控制器。显示装置包括布置在车辆的客舱中的屏幕。控制器与成像器和显示装置通信。控制器可操作为处理图像数据以标识至少一个特征。基于至少一个特征在图像数据中的位置或定向，控制器调整用于显示在屏幕上的图像数据的所需视野的位置和定向中的至少一个。

Description

用于基于照相机的显示系统的图像处理
技术领域
本公开大致涉及用于车辆的显示系统，并且更具体地涉及一种相对于车辆提供后方视野的显示系统。
发明内容
根据本公开的一个方面，公开了一种用于车辆的显示系统。该系统包括构造成在相对于车辆的后方的视域中捕获图像数据的成像器。该系统还包括显示装置和控制器。显示装置包括布置在车辆的客舱中的屏幕。控制器与成像器和显示装置通信。控制器可操作为处理图像数据以标识至少一个特征。基于至少一个特征在图像数据中的位置或定向，控制器调整用于显示在屏幕上的图像数据的所需视野的位置和定向中的至少一个。
根据本公开的另一个方面，公开了一种用于显示对于车辆的后方导向视域的方法。该方法包括在视域中捕获图像数据以及处理图像数据以标识至少一个特征。该方法还包括响应于至少一个特征在图像数据中的位置或定向，调整图像数据的所需视野的位置和定向中的至少一个。所需视野显示在车辆的后部视野显示器上。
根据本公开的再一个方面，公开了一种用于显示对于车辆的后方导向视域的设备。该设备包括显示装置，显示装置包括布置在车辆的客舱中的屏幕。该设备还包括与显示装置通信的控制器和构造成捕获视域中的图像数据的成像器。控制器可操作为处理图像数据以标识道路的地平线和消视点中的至少一个。基于地平线和消视点中的至少一个的位置或定向，控制器可操作为调整用于显示在屏幕上的图像数据的所需视野的位置和定向中的至少一个。
本领域技术人员通过参考以下说明书、权利要求书和附图将进一步理解和了解本公开的这些以及其他特征、优势和目的。
附图说明
将从详细说明和附图中更加全面地理解本公开，其中：
图1是示出包括显示系统的车辆的示图；
图2是示出包括显示系统的车辆的示图；
图3是对应于由显示系统的成像器捕获的景象的图像数据的示图；
图4是构造成调整由成像器捕获的图像数据以显示图像数据的所需或最佳视野的显示装置的主视图；
图5是示出调整用于由显示系统显示的图像数据的方法的进程图；以及
图6是根据本公开的显示系统的框图。
具体实施方式
当前示出的实施例主要在于与图像传感器系统及其方法相关的方法步骤和设备部件的组合。因此，已经提出了设备部件和方法步骤，在适当的情况下，通过附图中的通用符号仅示出与理解本公开的实施例有关的那些具体细节，以免通过对于受益于本文的说明书的本领域普通技术人员容易想到的细节来使本公开模糊。此外，说明书和附图中的相同附图标记表示相同元件。
在本文件中，比如为第一和第二、顶部和底部等的关系术语仅用于区别一个实体或动作与另一个实体或动作，而非必然要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变型旨在覆盖非排他性内容物，使得包括一系列元件的过程、方法、制品或设备不仅包括这些原件，而可以包括对于这些过程、方法、制品或设备而言未明确列出或固有的其他元件。
参照图1和图2，示出装备有显示系统12的车辆10。显示系统12包括构造成捕获对应于景象18的视域16的成像器14。视域16包括竖直分量16A和水平分量16B。成像器14构造成捕获对应于视域16的图像数据并且将图像数据显示在显示装置22上。显示装置22可操作为在图像数据显示在显示装置22的屏幕上时调整图像数据的所需视野24或最佳视野。所需视野24可以基于至少一个图像分析技术由显示系统12的控制器标识，并且在一些实施例中还可以结合用户偏爱以优化图像数据用于显示在显示装置22上。所需视野24可以对应于待显示在显示装置上的图像数据的重定位、成比例变化、修剪和/或按比例调整的视野。
显示装置22可以对应于构造成相对于车辆10提供后方导向视野的后部视野显示装置。在该结构中，显示系统12可操作为显示所捕获的对应于车辆10后面的景象的一系列图像。成像器14与控制器通信并且包括构造成以像素信息的形式捕获图像数据的像素阵列。在本文中所述的各个实施方式中，显示系统12构造成处理由成像器14捕获的图像数据并且应用至少一个图像分析技术以标识并显示所需视野24。
参照图1，所示出的车辆10的侧视图说明了视域16的竖直分量16A。所需视野24的竖直分量24A示出为对应于视域16的竖直分量16A的一部分。所需视野24可以包括示出为从成像器14的视域16的中心焦点28的角偏移的竖直偏移26。中心焦点28可以对应于视域16的竖直分量16A和水平分量16B的中心。
参照图2，所示出的车辆10的俯视图说明了视域16的水平分量16B。所需视野24的水平分量24B示出为对应于水平分量16B的一部分。水平偏移30示出为从视域16的中心焦点28的角偏移。
如图1和图2所示，可以基于用户偏爱和对图像数据中标识的一个或多个特征的响应中的至少一个施加竖直偏移26和水平偏移30。作为一个例子，竖直偏移26示出为沿竖直方向偏移图像数据，使得图像数据根据图像数据中的竖直基准线一致地显示。这种情况下，可以至少部分地施加偏移以修正由于挂车31压下车辆10的后部而引起的成像器14的角度。可以基于道路32的消视点和/或在图像数据中标识的地平线以及用户偏爱中的至少一个施加水平偏移。另外，控制器可以操作为向图像数据标识以及施加旋转偏移，从而如本文中进一步说明地显示所需视野24。
在一些实施例中，所需视野24的竖直分量24A和/或水平分量24B的变化可能由于道路32的表面的波动或变化(例如起伏、坑洼、路面减速突起等等)导致。在这些情况下，控制器可以构造成标识和/或追踪图像数据中的至少一个特征。基于至少一个特征，控制器可以调整所需视野24的位置和/或定向，以稳定所需视野24在图像数据中的外观。例如，如果控制器从第一帧到第二帧地标识至少一个特征在图像数据中的运动，则控制器可以调整竖直偏移26和/或水平偏移30以说明至少一个特征的运动。
现在参考图3和图4，示出由成像器14捕获的图像数据的视域16和所需视野24。图3示出对应于视域16的所捕获的图像数据。所需视野24显示为在图3显示的图像数据的一部分。显示在显示装置22的屏幕42上的所需视野也在图4中示出。
所需视野24示出为具有与标识在图像数据48中的所检测消视点46有关的中心参考点44。中心参考点可以对应于视域16的中心焦点28。所需视野24和中心参考点44可以经由向显示装置22的接口50的输入限定。中心参考点44可以限定为用户偏爱，用户偏爱可以作为相对于显示中心点54的显示偏移存储在控制器的存储器中。在该结构中，车辆10的操作人员可以设定限定所需视野24的至少一个用户偏爱。所需视野24可以根据道路56的消视点46、地平线62和可以标识在图像数据48中的各种特征限定为所需视野24的相对水平位置、竖直位置和旋转。接口50可以通过各种使用者输入和/或控制来实现，使用者输入和/或控制对于显示装置22可以是本地的和/或与显示装置22的控制器通信。例如，显示系统12和接口50可以实施或具体化为于2015年3月18日提交的名称为“Proximity control Devicefor Camera(用于照相机的近程控制装置)”的美国临时专利申请No.62/134,814中描述的元件或特征中的任一个，该美国临时专利申请的全部内容通过参引结合到本文中。
例如，控制器可以利用图像数据48中的消视点46的水平定位来标识消视点46的水平位置的改变。消视点46在图像数据48的当前帧中的水平位置的改变可以与消视点46在所需视野24中的水平位置相比，以相对于中心参考点44确定所需视野的水平偏移64。比如为道路56的大致中心66的位置、道路56的中心线70、道路56的至少一侧56A和56B等等的另外的特征可以通过控制器被类似地利用，以确定图像数据的水平偏移64从而获得所需视野24。
控制器可以利用标识在图像数据48中的地平线62的竖直定位，以标识地平线62的竖直位置的改变。地平线62在图像数据48的当前帧中的竖直位置的改变可以与地平线62在所需视野24中的竖直位置相比，以相对于中心参考点44确定所需视野24的竖直偏移74。比如为消视点46的另外的特征和可以标识在图像数据48中的各种特征可以类似地通过控制器利用，以确定图像数据48的竖直偏移74从而获得所需视野24。
控制器也可以利用标识在图像数据48中的地平线62的相对角或斜度，以标识地平线62的旋转变化。地平线62的旋转变化可以与地平线62在所需视野24中的旋转位置或定向相比，以确定所需视野24的旋转偏移76。比如为道路56的中心线70的位置、道路56的至少一侧56A和56B等等的另外的特征可被控制器相似地利用，以确定图像数据48的旋转偏移76从而获得所需视野24。
控制器可被构造成利用各种算法和方法以标识图像数据中的特征。例如，控制器可被构造成利用自适应边缘检测过程以标识道路56的车道和部分以便标识消视点46。另外，控制器可被构造成利用边界对比算法以通过检测图像数据48的一系列像素值的梯度阈值来检测地平线62。虽然本文中论述了特定的图像处理方法，但是介绍这些方法用于说明而非限制。这样，本公开不应限制于这些示例性实施例，除非另有明确说明。
自适应边缘检测过程可以利用边缘检测屏蔽以接近图像数据中像素位置处的梯度。如果像素满足对于强度值和梯度阈值的预定标准，则控制器可以将像素标识为候选的车道线像素。在处理对应于通过成像器14捕获的当前帧的图像数据时，利用候选的车道线像素来产生最佳拟合多项式，从而模拟道路56的车道线。在一些实施例中，最佳拟合多项式可以对应于三阶多项式。这样，候选的车道线像素可被用于产生可以对应于道路56的两侧的左侧车道线模型56A和右侧车道线模型56B。左侧车道线模型56A和右侧车道线模型56B可被用于确定可以对应于图像数据中的消视点46的道路56的两侧的交点。
控制器可以利用地平线边界对比算法以检测图像数据中的像素组，以便标识地平线62。像素组中的每一个可以对应于图像数据48中的连续像素的包含图像数据48的天空部分82与地面部分84之间的边界的部分或斑纹。地平线边界对比算法可以分析天空部分82与地面部分之间的对比度以确定地平线62的定位。可以通过竖直地计算图像数据中的像素强度以确定竖直梯度，来分析对比度。竖直梯度捕获像素的对应于天空部分82的强度或像素值与对应于地面部分84的强度或像素值的差异。通过识别天空部分82与地面部分84的边界，控制器可以操作为标识图像数据48中的地平线62。
在一些实施例中，控制器可以标识图像数据的各个特征以稳定和/或限制竖直分量24A和/或水平分量24B的位置中的变化。例如，控制器可被构造成检测图像数据中的一个或多个特征85或目标。上述特征可以对应于地平线62、消视点46、树86、路标、车辆88以及可以通过控制器在图像数据的多个图像帧中检测到的任何形式的物体。这样，控制器可被构造成检测图像数据中的各种目标，以调整所需视野的竖直分量24A和/或水平分量24B中的变化。这些变化可以响应于景象18相对于视域16的快速或逐渐变化。
在一些实施例中，所需视野24的竖直分量24A和/或水平分量24B的变化可能由于道路32的表面的波动(例如起伏、坑洼、路面减速突起等等)引起。在这些情况下，控制器可被构造成从第一帧到随后一帧地标识和/或追踪图像数据中的至少一个特征。基于至少一个特征，控制器可以调整所需视野24的位置和/或定向，以稳定所需视野24在图像数据中的外观。在示例性实施例中，控制器可以操作为检测一个或多个目标(例如树86、车辆88等等)以确定并且调整竖直偏移26和/或水平偏移30，从而说明至少一个物体的运动。在这些实施例中，可以通过控制器选择性地利用一个或多个目标以使所需视野24响应于在图像数据中不可被检测到的消视点46和地平线62中的一个或多个而偏移。
展示可以在显示系统12中实施的各种检测技术的系统在以下文献中进一步详细论述：由StevenG.Hoek等于2013年7月11日提交的名称为“STANDALONEBLINDSPOTDETECTIONSYSTEM(独立盲点检测系统)”的美国公开No.US2014/0015972A1；由OliverM.Jeromin等于2011年10月17日提交的名称为“IMAGEACQUISITIONANDPROCESSINGSYSTEMFORVEHICLEEQUIPMENTCONTROL(用于车辆设备控制的图像获取和处理系统)”的美国专利No.8,924,078；由JeremyC.Andrus等于2010年2月1日提交的名称为“DIGITALIMAGEPROCESSINGANDSYSTEMSINCORPORATINGTHESAME(数字图像处理和采用数字图像处理的系统)”的美国专利No.8,577,169；由JosephS.Stam等于2011年1月31日提交的名称为“IMAGEACQUISITIONANDPROCESSINGSYSTEMSFORVEHICLEEQUIPMENTCONTROL(用于车辆设备控制的图像获取和处理系统)”的美国专利No.8,065,053B2；以及由JeremyA.Schut等于2012年3月28日提交的名称为“VEHICULARIMAGINGSYSTEMANDMETHODFORDETERMININGROADWAYWIDTH(用于确定路面宽度的车辆成像系统和方法)”的美国专利No.8,543,254B1，上述文献的全部内容通过参引结合到本文中。
现在参考图5，所示出的流程图90展示了调整用于通过显示系统12显示的图像数据48的方法。该方法可以通过经由成像器14捕获图像数据48以及将图像数据48通信至控制器开始。控制器的至少一个处理器可被构造成在图像数据48上完成一个或多个图像处理步骤92，以确定消视点46、地平线62或可以标识在图像数据48中的任何其他特征。标识在图像数据48中的特征可被处理器用于标识所需视野24的水平偏移64、竖直偏移74和旋转偏移76中的至少一个。
一个或多个图像处理步骤92可以包括地平线检测步骤94、滚动检测步骤96和消视点检测步骤98。基于在图像处理步骤92中通过处理器标识的特征，处理器还可以操作为在一个或多个图像修正步骤102中修正图像数据，使得图像数据的定向与所需视野24对准。一个或多个处理器可以包括构造成处理图像修正步骤102的一个或多个模块。模块可以包括倾斜模块104、旋转模块106和扫视模块108。
地平线检测步骤94可被构造成检测图像数据48的地平线62。至少一个处理器的倾斜模块104可以利用标识在图像数据48中的地平线62的竖直定位，以向地平线62在图像数据48的当前帧中的竖直位置施加变化。地平线62的竖直位置的变化可以与地平线62在所需视野24中的竖直位置相比，以确定所需视野24相对于中心参考点44的竖直偏移74。比如为消视点46的另外的特征和可以标识在图像数据48中的各种特征可以类似地通过控制器利用，以确定图像数据的竖直偏移74从而获得所需视野24。
滚动检测步骤96可以构造成标识地平线62在图像数据48中的相对角，以标识视域16的旋转变化。一个或多个处理器的旋转模块106则可以通过比较地平线62在所需视野24中的旋转位置来标识地平线62的旋转变化，从而确定所需视野24的旋转偏移76。比如为道路56的中心线70的位置、道路56的至少一侧56A和56B等等的另外的特征可被一个或多个处理器相似地利用，以确定图像数据的旋转偏移76从而获得所需视野24。
消视点检测步骤98可以处理图像数据以确定消视点46在图像数据48中的至少水平定位。一个或多个处理器的扫视模块108则可以标识消视点46在图像数据48的当前帧中的水平位置的变化。消视点46的水平位置的变化可以与消视点46在所需视野24中的水平位置相比，以确定所需视野24相对于中心参考点44的水平偏移64。比如为道路56的大致中心66的位置、道路56的中心线70、道路56的至少一侧56A和56B等等的另外的特征可以通过一个或多个处理器被类似地利用，以确定图像数据的水平偏移64从而获得所需视野24。
在完成图像修正步骤102之后，控制器可以向显示装置22输出图像数据48的最佳或所需视野24。如上所述，显示装置22可以包括构造成接收至少一个输入以在用户输入步骤110中配置所需视野24和/或中心参考点44的位置和比例的接口50。所需视野24和参考点44可以限定为用户偏爱，用户偏爱可被作为图像数据的比例和相对于显示中心点54的显示偏移存储在控制器的存储器中。在该结构中，车辆10的操作人员可以设定限定所需视野24的至少一个用户偏爱。所需视野24可以根据道路56的消视点46、地平线62和可以标识在图像数据48中的各种特征限定为所需视野24的相对水平位置、竖直位置和旋转。
现在参考图6，示出显示系统12的框图。成像器14示出为与控制器112通信。成像器14的像素阵列可以对应于CMOS图像传感器，例如CMOS有源像素传感器(APS)或电荷耦合器件(CCD)。像素阵列中的每个像素可以对应于光传感器、光传感器阵列或构造成捕获光的任何传感器组。控制器112可以包括处理器114，处理器114可操作为处理在成像器14中如以模拟或数字形式提供的图像数据48。例如，控制器112可以实施为多个处理器、多核处理器或者处理器、电路和外围处理设备的任何组合。处理器可以包括构造成处理和/或修正图像数据48的多个模块。模块可以包括倾斜模块104、旋转模块106和扫视模块108。
控制器112还可以包括存储器116。存储器116可以包括各种形式的存储器，例如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)以及构造成存储数字信息的其他形式的存储器。存储器116可被构造成存储用于处理的图像数据48。处理图像数据48可以包括标定以及修剪图像数据48，以在图像数据48输出到显示装置22的屏幕时调整图像数据48的位置和表观尺寸。显示装置22包括可操作为显示所需视野24的屏幕。屏幕可以对应于任何形式的显示器，例如发光二极管(LED)显示器、液晶显示器(LCD)、有机LED(OLED)显示器等等。在一些实施例中，存储器116还可以构造成存储对应于多个所需视野的多个用户曲线。所需视野中的每一个可以包括可以被与车辆10的特定操作人员有关的控制器112再调用的特定竖直偏移、水平偏移和旋转偏移。
控制器112可以与例如为速度输入118的多个输入和车辆总线120通信。速度输入118提供经由速度计或可操作为测量并通信对应于车辆10的速度的数据的任何装置通信车辆10的速度的信号。车辆总线120可以利用任何适当的标准通信总线实现，比如控制器区域网络(CAN)总线。车辆总线120可被构造成向控制器112提供各种附加信息。
可以理解的是，本文中说明的本公开的实施例可以由一个或多个常规处理器和专用存储程序指令组成，专用存储程序指令控制一个或多个处理器以结合某些非处理器电路执行如本文中说明的图像传感器系统及其方法的功能中的一些、大部分或全部。非处理器电路可以包括但不局限于信号驱动器、时钟电路、电源电路和/或用户输入设备。可替代地，一些或所有功能可以通过不具有存储程序指令的状态机实施或在一个或多个专用集成电路(ASIC)中实施，在一个或多个专用集成电路中每个功能或功能的一些组合实施为定制逻辑。当然，可以使用两种方案的组合。因此，本文已经说明了用于这些功能的方法和方式。另外，可以预期的是尽管存在通过例如可用时间、现代技术和经济考虑启发的可能的重要努力和很多设计选择，但是本领域普通技术人员在受到本文中公开的构思和原理指导时将能够易于以最少的实验产生这些软件指令、程序和IC。
本领域技术人员应该理解的是上述部件可以以本文未明确说明的另外的或可替代的方法组合。本领域技术人员以及应用本公开的教导的人员将想到本公开的各个实施方式的变型。因此，应当理解的是附图中所示以及如上所述的实施例仅用于例示目的，并非旨在限制本公开的范围，本公开的范围由如根据专利法的原理，包括等同原则，解释的以下权利要求所限定。

Claims (20)

1.一种用于车辆的显示系统，包括：
成像器，所述成像器构造成在相对于所述车辆的后方的视域中捕获图像数据；
显示装置，所述显示装置包括布置在所述车辆的客舱中的屏幕；
控制器，所述控制器与所述成像器和所述显示装置通信，其中，所述控制器操作为：
处理所述图像数据以标识至少一个特征；以及
响应于所述至少一个特征在所述图像数据中的位置或定向，调整用于显示在所述屏幕上的所述图像数据的所需视野的位置和定向中的至少一个。
2.根据权利要求1所述的显示系统，其中，所述显示装置对应于后部视野显示装置。
3.根据权利要求2所述的显示系统，其中，所需视野对应于所述图像数据的用于后部视野显示装置的角偏移。
4.根据权利要求1-3中的任一项所述的显示系统，其中，所述至少一个特征包括道路的消视点和所述图像数据中标识的地平线中的至少一个。
5.根据权利要求4所述的显示系统，其中，所述消视点被用于偏移所述图像数据的所述所需视野的水平位置和竖直位置中的至少一个。
6.根据权利要求4所述的显示系统，其中，所述至少一个特征被用于偏移所述图像数据的所述所需视野的竖直位置和旋转定向中的至少一个。
7.根据权利要求1-6中的任一项所述的显示系统，其中，所述控制器进一步可操作为基于存储在所述控制器的存储器中的至少一个用户偏爱，调整所述图像数据的比例。
8.根据权利要求1-7中的任一项所述的显示系统，其中，所述所需视野对应于所述图像数据的竖直分量和水平分量的偏移。
9.一种用于显示对于车辆的后方导向视域的方法，所述方法包括：
捕获所述视域中的图像数据；
处理所述图像数据以标识至少一个特征；
响应于所述至少一个特征在所述图像数据中的位置或定向，调整所述图像数据的所需视野的位置和定向中的至少一个；以及
将所述所需视野显示在所述车辆的后部视野显示器上。
10.根据权利要求9所述的方法，还包括：
接收输入并且响应于所述输入，调整所述图像数据的所述所需视野。
11.根据权利要求9-10中的任一项所述的方法，其中，所述至少一个特征包括道路的消视点和所述图像数据中标识的地平线中的至少一个。
12.根据权利要求11所述的方法，其中，所述调整包括基于所述消视点在所述图像数据中的定位偏移所述所需视野的水平位置和竖直位置中的至少一个。
13.根据权利要求11所述的方法，其中，所述调整包括基于地平线在所述图像数据中的定位偏移所述所需视野的竖直位置。
14.根据权利要求11所述的方法，其中，所述调整包括基于所述地平线在所述图像数据中的角度偏移所述所需视野的旋转定向。
15.根据权利要求9-14中的任一项所述的方法，还包括基于用户偏爱，调整所述图像数据的比例。
16.一种用于显示对于车辆的后方导向视域的设备，所述设备包括：
显示装置，所述显示装置包括布置在所述车辆的客舱中的屏幕；
控制器和成像器，所述控制器与所述显示装置通信，所述成像器构造成捕获所述视域中的图像数据，其中，所述控制器可操作为：
处理所述图像数据以标识道路的地平线和消视点中的至少一个；以及
响应于所述地平线和所述消视点中的至少一个的位置或定向，调整用于显示在所述屏幕上的所述图像数据的所需视野的位置和定向中的至少一个。
17.根据权利要求16所述的设备，其中，所述控制器构造成基于所述地平线在所述图像数据中的斜度，调整所述所需视野的角定向。
18.根据权利要求16-17中的任一项所述的设备，其中，所述控制器构造成基于所述消视点的位置，调整所述所需视野的线性位置。
19.根据权利要求16-18中的任一项所述的设备，其中，所述控制器构造成响应于输入，相对于所述视域的中心焦点调整所述图像数据中的所述所需视野。
20.根据权利要求19所述的设备，其中，所述控制器进一步构造成基于所述输入，修剪所述图像数据以限定所述所需视野。
CN201680016205.6A 2015-03-19 2016-03-17 用于基于照相机的显示系统的图像处理 Active CN107409188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562135417P 2015-03-19 2015-03-19
US62/135,417 2015-03-19
PCT/US2016/022905 WO2016149514A1 (en) 2015-03-19 2016-03-17 Image processing for camera based display system

Publications (2)

Publication Number Publication Date
CN107409188A true CN107409188A (zh) 2017-11-28
CN107409188B CN107409188B (zh) 2021-06-11

Family

ID=56919409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016205.6A Active CN107409188B (zh) 2015-03-19 2016-03-17 用于基于照相机的显示系统的图像处理

Country Status (6)

Country Link
US (1) US11412123B2 (zh)
EP (1) EP3272113B1 (zh)
JP (1) JP6824186B2 (zh)
KR (1) KR102087588B1 (zh)
CN (1) CN107409188B (zh)
WO (1) WO2016149514A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284325A (zh) * 2018-12-10 2020-06-16 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
KR102351496B1 (ko) * 2015-07-24 2022-01-14 삼성전자주식회사 영상 처리 장치 및 그 동작 방법
US10668883B2 (en) * 2017-06-08 2020-06-02 Gentex Corporation Display device with level correction
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
US20210178986A1 (en) * 2019-12-17 2021-06-17 Gentex Corporation System and method for capturing and displaying images from a vehicle/trailer camera
US20230056104A1 (en) * 2021-08-20 2023-02-23 Arlo Technologies, Inc. Modification of Camera Functionality Based on Orientation
US11580690B1 (en) * 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5547782A (en) * 1978-10-03 1980-04-04 Mitsubishi Electric Corp Correlativity tracking unit
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US20100201814A1 (en) * 2009-02-06 2010-08-12 Gm Global Technology Operations, Inc. Camera auto-calibration by horizon estimation
CN103448634A (zh) * 2012-05-31 2013-12-18 通用汽车环球科技运作有限责任公司 与图像裁剪叠加的动态参考

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3045760A (en) 1958-11-17 1962-07-24 Camco Inc Storm choke
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP4252252B2 (ja) 2002-03-29 2009-04-08 三菱電機株式会社 撮像装置
US20050225633A1 (en) 2002-07-25 2005-10-13 Elmo Diederiks Viewing system
CA2494723C (en) 2002-08-21 2011-11-08 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
US8326483B2 (en) 2003-02-21 2012-12-04 Gentex Corporation Monitoring and automatic equipment control systems
JP3722485B1 (ja) 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
US20070263301A1 (en) 2004-06-17 2007-11-15 Zohar Agrest System and Method for Automatic Adjustment of Mirrors for a Vehicle
EP1817689B1 (en) 2004-11-18 2014-03-12 Gentex Corporation Improved image acquisition and processing systems for vehicle equipment control
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
EP2380348A4 (en) * 2008-12-19 2012-06-13 Delphi Tech Inc ELECTRONIC SIDE VIEW INDICATOR SYSTEM
JP5398408B2 (ja) * 2009-08-07 2014-01-29 オリンパスイメージング株式会社 カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP5321540B2 (ja) * 2010-06-25 2013-10-23 株式会社Ｊｖｃケンウッド 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム
US8588550B2 (en) * 2010-10-04 2013-11-19 Sony Corporation Virtual level for a digital camera
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
WO2013030932A1 (ja) * 2011-08-29 2013-03-07 パイオニア株式会社 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法
CN104508595B (zh) 2012-06-12 2017-07-18 金泰克斯公司 提供多级对准稳定性指示的车辆成像系统
US9177360B2 (en) * 2012-09-11 2015-11-03 Apple Inc. Automatic image orientation and straightening through image analysis
US9445011B2 (en) 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
US9758099B2 (en) 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9073493B1 (en) 2014-04-10 2015-07-07 Qualcomm Incorporated Method and apparatus for adjusting view mirror in vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5547782A (en) * 1978-10-03 1980-04-04 Mitsubishi Electric Corp Correlativity tracking unit
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US20100201814A1 (en) * 2009-02-06 2010-08-12 Gm Global Technology Operations, Inc. Camera auto-calibration by horizon estimation
CN103448634A (zh) * 2012-05-31 2013-12-18 通用汽车环球科技运作有限责任公司 与图像裁剪叠加的动态参考

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284325A (zh) * 2018-12-10 2020-06-16 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法

Also Published As

Publication number Publication date
US20160277651A1 (en) 2016-09-22
US11412123B2 (en) 2022-08-09
JP2018514122A (ja) 2018-05-31
WO2016149514A1 (en) 2016-09-22
EP3272113A4 (en) 2018-03-21
JP6824186B2 (ja) 2021-02-03
EP3272113B1 (en) 2022-05-04
KR102087588B1 (ko) 2020-03-11
KR20170120665A (ko) 2017-10-31
EP3272113A1 (en) 2018-01-24
CN107409188B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107409188A (zh) 用于基于照相机的显示系统的图像处理
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP6233345B2 (ja) 路面勾配検出装置
US10872436B2 (en) Spatial positioning method, spatial positioning device, spatial positioning system and computer readable storage medium
JP5435307B2 (ja) 車載カメラ装置
WO2018119406A4 (en) Image processing to determine center of balance in a digital image
CN103558910A (zh) 一种自动跟踪头部姿态的智能显示器系统
CN102479379B (zh) 图像校正方法与相关图像校正系统
JP2016029564A (ja) 対象検出方法及び対象検出装置
CN106650665A (zh) 人脸跟踪方法及装置
US9798936B2 (en) System and method for detecting obstacles using a single camera
TW201403553A (zh) 自動校正鳥瞰影像方法
CN107009962B (zh) 一种基于姿态识别的全景观测方法
JP2008102620A (ja) 画像処理装置
US10668883B2 (en) Display device with level correction
CN101124612B (zh) 图像处理方法、图像处理系统、以及图像处理装置
KR101635831B1 (ko) 차량 위치 인식 장치 및 방법
US20140043475A1 (en) Media display system and adjustment method for adjusting angle of the media display system
US20110261181A1 (en) Media display system and adjustment method therefor
US20230186506A1 (en) Object Detection Device and Object Detection Method
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
JP2012053724A (ja) 歩行者検出装置
CN114283209A (zh) 单目相机放置位置的评估方法及装置
CN117395516A (zh) 一种自动调节曝光的非同源双目相机及支付设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant