CN110576794A - Avm系统及其操作方法 - Google Patents

Avm系统及其操作方法 Download PDF

Info

Publication number
CN110576794A
CN110576794A CN201910492112.6A CN201910492112A CN110576794A CN 110576794 A CN110576794 A CN 110576794A CN 201910492112 A CN201910492112 A CN 201910492112A CN 110576794 A CN110576794 A CN 110576794A
Authority
CN
China
Prior art keywords
image
image data
area
display method
avm system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910492112.6A
Other languages
English (en)
Other versions
CN110576794B (zh
Inventor
金起范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Otterrun Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otterrun Co Ltd filed Critical Otterrun Co Ltd
Publication of CN110576794A publication Critical patent/CN110576794A/zh
Application granted granted Critical
Publication of CN110576794B publication Critical patent/CN110576794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明涉及AVM系统及其操作方法。根据本发明的AVM系统的运转方法，可以包括：从在车辆的不同位置设置的图像传感器获取图像数据的步骤；对所述图像数据进行图像处理以改善图像的步骤；针对经处理的图像数据，进行镜头畸变校正的步骤；从校正的图像数据，检测重复区域的步骤；选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据的步骤；以及输出经拼接的图像数据的步骤。

Description

AVM系统及其操作方法
技术领域
本发明涉及AVM系统及其操作方法。
背景技术
随着车辆用电子设备技术的发展和图像处理技术的发展，最近，对高级驾驶辅助系统(ADAS；advanced driver assistance system)的研究活跃进行中。最近，还在车辆上使用全景监控影像(AVM；around view monitoring)系统，其是在车辆四周设置多个摄像头，以便360°全方位观察车辆四周。AVM系统通过拍摄车辆四周的多个摄像头，拍摄车辆四周的图像，然后组合该图像，提供如驾驶员在空中观看车辆的俯视图(top view)图像，从而能够使驾驶员在画面上确认车辆四周的障碍物。
发明内容
本发明的目的在于，提供用于改善盲区的AVM系统及其运转方法。
AVM系统的操作方法，可以包括：从在车辆的不同位置设置的图像传感器获取图像数据的步骤；对所述图像数据进行图像处理以改善图像的步骤；针对经处理的图像数据，进行镜头畸变校正的步骤；从校正的图像数据，检测重复区域的步骤；选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据的步骤；以及输出经拼接的图像数据的步骤。
本发明的特征在于，所述车辆的不同位置包括前方、后方、左侧、右侧。
所述进行镜头畸变校正的步骤，可以包括：针对所述图像数据，设定图像中心的步骤；设定镜头畸变校正率函数的系数的步骤；根据与经设定的系数相对应的可变比例，对所述图像数据进行水平图像差值的步骤；以及针对所述图像数据，进行垂直图像差值的步骤。
本发明的特征在于，通过选择所述图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。
拼接所述图像数据的步骤，可以包括对于图像数据之间的界面部分，调整镜头畸变校正率，从而拼接图像数据。
本发明的特征在于，所述图像显示方法的选择是依据转向信息或者物体方向信息而完成。
本发明的特征在于，当所述转向信息指示大于等于预设的转向角时，选择所述图像显示方法以放大侧方外角显示区域。
本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，选择用于显示以中心区域为主的图像的图像显示方法。
本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，选择用于显示以边缘区域为主的图像的图像显示方法。
根据本发明的实施例的AVM系统，可以包括：多个摄像头，设置在车辆上，从所述车辆的周围环境获取图像数据；图像信号处理装置，从所述多个摄像头接收图像数据，对接收的图像数据进行图像处理以改善图像，对经处理的图像数据进行镜头畸变校正，从校正的图像数据检测重复区域，选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据；以及显示装置，显示由所述图像信号处理装置拼接的图像数据。
本发明的特征在于，所述图像信号处理装置在拼接图像数据时，调整拼接界面的镜头畸变校正率。
本发明的特征在于，所述图像信号处理装置基于转向信息或者物体方向信息，选择所述图像显示方法。
本发明的特征在于，通过所述图像信号处理装置选择图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。
本发明的特征在于，当所述转向信息指示大于等于预设的转向角时，所述图像信号处理装置选择所述图像显示方法以放大侧方外角显示区域。
本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，所述图像信号处理装置选择用于显示以中心区域为主的图像的图像显示方法。
本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，所述图像信号处理装置选择用于显示以边缘区域为主的图像的图像显示方法。
根据本发明的实施例的AVM系统及其运转方法以单一视角为基准拼接图像，从而能够从根本上防止物体在盲区消失的现象。
附图说明
以下的附图是用于方便理解本实施例，其与具体实施方式一起提供实施例。然而，本实施例的技术特征并不局限于特定附图，各个附图中图示的特征之间可以相互组合，构成新的实施例。
图1是示例根据本发明的实施例的AVM系统10的示意图。
图2A以及图2B是根据本发明的实施例的AVM系统10以单一视角为基准，显示AVM图像的方法的概念示意图。
图3A是根据现有技术的摄像头的拍摄区域的一例的示意图。
图3B是在图3A所示的后视摄像头的拍摄图像以及右侧方摄像头的拍摄图像中重叠区域的示意图。
图3C是在根据本发明的实施例的AVM系统10中，为了回避因视角差产生的连接部位的盲区而呈现调整状态的摄像头的视角的示例图。
图4A是根据本发明的实施例的AVM系统的拼接图像显示方法的多种例的示意图。
图4B是用于说明基于转向角的变换的拼接图像显示方法的示意图。
图4C是用于说明基于最近物体方向信息的拼接图像显示方法的示意图。
图5A至图5C是在根据本发明的实施例的AVM系统10中，调整重复连接部分的畸变校正程度的方法的示例图，其中，图5A示出校正前的图像，图5B示出校正后的图像，图5C示出在校正前的图像中适用畸变校正率的图像。
图6是根据本发明的实施例的可变比例畸变校正方法的示例图。
图7是示例根据本发明的实施例的AVM系统10的运转方法的流程图。
附图标记说明
10：AVM系统，110、120、130、140：摄像头，200：图像信号处理装置，300：显示装置
具体实施方式
以下，清晰且详细记载本发明的内容以供本领域技术人员能够利用附图容易实施本发明。
本发明可以进行多种变更，而且可以具有多种形态，本发明通过在附图中示出特定实施例，并在本文中对其进行详细说明。然而，这并不是用特定的公开形态限定本发明，而应被理解为包括在本发明的思想以及技术范围中所含的所有变更、均等物乃至代替物。第一、第二等术语可以用于说明多种构成要素，然而所述构成要素并不由所述术语所限定。
所述术语其目的可以是为了从其他构成要素区分一个构成要素。例如，在不脱离本发明的权利范围内，第一构成要素可以被命名为第二构成要素，类似地，第二构成要素也可以被命名为第一构成要素。当涉及到某一构成要素与其他构成要素“连接”或者“联接”时，可以理解为是在其他构成要素直接连接或者联接，然而也应被理解为是在中间还可以存在其他构成要素。与此相反地，当涉及到某一构成要素与其他构成要素“直接连接”或者“直接联接”时，应被理解为是在中间不存在其他构成要素。
说明构成要素之间的关系的其他表述，即“在～之间”和“就在～之间”或者“与～邻接”和“与～直接邻接”等也应被理解为与上述说明相同。本申请中使用的术语仅是用于说明特定实施例，其意图并不是用于限定本发明。在文章中没有明确明示的情况下，单数的表述包括复数的表述。
在本申请中，“包括”或者“具备”等术语应被理解为是用于指定实施的特征、数字、步骤、动作、构成要素、部件或者其组合的存在，并不是事先排除一个以上的其他特征、数字、步骤、动作、构成要素、部件或者其组合的存在或者附加可能性。未作其他定义时，技术术语或者科学术语乃至此处使用的所有术语具有与本领域技术人员通常所理解的相同的含义。与通常所使用的辞典中定义的含义相同的术语应被解释为与相关技术的文章所具有的含义相一致的含义，在本申请中没有明确定义的情况下，不应解释为理想或者过分形式上的含义。
图1是示例根据本发明的实施例的AVM系统10的示意图。如图1所示，AVM系统10可以包括：多个摄像头110、120、130、140；图像信号处理装置200以及显示装置300。
多个摄像头110、120、130、140中的各个摄像头在车辆上设置在预设位置，能够获取车辆四周的图像数据。图中，各个摄像头110、120、130、140可以分别设置在车辆的前方、后方、左侧方、右侧方。然而，应理解本发明的摄像头的数量以及设置并不局限于此。
在实施例中，为了拍摄车辆的周围环境，各个摄像头110、120、130、140可以由具有180度以上视角的广角摄像头构成。
图像信号处理装置200可以构成为，从多个摄像头110、120、130、140通过有线或者无线接收图像数据，将接收的图像数据处理为用于辅助驾驶员(用户)的驾驶的图像数据。
在实施例中，图像信号处理装置可以进行多种处理动作以改善图像。例如，图像信号处理装置200可以处理从摄像头110、120、130、140的图像传感器输出的原始图像(rawimage)的拜耳(Bayer)区域。
针对RGB区域，可以进行颜色信息校正以及调整控制。针对YUV区域，可以进行图像改善以及最佳化。另外，图像信号处理装置200可以对图像数据进行降噪(noisereduction)、校正(rectification)、标定(calibration)、色彩增强(color enhancement)、色彩空间转换(color space conversion；CSC)、插值(interpolation)、摄像头场景控制(camera gain control)等。
在实施例中，图像信号处理装置200可以使用专用于后视摄像头(例如，120)的技术，处理图像数据。其中，专用于后视摄像头的技术可以包括镜头畸变校正(LDC；lensdistortion correction)、图像拼接(image stitching)等。
在实施例中，图像信号处理装置200可以构成为，在拼接图像时，回避因视角差产生的连接部位的盲区。例如，图像信号处理装置200不重叠特定区域的视角，以单一视角为基准拼接图像，从而能够减小对于连接部位的畸变校正程度。
显示装置300可以构成为，显示或者控制由图像信号处理装置200处理的图像数据。在实施例中，显示装置300可以包括导航仪(navigation)。
通常的AVM系统在拼接从多个摄像头接收到的图像时，因视角而可以引起盲区的物体发生消失的现象。与此相反地，根据本发明的实施例的AVM系统10是以单一视角为基准拼接图像，因此，能够从根本上防止物体在盲区消失的现象。
图2A以及图2B是根据本发明的实施例的AVM系统10以单一视角为基准，显示AVM图像的方法的概念示意图。
首先，图像信号处理装置200可以从摄像头110、120、130、140接收图像数据。图像信号处理装置200可以对接收的四个图像进行镜头畸变校正。
在图2A以及图2B中，在车辆四周设定摄像头的拍摄区域(划分为四边形的区域)，在根据现有技术拼接图像时，区域(①、②、③、④)表示能够重叠的位置。
在根据现有技术拼接图像时，区域(①、②、③、④)被重叠而能够形成盲区，然而如图2A以及图2B所示，只要设定摄像头的拍摄区域，则由于对区域(①、②、③、④)只通过任一个摄像头进行拍摄，因此，不会形成盲区。
如图2A的情况所示，以单摄像头为基准，视角可以设定为左侧区域大于右侧区域。如图2B的情况所述，以单摄像头为基准，视角可以设定为右侧区域大于左侧区域。一方面，应理解用于去除重叠区域的单一视角图像显示方法并不局限于此，以单摄像头为基准，视角还可以设定为左侧区域和右侧区域相同。
即，根据图像显示方法，在单摄像头的视角上，可以是左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。
在实施例中，在如图2A的情况下，可以去除前方的重叠区域(②)、侧方的重叠区域(①、④)、后方的重叠区域(③)。在其他实施例中，在如图2B的情况下，可以去除前方的重叠区域(①)、侧方的重叠区域(②、③)、后方的重叠区域(④)。
然后，通过拼接四个图像，可以生成车辆四周图像。在图2A和图2B中，车辆四周图像可以基于1)所示的显示方法生成，或者基于2)所示的显示方法生成。进一步地，根据转向角信息或者物体方向信息等环境信息，以单一视角为基准的AVM图像显示方法可以变更为多种。
图3A是根据现有技术的摄像头的拍摄区域的一例的示意图，图3B是在图3A所示的后视摄像头的拍摄图像以及右侧方摄像头的拍摄图像中重叠区域的示意图，图3C是在根据本发明的实施例的AVM系统10中，为了回避因视角差产生的连接部位的盲区而呈现调整状态的摄像头的视角的示例图。
如图3A所示，在摄像头的拍摄区域被设定的情况下，拼接四个摄像头的图像时，可能存在因视角差产生的连接部位盲区(例如，图3B的)。如果根据所述图像拼接画面停车的话，则在盲区存在物体(人)时，可能会发生危险情况。
与此相反地，如图3C所示，根据本发明的实施例的AVM系统10如示例1以及示例2的情况所示，通过设定摄像头的视角以回避连接部位盲区，从而能够使特定区域的视角不发生重叠，而以一个视角拼接图像。其中，在连接部分(界面部分)可以调整畸变校正程度。在本发明的AVM系统10中拼接图像时，由于利用单一视角图像数据，因此，从根本上不会发生盲区。
图4A是根据本发明的实施例的AVM系统的拼接图像显示方法的多种例的示意图，图4B是用于说明基于转向角的变换的拼接图像显示方法的示意图，图4C是用于说明基于最近物体方向信息的拼接图像显示方法的示意图。
根据本发明的实施例的AVM系统10的拼接图像显示方法并不局限于图4A中所示的例子，而可以进行多种设定，根据转向信息(基准1)，可以选择合适的显示方法。
图4B的实例1(Case1)是车辆根据转向角朝后侧方移动的情况，AVM系统10可以根据图4A的实例1的显示方法，显示拼接图像。
图4B的实例2(Case2)是车辆根据转向角朝前侧方移动的情况，AVM系统10可以根据图4A的实例2的显示方法，显示拼接图像。
图4B的实例3(Case3)是车辆根据转向角朝前方移动的情况，AVM系统10可以根据图4A的实例3的显示方法，显示拼接图像。
图4B的实例4(Case4)是车辆根据转向角朝后方移动的情况，AVM系统10可以根据图4A的实例4的显示方法，显示拼接图像。
如上所述，AVM系统10基于转向信息，可以根据多种拼接图像显示方法中合适的拼接图像显示方法，显示拼接图像。
其中，可以设定为，当目前输入的转向角大于等于预设的转向角(“预设转向角”)时，AVM系统10选择放大侧方外角显示区域的方法。
一方面，拼接图像显示方法可以由最近物体方向信息(基准2)决定，最近物体方向信息是与最近物体所处的方向相关的信息，可以基于超声波信号的收发获取该信息。
参考图4C的实例1，随着车辆如图4B的实例1(以大于等于预设转向角的转向角后退)移动，AVM系统10在以图4A的实例1的显示方法为基准，显示拼接图像的途中，如果检测到后方的最近物体位于检测区域内的中心方向上，则为了显示以中心区域为主的图像，以图4A的实例4的显示方法为基准，显示拼接图像。
参考图4C的实例2，随着车辆如图4B的实例4(后方直行)移动，AVM系统10在以图4A的实例4的显示方法为基准，显示拼接图像的途中，如果检测到后方的最近物体位于检测区域内的边缘方向上，则为了显示以边缘区域为主的图像，以图4A的实例1的显示方法为基准，显示拼接图像。
参考图4C的实例3，随着车辆如图4B的实例2(以大于等于预设转向角的转向角前进)移动，AVM系统10在以图4A的实例2的显示方法为基准，显示拼接图像的途中，如果检测到前方的最近物体位于检测区域内的中心方向上，则为了显示以中心区域为主的图像，以图4A的实例3的显示方法为基准，显示拼接图像。
参考图4C的实例4，随着车辆如图4B的实例3(前方直行)移动，AVM系统10在以图4A的实例3的显示方法为基准，显示拼接图像的途中，如果检测到前方的最近物体位于检测区域内的边缘方向上，则为了显示以边缘区域为主的图像，以图4A的实例2的显示方法为基准，显示拼接图像。
图5A至图5C是在根据本发明的实施例的AVM系统10中，调整重复连接部分的畸变校正程度的方法的示例图，其中，图5A示出校正前的图像，图5B示出校正后的图像，图5C示出在校正前图像中适用畸变校正率的图像。
参考5C，可以确认到从中心图像区分单位向边缘侧反复着放大和缩小。因此，在校正后图像(图5B)中可以确认到残留有校正前图像(图5A)的边缘部分中的图像。
如上所述，重复连接部分的畸变校正可以由可变镜头畸变校正率而完成。
图6是根据本发明的实施例的可变比例畸变校正方法的示例图。如图6所示，对于重复连接部分的可变比例畸变校正方法可以如下进行。首先，针对图像数据，可以设定图像中心(步骤1)。例如，图像中心可以是在车辆上设置摄像头的时候进行设置，用户可以重新设定(reset)图像中心。
然后，在镜头畸变校正率函数中，可以设定辐射畸变系数k1、k2、k3、k4、k5、k6(步骤2)。辐射畸变系数可以在设定AVM系统10的过程中进行，可以通过很多实验数据而适当决定。
在图6的公式中，r是指没有畸变时，从任意的像素到中心为止的距离，x是指图像中任意像素的x坐标值，y是指在图像中任意像素的y坐标值。
图6的公式被定义为镜头畸变校正率函数，公式的结果值是镜头畸变校正率。因此，根据辐射畸变系数，决定图像内任意像素中的镜头畸变校正率，这其实就是指通过辐射畸变系数，可以控制增减各个像素的镜头畸变校正率。
然后，针对图像数据，可以进行水平图像差值(步骤3)。然后，针对图像数据，可以进行垂直图像差值(步骤4)。在步骤3以及步骤4中，上端的数字代表像素的位置，下端的数字代表像素值，(a)、(b)的情况是按照可变比例程度完成像素移动以及转换，(c)的情况是指基于可变比例转换的差值空间。
图7是示例根据本发明的实施例的AVM系统10的运转方法的流程图。参考图1至图7，AVM系统10的运转可如下进行。
图像传感器710可以通过摄像头110、120、130、140的各个镜头111、121 131、141获取到图像数据。经获取的图像数据可以由对应的图像信号处理装置(ISP；Image SignalProcessor)720进行处理。经处理的图像数据可以由对应的镜头畸变校正器(LDC；LensDistortion Corrector)730进行畸变校正。然后，四个图像重复区域检测器740可以检测出对应的重复区域。
然后，图像显示方法选择器750可以去除重复区域，选择基于单一视角的图像显示方法。针对检测到的重复区域，可以选择所要的图像显示方法。
然后，根据被选择的图像显示方法，可以在图像拼接器760中拼接经选择的四个数据。在实施例中，在拼接图像时，可以通过对根据经选择的图像显示方法显示的图像调整镜头畸变校正率，从而拼接其他图像之间的界面部分。
一方面，所述图像数据处理器720、镜头畸变校正器730、图像重复区域检测器740、图像显示方法选择器750以及图像拼接器760可以以软件、硬件或者固件形式包含在图1中所示的图像信号处理装置200中。然后，经拼接的数据最终可以被输出到显示装置300。即，可以输出与四个图像数据相对应的最终的拼接图像数据。
如本领域技术人员可以理解的，根据本发明的步骤以及/或者操作可以以其他顺序、或者并列、或者为了其他特定的时间(epoch)等，在其他实施例中同时进行。
根据实施例，步骤以及/或者操作中的一部分或者全部可以利用存储在一个以上的非暂时性计算机可读介质中的指令、程序、交互式数据结构(interactive datastructure)、驱动客户端以及/或者服务器的一个以上的处理器，至少完成或者执行一部分。一个以上的非暂时性计算机可读介质作为示例，可以是软件、固件、硬件以及/或者其任意组合。另外，本说明书中论述的“模块”的功能可以由软件、固件、硬件以及/或者其任意组合构成。
用于构成/进行本发明的实施例的一个以上的操作/步骤/模块的一个以上的非暂时性计算机可读介质以及/或者手段可以包括专用集成电路(ASICs；application-specific integrated circuits)、标准集成电路、微控制器、执行合适指令的控制器以及/或者嵌入式控制器、现场可编程门阵列(FPGAs；field-programmable gate arrays)、复杂可编程逻辑器件(CPLDs；complex programmable logic devices)以及与其相同的，然后并不局限于此。
一方面，上述本发明的内容仅是用于实施发明的具体实施例。本发明不仅包括具体且可实际利用的手段本身，还可以包括可以作为装置技术使用的抽象且概念性想法的技术思想。

Claims (16)

1.一种AVM系统的操作方法，其特征在于，包括：
从在车辆的不同位置设置的图像传感器获取图像数据的步骤；
对所述图像数据进行图像处理以改善图像的步骤；
针对经处理的图像数据，进行镜头畸变校正的步骤；
从校正的图像数据，检测重复区域的步骤；
选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据的步骤；以及
输出经拼接的图像数据的步骤。
2.根据权利要求1所述的方法，其特征在于，所述车辆的不同位置包括前方、后方、左侧、右侧。
3.根据权利要求1所述的方法，其特征在于，所述进行镜头畸变校正的步骤，包括：
针对所述图像数据，设定图像中心的步骤；
设定镜头畸变校正率函数的系数的步骤；
根据与经设定的系数相对应的可变比例，对所述图像数据进行水平图像差值的步骤；以及
针对所述图像数据，进行垂直图像差值的步骤。
4.根据权利要求1所述的方法，其特征在于，通过选择所述图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。
5.根据权利要求1所述的方法，其特征在于，所述拼接图像数据的步骤是，对图像数据之间的界面部分调整镜头畸变校正率，从而拼接图像数据。
6.根据权利要求1所述的方法，其特征在于，对所述图像显示方法的选择是依据转向信息或者物体方向信息而完成。
7.根据权利要求6所述的方法，其特征在于，当所述转向信息指示大于等于预设的转向角时，选择所述图像显示方法以放大侧方外角显示区域。
8.根据权利要求6所述的方法，其特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，选择用于显示以中心区域为主的图像的图像显示方法。
9.根据权利要求6所述的方法，其特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，选择用于显示以边缘区域为主的图像的图像显示方法。
10.一种AVM系统，其特征在于，包括：
多个摄像头，设置在车辆上，从所述车辆的周围环境获取图像数据；
图像信号处理装置，从所述多个摄像头接收图像数据，对接收的图像数据进行图像处理以改善图像，对经处理的图像数据进行镜头畸变校正，从校正的图像数据检测重复区域，选择图像显示方法以在拼接图像时，使重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据；以及
显示装置，显示由所述图像信号处理装置拼接的图像数据。
11.根据权利要求10所述的AVM系统，其特征在于，所述图像信号处理装置在拼接图像数据时，调整拼接界面的镜头畸变校正率。
12.根据权利要求10所述的AVM系统，其特征在于，所述图像信号处理装置基于转向信息或者物体方向信息，选择所述图像显示方法。
13.根据权利要求10所述的AVM系统，其特征在于，通过所述图像信号处理装置选择图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。
14.根据权利要求12所述的AVM系统，其特征在于，当所述转向信息指示大于等于预设的转向角时，所述图像信号处理装置选择所述图像显示方法以放大侧方外角显示区域。
15.根据权利要求12所述的AVM系统，其特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，所述图像信号处理装置选择用于显示以中心区域为主的图像的图像显示方法。
16.根据权利要求12所述的AVM系统，其特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，所述图像信号处理装置选择用于显示以边缘区域为主的图像的图像显示方法。
CN201910492112.6A 2018-06-07 2019-06-06 Avm系统及其操作方法 Active CN110576794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180065286A KR102053099B1 (ko) 2018-06-07 2018-06-07 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
KR10-2018-0065286 2018-06-07

Publications (2)

Publication Number Publication Date
CN110576794A true CN110576794A (zh) 2019-12-17
CN110576794B CN110576794B (zh) 2023-01-31

Family

ID=68651933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492112.6A Active CN110576794B (zh) 2018-06-07 2019-06-06 Avm系统及其操作方法

Country Status (4)

Country Link
US (1) US11021104B2 (zh)
KR (1) KR102053099B1 (zh)
CN (1) CN110576794B (zh)
DE (1) DE102019208338B4 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
CN111767910B (zh) * 2020-06-15 2023-01-06 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN113242431B (zh) * 2021-05-13 2023-04-25 山西省智慧交通研究院有限公司 一种面向路侧感知的标注数据预处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
US20150254825A1 (en) * 2014-03-07 2015-09-10 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006036933B4 (de) 2006-08-08 2024-01-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
KR101249791B1 (ko) * 2011-05-23 2013-04-03 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
KR101376210B1 (ko) 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
KR101714213B1 (ko) 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
KR101795271B1 (ko) * 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
KR101807090B1 (ko) 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
KR101764106B1 (ko) 2017-04-07 2017-08-03 (주)캠시스 Avm 시스템 및 사각지대 영상 합성 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
US20150254825A1 (en) * 2014-03-07 2015-09-10 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법

Also Published As

Publication number Publication date
CN110576794B (zh) 2023-01-31
US11021104B2 (en) 2021-06-01
DE102019208338B4 (de) 2022-03-17
US20190375330A1 (en) 2019-12-12
DE102019208338A1 (de) 2019-12-12
KR102053099B1 (ko) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110576794B (zh) Avm系统及其操作方法
JP5627253B2 (ja) 画像処理装置、電子装置、および、画像処理方法
US9992481B2 (en) Method and apparatus for processing surrounding images of vehicle
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
KR20090113878A (ko) 차량용 주변감시장치
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
CN110796711A (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
WO2013038681A1 (ja) カメラ較正装置、カメラ、及びカメラ較正方法
JP2012040883A (ja) 車両周囲画像生成装置
JP2015074255A (ja) 駐車支援装置
CN113034616B (zh) 车辆环视系统的相机外参标定方法、系统及环视系统
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2005236493A (ja) 運転支援装置
JP6118936B2 (ja) 画像処理装置
CN105323447B (zh) 多鱼眼图像处理方法、装置及车辆
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP2009083744A (ja) 合成画像調整装置
CN111107303A (zh) 行车图像系统及行车图像处理方法
KR20180074093A (ko) 어라운드 뷰 영상 제공 시스템
JP2016141303A (ja) 視界支援装置
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
WO2017085787A1 (ja) 画像表示装置、画像表示システム、画像表示方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210521

Address after: Seoul, South Kerean

Applicant after: HYUNDAI MOBIS Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: HYUNDAI AUTRON Co.,Ltd.

GR01 Patent grant
GR01 Patent grant