CN103770707A - 具备影像自动校正功能的鸟瞰影像生成装置及方法 - Google Patents

具备影像自动校正功能的鸟瞰影像生成装置及方法 Download PDF

Info

Publication number
CN103770707A
CN103770707A CN201310495891.8A CN201310495891A CN103770707A CN 103770707 A CN103770707 A CN 103770707A CN 201310495891 A CN201310495891 A CN 201310495891A CN 103770707 A CN103770707 A CN 103770707A
Authority
CN
China
Prior art keywords
image
camera
vehicle
bird
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310495891.8A
Other languages
English (en)
Other versions
CN103770707B (zh
Inventor
李羲重
权洛凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sekonix Co Ltd
Original Assignee
Sekonix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sekonix Co Ltd filed Critical Sekonix Co Ltd
Publication of CN103770707A publication Critical patent/CN103770707A/zh
Application granted granted Critical
Publication of CN103770707B publication Critical patent/CN103770707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种具备影像自动校正功能的鸟瞰影像形成装置，具体地，在生成鸟瞰影像时，该装置无需驾驶员进行其它校正，便可自动校正由于乘客乘坐车辆引起的摄像头的位置变化。

Description

具备影像自动校正功能的鸟瞰影像生成装置及方法
技术领域
本发明涉及一种鸟瞰影像生成装置及方法，更具体地说，涉及能够自动校正由于乘坐的乘客人数与位置正而发生的摄像头位差的具备影像自动校正功能的鸟瞰影像生成装置及方法。
背景技术
鸟瞰（bird view）影像来源于尼桑的国际公开专利WO2009151053（PCT申请）中公开的泊车辅助装置及泊车辅助方法，用于在白天或晚上能够安全的泊车。鸟瞰影像可生成类似于从车辆上方观察车辆的俯视影像，并将此俯视影像通过导航或其他装置显示，从而可让尚未娴熟掌握驾驶技能的驾驶员也能安全地泊车。
国际公开专利WO2009151053中，公开了泊车辅助系统及方法，可将在车辆的前、后、左、右拍摄的广角影像整合成一个与全景影像类似的影像，并通过影像处理将整合的影像变换成从车辆上方观察车辆的俯视影像。但是，乘客乘坐时，配置于车辆的前、后、左、右方向的摄像头的拍摄位置会产生改变，而由于摄像头拍摄位置的变化会降低整体俯视影像的完成度。
例如，仅有驾驶员乘坐时，车辆的前方左侧朝路面下降，因此与驾驶座相邻的侧面摄像头的拍摄位置也朝路面下降。由此，将在车辆的前、后、左、右方向拍摄的影像合成一个时，由驾驶座方向拍摄的影像会打破整体俯视影像的平衡，其可导致俯视影像质量的降低。
发明内容
本发明要解决的技术问题
本发明的目的在于，提供一种具备影像自动校正功能的鸟瞰影像生成装置及其使用方法，其是能够在驾驶员车辆启动时，自动补正由于乘客的乘坐状态而发生的摄像头的位置移动。
技术方案
为实现上述目的，本发明的鸟瞰影像生成装置，包括：第一摄像头和第二摄像头，其用于对车辆的周边进行摄像并形成第一影像和第二影像；乘坐倾斜校正部，其用于在车辆启动时，通过所述第一摄像头获得影像，并将该影像与乘客乘坐前拍摄的对于所述第一摄像头的基准影像比较后，校正由所述乘客的乘坐引起的第一摄像头的倾斜；以及鸟瞰影像生成部，其用于将所述乘坐倾斜被校正的第一影像与所述第二影像整合，并以在所述车辆的上侧观察所述车辆周边的视角，生成鸟瞰影像。
另外，为实现上述目的，本发明的鸟瞰影像生成装置，由车辆周边进行摄像的第一摄像头以及第二摄像头分别获得第一影像和第二影像，并以此为基础生成鸟瞰影像。这一过程包括以下步骤的方法实现：所述车辆启动时，所述第一摄像头获得对比影像的步骤；将所述车辆没有乘客乘坐时，所述第一摄像头拍摄的基准影像与所述对比影像进行比较的步骤；校正所述基准影像和对比影像的偏差，并校正所述第一摄像头拍摄的第一影像的步骤；以及将所述经过校正的第一影像与第二影像整合，并生成鸟瞰影像的步骤。
有益效果
根据本发明，在生成鸟瞰影像时，无需驾驶员进行其它的校正，鸟瞰影像生成装置可自动校正由于乘坐乘客导致的摄像头的位置变化。
附图说明
图1是为说明车辆发生倾斜的参考图。
图2是对于根据本发明的具备影像自动校正功能的鸟瞰影像生成装置校正乘坐倾斜的方法的概念图。
图3是为说明由车辆偏向引起的，乘坐倾斜引发影像失真的参考图。
图4是根据鸟瞰校正装置的一个实施例的方块概念图。
图5是乘坐倾斜校正部校正影像倾斜的方法的参考图。
图6是根据本发明的一实施例的对于鸟瞰影像进行自动校正的方法的流程图。
图7是根据本发明的一实施例的校正乘坐倾斜的方法的概念图。
具体实施方式
本说明书中言及的鸟瞰影像是指将车辆周边配置的摄像头拍摄的影像整合成一个，并对整合的影像作图像处理，形成类似于在车辆上侧俯视车辆的影像。
本说明书中言及的摄像头是广角摄像头，其中广角摄像头是指视角在80度以上。为生成鸟瞰影像，本说明书中言及的摄像头为广角摄像头，视角为120度至190度，其视角也可与所述角度相比更大或更小。
本发明中言及的乘坐倾斜是指由乘坐车辆的乘客人数和车辆内坐席位置的不同，在车辆的前面或者侧面观察时的倾斜。
例如，乘客仅坐在车辆的前面坐席时，车辆向前方偏向，引起前方倾斜、后方升高的状态，可将其称为前方倾斜。
如乘客坐在驾驶座及驾驶座的后座时，车辆向驾驶座方向偏向。当驾驶座位于以乘客为基准的左侧时，可将其称为左侧倾斜。
本说明书中言及的水平校正是指对各个广角摄像头拍摄的影像基准线的水平进行的校正。基准线可以是对于各个广角摄像头拍摄的影像的方向性的线。此时，水平校正可以对前方或者后方摄像头拍摄的影像进行。
以下，将通过附图详细说明本发明。
图1是为说明车辆发生的倾斜的参考图。
参考图1，在前面观察车辆时，如果没有乘客乘坐时，以重心线为基准，可使左右维持水平均衡。此时，R1和R2可形成对于重心线垂直的水平线。在车辆的前方、后方、侧方，例如可在车辆的一对外后视镜上分别配置一个广角摄像头，以生成鸟瞰影像。通常，车辆上可配置4个广角摄像头，假设所述广角摄像头可在车辆的前后及左右能维持水平的条件下，在工厂完成初始设定后出库。
并且，在实际车辆中配置的所有座位（前方2席，后方2席）上均有乘客乘坐时（4名乘客中有1名是驾驶员），由于车辆整体倾向于路面，因此广角摄像头拍摄的鸟瞰影像的覆盖范围，随着广角摄像头位置的降低而变窄，但其鸟瞰影像不会产生失真。相反，仅在驾驶座和驾驶座的后座上有乘客乘坐时，车辆以重心线为基准向驾驶座方向倾斜，用于形成鸟瞰影像而设置的4个广角摄像头中的2个向驾驶座方向倾斜，即4个广角摄像头拍摄的影像中有2个存在问题。因此，依据出现问题的2个广角摄像头拍摄的影像生成整体鸟瞰影像时，整体鸟瞰影像有可能会产生失真。
根据乘坐车辆的乘客的不同分布，车辆可向驾驶座方向、副驾驶座方向、车辆的前方、车辆的后方发生倾斜。以下，将由乘坐车辆的乘客人数及分布而发生的此类倾斜称为乘坐倾斜。本发明可以使车辆随着启动，自动校正乘坐倾斜，而不用由驾驶员手动校正。之后，将参考附图2至附图6进行详述。
图2是说明本发明的具备影像自动校正功能的鸟瞰影像生成装置(以下将记载为鸟瞰校正装置)校正乘坐倾斜的方法的概念图。
参考图2，根据乘坐车辆50的乘客位置，车辆可在D1、D2、D3以及D4方向中的任意方向，朝路面下降。图2的a表示在没有乘客乘坐在车辆50时，安装于车辆50的外后视镜的广角摄像头51拍摄的指向方向A，图2c表示在车辆50的副驾驶座和副驾驶座的后座有乘客乘坐，使车辆向副驾驶座方向发生乘坐倾斜时，广角摄像头51拍摄的指向方向B。乘客乘坐于副驾驶座及副驾驶座的后座时，车辆可以以驾驶座为基准向右侧偏向，此时，广角摄像头51的拍摄指向方向B相比于图2a的方向，更偏向于路面。此时，驾驶座方向的广角摄像头向路面反方向上升、其与副驾驶座方向朝路面降低的程度相一致。从而，以配置于车辆50的广角摄像头拍摄的影像生成鸟瞰影像，其鸟瞰影像有可能会产生失真。
图3是为说明由车辆偏向引起的，乘坐倾斜引发影像失真的参考图。
参考图3，图3a是对车辆的发动机盖进行拍摄的图片，其表示由广角摄像头拍摄的影像呈水平的实施例。
图3a中对车辆的前方进行拍摄的摄像头可位于发动机盖或者驾驶座内部，此时，拍摄的广角影像可对发动机盖的末端进行拍摄。所拍摄的影像以中心部为基准，左右形拍摄面弯曲，形成的影像整体上形成类似用鱼眼镜头进行拍摄的影像。
图3a中由广角摄像头拍摄的影像是广角影像，因此其中心部向内侧凹陷，影像的左右方向构成向上面突出的像面弯曲，而连接基准点P1和基准点P2的线段沿着影像图的横向维持水平。
图3b表示乘坐倾斜向着驾驶座方向发生，因此驾驶座朝路面下降时的影像。参考图3b，基准点P3相比于基准点P4指向更低，其说明在车辆前方拍摄的广角摄像头向着基准点P3方向发生了倾斜。
图3c表示乘坐倾斜向着副驾驶座方向发生，因此副驾驶座朝路面下降时的影像。参考图3c，可以看到基准点P5相比于基准点P6指向更高，基准点P6向着路面方向下降。其说明副驾驶座乘坐着体重较重的乘客或者在副驾驶座及副驾驶座的后座上乘坐着乘客，导致车辆整体重心向副驾驶座倾斜。将图3b及图3c中图示的前方影像与车辆左右侧面影像和车辆的后方影像整合时，整体影像将产生失真，所以处理整合后的影像，制作成俯视形态的鸟瞰影像也将产生失真。
图4是表示根据鸟瞰校正装置的实施例的方块概念图。
参考图4，鸟瞰校正装置包括：广角摄像头51-54，其用于在车辆的前、后、左、右进行拍摄；鸟瞰影像生成部105；乘坐倾斜校正部110；导航部120；触摸屏130。
广角摄像头51-54是视角可达120度至190度的广角摄像头，各个广角摄像头51-54在车辆的前方、后方以及两侧分别配置一个。配置于车辆前方的广角摄像头51可配置于车辆的发动机盖，或者使其能够对车辆外部进行观察的方式配置于车辆的内部，且可以对车辆发动机盖的外界线（out line）进行拍摄。其中发动机盖的外界线是指在发动机盖最外部边缘中，对于正面方向的外界线。
将车辆的侧面广角摄像头（车辆的左侧及右侧的广角摄像头）52、53和车辆后方的广角摄像头54拍摄的广角影像与车辆前方广角摄像头51拍摄的影像整合，各个广角摄像头51-54拍摄的影像可形成相互重叠区域。在各个广角摄像头51-54以车辆为中心，生成360度方向的鸟瞰影像时，所述重叠区域可被拥有将各个广角摄像头51-54拍摄的影像整合成一个。
并且，重叠区域还可在对相邻广角摄像头的影像进行边缘区域的校正时使用。例如，整合前方广角摄像头51和左侧面广角摄像头52拍摄的影像时，鸟瞰影像生成部105能将重叠影像的形状和色彩相整合，从而使鸟瞰影像成为完整的影像。
各个广角摄像头51-54拍摄的影像可供给至鸟瞰影像生成部105，而鸟瞰影像生成部105将各个广角摄像头51-54的影像根据框架进行整合，从而生成以假想的车辆影像为中心覆盖360度的鸟瞰影像。鸟瞰影像整合各个广角摄像头51-54拍摄的影像后，将影像的各个区域以格子形态的坐标系进行分割，并将分割的各个坐标系的起点设定为车辆的上侧，同时使整合的影像产生与此相对应的变化，从而获得所述鸟瞰影像。
乘坐倾斜校正部110可在车辆启动时重新设定，向鸟瞰影像生成部105申请对比影像并获得对比影像。
车辆最初出库时，或者根据车辆驾驶员，所述乘坐倾斜校正部110可获得初始状态的基准影像。优选地，基准影像可在车辆没有负重的状态下获得，可以是通过广角摄像头获得的对于车辆前方、左侧、右侧以及后方某一方向的静止影像。
乘坐倾斜校正部110具备车辆出库时获得的基准影像或者根据驾驶员设定的基准影像，在车辆启动时，向鸟瞰影像生成部105申请对比影像，通过鸟瞰影像生成部105获得对比影像后，与基准影像进行比较，从而校正乘坐倾斜。
本说明书中的对比影像是以车辆的前方配置的广角摄像头51的影像作为基准进行说明，但也可以是以车辆的侧面及后方的影像作为基准。
根据乘坐于车辆的乘客人数和位置，使各个广角摄像头51-54拍摄的影像产生失真。特别是整合4个广角摄像头51-54拍摄的影像生成鸟瞰影像时，如车辆向前方、左右侧、以及后方中的任意一个方向发生倾斜，广角摄像头51-54拍摄的影像中的一个与其他广角摄像头51-54拍摄的影像整合生成鸟瞰影像时，就有可能会产生失真。
如果乘客乘坐于车辆的驾驶座和副驾驶座，使车辆向前方发生倾斜时，配置于车辆前方的广角摄像头51会朝道路的路面下降，因此，与其它广角摄像头52-54拍摄的影像相比，以与倾向于路面相同的程度，对车辆更下方的影像进行拍摄。在这种状态下生成鸟瞰影像时，在车辆前方拍摄的影像，以发动机盖的外界线为基准，相比于其它广角摄像头52-54可拍摄到更狭小的区域。利用所述影像生成鸟瞰影像时，需要将其它广角摄像头52-54拍摄的影像，根据拍摄更小区域影像的前方广角摄像头51的影像进行校正。本申请对前方广角摄像头51的影像进行校正，以使与基准影像相适应，以此来替代以往的校正方式。为实现所述校正，在每次车辆启动时都要获得对比影像，并与基准影像进行比较，以判断发生了多少偏差，并将判断出的偏差信息供给至鸟瞰影像生成部105，再由鸟瞰影像生成部105对广角摄像头51的倾斜进行校正。因此，车辆驾驶员无需进行其它的校正，就可根据乘坐于车辆的乘客人数和位置自动校正各广角摄像头51-54的倾斜，从而使鸟瞰影像正确的显示于触摸屏130上。
导航部120包括：GPS处理部121，其用于获得GPS位置信息；地图生成部122，其用于在电子地图上绘制所在位置，生成至车辆目的地的路径，并供给至触摸屏130；以及输出部122，其用于车辆向目的地移动时输出必要的声音信息。
图5是乘坐倾斜校正部用于校正影像倾斜的方法的参考图。
图5是申请人为校正摄像头而制作的程序界面的实施例，图示的界面表示由开发者进行校正的样品程序。图5中图示的程序是内置于鸟瞰校正装置中，可在车辆启动的同时校正配置车辆前方、侧方以及后方的广角摄像头的乘坐倾斜。此时，仅用于开发者的用户界面可能不会内置于鸟瞰校正装置。
观察图5，车辆的各个广角摄像头51-54具有对于前方、右侧、后方、以及左侧的位置校正值。
图示的界面中，对于各广角摄像头51-54具有倾向于路面的角度（inclaination）、配备高度（height）、镜头摄影角度（Lenz Fov）、左右偏向角度（Azimuth）、以及水平角度（horizontal）等的选项。其中，左右偏向角度增加“+5”度时，可认为前方广角摄像头51向右侧方向偏向5度。在图中，左右广角摄像头52、53和后方广角摄像头54拍摄的影像，沿着B、C及D的基准线整齐排列形成鸟瞰影像，但左右偏向角度设置为5度的前方广角摄像头51的基准线沿着A形成，因此，该基准线无法与前方、侧方以及后方的广角摄像头52-54的基准线（B、C及D）构成长方形。基准线（A、B、C、D）用于显示各广角摄像头51-54拍摄的影像的方向性，以影像的中心部（此位置为车辆的位置）为基准构成长方形时，可形成最为完整的鸟瞰影像。
换句话说，根据乘坐于车辆的乘客人数和位置，在车辆向某一侧发生倾斜时，鸟瞰校正装置可校正车辆的倾斜，以形成完整的长方形形态的基准线。由广角摄像头51-54的倾斜，导致基准线发生偏差时，本发明可将广角摄像头51-54发生的倾斜值朝相反方向进行校正，从而针对应广角摄像头51-54的倾斜，能够生成正确的鸟瞰影像。
图6是根据本发明一实施例的对于鸟瞰影像进行自动校正的方法的流程图。
参考图6，首先，车辆从工厂出库时，工厂的工作人员对鸟瞰校正装置设置基准影像，或者由车辆驾驶员自行设定对于车辆的基准框架S201。本实施例中，将对以车辆前方摄像头51作为基准的情况进行说明。以下，将利用位于车辆前方的发动机盖的影像作为基准进行说明。
之后，鸟瞰校正装置判断车辆能否启动S202，如车辆启动，即从车辆供给直流电源时，该装置会被重置，并向鸟瞰影像生成部发出获得对比影像的申请S203。此时的对比影像可以是对于车辆发动机盖终端外界线的影像。之后，鸟瞰校正装置将对于发动机盖的基准影像和车辆启动时获得的对比影像进行比较，以计算出偏差S204。如是前方广角摄像头51时，所述偏差可对应左右偏差及上下偏差，且可以以长度或者角度中的一种形式进行计算。
之后，鸟瞰校正装置校正基准影像和对比影像的偏差，从而校正图5中所说明的基准线S205。基准线的校正在鸟瞰生成部105进行，乘坐倾斜校正部110可将基准影像对于对比影像的偏差，即将关于角度或者长度的信息供给至鸟瞰生成部105，从而使鸟瞰影像生成部105可对其进行处理。
之后，前方摄像头51的乘坐倾斜被校正后，鸟瞰影像生成部51整合各广角摄像头51-54拍摄的影像，其被变换成类似于从上侧观察车辆的视角的影像，从而生成鸟瞰影像S206，并将其表示在触摸屏130上。
图7是表示根据本发明的一实施例的校正乘坐倾斜的方法的概念图。
参考图7，利用车辆右侧摄像头53拍摄的影像，获得乘客乘坐前和乘客后对于轮胎的影像，并对两者进行比较，校正倾斜。
乘客乘坐车辆之前，轮胎由于负重均匀，因此呈接近于对称的圆形的形态。图7a例示了乘客乘坐车辆之前车辆前方右侧的轮胎，其S12区域的线段接近于垂直。
图7b图示了乘客乘坐车辆后，因乘客的乘坐引起向右侧摄像头53方向发生倾斜时，通过右侧摄像头53拍摄的轮胎影像的实施例。参考图7b，乘客乘坐车辆后，轮胎的影像如S22区域所示，产生了角度为θ的倾斜，因此需将产生倾斜的角度θ向D1方向进行校正。乘坐倾斜校正部110在车辆启动后，拍摄如图7b的轮胎影像后，将乘客乘坐车辆之前拍摄的基准影像和右侧摄像头53拍摄的轮胎影像（图7b）进行比较，向D1方向校正θ角度。这样的校正发生在车辆启动的同时，因此驾驶员无需作其它倾斜校正，且即使驾驶员不做倾斜校正，其也可自动进行倾斜校正，并供给品质优异的鸟瞰影像。

Claims (9)

1.一种具备影像自动校正功能的鸟瞰影像生成装置，其特征在于，包括：
第一摄像头和第二摄像头，其用于对车辆的周边进行拍摄并形成第一影像和第二影像；
乘坐倾斜校正部，乘客在乘坐所述车辆前，针对所述车身的一区域生成基准影像，并在启动所述车辆时，与所述第一摄像头拍摄的影像比较后，以校正所述第一摄像头的倾斜（tilt）；以及
鸟瞰影像生成部，其用于将所述乘坐倾斜校正部中校正的所述第一摄像头的乘坐倾斜状态的第一影像与所述第二影像整合，并以在所述车辆的上侧观察所述车辆周边的视角，生成鸟瞰影像。
2.如权利要求1所述的具备影像自动校正功能的鸟瞰影像生成装置，其特征在于，所述第一摄像头是对所述车辆的前面进行拍摄的摄像头。
3.如权利要求1所述的具备影像自动校正功能的鸟瞰影像生成装置，其特征在于，所述乘坐倾斜校正部，通过由所述第一摄像头拍摄的、所述车辆的发动机盖的外界线进行水平校正，从而对所述第一影像的乘坐倾斜进行校正。
4.如权利要求1所述的具备影像自动校正功能的鸟瞰影像生成装置，其特征在于，
所述第一摄像头是用于对车辆的侧面进行拍摄的摄像头；
所述乘坐倾斜校正部将所述第一摄像头拍摄的所述车辆的轮胎的外界线与所述车辆在没有乘客乘坐时进行拍摄的基准影像进行比较，从而对所述第一摄像头的侧面影像进行校正。
5.如权利要求1所述的具备影像自动校正功能的鸟瞰影像生成装置，其特征在于，
所述第一摄像头是用于对车辆的后方进行拍摄的摄像头；
所述乘坐倾斜校正部将所述第一摄像头拍摄的所述车辆的后方保险杠的外界线与所述车辆在没有乘客乘坐时进行拍摄的基准影像进行比较，从而对所述第一摄像头的后方影像进行校正。
6.一种用于鸟瞰影像的自动校正方法，其特征在于，
由拍摄车辆周边的第一摄像头及第二摄像头分别获得第一影像和第二影像，并以此为基础，根据生成鸟瞰影像的鸟瞰影像生成装置来执行该自动校正方法，其包括如下步骤：
所述车辆启动时，所述第一摄像头获得对比影像的步骤；
将所述车辆没有乘客乘坐时，将所述第一摄像头拍摄的基准影像与所述对比影像进行比较的步骤；
校正所述基准影像和对比影像的偏差，并校正所述第一摄像头拍摄的第一影像的步骤；以及
将所述经过校正的第一影像与第二影像整合，并生成鸟瞰影像的步骤。
7.如权利要求6所述的用于鸟瞰影像的自动校正方法，其特征在于，所述对比影像是在有乘客乘坐于车辆后拍摄的影像。
8.如权利要求6所述的用于鸟瞰影像的自动校正方法，其特征在于，所述对比影像是对所述车辆的发动机盖、所述车辆的轮胎以及所述车辆的后方保险杠中的一个进行拍摄后的影像。
9.如权利要求8所述的用于鸟瞰影像的自动校正方法，其特征在于，所述校正第一影像的步骤是对于所述发动机盖、轮胎以及后方保险杠中一个的外界线进行水平校正的步骤。
CN201310495891.8A 2012-10-24 2013-10-21 具备影像自动校正功能的鸟瞰影像生成装置及方法 Active CN103770707B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0118263 2012-10-24
KR1020120118263A KR101215563B1 (ko) 2012-10-24 2012-10-24 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법

Publications (2)

Publication Number Publication Date
CN103770707A true CN103770707A (zh) 2014-05-07
CN103770707B CN103770707B (zh) 2016-02-03

Family

ID=47840880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310495891.8A Active CN103770707B (zh) 2012-10-24 2013-10-21 具备影像自动校正功能的鸟瞰影像生成装置及方法

Country Status (5)

Country Link
US (1) US20150029338A1 (zh)
EP (1) EP2848486A4 (zh)
KR (1) KR101215563B1 (zh)
CN (1) CN103770707B (zh)
WO (1) WO2014065485A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046647A (zh) * 2015-06-19 2015-11-11 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控系统及其工作方法
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
CN105564335A (zh) * 2016-01-29 2016-05-11 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置
CN105577988A (zh) * 2014-10-30 2016-05-11 现代摩比斯株式会社 车辆影像校准装置及影像校准方法
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
CN108141570A (zh) * 2015-10-20 2018-06-08 歌乐株式会社 校准装置、校准方法以及校准程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053323A (ko) * 2013-11-08 2015-05-18 현대모비스 주식회사 영상 왜곡 보정 방법 및 이를 위한 장치
US10249056B2 (en) * 2014-04-11 2019-04-02 Nissan North America, Inc. Vehicle position estimation system
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN105984387A (zh) * 2015-02-06 2016-10-05 德尔福电子(苏州)有限公司 具有自动对准的鸟瞰视野监测系统
EP3433131B1 (en) 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US10922559B2 (en) 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
KR101808092B1 (ko) * 2016-05-13 2017-12-13 광운대학교 산학협력단 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
CN108225340A (zh) * 2016-12-21 2018-06-29 致伸科技股份有限公司 自动辅助驾驶系统及其方法
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
EP3736178B1 (en) * 2019-05-06 2022-02-02 Aptiv Technologies Limited Method and system for localizing an occupant within a vehicle
KR20210081939A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN115294234B (zh) * 2022-10-09 2023-03-24 小米汽车科技有限公司 图像的生成方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448692B2 (ja) * 1993-11-19 2003-09-22 本田技研工業株式会社 車載用ステレオ画像表示装置
US20080143835A1 (en) * 2006-12-15 2008-06-19 Koichi Abe Image Display Apparatus
JP2008230561A (ja) * 2007-03-23 2008-10-02 Alpine Electronics Inc 撮像制御装置および測光領域調整方法
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法
JP2009227197A (ja) * 2008-03-25 2009-10-08 Alpine Electronics Inc 車両用異常検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063756A1 (de) * 2000-12-21 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4045862B2 (ja) * 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
US20060038895A1 (en) * 2004-08-19 2006-02-23 Nissan Motor, Co., Ltd. Image processing device
JP2008151524A (ja) * 2006-12-14 2008-07-03 Matsushita Electric Ind Co Ltd 結露センサ
JP5072576B2 (ja) * 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
JP4900326B2 (ja) 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448692B2 (ja) * 1993-11-19 2003-09-22 本田技研工業株式会社 車載用ステレオ画像表示装置
US20080143835A1 (en) * 2006-12-15 2008-06-19 Koichi Abe Image Display Apparatus
JP2008230561A (ja) * 2007-03-23 2008-10-02 Alpine Electronics Inc 撮像制御装置および測光領域調整方法
JP2009227197A (ja) * 2008-03-25 2009-10-08 Alpine Electronics Inc 車両用異常検出装置
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈丽颖, 王淮, 马波: "偏角摄影的影像校正在痕迹物证中的应用", 《影像技术》, no. 2, 31 May 1998 (1998-05-31), pages 55 - 56 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
CN105139389B (zh) * 2014-05-16 2018-11-27 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
CN105577988A (zh) * 2014-10-30 2016-05-11 现代摩比斯株式会社 车辆影像校准装置及影像校准方法
CN105046647A (zh) * 2015-06-19 2015-11-11 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控系统及其工作方法
CN105046647B (zh) * 2015-06-19 2017-12-05 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控系统及其工作方法
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
CN106331694B (zh) * 2015-06-30 2018-08-24 财团法人工业技术研究院 车用环景系统调校方法
CN108141570A (zh) * 2015-10-20 2018-06-08 歌乐株式会社 校准装置、校准方法以及校准程序
CN108141570B (zh) * 2015-10-20 2020-09-11 歌乐株式会社 校准装置、校准方法以及校准程序存储介质
CN105564335A (zh) * 2016-01-29 2016-05-11 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置
CN105564335B (zh) * 2016-01-29 2017-12-05 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置

Also Published As

Publication number Publication date
WO2014065485A1 (ko) 2014-05-01
CN103770707B (zh) 2016-02-03
EP2848486A1 (en) 2015-03-18
US20150029338A1 (en) 2015-01-29
EP2848486A4 (en) 2016-01-20
KR101215563B1 (ko) 2013-01-21

Similar Documents

Publication Publication Date Title
CN103770707B (zh) 具备影像自动校正功能的鸟瞰影像生成装置及方法
JP4596978B2 (ja) 運転支援システム
EP2485203B1 (en) Vehicle-surroundings monitoring device
US20160267657A1 (en) Method for dynamically calibrating vehicular cameras
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
CN110996051A (zh) 车辆视觉补偿的方法、装置及系统
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
JP2018165912A (ja) 支援装置
KR20160050439A (ko) 차량용 후방 카메라의 영상 보정 방법
WO2019082628A1 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
JP5891880B2 (ja) 車載画像表示装置
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
CN103162708A (zh) 具有改善的地图显示的导航系统
JP2022532867A (ja) 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置
CN107396057B (zh) 一种基于车载摄像头五视角拼接立体全景图像的拼接方法
KR20160097596A (ko) Avm 영상 보정 시스템 및 그 제어방법
JP2020060976A (ja) キャリブレーション装置及びキャリブレーション方法
CN105100702B (zh) 呈现车辆环境的方法、显示装置、系统及计算机程序
EP3967553A1 (en) Vehicular display system
JP2020162040A (ja) キャリブレーション装置およびキャリブレーション方法
JP2021148906A (ja) 車両表示システムおよび表示装置
FR3093968A1 (fr) Système de rétrovision pour véhicule comprenant une pluralité d’appareils de prise de vue et un calculateur
CN117765096A (zh) 一种ar-hud售后标定方法及其标定系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant