CN112235488A - 车载镜头的自动校正方法以及车载镜头装置 - Google Patents

车载镜头的自动校正方法以及车载镜头装置 Download PDF

Info

Publication number
CN112235488A
CN112235488A CN202011097853.3A CN202011097853A CN112235488A CN 112235488 A CN112235488 A CN 112235488A CN 202011097853 A CN202011097853 A CN 202011097853A CN 112235488 A CN112235488 A CN 112235488A
Authority
CN
China
Prior art keywords
correction
matrix
parameter
lane
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011097853.3A
Other languages
English (en)
Other versions
CN112235488B (zh
Inventor
蔡孟伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN112235488A publication Critical patent/CN112235488A/zh
Application granted granted Critical
Publication of CN112235488B publication Critical patent/CN112235488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

本发明提出一种车载镜头的自动校正方法以及车载镜头装置。自动校正方法包括以下步骤：通过所述车载镜头以及当前外部参数矩阵取得车道影像，并且辨识在所述车道影像中的两个车道线；将所述车道影像转换为俯视车道影像，并且取得所述两个车道线在所述俯视车道影像中的两个投影车道线；依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的多个校正参数矩阵；以及依据所述多个校正参数矩阵来校正所述当前外部参数矩阵。由此，可适用于车辆为静止或行进中的情境来自动进行车载镜头的外部参数矩阵的校正。

Description

车载镜头的自动校正方法以及车载镜头装置
技术领域
本发明有关于一种镜头以及校正方法，且特别有关于一种车载镜头的自动校正方法以及车载镜头装置。
背景技术
对于先进驾驶辅助系统(Advanced Driver Assistance System,ADAS)而言，先进驾驶辅助系统需通过车载镜头来取得车道影像，并且通过分析或辨识车道影像来产生相关辅助驾驶控制信息。然而，一般的车载镜头是通过静态调整的方式来进行校正。换言之，当车辆在行进中，并且装载在车辆上的车载镜头发生位移、道路环境改变或设置误差等情况时，车载镜头将无法即时提供有效的车道影像来进行分析或辨识，而导致先进驾驶辅助系统失效。有鉴于此，以下将提出几个实施例的解决方案。
发明内容
本发明提供一种车载镜头的自动校正方法以及车载镜头装置，可通过调整外部参数矩阵来自动校正车载镜头。
本发明的车载镜头的自动校正方法包括以下步骤：通过所述车载镜头以及当前外部参数取得车道影像，并且辨识在所述车道影像中的两个车道线；将所述车道影像转换为一俯视车道影像，并且取得所述两个车道线在所述俯视车道影像中的两个投影车道线；依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的多个校正参数矩阵；以及依据所述多个校正参数矩阵来校正所述当前外部参数矩阵。
本发明的车载镜头装置包括车载镜头、处理器以及存储器。所述车载镜头用以依据当前外部参数矩阵取得车道影像。所述处理器耦接所述车载镜头。所述存储器耦接所述处理器。所述存储器用以储存多个模块供所述处理器读取并执行。所述处理器执行影像处理模块，以辨识在所述车道影像中的两个车道线，并且将所述车道影像转换为俯视车道影像，以取得所述两个车道线在所述俯视车道影像中的两个投影车道线。所述处理器执行影像校正模块，以依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的多个校正参数矩阵，并且依据所述多个校正参数矩阵来校正所述当前外部参数矩阵。
基于上述，本发明的车载镜头的自动校正方法以及车载镜头装置可针对车道影像中的两个车道线来产生多个校正参数矩阵，并且可依据所述多个校正参数矩阵来校正当前外部参数矩阵，以自动进行车载镜头的调整。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明的一实施例的车载镜头装置的方块示意图。
图2是依照本发明的一实施例的车载镜头的自动校正方法的流程图。
图3A是依照本发明的一实施例的车道影像的示意图。
图3B是依照本发明的一实施例的俯视车道影像的示意图。
图4是依照本发明的一实施例的计算多个校正矩阵的流程图。
图5A是依照本发明的一实施例的经第一旋转校正矩阵校正后的俯视车道影像的示意图。
图5B是依照本发明的一实施例的经第二旋转校正矩阵校正后的俯视车道影像的示意图。
图5C是依照本发明的一实施例的经位移校正矩阵校正后的俯视车道影像的示意图。
图6是依照本发明的另一实施例的车载镜头的自动校正方法的流程图。
其中，附图中符号的简单说明如下：
100：车载镜头装置；110：处理器；120：车载镜头；130：存储器；131：影像处理模块；132：影像校正模块；132_1：第一旋转校正模块；132_2：第二旋转校正模块；132_3：位移校正模块；310：车道影像；320、510、520、530：俯视车道影像；311、312、321、322、511、512、521、522、531、532：车道线；321P、322P、511P、512P：投影向量；510C、520C、530C：中央线；S210～S240、S410～S430、S610～S650：步骤；N：预设值；X、Y、Z：轴。
具体实施方式
为了使本发明的内容可以更容易明了，以下特举实施例作为本发明确实能够据以实施的范例。另外，凡可能之处，在图式及实施方式中使用相同标号的元件/构件/步骤，是代表相同或类似部件。
图1是依照本发明的一实施例的车载镜头装置的方块示意图。参考图1，车载镜头装置100包括处理器110、车载镜头120以及存储器130。处理器110耦接车载镜头120以及存储器130。在本实施例中，存储器130储存多个模块供处理器110读取并执行之。存储器130可储存影像处理模块131以及影像校正模块132。影像校正模块132可包括第一旋转校正模块132_1、第二旋转校正模块132_2以及位移校正模块132_3。具体而言，车载镜头120所取得的影像坐标([x′y′z′])与世界坐标([XYZ])之间的关系式如以下公式(1)，并且车载镜头120的成像平面坐标([uv])与影像坐标([x′y′z′])之间的关系式如以下公式(2)。Mint为内部参数矩阵，并且Mext为初始外部参数矩阵。在本实施例中，初始外部参数矩阵以及内部参数矩阵为预先建立并储存在存储器130之中。在本实施例中，处理器110可读取并执行存储器130的上述各模块，以计算多个校正矩阵参数来调整初始外部参数矩阵，以校正车载镜头120。
Figure BDA0002724329490000031
Figure BDA0002724329490000041
在本实施例中，处理器110例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable LogicDevice，PLD)或其他类似装置或这些装置的组合。在本实施例中，存储器130例如是任何型态的固定式或可移动式随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)或类似元件或上述元件的组合。在本实施例中，存储器130用以记录车载镜头120提供的影像以及预先储存有多个模块来供处理器110读取并执行之。
在本实施例中，车载镜头装置100可为使用者将装设在车辆的车用系统，且将车载镜头120设置在车辆外部或内部。处理器110可在车载镜头120所撷取的影像经校正后进一步提供至车辆的车用系统进行相关辅助操作。在一实施例中，车载镜头装置100亦可为移动装置，例如手机。处理器110可例如是所述移动装置的中央处理器。存储器130可例如是所述移动装置的储存单元。车载镜头120可例如是所述移动装置的摄影镜头。使用者可将所述移动装置作为驾驶辅助系统来设置在车辆上。
图2是依照本发明的一实施例的车载镜头的自动校正方法的流程图。图3A是依照本发明的一实施例的车道影像的示意图。图3B是依照本发明的一实施例的俯视车道影像的示意图。参考图1至图3B，车载镜头装置100可执行如图2实施例的步骤S210～S240来实现车载镜头的自动校正，并且以下搭配图3A的车道影像310以及图3B的俯视车道影像320来辅助说明之。在步骤S210，车载镜头装置100可通过车载镜头120以及内部参数矩阵与初始外部参数矩阵来取得如图3A的车道影像310，并且处理器110可执行影像处理模块131来辨识在车道影像310中的两个车道线311、312。本领域人员可以理解现有多种的车道线辨识方法可以使用，在此不赘述。在步骤S220，处理器110可执行影像处理模块131来将车道影像310转换为如图3B的俯视车道影像320，并且取得两个投影车道线321、322在俯视车道影像320中的两个投影向量321P、322P。另外，需说明的是，在本说明书中图3A的车道影像310是由成像平面坐标来描述之，并且图3B的俯视车道影像320是由世界坐标来描述之，因此两个投影车道线321、322可例如视为在X轴及Y轴的水平面方向上延伸，并且Z轴为垂直方向。
举例而言，影像处理模块131可利用一个预先建立的转换矩阵，来将车载镜头120所取得的车道影像310中的多个像素的位置转换至俯视车道影像320中的对应位置。对此，例如，预先使用车载镜头120拍摄包括参考物件(例如是绘制地面上的定位格线或图案)在内的第一影像，并使用配置于参考物件上方的另一独立镜头拍摄包括相同参考物件在内的俯视视野的第二影像。然后，影像处理模块131可撷取第一影像中的参考物件的多个像素的位置作为目标位置，并撷取第二影像中的相同参考物件的多个对应像素的位置作为来源位置，据以解出转换矩阵中的多个转换系数。然而，本发明的转换影像视野的方式不限于此。在一实施例中，车载镜头装置100可包括不同位置的多个镜头，并且所述多个镜头所拍摄的影像可以使用相同或不同的转换矩阵来转换，以配合各镜头的角度与镜头参数。此外，在另一实施例中，车载镜头装置100还可例如预先依据上述转换矩阵建立各车道影像像素映射(map)至各俯视车道影像像素的一对应表(mapping table)，再由查表的方式进行转换。另外，在又一实施例中，影像处理模块131还可针对车载镜头120所取得的车道影像310先进行鱼眼校正后再转换为俯视车道影像320。
再参考图2，在步骤S230，处理器110可执行影像校正模块132，以依据前述的两个投影车道线321、322来计算对应于初始外部参数矩阵的多个校正参数矩阵。在步骤S240，处理器110可执行影像校正模块132，以依据所述多个校正参数矩阵来校正车载镜头120的初始外部参数矩阵。因此，本实施例的自动校正方法，可有效地校正车载镜头120。并且，关于步骤S230、S240的矩阵计算将在以下图4实施例来详细说明之。
图4是依照本发明的一实施例的计算多个校正矩阵的流程图。图5A是依照本发明的一实施例的经第一旋转校正矩阵校正后的俯视车道影像的示意图。图5B是依照本发明的一实施例的经第二旋转校正矩阵校正后的俯视车道影像的示意图。图5C是依照本发明的一实施例的经位移校正矩阵校正后的俯视车道影像的示意图。参考图3A至图5C，车载镜头装置100可执行如图4实施例的步骤S410～S430来实现车载镜头的自动校正，并且以下搭配图5A～图5B的俯视车道影像的各阶段的校正结果来辅助说明之。并且，本实施例的步骤S410～S430为上述图2的步骤S230的计算多个校正参数矩阵的进一步说明。
在步骤S410中，处理器110可响应于使如前述的图3B的俯视车道影像320中的两个投影车道线321、322调整为相互平行，来计算第一旋转校正矩阵。在本实施例中，第一旋转校正矩阵可为以下公式(3)的矩阵，其中
Figure BDA0002724329490000061
为旋转参数，并且
Figure BDA0002724329490000062
为位移参数。
Figure BDA0002724329490000063
在本实施例中，处理器110可设置为对应于第一旋转校正矩阵的优化函数来进行迭代运算，并且所述优化函数的目标为最小化两个投影车道线321、322的两个投影向量321P、322P之间的夹角(亦即使其彼此平行)。举例而言，处理器110可建立以下公式(4)的最小化公式，其中va及vb为两个投影车道线321、322的两个投影向量321P、322P的单位向量。处理器110利用上述公式(3)来调整上述公式(1)的初始外部参数矩阵Mext，以建立以下公式(5)。
min(1.0-(va·vb))2……公式(4)
Figure BDA0002724329490000071
在本实施例中，由于第一旋转校正矩阵的目的在于调整旋转的物理量，因此位移参数
Figure BDA0002724329490000072
均为0。处理器110可利用图3A当中已知的两车道线311、312各自的两个端点坐标、公式(2)、公式(4)以及公式(5)来迭代计算旋转参数
Figure BDA0002724329490000073
在一实施例中，处理器110可以使用现有的最小平方法数学优化软件来进行迭代计算，例如是Ceres Solver，但本发明不限于此。处理器110亦可使用其他数值方法来得到旋转参数。对此，图3B的俯视车道影像320经由计算出旋转参数的第一旋转校正矩阵来校正后，可呈现如图5A的俯视车道影像510，其中俯视车道影像510中的两个投影车道线511、512为平行，但是可能未平行于中央线510C。
在步骤S420中，处理器110可响应于使如前述的图5A的俯视车道影像510中的两个投影车道线511、512调整为平行于中心线510C，来计算第二旋转校正矩阵。在本实施例中，第二旋转校正矩阵可为以下公式(6)的矩阵，其中
Figure BDA0002724329490000074
为旋转参数，并且
Figure BDA0002724329490000075
为位移参数。
Figure BDA0002724329490000076
在本实施例中，处理器110可设置为对应于第二旋转校正矩阵的优化函数来进行迭代运算，并且所述优化函数的目标为最小化两个投影车道线511、512的两个投影向量511P、512P与中心线510C的夹角(亦即使其平行于Y轴、垂直于X轴)。举例而言，处理器110可建立以下公式(7)的最小化公式，其中vc及vd为两个投影车道线511、512的两个投影向量511P、512P的单位向量，而(1.0,0.0,0.0)为X轴上的单位向量。处理器110利用上述公式(6)来调整上述公式(5)的外部参数矩阵，以建立以下公式(8)。
Figure BDA0002724329490000081
Figure BDA0002724329490000082
在本实施例中，由于第二旋转校正矩阵的目的在于调整旋转的物理量，因此位移参数
Figure BDA0002724329490000083
均为0。处理器110可利用图3A当中已知的两车道线311、312个别的两个端点坐标、公式(2)、公式(7)以及公式(8)来迭代计算旋转参数
Figure BDA0002724329490000084
在一实施例中，处理器110可以使用现有的最小平方法数学优化软件来进行迭代计算，例如是Ceres Solver，但本发明不限于此。处理器110亦可使用其他数值方法来得到旋转参数。对此，图5A的俯视车道影像510经由计算出旋转参数的第二旋转校正矩阵来校正后，可呈现如图5B的俯视车道影像520。俯视车道影像520中的两个投影车道线521、522为平行，且分别平行于中心线520C(夹角为0度)，但两个投影车道线521、522之间的距离可能不符合预设值，且可能分别与中心线520C之间的距离为非等距。
在步骤S430中，处理器110可响应于使如前述的图5B的俯视车道影像520中的两个投影车道线521、522之间的距离符合预设值(例如一般的车道线间距3.5～4.5米)(亦即校正车载镜头120的Z轴坐标值)，并且可选地使两个投影车道线521、522与中心线520C等距，来计算位移校正矩阵。在本实施例中，位移校正矩阵可为以下公式(9)的矩阵，其中
Figure BDA0002724329490000085
为旋转参数，并且
Figure BDA0002724329490000086
为位移参数。
Figure BDA0002724329490000087
在本实施例中，处理器110可设置为对应于位移校正矩阵的优化函数来进行迭代运算。在一实施例中，当具有高度参数(即车载镜头120在车辆上的设置位置与地面之间的距离，相当于其Z轴坐标值)由外部输入时，所述优化函数的目标为使Z轴坐标值为该高度参数，并且可选地使中心线520C位于两个投影车道线521、522的中央。举例而言，处理器110可建立以下公式(10)和(10a)的最小化公式，其中γ为使用者由外部输入的高度参数、X1为投影车道线521的X轴坐标值、X2为投影车道线522的X轴坐标值(X轴原点位于中心线520C上)。处理器110利用上述公式(9)来调整上述公式(8)的外部参数矩阵，以建立以下公式(11)。
min(γ-Z)2……公式(10)
min(|X1+X2|)2……公式(10a)
Figure BDA0002724329490000091
在本实施例中，由于位移校正矩阵的目的在于调整位移的物理量，因此旋转参数
Figure BDA0002724329490000092
均为0。处理器110可利用图3A当中已知的两车道线311、312各自的两个端点坐标、公式(2)、公式(10)(可选地，以及公式(10a))以及公式(11)来迭代计算位移参数
Figure BDA0002724329490000093
在一实施例中，处理器110可以使用现有的最小平方法数学优化软件来进行迭代计算，例如是Ceres Solver，但本发明不限于此。处理器110亦可使用其他数值方法来得到位移参数。对此，图5B的俯视车道影像520经由计算出位移参数的位移校正矩阵来校正后，可呈现如图5C的俯视车道影像530。俯视车道影像530中的两个投影车道线531、532为平行，且分别平行于中心线530C(夹角为0度)，其中车载镜头120与地面之间的距离符合高度参数(相当于两个投影车道线531、532之间的距离符合预设值，且可选地分别与中心线530C等距)。
然而，在另一实施例中，当高度参数(即车载镜头120在车辆上的设置位置与距离地面之间的距离)未由外部输入时，所述优化函数的目标为使两个投影车道线521、522之间的距离符合预设值N(N可以例如是3.5～4.5米间的数值)，并且可选地使中心线520C位于两个投影车道线521、522的中央。举例而言，处理器110可建立以下公式(12)的最小化公式。处理器110利用上述公式(11)来调整上述公式(8)的外部参数矩阵，以建立以下公式(13)。
min(N-|X1-X2|)2……公式(12)
Figure BDA0002724329490000101
在本实施例中，由于位移校正矩阵的目的在于调整位移的物理量，因此旋转参数
Figure BDA0002724329490000102
均为0。处理器110可利用图3A当中已知的两车道线311、312各自的两个端点坐标、公式(2)以及公式(12)(可选地，以及公式(10a))以及公式(13)来迭代计算位移参数
Figure BDA0002724329490000103
在一实施例中，处理器110可以使用现有的最小平方法数学优化软件来进行迭代计算，例如是Ceres Solver，但本发明不限于此。处理器110亦可使用其他数值方法来计算得到位移参数。对此，图5B的俯视车道影像520经由计算出位移参数的位移校正矩阵来校正后，可呈现如图5C的俯视车道影像530。俯视车道影像530中的两个投影车道线531、532为平行，分别平行于中心线530C(夹角为0度)，其中于两个投影车道线531、532之间的距离符合预设值，并且可选地分别与中心线530C等距。在另一实施例中，若车载镜头120已安装于车身中心，或是若使用者不要求车道线必须与中心线等距，可以不进行上述使中心线520C位于两个投影车道线521、522中央的优化步骤，亦即处理器110可不计算公式(10a)的最小化公式。
因此，在上述图2的步骤S240，车载镜头装置100的处理器110可针对车载镜头120所取得的当前车道影像来即时地计算如上述公式(3)的第一旋转校正矩阵、公式(6)的第二旋转校正矩阵以及公式(9)的位移校正矩阵，并且处理器110可将上述三个校正矩阵与上述公式(1)的初始外部参数矩阵Mext依序进行矩阵乘法运算，以产生新的外部参数矩阵以取代公式(1)中原本的初始外部参数矩阵。并且，处理器110可依据新的外部参数矩阵来得到车载镜头120的下一张车道影像。在其他实施例中，也可视情况需要而仅计算第一旋转校正矩阵、第二旋转校正矩阵以及位移校正矩阵的其中一个或任两个，以产生新的外部参数矩阵，且影像校正模块132中对应的各校正模块也可视情况需要而省略。例如，如果对使用者而言，车道线之间的距离不太重要，也可省略位移校正矩阵的计算。
图6是依照本发明的另一实施例的车载镜头的自动校正方法的流程图。参考图1以及图6，车载镜头装置100可执行如图6实施例的步骤S610～S650来对车载镜头进行自动动态校正。在步骤S610，车载镜头装置100通过车载镜头120依据当前外部参数矩阵取得当前车道影像。在步骤S620，处理器110计算当前车道影像所对应的多个校正参数矩阵。在本实施例中，处理器110可执行如上述图4实施例的第一旋转校正矩阵、第二旋转校正矩阵以及位移校正矩阵的计算。在步骤S630，处理器110将当前车道影像所对应的多个校正参数矩阵转换为多个减量校正矩阵。对此，由于车辆不一定一直笔直行驶在车道线正中间，因此本实施例不会直接就将当前的外部参数矩阵乘上各个校正参数矩阵作为下一个图帧(frame)用的外部参数矩阵，而是将前述各个校正参数矩阵各自所要调整的物理量乘上一对应比例值后再用来调整外部参数矩阵。换言之，本实施例可渐进式地调整。对于位移校正矩阵来说，其所要调整的物理量是t0～t2所对应的在X轴、Y轴、Z轴上的位移量。对于旋转校正矩阵来说，由于无法直观地看出其所要旋转的方向和角度，因此对于第一旋转校正矩阵以及第二旋转校正矩阵来说，其所要调整的物理量其实是3×3子矩阵r0～r8所对应的一旋转向量，其中旋转向量的方向是旋转轴，而其长度则是旋转角度。
在本实施例中，处理器110可将第一旋转校正矩阵以及第二旋转校正矩阵各自的旋转参数子矩阵经由罗德里格旋转公式(Rodrigues'rotation formula)转换为旋转向量，并且将所述旋转向量乘以比例值后，再反向转换得到对应的减量校正矩阵。具体而言，处理器110可将第一旋转校正矩阵或第二旋转校正矩阵中的3×3旋转参数子矩阵r0～r8转换为3×1旋转向量，并将该旋转向量乘上一个比例值(相当于缩减其旋转角度)，再反向转换回3×3减量旋转参数子矩阵r0′～r8′以取代第一旋转校正矩阵或第二旋转校正矩阵中原本的3×3旋转参数子矩阵r0～r8，以得到对应的减量校正矩阵。处理器110可将位移校正矩阵的位移参数子矩阵乘以比例值，以取得对应的减量校正矩阵。具体而言，处理器110可将位移校正矩阵中的3×1位移参数子矩阵t0～t2乘上一个比例值(相当于缩减其位移量)得到减量位移参数子矩阵t0′～t2′以取代位移校正矩阵中原本的3×1位移参数子矩阵t0～t2，以得到对应的减量校正矩阵。值得注意的是，各个校正参数矩阵所对应的比例值可以是相同或不同，且不同车道影像图帧所对应的比例值也可为固定值或动态值，并且所述比例值介于0～1之间。在一实施例中，所述比例值可例如是固定值如0.01。在另一实施例中，所述比例值可例如是动态值，并且处理器110可依据当前车道影像图帧所要调整的物理量经过先前多个车道影像图帧后趋小(表示先前多个图帧中校正参数矩阵调整对应物理量的趋势是较可靠的)，而设定较大的比例值。反之，处理器110可依据当前车道影像图帧所要调整的物理量经过先前多个车道影像图帧后趋大(表示先前多个图帧中校正参数矩阵调整对应物理量的趋势是较不可靠的)，而设定较小的比例值。
在步骤S640，处理器110可依据所述多个减量校正矩阵以及当前外部参数矩阵来计算对应于下一车道影像图帧的新的外部参数矩阵，亦即类似前述步骤S240将上述多个减量校正矩阵与当前外部参数矩阵依序进行矩阵乘法运算，以产生新的外部参数矩阵以取代原本的当前外部参数矩阵。在步骤S650，处理器110判断是否符合停止校正条件。若否，则处理器110重新执行步骤S610以依据新的外部参数矩阵得到下一车道影像图帧并再度进行校正。在本实施例中，可以是每隔一个或是多个图帧进行一次校正。若是，则处理器110结束自动校正并得到一最终的外部参数矩阵，并在之后的车道影像图帧中持续使用该最终的外部参数矩阵。换言之，由于车辆不一定笔直地行驶在车道的正中央，因此处理器110可将对应于车辆在行进过程中所连续取得的车道影像来逐一计算分别对应的第一旋转校正矩阵、第二旋转校正矩阵以及位移校正矩阵，并且将逐次所要调整的程度乘以特定比例值，以使渐进式地调整外部参数矩阵。在其他实施例中，也可以在处理器110侦测到车辆停止时(例如通过控制器区域网络总线(CAN bus,Controller Area Network bus)接收车辆的速度感测器所发出的信号)暂时停止自动动态校正，等处理器110侦测到车辆继续行进时再继续自动动态校正。
值得注意的是，所述停止校正条件可例如是指已经调整了预设数量的车道影像图帧数(例如5万帧)、整体校正时间超过预设时间长度(例如10分钟)、调整迭代次数超过预设迭代次数(例如5万次)或对应于当前车道影像的第一旋转校正矩阵、第二旋转校正矩阵以及位移校正矩阵与前一次的各对应的校正矩阵之间调整的物理量的差值小于0.1等，但本发明并不限于此。
综上所述，本发明的车载镜头的自动校正方法以及车载镜头装置可适用于车辆为静止或行进中的情境来自动进行车载镜头的外部参数矩阵的校正。本发明可针对当前车道影像所对应的当前外部参数矩阵来计算对应的第一旋转校正矩阵、第二旋转校正矩阵以及位移校正矩阵，并且产生新的外部参数矩阵，以有效地校正车载镜头。并且，本发明还可针对连续的多个车道影像进行动态校正，其中比例式地累积针对每次车道影像所计算的多个校正矩阵的调整量，而渐进式地调整车载镜头的拍摄结果，以增加其校正的准确度。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (20)

1.一种车载镜头的自动校正方法，其特征在于，包括：
通过所述车载镜头以及当前外部参数矩阵取得车道影像，并且辨识在所述车道影像中的两个车道线；
将所述车道影像转换为俯视车道影像，并且取得所述两个车道线在所述俯视车道影像中的两个投影车道线；
依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的多个校正参数矩阵；以及
依据所述多个校正参数矩阵来校正所述当前外部参数矩阵。
2.根据权利要求1所述的自动校正方法，其中，所述多个校正参数矩阵包括第一旋转校正矩阵，并且依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的所述多个校正参数矩阵的步骤包括：
响应于使所述俯视车道影像中的所述两个投影车道线调整为相互平行，来计算所述第一旋转校正矩阵。
3.根据权利要求2所述的自动校正方法，其中，计算所述第一旋转校正矩阵的步骤包括：
利用第一优化函数来计算所述第一旋转校正矩阵，其中所述第一优化函数的目标为最小化所述两个投影车道线之间的夹角。
4.根据权利要求1所述的自动校正方法，其中，所述多个校正参数矩阵包括第二旋转校正矩阵，并且依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的所述多个校正参数矩阵的步骤包括：
响应于使所述俯视车道影像中的所述两个投影车道线调整为平行于中心线，来计算所述第二旋转校正矩阵。
5.根据权利要求4所述的自动校正方法，其中，计算所述第二旋转校正矩阵的步骤包括：
利用第二优化函数来计算所述第二旋转校正矩阵，其中所述第二优化函数的目标为最小化所述两个投影车道线与所述中心线的夹角。
6.根据权利要求1所述的自动校正方法，其中，所述多个校正参数矩阵包括位移校正矩阵，并且依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的所述多个校正参数矩阵的步骤包括：
响应于使所述俯视车道影像中的所述两个投影车道线的间距调整为预设值，来计算所述位移校正矩阵。
7.根据权利要求6所述的自动校正方法，其中，计算所述位移校正矩阵的步骤包括：
利用第三优化函数来计算所述位移校正矩阵，
其中，当具有高度参数由外部输入时，所述第三优化函数的目标为使所述车载镜头与所述两个投影车道线的Z轴距离为所述高度参数，
其中，当未具有所述高度参数由外部输入时，所述第三优化函数的目标为使所述两个投影车道线的间距为预设间距。
8.根据权利要求1所述的自动校正方法，还包括：
将所述车道影像所对应的所述多个校正参数矩阵分别转换为对应的多个减量校正矩阵；以及
依据所述多个减量校正矩阵以及所述当前外部参数矩阵来计算对应于下一车道影像的新的外部参数矩阵。
9.根据权利要求8所述的自动校正方法，其中，将所述车道影像所对应的所述多个校正参数矩阵分别转换为所述对应的多个减量校正矩阵的步骤包括：
将所述校正参数矩阵中的位移校正矩阵的位移参数子矩阵乘以比例值，以取得所述对应的减量校正矩阵。
10.根据权利要求8所述的自动校正方法，其中，将所述车道影像所对应的所述多个校正参数矩阵分别转换为所述对应的多个减量校正矩阵的步骤包括：
将所述校正参数矩阵中的旋转校正矩阵的旋转参数子矩阵经由罗德里格旋转公式转换为旋转向量，并且将所述旋转向量乘以比例值后再反向转换成对应的减量旋转参数子矩阵以取得所述对应的减量校正矩阵。
11.一种车载镜头装置，其特征在于，包括：
车载镜头，用以依据当前外部参数矩阵取得车道影像；
处理器，耦接所述车载镜头；以及
存储器，耦接所述处理器，并且用以储存多个模块供所述处理器读取并执行，
其中，所述处理器执行影像处理模块，以辨识在所述车道影像中的两个车道线，并且将所述车道影像转换为俯视车道影像，以取得所述两个车道线在所述俯视车道影像中的两个投影车道线，
其中，所述处理器执行影像校正模块，以依据所述两个投影车道线来计算对应于所述当前外部参数矩阵的多个校正参数矩阵，并且依据所述多个校正参数矩阵来校正所述当前外部参数矩阵。
12.根据权利要求11所述的车载镜头装置，其中，所述影像校正模块包括第一旋转校正模块，并且所述处理器执行所述第一旋转校正模块，以响应于使所述俯视车道影像中的所述两个投影车道线调整为相互平行，来计算所述多个校正参数矩阵中的第一旋转校正矩阵。
13.根据权利要求12所述的车载镜头装置，其中，所述处理器利用第一优化函数来计算所述第一旋转校正矩阵，并且所述第一优化函数的目标为最小化所述两个投影车道线之间的夹角。
14.根据权利要求11所述的车载镜头装置，其中，所述影像校正模块包括第二旋转校正模块，并且所述处理器执行所述第二旋转校正模块，以响应于使所述俯视车道影像中的所述两个投影车道线调整为平行于中心线，来计算所述多个校正参数矩阵中的第二旋转校正矩阵。
15.根据权利要求14所述的车载镜头装置，其中，所述处理器利用第二优化函数来计算所述第二旋转校正矩阵，并且所述第二优化函数的目标为最小化所述两个投影车道线与所述中心线的夹角。
16.根据权利要求11所述的车载镜头装置，其中，所述影像校正模块包括位移校正模块，并且所述处理器执行所述位移校正模块，以响应于使所述俯视车道影像中的所述两个投影车道线的间距调整为预设值，来计算所述多个校正参数矩阵中的位移校正矩阵。
17.根据权利要求16所述的车载镜头装置，其中，利用第三优化函数来计算所述位移校正矩阵，
其中，当具有高度参数由外部输入时，所述第三优化函数的目标为使所述车载镜头与所述两个投影车道线的Z轴距离为所述高度参数，
其中，当未具有所述高度参数由外部输入时，所述第三优化函数的目标为使所述两个投影车道线的间距为预设间距。
18.根据权利要求11所述的车载镜头装置，其中，所述处理器将所述车道影像所对应的所述多个校正参数矩阵分别转换为对应的多个减量校正矩阵，并且所述处理器依据所述多个减量校正矩阵以及所述当前外部参数矩阵来计算对应于下一车道影像的新的外部参数矩阵。
19.根据权利要求18所述的车载镜头装置，其中，所述处理器将所述校正参数矩阵中的位移校正矩阵的位移子参数矩阵乘以比例值，以取得所述对应的减量校正矩阵。
20.根据权利要求18所述的车载镜头装置，其中，所述处理器将所述校正参数矩阵中的旋转校正矩阵的旋转参数子矩阵经由罗德里格旋转公式转换为旋转向量，并且将所述旋转向量乘以比例值后再反向转换成对应的减量旋转参数子矩阵以取得所述对应的减量校正矩阵。
CN202011097853.3A 2020-06-08 2020-10-14 车载镜头的自动校正方法以及车载镜头装置 Active CN112235488B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109119151A TWI778368B (zh) 2020-06-08 2020-06-08 車載鏡頭的自動校正方法以及車載鏡頭裝置
TW109119151 2020-06-08

Publications (2)

Publication Number Publication Date
CN112235488A true CN112235488A (zh) 2021-01-15
CN112235488B CN112235488B (zh) 2022-06-10

Family

ID=74112787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011097853.3A Active CN112235488B (zh) 2020-06-08 2020-10-14 车载镜头的自动校正方法以及车载镜头装置

Country Status (3)

Country Link
US (1) US11580668B2 (zh)
CN (1) CN112235488B (zh)
TW (1) TWI778368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106740841A (zh) * 2017-02-14 2017-05-31 驭势科技（北京）有限公司 基于动态控制的车道线检测方法、装置及车载设备
CN106991703A (zh) * 2017-03-23 2017-07-28 长沙冰眼电子科技有限公司 车辆摄像监控区域获取方法和系统
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技（北京）有限公司 车道线检测装置
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN109741455A (zh) * 2018-12-10 2019-05-10 深圳开阳电子股份有限公司 一种车载立体全景显示方法、计算机可读存储介质及系统
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106740841A (zh) * 2017-02-14 2017-05-31 驭势科技（北京）有限公司 基于动态控制的车道线检测方法、装置及车载设备
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技（北京）有限公司 车道线检测装置
CN106991703A (zh) * 2017-03-23 2017-07-28 长沙冰眼电子科技有限公司 车辆摄像监控区域获取方法和系统
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN109741455A (zh) * 2018-12-10 2019-05-10 深圳开阳电子股份有限公司 一种车载立体全景显示方法、计算机可读存储介质及系统
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法

Also Published As

Publication number Publication date
US11580668B2 (en) 2023-02-14
TW202147820A (zh) 2021-12-16
CN112235488B (zh) 2022-06-10
US20210383570A1 (en) 2021-12-09
TWI778368B (zh) 2022-09-21

Similar Documents

Publication Publication Date Title
CN112235488B (zh) 车载镜头的自动校正方法以及车载镜头装置
CN110322513B (zh) 一种相机外参标定方法、装置及电子设备
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
US9536306B2 (en) Vehicle vision system
CN112912932B (zh) 一种车载摄像头的标定方法、装置及终端设备
US20140085409A1 (en) Wide fov camera image calibration and de-warping
CN112257698B (zh) 环视图车位检测结果的处理方法、装置、设备和存储介质
CN112348902A (zh) 路端相机的安装偏差角标定方法、装置及系统
CN110345875B (zh) 标定及测距方法、装置、电子设备及计算机可读存储介质
CN112991465A (zh) 相机标定方法、装置、电子设备和计算机可读介质
CN110956585B (zh) 全景图像拼接方法、装置以及计算机可读存储介质
CN115546313A (zh) 车载相机自校准方法、装置、电子设备及存储介质
CN115376090A (zh) 高精地图构建方法、装置及电子设备、存储介质
CN110796604A (zh) 一种图像校正方法及装置
CN112419423A (zh) 一种标定方法、装置、电子设备及存储介质
US10771688B2 (en) Image processing device, driving support system, and image processing method
CN116051812A (zh) 目标检测方法、装置及电子设备、存储介质
CN114677448A (zh) 车载相机的外参校正方法、装置及电子设备、存储介质
CN115205388A (zh) 车载相机姿态矫正方法和装置、存储介质、电子设备
CN113375687B (zh) 基于平行约束的车道线消失点补偿的方法及系统、装置
CN114663458B (zh) 动态标定方法、装置、驾驶状态检测方法、介质及设备
CN117351053B (zh) 光伏电站图像配准方法、存储介质和电子设备
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
CN113763483B (zh) 行车记录仪俯仰角标定方法及装置
JP6995447B2 (ja) キャリブレーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant