CN103916572A - 车用镜头的自动化校正与应用其的影像转换方法与装置 - Google Patents

Abstract

一种车用镜头的自动化校正与应用其的影像转换方法与装置。该方法包括：提取一校正参考图像的一影像。辨识该校正参考图像的多个第一与多个第二特征图像。求出这些第一与这些第二特征图像在该第一视角坐标系的个别坐标，以及这些第一与这些第二特征图像在该第二视角坐标系的个别坐标，以求出该第一与该第二视角坐标系间的一坐标对应关系。根据该坐标对应关系，将该输入影像转换成该输出影像。

Description

车用镜头的自动化校正与应用其的影像转换方法与装置

技术领域

本申请涉及一种车用镜头的自动化校正，且特别涉及一种车用镜头的自动化校正参考图像(pattern)与其设置方法、及应用其的影像转换方法与装置。

背景技术

行车安全是对于驾驶者与乘客而言是相当重要的。现已有许多技术来辅助行车安全。比如，在倒车时，可由车后镜头来提取车后影像，驾驶者除了用目视外，也可通过后方安全辅助系统所提取的车后影像来判断车后是否有障碍物、行人等。

一般来说，这些车辆安全辅助系统(全周监视系统、前方防碰撞警示系统、后方安全辅助系统、侧方盲点警示系统等)通常都具有车用镜头，其用以提取车外影像。在出厂之前，安装于车辆的车用镜头得要先经过校正。

以目前来看，传统的车用镜头人机校正方法需仰赖校正人员手动微调，使得影像中的特征图像能符合预设条件，以通过人机操作将影像调整至正确位置。之后，系统计算镜头外部参数(extrinsic parameters)与内部参数(intrinsicparameters)以进行坐标转换。

然而，现有校正流程常因使用者的观感与细心程度不同，因为人工误差而导致影像错误。此外该类校正程序不仅需特别注意校正参考图像的摆设流程，同时需要求解外部参数，相对于系统而言计算量相当庞大。

本申请提出一种车用镜头校正参考图像、车用镜头校正参考图像的设置方法、及应用其的影像转换方法与装置。

发明内容

根据本申请的一示范性实施例，提出一种校正参考图像，用于自动校正车用镜头。该校正参考图像包括：一第一校正参考子图像，包括一第一特征图像群组、至少一第一直线与多个第一方格线，该第一特征图像群组包括至少两个相同的第一特征图像；以及一第二校正参考子图像，包括一第二特征图像群组与一第二直线，该第二特征图像群组包括至少两个相同的第二特征图像。该第一校正参考子图像与该第二校正参考子图像的尺寸为已知，该第一特征图像群组的这些第一特征图像等距于该第一校正参考子图像的一边缘，该第二特征图像群组的这些第二特征图像等距于该第二校正参考子图像的一边缘。

根据本申请的一示范性实施例，提出一种校正参考图像的设置方法，该校正参考图像如上所述。该设置方法包括：将两条标记线分别放置对齐于一车辆的两侧边缘，交叉这些标记线以定位出该车辆的一中央延伸线；将该第一校正参考子图像的该第一直线对准于该车辆的该中央延伸线；以及将该第二校正参考子图像的该第二直线的两端分别贴齐于该第一校正参考子图像的这些第一方格线。

根据本申请的一示范性实施例，提出一种影像转换方法，用以将所提取的一第一视角坐标系的一输入影像转换成一第二视角坐标系的一输出影像。提取如上所述的一校正参考图像的一影像。辨识该校正参考图像的这些第一与这些第二特征图像。求出这些第一与这些第二特征图像在该第一视角坐标系的个别坐标，以及这些第一与这些第二特征图像在该第二视角坐标系的个别坐标，以求出该第一与该第二视角坐标系间的一坐标对应关系。根据该坐标对应关系，将该输入影像转换成该输出影像。

根据本申请的一示范性实施例，提出一种影像转换装置，用以将所提取的一第一视角坐标系的一输入影像转换成一第二视角坐标系的一输出影像。该影像转换装置包括：一影像提取单元、一特征提取单元与一坐标转换单元。影像提取单元提取如上所述的一校正参考图像的一影像。特征提取单元辨识该校正参考图像的这些第一与这些第二特征图像。坐标转换单元求出这些第一与这些第二特征图像在该第一视角坐标系的个别特征点坐标，求出这些第一与这些第二特征图像在该第二视角坐标系的个别特征点坐标，求出该第一与该第二视角坐标系间的一坐标对应关系，并根据该坐标对应关系，将该输入影像转换成该输出影像。

为了对本申请的上述及其他方面有更佳的了解，下文特举实施例，并配合附图，作详细说明如下：

附图说明

图1显示根据本申请一实施例的车用镜头校正装置的功能方块示意图。

图2显示根据本申请一实施例所提出的校正参考图像的实际例子。

图3A～图3E显示根据本申请一实施例的校正参考图像的设置流程。

图4A与图4B显示根据本申请一实施例的校正参考图像与其摆放位置。

图5显示本申请一实施例的车用镜头校正流程。

图6显示根据本申请实施例的图5的步骤530与540的细节。

图7显示根据本申请一实施例的影像坐标与鸟瞰坐标系的转换。

【主要元件符号说明】

100：车用镜头校正装置

102：影像提取单元      103：校正参考图像

105：影像输入单元      106：影像处理单元

106A：特征提取单元     106B：色彩分类单元

106C：坐标转换单元     107：存储器单元

23、24、25：校正参考子图像

32、33、34、35、36、37、38、39、41、42、43、44、45、46：子图像

30、31、40、47：水平线

26、27、28、29：方格线

W1～W4：尺寸           48、49：标记线

X、Y：定位点           C、D：交叉点

1000：车辆

400：校正参考图像

410、420：校正参考子图像

411、412：子图像         413：水平线

414、415：方格线         421、422：子图像

423：水平线

510～540：步骤          610～640：步骤

具体实施方式

于本申请实施例中，由于校正参考图像的长度、宽度与特征点间的固定间距为已知，考虑使用者所要的最远鸟瞰距离，进行特征点位置比例关系的估算，以得到不同视角坐标系的转换对应关系。此外，本申请实施例的车用镜头校正中，以校正参考图像，结合影像轮廓特征辨识与色彩分类演算技术(色彩分类演算技术为选择性)，达成车用镜头自动化校正。

现请参考图1，其显示根据本申请一实施例的车用镜头校正装置100的功能方块示意图。如图1所示，车用镜头校正装置100包括：影像输入单元105、影像处理单元106与存储器单元107。

影像提取单元102举例可为但不受限于车用相机(车辆为影像提取单元的载具)，影像提取水平视角允许范围举例可为40～190度，影像提取频率举例可为15～30张(Frame)/秒(sec)；即时影像输出频率举例可为15～30张/秒。

校正参考图像103的细节将于下文说明。

影像输入单元105可接收由单一影像提取单元102传输的影像资料。在此，影像资料举例可为影像提取单元102提取校正参考图像103所得的影像。

影像处理单元106可根据所接收的校正参考图像影像进行影像特征辨识、色彩分类与计算视角转换坐标对应关系(视角转换坐标对应关系为影像坐标与鸟瞰坐标间的对应关系)。

影像处理单元106包括：特征提取单元106A、色彩分类单元106B与坐标转换单元106C。特征提取单元106A对校正参考图像103进行影像特征辨识，其细节将于下文说明。色彩分类单元106B对校正参考图像103进行色彩分类，其细节将于下文说明。坐标转换单元106C计算不同视角坐标系间的对应关系举例可为单应转换矩阵H)。

存储器单元107可暂存由影像处理单元106所计算出的视角转换坐标对应关系、暂存影像资料、系统运作值等。

此外，本申请的其他可能实施例更可选择性包括：数字信号处理-控制单元(举例可为DSP、CPU等)，或者影像输出单元。数字信号处理-控制单元可执行周边电路初始化、影像特征与色彩辨识、色彩分类、坐标转换、鸟瞰转换(举例可为将所提取的即时车前影像/车后影像/车右影像/车左影像转换为即时鸟瞰影像)等功能。影像输出单元可输出经由数字信号处理-控制单元所处理过的影像，以让使用者观看。

请参考图2，其显示根据本申请一实施例所提出的校正参考图像103的实际例子。如图2所示，校正参考图像103包括三个校正参考子图像23、24与25，举例皆可为矩型。第一校正参考子图像23摆于放车辆正中央的延伸线(至于如何决定第一校正参考子图像23的摆放位置则在下文说明)。第二校正参考子图像24与第三校正参考子图像25的构架基本上相同。第二校正参考子图像24与第三校正参考子图像25摆放于校正参考子图像23上且分别与之垂直交错。

第一校正参考子图像23包括第一特征图像群组、第一直线与第一方格线。第一特征图像群组包括至少两个相同的第一特征图像，举例可为两个圆形子图像32与33；第一直线举例可为水平线30与31；第一方格线举例可为方格线26、27、28与29。在此以圆形子图像32与33的颜色为蓝色为例做说明，但当知本申请实施例并不受限于此。为方便对准第二校正参考子图像24与第三校正参考子图像25(让其垂直摆放于第一校正参考子图像23)，水平线30凸出于方格线26与27，水平线31凸出于方格线28与29。校正参考子图像23的宽度为W1，总长度为W3。方格线26与27的间距为W1，方格线27与28的间距为W1，方格线28与29的间距为W1，方格线29与校正参考子图像23边缘的间距为W1，方格线26与校正参考子图像23另一边缘的间距为W2。亦即，W3=4*W1+W2。也就是说，圆形子图像32与33的圆心距离校正参考子图像23边缘为已知。第一特征图像等距于第一校正参考子图像23的一边缘，举例可为圆形子图像32与33的特征点(例如为圆心，以下皆以圆心为特征点举例说明)分别与第一校正参考子图像23的水平方向的长度边缘等距离。水平线30与31的延伸线分别通过圆形子图像32与33的圆心。方格线26、27、28与29彼此等间距，且这些方格线之一与第一校正参考子图像23的一另一边缘间的一间距(例如为方格线29与第一校正参考子图像23的右边宽度边缘的间距W1)等于这些方格线的彼此间距。

第二校正参考子图像24包括第二特征图像群组与第二直线。第二特征图像群组包括至少两个相同的第二特征图像，举例可为多个子图像34、35、36、37、38与39；直线举例可为水平线40。在此子图像34、35、36、37、38与39为圆形做说明，但当知本申请并不受限于此。以第二校正参考子图像24的宽度为W1，总长度为W4。相邻两圆形子图像34、35、36、37、38与39的圆心相距为W1。水平线40位于校正参考子图像24的中央。圆形子图像34、35、36、37、38与39的圆心距离校正参考子图像24边缘为已知。第二特征图像等距于第二校正参考子图像24的一边缘，举例可为子图像34、35、36、37、38与39的圆心分别与第二校正参考子图像24的长度W4边缘等距离。水平线40位于子图像36与37、或35与38、或34与39的圆心连线的中垂线上。第一校正参考子图像23的方格线26与27间的距离，等于第二校正参考子图像24的垂直方向的宽度W1。

相似地，第三校正参考子图像25包括第三特征图像群组与第三直线。第三特征图像群组包括至少两个相同的第三特征图像，举例可为多个子图像41、42、43、44、45与46；第三直线举例可为水平线47。在此子图像41、42、43、44、45与46为圆形做说明，但当知本申请并不受限于此。校正参考子图像25的宽度为W1，总长度为W4。相邻两圆形子图像41、42、43、44、45与46的圆心相距为W1。水平线41位于校正参考子图像25的中央。圆形子图像41、42、43、44、45与46的圆心距离校正参考子图像25边缘为已知。第三特征图像等距于第三校正参考子图像25的一边缘，举例可为子图像41、42、43、44、45与46的圆心分别与第三校正参考子图像25的长度边缘等距离。水平线47位于子图像43与44、或42与45、或41与46的圆心连线的中垂线上。第一校正参考子图像23的方格线28与29间的距离，等于第三校正参考子图像25的垂直方向的宽度W1。另外，虽然于图2中，校正参考子图像24与25实质上相同，但于本申请其他实施例中，垂直摆放于校正参考子图像23的这些校正参考子图像彼此可不完全相同，此皆在本申请精神范围内。但，校正参考子图像24与25为实质相同可方便制造。

此外，为了车用镜头校正装置100的辨认需要，在此本申请实施例中，圆形子图像34、35、36、37、38与39的颜色并不完全相同。举例可为但不受限于，圆形子图像35、38、42与45为红色，而圆形子图像34、36、37、39、41、43、44与46则为黑色。这是为了让车用镜头校正装置100在辨认这些圆形子图像时，车用镜头校正装置100能通过辨认结果而判断出所辨认出的圆形子图像属于校正参考子图像24或25，及此辨认出圆形子图像在校正参考子图像24或25中的顺序。

在进行车用镜头校正时，校正参考图像103搭配两条标记线48与49。举例可为，各标记线48与49的两既定位置上标示有两定位点(举例可为是红点)X及Y，以提供校正参考图像安装程序的使用。虽然在此以标记线48与49的长度相同为例做说明，但当知本申请并不受限于此。标记线48与49的长度只要能足够在上面标示出定位点X与Y即可。

现请参考图3A～图3E，其显示根据本申请一实施例的校正参考图像的设置流程。虽然在此以影像提取单元102提取车后影像为例做说明，但当知本申请并不受限于此。

如图3A所示，将标记线48与49分别放置对齐于车辆1000的两侧边缘。如图3B所示，将标记线48与49交叉，使标记线48与49的两定位点X交会，并标示为交叉点C。如图3C所示，将标记线48与49交叉，使标记线48与49的两定位点Y交会，并标示为交叉点D。

如图3D所示，将校正参考子图像23的两水平线30与31分别对准于交叉点C与D。

如图3E所示，将校正子图像24的中心线40的两端贴齐校正参考子图像23的方格线26与27，且将校正子图像25的中心线47的两端贴齐校正参考子图像23的方格线28与29。如此即可完成校正参考图像的放置。

虽然在此以影像提取单元102提取车后影像为例做说明，但当知本申请并不受限于此。比如，如果影像提取单元102提取车前影像/车右影像/车左影像，则标记线48～49与校正参考图像23～25摆放于车前/车右/车左，其细节可由上述说明得知，在此不重复。

此外为方便对准，校正参考子图像23的水平线30与31可为透光，以方便将校正参考子图像23的两水平线30与31分别对准于交叉点C与D。此外，如上述般，水平线30突出于方格线26与27，以及水平线31突出于方格线28与29，此有助于将校正子图像24的中心线40的两端贴齐校正参考子图像23的方格线26与27，及有助于将校正子图像25的中心线47的两端贴齐校正参考子图像23的方格线28与29。

现请参考图4A与图4B，其显示根据本申请一实施例的校正参考图像与其摆放位置。如图4A所示，第一校正参考图像400包括第一校正参考子图像410与第二校正参考子图像420。第一校正参考子图像410与第二校正参考子图像420举例可为矩型。第一校正参考子图像410摆于放车辆正中央的延伸线(至于如何决定第一校正参考子图像410的摆放位置可参考图3A～图3C)。第二校正参考子图像420摆放于第一校正参考子图像410上且与之垂直交错。

第一校正参考子图像410包括第一特征图像群组、至少一第一直线与多个第一方格线。第一特征图像群组包括至少两个相同的第一特征图像，举例可为两个圆形子图像411与412；第一直线举例可为水平线413；第一方格线举例可为方格线414与415。在此以圆形子图像411与412的颜色为蓝色为例做说明，但当知本申请实施例并不受限于此。为方便对准校正参考子图像420，相似地，水平线413凸出于方格线414与415。第一校正参考子图像410的宽度、长度、方格线414与415的间距、方格线414与第一校正参考子图像410边缘的间距、方格线415与第一校正参考子图像410另一边缘的间距皆为已知。而且，圆形子图像411与412的圆心距离校正参考子图像410边缘为已知。第一特征图像等距于第一校正参考子图像410的一边缘，举例可为圆形子图像411与412的圆心分别与第一校正参考子图像410的长度边缘等距离。水平线413的延伸线分别通过圆形子图像411与412的圆心。方格线411与412彼此等间距，且这些方格线之一与第一校正参考子图像410的一另一边缘间的一间距(例如为方格线414与第一校正参考子图像23的上方宽度边缘的间距)等于这些方格线的彼此间距。圆形子图像411与412的形状与颜色皆要一样。水平线413如为透光，则有助于校正参考子图像420与410的对齐。

第二校正参考子图像420包括第二特征图像群组与第二直线。第二特征图像群组包括至少两个相同的第二特征图像，举例可为两个子图像421与422；第二直线举例可为水平线423。在此子图像421与422为圆形做说明，但当知本申请并不受限于此。相似地，校正参考子图像420的宽度、长度、两圆形子图像421与422的圆心相距为已知。水平线423位于校正参考子图像420的中央。圆形子图像421与422的圆心距离校正参考子图像420边缘为已知。第二特征图像等距于第二校正参考子图像420的一边缘，举例可为子图像421与422的圆心分别与第二校正参考子图像420的长度边缘等距离。水平线423位于子图像421与422的圆心连线的中垂线上。第一校正参考子图像410的方格线414与415间的距离，等于第二校正参考子图像420的宽度。子图像421与422的颜色与形状要相同。

如图4B所示，在摆放时，校正参考子图像410垂直于车辆，而校正参考子图像420则垂直于校正参考子图像410。

由图2与图4A可知，在本申请这些实施例中，校正参考图像具有多个特征图像(如圆形子图像)，校正参考图像的长度与宽度、这些特征图像的彼此间距、特征图像与边缘的间距为已知。标记线的长度为已知，更甚者，这些特征图像可为图像(如圆形、方形、三角形等)和/或线条和/或文字，或其任意组合。举例来说，方形、三角形与线条的特征点可为几何中心或是角点；而文字的特征点可为角点。更甚者，如果这些特征图像的颜色彼此皆不相同的话，则这些特征图像可为同一或不同形状。或者，如果这些特征图像的形状彼此皆不相同的话，则这些特征图像可为同一或不同颜色。

请参考图5，其显示本申请一实施例的车用镜头校正流程。如图5所示，在步骤510中，安装校正参考图像，其细节可如上述所示，在此不再重述。

在步骤520中，提取已安装好的校正参考图像的影像。步骤520比如由影像提取单元102所进行。

在步骤530中，进行车用镜头自动化校正，其细节将于下文说明。步骤530主要是通过影像辨识与色彩分类技术，针对校正参考图像的特征图像进行辨识，以确认镜头位置/方向是否正确，如果否，则自动调整镜头并重复步骤520，直到确认镜头位置/方向正确为止。原则上，如果只是要校正车用镜头的话，则步骤510～530即以足够。但在本申请中，更可将后续所提取的即时影像转换成鸟瞰影像，以提供快速且自动化的视角转换。

在步骤540中，在进行自动化校正后，对于经过辨识的校正参考图像上的特征图样，找出其于影像坐标上的坐标，以藉以完成影像坐标与鸟瞰坐标的对应关系(比如是单应转换矩阵(Homography matrix))。此外，影像坐标与鸟瞰坐标的对应关系可存储起来，以做为后续的(即时)鸟瞰转换(亦即，将所提取的车后影像进行坐标转换后，成为鸟瞰影像，并将鸟瞰影像显示给使用者/驾驶者，以辅助行车安全)与距离估计的参考。步骤540的细节将于下文说明。步骤540比如由图1的坐标转换单元所进行。

现请参考图6，其显示根据本申请实施例的图5的步骤530与540的细节。如图6所示，步骤530包括步骤610与620，而步骤540包括步骤630与640。

在步骤610中，进行特征图像的轮廓辨识与(选择性的)色彩分类。对于所提取的影像(亦即校正参考图像的影像)的特征图像，针对特征图像的轮廓特征进行辨识，进而取得特征图像的特征点位置。在此，如果特征图像为圆心的话，则其相对应的特征点为其圆心位置，如果特征图像为多边形(如方形、三角形等)，则其对应的特征点则为几何中心或其顶点；如果特征图像为线条，则其对应的特征点则为其几何中心或其两端点之一或两端点全部。此影像辨识比如由图1的特征提取单元106A所进行。轮廓辨识算法比如为霍夫转换(Hough Transform)、或边缘检测(edge detection)、或形态学(morphology)、或主动轮廓法(active contour method)方法等算法或其任意组合，但不以此为限。色彩分类技术(其比如由图1的色彩分类单元106B所进行)针对的不同颜色的特征图像辨识其颜色。如此的话，可以确认所辨识出的特征图像属于校正参考图像的哪一个特征图像，以对其定位。藉此可确认所辨识出的特征图像的排列顺序，并且记录其圆心位置。如果所有的特征图像的色彩皆相同的话，则不需进行色彩分类。

在步骤620中，判断所辨识出的蓝色圆形子图像32与33的两个圆心位置所连成的直线是否垂直于车辆尾端边缘，来判断影像提取单元的安装位置和/或安装角度是否正确。

本申请实施例的车用镜头校正方法中，如果经过车用镜头校正装置100的辨认后，发现所辨认出的水平线30与31并非垂直于车子后端边缘的话，则代表此时的影像提取单元102的镜头可能是偏左或偏右，车用镜头校正装置100自动发出命令给影像提取单元102以调整镜头并再次提取影像(步骤520)，直到所辨认出的水平线30与31实质上垂直于车子后端边缘。故而，在本申请实施例中，对影像提取单元102的镜头调整并不需要手工操作，而是可以自动化完成。

在本申请实施例中，由于校正参考图像的实际尺寸、特征图像尺寸、特征图像到校正参考图像边缘的距离皆为已知。在步骤630中，求出特征图像在鸟瞰坐标系下的坐标。

在步骤640中，求出不同视角坐标系的坐标对应关系，其细节将于底下说明。

现请参考图7，其显示根据本申请一实施例的不同视角坐标系间的转换。在图7中，上方为影像坐标系(其对应至所提取的影像)，而下方则是鸟瞰坐标系(其对应至所转换出的鸟瞰影像)。在本申请实施例中，鸟瞰坐标系中最远欲观看范围(例如是鸟瞰影像中最远的可视范围)是由使用者所个别定义。

定义最远欲观看范围为Wd(公尺)，而鸟瞰影像的解析度亦为Rw×Rh(相同于提取影像的解析度)。

由于校正参考图像的各尺寸皆为已知(如图2所示的W1～W4)，故而，在图7中，Wd_c1=W3-(W1/2)而Wd_c2=W2+3*(W1/2)。

接着，在辨识结果中，令圆形子图像33的圆心坐标为(X1，Y1)；在鸟瞰坐标系中，转换后蓝色圆形33的坐标为(X1’，Y1’)。则可推论出

X1’=Rw/2

Y1’=Rh*[1-(Wd_c1/Wd)]

相似地，在辨识结果中，令圆形子图像32的圆心坐标为(X2，Y2)；在鸟瞰坐标系中，转换后蓝色圆形32的坐标为(X2’，Y2’)。则可推论出

X2’=Rw/2

Y2’=Rh*[1-(Wd_c2/Wd)]

依此方式，可以推论出，在鸟瞰坐标系下，校正参考图像中所有特征图像的鸟瞰坐标。

故而，通过单应(Homography)演算技术，可估算出影像坐标与鸟瞰坐标系间的转换矩阵H，可定义如下式

$\left[\begin{array}{c}{x}_{\mathrm{new}}\\ y_{\mathrm{new}}\\ z_{\mathrm{new}}\end{array}\right]=\left[\begin{array}{ccc}{H}_{11}& H_{12}& H_{13}\\ H_{21}& H_{22}& H_{23}\\ H_{31}& H_{32}& H_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]---\left(1\right)$

其中x,y,z代表在影像坐标系的像素坐标，x_new,y_new,z_new代表经前述比例关系估算出的鸟瞰影像系的像素坐标。

以非齐次坐标系(x′_new=x_new/z_new,y′_new=y_new/z_new)来看的话，则

$x_{\mathrm{new}}^{\′}=\frac{H_{11}x+H_{12}y+H_{13}z}{H_{31}x+H_{32}y+H_{33}z},$    (2)

$y_{\mathrm{new}}^{\′}=\frac{H_{21}x+H_{22}y+H_{23}z}{H_{31}x+H_{32}y+H_{33}z}$

由于影像为二维坐标系，因此可假设z=1，公式(1)可改写成为：

x′_new(H₃₁x+H₃₂y+H₃₃)=H₁₁x+H₁₂y+H₁₃(3)

y′_new(H₃₁x+H₃₂y+H₃₃)=H₂₁x+H₂₂y+H₂₃

由于求解转换矩阵H中的系数H₁₁～H₃₃，因此可将公式(3)定义为

$a_x^{T}h=0,a_y^{T}h=0---\left(4\right)$

其中

h=(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,H₃₃)^T,

a_x=(-x,-y,-1,0,0,0,x′_newx,x′_newy,x′_new)^T,

a_y=(0,0,0,-x,-y,-1,y′_newx,y′_newy,y′_new)^T

将已取得的共14点的圆形子图像在影像坐标系下的坐标与经比例关系所估算出的鸟瞰坐标系下的坐标，分别代入公式(4)，可表示为

Ah=0 (5)

其中

$A_{28\×9}={(a_{x1}^T,a_{y1}^T,...,a_{x14}^T,a_{y14}^T)}^T---\left(6\right)$

此外，虽然在上例中以14个特征点来估算出影像坐标与鸟瞰坐标系间的转换矩阵H，这是由于镜头扭曲的关系。因此若要满足对镜头边缘所提取的影像也能扭曲校正成功，要在边缘也要有校正特征点，因此在上例中以14个特征点来举例说明。实际上，如果只用四个特征点即可求出影像坐标与鸟瞰坐标系间的转换矩阵H。如果是用四个特征点的话，则上式(6)可改为：

A_8×9=(a^T _x1,a^T _y1,...,a^T _x4,a^T _y4)^T   (7)

如果是用n个特征点的话，则上式(6)可改为：

A_2n×9=(a^T _x1,a^T _y1,...,a^T _xn,a^T _yn)^T    (8)

其中，n代表所用的特征点个数，n为正整数。

通过最佳化算法求解出公式(5)，以求解出有最小误差的单应转换矩阵H。最佳化算法可为线性最小方差(linear least squares)，奇异值分解(singularvalue decomposition)、随机抽样一致性算法(RANSAC，Random sampleconsensus)、最小平方中位数法(least median of square，LMEDS)等最佳化求解算法，但不以此为限。

在求解出最佳的单应转换矩阵后，可将此单应转换矩阵与公式(1)，得到原始影像中的其他非特征图像转换成鸟瞰坐标系下的坐标。此外，可将此单应转换矩阵存储起来(比如存于存储器单元107)，以供车辆安全系统使用。应用此单应转换矩阵，车辆安全系统不仅可即时将所提取的影像转换成鸟瞰影像以提供给使用者，同时也可用以检测或距离估计。

此外，本申请实施例的另一特点在于，在所贴的校正参考图像已依要求贴好，对第1辆车辆的车用镜头完成校正后，后续需要镜头校正的其他车辆的停放位置只要相同于第1辆车子的停放位置，即可开始进行镜头自动校正(无需再次安装校正参考图像)。如此一来，后续其他车辆的车用镜头校正便可利用已贴好的校正参考图像来进行。对于厂商而言，车用镜头校正流程快速且简洁。

本申请实施例的车用镜头自动化校正所得到的视角转换坐标对应关系，可用于鸟瞰转换投影与距离估计，如此，可提供车用影像安全辅助系统的障碍物检测、距离估计，将转换出的鸟瞰影像输出至车用显示装置，给使用者观看，以辅助行车安全。

本申请上述实施例提出的自动校正机制与方法简易快速与低误差性，不需通过复杂校正参考图像或繁杂的校正程序，即可有效提供使用者直觉式车辆影像自动化校正。本申请上述实施例不仅可提供一般镜头厂商、车厂或售服市场(Aftermarket)使用，此外可利于提供车辆影像安全产品(全周监视系统、前方防碰撞警示系统、后方安全辅助系统、侧方盲点警示系统等)建立更快速、更简易的人机校正程序，能有效商品化或切入市场。

综上所述，虽然本申请已以实施例公开如上，然其并非用以限定本申请。本申请所属领域技术人员在不脱离本申请的精神和范围内，当可作各种的更动与润饰。因此，本申请的保护范围当以权利要求书所界定者为准。

Claims (18)

1.一种校正参考图像，用于自动校正一车用镜头，该校正参考图像包括：

一第一校正参考子图像，包括一第一特征图像群组、至少一第一直线与多个第一方格线，该第一特征图像群组包括至少两个相同的第一特征图像；以及

一第二校正参考子图像，包括一第二特征图像群组与一第二直线，该第二特征图像群组包括至少两个相同的第二特征图像；

其中，该第一校正参考子图像与该第二校正参考子图像的尺寸为已知，该第一特征图像群组的这些第一特征图像等距于该第一校正参考子图像的一边缘，该第二特征图像群组的这些第二特征图像等距于该第二校正参考子图像的一边缘。

2.如权利要求1所述的校正参考图像，其中，该第一直线相交于且突出于这些第一方格线的至少两第一方格线。

3.如权利要求1所述的校正参考图像，其中，

该第一特征图像包括：一图像和/或一线条和/或一文字，或其任意组合；以及

该第二特征图像包括：一图像和/或一线条和/或一文字，或其任意组合。

4.如权利要求1所述的校正参考图像，其中，

该第一与该第二特征图像的颜色或形状至少有一个不同；以及

该第二直线介于这些第二特征图像之间，且该第二直线位于该第二校正参考子图像的中央。

5.如权利要求1所述的校正参考图像，其中，该第一直线为一透光直线。

6.如权利要求1所述的校正参考图像，其中，

该第一校正参考子图像还包括多个第一直线，这些方格线的彼此等间距，且这些方格线之一与该第一校正参考子图像的一另一边缘间的一间距等于这些方格线的彼此间距；

该第二特征图像群组还包括多个第三特征图像，这些第二与这些第三特征图像的颜色或形状至少有一个不同，且这些第三特征图像介于这些第二特征图像之间，且该第二直线介于这些第三特征图像之间；以及

该校正参考图像还包括一第三校正参考子图像，该第三校正参考子图像可实质相同或相异于该第二校正参考子图像。

7.一种校正参考图像的设置方法，该校正参考图像如权利要求1所述，该设置方法包括：

将两条标记线分别放置对齐于一车辆的两侧边缘，分别交叉这些标记线以定位出该车辆的一中央延伸线；

将该第一校正参考子图像的该第一直线对准于该车辆的该中央延伸线；以及

将该第二校正参考子图像的该第二直线的两端分别贴齐于该第一校正参考子图像的这些第一方格线。

8.如权利要求7所述的设置方法，其中，

各标记线的多个既定位置标示有多个定位点；

将这些标记线交叉数次，使这些标记线的这些定位点交会以标示出多个交叉点；以及

连线这些交叉点，以定位出该车辆的该中央延伸线。

9.一种影像转换方法，用以将所提取的一第一视角坐标系的一输入影像转换成一第二视角坐标系的一输出影像，该影像转换方法包括：

提取如权利要求1所述的该校正参考图像的一影像；

辨识该校正参考图像的这些第一特征图像与这些第二特征图像；

求出这些第一特征图像与这些第二特征图像在该第一视角坐标系的个别特征点坐标，以及这些第一特征图像与这些第二特征图像在该第二视角坐标系的个别特征点坐标，以求出该第一视角坐标与该第二视角坐标系间的一坐标对应关系；以及

根据该坐标对应关系，将该输入影像转换成该输出影像。

10.如权利要求9所述的影像转换方法，还包括：

判断所辨认出的这些第一特征图像的这些特征点所连成的一直线是否垂直于一载具的一边缘，以确认一镜头的一位置和/或一方向是否正确；以及

如果否，则自动调整该镜头并再次提取该校正参考图像的该影像，直到所辨认出的这些第一特征图像的这些特征点所连成的该直线垂直于该载具的该边缘

其中，这些特征点为这些第一与这些第二特征图像的几何中心或其顶点或其端点。

11.如权利要求9所述的影像转换方法，其中，该辨识步骤包括：以霍夫转换法、或边缘检测法、或形态学法、或主动轮廓法，或其任意组合，来辨识该校正参考图像的这些第一与这些第二特征图像的个别轮廓，以判断所辨识出的特征图像是否属于该校正参考图像的这些第一与第二特征图像之一，以进行定位。

12.如权利要求9所述的影像转换方法，还包括：

辨识该校正参考图像的这些第一特征图像与这些第二特征图像的个别颜色或形状。

13.如权利要求9所述的影像转换方法，还包括：

确认所辨识出的这些第一特征图像与该些第二特征图像的一排列顺序，并且记录其个别位置。

14.一种影像转换装置，用以将所提取的一第一视角坐标系的一输入影像转换成一第二视角坐标系的一输出影像，该影像转换装置包括：

一影像提取单元，提取如权利要求1所述的该校正参考图像的一影像；

一特征提取单元，辨识该校正参考图像的这些第一特征图像与这些第二特征图像；以及

一坐标转换单元，求出这些第一特征图像与这些第二特征图像在该第一视角坐标系的个别特征点坐标，求出这些第一特征图像与这些第二特征图像在该第二视角坐标系的个别特征点坐标，求出该第一视角坐标与该第二视角坐标系间的一坐标对应关系，并根据该坐标对应关系，将该输入影像转换成该输出影像。

15.如权利要求14所述的影像转换装置，其中，

该特征提取单元判断所辨认出的这些第一特征图像的这些圆心所连成的一直线是否垂直于一载具的一边缘，以确认一镜头的一位置和/或一方向是否正确，如果否，则自动调整该镜头并再次提取该校正参考图像的该影像，直到所辨认出的这些第一特征图像的这些圆心所连成的该直线垂直于该载具的该边缘。

16.如权利要求14所述的影像转换装置，其中，该特征提取单元：以霍夫转换法、或边缘检测法、或形态学法、或主动轮廓法，或其任意组合，来辨识该校正参考图像的这些第一与这些第二特征图像的个别轮廓，以判断所辨识出的特征图像是否属于该校正参考图像的这些第一与第二特征图像之一，以进行定位。

17.如权利要求14所述的影像转换装置，其中，该特征提取单元辨识该校正参考图像的这些第一特征图像与这些第二特征图像的个别颜色或形状。

18.如权利要求14所述的影像转换装置，其中，该特征提取单元确认所辨识出的这些第一与该第二特征图像的一排列顺序，并且记录其个别位置。