CN106101635A - 车辆周围影像处理方法及装置 - Google Patents

Abstract

一种车辆周围影像处理方法及装置。此方法利用配置于车辆上的多个相机拍摄车辆周围多个透视视野的影像，并分别将这些透视视野的影像转换为俯视视野的影像，然后在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。本发明能够获得可清楚显露车辆周围地面及景物的合成影像。

Description

车辆周围影像处理方法及装置

技术领域

本发明是有关于一种影像处理方法及装置，且特别是有关于一种车辆周围影像处理方法及装置。

背景技术

汽车360度环景显示系统主要是利用装载于车身前、后、左、右的四个相机撷取车辆周围四个不同方向上的影像，通过对影像进行转换、合成、拼贴等处理，而可获得以车辆上方俯视车身视野呈现的车辆周围实景影像。此360度环景影像可协助车辆驾驶在停车或行驶于狭小巷弄时，能够清楚地判断车身与停车格或其他障碍物之间的相对位置，以避免发生碰撞意外。

然而，目前的环景显示系统只能提供车辆四周(包含车身及周围景物或障碍物)一定距离内的俯视影像，但此俯视影像并不能反映出景物或障碍物的真实样貌，也与驾驶实际观看到的景像不符。据此，有必要提供一种影像处理方法，除了提供车辆的俯视影像外，也能够提供更清楚的周围景物影像，以协助驾驶精准地判断车身与周围景物的相对位置。

发明内容

本发明提供一种车辆周围影像处理方法及装置，通过将车辆周围影像及俯视影像适当地裁切为地面侧影像及墙面侧影像，并进行适当地合并及拼接，借此产生可清楚显露车辆周围景物的影像。

本发明的车辆周围影像处理方法适用于配置于车辆上的电子装置。此电子装置连接配置于车辆上的多个相机。此方法包括利用相机拍摄车辆周围多个透视视野(perspective view)的影像，并分别将这些透视视野的影像转换为俯视视野(top view)的影像。然后，在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，产生车辆周围的合成影像。

本发明的车辆周围影像处理装置包括连接装置、储存装置及处理器。其中，连接装置用以连接配置于车辆上的多个相机。储存装置用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括影像拍摄模块、视野转换模块、影像切割模块及影像拼接模块。影像拍摄模块利用相机拍摄车辆周围多个透视视野的影像；视野转换模块分别将这些透视视野的影像转换为俯视视野的影像；影像切割模块是在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像；影像拼接模块会将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。

基于上述，本发明的车辆周围影像处理方法及装置通过将以多个不同透视视野拍摄的车辆周围影像转换为俯视视野影像，并找出转换后影像在纵向上的连续空洞像素的区间，而据以裁切、合并及拼接影像，借此可获得经适当处理的可清楚显露车辆周围景物的合成影像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是依照本发明一实施例所绘示的车辆周围影像处理装置的方块图。

图2是依照本发明一实施例所绘示的车辆周围影像处理方法的流程图。

图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。

图4是本发明一实施例所绘示的鱼眼校正的范例。

图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。

图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。

图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。

图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。

图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。

图10是依照本发明一实施例所绘示的拼接合并影像的范例。

图11是依照本发明一实施例所绘示的建立三维模型的范例。

图12A至图12G是依照本发明一实施例所绘示的显示车辆周围影像的范例。

其中，附图中符号的简单说明如下：

10：电子装置

12：连接装置

14：储存装置

142：影像拍摄模块

144：视野转换模块

146：影像切割模块

148：影像拼接模块

16：处理器

30：车辆

32、34、36、38：相机

32a、34a、36a、38a：透视视野影像

42：鱼眼影像

44：去鱼眼影像

52、54、80、92、94、110：影像

56：一行像素

58：区间

72：俯视视野影像

74：透视视野影像

76、102、104、106、108：合并影像

722、742、762：墙面侧影像

724、744、764：地面侧影像

80a、80b：转换后影像

82、84、86、88：区域

92a、94a：调整后影像

100：合成影像

112：三维模型

122、124、126、128、130、132、134：车辆周围影像

S202～S208：本发明一实施例的车辆周围影像处理方法的方法步骤

S602～S606：本发明一实施例的拼接不同视野影像以获得车辆周围合成影像的方法步骤。

具体实施方式

针对车辆环景系统相机所拍摄的透视视野(perspective view)影像，本发明的装置除了将其转换为可辅助停车的俯视视野(top view)影像外，还利用转换后影像中的空洞分布，决定一个可切割出清晰地面侧影像的分割线。通过此分割线对转换前后的影像进行分割，并将俯视视野影像中的地面侧影像与透视视野影像中的墙面侧影像合并，可获得地面侧与墙面侧影像皆清晰的合并影像。最后，将各个视野的合并影像拼接，从而获得可清楚显露车辆周围地面及景物的合成影像。此外，通过将上述合成影像映射于车辆周围空间的三维模型，使得本发明的装置还可依使用者的观看需求或是车辆的作动方式，提供适于使用者当下观看的影像。

图1是依照本发明一实施例所绘示的车辆周围影像处理装置的方块图。本实施例的车辆周围影像处理装置是以图1中的电子装置10为例，其例如是车用计算机，或是具备运算功能的手机、平板计算机或个人计算机或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：

连接装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝芽、无线保真(Wireless fidelity，Wi-Fi)等有线或无线的传输介面，其可用以连接配置于车辆上的相机，从而接收相机所拍摄的影像。

储存装置14例如是任何型态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录影像拍摄模块142、视野转换模块144、影像切割模块146及影像拼接模块148。

处理器16例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14连接。

在本实施例中，储存在储存装置14中的模块例如是计算机程序，而可由处理器16载入，据以执行本实施例的车辆周围影像处理的方法。以下即举实施例说明此方法的详细步骤。

图2是依照本发明一实施例所绘示的车辆周围影像处理方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例车辆周围影像处理方法的详细步骤：

首先，由影像拍摄模块142利用连接装置12所连接的相机拍摄车辆周围多个透视视野的影像(步骤S202)。上述的相机可以包括配置于车辆前、后、左、右四个位置的相机，用以拍摄车身前方、后方、左方、右方等透视视野的影像，但不限于此。本领域技术人员可视实际需要，在车辆的其他位置额外配置相机，以增加所拍摄影像的涵盖范围。

举例来说，图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。请参照图3，本实施例是在车辆30的前、后、左、右四个位置分别配置相机32、34、36、38。其中，相机32、34、36、38分别用以拍摄车身前方、后方、左方、右方等透视视野的影像32a、34a、36a、38a。

需说明的是，在上述实施例中，配置在车辆上的相机例如是使用鱼眼镜头，其具有接近180度的视角，而可拍摄涵盖范围较广的影像。基于使用鱼眼镜头拍摄的影像会产生变形(例如影像32a、34a、36a、38a所示的圆形扭曲)，故本申请实施例可额外由处理器16执行鱼眼校正模块(未绘示)，从而对这些影像进行鱼眼校正。

鱼眼校正模块例如会依据各个相机的鱼眼镜头的焦距、视角、中心解析度、边缘解析度等镜头参数，对相机所拍摄的影像进行裁切，以将鱼眼镜头的中心移动至影像中心。详言之，由鱼眼镜头拍摄的景物仅会出现在影像中心的圆形区域中，其周围则会是黑边。若左右黑边的宽度不同，则代表镜头中心已偏离影像中心。此时鱼眼校正模块例如会裁切影像，以使影像两边黑边的宽度一致，从而将鱼眼镜头的中心移动至影像中心，确保后续执行鱼眼校正时影像可还原为原始形状。

在校正影像中心之后，鱼眼校正模块还会分别依据各个相机的上述镜头参数，对相机所拍摄的影像执行鱼眼校正，而从影像的中心开始向外校正影像，使得原本扭曲变形的影像可还原为所拍摄景物的原始形状。

详言之，假设所拍摄鱼眼影像的宽度为dw、高度为dh，校正后原始影像的宽度为sw、高度为sh；假设(dx,dy)为校正前鱼眼影像的像素位置，而(sx,sy)为校正后的来源影像的像素位置；假设鱼眼镜头的去鱼眼(de-fish)系数为f。其中，像素(dx,dy)与影像中心(dw/2,dh/2)的距离(rx,ry)的关系为：

$(rx,ry)=(dx-\frac{dw}{2},dy-\frac{dh}{2});$

校正后的来源影像(即去鱼眼影像)的像素位置(sx,sy)为：

其中

其中其中d(i,j)为欧式距离(Euclidean distance)。在另一实施例中，若配置在车辆上的相机不是使用鱼眼镜头，可以不进行鱼眼校正或进行对应于相机镜头的其他种类校正。

举例来说，图4是本发明一实施例所绘示的鱼眼校正的范例。请参照图4，本实施例是针对配置于车辆前方的相机使用鱼眼镜头所拍摄的鱼眼影像42执行鱼眼校正。鱼眼影像42中像素的位置可经由上述公式转换至去鱼眼影像44中的对应位置，从而获得无变形失真的去鱼眼影像44。其中，而由于鱼眼镜头的限制，去鱼眼影像44的上部中间与下部中间将出现黑边。

接着，视野转换模块144会分别将透视视野的影像转换为俯视视野的影像(步骤S204)。其中，视野转换模块144例如会利用一个预先建立的转换矩阵，将透视视野影像中的多个像素的位置转换至俯视视野影像中的对应位置。

关于上述的转换矩阵，视野转换模块144例如是使用上述的相机分别拍摄包括参考物件(例如是绘制地面上的定位格线或图案)在内的透视视野的第一影像，并使用配置于参考物件上方的另一独立相机拍摄包括相同参考物件在内的真实俯视视野的第二影像。然后，视野转换模块144会撷取第一影像中参考物件的多个像素的位置作为目标位置，并撷取第二影像中相同参考物件的多个对应像素的位置作为来源位置，据以解出转换矩阵中的多个转换系数。

举例来说，假设(xi,yj)为来源影像(即上述俯视视野的第二影像)中的像素位置；(ui,vj)为目标影像(即上述透视视野的第一影像)中的像素位置。在来源影像中取预先决定的4个像素并在目标影像中取预先决定的4个对应像素带入下列算式：

$\left[\begin{array}{cccccccc}x0& y0& 1& 0& 0& 0& -x0\×u0& -y0\×u0\\ x1& y1& 1& 0& 0& 0& -x1\×u1& -y1\×u1\\ x2& y2& 1& 0& 0& 0& -x2\×u2& -y2\×u2\\ x3& y3& 1& 0& 0& 0& -x3\×u3& -y3\×u3\\ 0& 0& 0& x0& y0& 1& -x0\×v0& -y0\×v0\\ 0& 0& 0& x1& y1& 1& -x1\×v1& -y1\×v1\\ 0& 0& 0& x2& y2& 1& -x2\×v2& -y2\×v2\\ 0& 0& 0& x3& y3& 1& -x3\×v3& -y3\×v3\end{array}\right]\·\left[\begin{array}{c}{C}_{00}\\ C_{01}\\ C_{02}\\ C_{10}\\ C_{11}\\ C_{12}\\ C_{20}\\ C_{21}\end{array}\right]=\left[\begin{array}{c}u0\\ u1\\ u2\\ u3\\ v0\\ v1\\ v2\\ v3\end{array}\right];$

通过解出上列线性系统中的系数Cij(i,j＝0～2，其中C22＝1)可得到一对应的3×3矩阵C，即可由C的反矩阵获得本实施例用来将透视视野影像转换为俯视视野影像的转换矩阵。得到上述将透视视野影像转换为俯视视野影像的转换矩阵后，便可将车辆的相机所拍摄的透视视野影像像素的对应向量(ui,vi,1)乘以转换矩阵得到俯视视野影像像素的对应向量(xi,yi,1)。虽然本实施例中以4个像素计算转换矩阵，但在其他实施例中可以使用其他数目的像素来计算转换矩阵。在一实施例中，在车辆的不同位置的各个相机所拍摄的影像可以使用相同或不同的转换矩阵来转换，以配合各相机的角度与镜头参数。在一实施例中，可以预先根据上述转换矩阵建立各透视视野影像像素映射(map)至各俯视视野影像像素的一对应表(mapping table)，再由查表的方式进行转换。

回到图2的流程，在获得转换后的俯视视野影像后，影像切割模块146会在转换后俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像(步骤S206)。上述的一行像素例如是位于影像中线上的一行像素或是位于影像中特定物件上的一行像素，而上述的预设数目例如为10或是其他依据解析度等影像参数而定的数目，在此不设限。

详言之，由于透视视野影像中各像素的资料在转换为俯视视野后会集中于影像下方(即地面侧影像)，并且会随着影像高度的增加(即与影像下方的距离拉长)而递减。因此，俯视视野影像中会留下许多无影像资料的空洞像素，且这些空洞像素会随着影像高度的增加而递增。

本申请实施例即根据此特性，为此空洞像素的分布设定一个数量上的预设值，若俯视视野影像在纵向上的连续空洞像素的数量超过此预设值时，即代表此区间上方的影像中的空洞像素会过多而导致影像失真。据此，影像切割模块146即根据此区间在影像中的高度，将透视视野影像切割为地面侧影像及墙面侧影像，借以保留较为清楚的地面侧影像。其中，影像切割模块146例如会使用此区间中点的高度，或是使用位于此区间上端或下端具有影像资料的像素的高度，决定分割线的位置。

举例来说，图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。请参照图5，影像52是经过鱼眼校正后的车辆左侧影像，将影像52的视角转换至俯视视角后，则可获得影像54。由影像54可知，影像资料主要集中于地面侧影像，而随着影像高度的增加，空洞像素(位于影像上部横线之间的黑色区域)也逐渐增多。据此，本发明即取影像54中线上的一行像素56来决定切割影像54的分割线位置。请参照影像54右侧的该行像素56的放大图，该行像素56包括高度为297至317的多个像素，其中像素A、B为具有影像资料的像素，而其他像素则为不具有影像资料的空洞像素。基于这些空洞像素的数量达到10个，本发明即利用这些空洞像素形成的区间58来决定切割影像54的分割线位置。其中，本发明可使用区间58的中点在影像54中的高度，或是使用像素A或B在影像54中的高度，作为分割线的高度。

回到图2的流程，在将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像之后，影像拼接模块148即会将切割后的地面侧影像及墙面侧影像拼接起来，以产生车辆周围的合成影像(步骤S208)。其中，影像拼接模块148例如会对相同视野的地面侧及墙面侧的清晰影像进行合并，然后再对相邻视野的合并影像进行拼接，并适当地调整其中墙面侧影像的高度，使得所拼接影像中墙面侧影像的高度对应一致，最后即可产生可环绕车辆周围360度的合成影像。

详言之，图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。请同时参照图1及图6，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例影像拼接方法的详细步骤：

首先，由影像拼接模块148针对各个透视视野的影像及其对应的俯视视野的影像，将切割后的透视视野的墙面侧影像及切割后的俯视视野的地面侧影像合并，以产生该透视视野的合并影像(步骤S602)。其中，基于俯视视野的地面侧影像较为清晰且接近真实影像，而透视视野的墙面侧影像较为清晰且接近真实影像，故影像拼接模块148在将两者合并后，即可获得地面侧及墙面侧影像均为清晰且接近真实影像的合并影像。

举例来说，图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。请参照图7，影像74是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像，影像72则是对影像74进行视野转换所得的俯视视野影像。基于前述实施例的分割线决定方法，可得到适于切割影像72、74的分割线。利用此分割线，可将俯视视野影像72切割为墙面侧影像722及地面侧影像724，以及将透视视野影像74切割为墙面侧影像742及地面侧影像744。据此，本实施例将影像较为清晰的俯视视野影像72的地面侧影像724以及透视视野影像74的墙面侧影像742合并，以获得合并影像76。其中，本实施例在合并地面侧影像724与墙面侧影像742时，还可进一步根据地面侧影像724及墙面侧影像742中的对应特征(例如可通过习知的影像辨识方法来辨识对应特征)，缩放地面侧影像724与墙面侧影像742，而获得位置相对应的地面侧影像764与墙面侧影像762。本实施例的墙面侧影像762即是由墙面侧影像742缩放而得。

需说明的是，本实施例的墙面侧影像是取自经过鱼眼校正后的透视视野影像，但即便经过鱼眼校正，透视视野影像中的墙面侧影像的物件仍有可能会有偏斜的情形，且离影像中线愈远，偏斜的情形愈明显。对此，本实施例在将墙面侧影像与地面侧影像合并之前，例如还会针对墙面侧影像进行偏斜调整，使得调整后墙面侧影像中的物件能够对齐。

举例来说，图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。请参照图8A，影像80是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像。其中，本实施例取用影像80中位于区域82内的多个像素的位置作为来源位置，并预设将区域82转换为区域84，借以调整区域82内偏斜的物件，使其在转换至区域84内后可彼此对齐。

由转换后影像80a中的柱子可知，转换后影像80a中的柱子仍然向左偏斜。据此，本实施例将转换所取用像素的区域82调整至区域86，即向左扩大所取用像素的区域，并预设转换后区域88，此区域88的尺寸与形状是与区域84相同的。由转换后影像80b中的柱子可知，转换后影像80b中的柱子彼此对齐，也与影像的轴线(垂直线)方向一致。通过上述的调整方式，即可解决透视视野影像的墙面侧影像中物件偏斜的问题。

回到图6的流程，接着由影像拼接模块148针对相邻透视视野的合并影像，调整这些合并影像中的墙面侧影像的高度，使得这些合并影像中的墙面侧影像的高度一致(步骤S604)。详言之，由于相邻的透视视野会有重叠，故相邻透视视野影像中的部分区域会有重叠，但由于视野方向的不同，这些重叠区域的高度不一定相同。若直接将相邻透视视野影像拼接在一起，上述高度不一致的问题将造成拼接影像的不连续。据此，本申请实施例即通过比对相邻透视视野的合并影像中的对应特征，据以调整合并影像的高度，使其一致。

举例来说，图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。请参照图9，影像92是车辆左方相机所拍摄影像经过上述实施例的鱼眼校正、切割及合并后所得的左方透视视野的合并影像，影像94则是车辆前方相机所拍摄影像经过鱼眼校正、切割及合并后所得的前方透视视野的合并影像，由影像92、94的上方区域可知，其中的墙面有重叠。然而，影像92中的墙面高度(向右箭头)显然比影像94的墙面高度(向左箭头)为高，因此若直接合并影像92与影像94，势必会产生墙面高度不一致的情形。对此，本实施例可通过上述图8A与图8B的调整方式，将影像92中的墙面侧影像减少高度(等同于减少墙面高度)，而获得调整后的影像92a，以及将影像94中的墙面侧影像增加高度(等同于增加墙面高度)，而获得调整后的影像94a。由于调整后的影像92a与影像94a中的墙面高度相同，故即便将影像92与影像94合并，其中的墙面高度也会是一致的，而不会产生上述影像不连续的情况。调整后的影像可以比照前述方法建立另一转换矩阵，使透视视野影像中的墙面侧影像乘上该转换矩阵后即完成影像调整。在另一实施例中，也可比照前述方法通过使用上述的相机分别拍摄包括参考物件(例如是绘制墙面上的定位格线或图案)在内的墙面侧影像，并使用配置于参考物件前方的另一独立相机拍摄包括相同参考物件在内的真实墙面侧影像，以相同方式据以解出墙面侧影像的转换矩阵。

最后，由影像拼接模块148根据相邻透视视野的合并影像中的多个对应特征，将这些合并影像拼接，以产生合成影像(步骤S606)。上述的对应特征例如是在相邻透视视野的两张合并影像中均有出现的物件的特征。影像拼接模块148例如可对应车辆的方向，将车辆的前方、后方、左方、右方四张影像进行旋转，然后再根据上述合并影像中的物件特征对这些合并影像进行平移及/或缩放，使得这些合并影像可以拼接为同一张合成影像。

举例来说，图10是依照本发明一实施例所绘示的拼接合并影像的范例。图10左方的影像102、104、106、108例如分别是车辆前方、后方、左方及右方的合并影像。在进行拼接时，除了车辆前方的影像102维持原方向外，车辆左方的影像会逆时针旋转90度；车辆右方的影像会顺时针旋转90度；车辆后方的影像则会旋转180度。其中，由于影像102、104、106、108中有出现柱子、停车格线、电灯等相同物件，故本实施例的装置即可根据这些相同物件所在位置及大小，对旋转后的影像102、104、106、108进行拼接，从而获得包括车辆周围地面与景物的合成影像100。拼接后的影像可以比照前述方法对车辆前方、后方、左方及右方的合并影像建立对应的转换矩阵以完成影像拼接。

基于上述影像拼接模块148所拼接的车辆周围的合成影像包括清楚的车辆周围各方向上的墙面侧与地面侧影像，在另一实施例中，本发明还可由处理器16执行三维模型模块，从而将清晰的合成影像映射至车辆周围空间的三维模型。借此，当电子装置10接收到对于车辆周围影像的观看需求，即可根据观看需求中的观看角度，使用上述建立的三维模型，提供此观看角度上的周围影像。

举例来说，图11是依照本发明一实施例所绘示的建立三维模型的范例。图11的影像110例如是由上述实施例的车辆周围影像处理方法所产生的车辆周围的合成影像。其中，本实施例的装置例如会先建立车辆周围空间的三维模型112，从而将此影像110中的各个像素映射至三维模型112中的对应位置。需说明的是，本实施例的影像110是由配置于车辆前、后、左、右等四个相机所拍摄影像经过处理所获得，所以当影像110被映射至三维模型112，这些由车辆前、后、左、右等四个相机所拍摄的透视视野影像的合并影像中的各个像素将会对应至三维模型中的其中一个像素。据此，本实施例的装置即可针对上述四个相机所拍摄影像中的像素，找出其在三维模型中的对应位置，从而建立一个对应表。借此，每当装置接收到这四个相机所拍摄的影像时，即可通过查表直接将这些影像中的像素转换至三维模型中的对应位置，从而快速地建立车辆周围空间的三维模型。在图11的实施例中，车辆前方、后方、左方及右方的影像所各自对应的三维模型112中的各平面彼此以接近直角的方式相接；在其他实施例中，各平面可以用其他角度相接或是以弧面的方式彼此相接。

在三维模型建立之后，本实施例的装置即可利用此三维模型，根据观看需求提供不同观看角度的车辆周围影像，借以作为驾驶行驶车辆的参考。在一实施例中，上述的观看需求例如是依使用者在装置上所选择的观看角度或观看模式来决定。在另一实施例中，此观看需求也可以是根据车辆的作动来决定。例如，当车辆在倒车时，即自动显示后方的车辆周围影像；车辆在左弯时，则自动显示左前方的车辆周围影像，在此不设限。

举例来说，图12A至图12G是依照本发明一实施例所绘示的显示车辆周围影像的范例。本实施例例如是由使用者手动选择对应的观看角度，或是直接根据车辆的作动参数，自动选择对应的观看角度。其中，图12A绘示俯视视角的影像122；图12B绘示车辆后方的影像124；图12C绘示由后往前看的影像126；图12D绘示车辆左前方朝右后方视角的影像128；图12E绘示车辆右前方朝左后方视角的影像130；图12F绘示车辆左后方朝右前方视角的影像132；图12G绘示车辆右后方朝右左前方视角的影像134。

综上所述，本发明的车辆周围影像处理方法及装置通过将车辆周围以多个不同视野拍摄的影像转换为俯视视野影像，并找出转换后影像在纵向上的连续空洞像素的区间，而决定一个分割线。根据此分割线裁切、合并及拼接影像，借此可获得经适当处理的可清楚显露车辆周围景物的合成影像。而通过将此合成影像映射至车辆周围空间的三维模型，则可根据观看需求，自动显示车辆周围影像。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (20)

1.一种车辆周围影像处理方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：

利用所述相机拍摄该车辆周围多个透视视野的影像；

分别转换所述透视视野的所述影像为俯视视野的影像；

在转换后的该俯视视野的各所述影像的其中一行像素中，找出由至少一预设数目的连续多个空洞像素构成的区间，进而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及

拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的合成影像。

2.根据权利要求1所述的车辆周围影像处理方法，其特征在于，所述相机使用鱼眼镜头拍摄所述影像，该方法还包括：

分别依据该鱼眼镜头的镜头参数，执行鱼眼校正于所述影像，从所述影像的中心开始向外校正所述影像。

3.根据权利要求2所述的车辆周围影像处理方法，其特征在于，还包括：

分别依据该鱼眼镜头的该镜头参数，裁切所述影像，以将该鱼眼镜头的中心移动至所述影像的中心。

4.根据权利要求1所述的车辆周围影像处理方法，其特征在于，分别将所述影像的该视野由该透视视野转换为该俯视视野的步骤包括：

通过转换矩阵分别将该透视视野的所述影像的多个像素的位置转换至该俯视视野的该影像中的对应位置。

5.根据权利要求4所述的车辆周围影像处理方法，其特征在于，在通过该转换矩阵分别将该透视视野的所述影像的所述像素的位置转换至该俯视视野的该影像中的该对应位置的步骤之前，还包括：

分别使用所述相机拍摄包括参考物件在内的该透视视野的第一影像；

使用配置于该参考物件上方的相机拍摄包括该参考物件在内的该俯视视野的第二影像；以及

撷取该第一影像中该参考物件的多个像素的位置作为目标位置，并撷取该第二影像中该参考物件的多个对应像素的位置作为来源位置，以解出该转换矩阵。

6.根据权利要求1所述的车辆周围影像处理方法，其特征在于，拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像的步骤包括：

针对各所述透视视野的该影像及其对应的该俯视视野的该影像，合并切割后的该透视视野的该墙面侧影像及切割后的该俯视视野的该地面侧影像，以产生该透视视野的合并影像；以及

根据相邻所述透视视野的所述合并影像中的多个对应特征，拼接所述合并影像，以产生该合成影像。

7.根据权利要求6所述的车辆周围影像处理方法，其特征在于，拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像的步骤还包括：

针对相邻所述透视视野的所述合并影像，调整所述合并影像中的所述墙面侧影像的高度，使得所述合并影像中的所述墙面侧影像的高度一致。

8.根据权利要求1所述的车辆周围影像处理方法，其特征在于，还包括：

分别校正所述墙面侧影像，使得校正后所述墙面侧影像中的物件对齐所述墙面侧影像的轴线方向。

9.根据权利要求1所述的车辆周围影像处理方法，其特征在于，还包括：

映射该合成影像至该车辆周围空间的三维模型；以及

接收对于车辆周围影像的观看需求，以根据该观看需求中的观看角度，使用该三维模型提供该观看角度上的合成影像。

10.根据权利要求9所述的车辆周围影像处理方法，其特征在于，接收对于该车辆周围影像的该观看需求，以根据该观看需求中的该观看角度，使用该三维模型提供该观看角度上的该周围影像的步骤包括：

接收该车辆的作动参数，据以判断该车辆作动所对应的该观看角度，而使用该三维模型提供该观看角度上的该车辆周围影像。

11.一种车辆周围影像处理装置，其特征在于，包括：

连接装置，连接配置于车辆上的多个相机；

储存装置，储存多个模块；以及

处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述模块，所述模块包括：

影像拍摄模块，利用所述相机拍摄该车辆周围多个透视视野的影像；

视野转换模块，分别转换所述透视视野的影像为俯视视野的影像；

影像切割模块，在转换后的该俯视视野的各所述影像的其中一行像素中，找出由至少一预设数目的连续多个空洞像素构成的区间，进而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及

影像拼接模块，拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的合成影像。

12.根据权利要求11所述的车辆周围影像处理装置，其特征在于，所述相机包括鱼眼镜头，而所述模块还包括：

鱼眼校正模块，分别依据该鱼眼镜头的镜头参数，执行鱼眼校正于所述影像，从所述影像的中心开始向外校正所述影像。

13.根据权利要求12所述的车辆周围影像处理装置，其特征在于，该鱼眼校正模块还分别依据该鱼眼镜头的该镜头参数，裁切所述影像，以将该鱼眼镜头的中心移动至所述影像的中心。

14.根据权利要求11所述的车辆周围影像处理装置，其特征在于，该视野转换模块通过转换矩阵分别将该透视视野的所述影像的多个像素的位置转换至该俯视视野的该影像中的对应位置。

15.根据权利要求14所述的车辆周围影像处理装置，其特征在于，该视野转换模块分别使用所述相机拍摄包括参考物件在内的该透视视野的第一影像，使用配置于该参考物件上方的相机拍摄包括该参考物件在内的该俯视视野的第二影像，以及撷取该第一影像中该参考物件的多个像素的位置作为目标位置，并撷取该第二影像中该参考物件的多个对应像素的位置作为来源位置，以解出该转换矩阵。

16.根据权利要求11所述的车辆周围影像处理装置，其特征在于，该影像拼接模块针对各所述透视视野的该影像及其对应的该俯视视野的该影像，合并切割后的该透视视野的该墙面侧影像及切割后的该俯视视野的该地面侧影像，以产生该透视视野的合并影像，以及根据相邻所述透视视野的所述合并影像中的多个对应特征，拼接所述合并影像，以产生该合成影像。

17.根据权利要求16所述的车辆周围影像处理装置，其特征在于，该影像拼接模块还针对相邻所述透视视野的所述合并影像，调整所述合并影像中的所述墙面侧影像的高度，使得所述合并影像中的所述墙面侧影像的高度一致。

18.根据权利要求11所述的车辆周围影像处理装置，其特征在于，该影像切割模块还分别校正所述墙面侧影像，使得校正后所述墙面侧影像中的物件对齐所述墙面侧影像的轴线方向。

19.根据权利要求11所述的车辆周围影像处理装置，其特征在于，所述模块还包括：

三维模型模块，映射该合成影像至该车辆周围空间的三维模型，并接收对于车辆周围影像的观看需求，以根据该观看需求中的观看角度，使用该三维模型提供该观看角度上的该车辆周围影像。

20.根据权利要求19所述的车辆周围影像处理装置，其特征在于，该三维模型模块包括接收该车辆的作动参数，据以判断该车辆作动所对应的该观看角度，而使用该三维模型提供该观看角度上的该车辆周围影像。