CN106961585B - 行车辅助方法及装置 - Google Patents
行车辅助方法及装置 Download PDFInfo
- Publication number
- CN106961585B CN106961585B CN201710233529.1A CN201710233529A CN106961585B CN 106961585 B CN106961585 B CN 106961585B CN 201710233529 A CN201710233529 A CN 201710233529A CN 106961585 B CN106961585 B CN 106961585B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- travel track
- threedimensional model
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 abstract 1
- 241000251468 Actinopterygii Species 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
一种行车辅助方法及装置。此方法计算车辆行进时车轮于车辆周围的行进轨迹，并利用配置于车辆上的多个相机拍摄车辆周围多个透视视野的影像，进而转换为俯视视野的影像。之后，根据透视视野及俯视视野的影像产生车辆周围的合成影像，最后则将合成影像及行进轨迹映射并结合至车辆周围的三维模型，而使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。本发明可辅助使用者在行车时可清楚看到行进轨迹与周围景物或物体的变化，从而适当地调整行进操作。
Description
技术领域
本发明是有关于一种影像处理方法及装置，且特别是有关于一种行车辅助方法及装置。
背景技术
现今的倒车显影系统是利用配置于车辆后方的相机撷取车辆后方影像(包含地面及景物)，并根据方向盘转角估测车辆倒车时后轮的移动轨迹，从而将此移动轨迹绘制于所撷取的影像中。而通过在倒车时显示由前方往后方看包含后轮移动轨迹的后方影像，可辅助驾驶确认目前方向盘所打的角度是否适合并进行调整，最终可准确地将车辆倒车至所欲停放的位置。
然而，由于相机的视野有限，即便使用视野较广的广角或鱼眼镜头来拍摄影像，由前方往后方看的传统倒车显影系统仍旧只能显示有限视野的影像，无法完整或清楚显示出车辆周围的景物或其他物体。结果，使用者在基于由前方往后方看的传统倒车显影系统所显示的倒车轨迹进行倒车的过程中，仍得小心提防周遭景物或物体进入倒车区域。
发明内容
本发明提供一种行车辅助方法及装置，通过计算车辆行进轨迹并绘制于视角为车辆上后方往下前方观看的影像中，借此可辅助驾驶了解车辆行进路线与周围地面及景物的关系。
本发明的行车辅助方法适用于配置于车辆上的电子装置。此电子装置连接配置于车辆上的多个相机。此方法计算车辆行进时车轮于车辆周围的行进轨迹。接着，利用相机拍摄车辆周围多个透视视野(perspective view)的影像，并分别将这些影像的视野由透视视野转换为俯视视野(top view)。之后，根据透视视野及俯视视野的影像产生车辆周围的合成影像。最后，将合成影像及行进轨迹映射(map)并结合至车辆周围的物件空间的三维模型，而使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。
本发明的行车辅助装置包括连接装置、储存装置及处理器。其中，连接装置用以耦接配置于车辆上的多个相机。储存装置用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括轨迹计算模块、影像拍摄模块、视野转换模块、影像拼接模块及三维模型模块。其中，轨迹计算模块用以计算车辆行进时车轮于车辆周围的行进轨迹。影像拍摄模块利用相机拍摄车辆周围多个透视视野的影像。视野转换模块用以将透视视野的影像分别转换为俯视视野的影像。影像拼接模块用以根据透视视野及俯视视野的影像产生车辆周围的合成影像。三维模型模块用以将合成影像及行进轨迹映射并结合至车辆周围的三维模型，并使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。
基于上述，本发明的行车辅助方法及装置通过计算车辆行进时车轮于车辆周围的行进轨迹，并将此行进轨迹与车辆环境影像映射并结合至三维模型，之后再利用此三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。借此，可辅助使用者在行车时可清楚看到行进轨迹与周围景物或物体的变化，从而适当地调整行进操作。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的行车辅助装置的方块图。
图2是依照本发明一实施例所绘示的行车辅助方法的流程图。
图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。
图4是本发明一实施例所绘示的鱼眼校正的范例。
图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。
图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。
图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。
图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。
图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。
图10是依照本发明一实施例所绘示的拼接合并影像的范例。
图11是依照本发明一实施例所绘示的建立三维模型的范例。
图12是依照本发明一实施例所绘示的使用三维模型提供包含行进轨迹的行进影像的范例。
图13A及图13B是依照本发明一实施例所绘示的将行进轨迹由物件空间转换至鱼眼空间的范例。
具体实施方式
本发明根据方向盘转角计算车辆的行进轨迹，并将此行进轨迹应用在车辆环境系统所建构的环境影像。其中，本发明通过将行车轨迹经转换融入环境影像后再将环境影像映射于车辆周围空间的三维模型，或是直接将行车轨迹与环境影像一同映射于三维模型，最后再利用三维模型在倒车时提供视角为由车辆上后方往下前方观看的包含行进轨迹的行进影像(本发明中所称的前方与后方分别对应车辆的车头与车尾)。借此，可辅助使用者在行车过程中可清楚看到车辆周围景物的位置或变化，从而调整行车操作。
图1是依照本发明一实施例所绘示的行车辅助装置的方块图。本实施例的行车辅助装置10例如是车用电脑，或是具备运算功能的手机、平板电脑或个人电脑或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：
连接装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝芽、无线相容认证(Wireless fidelity，Wi-Fi)等有线或无线的传输接口，其可用以耦接配置于车辆上的相机，从而接收相机所拍摄的影像。
储存装置14例如是任何型态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录轨迹计算模块141、影像拍摄模块142、视野转换模块143、影像拼接模块144及三维模型模块145。
处理器16例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、专用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14耦接。
在本实施例中，储存在储存装置14中的模块例如是电脑程序，而可由处理器16载入，据以执行本实施例的行车辅助方法。以下即举实施例说明此方法的详细步骤。
图2是依照本发明一实施例所绘示的行车辅助方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的行车辅助装置10，以下即搭配图1中行车辅助装置10的各项装置，说明本实施例行车辅助方法的详细步骤：
首先，由处理器16执行轨迹计算模块141以计算车辆行进时车轮于该车辆周围的行进轨迹(步骤S202)。详言之，轨迹计算模块141例如是利用转角传感器侦测车辆的方向盘转角，并查询方向盘转角与车轮转向角度的对应表，以找出方向盘转角所对应的车轮转向角度，从而依据此转向角度以及车辆的车轮配置，估测车辆的行进轨迹。上述的方向盘转角与车轮转向角度的对应表例如是由轨迹计算模块141预先建立并记录在储存装置14中，以便在实际计算行进轨迹时可查询使用。
举例来说，车辆倒车时，左轮轨迹(xrL,yrL)及右轮轨迹(xrR,yrR)例如可利用下列公式计算：
左轮：
右轮：
其中，l为前后轮轴距、w为后轮距、v为前轴中心点速度(也就是车速)、t为行进时间、φ为前轴中心点转向角。上述的前轴中心点转向角主要是通过左右前轮的转向角来推算，而左右前轮的转向角则与方向盘转角有关，其对应关系可利用配置于方向盘的转角传感器来侦测方向盘转角，同时利用四轮定位仪侦测该方向盘转角下，左右前轮的转向角度，而通过重复上述步骤，逐步转动方向盘以侦测并记录不同方向盘转角所对应的左右前轮的转向角度，进而建立方向盘转角与车轮转向角度的对应表。
接着，由处理器16执行影像拍摄模块142以利用连接装置12所耦接的相机拍摄车辆周围多个透视视野的影像(步骤S204)。上述的相机可以包括配置于车辆前、后、左、右四个位置的相机，用以拍摄车身前方、后方、左方、右方等透视视野的影像，但不限于此。本领域技术人员可视实际需要，在车辆的其他位置额外配置相机，以增加所拍摄影像的涵盖范围。
举例来说，图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。请参照图3，本实施例是在车辆30的前、后、左、右四个位置分别配置相机32、34、36、38。其中，相机32、34、36、38分别用以拍摄车身前方、后方、左方、右方等透视视野的影像32a、34a、36a、38a。
需说明的是，在上述实施例中，配置在车辆上的相机例如是使用鱼眼镜头，其具有接近180度的视角，而可拍摄涵盖范围较广的影像。基于使用鱼眼镜头拍摄的影像会产生变形(例如影像32a、34a、36a、38a所示的圆形扭曲)，故本申请实施例可额外由处理器16执行鱼眼校正模块(未绘示)，从而对这些影像进行鱼眼校正。
鱼眼校正模块例如会依据各个相机的外部参数例如相机的位移、旋转，以及内部参数例如镜头的焦距、中心点、中心解析度、边缘解析度、扭曲参数(distortionparameter)等参数，对相机所拍摄的影像进行裁切或/及校正，以将鱼眼镜头的中心移动至影像中心。详言之，由鱼眼镜头拍摄的景物仅会出现在影像中心的圆形区域中，其周围则会是黑边。若左右黑边的宽度不同，则代表镜头中心已偏离影像中心。此时鱼眼校正模块例如会裁切影像，以使影像两边黑边的宽度一致，从而将鱼眼镜头的中心移动至影像中心，确保后续执行鱼眼校正时影像可还原为原始形状。在其他实施例中，若配置在车辆上的相机不是使用鱼眼镜头，可以不进行鱼眼校正或进行对应于相机镜头的其他种类校正。
在校正影像中心之后，鱼眼校正模块还会分别依据各个相机的上述参数，对相机所拍摄的影像执行鱼眼校正，而从影像的中心开始向外校正影像，使得原本扭曲变形的影像可还原为所拍摄景物的原始形状。
详言之，在鱼眼校正模块的一第一实施例中，假设所拍摄鱼眼影像的宽度为dw、高度为dh，校正后原始影像的宽度为sw、高度为sh；假设(dx,dy)为校正前鱼眼影像的像素位置，而(sx,sy)为校正后的来源影像的像素位置；假设鱼眼镜头的去鱼眼(de-fish)系数为f。其中，像素(dx,dy)与影像中心(dw/2,dh/2)的距离(rx,ry)的关系为：
校正后的来源影像(即去鱼眼影像)的像素位置(sx,sy)为：
其中
d(i,j)为欧式距离(Euclideandistance)。
举例来说，图4是本发明一实施例所绘示的鱼眼校正的范例。请参照图4，本实施例是针对配置于车辆前方的相机使用鱼眼镜头所拍摄的鱼眼影像42执行鱼眼校正。鱼眼影像42中像素的位置可经由上述公式转换至去鱼眼影像44中的对应位置，从而获得无变形失真的去鱼眼影像44。其中，而由于鱼眼镜头的限制，去鱼眼影像44的上部中间与下部中间将出现黑边。
在鱼眼校正模块的一第二实施例中，来源影像在真实的三维世界中的位置(X,Y,Z)与目标影像中的像素位置(u,v)具有如下对应关系：
θd＝k1θ+k2θ3+k3θ5+k4θ7+k5θ9；
其中，R和t为分别为外部参数中代表旋转与位移的矩阵、k1～k5为内部参数中的扭曲参数、fx及fy为内部参数中的焦距、cx及cy为内部参数中的中心点位置。鱼眼校正模块可根据作为来源影像的校正参考物件的多个空间位置与目标影像中的多个像素位置解出上述多个外部参数与内部参数，以便在鱼眼影像与去鱼眼影像间进行转换。在一实施例中，在车辆的不同位置的各个相机可以使用相同或不同的内部参数及外部参数。在一实施例中，可以预先根据上述内部参数及外部参数建立来源影像映射(map)至目标影像的一对应表(mapping table)，再由查表的方式在鱼眼影像与去鱼眼影像间进行转换。
在步骤S204中，处理器16还包括执行视野转换模块144以将透视视野的影像分别转换为俯视视野的影像(步骤S204)。其中，视野转换模块144例如会利用一个预先建立的视野转换矩阵，将透视视野影像中的多个像素的位置转换至俯视视野影像中的对应位置。
关于上述的视野转换矩阵，视野转换模块144例如是使用上述的相机分别拍摄包括参考物件(例如是绘制地面上的定位格线或图案)在内的透视视野的第一影像，并使用配置于参考物件上方的另一独立相机拍摄包括相同参考物件在内的真实俯视视野的第二影像。然后，视野转换模块144会撷取第一影像中参考物件的多个像素的位置作为目标位置，并撷取第二影像中相同参考物件的多个对应像素的位置作为来源位置，据以解出视野转换矩阵中的多个转换系数。
举例来说，假设(xi,yj)为来源影像(即上述俯视视野的第二影像)中的像素位置；(ui,vj)为目标影像(即上述透视视野的第一影像)中的像素位置。在来源影像中取预先决定的4个像素并在目标影像中取预先决定的4个对应像素带入下列算式：
通过解出上列线性系统中的系数Cij(i,j＝0～2，其中C22＝1)可得到一对应的3×3矩阵C，即可由C的反矩阵获得本实施例用来将透视视野影像转换为俯视视野影像的视野转换矩阵。得到上述将透视视野影像转换为俯视视野影像的视野转换矩阵后，便可将车辆的相机所拍摄的透视视野影像像素的对应向量(ui,vi,1)乘以视野转换矩阵得到俯视视野影像像素的对应向量(xi,yi,1)。虽然本实施例中以4个像素计算视野转换矩阵，但在其他实施例中可以使用其他数目的像素来计算视野转换矩阵。在一实施例中，在车辆的不同位置的各个相机所拍摄的影像可以使用相同或不同的视野转换矩阵来转换，以配合各相机的角度与镜头参数。在一实施例中，可以预先根据上述视野转换矩阵建立各透视视野影像像素映射(map)至各俯视视野影像像素的一对应表(mapping table)，再由查表的方式进行转换。回到图2的流程，在获得转换后的俯视视野影像后，影像拼接模块146即会根据透视视野及俯视视野的影像产生车辆周围的合成影像(步骤S206)。其中，影像拼接模块146例如是利用俯视视野的影像拼接地面侧影像，而利用透视视野影像拼接墙面侧影像，或是同时利用透视视野及俯视视野的影像拼接合成影像，在此不设限。
详言之，影像拼接模块144例如会在转换后俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像。上述的一行像素例如是位于影像中线上的一行像素或是位于影像中特定物件上的一行像素，而上述的预设数目例如为10或是其他依据解析度等影像参数而定的数目，在此不设限。
详言之，由于透视视野影像中各像素的数据在转换为俯视视野后会集中于影像下方(即地面侧影像)，并且会随着影像高度的增加(即与影像下方的距离拉长)而递减。因此，俯视视野影像中会留下许多无影像数据的空洞像素，且这些空洞像素会随着影像高度的增加而递增。
本申请实施例即根据此特性，为此空洞像素的分布设定一个数量上的预设值，若俯视视野影像在纵向上的连续空洞像素的数量超过此预设值时，即代表此区间上方的影像中的空洞像素会过多而导致影像失真。据此，影像拼接模块144即根据此区间在影像中的高度，将透视视野影像切割为地面侧影像及墙面侧影像，借以保留较为清楚的地面侧影像。其中，影像拼接模块144例如会使用此区间中点的高度，或是使用位于此区间上端或下端具有影像数据的像素的高度，决定分割线的位置。
举例来说，图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。请参照图5，影像52是经过鱼眼校正后的车辆左侧影像，将影像52的视角转换至俯视视角后，则可获得影像54。由影像54可知，影像数据主要集中于地面侧影像，而随着影像高度的增加，空洞像素(位于影像上部横线之间的黑色区域)也逐渐增多。据此，本发明即取影像54中线上的一行像素56来决定切割影像54的分割线位置。请参照影像54右侧的该行像素56的放大图，该行像素56包括高度为297至317的多个像素，其中像素A、B为具有影像数据的像素，而其他像素则为不具有影像数据的空洞像素。基于这些空洞像素的数量达到10个，本发明即利用这些空洞像素形成的区间58来决定切割影像54的分割线位置。其中，本发明可使用区间58的中点在影像54中的高度，或是使用像素A或B在影像54中的高度，作为分割线的高度。
在将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像之后，影像拼接模块144即会将切割后的地面侧影像及墙面侧影像拼接起来，以产生车辆周围的合成影像。其中，影像拼接模块144例如会对相同视野的地面侧及墙面侧的清晰影像进行合并，然后再对相邻视野的合并影像进行拼接，并适当地调整其中墙面侧影像的高度，使得所拼接影像中墙面侧影像的高度对应一致，最后即可产生可环绕车辆周围360度的合成影像。
详言之，图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。请同时参照图1及图6，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例影像拼接方法的详细步骤：
首先，由影像拼接模块144针对各个透视视野的影像及其对应的俯视视野的影像，将切割后的透视视野的墙面侧影像及切割后的俯视视野的地面侧影像合并，以产生该透视视野的合并影像(步骤S602)。其中，基于俯视视野的地面侧影像较为清晰且接近真实影像，而透视视野的墙面侧影像较为清晰且接近真实影像，故影像拼接模块144在将两者合并后，即可获得地面侧及墙面侧影像均为清晰且接近真实影像的合并影像。
举例来说，图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。请参照图7，影像74是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像，影像72则是对影像74进行视野转换所得的俯视视野影像。基于前述实施例的分割线决定方法，可得到适于切割影像72、74的分割线。利用此分割线，可将俯视视野影像72切割为墙面侧影像722及地面侧影像724，以及将透视视野影像74切割为墙面侧影像742及地面侧影像744。据此，本实施例将影像较为清晰的俯视视野影像72的地面侧影像724以及透视视野影像74的墙面侧影像742合并，以获得合并影像76。其中，本实施例在合并地面侧影像724与墙面侧影像742时，还可进一步根据地面侧影像724及墙面侧影像742中的对应特征(例如可通过习知的影像辨识方法来辨识对应特征)，缩放地面侧影像724与墙面侧影像742，而获得位置相对应的地面侧影像764与墙面侧影像762。本实施例的墙面侧影像762即是由墙面侧影像742缩放而得。
需说明的是，本实施例的墙面侧影像是取自经过鱼眼校正后的透视视野影像，但即便经过鱼眼校正，透视视野影像中的墙面侧影像的物件仍有可能会有偏斜的情形，且离影像中线愈远，偏斜的情形愈明显。对此，本实施例在将墙面侧影像与地面侧影像合并之前，例如还会针对墙面侧影像进行偏斜调整，使得调整后墙面侧影像中的物件能够对齐。
举例来说，图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。请参照图8A，影像80是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像。其中，本实施例取用影像80中位于区域82内的多个像素的位置作为来源位置，并预设将区域82转换为区域84，借以调整区域82内偏斜的物件，使其在转换至区域84内后可彼此对齐。
由转换后影像80a中的柱子可知，转换后影像80a中的柱子仍然向左偏斜。据此，本实施例将转换所取用像素的区域82调整至区域86，即向左扩大所取用像素的区域，并预设转换后区域88，此区域88的尺寸与形状是与区域84相同的。由转换后影像80b中的柱子可知，转换后影像80b中的柱子彼此对齐，也与影像的轴线(垂直线)方向一致。通过上述的调整方式，即可解决透视视野影像的墙面侧影像中物件偏斜的问题。
回到图6的流程，接着由影像拼接模块144针对相邻透视视野的合并影像，调整这些合并影像中的墙面侧影像的高度，使得这些合并影像中的墙面侧影像的高度一致(步骤S604)。详言之，由于相邻的透视视野会有重叠，故相邻透视视野影像中的部分区域会有重叠，但由于视野方向的不同，这些重叠区域的高度不一定相同。若直接将相邻透视视野影像拼接在一起，上述高度不一致的问题将造成拼接影像的不连续。据此，本申请实施例即通过比对相邻透视视野的合并影像中的对应特征，据以调整合并影像的高度，使其一致。
举例来说，图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。请参照图9，影像92是车辆左方相机所拍摄影像经过上述实施例的鱼眼校正、切割及合并后所得的左方透视视野的合并影像，影像94则是车辆前方相机所拍摄影像经过鱼眼校正、切割及合并后所得的前方透视视野的合并影像，由影像92、94的上方区域可知，其中的墙面有重叠。然而，影像92中的墙面高度(向右箭头)显然比影像94的墙面高度(向左箭头)为高，因此若直接合并影像92与影像94，势必会产生墙面高度不一致的情形。对此，本实施例可通过上述图8A与图8B的调整方式，将影像92中的墙面侧影像减少高度(等同于减少墙面高度)，而获得调整后的影像92a，以及将影像94中的墙面侧影像增加高度(等同于增加墙面高度)，而获得调整后的影像94a。由于调整后的影像92a与影像94a中的墙面高度相同，故即便将影像92与影像94合并，其中的墙面高度也会是一致的，而不会产生上述影像不连续的情况。调整后的影像可以比照前述方法建立另一转换矩阵，使透视视野影像中的墙面侧影像乘上该转换矩阵后即完成影像调整。在另一实施例中，也可比照前述方法通过使用上述的相机分别拍摄包括参考物件(例如是绘制墙面上的定位格线或图案)在内的墙面侧影像，并使用配置于参考物件前方的另一独立相机拍摄包括相同参考物件在内的真实墙面侧影像，以相同方式据以解出墙面侧影像的转换矩阵。
最后，由影像拼接模块144根据相邻透视视野的合并影像中的多个对应特征，将这些合并影像拼接，以产生合成影像(步骤S606)。上述的对应特征例如是在相邻透视视野的两张合并影像中均有出现的物件的特征。影像拼接模块148例如可对应车辆的方向，将车辆的前方、后方、左方、右方四张影像进行旋转，然后再根据上述合并影像中的物件特征对这些合并影像进行平移及/或缩放，使得这些合并影像可以拼接为同一张合成影像。
举例来说，图10是依照本发明一实施例所绘示的拼接合并影像的范例。图10左方的影像102、104、106、108例如分别是车辆前方、后方、左方及右方的合并影像。在进行拼接时，除了车辆前方的影像102维持原方向外，车辆左方的影像会逆时针旋转90度；车辆右方的影像会顺时针旋转90度；车辆后方的影像则会旋转180度。其中，由于影像102、104、106、108中有出现柱子、停车格线、电灯等相同物件，故本实施例的装置即可根据这些相同物件所在位置及大小，对旋转后的影像102、104、106、108进行拼接，从而获得包括车辆周围地面与景物的合成影像100。拼接后的影像可以比照前述方法对车辆前方、后方、左方及右方的合并影像建立对应的转换矩阵以完成影像拼接。
回到图2的流程，基于上述影像拼接模块144所拼接的车辆周围的合成影像包括清楚的车辆周围各方向上的墙面侧与地面侧影像，处理器16即执行三维模型模块145，以将清晰的合成影像以及行进轨迹映射并结合至车辆周围空间的三维模型(步骤S208)。其中，三维模型模块145例如会先定义三维模型的长、宽、高，再将合成影像中的每一个像素映射至三维模型中的对应位置。在三维模型模块的一第一实施例中，因为行进轨迹仅会出现在地面侧影像中而不会出现在墙面侧影像中，行进轨迹可先与俯视视野的地面侧影像结合以产生包含行进轨迹的车辆周围的合成影像，再将包含行进轨迹的合成影像映射至三维模型。其中行进轨迹可以是先转换成鱼眼影像(例如通过前述鱼眼校正模块的反转换)再与鱼眼镜头所拍摄的鱼眼影像结合，或是直接与视野转换模块以及影像拼接模块所产生的俯视视野的地面侧影像结合。在三维模型模块的一第二实施例中，行进轨迹及合成影像是分别映射至三维模型，三维模型模块145亦会将轨迹计算模块141所计算的行进轨迹中的每一个像素映射至三维模型中的对应位置，之后映射至三维模型的行进轨迹及映射至三维模型的合成影像结合使得三维模型中不仅包括车辆周围的地面和景物信息，也包括车辆的行进轨迹信息。
举例来说，图11是依照本发明一实施例所绘示的建立三维模型的范例。图11的影像110例如是由上述实施例的方法所产生的车辆周围的合成影像(未包含行进轨迹)。其中，本实施例的装置例如会先建立车辆周围空间的三维模型112，从而将此影像110中的各个像素映射至三维模型112中的对应位置。需说明的是，本实施例的影像110是由配置于车辆前、后、左、右等四个相机所拍摄影像经过处理所获得，所以当影像110被映射至三维模型112时，这些由车辆前、后、左、右等四个相机所拍摄的透视视野影像的合并影像中的各个像素将会对应至三维模型中的其中一个像素。据此，本实施例的装置即可针对上述四个相机所拍摄影像中的像素，找出其在三维模型中的对应位置，从而建立一个对应表。借此，每当装置接收到这四个相机所拍摄的影像时，即可通过查表直接将这些影像中的像素转换至三维模型中的对应位置，从而快速地建立车辆周围空间的三维模型。在前述的三维模型模块的第二实施例中，同样也可针对行进轨迹找出其在三维模型中的对应位置，从而建立一个对应表，并通过查表直接将行进轨迹中的像素转换至三维模型中的对应位置。在图11的实施例中，车辆前方、后方、左方及右方的影像所各自对应的三维模型112中的各平面彼此以接近直角的方式相接；在其他实施例中，各平面可以用其他角度相接或是以弧面的方式彼此相接。
最后，由处理器16执行三维模型模块145以使用上述的三维模型在倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像(步骤S210)。其中，三维模型模块145例如是取三维模型中位于车辆的上后方的像素点作为眼点(eye point)，取位于三维模型中心的像素点作为视线参考点(reference point)，据以建立视角转换矩阵，而将此视角转换矩阵乘上映射至三维模型的合成影像及行进轨迹的各个顶点(Vertex)坐标，最终即可获得视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。
详言之，在一实施例中，三维模型在z方向(车身长轴方向)上的长度设定为4(+2.0～-2.0，任意单位；z方向上的长度对应车身长度)，而车宽(x方向)、车高(y方向)的部分则可根据合成影像的比例做调整；假设(xc,yc,zc)为三维模型中视线所看向的像素点(设定为视线参考点c)的坐标、(xe,ye,ze)为三维模型中位于车辆的上后方的像素点(设定为眼点e)的坐标、则为相机指向正上方(即车高的y方向)的向量。据此，视角转换矩阵M可依下列公式求得：
z＝(xe-xc,ye-yc,ze-zc)；
Y＝Z×X；
M＝M1M2。
举例来说，图12则是依照本发明一实施例所绘示的使用三维模型提供包含行进轨迹的行进影像的范例。本实施例的装置例如可将上述眼点e的坐标设为(0.0,2.0,2.0)，将上述视线参考点的坐标设为(0.0,-0.2,0.7)，而通过将上述坐标带入上述公式，即可计算出视角转换矩阵M，最后再将视角转换矩阵M乘上映射至三维模型的合成影像及行进轨迹的各个顶点坐标，即可获得如图12所绘示的视角为由车辆的上后方往下前方观看的包含行进轨迹121的行进影像120。
需说明的是，在上述实施例中，轨迹计算模块141所计算的行进轨迹是由三维模型模块145直接映射至三维模型中的对应位置，而在另一实施例中，轨迹计算模块141所计算的行进轨迹也可由鱼眼处理模块(未绘示)依据相机的内部参数及外部参数，对行进轨迹进行鱼眼处理，以将行进轨迹转换成鱼眼影像，从而将转换后的行进轨迹绘制于鱼眼镜头所拍摄的透视视野的影像中。例如，可将倒车轨迹绘制于车辆后方鱼眼镜头所拍摄的透视视野影像中，并显示于行车辅助装置10的显示器(未绘示)上，以提供使用者在观看视角为由前方看向后方影像的同时也可看到倒车轨迹。
举例来说，图13A及图13B是依照本发明一实施例所绘示的将行进轨迹转换成鱼眼影像的范例。请参照图13A，行进影像132是车辆周围的物件空间的影像，其中包含利用上述实施例方法所计算出的车辆行进时车轮于车辆周围的行进轨迹132a。而通过鱼眼处理，行进轨迹132a将转换成鱼眼影像，而转换后的行进轨迹134a将绘制于鱼眼镜头所拍摄的透视视野影像134中。
需说明的是，在又一实施例中，上述包括行进轨迹的透视视野影像，亦可直接应用在图2所绘示的影像处理流程中。详言之，通过将此透视视野影像与其他相机所拍摄的透视视野影像一同转换为俯视视野影像并拼接为合成影像后，再映射至三维模型中，最后所得的三维模型将如同前述实施例所述的三维模型，不仅包括车辆周围的地面和景物信息，也包括车辆的行进轨迹信息，而可提供类似于图12所绘示的视角为由车辆的上后方往下前方观看的包含行进轨迹121的行进影像120。
在一实施例中，行进轨迹更新计算的频率可以低于行进影像的画面更新频率(frame rate)。例如镜头所拍摄的影像以及行车辅助装置10的显示器所显示的影像的画面更新率可以都是30fps，即每秒更新30次；而由于行进轨迹随时间变化的速度较慢，更新行进轨迹的频率可以比较低，例如是每秒更新5或10次，以节省处理器16的运算资源。在另一实施例中，若要求显示的行进轨迹具有高准确度，行进轨迹更新计算的频率可以等于行进影像的画面更新频率。此外，虽然本发明以在倒车时提供视角为由车辆上后方往下前方观看的包含行进轨迹的行进影像进行说明，同样的方法亦可通过取三维模型中位于车辆的上前方的像素点作为眼点，取三维模型中位于车辆的下后方的像素点作为视线参考点，使三维模型在车辆前进时提供视角为由车辆的上前方往下后方观看的包含行进轨迹的行进影像。此一做法可以在例如车辆向前行驶进行停车时清楚看到车辆周围景物的位置或变化。此外，本发明可以是在侦测到车辆倒车时自动在行车辅助装置10的显示器显示视角为由车辆的上后方往下前方观看的包含该行进轨迹的行进影像，也可以是由使用者自行手动选择显示。
综上所述，本发明的行车辅助方法及装置通过将车辆周围以多个不同视野拍摄的影像转换为俯视视野影像，并拼接为可清楚显露车辆周围景物的合成影像。而在拍摄影像的同时，本发明也计算车辆行进时车轮于车辆周围的行进轨迹，而通过将此行进轨迹与合成影像映射至车辆周围空间的三维模型，可在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。借此，使用者将可清楚看到车辆周围景物的位置或变化，从而调整行车操作。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。
Claims (20)
1.一种行车辅助方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：
计算该车辆行进时车轮于该车辆周围的行进轨迹；
利用所述相机拍摄该车辆周围多个透视视野的影像，并分别将所述影像的该视野由该透视视野转换为俯视视野；
根据该透视视野及该俯视视野的所述影像产生该车辆周围的合成影像；
映射并结合该合成影像及该行进轨迹至该车辆周围的三维模型；以及
使用该三维模型在该车辆倒车时提供视角为由该车辆的上后方往下前方观看的包含该行进轨迹的行进影像。
2.根据权利要求1所述的行车辅助方法，其特征在于，使用该三维模型在该车辆倒车时提供该视角为由该车辆的该上后方往该下前方观看的包含该行进轨迹的该行进影像的步骤包括：
取该三维模型中位于该车辆的该上后方的像素点作为眼点，取该三维模型中位于该车辆的该下前方的像素点作为视线参考点，据以建立视角转换矩阵；以及
将该视角转换矩阵乘上映射至该三维模型的该合成影像及该行进轨迹的顶点坐标，以获得该视角为由该车辆的该上后方往该下前方观看的包含该行进轨迹的该行进影像。
3.根据权利要求2所述的行车辅助方法，其特征在于，该行进轨迹及该俯视视野的所述影像结合以产生包含该行进轨迹的该车辆周围的该合成影像后，包含该行进轨迹的该合成影像映射至该三维模型以获得包含该行进轨迹的该行进影像。
4.根据权利要求2所述的行车辅助方法，其特征在于，该行进轨迹及该合成影像分别映射至该三维模型后，映射至该三维模型的该行进轨迹及映射至该三维模型的该合成影像结合以获得包含该行进轨迹的该行进影像。
5.根据权利要求1所述的行车辅助方法，其特征在于，根据该透视视野及该俯视视野的所述影像产生该车辆周围的该合成影像的步骤包括：
切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及
拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像。
6.根据权利要求5所述的行车辅助方法，其特征在于，切割该透视视野及该俯视视野的所述影像为该地面侧影像及该墙面侧影像的步骤包括：
在转换后该俯视视野的各所述影像的其中一行像素中，找出由至少预设数目的连续多个空洞像素构成的区间，而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像。
7.根据权利要求1所述的行车辅助方法，其特征在于，计算该车辆行进时该车轮于该车辆周围的该行进轨迹的步骤包括：
侦测该车辆的方向盘转角；以及
查询该方向盘转角所对应的该车轮的转向角度，并依据该转向角度以及该车辆的车速，估测该车辆的该行进轨迹。
8.根据权利要求1所述的行车辅助方法，其特征在于，该行进轨迹更新计算的频率低于该行进影像的画面更新频率。
9.根据权利要求1所述的行车辅助方法，其特征在于，所述方法还包括：
使用该三维模型在车辆前进时提供视角为由该车辆的上前方往下后方观看的包含该行进轨迹的行进影像。
10.根据权利要求9所述的行车辅助方法，其特征在于，使用该三维模型在车辆前进时提供该视角为由该车辆的该上前方往该下后方观看的包含该行进轨迹的该行进影像的步骤包括：
取该三维模型中位于该车辆的该上前方的像素点作为眼点，取该三维模型中位于该车辆的该下后方的像素点作为视线参考点，据以建立视角转换矩阵；以及
将该视角转换矩阵乘上映射至该三维模型的该合成影像及该行进轨迹的顶点坐标，以获得该视角为由该车辆的该上前方往该下后方观看的包含该行进轨迹的该行进影像。
11.一种行车辅助装置，其特征在于，包括：
连接装置，耦接配置于车辆上的多个相机；
储存装置，储存多个模块；以及
处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述模块，所述模块包括：
轨迹计算模块，计算该车辆行进时车轮于该车辆周围的行进轨迹；
影像拍摄模块，利用所述相机拍摄该车辆周围多个透视视野的影像；
视野转换模块，分别转换所述透视视野的影像为俯视视野的影像；
影像拼接模块，根据该透视视野及该俯视视野的所述影像产生该车辆周围的合成影像；以及
三维模型模块，映射并结合该合成影像及该行进轨迹至该车辆周围的三维模型，并使用该三维模型在该车辆倒车时提供视角为由该车辆的上后方往下前方观看的包含该行进轨迹的行进影像。
12.根据权利要求11所述的行车辅助装置，其特征在于，该三维模型模块包括取该三维模型中位于该车辆的该上后方的像素点作为眼点，取该三维模型中位于该车辆的该下前方的像素点作为视线参考点，据以建立视角转换矩阵，而将该视角转换矩阵乘上映射至该三维模型的该合成影像及该行进轨迹的顶点坐标，以获得该视角为由该车辆的该上后方往该下前方观看的包含该行进轨迹的该行进影像。
13.根据权利要求12所述的行车辅助装置，其特征在于，该行进轨迹及该俯视视野的所述影像结合以产生包含该行进轨迹的该车辆周围的该合成影像后，包含该行进轨迹的该合成影像映射至该三维模型以获得包含该行进轨迹的该行进影像。
14.根据权利要求12所述的行车辅助装置，其特征在于，该行进轨迹及该合成影像分别映射至该三维模型后，映射至该三维模型的该行进轨迹及映射至该三维模型的该合成影像结合以获得包含该行进轨迹的该行进影像。
15.根据权利要求11所述的行车辅助装置，其特征在于，所述模块还包括：
影像切割模块，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像，而由该影像拼接模块拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像。
16.根据权利要求15所述的行车辅助装置，其特征在于，该影像切割模块包括在转换后该俯视视野的各所述影像的其中一行像素中，找出由至少预设数目的连续多个空洞像素构成的区间，而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像。
17.根据权利要求11所述的行车辅助装置，其特征在于，该轨迹计算模块包括侦测该车辆的方向盘转角，查询该方向盘转角所对应的该车轮的转向角度，并依据该转向角度以及该车辆的车速，估测该车辆的该行进轨迹。
18.根据权利要求11所述的行车辅助装置，其特征在于，该行进轨迹更新计算的频率低于该行进影像的画面更新频率。
19.根据权利要求11所述的行车辅助装置，其特征在于，所述三维模型模块还使用该三维模型在车辆前进时提供视角为由该车辆的上前方往下后方观看的包含该行进轨迹的行进影像。
20.根据权利要求19所述的行车辅助装置，其特征在于，该三维模型模块包括取该三维模型中位于该车辆的该上前方的像素点作为眼点，取该三维模型中位于该车辆的该下后方的像素点作为视线参考点，据以建立视角转换矩阵，而将该视角转换矩阵乘上映射至该三维模型的该合成影像及该行进轨迹的顶点坐标，以获得该视角为由该车辆的该上前方往该下后方观看的包含该行进轨迹的该行进影像。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105113922 | 2016-05-05 | ||
| TW105113922A TWI613106B (zh) | 2016-05-05 | 2016-05-05 | 車輛周圍影像處理方法及裝置 |
| TW106102348 | 2017-01-23 | ||
| TW106102348A TWI605963B (zh) | 2017-01-23 | 2017-01-23 | 行車輔助方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106961585A CN106961585A (zh) | 2017-07-18 |
| CN106961585B true CN106961585B (zh) | 2019-11-05 |
Family
ID=59483432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710233529.1A Active CN106961585B (zh) | 2016-05-05 | 2017-04-11 | 行车辅助方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106961585B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110864920B (zh) * | 2019-11-30 | 2022-03-25 | 的卢技术有限公司 | 一种基于视觉的角度关系自动测定方法及其系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5344227B2 (ja) * | 2009-03-25 | 2013-11-20 | アイシン精機株式会社 | 車両用周辺監視装置 |
| WO2011158609A1 (ja) * | 2010-06-15 | 2011-12-22 | アイシン精機株式会社 | 運転支援装置 |
| JP5500255B2 (ja) * | 2010-08-06 | 2014-05-21 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
| CN102745138B (zh) * | 2012-07-23 | 2014-12-03 | 北京智华驭新汽车电子技术开发有限公司 | 一种双视场动态轨迹倒车影像系统 |
| TWI535587B (zh) * | 2012-11-14 | 2016-06-01 | 義晶科技股份有限公司 | 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統 |
-
2017
- 2017-04-11 CN CN201710233529.1A patent/CN106961585B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106961585A (zh) | 2017-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106101635B (zh) | 车辆周围影像处理方法及装置 | |
| US10434877B2 (en) | Driver-assistance method and a driver-assistance apparatus | |
| JP5491235B2 (ja) | カメラキャリブレーション装置 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| KR101339121B1 (ko) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 | |
| CN106846410B (zh) | 基于三维的行车环境成像方法及装置 | |
| CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及系统 | |
| CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
| US20130141547A1 (en) | Image processing apparatus and computer-readable recording medium | |
| KR101077584B1 (ko) | 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 | |
| JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| CN106997579B (zh) | 图像拼接的方法和装置 | |
| US11055541B2 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
| JP2013065298A (ja) | エゴモーション概算システムおよび方法 | |
| CN110400255B (zh) | 车辆全景影像的生成方法、系统和车辆 | |
| CN103065318A (zh) | 多摄像机全景系统的曲面投影方法及装置 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 | |
| CN111402132B (zh) | 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 | |
| CN105513074A (zh) | 一种羽毛球机器人相机标定方法 | |
| CN111815511A (zh) | 一种全景图像拼接方法 | |
| CN106961585B (zh) | 行车辅助方法及装置 | |
| CN107240149A (zh) | 基于图像处理的物体三维模型构建方法 | |
| KR101293263B1 (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |