CN108805807A - 环景图像的拼接方法及其系统 - Google Patents

Abstract

环景图像的拼接方法包含：取得多个第一图像；依据世界空间坐标系统，将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标，以形成第二图像；辨识第二图像内的多个特征点；依据世界空间坐标系统，校正所述特征点在第二图像上的坐标；依据所述特征点在第二图像上校正后的坐标，产生校正后的第二图像；将多个校正后的第二图像拼接，以形成环景图像。

Description

环景图像的拼接方法及其系统

技术领域

本发明公开了一种环景图像的拼接方法，尤指一种利用图像对位技术加强环景图像的拼接质量的方法。

背景技术

随着科技日新月异，各种图像监控装置以及图像辨识系统已被用于日常生活中。图像监控装置以及图像辨识系统可执行物体监控、环境监控、行车图像记录等等。为了达成无死角的监控效果，许多图像监控装置会将多个镜头拍摄的图像进行合成，或是将单一镜头在不同角度所拍摄的图像进行合成，以形成一张环景图像。环景图像可以是具有360度视角的鸟瞰图像。

然而，利用单一镜头在不同角度所拍摄的图像进行合成，以形成环景图像会有一些缺点。原因为单一镜头在不同角度所拍摄需要花费时间，因此所形成的环景图像无法达到实时处理(Real-Time Process)的需求。利用多个镜头拍摄的图像进行合成，以形成环景图像的处理速度较快。然而，利用多个镜头拍摄的图像进行合成时，容易因每个镜头的图像失真条件不同而发生双重图像的问题。当环景图像中有很明显的双重图像时，除了所监控的物体容易无法被明显辨识之外，环景图像也容易出现一些死角，降低了监控的安全性。

发明内容

本发明的一个实施例提出一种环景图像的拼接方法，包含取得多个第一图像；依据世界空间坐标系统，将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标，以形成第二图像；辨识第二图像内的多个特征点；依据世界空间坐标系统，校正所述特征点在第二图像上的坐标；依据所述特征点在第二图像上校正后的坐标，产生校正后的第二图像；及将多个校正后的第二图像拼接，以形成环景图像。

本发明的另一实施例提出一种环景图像系统，包含多个图像撷取设备、存储器、处理器、及图像输出装置。多个图像撷取设备用以撷取多个第一图像，存储器用以储存世界空间坐标系统的数据，处理器耦接于所述图像撷取设备及存储器，用以处理所述第一图像。处理器根据世界空间坐标系统，将所述第一图像转换为多个第二图像，辨识所述第二图像中的每一个第二图像内的多个特征点，依据世界空间坐标系统，校正所述特征点在第二图像上的坐标，以形成校正后的第二图像，及将多个校正后的第二图像拼接，以形成环景图像。

附图说明

图1是本发明的环景图像系统的框图。

图2是图1的环景图像系统应用于车中，以监控周遭环境的示意图。

图3是图1的环景图像系统，单一图像撷取设备所对应的第二图像的示意图。

图4是图1的环景图像系统，在第二图像中辨识对象的特征点的示意图。

图5是图1的环景图像系统，校正对象的特征点，以产生校正后的第二图像的示意图。

图6是图1的环景图像系统，将相邻的校正后的第二图像进行图像拼接的示意图。

图7是图1的环景图像系统，将相邻的校正后的第二图像进行图像拼接后，所产生的拼接图像的示意图。

图8是图1的环景图像系统，利用分区图像对位技术辨识对象的特征点的示意图。

图9是图1的环景图像系统，执行环景图像的拼接方法的流程图。

具体实施方式

图1为本发明的环景图像系统100的框图。环景图像系统100包含多个图像撷取设备C1至C4、处理器11、存储器12、以及图像输出装置13。图像撷取设备C1至C4用以撷取多个第一图像。环景图像系统100的图像撷取设备可以是相机镜头、摄影机、或是行车纪录器的广角镜头等等。环景图像系统100也也不限于使用4个图像撷取设备C1至C4，其它实施例也可使用N个图像撷取设备，且N为大于2的正整数。图像撷取设备C1至C4中每一个图像撷取设备可以撷取角度超过(360/4)度的图像。存储器12用以储存后文所述的世界空间坐标系统(World Coordinate System，WCS)的数据以及查询表(Look up Table，LUT)的数据。存储器12可以是任何形式的储存装置，例如随机存取存储器(Random Access Memory，RAM)、硬盘、或非挥发式存储器等等。处理器11耦接于图像撷取设备C1至C4及存储器12，用以处理每一个图像撷取设备所产生的第一图像。处理器11可以是任何种类的处理装置，例如中央处理器、微处理器、处理芯片、或可程序化逻辑单元等等。处理器11可利用存储器12所储存的世界空间坐标系统的数据以及查询表，将图像撷取设备C1至C4所撷取的第一图像转换为符合图像坐标的第二图像，并将第二图像进行图像对位处理，进而拼接为环景图像。详细的图像处理过程将于后文详述。图像输出装置13耦接于该处理器11，用以输出环景图像。图像输出装置13可以是任何形式的显示设备或是投影装置。用户将可以在图像输出装置13上看到鸟瞰视角的二维环景图像。

图2为环景图像系统100应用于车10中，以监控周围环境的示意图。本发明的环景图像系统100可应用于任何合理的硬设备，而应用于车10仅是本发明的一种实施例，并不限制本发明的应用范围。在图2中，当环景图像系统100应用于车10中时，图像撷取设备C1至C4可置放于车中的四个方向。举例而言，图像撷取设备C1可置放于车10的前侧，用以撷取对应于车10前侧的第一图像M1。图像撷取设备C2可置放于车10的右侧，用以撷取对应于车10右侧的第一图像M2。图像撷取设备C3可置放于车10的后侧，用以撷取对应于车10后侧的第一图像M3。图像撷取设备C4可置放于车10的左侧，用以撷取对应于车10左侧的第一图像M4。当第一图像M1至M4被截取后，环景图像系统100内的处理器11可先将第一图像M1至M4进行坐标转换，以产生第二图像P1至P4，描述如下。为了简化描述，与此仅将以第一图像M1转换为第二图像P1的过程进行说明。由于第一图像M1是由图像撷取设备C1直接撷取，因此第一图像M1的平面会受到图像撷取设备C1所放置的角度、高度或是位置不同而有所偏斜。举例而言，当图像撷取设备C1与地面高度差为H，且图像撷取设备C1的焦点在地面上时，第一图像M1的平面将会为下底较长且上底较短的梯形的平面。换句话说，第一图像M1的坐标为对应相机(图像撷取设备C1)坐标，坐标轴会受到图像撷取设备C1内的感光组件的位置、高度或角度而偏斜。处理器11会利用第一转换函数，将第一图像M1对应的图像撷取设备C1的坐标转换为与世界空间坐标系统相符的第一坐标。举例而言，第一转换函数可以是转换矩阵H_i ^-1，第一图像M1对应的图像撷取设备C1的坐标通过转换矩阵H_i ^-1即可转换为与世界空间坐标系统相符的第一坐标。应当理解的是，世界空间坐标系统为一种绝对的坐标系统，表示对象在真实世界的相对位置，因此不会受到图像撷取设备C1内的感光组件的位置、高度或角度而偏斜。接着，处理器11会利用第二转换函数，将第一坐标转换为图像坐标，以形成第二图像。举例而言，第二转换函数可以是转换矩阵H_v，第一坐标可通过转换矩阵H_v转换为图像坐标。如前文提及的，第一图像的平面可能为下底较长且上底较短的梯形的平面。因此，为了让三维的第一图像变为二维的第二图像，第一图像可通过转换矩阵H_v，将偏斜的图像平面进行修正，以成为正视角的第二图像。然而，任何将第一图像M1对应的图像撷取设备C1的坐标(相机坐标)转换为正视角的图像坐标的手段皆属于本发明所公开的范畴。举例而言，处理器11可利用存储器12存储器的查询表，直接进行坐标转换。或者，处理器11可利用单一的转换函数，例如转换矩阵(例如平面投影转换矩阵，Homography matrix)H_iv，直接将图像撷取设备C1的坐标(相机坐标)转换为正视角(鸟瞰视角)的图像坐标。

前文提及，处理器11可将环景图像系统100内，图像撷取设备C1所撷取的第一图像M1转换为第二图像P1，而第二图像P1为正视角。然而，处理器11可以对每一个图像撷取设备所撷取到的图像做类似的图像处理。亦即，处理器11可将第一图像M2转换为第二图像P2。处理器11可将第一图像M3转换为第二图像P3。处理器11可将第一图像M4转换为第二图像P4。

图3为环景图像系统100，单一图像撷取设备C1所对应的第二图像P1的示意图。如前述，环景图像系统100中的图像撷取设备C1至C4可以是车用广角镜头。广角镜头虽然可以撷取大视角的图像，然而，广角镜头所撷取的图像边缘会有广角失真的情况。这种广角失真一般又称为桶状失真(Barrel Distortion)。因此，处理器11可利用图像扭曲校正函数，以校正第二图像P1的广角失真。然而，即便处理器11使用了图像扭曲校正函数或是扭曲模型还原图像的失真，第二图像P1的广角失真并无法被完全还原，尤其在第二图像P1的边缘区域更为明显。原因如下，在第二图像P1发生广角失真时，由于第二图像P1的边缘区域的像素网格线扭曲会较为严重，因此图像的信息量不足。利用图像扭曲校正函数将第二图像P1的边缘区域还原时，会发生画质劣化以及失真无法完全被还原的情况。如图3所示，处理器11将第二图像P1调整后，图像中央区域CTL1的失真已经明显改善，但是中央区域CTL1以外的区域OVL1仍有广角失真。由于环景图像系统100最后会将第二图像P1至P4拼接在一起，若每一张第二图像的中央区域之外的区域都未进行优化处理(后文所述的图像对位处理)，则相邻的第二图像在拼接时(例如第二图像P1至P2)，会产生明显的双重图像，而导致对象模糊或无法辨识。因此，环景图像系统100将会对每一张第二图像的中央区域之外的区域进行优化处理(后文所述的图像对位处理)。在后文的描述中，如图3所示，中央区域CTL1定义为进行图像拼接时不重叠的部分。而中央区域CTL1以外的区域OVL1(后文称为图像重叠区域OVL1)定义为进行图像拼接时与相邻的第二图像的重叠的部分。

图4为环景图像系统100在第二图像P2中辨识对象Obj的特征点A至D的示意图。为了简化描述，图4仅以第二图像P2为代表进行说明。然而，应当理解的是，第二图像P1至P4的每一个第二图像都会被处理器11进行图像对位处理。如前文提及，第二图像P2包含了图像重叠区域，于此的代号为OVL2。图像重叠区域OVL2位于第二图像P2的边缘区域，有较严重的广角失真。图像重叠区域OVL2内有对象Obj，此对象原为矩形对象，但是因广角失真而造成对象的边缘图像扭曲。处理器11会先针对第二图像P2进行图像辨识，辨识第二图像P2内的多个特征点A至D。特征点A至D的定义可以是对象Obj的边缘转折点或是顶点。对象Obj的图像区域会被所述特征点A至D围绕。然而，本发明非局限于使用一维的特征点进行对象Obj定位，二维的特征线段或夹角点都可以当成对象Obj定位的参考依据。在图4中，特征点A的坐标为(x1,y1)，特征点B的坐标为(x2,y2)，特征点C的坐标为(x3,y3)，特征点D的坐标为(x4,y4)。而特征点A及D所连成的线段，与特征点B及C所连成的线段的交点坐标为(x5,y5)。

图5为环景图像系统100，校正对象Obj的特征点A至D，以产生校正后的第二图像P2’的示意图。如前所述，图4中对象Obj的特征点A至D为广角失真的坐标。处理器11可依据世界空间坐标系统，将特征点A至D的坐标校正至与世界空间坐标系统相符的多个定位坐标。举例而言，图4中特征点A的坐标(x1,y1)被校正至图5中特征点A’的坐标(x1’,y1’)。图4中特征点B的坐标(x2,y2)被校正至图5中特征点B’的坐标(x2’,y2’)。图4中特征点C的坐标(x3,y3)被校正至图5中特征点C’的坐标(x3’,y3’)。图4中特征点D的坐标(x4,y4)被校正至图5中特征点D’的坐标(x4’,y4’)。交线坐标(x5,y5)也依此被校正至(x5’,y5’)。接着，处理器11会将这些校正后的定位点(特征点A’至特征点D’)之间的至少一个像素进行内插，以产生校正后的第二图像P2’。内插的方式可使用线性内插或非线性内插。如前述，若对象Obj为正方形的对象，则以特征点A’的坐标(x1’,y1’)为基准，特征点B’的坐标可以是(x1’+n,y1’)，即特征点B’比特征点A’往右平移了n个像素。特征点C’的坐标可以是(x1’,y1’+n)，即特征点C’比特征点A’往下平移了n个像素。特征点D’的坐标可以是(x1’+n,y1’+n)，即特征点D’比特征点A’往下平移了n个像素且也往右平移了n个像素。简单来说，处理器11依据世界空间坐标系统，校正特征点A至D在第二图像P2上的坐标(x1,y1)至(x4,y4)。再依据特征点A’至D’在第二图像P2上校正后的坐标(x1’,y1’)至(x4’,y4’)，产生校正后的第二图像P2’。因此，校正后的第二图像P2’的失真将会被大幅度地缓和。而第二图像P1、P3及P4也可以利用类似的方法进行坐标校正，以产生校正后的第二图像P1’、P3’及P4’。

图6为环景图像系统100，将相邻的校正后的第二图像P1’及P2’进行图像拼接的示意图。如同前述提及，环景图像系统100会进行图像拼接处理，以产生环景图像。为了描述方便，图6仅以相邻的校正后的第二图像P1’及P2’进行图像拼接来说明。然而应当理解的是，图4以及图5的依据世界空间坐标系统将失真的特征点坐标还原的方法，可应用于所有的第二图像P1至P4。环景图像系统100即可对校正后的第二图像P1’至P4’进行图像拼接处理，以产生环景图像。在图6中，校正后的第二图像P1’可以是对应车10的前侧图像，校正后的第二图像P2’可以是对应车10的右侧图像。对象Obj的位置可以是在车10的右上角。因此，对象Obj会位于第二图像P1’右边的图像重叠区域OVL1中，对象Obj会位于第二图像P2’左边的图像重叠区域OVL2中。由于校正后的第二图像P1’的图像重叠区域OVL1内的对象Obj的坐标已经利用图像对位处理而优化。校正后的第二图像P2’的图像重叠区域OVL2内的对象Obj的坐标也已经利用图像对位处理而优化。因此当校正后的第二图像P1’与校正后的第二图像P2’拼接时，图像重叠区域OVL1与图像重叠区域OVL2将可以无偏差地叠合。因此，将可避免对象Obj的双重图像的失真问题。

图7为图1的环景图像系统，将相邻的校正后的第二图像P1’及P2’进行图像拼接后，所产生的拼接图像P12’的示意图。如前述，由于图像重叠区域OVL1与图像重叠区域OVL2可以无偏差地叠合，因此拼接图像P12’的图像重叠区域OVL内的对象Obj不会发生双重图像的问题。换句话说，拼接图像P12’包含了校正后的第二图像P1’的非图像重叠区域CTL1、图像重叠区域OVL、以及校正后的第二图像P2’的非图像重叠区域CTL2。然而，图7的拼接图像P12’仅为校正后的第二图像P1’及P2’进行图像拼接后的结果。在环景图像系统100中，处理器11会对校正后的第二图像P1’至P4’进行环状图像拼接。因此，环景图像系统100中最后输出的环景图像即为360度的鸟瞰环景图像。

图8为环景图像系统100，利用分区图像对位技术辨识对象Obj及ObjA的特征点A至H的示意图。如前文提及，图像重叠区域OVL2未使用本发明对位技术调整前仍有失真的情况，且越靠近边缘的失真越严重。如图8所示，第二图像P2的图像重叠区域OVL2被分为两个区域，图像重叠子区域OVL21以及图像重叠子区域OVL22。图像重叠子区域OVL22较图像重叠子区域OVL21更靠近图像中央区域，因此图像重叠子区域OVL21的失真情况会比图像重叠子区域OVL22更严重。处理器11会找出对应于对象Obj的特征点A至D，以及对应于对象ObjA的特征点E至H。为了将图像重叠区域OVL2中的所有特征点A至H对位至优化的坐标，处理器11会将坐标失真较为轻微的特征点E至H，利用对应的转换函数或查询表，将其坐标转换为与世界空间坐标系统相符的图像坐标(鸟瞰视角)。处理器11也会将坐标失真较为严重的特征点A至D，利用对应的转换函数或查询表，将其坐标转换为与世界空间坐标系统相符的图像坐标(鸟瞰视角)。换句话说，在失真程度不同的图像重叠子区域OVL21及OVL22中，处理器11可利用不同权重的内插函数或是不同系数的转换函数，分别对不同的图像重叠子区域中的辨识对象进行处理，以使不同的图像重叠子区域中的辨识对象都能投影到优化的图像坐标。

图9为环景图像系统100，执行环景图像的拼接方法的流程图。环景图像的拼接方法包含步骤S901至步骤S906。任何合理的步骤顺序变动以及步骤修正皆属于本发明所揭露的范畴。

步骤S901：取得多个第一图像M1至M4；

步骤S902：依据世界空间坐标系统，将所述第一图像M1至M4中的每一个第一图像对应的相机坐标转换为图像坐标，以形成第二图像P1至P4；

步骤S903：辨识第二图像P1至P4的多个特征点(例如第二图像P2内的特征点A至D)；

步骤S904：依据世界空间坐标系统，校正所述特征点A至D在第二图像上的坐标(x1,y1)至(x4,y4)；

步骤S905：依据所述特征点A至D在第二图像上校正后的坐标(x1’,y1’)至(x4’,y4’)，产生校正后的第二图像；

步骤S906：将多个校正后的第二图像P1’至P4’拼接，以形成环景图像。

本发明环景图像的拼接方法的步骤S901至步骤S906已于前文详述，故于此将不再赘述。如上所述，图像捕获设备所撷取到的图像，先经过步骤S901至步骤S902的坐标转换，将图像的相机坐标转换为对应鸟瞰图的图像坐标。接着，无须重复执行步骤S901至步骤S902，只要再利用步骤S903至步骤S906的图像对位技术，即可将广角失真的坐标进行修正。因此，在步骤S906中，由于多个校正后的第二图像的广角失真都已经缓和，因此进行图像拼接而形成环景图像时会有很高的图像质量，且可达到实时图像处理的速度。

综上所述，本发明描述了一种环景图像的拼接方法，可将多个图像捕获设备所撷取的图像进行图像处理，最后产生几乎无拼接痕迹的环景图像。环景图像的拼接方法利用了分区图像对位技术，辨识图像重叠区域中的特征点，并针对特征点进行坐标校正，以校正特征点的广角失真的坐标偏移量。由于图像重叠区域中的特征点的坐标都已经被校正。因此，将多个对应图像捕获设备的图像进行图像拼接不会产生双重图像的问题(也避免了图像模糊或是鬼影)。因此，依据本发明的拼接方法所产生的环景图像会影很高的图像质量。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种环景图像的拼接方法，其包含：

取得多个第一图像；

依据世界空间坐标系统，将所述第一图像中的每一第一图像对应的相机坐标转换为图像坐标，以形成第二图像；

辨识该第二图像内的多个特征点；

依据该世界空间坐标系统，校正所述特征点在该第二图像上的坐标；

依据所述特征点在该第二图像上校正后的坐标，产生校正后的第二图像；及

将多个校正后的第二图像拼接，以形成环景图像。

2.如权利要求1所述的方法，其中，依据该世界空间坐标系统，将所述第一图像中的该每一第一图像对应的该相机坐标转换为该图像坐标，以形成该第二图像，包含：

利用第一转换函数，将该每一第一图像对应的该相机坐标转换为与该世界空间坐标系统相符的第一坐标；及

利用第二转换函数，将该第一坐标转换为该图像坐标，以形成该第二图像。

3.如权利要求2所述的方法，其中：

依据该世界空间坐标系统，校正所述特征点在该第二图像上的坐标，包含依据该世界空间坐标系统，将所述特征点的坐标校正至与该世界空间坐标系统相符的多个定位坐标；及

依据所述特征点在该第二图像上校正后的坐标，产生该校正后的第二图像，包含将所述定位坐标之间的至少一像素进行内插，以产生该校正后的第二图像。

4.如权利要求1所述的方法，其包含：

利用图像扭曲校正函数以校正所述第一图像的该每一第一图像的广角失真。

5.如权利要求1所述的方法，其中所述第一图像中两相邻第一图像包含相同的对象，以使所述第一图像被转换为所述校正后的第二图像后，得以拼接为该环景图像。

6.如权利要求1所述的方法，其中该第二图像内的对象具有图像区域，该对象具有多个特征点，该图像区域被所述特征点围绕。

7.一种环景图像系统，其包含：

多个图像撷取设备，用以撷取多个第一图像；

存储器，用以储存世界空间坐标系统的数据；

处理器，耦接于所述图像撷取设备及该存储器，用以处理所述第一图像；及

图像输出装置，耦接于该处理器，用以输出环景图像；

其中，该处理器根据该世界空间坐标系统，将所述第一图像转换为多个第二图像，辨识所述第二图像中的每一第二图像的多个特征点，依据该世界空间坐标系统，校正所述特征点的坐标，以形成校正后的第二图像，及将多个校正后的第二图像拼接，以形成该环景图像。

8.如权利要求7所述的系统，其中该存储器还包含查询表，该查询表用于校正所述特征点在该第二图像上的坐标。

9.如权利要求7所述的系统，其中所述图像撷取设备为多个车用广角镜头，且该环景图像是鸟瞰环车图像。

10.如权利要求9所述的系统，其中该存储器还包含图像扭曲校正函数，该处理器利用该图像扭曲校正函数，校正所述第一图像的该每一第一图像的广角失真。