CN112927128A - 图像拼接方法及其相关监控摄像设备 - Google Patents

Abstract

本发明公开了一种图像拼接方法，应用在具有第一图像取得器与第二图像取得器以取得第一图像及第二图像的监控摄像设备。该图像拼接方法包括侦测该第一图像内的多个第一特征单元及该第二图像内的多个第二特征单元，将该多个第一特征单元划分为第一群与第二群、并将该多个第二特征单元划分为第三群，根据辨识条件分析该多个第一特征单元和该多个第二特征单元以判断该第一群与该第二群的其中一个群适配在该第三群，以及利用适配的该两个群拼接该第一图像和该第二图像。本发明的图像拼接方法与监控摄像设备利用分群技术先进行群间适配、再依据群间适配结果进行群内特征配对，可有效扩增特征值的多样性，提高拼接速度与准确度。

Description

图像拼接方法及其相关监控摄像设备

技术领域

本发明涉及一种图像拼接方法及其相关监控摄像设备，特别是有关一种利用不具辨识图案的标记特征提高可侦测距离与系统适应性的图像拼接方法及其相关监控摄像设备。

背景技术

监控摄像机若要取得大范围的监控画面，通常会将多个摄像单元以不同角度排列一起以面向监控区域。该些摄像单元的视野范围彼此不同，只有监控画面的边缘视野会部分重叠。传统的画面拼接技术在监控画面的重叠区域设置标记特征，利用重叠画面内的标记特征将多张小范围监控画面拼接成大范围的监控画面。标记特征具有特殊的辨识图案时，监控摄像机可根据辨识图案判断多张监控画面的拼接方向及顺序，其缺点是摄像单元的安装高度有局限。若摄像单元的安装高度提高，可能难以辨认多张监控画面内的标记特征是否有相同的辨识图案。因此，如何设计一种利用不具辨识图案的标记特征来进行画面拼接、并且能提高可侦测距离画面拼接技术，即为相关监控产业的发展课题。

发明内容

本发明涉及一种利用不具辨识图案的标记特征提高可侦测距离与系统适应性的图像拼接方法及其相关监控摄像设备。

本发明进一步公开一种图像拼接方法，应用在具有第一图像取得器与第二图像取得器的监控摄像设备。该第一图像取得器与该第二图像取得器分别用来取得第一图像及第二图像。该图像拼接方法包括侦测该第一图像内的多个第一特征单元及该第二图像内的多个第二特征单元，将该多个第一特征单元划分为第一群与第二群、并将该多个第二特征单元划分为第三群，根据一辨识条件分析该多个第一特征单元和该多个第二特征单元以判断该第一群与该第二群的其中一个群适配在该第三群，以及利用适配的该两个群拼接该第一图像和该第二图像。

本发明还公开一种具有图像拼接功能的监控摄像设备，其包括第一图像取得器、第二图像取得器以及运算处理器。该第一图像取得器用来取得第一图像。该第二图像取得器用来取得第二图像。该运算处理器电连接该第一图像取得器与该第二图像取得器，用来侦测该第一图像内的多个第一特征单元及该第二图像内的多个第二特征单元，将该多个第一特征单元划分为第一群与第二群、并将该多个第二特征单元划分为第三群，根据一辨识条件分析该多个第一特征单元和该多个第二特征单元以判断该第一群与该第二群的其中一个群适配在该第三群，以及利用适配的该两个群拼接该第一图像和该第二图像。

本发明的图像拼接方法所使用的第一特征单元与第二特征单元不具备特殊辨识图案，故应用图像拼接方法的监控摄像设备能大幅提高可侦测距离及其侦测涵盖区域。单张图像可能会和单张或多张图像进行拼接，图像内侦测所得的特征单元可能仅适用在拼接单张图像、或可能分别用来拼接多张图像。因此，本发明的图像拼接方法首先利用分群技术将每一张图像内的特征单元都划分成一个或多个群，然后在图像与图像之间进行群间适配，找出两张图像进行合并时会用到的群。完成群间适配后，图像拼接方法在这些群内进行特征单元的配对，找出可配对的特征单元及其相关转换参数，便能执行图像拼接。

附图说明

图1为本发明实施例的监控摄像设备的功能方块图。

图2为本发明实施例的监控摄像设备取得的多张图像的示意图。

图3为本发明实施例的图像拼接方法的流程图。

图4至图8为本发明实施例的图像拼接记录的示意图。

图9为本发明另一实施例的图像拼接记录的示意图。

其中，附图标记说明如下：

10 监控摄像设备

12 运算处理器

14 第一图像取得器

16 第二图像取得器

I1 第一图像

I2、I2’ 第二图像

I3 合并图像

F1 第一特征单元

F1a、F1b、F1c、F1d 第一特征单元

F2 第二特征单元

D1、D2、D3 距离

G1 第一群

G2 第二群

G3 第三群

G4 第四群

步骤S300、S302、S304、S306、S308、S310、S312

具体实施方式

请参阅图1与图2，图1为本发明实施例的监控摄像设备10的功能方块图，图2为本发明实施例的监控摄像设备10取得的多张图像的示意图。监控摄像设备10可包括多个图像取得器以及运算处理器12，本发明以第一图像取得器14与第二图像取得器16为例，然实际应用不限此；监控摄像设备10可能包括三个或三个以上的图像取得器。第一图像取得器14与第二图像取得器16的视野范围有部分重叠，分别用来取得第一图像I1和第二图像I2。运算处理器12可通过有线或无线方式电连接第一图像取得器14与第二图像取得器16，用来执行本发明的图像拼接方法，以拼接第一图像I1及第二图像I2。运算处理器12可以是监控摄像设备10的内建单元或外接单元，端视实际需求而定。

请参阅图1至图8，图3为本发明实施例的图像拼接方法的流程图，图4至图8为本发明实施例的图像拼接记录的示意图。图3所述的图像拼接方法可适用在图1所示的监控摄像设备10。关于图像拼接方法，首先执行步骤S300，可先将第一图像I1与第二图像I2进行二值化处理，然后在二值化第一图像I1内侦测多个第一特征单元F1、以及在二值化第二图像I2内侦测多个第二特征单元F2，如图4所示。一般来说，第一特征单元F1与第二特征单元F2属人造特征点，可以是特定形状的立体对象、或是特定外观的平面印刷图案，其变化端视设计需求而定。若第一图像I1与第二图像I2为左右排列，第一特征单元F1和第二特征单元F2主要放置在图像的左右两侧；若第一图像I1与第二图像I2为上下排列，第一特征单元F1和第二特征单元F2则放置在图像的上下两端，在此以左右排列放置的实施态样进行说明。

第一特征单元F1与第二特征单元F2可以是任意形状的几何图案，例如圆形、或是如三角形或矩形的类的多边形；图像拼接方法通常会侦测完整的几何图案进行辨识。或者，第一特征单元F1与第二特征单元F2也可以是用户定义的特定图案，例如动物图案、或是汽车或建筑物的类的物品图案；图像拼接方法可能侦测完整的特定图案进行辨识、也可能只侦测特定图案的部分区域，如动物图案的面部区域、或物品图案的顶端或底部区域进行辨识，其变化端视实际需求而定。

接着，执行步骤S302，将多个第一特征单元F1与多个第二特征单元F2分别划分成多个群。以第一图像I1为例，图像拼接方法可先从多个第一特征单元F1任选一个，如图5所示的第一特征单元F1a，并分别计算第一特征单元F1a与第一特征单元F1b、F1c、与F1d的距离D1、D2及D3。接着，图像拼接方法设定或自记忆单元(未绘制在附图中)提取门槛值，将距离D1、D2及D3分别相比在门槛值。门槛值是用来将多个特征单元分类为不同群聚的参数。门槛值可由用户手动设定或系统自动设定。设定门槛值的依据可以是图像尺寸、或特征单元之间的距离。举例来说，可从距离D1、D2与D3选取数值最小的距离D1作为基准，将最短距离D1加权调整后的值定义为门槛值；此定义方式能根据图像内两特征单元间的最短距离动态地决定门槛值，符合自动化设计趋势。前揭的加权权重通常会大于1.0，然实际应用不限此。根据上述实施例，使用者不需事先设定门槛值，只要设定加权权重后，监控摄像设备10会自动根据所侦测到的特征单元间的距离而产生符合实际现况的门槛值。这样的设计可以让用户在设置特征单元的位置时能够有较大的弹性，提高使用上的便利性，也可让整个图像拼接方法的运作更加完善。

最短距离D1除了可作为门槛值的基准，也可作为其它距离D2与D3的计量单位。举例来说，若定义第一特征单元F1a与第一特征单元F1b之间的距离D1为一个单位长度，第一特征单元F1a与第一特征单元F1c之间的距离D2则可能表示为四个单位长度，第一特征单元F1a与第一特征单元F1d之间的距离D3则可能表示为五个单位长度。距离D2与D3相对在距离D1之间单位长度的比例依实际情况而定。

步骤S302中，首先定义第一特征单元F1a属于第一群G1，接着将距离D1、D2及D3分别相比门槛值。距离D1小于或等于门槛值，故第一特征单元F1b归类为与第一特征单元F1a相同的第一群G1；距离D2与D3大于门槛值，故第一特征单元F1c与F1d归类为与第一特征单元F1a不同的第二群G2(异在第一群G1的另一群)，如图6所示。本实施例在第一图像I1的左右两侧分别与第二图像I2及另一图像(未绘制在附图中)进行拼接，故该些第一特征单元F1分为两个群。若第一图像I1在其三个侧边分别与三张图像进行拼接，则可将该些第一特征单元F1分为三个或三个以上的群。第二特征单元F2也会如第一特征单元F1的分群方法划分为第三群G3与第四群G4，在此不重复说明。

在图6所示实施态样中，若将第一特征单元F1a定义为第二群G2，第一特征单元F1b因其距离D1小于或等于门槛值，会被归类为与第一特征单元F1a相同的第二群G2。第一特征单元F1c与F1d因其距离D2与D3大于门槛值，则是归类为与第一特征单元F1a不同的第一群G1。特征单元所属群的编号仅是依判断顺序或用户喜好决定，并未有特别的含意或限制，在此先行叙明。

以第一图像I1为例，分群是为了判断那些第一特征单元F1(如第二群G2)用来配合第二图像I2进行拼接、及判断哪些第一特征单元F1(如第一群G1)用来配合另一图像(未绘制在附图中)进行拼接，因此第一图像I1里的第一群G1与第二群G2会分别位在第一图像I1的不同区域，可能是左右两侧、也可能是上下两端，端视待拼接图像的来源与目的而定。第二图像I2里的第三群G3与第四群G4也位在不同区域，分别用来配合第一图像I1及另一图像(未绘制在附图中)进行拼接。

接着，执行步骤S304，根据辨识条件分析多个第一特征单元F1和多个第二特征单元F2，判断第一群G1与第二群G2的其中一个群是否适配第三群G3或第四群G4。辨识条件可以是第一特征单元F1与第二特征单元F2的颜色、尺寸、形状、数量与排列的其中一个或其组合。以颜色为例，若第一群G1的第一特征单元F1a与F1b为红色，第二群G2的第一特征单元F1c与F1d为蓝色，第三群G3的第二特征单元F2为蓝色，第四群G4的第二特征单元F2为黄色，图像拼接方法只要分析这些特征单元的颜色特征，就能快速判断四个群中只有第二群G2适配第三群G3。

以尺寸与形状的组合为例，若第一群G1的第一特征单元F1a与F1b为小型圆点，第二群G2的第一特征单元F1c与F1d为中型方块，第三群G3的第二特征单元F2为中型方块，第四群G4的第二特征单元F2为大型三角形，图像拼接方法只要分析这些特征单元的几何图案，也能快速判断第二群G2适配第三群G3。以排列为例，若第一群G1的第一特征单元F1a与F1b为纵向排列，第二群G2的第一特征单元F1c与F1d为横向排列，第三群G3的第二特征单元F2为横向排列，第四群G4的第二特征单元F2为斜向排列，图像拼接方法只要分析这些特征单元的排列规则，便能快速判断第二群G2适配第三群G3。以数量为例，若第二群G2内第一特征单元F1的数量相同于第三群G3内第二特征单元F2的数量，但不同于第四群G4内第二特征单元的F2的数量，图像拼接方法则判断第二群G2适配第三群G3。

特别一提的是，即便多个特征单元符合同向排列的规则，该些特征单元之间的间距也可以作为群与群是否适配的依据。假若多个第一特征单元F1与多个第二特征单元F2皆为横向排列，但多个第一特征单元F1的间距不同于多个第二特征单元F2的间距、或两间距差超出预定阀值，也会判定这两个群不能彼此适配。

如果第一群G1与第二群G2都不能适配第三群G3或第四群G4，执行步骤S306，图像拼接方法判断第一图像I1与第二图像I2无法拼接。如果第一群G1与第二群G2的其中一个群可适配在第三群G3或第四群G4，例如第二群G2适配第三群G3，即表示第一图像I1里第二群G2所在的区域和第二图像I2里第三群G3所在的区域属于两图像I1及I2的视角重叠范围，故可执行步骤S308，利用前述的辨识条件，在适配的这两个群G2与G3找出可相互配对的两个第一特征单元F1和两个第二特征单元F2。以图7为例，判断第一特征单元F1c配对在第三群G3内上方的第二特征单元F2，及判断第一特征单元F1d配对第三群G3内下方的第二特征单元F2。

完成群与群之间的适配后，图像拼接方法会进一步根据特征单元的颜色、尺寸、形状、数量与排列的其中一个或其组合，从适配的第二群G2及第三群G3中找出能相互配对的第一特征单元F1与第二特征单元F2。不能相互配对的第一特征单元F1与第二特征单元F2不再应用在后续的图像拼接方法。最后，执行步骤S310及步骤S312，分析相互配对的两个第一特征单元F1与两个第二特征单元F2之间差异来取得转换参数，以利用转换参数拼接第一图像I1和第二图像I2，得到合并图像I3，如图8所示。其中，图像拼接方法可利用均方误差(mean-square error,MSE)或其它任意数学模型计算出转换参数。

前述实施例中，监控摄像设备10具有三个或三个以上的图像取得器时，图像拼接方法会将多个第一特征单元F1和多个第二特征单元F2各自划分成两个群，让第一图像I1与第二图像I2都能与其左右两侧的图像进行拼接；然而，本发明的图像拼接方法也可应用在图像只有单侧与其它图像进行拼接的情况。请参阅图9，图9为本发明另一实施例的图像拼接记录的示意图。此实施例中，若第二图像取得器16照向监控摄像设备10的视野边缘取得第二图像I2’，图像拼接方法的步骤S302仅在第二图像I2’靠近第一图像I1的一侧划分一个群，意即从多个第二特征单元F2的左侧群聚中划出第三群G3；第二图像I2’的右侧不与其它图像拼接，故多个第二特征单元F2的右侧群聚不进行分群。

接续步骤即如前揭实施例所述，图像拼接方法判断第一图像I1以第一群G1或第二群G2适配第二图像I2’的第三群G3。判断结果若出现第一群G1不适配第三群G3，表示第一图像I1的左侧搭配另一张图像，而非拼接在第二图像I2’；若判断第二群G2适配第三群G3，即表示第一图像I1的右侧可拼接在第二图像I2’的左侧。

在一种特殊的实施态样中，监控环境内可能有多个特征单元，但图像取得器因视角关无法照到全部的特征单元。以图9为例，第一图像取得器14在第一图像I1的右侧只拍摄到两个第一特征单元F1，但第二图像取得器16在第二图像I2的左侧能拍摄到三个第二特征单元F2，意即单个第二特征单元F2相隔另两个第二特征单元F2的距离较远，第一图像取得器14的视野无法涵盖到全部第二特征单元F2。图像拼接方法仍可在步骤S302先行将第二图像I2里的第二特征单元F2分成两个群，然后在第二群G2内第一特征单元F1数量不同于第三群G3内第二特征单元F2数量的情况下，以颜色、尺寸与形状等作为辨识条件，执行步骤S304的群间适配与步骤S308的群内配对。换句话说，特征单元的颜色、尺寸、形状、数量与排列可以在不同运行时间(意即群间适配和群内配对)有多种变化，端视设计需求与实际应用决定。

综上所述，本发明的图像拼接方法所使用的第一特征单元与第二特征单元不具备特殊辨识图案，故应用图像拼接方法的监控摄像设备能大幅提高可侦测距离及其侦测涵盖区域。单张图像可能会和单张或多张图像进行拼接，图像内侦测所得的特征单元可能仅适用在拼接单张图像、或可能分别用来拼接多张图像。因此，本发明的图像拼接方法首先利用分群技术将每一张图像内的特征单元都划分成一个或多个群，然后在图像与图像之间进行群间适配，找出两张图像进行合并时会用到的群。完成群间适配后，图像拼接方法在这些群内进行特征单元的配对，找出可配对的特征单元及其相关转换参数，便能执行图像拼接。相比现有技术，本发明的图像拼接方法与监控摄像设备利用分群技术先进行群间适配、再依据群间适配结果进行群内特征配对，可有效扩增特征值的多样性，提高拼接速度与准确度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则的内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围的内。

Claims (12)

1.一种图像拼接方法，应用在具有第一图像取得器与第二图像取得器的监控摄像设备，该第一图像取得器与该第二图像取得器分别用来取得第一图像及第二图像，其特征在于，该图像拼接方法包括：

侦测该第一图像内的多个第一特征单元及该第二图像内的多个第二特征单元；

将该多个第一特征单元划分为第一群与第二群、并将该多个第二特征单元划分为第三群；

根据辨识条件分析该多个第一特征单元和该多个第二特征单元以判断该第一群与该第二群的其中一个群适配在该第三群；以及

利用适配的该两个群拼接该第一图像和该第二图像。

2.如权利要求1所述的图像拼接方法，其特征在于，将该多个第一特征单元划分为该第一群与该第二群包括：

计算该多个第一特征单元中任意第一特征单元与其它第一特征单元的多笔距离；

将该多笔距离分别相比在门槛值；以及

根据该些比较结果判断各第一特征单元属在该第一群或该第二群。

3.如权利要求2所述的图像拼接方法，其特征在于，该图像拼接方法进一步包括：

以该多笔距离中数值最小的距离为基准，动态决定该门槛值。

4.如权利要求2所述的图像拼接方法，其特征在于，该第一特征单元属在该第一群时，其距离小在或等在该门槛值的一个或多个第一特征单元归类为该第一群，其距离大在该门槛值的一个或多个第一特征单元则归类为该第二群。

5.如权利要求1所述的图像拼接方法，其特征在于，该辨识条件为该多个第一特征单元和该多个第二特征单元的颜色、尺寸、形状、数量与排列的其中一个或其组合。

6.如权利要求1所述的图像拼接方法，其特征在于，利用适配的该两个群拼接该第一图像和该第二图像包括：

在适配的该两个群中，根据该辨识条件找出可相互配对的两个第一特征单元与两个第二特征单元；

分析该两个第一特征单元与该两个第二特征单元的差异以取得转换参数；以及

利用该转换参数拼接该第一图像和该第二图像。

7.如权利要求6所述的图像拼接方法，其特征在于，该图像拼接方法先判断该第一群或该第二群是否适配该第三群，再从适配的该两个群以该辨识条件进行特征单元的相互配对。

8.如权利要求1所述的图像拼接方法，其特征在于，该第一群与该第二群分别位在该第一图像内的不同区域。

9.如权利要求1所述的图像拼接方法，其特征在于，该第二群适配在该第三群时，该第一图像里该第二群所在的区域和该第二图像里该第三群所在的区域为两图像的视角重叠范围。

10.如权利要求9所述的图像拼接方法，其特征在于，该图像拼接方法利用该第一群与该第二群的其中一个群适配在该第三群的组合拼接该第一图像与该第二图像，并且利用该第一群与该第二群的另一个群将该第一图像与另一张图像拼接。

11.如权利要求1所述的图像拼接方法，其特征在于，各第一特征单元和/或各第二特征单元为几何符号或特定图案。

12.一种具有图像拼接功能的监控摄像设备，其特征在于，该监控摄像设备包括：

第一图像取得器，用来取得第一图像；

第二图像取得器，用来取得第二图像；以及

运算处理器，电连接该第一图像取得器与该第二图像取得器，用来执行如权利要求1至权利要求11的其中一个或其组合所述的图像拼接方法。

Images