CN110991306B - 自适应的宽视场高分辨率智能传感方法和系统 - Google Patents

Abstract

本发明公开了一种自适应的宽视场高分辨率智能传感方法和系统，其中，方法包括：通过第一相机采集宽视场的第一图像，并从第一图像中识别目标物体或区域；根据第二相机与第一相机的坐标转换关系将目标物体或区域在第一相机中的位置转化为在第二相机中的聚焦坐标；将第二相机旋转移动至聚集坐标对应的位置，并从第二相机中采集第二图像；将第二图像与第一图像进行匹配，得到第二图像在第一图像中的位置，以判断第二相机旋转后的位置是否符合预设条件；在满足预设条件后，获取第一图像与实时跟踪目标物体或区域的高分辨率图像。该方法既能够动态地获取目标物体或区域的高分辨率图像，且易于硬件实现，对于实际应用具有重要意义。

Description

自适应的宽视场高分辨率智能传感方法和系统

技术领域

本发明涉及计算机视觉和计算摄像学技术领域，特别涉及一种自适应的宽视场高分辨率智能传感方法和系统。

背景技术

在实际场景(如监控系统)中，相机的宽视场与高分辨率往往不能同时满足。当使用较高的分辨率去拍摄物体的细节时，就会得到较小的视场，从而无法及时找到物体所在的位置；当使用较宽的视场去寻找物体的位置时，就会得到较低的分辨率，从而难以看清物体的细节。

相关技术中，通常的方法是使用相机阵列去采集多张高分辨率图像，再融合成一张宽视场与高分辨率图像。但是这种方法需要复杂的硬件设计，同时数据量巨大，难以实时传输和处理，亟待解决。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

考虑到许多实际场景不是每个区域都需要较高的分辨率，例如监控系统中只需要对目标物体或区域进行高分辨率的检测即可，因此可以考虑将图像识别算法加入到实际应用中。图像识别算法在近几年随着深度学习的发展而逐渐进入人们的视野，在使用神经网络来对已有的数据集进行训练之后，现有的图像识别算法就可以达到比人眼更高的识别率，而且运算时间较低，能满足实时性的要求。将图像识别算法应用到实际拍摄到的图像中，就有助于实现宽视场与高分辨率的目标物体或区域观测。

在从较大的视场内识别到目标物体或区域之后，就可以使用高分辨率相机进行拍摄。但是由于高分辨率相机的视场较窄，很可能会导致目标物体或区域不在高分辨率相机的视野内，这时就需要选择可以编码控制的云台相机作为高分辨率相机。云台相机具有两个旋转自由度，即能够定位到二维平面内的任意点。使用云台相机即可在识别到目标物体或区域后，将高分辨率相机的视场移动至目物体或区域所在的方向，从而实现高分辨率目标物体或区域图像的拍摄。同时，当目标物体或区域移动时，由于目标检测算法能够实时更新目标所在的位置，云台相机就能够实时地跟随目标移动，从而实现对运动目标的跟踪。

对于移动后的动态相机，需要图像匹配算法来对其进行校验，以保证动态相机能够拍摄到目标物体或区域的图像。而图像匹配算法能够将两张图像匹配在一起，考虑到动态相机获取到的图像视场较小，因此使用图像匹配算法可以计算出高分辨率图像在宽视场图像中的实际位置，从而实现对于动态相机位置的校验。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种自适应的宽视场高分辨率智能传感方法，该方法既能够动态地获取目标物体或区域的高分辨率图像，且易于硬件实现，对于实际应用具有重要意义。

本发明的另一个目的在于提出一种自适应的宽视场高分辨率智能传感系统。

为达到上述目的，本发明一方面实施例提出了一种自适应的宽视场高分辨率智能传感方法，包括以下步骤：通过第一相机采集宽视场的第一图像，并从所述第一图像中识别目标物体或区域；根据第二相机与第一相机的坐标转换关系将所述目标物体或区域在所述第一相机中的位置转化为在所述第二相机中的聚焦坐标；将所述第二相机旋转移动至所述聚集坐标对应的位置，并从所述第二相机中采集第二图像；将所述第二图像与所述第一图像进行匹配，得到所述第二图像在所述第一图像中的位置，以判断所述第二相机旋转后的位置是否符合预设条件；在满足所述预设条件后，获取所述第一图像与实时跟踪目标物体或区域的高分辨率图像。

本发明实施例的自适应的宽视场高分辨率智能传感方法，相较于传统均匀分布的相机阵列方法获取宽视场高分辨率图像，能够自适应地识别目标物体或区域，从而动态地获取目标物体或区域的高分辨率图像，减少了采集数据量，简化了硬件设计，利于通信传输，对于实际应用具有重要意义。

另外，根据本发明上述实施例的自适应的宽视场高分辨率智能传感方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述坐标转换关系的变换公式为：

y₂＝y₁/k_y+b_y，

x₂＝x₁/k_x+b_x，

其中，k_x与k_y分别表示水平放大倍数与竖直放大倍数，b_x与b_y分别表示水平平移距离与竖直平移距离，(x₁,y₁)表示所述目标物体或区域在所述第一相机中的位置。

进一步地，在本发明的一个实施例中，所述预设条件为校验所述第二相机旋转后的位置是否与所述聚焦坐标一致。

进一步地，在本发明的一个实施例中，所述第一相机为静态相机，所述第二相机为动态相机。

为达到上述目的，本发明另一方面实施例提出了一种自适应的宽视场高分辨率智能传感系统，包括：采集模块，用于通过第一相机采集宽视场的第一图像，并从所述第一图像中识别目标物体或区域；转换模块，用于根据第二相机与第一相机的坐标转换关系将所述目标物体或区域在所述第一相机中的位置转化为在所述第二相机中的聚焦坐标；移动模块，用于将所述第二相机旋转移动至所述聚集坐标对应的位置，并从所述第二相机中采集第二图像；匹配模块，用于将所述第二图像与所述第一图像进行匹配，得到所述第二图像在所述第一图像中的位置，以判断所述第二相机旋转后的位置是否符合预设条件；获取模块，用于在满足所述预设条件后，获取所述第一图像与实时跟踪目标物体或区域的高分辨率图像。

本发明实施例的自适应的宽视场高分辨率智能传感系统，相较于传统均匀分布的相机阵列方法获取宽视场高分辨率图像，能够自适应地识别目标物体或区域，从而动态地获取目标物体或区域的高分辨率图像，减少了采集数据量，简化了硬件设计，利于通信传输，对于实际应用具有重要意义。

另外，根据本发明上述实施例的自适应的宽视场高分辨率智能传感系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述坐标转换关系的变换公式为：

y₂＝y₁/k_y+b_y，

x₂＝x₁/k_x+b_x，

其中，k_x与k_y分别表示水平放大倍数与竖直放大倍数，b_x与b_y分别表示水平平移距离与竖直平移距离，(x₁,y₁)表示所述目标物体或区域在所述第一相机中的位置。

进一步地，在本发明的一个实施例中，所述预设条件为校验所述第二相机旋转后的位置是否与所述聚焦坐标一致。

进一步地，在本发明的一个实施例中，所述第一相机为静态相机，所述第二相机为动态相机。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的自适应的宽视场高分辨率智能传感方法的流程图；

图2为根据本发明实施例的静态相机与动态相机的样例实物图；

图3为根据本发明实施例的某次获得的宽视场图像与高分辨率图像的样例测试图；

图4为根据本发明一个实施例的自适应的宽视场高分辨率智能传感方法的流程图；

图5为根据本发明实施例的自适应的宽视场高分辨率智能传感系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的自适应的宽视场高分辨率智能传感方法和系统，首先将参照附图描述根据本发明实施例提出的自适应的宽视场高分辨率智能传感方法。

图1是本发明一个实施例的自适应的宽视场高分辨率智能传感方法的流程图。

如图1所示，该自适应的宽视场高分辨率智能传感方法包括以下步骤：

在步骤S101中，通过第一相机采集宽视场的第一图像，并从第一图像中识别目标物体或区域。

其中，第一相机为静态相机(静态相机如图2所示)，主要用于拍摄宽视场图像，获取大场景信息，焦距较小且不可移动，分辨率相对较低。也就是说，静态相机负责采集宽视场的图像，以保证目标物体或区域在视场内，但不需要较高的分辨率。

可以理解的是，本发明实施例从静态相机采集获取宽视场的图像，其分辨率相对较低；然后从获取到的宽视场图像中识别并检测出目标物体或区域。

具体而言，(1)从静态相机中获取一张宽视场图像，这张宽视场图像应包含目标物体或区域，因此在放置静态相机时应尽可能覆盖较大的范围，避免物体的移动脱离视场。

(2)通过图像识别方法从(1)所得到的宽视场图像中检测出目标物体或区域，并且识别出目标物体或区域的位置。也就是说，本发明实施例通过图像识别方法能够在宽视场图像中实时寻找目标物体或区域的位置，其中，图像识别方法包含但不限于基于特征的图像识别方法、基于深度学习的图像识别方法。

在步骤S102中，根据第二相机与第一相机的坐标转换关系将目标物体或区域在第一相机中的位置转化为在第二相机中的聚焦坐标。

其中，第二相机为动态相机(动态相机如图2所示)，主要用于拍摄高分辨率图像，获取目标物体或区域高分辨率信息，焦距较大且可以移动，视场相对较小。也就是说，动态相机负责定位与跟踪目标物体或区域，视场相对较小，但能够采集到目标物体或区域的高分辨率细节。

本发明实施例将静态相机拍摄的宽视场图像和静态相机拍摄的高分辨率图像组合，实现了既能获取目标物体或区域的全局信息，又能够获取聚焦物体或区域的高分辨率信息，从而能够实时监控目标的位置，并且能够拍摄到目标的细节。

可以理解的是，根据动态相机与静态相机的坐标转换关系，将步骤S101中目标物体或区域在静态相机中的位置转化为在动态相机中的聚焦坐标。

具体而言，根据步骤S101所得到的目标位置，计算实际物体在动态相机中所对应的聚焦坐标。这一步骤需要预先标定动态相机与静态相机间的坐标转换关系。物体在宽视场图像中的位置可以用二维坐标来表示，而动态相机所瞄准的实际位置也可以用二维坐标来表示，这两个坐标系间通常只具有放缩与平移关系，即可以使用四个参数来进行变换：水平放大倍数、水平平移距离、竖直放大倍数与竖直平移距离，因此可以地将目标在宽视场图像中的位置转换为动态相机所要瞄准的位置。

在步骤S103中，将第二相机旋转移动至聚集坐标对应的位置，并从第二相机中采集第二图像。

可以理解的是，将动态相机旋转移动至聚集坐标对应的位置；从动态相机中采集获取高分辨率的图像，其视场相对较小。

具体而言，(1)根据步骤S102所得到的聚焦坐标，使用云台相机协议将动态相机移动至目标位置。其中，云台相机协议，能够自动控制动态相机在二维平面内的旋转，包含但不限于派尔高协议、索尼VISCA协议。

(2)从动态相机中采集获取高分辨率图像。这张高分辨率图像内即含有目标的细节，可以用于实际的使用。

在步骤S104中，将第二图像与第一图像进行匹配，得到第二图像在第一图像中的位置，以判断第二相机旋转后的位置是否符合预设条件。

可以理解的是，将高分辨率图像与宽视场图像进行匹配，得到高分辨率图像在宽视场图像中的位置，以校验步骤S103中动态相机旋转后的位置是否符合步骤S102的计算结果。

在本发明的一个实施例中，预设条件为校验第二相机旋转后的位置是否与聚焦坐标一致。

具体而言，计算高分辨率图像在宽视场图像中的位置。由于步骤S102中标定的位置变换关系在实际应用中总是会有误差，且误差会随着相机的连续移动而逐渐放大，因此需要图像匹配方法来校正高分辨率图像在宽视场图像中的位置，即动态相机所瞄准的聚焦坐标在静态相机的视场中的位置。其中，图像匹配方法能够使动态相机实时追踪目标物体或区域的实际位置，匹配方法包含但不限于基于像素灰度的图像匹配方法、基于特征的图像匹配方法、基于神经网络的图像匹配方法。

在步骤S105中，在满足预设条件后，获取第一图像与实时跟踪目标物体或区域的高分辨率图像。

进一步地，循环执行步骤S101-S105，得到宽视场图像与实时跟踪目标物体或区域的高分辨率图像。具体地，判断是否结束拍摄，若是，则结束系统的运行；否则，执行步骤S101。通过步骤S101至步骤S105，即可使用两部相机实现目标的自适应智能识别与跟踪，同时完成目标的定位与细节的拍摄。其中，如图3所示，图3为某次获得的宽视场图像与高分辨率图像的样例测试图。

下面将通过以下具体实例来进行具体说明，但本发明并不局限于以下具体实例。

对于某个监控系统，通过自适应的宽视场高分辨率智能传感方法和系统来追踪某个运动中的人，按照步骤1至步骤7来进行，如图4所示，具体包括：

步骤1、从静态相机获取宽视场图像I₁，图像I₁覆盖尽可能广的范围，以保证运动中的人体不能逃脱其范围。

步骤2、从步骤1得到的图像I₁中，检测出人体的存在，并识别出人体的位置，使用矩形方框将位置框出，再取矩形方框中心点坐标(x₁,y₁)来表征人体在静态相机中的位置。

步骤3、根据步骤2得到的坐标(x₁,y₁)，计算人体在动态相机中位置。具体变换公式为：

x₂＝x₁/k_x+b_x

y₂＝y₁/k_y+b_y

其中k_x与k_y分别表示水平放大倍数与竖直放大倍数，即动态相机与静态相机在水平方向上与竖直方向上的坐标间的放缩关系，由于动态相机的分辨率较高、焦距较大，k_x与k_y一般大于1；b_x与b_y分别表示水平平移距离与竖直平移距离，即动态相机与静态相机的坐标轴原点的偏移关系，这取决于两部相机在实际场景中的摆放位置，需要预先标定。考虑到有k_x、k_y、b_x与b_y共四个参数需要计算，而来自静态相机与动态相机中的一对对应坐标(x₁,y₁)和(x₂,y₂)能提供两个方程，因此预先标定两对来自静态相机与动态相机的对应坐标即可完成预先的标定工作。

步骤4、由步骤3中得到的坐标(x₂,y₂)，使用派尔高等相机协议，将动态相机移动至坐标(x₂,y₂)所对应的实际方向上。

步骤5、从动态相机获取一帧高分辨率图像I₂，此时图像I₂理论上应包含待识别的人体目标，且在图像中占据较大的范围。

步骤6、计算高分辨率图像I₂在宽视场图像I₁中的位置。使用图像匹配算法，将图像I₂与图像I₁进行融合，但不需要得到最终的融合结果，只需要提取出图像I₂在图像I₁中的位置即可，取图像I₂在图像I₁中的中心点坐标(x′₁,y′₁)，并与步骤2中得到的坐标(x₁,y₁)进行比较，用以纠正动态相机的准确程度，以及及时判断动态相机的实时位置。

步骤7、判断是否结束拍摄。若是，则结束所有步骤；否则，执行步骤1。

通过步骤1至步骤7，即可实现对实际场景的目标物体或区域的自适应智能识别与跟踪。

综上，本发明实施例通过静态相机与动态相机，分别进行宽视场与高分辨率图像的拍摄，再通过图像识别算法来实时寻找目标物体或区域的实际位置，并使用云台相机协议来跟踪目标物体或区域，及通过图像匹配算法实时校正动态相机的聚焦坐标。其中，图像识别方法负责在宽视场图像中识别出目标物体或区域的位置，以保证动态相机能够用精确定位到目标物体或区域；图像匹配方法负责校正高分辨率图像聚焦目标物体或区域的准确程度，通过将高分辨率图像与宽视场图像进行匹配，再与图像识别方法得到的目标位置进行对比，来对动态相机的聚焦位置进行校正；从而根据本发明实施例的方法，既能够动态地获取目标物体或区域的高分辨率图像，且易于硬件实现，对于实际应用具有重要意义。

根据本发明实施例提出的自适应的宽视场高分辨率智能传感方法，相较于传统均匀分布的相机阵列方法获取宽视场高分辨率图像，能够自适应地识别目标物体或区域，从而动态地获取目标物体或区域的高分辨率图像，减少了采集数据量，简化了硬件设计，利于通信传输，对于实际应用具有重要意义。

其次参照附图描述根据本发明实施例提出的自适应的宽视场高分辨率智能传感系统。

图5是本发明一个实施例的自适应的宽视场高分辨率智能传感系统的结构示意图

如图5所示，该自适应的宽视场高分辨率智能传感系统10包括：采集模块100、转换模块200、移动模块300、匹配模块400和获取模块500。

其中，采集模块100用于通过第一相机采集宽视场的第一图像，并从第一图像中识别目标物体或区域；转换模块200用于根据第二相机与第一相机的坐标转换关系将目标物体或区域在第一相机中的位置转化为在第二相机中的聚焦坐标；移动模块300用于将第二相机旋转移动至聚集坐标对应的位置，并从第二相机中采集第二图像；匹配模块400用于将第二图像与第一图像进行匹配，得到第二图像在第一图像中的位置，以判断第二相机旋转后的位置是否符合预设条件；获取模块500用于在满足预设条件后，获取第一图像与实时跟踪目标物体或区域的高分辨率图像。本发明实施例的系统10既能够动态地获取目标物体或区域的高分辨率图像，且易于硬件实现，对于实际应用具有重要意义。

进一步地，在本发明的一个实施例中，坐标转换关系的变换公式为：

y₂＝y₁/k_y+b_y，

x₂＝x₁/_x+b_x，

其中，k_x与k_y分别表示水平放大倍数与竖直放大倍数，b_x与b_y分别表示水平平移距离与竖直平移距离，(x₁,y₁)表示目标物体或区域在第一相机中的位置。

进一步地，在本发明的一个实施例中，预设条件为校验第二相机旋转后的位置是否与聚焦坐标一致。

进一步地，在本发明的一个实施例中，第一相机为静态相机，第二相机为动态相机。

需要说明的是，前述对自适应的宽视场高分辨率智能传感方法实施例的解释说明也适用于该实施例的自适应的宽视场高分辨率智能传感系统，此处不再赘述。

根据本发明实施例提出的自适应的宽视场高分辨率智能传感系统，相较于传统均匀分布的相机阵列方法获取宽视场高分辨率图像，能够自适应地识别目标物体或区域，从而动态地获取目标物体或区域的高分辨率图像，减少了采集数据量，简化了硬件设计，利于通信传输，对于实际应用具有重要意义。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (2)

1.一种自适应的宽视场高分辨率智能传感方法，其特征在于，包括以下步骤：

通过第一相机采集宽视场的第一图像，并通过图像识别方法从所述第一图像中识别目标物体或区域；

根据第二相机与第一相机的坐标转换关系将所述目标物体或区域在所述第一相机中的位置转化为在所述第二相机中的聚焦坐标；

将所述第二相机旋转移动至所述聚焦坐标对应的位置，并从所述第二相机中采集第二图像；

使用图像匹配算法将所述第二图像与所述第一图像进行匹配，得到所述第二图像在所述第一图像中的位置，以判断所述第二相机旋转后的位置是否符合预设条件；以及

在满足所述预设条件后，获取所述第一图像与实时跟踪目标物体或区域的高分辨率图像；

所述坐标转换关系的变换公式为：

y₂＝y₁/k_y+b_y，

x₂＝x₁/k_x+b_x，

其中，k_x与k_y分别表示水平放大倍数与竖直放大倍数，b_x与b_y分别表示水平平移距离与竖直平移距离，(x₁,y₁)表示所述目标物体或区域在所述第一相机中的位置，(x₂,y₂)表示所述目标物体或区域在所述第二相机中的聚焦坐标；

所述预设条件为校验所述第二相机旋转后的位置是否与所述聚焦坐标一致；

所述第一相机为静态相机，所述第二相机为动态相机。

2.一种自适应的宽视场高分辨率智能传感系统，其特征在于，包括：

采集模块，用于通过第一相机采集宽视场的第一图像，并通过图像识别方法从所述第一图像中识别目标物体或区域；

转换模块，用于根据第二相机与第一相机的坐标转换关系将所述目标物体或区域在所述第一相机中的位置转化为在所述第二相机中的聚焦坐标；

移动模块，用于将所述第二相机旋转移动至所述聚焦坐标对应的位置，并从所述第二相机中采集第二图像；

匹配模块，用于使用图像匹配算法将所述第二图像与所述第一图像进行匹配，得到所述第二图像在所述第一图像中的位置，以判断所述第二相机旋转后的位置是否符合预设条件；以及

获取模块，用于在满足所述预设条件后，获取所述第一图像与实时跟踪目标物体或区域的高分辨率图像；

所述坐标转换关系的变换公式为：

y₂＝y₁/k_y+b_y，

x₂＝x₁/k_x+b_x，

其中，k_x与k_y分别表示水平放大倍数与竖直放大倍数，b_x与b_y分别表示水平平移距离与竖直平移距离，(x₁,y₁)表示所述目标物体或区域在所述第一相机中的位置，(x₂,y₂)表示所述目标物体或区域在所述第二相机中的聚焦坐标；

所述预设条件为校验所述第二相机旋转后的位置是否与所述聚焦坐标一致；

所述第一相机为静态相机，所述第二相机为动态相机。