CN110049206B - 图像处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种图像处理方法及装置；方法包括：基于至少两路帧图像流进行合成操作，得到对应环境的全景帧图像流；显示环境的全景帧图像流；响应于接收到的触控操作，确定触控操作在全景帧图像流中选取的区域作为目标区域，或者，响应于对全景帧图像流中呈现的提示目标区域的调整操作，确定对提示目标区域进行调整后的区域为目标区域，目标区域中承载有多个对象；在目标区域承载的对象中选取目标对象，并结合背景检测方式及帧间检测方式，检测目标对象在全景帧图像流中的每个全景帧图像中的位置；基于目标对象在全景帧图像流中的每个全景帧图像中的位置，从每个全景帧图像中分割目标对象，生成对应目标对象的全景帧图像流。

Description

图像处理方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术

随着视频监控系统的技术飞速发展，视频监控已经成为国家机关、企事业单位以及民用住宅安全防护及家庭娱乐交流的重要技术手段。传统的视频监控主要依赖于人工监看，人工切换监控视角。随着计算机性能的提高和图像处理技术的发展，智能视频监控表现出报警主动性强、可长时间工作、人力成本低等突出优点，逐渐成为发展的趋势。

由于摄像角度限制，往往一个摄像头只能监控一个方向，想要监控各个方向情况，就需要布设多个摄像头利用中央控制系统计算分析各个摄像头情况或者采用带有智能系统的云台摄像机。布设多个摄像头的中央控制系统综合分析各个摄像头监控情况，容易出现错误。带有智能系统的云台摄像机虽然可跟踪目标对象，但对多个目标对象监控无能为力且目标对象移动不规律或者太快就难以实现跟踪。

上述的云台摄像机就是带有云台的摄像机，带有承载摄像机进行水平和垂直两个方向转动的装置，把摄像机装云台上能使摄像机从多个角度进行摄像，云台镜头控制系统主要由云台和控制器组成，布设多个摄像头，利用中央控制系统计算分析各个摄像头情况进行切换追踪监控或者使用采用带有智能系统的云台摄像机进行追踪监控。

但是，布设多个摄像头利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误；而带有智能系统的云台摄像机虽然可跟踪目标对象，但对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪。

发明内容

本发明实施例提供一种图像处理方法及装置，能够对多个目标对象进行精确实时监控跟踪。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像处理方法，所述方法包括：

基于至少两路帧图像流进行合成操作，得到对应环境的全景帧图像流；

显示所述环境的全景帧图像流；

响应于接收到的触控操作，确定所述触控操作在所述全景帧图像流中选取的区域作为目标区域，

或者，响应于对所述全景帧图像流中呈现的提示目标区域的调整操作，确定对所述提示目标区域进行调整后的区域为目标区域，所述目标区域中承载有多个对象；

在所述目标区域承载的对象中选取目标对象，并结合背景检测方式及帧间检测方式，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；

基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置，从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

本发明实施例提供一种图像处理装置，所述装置包括：

合成单元，用于基于至少两路帧图像流进行合成操作，得到对应环境的全景帧图像流；

显示单元，用于显示所述环境的全景帧图像流；

确定单元，用于响应于接收到的触控操作，确定所述触控操作在所述全景帧图像流中选取的区域作为目标区域，

或者，响应于对所述全景帧图像流中呈现的提示目标区域的调整操作，确定对所述提示目标区域进行调整后的区域为目标区域，所述目标区域中承载有多个对象；

检测单元，用于在所述目标区域承载的对象中选取目标对象，并结合背景检测方式及帧间检测方式，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；

分割单元，用于基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置，从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

本发明实施例中，基于全景帧图像流生成以目标对象所处区域为中心区域的全景帧图像流，实现了对环境中目标对象的实时监控(检测)；并且，目标对象的监控是以全景帧图像流的形式呈现的，能够实现对目标对象全角度多方位的监控，克服了相关技术仅能够从单一视角对目标对象进行监控的缺陷；并且，目标对象的位置是基于全景帧图像流处理得到，只要目标对象处于环境中，不管目标对象的数量如何打、目标对象的移动如何复杂，总是会稳定输出承载有目标对象全景帧图像流，较相关技术布设多个摄像头利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误；而带有智能系统的云台摄像机虽然可跟踪目标对象，克服了相关技术对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪的缺陷。

附图说明

图1是本发明实施例中图像处理方法的实现流程图一；

图2是本发明实施例中图像处理的实现场景示意图一；

图3是本发明实施例中图像处理的实现场景示意图二；

图4是本发明实施例中选取目标区域的示意图一；

图5是本发明实施例中选取目标区域的示意图二；

图6是本发明实施例中选取目标区域的示意图三；

图7是本发明实施例中选取目标对象的示意图一；

图8是本发明实施例中选取目标对象的示意图二；

图9是本发明实施例中选取目标对象的示意图三；

图10是本发明实施例中呈现目标对象对应的全景帧图像流的示意图；

图11是本发明实施例中图像处理方法的实现流程图二；

图12是本发明实施例中图像处理方法的实现流程图三；

图13是本发明实施例中图像处理方法的实现流程图四；

图14是本发明实施例中图像处理方法的实现流程图五；

图15是本发明实施例中图像处理装置的结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例记载一种图像处理方法，如图1所示，包括以下步骤：

步骤101，基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流。

环境中设置有至少两个图像采集装置(如摄像机)，每个图像采集装置以特定采集方向对环境进行采集并输出一路帧图像流，由于需要得到对应环境的 360度视角的全景帧图像流，因此环境中设置的图像采集装置的采集方向不完全相同。

在图2的示例中，环境中设置有两个图像采集装置，图像采集装置的采集方向相对，每个图像采集装置基于各自的采集方向独立对环境进行图像采集并输出一路帧图像流，图像处理装置(可以服务器或服务器集群实现，示例仅示出一台服务器)基于两路帧图像流进行合成，也即对两路帧图像流中相同时刻的帧图像进行拼接，从而得到环境的全景帧图像流。

为更加全面呈现环境中的对象，如图3所示，环境中可以设置四个图像采集装置，每个图像采集装置的采集方向不同，每个图像采集装置基于各自特定的采集方向采集图像并输出一路帧图像流，图像处理装置提取基于四路帧图像流中的采集时刻相同的帧图像，并将相同采集时刻的帧图像合成，从而得到环境的全景帧图像流，这里的全景帧图像流能够表征环境时间轴上不同时刻的全景图像特征，包括静态图像特征和动态图像特征。

本实施例中对环境中设置的图像采集装置的具体数量(至少需要两个)，举例来书，当环境的范围较大，或环境中的结构复杂(如多层楼房结构)时，通常需要设置较多的图像采集装置，环境中设置的图像采集装置的数量还可以基于图像采集装置的有效视距来确定，例如方圆10米的环境，至少需要设置两个有效视距为5米的图像采集装置。

步骤102，解析针对所述全景帧图像的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域。

图像处理装置可以通过具有显示能力的终端(如手机、笔记本电脑、视频监视器等)显示环境的全景帧图像流，并检测指示目标区域(可以视为监控区域)的操作(也即第一操作，可以为语音、触控、鼠标等方式操作)。

如图4所示，以第一操作为触控操作为例，当终端显示有环境的全景帧图像流时，用户可以在期望监控的区域实施目标区域选取操作，如在终端显示屏幕上画出曲线(封闭或部分封闭)作为目标区域，目标区域中承载有对象，如人、物体等；

或者，图像处理装置可以在呈现环境的全景帧图像流时呈现一提示目标区域，当未检测到用户实施的操作(第一操作)时，提示目标区域可以默认作为目标区域；当检测到用户实施的操作(第一操作)时，如图5和图6所示，还可以基于用户调整提示目标区域的操作，调整提示目标区域的大小和位置，将调整后的提示目标区域作为目标区域。

图4和图5以解析出第一操作指示一个目标区域为例进行说明，作为另一个示例，基于解析第一操作，可以解析出第一操作在终端显示的全景帧图像流中指示的多个(两个或以上)目标区域，也就是说，用户可以对终端呈现的全景帧图像流实施操作(第一操作)以指示多个需要监控的目标区域，每个目标区域中承载对象如人、物体等。

如图6所示，用户可以通过在呈现全景帧图像流的终端显示界面中实施操作(第一操作)选取两个目标区域，每个目标区域中均承载有对象如人、物体等。

步骤103，在所述全景帧图像的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置。

如图7所示，目标区域中承载有多个对象如人、物体等，这就有必要确定目标区域中需要监控的目标对象，用于在通过操作(第一操作)指示目标区域轴，可以在目标区域继续实施操作(第二操作)指示目标对象；或者，图像处理装置可以基于用户通过操作(第一操作)指示的目标区域在目标区域中自动识别目标对象(也即需要监控的对象)；下面就上述两种情况分别进行说明。

1)用户手动选取目标对象

如图8所示，图像处理装置将合成的全景帧图像流发送至终端显示界面进行显示，用户首先通过第一操作指示了目标区域；图像处理装置对目标区域内的对象进行识别，并在全景帧图像流中呈现识别出的对象的轮廓，当接收到用户针对全景帧图像流的操作(第二操作)时，解析针对所述全景帧图像流的操作，如操作为触控操作时，则检测触控操作的操作点的位置，基于操作点的位置识别触控操作所指示的对象，将触控操作指示的对象识别为目标对象；这样当用户在一个对象的轮廓范围内点触时能够使图像处理装置将被点触的识别为目标对象。

2)自动选取目标对象

如图9所示，图像处理装置将合成的全景帧图像流发送至终端显示界面进行显示，用户首先通过第一操作指示了目标区域；图像处理装置对目标区域内的对象进行识别，或者，在未选取目标区域时，对全区域的对象进行识别，并在全景帧图像流中呈现识别出的对象的轮廓；识别出目标区域承载的对象，并将识别出的部分或全部对象作为目标对象；或者，在呈现识别出的对象的轮廓超过预设时间内没有检测到用户实施的操作(第二操作)时，则识别出目标区域内的对象，并将识别出的部分或全部对象作为目标对象；

自动识别目标对象时，可以基于预设的图形库进行对象匹配，确定具有监控意义的目标对象如人；或者，基于对象的面积过滤出部分不需要监控的对象如纸箱、办公桌等物品。

步骤104，基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置，生成对应所述目标对象的全景帧图像流。

以图10为例，当目标对象为环境中握持物品的人物时，确定目标对象在全景帧图像流中每个全景帧图像的位置，从而基于全景帧图像流生成以目标对象所处区域为中心区域的全景帧图像流，实现了对环境中目标对象的实时监控(检测)；并且，目标对象的监控是以全景帧图像流的形式呈现的，能够实现对目标对象全角度多方位的监控，克服了相关技术仅能够从单一视角对目标对象进行监控的缺陷；并且，目标对象的位置是基于全景帧图像流处理得到，只要目标对象处于环境中，不管目标对象的数量如何大、目标对象的移动如何复杂，总是会稳定输出承载有目标对象全景帧图像流，较相关技术布设多个摄像头利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误；而带有智能系统的云台摄像机虽然可跟踪目标对象，克服了相关技术对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪的缺陷。

下面再就基于目标对象在全景帧图像流中的每个全景帧图像中的位置，生成对应目标对象的全景帧图像流的实现过程进行说明。

检测目标对象在全景帧图像中的位置，可以采用相关技术提供的帧间检测方式或背景检测方式；帧间检测方式是指，将两帧全景帧图像中的目标区域进行差分二值化处理；基于得到的差分二值化处理结果以及差分二值化阈值，确定目标对象的边缘区域，并基于边缘区域确定目标对象的位置；背景检测方式是指，基于全景帧图像确定目标区域的背景帧图像，基于背景帧图像在目标区域的全景帧图像中识别出目标对象的位置；

背景检测方式实现过程：

1)计算视频流(对应本发明实施例中全景帧图像流)背景。

记录目标区第一帧图像，计算之后的图像与第一帧图像的目标区帧间差，如果可聚类为一个目标，则记录该帧图像为开始帧图像；计算之后帧的图像与开始帧图像的帧间差，如果可聚类为两个分开的目标，重建图像背景(以未运动目标区域替换运动处目标区域)；若未找到开始帧图像，长时间未找到分开目标或者重建背景出错，则替换开始图像，重新搜索。

2)检测背景内目标及目标坐标位置

每隔固定帧数检测场景灰度均值：若场景光线发生的变化大于阈值，我们认为场景光线有较大变化，停止背景检测，重新检测背景；否则，我们根据背景进行目标检测。

目标检测包括以下处理：计算彩色图像蒙版区的差值图；KSW算法动态计算二值图；腐蚀膨胀去噪声；目标二值图聚类；目标集中去除阴影伪目标；目标信息综合分析；更新非目标区背景图；判断目标尺寸是否符合要求，若果不符合要求，重新检测背景；判断时间是否到了设定时间，每隔设定时间，重新检测背景。

帧间检测实现过程：

如果输入图像帧数少于设置的相减帧间差数，则存储图像，否则计算视频流蒙版区域的帧间差；二值化图像；腐蚀膨胀去噪声；计算离开区域内最大目标面积，如果最大面积大于一个目标通过时估计值的大小，清空上一次目标个数；计算目标区域内x方向每个像素点的以该像素点为左边，目标检测区矩形上边和下边为上边和下边，估计目标宽度为矩形宽度，矩形内非零点面积大小；以一个固定窗口平滑上面的计算结果；找到该x方向目标响应的局部极值；消除重叠响应位置；根据上一帧信息恢复丢失目标；存储当前结果到上帧信息中。

发明人在实施本发明的过程中发现，单独采用帧间检测方式检测目标对象在全景帧图像中的位置时，存在以下问题：

帧间检测方式检测目标对象适用于全景帧图像的背景会经常发生重大改变的场景，例如室外环境，能够快速跟踪检测目标，能够抗一定干扰，缺点是检测目标对象对目标对象从全景帧图像中进行分割时不准确，难以检测缓慢移动目标对象；

背景检测方式适用于全景帧图像的背景发生缓慢变化的场景，比如室内场景，或者情况较简单的室外场景，优点是能够精确识别目标对象的位置并从全景帧图像中准确分割目标对象，不受目标对象的移动情况影响，缺点是对动态扰动敏感，发生重大变化时需要重建背景图；

综合上述分析，发明人发现，如果采用帧间检测方式和背景检测方式结合的目标对象检测方式，基于全景帧图像的特征选取对应的目标对象检测方式，如在背景发生缓慢变化的场景采用背景检测方式在全景帧图像中检测目标对象，在全景帧图像的背景会经常发生重大改变的场景采用帧间检测方式检测全景帧图像中的目标对象，那么能够实现对目标对象的精确检测。

结合上述分析，如图11所示，本发明实施例中检测目标对象在全景帧图像中的位置可以通过以下步骤实现：

步骤201，比较检测结果。

检测将利用背景检测方式和帧间检测方式检测所述目标对象在第n帧全景帧图像中的位置的检测结果，与利用背景检测方式和帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果进行比较。

步骤202，基于得到的比较结果，在背景检测方式和帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，n为大于等于1的整数。

步骤203，利用所述目标对象检测方式检测所述目标对象在上述第n+1帧全景帧图像中的位置。

本实施例中，对于确定第n+1帧全景帧图像的目标对象的检测方式(设为第n+1目标对象检测方式)时，结合了第n帧全景帧图像的目标对象的检测方式(设为第n目标对象检测方式)；例如，可以基于以下策略确定第n+1目标对象检测方式：利用第n+1目标对象检测方式检测第n+1帧全景帧图像的检测结果，与利用第n目标对象检测方式检测所述第n帧全景帧图像的检测结果最接近；这样，当第n+1帧全景帧图像表征室内忽然发生拉窗帘的动作，整体光线和窗帘背景发生重大变化，结合第n帧全景帧图像的检测结果、以及利用帧间检测方式和和帧间检测方式结果综合确定第n+1目标对象检测方式的策略，同时，启动重建背景，直到背景重新建立，这样，能够避免由于环境变化而导致对目标对象的错误检测；而当有目标对象非常缓慢移动的时候，帧间检测方式不能检测到目标对象，背景检测方式则不受目标对象移动情况的影响，仍能准确捕捉目标对象。

这里对第n帧全景帧图像的检测结果进行说明：对于第n帧全景帧图像，帧间检测方式检测目标对象个数为FN，背景检测方式检测到的目标对象个数为 BN；对于第n+1帧全景帧图像，帧间检测方式检测到的目标对象个数为ForFN，背景检测方式检测得到的目标对象个数为ForBN，状态稳定帧数为sN，帧间检测方式得到的状态稳定帧数为sFN，背景检测方式得到的状态稳定帧数为sBN；状态稳定帧数阈值为StN；设第n帧全景帧图像的检测方式参数为bBKD，第n 帧全景帧图像采用背景检测方式时，bBKD为真，否则，bBKD为假；第n+1 帧全景帧图像的检测方式为背景检测方式用B表征，第n+1帧全景帧图像的检测方式为帧间检测方式时用F表征。

结合上述说明，结合图12，对确定第n+1帧全景帧图像的目标对象检测方式进行说明，如图12所示包括以下步骤：

步骤301，判断FN与BN是否相同，如果相同，转入步骤306，如果不同，转入步骤302。

FN与BN相同时，表明利用帧间检测方式检测第n+1帧全景帧图像得到的目标对象的数量与利用背景检测方式检测第n+1帧全景帧图像得到的目标对象的数量一致，也就是说，利用背景检测方式与帧间检测方式对第n+1帧全景帧图像检测得到的检测结果与第n帧全景帧图像的检测结果的接近程度是一致的，因此可以选取背景检测方式或帧间检测方式作为第n+1帧全景帧图像的目标对象检测方式，也就是说，在步骤301的判断结果为否时，也可以执行步骤 309来代替执行步骤306。

步骤302，判断bBKD是否为真，也即判断全景帧图像是否采用背景检测方式得到的目标对象的检测结果作为第n帧全景帧图像的目标对象检测结果，如果是，则执行步骤303；否则执行步骤307。

步骤303，判断ForBN与BN是否相同，如果相同，则执行步骤306；否则，执行步骤304。

当第n帧全景帧图像采用背景检测方式作为目标对象检测方式，并且第n+1 帧全景帧图像采用背景检测方式的检测结果与第n帧全景帧图像采用背景检测方式的检测结果一致(目标对象的数量相同，也即检测结果最接近)时，选取背景检测方式作为第n帧全景帧图像。

步骤304，判断是否满足：FN与ForBN相同，并且sFN大于StN，如果满足，则执行步骤309；否则，执行步骤305。

当第n帧全景帧图像采用背景检测方式作为目标对象检测方式，并且第n+1 帧全景帧图像采用背景检测方式的检测结果与第n帧全景帧图像采用背景检测方式的检测结果不一致时，如果，第n+1帧全景帧图像采用帧间检测方式的检测结果与第n帧全景帧图像采用帧间检测方式的检测结果一致，并且，帧间检测方式检测第n帧全景帧图像得到的目标对象个数为大于稳定帧数阈值，则选取帧间检测方式作为第n+1帧全景帧图像的目标对象检测方式。

步骤305，转入其他处理。

步骤306，选取背景检测方式作为第n+1帧全景帧图像的目标对象检测方式。

步骤307，判断FN与ForBN是否相同，如果相同，则转入步骤309；否则，转入步骤308。

当第n帧全景帧图像采用背景检测方式作为目标对象检测方式，并且第n+1 帧全景帧图像采用帧间检测方式的检测结果与第n帧全景帧图像采用背景检测方式的检测结果一致(目标对象的数量相同，也即检测结果最接近)时，选取帧间检测方式作为第n+1帧全景帧图像的目标对象检测方式。

步骤308，判断是否满足：BN与ForFN相同，并且sBN大于StN，如果满足，则转入步骤306，否则转入步骤305。

步骤309，选取帧间检测方式作为第n+1帧全景帧图像的目标对象检测方式。

用于监控目标对象的图像处理方式的又一个实现方式如图13所示，包括以下步骤：

步骤401，基于环境中设置的图像采集装置获取帧图像流。

如前所述，环境中的设置的图像采集装置单独对环境进行图像采集并输出帧图像流。

步骤402，呈现监控区域(目标提示区域)，根据用户操作调整监控区域。

步骤403，选取目标对象，可以使用自动选取目标对象的方式，或根据用户的操作选取目标对象的方式。

步骤404，切割目标对象，也即在全景帧图像流中检测目标对象。

步骤405，检测目标对象位置，也即前述的检测目标对象在全景帧图像流中每个全景帧图像的位置。

步骤406，基于目标对象的位置，呈现包括目标对象的全景帧图像。

其中，如图14所示，上述步骤405中检测目标对象的位置可以通过以下步骤实现：

步骤501，生成全景帧图像流。

步骤502，分别使用背景检测方式和帧间检测方式检测目标对象在全景帧图像流中的位置。

步骤503，综合检测结果检测目标对象的位置。

步骤502为综合第n帧全景帧图像的检测结果、第n+1帧全景帧的检测结果确定第n+1帧的目标对象检测方式(即采用帧间检测方式还是背景检测方式)，并基于目标对象检测方式检测目标对象的位置，具体处理与图11以及图 12一致，这里不再赘述。

步骤504，标记目标对象在全景帧图像中的位置，输出承载有目标对象的全景帧图像。

本发明实施例还记载一种图像处理装置，如图15所示，所述装置包括：

合成单元10，用于基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流；

解析单元20，用于解析针对所述全景帧图像流的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域；

检测单元30，用于在所述全景帧图像流的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；

分割单元40，用于基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

作为一个示例，所述至少两路帧图像流为基于在所述环境中设置的至少两个图像采集装置独立对所述环境进行采集得到；其中，所述至少两个图像采集装置的采集方向不同。

作为一个示例，所述检测单元30还用于解析针对所述全景帧图像流的第二操作；将所述第二操作在所述目标区域承载的对象中所指示的对象确定为所述目标对象。

作为一个示例，所述检测单元30，还用于识别所述全景帧图像流的目标区域承载的对象；选取位于所述全景帧图像流的目标区域承载的部分或全部对象为所述目标对象。

作为一个示例，所述检测单元30，包括(图中未示出)：

第一检测模块，用于将利用背景检测方式和帧间检测方式检测所述目标对象在第n帧全景帧图像中的位置的检测结果，与利用背景检测方式和帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果进行比较；

选取模块(与第一检测模块耦合)，用于基于比较结果，在背景检测方式和帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，n 为大于等于1的整数；

第二检测模块(与选取模块耦合)，用于利用所述目标对象检测方式检测所述目标对象在所述第n+1帧全景帧图像中的位置。

作为一个示例，所述第一检测模块，还用于当比较结果表征利用背景检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果，与利用帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果不一致时，

如果第n帧全景帧图像对应的第n目标对象检测方式为背景检测方式，则基于利用背景检测方式检测所述第n帧全景帧的检测结果、以及利用背景检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第 n+1目标对象检测方式；

如果第n帧全景帧图像对应的第n目标对象检测方式为帧间检测方式，则基于利用帧间检测方式检测所述第n帧全景帧的检测结果、以及利用帧间检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第 n+1目标对象检测方式。

图像处理装置中的各单元可由服务器或服务器集群中的具有图形处理能力的资源如处理器、专用集成电路(ASIC)、逻辑可编程门阵列(FPGA)或图形处理单元(GPU)实现；例如，上述处理单元由服务器中的处理器实现时，本领域的技术人员应当了解，服务器中至少还应配置内存(Memory)以存储处理器的运算数据。

本实施例记载一种计算机可读介质，可以为ROM(例如，只读存储器、 FLASH存储器、转移装置等)、磁存储介质(例如，磁带、磁盘驱动器等)、光学存储介质(例如，CD-ROM、DVD-ROM、纸卡、纸带等)以及其他熟知类型的程序存储器；所述计算机可读介质中存储有计算机可执行指令，当执行所述指令时，引起至少一个处理器执行包括以下的操作：

基于至少两路帧图像流进行合成操作，得到对应所述环境的全景帧图像流；

解析针对所述全景帧图像流的第一操作，得到所述第一操作在所述全景帧图像流中所指示的目标区域；

在所述全景帧图像流的目标区域承载的对象中选取目标对象，检测所述目标对象在全景帧图像流中的每个全景帧图像中的位置；

基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

作为一个示例，所述至少两路帧图像流为基于在所述环境中设置的至少两个图像采集装置独立对所述环境进行采集得到，所述至少两个图像采集装置的采集方向不同。

作为一个示例，所述计算机可读介质中存储有计算机可执行指令，当执行所述指令时，还引起至少一个处理器执行包括以下的操作：解析针对所述全景帧图像流的第二操作；

将所述第二操作在所述目标区域承载的对象中所指示的对象确定为所述目标对象。

作为一个示例，所述计算机可读介质中存储有计算机可执行指令，当执行所述指令时，还引起至少一个处理器执行包括以下的操作：识别所述全景帧图像流的目标区域承载的对象；选取位于所述全景帧图像流的目标区域承载的部分或全部对象为所述目标对象。

作为一个示例，所述计算机可读介质中存储有计算机可执行指令，当执行所述指令时，还引起至少一个处理器执行包括以下的操作：将利用背景检测方式和帧间检测方式检测所述目标对象在第n帧全景帧图像中的位置的检测结果，与利用背景检测方式和帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果进行比较；

基于比较结果，在背景检测方式和帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，n为大于等于1的整数；

利用所述目标对象检测方式检测所述目标对象在上述第n+1帧全景帧图像中的位置。

作为一个示例，所述计算机可读介质中存储有计算机可执行指令，当执行所述指令时，还引起至少一个处理器执行包括以下的操作：当比较结果表征利用背景检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果，与利用帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果不一致时，

如果第n帧全景帧图像对应的第n目标对象检测方式为背景检测方式，则基于利用背景检测方式检测所述第n帧全景帧的检测结果、以及利用背景检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第 n+1目标对象检测方式；

如果第n帧全景帧图像对应的第n目标对象检测方式为帧间检测方式，则基于利用帧间检测方式检测所述第n帧全景帧的检测结果、以及利用帧间检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第 n—+1目标对象检测方式。

综上所述，本发明的有益效果在于：

1)利用至少两路帧图像流合成全景帧图像流，基于全景帧图像流进行目标对象的检测，通过一次分析检测就能确定环境中的多个目标对象，不同于对每路帧图像流进行单独分析以检测目标对象的实现方式(该实现方式难以区分多个目标对象)，不仅实现了对环境中多目标对象的检测，而且检测多个目标对象的效率及精度高；

2)基于全景帧图像流进行目标检测，只要目标对象处于环境范围内，那么基于全景帧图像流检测目标对象就不会受目标对象的移动情况的影响，克服了相关技术利用中央控制系统计算分析各个摄像头情况进行追踪监控，容易出现错误的缺陷、以及利用智能系统的云台摄像机虽然可跟踪目标对象，但对多个目标对象监控无能为力，并且当目标对象移动不规律或者移动太快时就难以实现实时跟踪的缺陷；

3)利用至少两路帧图像流合成全景帧图像流，基于检测出的目标的位置从全景帧图像流中分割目标对象对应目标对象的全景帧图像流，便于对目标对象进行360度的全方位监控，与相关技术的单视角相比，监控的安全性更高；

4)在对全景帧图像流进行目标对象检测时，利用帧间检测方式和背景检测方式结合的方式检测目标对象，由于环境中人和物的运动是连续的，因此相邻两帧全景帧图像流的目标对象的检测结果应该最为接近，基于以上原则选取每一帧的全景帧图像的目标对象检测方式，有效提升目标对象检测的精度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

基于至少两路帧图像流进行合成操作，得到对应环境的全景帧图像流；

显示所述环境的全景帧图像流；

响应于接收到的触控操作，确定所述触控操作在所述全景帧图像流中选取的区域作为目标区域，

或者，响应于对所述全景帧图像流中呈现的提示目标区域的调整操作，确定对所述提示目标区域进行调整后的区域为目标区域，所述目标区域中承载有多个对象；

在所述目标区域承载的对象中选取目标对象，将利用背景检测方式和帧间检测方式检测所述目标对象在第n帧全景帧图像中的位置的检测结果，与利用所述背景检测方式和所述帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果进行比较；

基于比较结果，在所述背景检测方式和所述帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，n为大于等于1的整数；

利用所述目标对象检测方式，检测所述目标对象在全景帧图像流中的所述第n+1帧全景帧图像中的位置；

基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置，从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

2.如权利要求1所述的方法，其特征在于，

所述至少两路帧图像流基于在所述环境中设置的至少两个图像采集装置，独立对所述环境进行采集得到；其中，

所述至少两个图像采集装置的采集方向各不相同。

3.如权利要求1所述的方法，其特征在于，所述在所述目标区域承载的对象中选取目标对象，包括：

解析针对所述全景帧图像流的第二操作；

确定所述第二操作指示的所述目标区域中的对象，将所确定的所述对象作为所述目标对象。

4.如权利要求1所述的方法，其特征在于，所述在所述目标区域承载的对象中选取目标对象，包括：

识别所述全景帧图像流的目标区域承载的对象；

选取位于所述目标区域中的部分或全部对象作为所述目标对象。

5.如权利要求1所述的方法，其特征在于，所述基于比较结果，在所述背景检测方式和所述帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，包括：

当所述比较结果表征利用所述背景检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果，与利用所述帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果不一致时，

如果第n帧全景帧图像对应的第n目标对象检测方式为所述背景检测方式，则基于利用所述背景检测方式检测所述第n帧全景帧的检测结果、以及利用所述背景检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第n+1目标对象检测方式；

如果第n帧全景帧图像对应的第n目标对象检测方式为所述帧间检测方式，则基于利用所述帧间检测方式检测所述第n帧全景帧的检测结果、以及利用所述帧间检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第n+1目标对象检测方式。

6.一种图像处理装置，其特征在于，所述装置包括：

合成单元，用于基于至少两路帧图像流进行合成操作，得到对应环境的全景帧图像流；

显示单元，用于显示所述环境的全景帧图像流；

确定单元，用于响应于接收到的触控操作，确定所述触控操作在所述全景帧图像流中选取的区域作为目标区域，

或者，响应于对所述全景帧图像流中呈现的提示目标区域的调整操作，确定对所述提示目标区域进行调整后的区域为目标区域，所述目标区域中承载有多个对象；

检测单元，用于在所述目标区域承载的对象中选取目标对象，将利用背景检测方式和帧间检测方式检测所述目标对象在第n帧全景帧图像中的位置的检测结果，与利用所述背景检测方式和所述帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果进行比较；

基于比较结果，在所述背景检测方式和所述帧间检测方式中选取所述第n+1帧全景图像帧的第n+1目标对象检测方式，n为大于等于1的整数；

利用所述目标对象检测方式，检测所述目标对象在全景帧图像流中的所述第n+1帧全景帧图像中的位置；

分割单元，用于基于所述目标对象在全景帧图像流中的每个全景帧图像中的位置，从所述每个全景帧图像中分割所述目标对象，生成对应所述目标对象的全景帧图像流。

7.如权利要求6所述的装置，其特征在于，

所述至少两路帧图像流基于在所述环境中设置的至少两个图像采集装置，独立对所述环境进行采集得到；其中，

所述至少两个图像采集装置的采集方向各不相同。

8.如权利要求6所述的装置，其特征在于，

所述检测单元，还用于解析针对所述全景帧图像流的第二操作；确定所述第二操作指示的所述目标区域中的对象，将所确定的所述对象作为所述目标对象。

9.如权利要求6所述的装置，其特征在于，

所述检测单元，还用于识别所述全景帧图像流的目标区域承载的对象；选取位于所述目标区域中的部分或全部对象作为所述目标对象。

10.如权利要求6所述的装置，其特征在于，所述检测单元，包括：

第一检测模块，用于当比较结果表征利用背景检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果，与利用帧间检测方式检测所述目标对象在第n+1帧全景帧图像中的位置的检测结果不一致时，

如果第n帧全景帧图像对应的第n目标对象检测方式为所述背景检测方式，则基于利用所述背景检测方式检测所述第n帧全景帧的检测结果、以及利用所述背景检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第n+1目标对象检测方式；

如果第n帧全景帧图像对应的第n目标对象检测方式为所述帧间检测方式，则基于利用所述帧间检测方式检测所述第n帧全景帧的检测结果、以及利用所述帧间检测方式检测所述第n+1帧全景帧的检测结果，确定第n+1帧全景帧图像对应的第n+1目标对象检测方式。

11.一种图像处理装置，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至5任一项所述的图像处理方法。

12.一种计算机可读存储介质，其特征在于，存储有可执行指令，所述可执行指令被处理器执行时，实现权利要求1至5任一项所述的图像处理方法。

Images