CN104219488B

CN104219488B - 目标图像的生成方法和装置、以及视频监控系统

Info

Publication number: CN104219488B
Application number: CN201310214849.4A
Authority: CN
Inventors: 张登; 李亮
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2019-01-11
Anticipated expiration: 2033-05-31
Also published as: CN104219488A

Abstract

本发明公开了一种目标图像的生成方法和装置、以及视频监控系统，其中，该方法包括：对于包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧的置信度；根据多个图像帧和每个图像帧的置信度，生成目标对象的图像。本发明通过对多个图像帧确定置信度，并根据置信度来生成目标对象的图像，由于多个图像帧对最终结果的影响取决于各自的置信度，因此，即使获取图像帧的图像采集设备的分辨率较低，也能够通过合理的方式综合多个帧的图像，得到更加准确、分辨率更高的结果，避免了图像的获取依赖于高分辨率设备的问题，并且，本发明的技术方案无需复杂计算，因此处理效率较高，适用于通过离线和在线方式生成图像。

Description

目标图像的生成方法和装置、以及视频监控系统

技术领域

本发明涉及计算机视觉领域，并且特别地，涉及一种目标图像的生成方法和装置、以及视频监控系统。

背景技术

目前，高分辨率监控摄像机及其组成的智能监控网络系统在众多应用中开始发挥越来越重要的作用。高分辨率监控摄像机及其组成的网络系统能够采集到清晰度较高的图像，从而在入侵检测、目标识别等应用中发挥关键作用。但是对于家庭、便利店或者已经安装的监控网络系统的应用场景而言，如果要安装基于高分辨率摄像机的监控系统，将会大幅提高监控成本。所以，由于受到成本的约束，模拟监控摄像机和网络摄像机等非高清监控摄像机仍然会得到广泛应用。

然而，高分辨率的视频输出对于保证用户的安全以及满足多种信息需求是至关重要的。因此，如何在非高清监控网络中输出高清化入侵目标的技术将成为解决这一矛盾的关键所在。

目前，诸如入侵检测系统等需要进行视频信息获取和处理的系统中，采用的目标图像获取和输出的方法主要包括以下三类：

第一类方法使用传统的红外传感器或其他监测传感器来探测监控区域内是否存在入侵目标或目标对象。该方法的优点在于能够应对各种光照变化和噪声，具有较高的鲁棒性，但是其缺点是误报率比较高，能提供给用户以便进行后续分析和处理的信息极其有限。例如，在家庭安防应用中，当用户家中无人时，这种方案只能够检测到是否发生入侵，但是并不能够反映入侵发生时的真实情况，往往无法保留有效的入侵信息；并且，由于传感器较为灵敏，往往会因为各种其他因素而被触发，出现误报警；

第二类方法使用运动检测技术在检测区域的视频序列中通过检测运动目标来实现入侵目标检测，通常采用的经典算法包括帧间差分法、背景差分法和光流法等。这该类方法基于视频序列检测运动目标并可以根据检测结果保存和查询入侵目标信息，对摄像头的分辨率要求比较低。但该类型方法的缺点时容易受到光照等环境变化的影响，误报率较高且无法对运动目标精确定位；例如，在安防系统中采用这类方法时，往往会因为自然因素导致被监控区域的图像出现变化而误认为出现运动的目标，例如，在被监控区域的窗户被风吹开时，就会误认为有入侵发生，进而出现误报警；并且，这类方法同样不能够有效分析入侵发生时的具体情况，其智能化程度较为有限；

第三类方法采用目标检测和目标识别技术，如人脸检测和识别技术对监控视频序列进行入侵目标检测。该类型方法能够识别特定类型的对象，并判断出特定类型的对象是否确实存在，因此检测的准确度有所提高，例如，当将该类方法应用于入侵监控系统中时，能够避免各种无关因素对监控结果带来的不良影响。但是，在采用这类方法时，对用于采集图像的摄像头的分辨率具有一定的要求，且检测速度普遍较慢。

基于上述方法，目前已经提出了新的方案，这种方案采用了上述第二和第三种方法相结合的技术路线，先采用运动检测获取候选入侵目标，然后采用目标检测器对候选入侵目标进行精确分类和定位。但是，这种方案同样对监控摄像机的分辨率有一定要求，在没有安装高清监控摄像机的情况下，无法为用户提供高质量的入侵目标信息。

实际上，不仅仅是入侵监控系统，在其他很多应用场景下，都存在检测目标对象并针对目标对象生成图像的需求，但是，因为上述已有方案受到摄像头的分辨率和成本等因素的限制，所以无法提供所需的信息，进而导致上述需求无法有效满足。

发明内容

针对相关技术中在生成目标图像时无法兼顾成本和质量、以及处理速度较慢的问题，本发明提出了一种目标图像的生成方法和装置、以及视频监控系统，能够快捷、准确地生成目标对象的图像，并且无需借助于高成本的高清摄像头。

为了实现上述目的，根据本发明的实施例，提供了一种目标图像的生成方法。根据本发明的目标图像的生成方法包括：对于包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧的置信度；根据多个图像帧和每个图像帧的置信度，生成目标对象的图像。

根据本发明的实施例，还提供了一种目标图像的生成装置。根据本发明的目标图像的生成装置包括：确定模块，用于对包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧置信度；生成模块，用于根据多个图像帧和每个图像帧的置信度，生成目标对象的图像。

根据本发明的实施例，还提供了一种视频监控系统。根据本发明的视频监控系统包括：图像采集设备，用于获取图像帧；确定模块，用于对包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧置信度；生成模块，用于根据多个图像帧和每个图像帧的置信度，生成目标对象的图像；输出模块，用于将生成的图像作为监控结果输出。

本发明通过对多个图像帧确定置信度，并根据置信度来生成目标对象的图像，由于多个图像帧对最终结果的影响取决于各自的置信度，因此，即使获取图像帧的图像采集设备的分辨率较低，也能够通过合理的方式综合多个帧的图像，得到更加准确、分辨率更高的结果，避免了图像的获取依赖于高分辨率设备的问题，并且，本发明的技术方案无需复杂计算，因此处理效率较高，适用于通过离线和在线方式生成图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的目标图像的生成方法的流程图；

图2是将根据本发明实施例的目标图像的生成方法用于入侵目标检测的处理流程图；

图3是根据本发明实施例的目标图像的生成装置的框图；

图4是实现本发明技术方案的计算机的示例性结构框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

根据本发明的实施例，提供了一种目标图像的生成方法。

如图1所示，根据本发明实施例的目标图像的生成方法包括：

步骤S101，对于包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧的置信度；

步骤S103，根据多个图像帧和每个图像帧的置信度，生成目标对象的图像。

在一个实施例中，在根据多个图像帧的置信度生成目标对象的图像时，其生成的方式可以理解为进行加权求和运算，而每个图像帧的置信度可以认为是求和运算当中相应图像帧所对应数据的权值。

所以，对于反应目标对象真实性较好的图像帧，可以配置较高的置信度(分配较大的权值)，对于反应目标对象真实性较差的图像帧，可以配置较低的置信度(分配较小的权值)，这样，置信度较高的图像帧就会对得到的结果产生更大的影响，而置信度较低的图像帧会对得到的结果产生更小的影响，从而使得到的目标对象的图像更加真实。

在生成图像时，即使采集图像帧的设备性能一般，但是本发明的上述技术方案能够将多个图像帧合理利用，从而使得生成的图像具有较高的清晰度，并且具有更高的准确性。

在生成目标对象的图像时，可以先根据至少两个图像帧得到目标对象的图像，作为一个初步的结果，之后根据其他的图像帧和该初步结果得到目标对象的图像(可以理解为对初步结果进行更新)。在一个实施例中，可以通过在线更新的方式得到目标对象的图像，例如，可以根据T1时刻获取的图像帧F1、和T1时刻之后的T2时刻获取的图像帧F2得到初步结果R1，之后可以根据T2时刻之后的T3时刻获取的图像帧F3与R1得到更新后的结果R2。对于之后获取的其他图像帧，同样可以根据图像帧的获得时间，逐个根据图像帧与之前得到的结果生成新的结果，即，对目标对象的图像不断更新。并且，在每次更新时，既可以使用一个图像帧，也可以使用多个图像帧。另外，结果R1也可以根据3个或更多的图像帧得到。在每次更新时，都应当考虑图像帧所对应的置信度。

在另一实施例中，还可以直接根据多个图像帧得到目标对象的图像。例如，以离线更新方式生成目标对象的图像时，已经获得了包含目标对象的图像帧，此时可以根据这些图像帧和相应的置信度直接得到目标对象的图像。

实际上，在线更新方式和离线更新方式可以组合使用，图像帧的获取时间和每次生成或更新目标对象的图像时所使用的图像帧的数量也可以根据实际需要来调整。例如，当通过在线更新方式得到了目标对象的图像之后，如果之后又获取了包含目标对象的图像帧，则可以通过离线更新方式对之前通过在线更新方式得到的图像进行更新。相反，通过在线更新方式也可以对离线方式得到的图像进行更新，这里不再重复。

另外，图像帧的获得时间(输入时间)并没有特别限定，实际上，在有需要的情况下，任何时刻输入的包含目标图像的图像帧都可以用于对目标对象的已有图像进行更新。

在一个可选的实施例中，为了进一步提高生成的图像的准确度，对于每个图像帧，可以以预定方式将该图像帧中的目标对象划分为多个部分；并且，在确定每个图像帧的置信度时，根据该图像帧中目标对象的每个部分反映目标对象相应部分的真实性的程度，确定该图像帧的每个部分的置信度。并且，在根据多个图像帧和每个图像帧的置信度生成目标对象的图像时，根据多个图像帧中目标对象的每个部分的置信度，生成目标对象相应部分的图像。例如，可以将每个图像帧中的目标对象分为部分A、部分B和部分C，在一个图像帧F1中，部分A更加真实的反映了目标对象，相应的，其置信度较高，而部分B和C较为模糊，因此，部分B和部分C对应的置信度较低；而在另一个图像帧F2中，部分A较为模糊，而部分B和C的置信度较高。在根据图像帧F1和F2得到的目标对象的图像中，目标对象的部分A受图像帧F1中部分A的影响较大，更加接近真实的目标对象，而目标对象的部分B和C则更多受图像帧F2中部分B和部分C的影响，更加接近真实的目标对象，也就是说，最终得到的结果，部分A、B和C都能够更加接近真实情况。

此外，为了提高最终输出结果的清晰度，在生成目标对象的图像时，可以借助于参考图像。参考图像可以是预先配置或训练完成的一般性图像，并且可以是一类对象的通用图像，例如，当目标对象为人头部时，在针对人头部生成图像时，采用的参考图像可以是人头部的图像，并且具有人头部所具有的平均或典型特征。在生成目标对象的图像时，可以根据多个图像帧与参考图像进行生成，并且，同样可以直接采用多个图像帧与参考图像生成目标对象的图像，也可以先采用部分图像帧与参考图像生成初步结果，之后再用其他图像帧对该初步结果进行更新。在生成目标对象的图像时，对于参考图像可以预先配置一个适当的置信度。同样地，置信度较高的图像帧会对生成的目标对象的图像产生较大影响(即，最终生成的图像将较为接近置信度较高的图像帧中的目标对象)，如果所有图像帧的置信度都比较低，则得到的目标对象的图像将与参考图像中的目标对象较为接近，同时也会受到获取的图像帧的较少影响，在一定程度上具有图像帧中目标对象的特征。

在采用参考图像生成目标对象的情况下，同样可以对参考图像中的目标对象划分为多个部分，相应地，对获取的图像帧同样进行划分，并对划分的每个部分分别确定置信度，并按照之前所描述的类似方式得到目标对象的图像。另外，在采用参考图像生成目标对象的情况下，同样可以采用上述在线更新方式和/或离线更新的方式，不断完善目标对象的图像，也可以一次性直接使用多个图像帧直接与参考图像进行计算，得到目标对象的图像。

在一个实施例中，参考图像可以具有较高的分辨率，这样就能够使生成的目标对象的图像同样具有较高的分辨率。在一个可选实施例中，参考图像可以包括超分辨率模型，从而显著提高输出结果的分辨率。

另外，对于每个图像帧，其置信度可以根据很多因素确定，例如，可以根据获取图像帧时的光照情况，或图像帧中的目标对象是否正在快速运动或抖动等。可选地，为了使得置信度的确定更加方便，可以根据该图像帧中目标对象的朝向和采集该图像帧的图像采集设备的朝向，确定该图像帧反应目标对象真实性的程度。具体地，当一个图像帧中的目标对象基本正面朝向图像采集设备时，可以认为该图像帧中的目标对象与实际的目标对象比较接近，很好地反应目标对象的真实性，对于该图像帧可以分配较高的置信度；当一个图像帧中的目标对象的侧面朝向图像采集设备时，可以认为该图像帧中的目标对象与实际的目标对象的接近程度一般，只是较好地反映了目标对象的真实性，因此，可以对该图像帧分配适中或较低的置信度。具体地，可以根据目标对象的朝向与图像采集设备的朝向之间的夹角大小来确定该图像帧对应的置信度。

此外，在不断更新已有目标对象的图像过程中，可以在每次对已有结果进行更新之后，判断是否有必要继续对已有结果进行更新。假设当前用置信度较高的图像帧对已有结果进行了更新，得到的更新后的图像与该置信度较高的图像帧具有很高的相似度(例如，两者的相似度大于预定相似度阈值)，则可以认为当前更新后的图像已经满足要求，将当前得到的图像作为结果输出，以便后续进行图像分析、识别或其他用途。另外，当通过在线更新方式对目标对象的图像进行更新时，如果在连续的多个图像帧(其数量可以根据需要来设定)中均不存在目标对象，则同样可以停止更新，并且将当前得到的图像作为结果输出。

此外，当以在线更新方式对目标对象的图像进行更新时，可以首先获取k个图像帧，根据k个图像帧(或进一步根据参考图像)得到目标对象的图像，然后，根据之后获得的另外k个图像帧(每个图像帧同样具有相应的置信度)对之前得到的目标对象的图像进行更新，以此循环。另外，k的数值可以是常数，也可以根据实际需要进行调整，例如，如果根据前k个图像帧得到的目标对象的图像已经与置信度较高的图像帧具有较高相似度，则可以修改k的数值，使得后续每次获取较少的图像帧更新已有结果，以便降低处理的复杂度，缩短处理时间。

根据本发明的技术方案可以结合其他多种技术，应用于多种场景，例如，可以结合目标对象检测和跟踪技术，将本发明的技术方案应用于安防监控系统，离线生成被监控到的某个对象的图像；另外，也可以将本发明的技术方案应用于入侵检测系统，从而以在线方式生成并不断更新入侵目标的图像。并且，本发明的技术方案能够对多种类型的目标对象进行图像生成，目标对象包括但不限于人的全身、人的头部(脸部)、车辆整体、车辆的部分(例如，车牌等)或者其他物体等。

下面将以对入侵目标进行检测为例，描述本发明的技术方案。

在进行入侵检测时，实施步骤主要包括：

步骤1，获取监控摄像机的信息，例如，可以获取监控摄像机的拍摄方向(可用于确定图像帧的置信度)和监控区域；或者，也可以直接接收输入的视频或图像序列，并在视频或图像序列中标出监控区域；

步骤2，通过运动检测和目标检测，获取入侵目标的初始位置(例如，可以通过计算得到)；

步骤3，利用运动跟踪技术和目标检测技术对入侵目标进行跟踪，并获取其在监控区域中的图像序列；

步骤4，利用离线学习获得的超分辨率模型，对跟踪获得的图像序列信息对监控目标进行高清化处理(即，采用多个图像帧构成的图像序列以及高清化参考图像得到目标的高清图像)；

步骤5，获取高清化的入侵目标信息及其对应的视频序列信息，即，得到了高清化入侵目标的结果图像；该结果图像既可以作为最终结果输出，也可以用运动跟踪得到的该入侵目标的其他图像序列进行进一步更新。

另外，在上述处理过程中，还可以根据监控场景采用的监控摄像头信息设置更新的频率和幅度。

在实际应用中，可以根据实际设置的情况，针对目标对象的脸部或全身生成图像，并对图像进行高清化处理。

下面将以人入侵检测并输出高质量入侵者正面脸部图像为例阐述本发明的实施方式。

如图2所示，采集入侵者正面脸部图像的过程具体包括以下步骤：

S201，摄像机信息获取。在该步骤中，获取系统中的监控摄像机的机内参数和拍摄方向，并标出监控区域；如果输入为监控视频序列，则估计监控摄像头的拍摄方向并在视频起始帧中标出监控区域；

其中，监控摄像机的拍摄方向可表示为：CAM_ORI，(0°≤CAM_ORI≤180°)；

监控摄像机的监控区域表示为：CAM_ROI＝(roi_x,roi_y,roi_width,roi_height)；

视频序列中的第i帧表示为：frame_i。

S202，获取入侵目标初始位置。对监控摄像机的视频序列进行运动检测，并获得frame_i中的运动目标区域。运动目标区域的计算方法可采用帧间差方法、背景差分法或者光流法等多种方法。然后，使用基于学习的目标检测器(此处为人脸检测器)对运动区域进行目标检测，从而获取frame_i中入侵目标的初始位置以及范围(例如，可以通过矩形或其他形状的框在frame_i中进行标注)。

其中，监控区域中的第i个入侵目标可表示为：Objⁱ；

Objⁱ的初始位置表示为：Pos_i＝(px,py)；

其中，roi_x<px<roi_x+roi_width,roi_y<py<roi_y+roi_height；

Objⁱ的初始范围表示为：A_i＝(w_i,h_i)；

其中，0<w_i<roi_width,0<h_i<roi_height。

S203，运动跟踪及获取入侵目标图像序列。基于步骤S202中获取的入侵目标Objⁱ初始位置和范围对Objⁱ进行运动追踪。运动追踪可以采用卡尔曼滤波器，粒子滤波器或者二者结合的方法实现。通过运动追踪，提取Objⁱ在时间t内的K帧图像序列输入后续步骤。

通过追踪获取的入侵目标图像序列表示为：{frame_i，…，frame_i+K}；

其对应的入侵目标序列表示为：{Objⁱ ₁，…，Objⁱ _1+K}。

S204，估计入侵目标运动方向。基于入侵目标图像序列计算Objⁱ的运动信息。运动信息的计算方法可采用运动矢量法，光流估计法或者运动历史信息法。然后基于运动信息采用主成分分析法或者投票法对入侵目标的运动信息主方向做出统计，从而估计其运动方向。

其中，入侵目标的运动方向表示为：Objⁱ_ORI，(0°≤Objⁱ_ORI≤180°)。

这里，可以通过投票法估计运动方向指的施统计运动信息中的所有运动方向，将出现次数最多的方向确定为主方向。

S205，更新高清化入侵目标图像。由于人在行走时正面人脸朝向和人体运动方向基本时一致的，所以本发明将步骤S204中估计的入侵目标运动方向直接作为正面人脸的朝向。根据监控摄像机拍摄角度CAM_ORI和人脸朝向Objⁱ_ORI计算其夹角Δθ。然后计算入侵目标人脸图像序列对于更新高清化入侵目标正面人脸图像的更新置信度λ_k，其中，1≤k≤K。

高清化的入侵目标正面人脸图像表示为：Objⁱ_HD_IMGAGE；

更新置信度的计算方法为：其中，Z_λ＝∑λ_k，λ≥1。

可选地，可以采用基于马尔可夫模型或者拉普拉斯金字塔分解等算法离线学习获得超分辨率人脸模型，之后可使用超分辨率人脸模型和入侵目标图像序列在线更新高清化的入侵目标图像。

高清化的入侵目标图像的更新计算方式为：

Objⁱ_HD_IMGAGE’＝Objⁱ_HD_IMGAGE+λ_k Objⁱ _1+k。

S206，获取高清化入侵目标结果图像。计算当前高清化入侵目标正面人脸图像Objⁱ_HD_IMGAGE和Objⁱ_HD_IMGAGE’的相似度d。当相似度d小于高清化阈值T时(说明当前的结果图像足够准确)，则结束高清化在线更新并将获得的高清化入侵目标正面人脸图像保存或者发送给用户。

其中，相似度d的计算方法如下：

首先，获取步骤S202中检测人脸时使用的特征信息，之后，分别计算Objⁱ_HD_IMGAGE和Objⁱ_HD_IMGAGE’的对应特征值；

基于特征值，可以采用Bhattacharyya距离：或者χ²距离：获得两个对象H^A、H^B之间的相似度d。

可以看出，在本发明的该实施例中，先使用运动检测和目标检测结合的方式获取入侵目标的初始位置信息，然后采用运动跟踪技术获取入侵目标图像序列，然后，基于超分辨率模型和入侵目标图像序列，在线更新输出给用户的高清化入侵目标图像。并且，本发明的该实施例可采用持续采集入侵目标信息和超分辨率模型相结合的方式，最大限度的提升输出给用户的入侵目标图像的清晰度，使得用户在无需使用高清监控摄像机的情况下获取高清化的入侵目标图像。并且，该实施例中所提供的目标检测器和超分辨率模型，能够支持对不同的感兴趣目标样本进行离线学习，从而实现多种感兴趣入侵目标检测方法和系统的搭建，例如动物和车辆等。

根据本发明的实施例，还提供了一种目标图像的生成装置。

如图3所示，根据本发明实施例的目标图像的生成装置包括：

确定模块31，用于对包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧置信度；

生成模块32，用于根据多个图像帧和每个图像帧的置信度，生成目标对象的图像。

可选地，该装置还可以包括：

划分模块(未示出)，用于对每个图像帧，以预定方式将该图像帧中的目标对象划分为多个部分；并且，确定模块31用于在确定每个图像帧的置信度时，根据该图像帧中目标对象的每个部分反映目标对象相应部分的真实性的程度，确定该图像帧的每个部分的置信度。

并且，生成模块32可用于在根据多个图像帧和每个图像帧的置信度生成目标对象的图像时，根据多个图像帧中目标对象的每个部分的置信度，生成目标对象相应部分的图像。

在生成目标对象的图像时，生成模块32可以先根据至少两个图像帧得到目标对象的图像，作为一个初步的结果，之后根据其他的图像帧和该初步结果得到目标对象的图像(可以理解为对初步结果进行更新)。在一个实施例中，可以通过在线更新的方式得到目标对象的图像。在另一实施中，可以通过离线更新的方式得到目标对象的图像。在再一个实施例中，可以结合在线更新方式和离线更新方式来对目标对象的图像进行更新。并且，在每次更新得到目标对象的图像时，所使用的图像帧的数量可以是一个或多个，并且更新的次数可以是零次(直接通过多个图像帧一次性得到目标对象的图像作为结果输出)也可以是至少一次。

例如，当通过在线更新方式得到了目标对象的图像之后，如果之后又获取了包含目标对象的图像帧，则可以通过离线更新方式对之前通过在线更新方式得到的图像进行更新。相反，通过在线更新方式也可以对离线方式得到的图像进行更新，这里不再重复。

另外，对于用于生成目标对象图像的图像帧，其获得时间(输入时间)并没有特别限定，实际上，在有需要的情况下，任何时刻输入的包含目标图像的图像帧都可以用于对目标对象的已有图像进行更新。

此外，生成模块32可用于根据多个图像帧和预定的参考图像生成目标对象的图像。参考图像可以是预先配置或训练完成的一般性图像，并且可以是一类对象的通用图像，例如，当目标对象为人头部时，在针对人头部生成图像时，采用的参考图像可以是人头部的图像，并且具有人头部所具有的平均或典型特征。可选地，上述参考图像可以包含超分辨率模型。

此外，对于每个图像帧，确定模块31可用于根据该图像帧中目标对象的朝向和采集该图像帧的图像采集设备的朝向，确定该图像帧反应目标对象真实性的程度。

此外，根据本发明实施例的目标图像的生成装置同样能够按照之前所描述的流程进行处理。并且，该装置能够应用于多种场景中(例如，入侵监控系统)，用于对人、车辆或其他物体进行监控并获取更加清晰、准确的图像，这里不再重复。

根据本发明的实施例，还提供了一种视频监控系统。

该视频监控系统包括用于获取图像帧的图像采集设备；

确定模块，用于对包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧置信度；

生成模块，用于根据多个图像帧和每个图像帧的置信度，生成目标对象的图像；

输出模块，用于将生成的图像作为监控结果输出。

其中，借助于本发明的上述系统，能够直接对采集的图像帧进行处理，最终输出监控结果，输出模块可以是显示器，将该结果显示输出，输出模块也可以连接存储器和/或分析系统，进而将该结果保存并进行分析。因此，根据本发明的上述系统能够直接根据图像采集设备得到的图像帧生成用户可以直接使用的监控结果(例如，高清图像)，有效提高了监控的效果和准确性，并且不会增加成本。

该系统可以进一步包括：划分模块，用于对每个图像帧，以预定方式将该图像帧中的目标对象划分为多个部分；并且，上述确定模块用于在确定每个图像帧的置信度时，根据该图像帧中目标对象的每个部分反映目标对象相应部分的真实性的程度，确定该图像帧的每个部分的置信度。

此外，生成模块用于根据多个图像帧和预定的参考图像生成目标对象的图像。

此外，生成模块根据多个图像帧中的至少一个图像帧与参考图像生成目标对象的图像，并在获取了多个图像帧中的其他图像帧的情况下，根据其他图像帧对已生成的图像进行更新。

另外，该系统可以进一步包括：判断模块，用于在生成图像或每次更新图像的情况下，判断生成的或更新后的图像中的目标对象与置信度高于预定置信度阈值的图像帧中的目标对象的相似度是否大于预定相似度阈值；并且，输出模块用于在判断结构为是的情况下，将当前生成或更新后的图像作为结果输出。

其中，在该系统中，确定模块、生成模块、输出模块、划分模块与之前所描述的装置中的相应模块功能对应，这里不再一一重复。

综上所述，借助于本发明的技术方案，通过对多个图像帧确定置信度，并根据置信度来生成目标对象的图像，由于多个图像帧对最终结果的影响取决于各自的置信度，因此，即使获取图像帧的图像采集设备的分辨率较低，也能够通过合理的方式综合多个帧的图像，得到更加准确、分辨率更高的结果，避免了图像的获取依赖于高分辨率设备的问题，并且，本发明的技术方案无需复杂计算，因此处理效率较高，适用于通过离线和在线方式生成图像。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图4所示的通用计算机400安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图4中，中央处理模块(CPU)401根据只读存储器(ROM)402中存储的程序或从存储部分408加载到随机存取存储器(RAM)403的程序执行各种处理。在RAM 403中，也根据需要存储当CPU 401执行各种处理等等时所需的数据。CPU 401、ROM 402和RAM 403经由总线404彼此连接。输入/输出接口405也连接到总线404。

下述部件连接到输入/输出接口405：输入部分406，包括键盘、鼠标等等；输出部分407，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分408，包括硬盘等等；和通信部分409，包括网络接口卡比如LAN卡、调制解调器等等。通信部分409经由网络比如因特网执行通信处理。

根据需要，驱动器410也连接到输入/输出接口405。可拆卸介质411比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器410上，使得从中读出的计算机程序根据需要被安装到存储部分408中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质411安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图4所示的其中存储有程序、与装置相分离地分发以向用户提供程序的可拆卸介质411。可拆卸介质411的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 402、存储部分408中包含的硬盘等等，其中存有程序，并且与包含它们的装置一起被分发给用户。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims

1.一种目标图像的生成方法，其特征在于，包括：

对于包含目标对象的多个图像帧中的每个图像帧，根据该图像帧反应目标对象真实性的程度，确定该图像帧的置信度；

根据所述多个图像帧和每个图像帧的置信度，生成所述目标对象的图像，其中，生成所述目标对象的图像的过程为加权求和运算，每个图像帧的置信度是相应图像帧所对应数据的权值；

对于每个图像帧，以预定方式将该图像帧中的目标对象划分为多个部分；

并且，在确定每个图像帧的置信度时，根据该图像帧中目标对象的每个部分反映目标对象相应部分的真实性的程度，确定该图像帧的每个部分的置信度，其中，每个部分的置信度是相应部分所对应数据的权值。

2.根据权利要求1所述的生成方法，其特征在于，在根据所述多个图像帧和每个图像帧的置信度生成所述目标对象的图像时，根据多个图像帧中目标对象的每个部分的置信度，生成所述目标对象相应部分的图像。

3.根据权利要求1所述的生成方法，其特征在于，根据所述多个图像帧和每个图像帧的置信度，生成所述目标对象的图像包括：

根据所述多个图像帧、每个图像帧的置信度和预定的参考图像生成所述目标对象的图像。

4.根据权利要求3所述的生成方法，其特征在于，根据所述多个图像帧、每个图像帧的置信度和预定的参考图像生成所述目标对象的图像包括：

通过所述多个图像帧、每个图像帧的置信度和预定的参考图像直接得到所述目标对象的图像；或者

根据所述多个图像帧中的至少一个图像帧、所述至少一个图像帧的置信度与所述参考图像生成所述目标对象的图像，并根据所述多个图像帧中的其他图像帧对已生成的所述图像进行更新。

5.根据权利要求3所述的生成方法，其特征在于，所述参考图像包含超分辨率模型。

6.根据权利要求1所述的生成方法，其特征在于，对于每个图像帧，根据该图像帧中目标对象的朝向和采集该图像帧的图像采集设备的朝向，确定该图像帧反应目标对象真实性的程度。

7.根据权利要求1所述的生成方法，其特征在于，在生成的所述图像中的目标对象与置信度高于预定置信度阈值的图像帧中的目标对象的相似度大于预定相似度阈值的情况下，将所述图像作为结果输出。

8.根据权利要求1所述的生成方法，其特征在于，进一步包括：

获取包含目标对象的多个其他图像帧，根据所述多个其他图像帧对所述目标对象的图像进行更新，其中，每个图像帧的置信度取决于该图像帧反应目标对象真实性的程度，其中，所述多个其他图像帧的数量为常数或者为可变数值。

9.一种目标图像的生成装置，其特征在于，包括：

生成模块，用于根据所述多个图像帧和每个图像帧的置信度，生成所述目标对象的图像，其中，生成所述目标对象的图像的过程为加权求和运算，每个图像帧的置信度是相应图像帧所对应数据的权值；

划分模块，用于对每个图像帧，以预定方式将该图像帧中的目标对象划分为多个部分；

并且，所述确定模块用于在确定每个图像帧的置信度时，根据该图像帧中目标对象的每个部分反映目标对象相应部分的真实性的程度，确定该图像帧的每个部分的置信度，其中，每个部分的置信度是相应部分所对应数据的权值。

10.根据权利要求9所述的生成装置，其特征在于，所述生成模块用于在根据所述多个图像帧和每个图像帧的置信度生成所述目标对象的图像时，根据多个图像帧中目标对象的每个部分的置信度，生成所述目标对象相应部分的图像。

11.根据权利要求9所述的生成装置，其特征在于，所述生成模块用于根据所述多个图像帧、每个图像帧的置信度和预定的参考图像生成所述目标对象的图像。

12.根据权利要求11所述的生成装置，其特征在于，所述生成模块通过所述多个图像帧、每个图像帧的置信度和预定的参考图像直接得到所述目标对象的图像；或者

所述生成模块根据所述多个图像帧中的至少一个图像帧、所述至少一个图像帧的置信度与所述参考图像生成所述目标对象的图像，并根据所述多个图像帧中的其他图像帧对已生成的所述图像进行更新。

13.根据权利要求11所述的生成装置，其特征在于，所述参考图像包含超分辨率模型。

14.根据权利要求9所述的生成装置，其特征在于，对于每个图像帧，所述确定模块用于根据该图像帧中目标对象的朝向和采集该图像帧的图像采集设备的朝向，确定该图像帧反应目标对象真实性的程度。

15.一种视频监控系统，其特征在于，包括：

图像采集设备，用于获取图像帧；

输出模块，用于将生成的所述图像作为监控结果输出；

16.根据权利要求15所述的视频监控系统，其特征在于，所述生成模块用于根据所述多个图像帧、每个图像帧的置信度和预定的参考图像生成所述目标对象的图像。

17.根据权利要求16所述的视频监控系统，其特征在于，所述生成模块根据所述多个图像帧中的至少一个图像帧、所述至少一个图像帧的置信度与所述参考图像生成所述目标对象的图像，并在获取了所述多个图像帧中的其他图像帧的情况下，根据其他图像帧对已生成的所述图像进行更新。

18.根据权利要求17所述的视频监控系统，其特征在于，进一步包括：

判断模块，用于在生成所述图像或每次更新所述图像的情况下，判断生成的或更新后的所述图像中的目标对象与置信度高于预定置信度阈值的图像帧中的目标对象的相似度是否大于预定相似度阈值；并且，所述输出模块用于在判断结构为是的情况下，将当前生成或更新后的所述图像作为结果输出。