CN108921866A - 一种图像数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种图像数据处理方法，其中，该方法包括：终端通过监控摄像头获取视频流，并利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧，云端获取所述目标对象的属性信息，并根据获取的所述属性信息，确定所述目标图像帧的文本描述信息。本发明实施例采用边缘化计算和云计算相结合的图像数据处理方法，通过提取视频图像的文本描述信息，优化了视频图像不利于检索的问题。同时，结构化数据传输降低了对网络带宽的要求，提升了系统的计算分析能力。

Description

一种图像数据处理方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像数据处理方法及系统。

背景技术

科技飞速发展的今天，监控设备无处不在，根据IHS Markit的市场调查报告显示，中国2017年10月份中国公共场景的有1.76亿摄像头，2020年会增加到6.26亿，每秒钟产生的数据量是66TB。但是这些监控摄像头中带智能的摄像头很少，智能化程度非常低。这些传统安防设备产生的非结构化的数据，主要是威慑、侦查和事后取证的作用，很难做到事中分析以及事前预警。利用人工智能技术和计算机视觉技术将非结构化视频数据进行结构化处理，为大数据平台和数据挖掘系统提供数据基础，已经成为大势所趋。

例如，安防行业技术升级成智能安防系统的最大问题是所有视频数据都往云服务平台汇聚，随着人工智能技术的持续发展和对算法持续不断的优化，传输带宽和视频解码能力成为云服务平台智慧视频分析的性能瓶颈。现有的视频数据分析一般是通过视频分析技术与云计算技术相结合，往往通过摄像头采集视频数据，对采集到的视频图像进行压缩，并将图像存储在硬盘录像机、网络视频录像机或者存储网络区域等视频存储设备中，通过云计算对视频进行分析。

发明内容

有鉴于此，本发明的目的在于提供一种图像数据处理方法及系统，采用云计算和边缘计算融合的方式，缓解云端智能分析的计算压力，从而降低云端功耗以及散热的需求。

第一方面，本发明实施例提供了一种图像数据处理方法，其特征在于，包括：

终端通过监控摄像头获取视频流；

终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧；

云端获取所述目标对象的属性信息；

云端根据获取的所述属性信息，确定所述目标图像帧的文本描述信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧，包括：

终端对所述视频流进行图像边缘识别；

终端根据图像边缘识别的识别结果，获取包含所述目标对象的候选图像帧；

终端根据所述候选图像帧的量化指标，选择指定的候选图像帧作为目标图像帧；所述量化指标至少包括目标对象的尺寸、目标对象被遮挡的程度和目标对象的清晰度。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，步骤云端获取所述目标对象的属性信息，包括：

云端对所述目标图像帧进行预处理；所述预处理至少包括以下的一种或多种：图像二次取样、平滑去噪、提高图像对比度和调整尺度空间；

云端从经过预处理的所述目标图像帧中，确定目标对象的属性信息；所述目标对象的属性信息至少包括车辆属性信息、人物身份属性信息和人脸属性信息；

所述车辆属性信息包括以下信息中的一种或多种：至少包括车辆固有属性信息和车辆个性化信息；所述车辆固有属性信息至少包括车辆类型信息、车身颜色信息、车辆号码信息和车辆品牌型号信息；所述车辆个性化信息至少包括车内信息和驾驶员信息；

所述人物身份属性信息至少包括性别信息、着装信息、佩戴信息以及随身信息；

所述人脸属性信息至少包括表情信息、发型信息、年龄段信息、发色信息以及样貌信息。

结合第一方面的第一种可能的实施方式或第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，步骤获取所述目标对象的属性信息还包括：

云端将获取到的目标对象的车辆号码信息作为目标对象的属性信息；所述目标对象是车辆。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

云端根据所述目标对象的属性信息生成重认证特征码；所述重认证特征码用于表示目标对象在视频流的至少两个图像帧中出现；

云端为目标图像帧关联设置对应的重认证特征码；

在接收到用户所发出的第一搜索关键字后，根据第一搜索关键字与重认证特征码的关联关系，检索对应的目标图像帧。

云端根据重认证特征码，检索存储后的文本描述信息，以确定与重认证特征码相对应的目标图像帧。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：

在接收到用户所发出的第二搜索关键字，云端根据第二搜索关键字与文本描述信息的关联信息，检索对应的目标图像帧。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

云端根据目标对象的属性信息，进行数据挖掘，以获取不同目标对象的关联信息；

根据所述关联信息，生成关联信息的统计报表。

第二方面，本发明实施例还提供了一种图像数据处理系统，其特征在于，包括：数据采集模块、第一数据处理模块、第二数据处理模块和数据分析模块；

所述数据采集模块用于采集视频流；

所述第一数据处理模块用于通过边缘化计算分析所述视频流，以提取包含目标对象的目标图像帧；

所述第二数据处理模块用于对目标图像帧进行云计算处理，以获取目标对象的属性信息；

所述数据分析模块用于分析所述属性信息，以确定所述目标图像帧的文本描述信息。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述第一数据处理模块至少包括图像识别模块、图像择优模块；

所述图像识别模块用于对视频流进行图像边缘识别和分割，以提取目标对象的候选图像帧；

所述图像择优模块用于根据所述候选图像帧的量化指标，选择指定的候选图像作为目标图像帧；

所述第二数据处理模块至少包括图像预处理模块、图像信息提取模块；

所述图像预处理模块用于对目标图像帧进行预处理；

所述图像信息提取模块用于从经过预处理的所述目标图像帧中，确定目标对象的属性信息。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述系统还包括数据存储模块、数据检索模块和数据挖掘模块；

所述数据存储模块用于存储文本描述信息；

所述数据检索模块用于通过获取的搜索关键字，以检索对应的目标图像帧；

数据挖掘模块用于通过对目标对象的属性信息进行数据挖掘，获取不同目标信息的关联信息，以生成关联信息的统计报表。

本发明实施例提供的一种图像数据处理的方法及系统，终端通过监控摄像头获取视频流，终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧，云端获取所述目标对象的属性信息，云端根据获取的所述属性信息，确定所述目标图像帧的文本描述信息。本申请采用边缘计算和云计算相结合的方式，对视频流进行处理。通过将采集视频流和提取目标图像帧在终端通过边缘计算完成，同时，将获取目标图像帧中的目标对象的属性信息，以及对属性信息进行分析确定对应目标图像帧的文本描述信息通过云端完成。终端与云端之间传输结构化数据，以降低系统对网络带宽的需求(网络带宽受限时仅需传输结构化数据，原始视频图像数据按需调取)，降低云端计算视频解码的压力，降低云端智能分析的计算压力，从而降低云端功耗以及散热的需求。同时，提取视频图像的文本描述信息，并存储相应文本描述信息，优化了视频图像不利于检索的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种图像数据处理方法的基础流程图；

图2示出了本发明实施例所提供的一种图像数据处理方法的第一种优化流程图；

图3示出了本发明实施例所提供的一种图像数据处理方法的第二种优化流程图；

图4示出了本发明实施例所提供的一种图像数据处理系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，安防行业技术升级成智能安防系统的最大问题是所有视频数据都往云端汇聚，传输带宽和视频解码能力成为云端智慧视频分析的性能瓶颈。在云端分析少量视频的难度不大，但当视频路数剧增、视频图像数据量不断增加时，云端分析的视频解码、功耗散热、网络带宽等是无可避免的问题，这已经成为智慧视频分析技术大规模应用的障碍。

针对上述情况，本发明实施例提供了一种图像数据处理方法，如图1所示，包括如下步骤：

S101，终端通过监控摄像头获取视频流；

S102，终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧；

S103，云端获取所述目标对象的属性信息；

S104，云端根据获取的所述属性信息，确定所述目标图像帧的文本描述信息。

本方案提出了一种图像数据处理方法，其中，终端是指终端设备，是计算机网络中处于网络最外围的设备，主要用于用户信息的输入以及处理结果的输出等，这里就是指视频采集的边缘端。在云端的一系列分析是通过互联网来提供动态易扩展并且虚拟化的资源来对视频图像帧进行分析。在本申请中，S101是终端进行数据采集的具体执行步骤。通过监控摄像头获取视频流是最直接的视频采集方式。另外，数据采集还可以通过其它的视频采集设备，如摄像机和硬盘录像机等，从加油站、停车场、卡口相机、道路监控等设备中获取视频流数据。终端对视频的采集可以是如下所述的过程：通过摄像机等前端设备及其配套设备，如摄像机电源、支架、镜头、解码器等，将采集的视频流传输到录像存储系统。其中，传输系统包括传输设备和传输线缆，传输设备可以包括视频复用器、双绞线传输器、数字视频光端机等，录像存储系统包括嵌入式数字硬盘录像机、嵌入式网络硬盘录像机、集中存储服务器、监控专用硬盘等。

在获取到视频流后，进行如S102步骤中的处理。利用边缘化计算的方式，从视频流中提取包含目标对象的目标图像帧。这里的目标对象是感兴趣目标，包括但不限于行人、非机动车、机动车、人脸等。S102步骤也被称为一级结构化，通过边缘化计算，在采集到的视频流里对图像进行检测、识别、跟踪、择优和去重等步骤，最后获取目标对象的目标图像帧。对获取的目标图像帧进行如S103的处理，S103的步骤也被称为对目标图像帧的二级结构化处理，二级结构化在一级结构化提取出的目标图像帧上提取目标对象的多种详细属性信息，包括但不限于性别、年龄、品牌型号年款、颜色等。最后如步骤S104，根据获取的属性信息，确定所述目标图像帧的文本描述信息。文本描述信息是对目标对象的各种属性的一个文字化描述，是以文字的形式记载图像中目标对象的属性信息。如，目标图像帧中记载的图像是一个黑长发的中年女人，穿着黑色上衣和外套，脚穿红色运动鞋，戴墨镜。那么基于以上图像信息，最后得到的文本描述信息至少应当包含：女性，中年，黑色头发，长头发，黑色上衣，黑色外套，红色运动鞋，带黑色墨镜。

具体的，对步骤S102进行细化，如图2所示，终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧，具体的步骤包括：

S1021，对视频流进行图像边缘识别；

S1022，根据图像边缘识别的识别结果，获取包含所述目标对象的候选图像帧；

S1023，根据所述候选图像帧的量化指标，选择指定的候选图像帧作为目标图像帧。

步骤S1021到S1023过程的主要工作是在视频流中，对目标对象进行检测和识别，目标对象包括但不限于自行车、两轮摩托车、三轮摩托车、轿车、面包车、卡车、大型客车、行人、人脸等。

步骤S1021中，利用图像边缘检测算法，将待检测目标图像的当前像素与相邻的下部和右部的像素进行比较，如果与这两个像素点都相似，就将当前的像素设置为黑色，如果与这两个像素点都不相似，就将当前的像素设置为白色，或者其它中间色，然后判断像素是否相似，获取目标图像中的目标对象的边缘。图像边缘的确定还可以使用其它边缘检测的算法，如小波变换、小波包的边缘检测等，基于数学形态学、模糊理论和神经网络的边缘检测算法等。

步骤S1022中，对S1021利用图像边识别的识别结果，分析处理得到包含目标对象的候选图像帧。候选图像帧包含多幅图像帧，这些图像帧是从视频流中分解出的每一帧图像帧中选取的。

步骤S1023是对经过S1021得到的候选图像帧进行择优，选取其中指定的候选图像帧为输出给云端的目标图像帧。择优的过程是根据候选图像帧的量化指标进行筛选，是对目标对象的候选图像帧进行质量评价，量化指标至少包括目标对象的尺寸、目标对象被遮挡的程度和目标对象的清晰度等。在评价标准中，目标对象的尺寸大小应达到可以清楚识别的程度，目标对象被遮挡的程度越小，评分应当越高，目标对象显示的越清楚，则相应评分也应当越高。对候选图像帧进行综合考量，根据择优过程中对目标对象在时间序列中的评分，选择时间序列中得分最高的目标图像帧作为该目标对象的一次结构化结果，即抓拍结果，分数越高越适合后续分析。

具体的，对步骤S103进行细化，如图3所示，云端获取所述目标对象的属性信息，具体的步骤包括：

S1031，对所述目标图像帧进行预处理；

S1032，从经过预处理的所述目标图像帧中，确定目标对象的属性信息。

步骤S1031中，对目标图像帧进行预处理，使后续分析目标图像帧中的目标对象的属性信息更加方便。预处理的方法至少包括图像二次取样、平滑去噪、提高图像对比度和调整尺度空间等处理方法。对目标图像帧进行图像二次采样主要是为了避免在加载图片时出现OOM(Out Of Momory)异常,即内存耗尽。图像去噪是指减少数字图像中噪声的过程称为图像去噪。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像，而噪声是图象干扰的重要原因。提高图像对比度使图像显示更丰富，生动，便于识别。调整尺度空间是为了在一系列的空间尺度上提取一幅图像的空间信息，从而得到从小区域的细节到图像中大的特征信息。

通过步骤S1032，对预处理后的目标图像帧提取其中关于目标对象的属性信息。可以利用计算机进行目标对象的属性信息提取，决定每一个图像是否属于一个图像特征，并将图像上不同的点区分为不同的子集，这些子集通常属于孤立的点，连续的曲线或者连续的区域。对图像特征的检测方法包括基于模板的方法、基于边缘的方法、基于灰度的方法和基于空间变换的方法。

目标对象的属性信息至少包括车辆属性信息、人物身份属性信息和人脸属性信息。

车辆属性信息包括以下信息中的一种或多种：至少包括车辆固有属性信息和车辆个性化信息。车辆固有属性信息是指车辆本身的属性信息，这些属性信息一般不会在短时间内改变。车辆固有属性信息至少包括车辆类型信息、车身颜色信息、车辆号码信息和车辆品牌型号信息。车辆类型信息至少包括21类，如轿车、小型货车、大型货车、轻客、小型客车、大型客车、面包车、皮卡车、越野车、商务车、挂车、混凝土搅拌车、罐车、随车吊、消防车、渣土车、押运车、工程抢修车、救援车、栏板卡车和三轮车等。车身颜色信息至少包括黑、白、银、灰、青、蓝、绿、黄、金、红、紫、粉和棕色等。车辆品牌型号信息分为车头信息和车尾信息，其中车头信息至少有5500中，车尾信息至少有3500种。车辆号码信息包括号牌颜色信息和号牌类型信息，其中，号牌颜色信息至少包括蓝、黄、白、黑和绿色，号牌类型信息至少包括澳门出境车，大型汽车、教练汽车、警用汽车、军队汽车、外籍汽车、香港入出境车和小型汽车等。

与车辆固有属性相对应的是车辆个性化信息，车辆个性化信息至少包括车内信息和驾驶员信息；车辆个性化信息是指车辆在使用过程中产生的短时间内可能会改变的信息，比如，车辆的驾驶员信息，可以在车辆的使用过程中随时变动。驾驶员信息包括驾驶员是否打电话和主副驾驶人员是否系安全带等。车内信息至少包括车辆年检标、遮阳板、挂坠、摆件、纸巾盒、天窗、行李架、备胎、撞损痕等。在识别车辆号码信息时除了车牌上的字符信息，还会识别车牌颜色信息和号牌类型信息。

针对目标图像帧中的非机动车类型，即行人、自行车、摩托车和三轮摩托车主要关注对象是其中的人物身份信息。

对人物身份属性信息的提起至少包括性别信息、着装信息、佩戴信息以及随身信息。着装信息至少包括上下身着装的颜色、纹理、款式、类型和是否戴眼镜、口罩、帽子等装饰品等。随身信息至少包括是否打雨伞、抱小孩、拉行李箱、背包、拎包等。

人脸属性信息至少包括表情信息、发型信息、年龄段信息、发色信息以及样貌信息。年龄段信息至少包括小孩、青年、中年、老年等。发型信息至少包括头发长或者短。表情信息至少包括喜、怒、哀、乐等。样貌信息至少包括是否有胡须等。为了保证识别的准确率，在年龄识别的时候不会考虑识别多少岁，而是识别年龄段，以提高识别准确率。

将获取到的目标对象的车辆号码信息作为目标对象的属性信息，这里的目标对象指的是车辆。为了克服假牌车和套牌车对车辆识别的影响，云端计算的过程中给每辆车赋予唯一标识，并将这个唯一标识也作为目标队形的属性信息。在识别车辆品牌型号信息时会将相同外观的车辆进行合并，同时将车头和车尾信息进行区分，以实现360°全视角的车辆品牌型号年款的识别。

云端根据所述目标对象的属性信息生成重认证特征码，重认证特征码用于表示目标对象在视频流的至少两个图像帧中出现，为目标图像帧关联设置对应的重认证特征码。重认证特征码用于跨境头追踪、以图搜图、行驶轨迹复现。其中，跨镜头追踪主要解决跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的穿着、体态、发型等信息认知行人，与人脸识别结合能够适用于更多新的应用场景。当行人的穿着多样，同一人穿不同的衣服，不同的人穿相似的衣服，通过跨镜头追踪，可以迅速准确的判断出上述信息。以图搜图是通过搜索图像文本或者视觉特征，为用户提供互联网上相关图形图像资料检索服务的专业搜索引擎系统，是搜索引擎的一种细分。通过输入与图片名称或内容相似的关键字来进行检索，另一种通过上传与搜索结果相似的图片或图片URL进行搜索。本身请得到的文本描述信息中还包含着对应的目标图像帧。行驶轨迹复现是复原车辆的行驶过程，通过判断多个图像帧中放入目标车辆，复现其行驶轨迹。当输入重认证特征码，就可以检索到在视频流中的至少出现过两次的关于目标对象的目标图像帧。

同样，在接收到用户所发出的第一搜索关键字后，云端根据第一搜索关键字与重认证特征码的关联关系，检索对应的目标图像帧。用户可以根据第一搜索关键字与重认证特征码的关联关系，只搜索第一搜索关键字，就得到与它相关联的重认证特征码，以搜索到对应的目标图像帧。第一搜索关键字可以是重认证特征码表述信息中的一部分。根据重认证特征码，检索存储后的文本描述信息，以确定与重认证特征码相对应的目标图像帧。

另外，用户也可以直接发出第二搜索关键字，根据第二搜索关键字与文本描述信息的关联信息，检索对应的目标图像帧。第二搜索关键字可以是文本描述信息中的内容或关键点。

本申请图像数据处理方法中各步骤的计算模式，其中，提取目标对象的目标图像帧(即一级结构化)需要在输入视频流的连续帧中检测感兴趣目标，并对感兴趣目标进行跟踪、择优、去重等操作，该操作计算量固定、检测目标相对固定、算法模型数量相对较少、计算密度相对较大，该模块对计算实时性要求较强，如果无法再规定时间内完成计算，则会造成丢帧或堵塞；

获取属性信息(即二级结构化)是在一级结构化抓拍目标图的基础上进行详细属性分析，因为一级结构化具有择优去重操作，因此二级结构化所处理的对象是相对离散的抓拍图像，但是每个目标图像需要进行多维尺度分析，每种属性分析都需要相应的算法模型，而且分析属性的种类和数量与业务强相关，该部分计算对实时性要求不高，一般只需要平均处理时间满足应用需求即可。

根据前述的图像数据处理方法，本申请还提供一种与上述方法对应的图像数据处理系统。如图4所示，图像数据处理系统包括数据采集模块301、第一数据处理模块302、第二数据处理模块303和数据分析模块304，数据采集模块301用于采集视频流，第一数据处理模块302用于通过边缘化计算分析视频流，以提取包含目标对象的目标图像帧，第二数据处理模块303用于对目标图像帧进行云计算处理，以获取目标对象的属性信息，数据分析模块304用于分析属性信息，以确定目标图像帧的文本描述信息。

如在车辆与行人的事故中，首先通过事故现场的摄像头采集到的视频流，在终端直接对视频流进行处理，从视频流中提取到包含事故车辆的目标图像帧，和包含行人的视频图像帧。将终端获取的目标图像帧上传到云端，由云端进行分析获取事故车辆的属性信息，包括车身是黑色，小轿车，车牌号为京AXXXXX,品牌为大众。车内驾驶员为男性，事故发生时未系安全带，并在打电话。同时，也在视频流中提取包含事故中行人的目标图像帧，行人为青年女性，黑色短发，左手牵小男孩，身着红色连衣裙。云端为识别到的目标车辆的车牌京AXXXXX添加唯一标识，并且在其它包含该车辆或者行人的图像帧中添加重认证识别码。最后，云端存储包含该车辆和行人的目标图像帧以及对应的文本描述信息。文本描述信息中至少包含以下信息：小型轿车，大众，黑色，京AXXXXX，号牌颜色为蓝色，驾驶员未系安全带，驾驶员在打电话，车辆年检标的内容，车窗内悬挂有挂坠，行人为女性，青年，黑色头发，短发，随身带着小男孩，身着红色连衣裙，以及关于车辆的重认证特征码和关于行人的重认证特征码。当输入车辆的或行人的重认证特征码，就可以在图像帧中找出包含有该车辆和该名行人的所图像帧。通过这些图像帧可以对车辆进行行驶轨迹的复现，进而判断事故现场的情况。同时，也可以输入关于车辆或者行人的特征关键字，就可以确定相应的目标图像帧，或者输入包含目标的某张图片，直接在云端搜索与该图像相同的图像。

具体的，第一数据处理模块302至少包括图像识别模块3021、图像择优模块3022；

图像识别模块3021用于对视频流进行图像边缘识别和分割，以提取目标对象的候选图像帧；

图像择优模块3022用于根据所述候选图像帧的量化指标，选择指定的候选图像作为目标图像帧；

第二数据处理模块303至少包括图像预处理模块3031、图像信息提取模块3032；

图像预处理模块3031用于对目标图像帧进行预处理；

图像信息提取模块3032用于从经过预处理的所述目标图像帧中，确定目标对象的属性信息。

图像数据处理系统还包括数据存储模块305、数据检索模块306和数据挖掘模块307；

所述数据存储模块305用于存储文本描述信息；

所述数据检索模块306用于通过获取的搜索关键字，以检索对应的目标图像帧；

数据挖掘模块307用于通过对目标对象的属性信息进行数据挖掘，获取不同目标信息的关联信息，以生成关联信息的统计报表。

另外，为了满足视频结构化数据的存储、检索和挖掘等应用分析的需求，本系统构建了大数据应用分析平台，该平台主要由海量图像和特征的数据存储模块、海量图像和特征的数据检索模块以及数据挖掘模块三大模块组成。

数据存储模块用于机器学习是数据驱动型技术，需要利用大量人工标注数据，存储并管理这些数据，保证数据的可靠性、一致性非常重要，数据存数模块利用开源分布式文件系统HDFS，采用自定义的文件格式，解决HDFS适合存储大文件而不适合存储海量小文件的问题。同时，通过视频切割等手段将其与HDFS系统融合，解决视频存储问题，并能快速检索回放。由于图像不利于检索，往往会利用视频结构化技术从图像中提取目标的结构化信息并存储，方便后期检索查阅。随着结构化信息的积累，数据管理系统中可能存有数十亿、甚至数百亿的数据信息，数据存储模块使用开源分布式系统HBase，采用Key-Value存储结构，解决海量文本信息存储和数据扩展性问题。结合HDFS分布式系统和自定义文件格式及策略解决海量图像、视频和文本信息的存储难题，在确保底层数据的高可用性、可靠性的前提下为上层服务提供有力保障。

数据检索模块用于在海量图像数据中快速检索所需的信息能够有效提高工作效率，采用分布式集群，多机联合检索，在百亿级数据中根据任意条件快速检索，预计平均检索时间仅需2到3秒。关键字检索是目前最有效、最常用的检索方式，它通过结构化条件进行检索，这些信息会事先进行分析、建立索引，然后再根据各种条件进行匹配、排序等。基于内容的检索是将来的发展趋势，数据检索模块提供以图搜图的检索方式，能够根据目标的结构化信息进行相似性检索，这种检索方式无需人工提取语义信息，甚至有些特征无法提取出通用的语义信息，但可以通过基于内容的图像检索进行搜索。极速检索是指在海量数据中非常快速的搜索，改善用户检索体验，提高检索效率。用户在输入时，系统智能分析用户输入的语义信息，快速检索，用户可以实时预览当前的检索结果，用户可以根据返回结果改变检索策略，方便用户进行关键字提取。

数据挖掘模块用于从海量数据中挖掘有用信息是非常热门的研究方向，对机器学习系统而言，可以从图像和特征数据中挖掘非常多的有用信息。通过定时任务在后台进行离线数据挖掘，将挖掘出有价值信息以统计报表形式呈现，用户可以随时在系统中查阅这些信息。基于内容的数据挖掘是指根据目标的其它特征信息进行分析处理，挖掘出有价值信息。用户偏好挖掘是指根据用户使用系统的方式挖掘出用户喜好，并对系统进行个性化定制。

本专利通过合理分割智慧视频分析系统的功能模块、将各计算模块解耦，提出将数据采集和一级结构化(即智能抓拍)在终端通过边缘计算完成，而二级结构化(即详细属性分析)和应用分析在云端完成，终端与云端之间传输结构化数据，以降低系统对网络带宽的需求(网络带宽受限时仅需传输结构化数据，原始视频图像数据按需调取)，降低云端计算视频解码的压力，降低云端智能分析的计算压力，从而降低云端功耗以及散热的需求。通过云计算、边计算融合的方式形成分布式计算、多节点存储、精准化目标提取、结构化数据传输、云边融合的智慧视频分析系统。

基于上述分析可知，与相关技术中的将图像直接在云端进行存储并检索的方法相比，本发明实施例综合考虑系统的灵活性和可扩展性，通过合理分割智慧视频分析的功能模块、将各计算模块进行解耦，提出利用云边融合的方式提高系统整体性能、降低了成本，并解决云端分析中存在的视频解码、功耗散热、网络带宽等问题。本发明利用分布式计算、多节点存储、精准化目标提取、结构化数据传输；边缘计算中一级结构化与数据采集有机结合，抓拍的是不受视频编码损失的高质量图片数据，识别精度高、误差低；边缘计算与云端计算之间的数据传输按需分配，网络带宽占用灵活；二级结构化与应用分析有机融合，扩展方便、应用灵活性高。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像数据处理方法，其特征在于，包括：

终端通过监控摄像头获取视频流；

终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧；

云端获取所述目标对象的属性信息；

云端根据获取的所述属性信息，确定所述目标图像帧的文本描述信息。

2.根据权利要求1所述的一种图像数据处理方法，其特征在于，所述终端利用边缘化计算的方式，从所述视频流中提取包含目标对象的目标图像帧，包括：

终端对所述视频流进行图像边缘识别；

终端根据图像边缘识别的识别结果，获取包含所述目标对象的候选图像帧；

终端根据所述候选图像帧的量化指标，选择指定的候选图像帧作为目标图像帧；所述量化指标至少包括目标对象的尺寸、目标对象被遮挡的程度和目标对象的清晰度。

3.根据权利要求1所述的一种图像数据处理方法，其特征在于，步骤云端获取所述目标对象的属性信息，包括：

云端对所述目标图像帧进行预处理；所述预处理至少包括以下的一种或多种：图像二次取样、平滑去噪、提高图像对比度和调整尺度空间；

云端从经过预处理的所述目标图像帧中，确定目标对象的属性信息；所述目标对象的属性信息至少包括车辆属性信息、人物身份属性信息和人脸属性信息；

所述车辆属性信息包括以下信息中的一种或多种：至少包括车辆固有属性信息和车辆个性化信息；所述车辆固有属性信息至少包括车辆类型信息、车身颜色信息、车辆号码信息和车辆品牌型号信息；所述车辆个性化信息至少包括车内信息和驾驶员信息；

所述人物身份属性信息至少包括性别信息、着装信息、佩戴信息以及随身信息；

所述人脸属性信息至少包括表情信息、发型信息、年龄段信息、发色信息以及样貌信息。

4.根据权利要求3所述的一种图像数据处理方法，其特征在于，步骤云端获取所述目标对象的属性信息还包括：

云端将获取到的目标对象的车辆号码信息作为目标对象的属性信息；所述目标对象是车辆。

5.根据权利要求1所述的一种图像数据处理方法，其特征在于，所述方法还包括：

云端根据所述目标对象的属性信息生成重认证特征码；所述重认证特征码用于表示目标对象在视频流的至少两个图像帧中出现；

云端为目标图像帧关联设置对应的重认证特征码；

在接收到用户所发出的第一搜索关键字后，根据第一搜索关键字与重认证特征码的关联关系，检索对应的目标图像帧。

云端根据重认证特征码，检索存储后的文本描述信息，以确定与重认证特征码相对应的目标图像帧。

6.根据权利要求1所述的一种图像数据处理方法，其特征在于，所述方法还包括：

在接收到用户所发出的第二搜索关键字，云端根据第二搜索关键字与文本描述信息的关联信息，检索对应的目标图像帧。

7.根据权利要求1所述的一种图像数据处理方法，其特征在于，所述方法还包括：

云端根据目标对象的属性信息，进行数据挖掘，以获取不同目标对象的关联信息；

根据所述关联信息，生成关联信息的统计报表。

8.一种图像数据处理系统，其特征在于，包括：数据采集模块、第一数据处理模块、第二数据处理模块和数据分析模块；

所述数据采集模块用于采集视频流；

所述第一数据处理模块，用于通过边缘化计算分析所述视频流，以提取包含目标对象的目标图像帧；

所述第二数据处理模块，用于对目标图像帧进行云计算处理，以获取目标对象的属性信息；

所述数据分析模块，用于分析所述属性信息，以确定所述目标图像帧的文本描述信息。

9.根据权利要求8所述的一种图像数据处理系统，其特征在于：

所述第一数据处理模块包括图像识别模块、图像择优模块；

所述图像识别模块，用于对视频流进行图像边缘识别和分割，以提取目标对象的候选图像帧；

所述图像择优模块，用于根据所述候选图像帧的量化指标，选择指定的候选图像作为目标图像帧；

所述第二数据处理模块包括图像预处理模块、图像信息提取模块；

所述图像预处理模块，用于对目标图像帧进行预处理；

所述图像信息提取模块，用于从经过预处理的所述目标图像帧中，确定目标对象的属性信息。

10.根据权利要求8所述的一种图像数据处理系统，其特征在于，还包括：

数据存储模块、数据检索模块和数据挖掘模块；

所述数据存储模块，用于存储文本描述信息；

所述数据检索模块，用于通过获取的搜索关键字，以检索对应的目标图像帧；

数据挖掘模块，用于通过对目标对象的属性信息进行数据挖掘，获取不同目标信息的关联信息，以生成关联信息的统计报表。