CN110784628B - 图像数据的采集处理方法、系统及智能摄像头、服务器 - Google Patents

Abstract

本申请涉及一种基于人工智能技术的图像数据的采集处理方法、系统及智能摄像头、服务器，该方法在利用智能摄像头采集图像数据之后，进一步利用智能摄像头中集成的第一AI计算模型对所采集的图像数据进行了AI计算处理，从中识别并提取出了所需的有效图像信息，最终将有效图像信息而非原始图像数据传输至服务器，由此可见，本申请提出了一种在摄像头端进行图像采集与处理的边缘计算模型，基于该模型可将图像数据的处理任务从服务器端转移至网络边缘节点的摄像头端执行，这样，可直接在网络边缘节点的摄像头端将所采集图像数据中的无效数据滤除，有效降低了后续的数据传输量，进而降低了数据传输过程中对网络资源的占用量、减小了数据传输延时。

Description

图像数据的采集处理方法、系统及智能摄像头、服务器

技术领域

本申请属于基于人工智能的物联网信息采集与处理技术领域，尤其涉及一种图像数据的采集处理方法、系统及智能摄像头、服务器。

背景技术

在物联网环境下，传统的数据采集通常基于中心计算模型实现，以图像数据的采集为例，在该中心计算模型下，如图1所示，首先由各个摄像头进行图像采集(如拍摄图像或录制视频流等)，之后通过网关设备将采集的图像数据传输至数据中心的服务器上，进而由服务器基于相应AI算法提取所采集图像中的有效图像信息(如人脸数据、车辆信息等)，并将提取的有效图像信息存储至数据中心，以备后续展开相关应用。

此种基于中心计算模型的数据采集方式，由于需在数据中心的服务器端进行所需的数据处理，从而摄像头需将采集的全量原始图像信息传输至服务器，这必然导致存在很大的数据传输量，数据冗余较大，而较大的数据传输量往往需要较大的网络带宽、较长的数据耗时，因此该方式存在需要占用更多的网络资源、数据传输延时大等缺陷。

发明内容

有鉴于此，本申请的目的在于提供一种图像数据的采集处理方法、系统及智能摄像头、服务器，以通过提出一种在摄像头端进行图像采集与处理的边缘计算模型，来降低摄像头向数据中心的服务器传输数据时的数据传输量，进而降低数据传输过程对网络资源的占用量、减小数据传输延时。

为实现上述目的，一方面，本申请提供了一种图像数据的采集处理方法，该方法应用于智能摄像头，该智能摄像头包括摄像头本体、第一存储器、第一处理器及数据传输接口，所述第一存储器中存储有第一人工智能AI计算模型；

该方法包括：

利用所述摄像头本体采集图像数据；

利用所述第一处理器调用所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息；

利用所述数据传输接口传输所述有效图像信息至服务器。

另一方面，本申请还提供了另一种图像数据的采集处理方法，该方法应用于服务器；

该方法包括：

接收智能摄像头传输的有效图像信息；所述有效图像信息为智能摄像头利用第一AI计算模型对采集的图像数据进行信息识别及提取后所得的信息；

识别所述有效图像信息所属的目标类别；

将所述有效图像信息按所述目标类别存储至数据中心。

又一方面，本申请还提供了一种智能摄像头，该智能摄像头包括：

摄像头本体，用于进行图像数据采集；

数据传输接口，用于进行图像数据传输；

第一存储器，用于至少存储计算机操作指令及第一AI计算模型；

第一处理器，用于加载并执行所述计算机操作指令，通过加载并执行所述计算机操作指令至少用于进行以下处理：

控制所述摄像头本体采集图像数据；

调用所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息；

控制所述数据传输接口传输所述有效图像信息至服务器。

再一方面，本申请还提供了一种服务器，该服务器包括：

第二存储器，用于至少存储计算机操作指令；

第二处理器，用于加载并执行所述计算机操作指令，通过加载并执行所述计算机操作指令至少用于执行如上所述的应用于服务器的方法。

再一方面，本申请还提供了一种图像数据的采集处理系统，该系统包括至少一个以上所述的智能摄像头和至少一个以上所述的服务器，以及还包括数据中心；

其中，所述至少一个智能摄像头与所述至少一个服务器之间具备通信连接；所述至少一个服务器与所述数据中心之间具备通信连接。

根据以上方案可知，本申请提供的图像数据的采集处理方法，在利用智能摄像头采集图像数据之后，进一步利用智能摄像头中集成的第一AI计算模型对所采集的图像数据进行了AI计算处理，从中识别并提取出了所需的有效图像信息，最终将有效图像信息而非采集的原始图像数据传输至服务器，由此可见，本申请提出了一种在摄像头端进行图像采集与处理的边缘计算模型，基于该模型可将图像数据的处理任务从数据采集网络的数据中心服务器转移至网络边缘节点的摄像头端执行，这样，可直接在网络边缘节点的摄像头端将所采集图像数据中的无效数据滤除，有效降低了后续的数据传输量，进而降低了数据传输过程中对网络资源的占用量、减小了数据传输延时。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是现有的基于中心计算模型的图像数据采集网络的结构示意图；

图2是本申请可选实施例中基于边缘计算模型的图像数据采集网络的结构示意图；

图3是本申请可选实施例中图像数据的采集处理方法的一种流程示意图；

图4是本申请可选实施例中图像数据的采集处理方法的另一种流程示意图；

图5是本申请可选实施例中智能摄像头中的数据流向示意图；

图6是本申请可选实施例中图像数据的采集处理方法的又一种流程示意图；

图7是本申请可选实施例中图像数据的采集处理方法的再一种流程示意图；

图8是本申请可选实施例中从服务器向智能摄像头动态注入AI计算模型的示意图；

图9是本申请可选实施例中基于服务器端的人工标注不断优化调整摄像头端AI计算模型的示意图；

图10是本申请可选实施例中利用数据中心的数据进行相关应用的示意图；

图11是本申请可选实施例中通过直接与智能摄像头进行数据对接实现相关应用的示意图；

图12是本申请可选实施例中智能摄像头的一种结构示意图；

图13是本申请可选实施例中智能摄像头的另一种结构示意图；

图14是本申请可选实施例中智能摄像头的又一种结构示意图；

图15是本申请可选实施例中服务器的一种结构示意图；

图16是本申请可选实施例中图像数据的采集处理系统的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请涉及人工智能(Artificial Intelligence，AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。而本申请具体涉及到基于传感器的环境感知的相应技术。

作为本申请实施例的一个方面，本申请提供了一种图像数据的采集处理方法，该方法提出了一种在摄像头端进行图像采集与处理的边缘计算模型，基于该模型，本申请方法主要通过将图像数据的识别、提取等处理任务从数据采集网络的数据中心服务器转移至网络边缘节点的摄像头端执行，来降低摄像头端至数据中心服务器的数据传输量，进而降低数据传输过程对网络资源的占用量、并减小数据传输延时。

本申请公开的图像数据的采集处理方法，可以适用在图像数据的采集、过滤等场景中的数据采集网络中，该网络可以是一个基于因特网所组建的数据采集网络架构，或者还可以是基于局域网所组建的数据采集网络架构(如在企业自身的局域网络中构建的数据采集网络架构等)。为了便于对本申请方法进行理解，以下首先对本申请方法所适用的数据采集网络的网络结构进行介绍。

如图2所示，该数据采集网络包括至少一个智能摄像头、至少一个服务器及数据中心；其中，所述至少一个智能摄像头与所述至少一个服务器之间具备通信连接；所述至少一个服务器与所述数据中心之间具备通信连接。

实际实施中，可以通过因特网或局域网等通信网络在所述至少一个智能摄像头与所述至少一个服务器之间建立通信连接，且如图2所示，在所采用的通信网络中，具体可通过至少一个网关设备将所述至少一个智能摄像头与所述至少一个服务器相连接，而所述服务器与所述数据中心通常共同作为与摄像头所在的边缘节点端相对应的中心服务端，从而两者之间可直接通过数据线建立通信连接，当然，实际实施本申请时，还可以采用无线方式建立服务器与数据中心间的通信连接。

在将本申请方法应用于上述的网络架构中时，具体地说，可将本申请方法应用于该网络架构中的智能摄像头及服务器上，通过在该网络架构的智能摄像头及服务器上执行本申请方法，来实现基于边缘计算思想的图像数据采集与处理。接下来，将结合上述数据采集网络的网络架构对本申请提供的图像数据的采集处理方法进行详细说明。

参阅图3，为本申请实施例的一可选实施方式提供的图像数据的采集处理方法的一种流程示意图，其中，在将该方法应用于上述网络架构中的网络边缘节点的智能摄像头情况下，该方法可以包括：

步骤S301、利用所述智能摄像头的摄像头本体采集图像数据。

步骤3S02、利用所述第一处理器调用所述第一存储器中的所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息。

在基于上述网络架构，利用本申请方法进行图像数据的采集、处理时，具体在作为网络边缘节点的各个智能摄像头上进行图像数据的采集，且与目前的技术中摄像头在采集图像数据后直接将采集的原始图像数据全量传输至服务器不同，本申请中，在采集到图像数据后，同时由作为网络边缘节点的智能摄像头对所采集的图像数据进行识别、提取等处理，以此使得提取出其中的有效图像信息(如人脸信息、车辆信息等)，相应过滤掉其中的无效图像信息。

其中，为了支持数据的采集及识别、提取等处理功能，本申请中处于网络边缘节点的摄像头，也即所述智能摄像头，不仅包括能用于进行图像数据采集的摄像头本体，如摄像模组等，还包括存储器、处理器、数据传输接口这些组成部件，所述存储器至少存放了能用于提供相应的AI计算处理功能(如人脸识别、车辆信息识别等模式识别处理)的AI计算模型，这里将该AI计算模型称为第一AI计算模型，所述处理器能通过调用所述第一AI计算模型来对采集到的图像数据进行所需的AI处理，如人脸识别、车辆信息识别等。

基于上述的智能摄像头的组成结构，其中，当将本申请方法应用于该智能摄像头时，则如图3所示，在该方法的步骤S101中，具体可利用所述智能摄像头的摄像头本体(如摄像模组等)进行图像数据采集，在实际的图像数据采集中，作为一种可能的实施方式，所述摄像头本体可基于图像拍摄方式采集得到一帧一帧的静态图像，或者，作为另一种可能的实施方式，所述摄像头本体还可基于视频录制方式采集得到包括一系列可动态播放的视频图像的视频流。在具体实施本申请时，由于视频录制方式相比于图像拍摄方式通常可得到帧间连续性更强、信息更为丰富的图像信息，从而，可优选采用所述视频录制方式来进行图像数据的采集，相应可得到所采集的视频流形式的图像数据。

之后，并不直接将所采集的视频流全量传输至服务器，而是在步骤S302中，由所述智能摄像头中的第一处理器调用所述第一存储器中的所述第一AI计算模型，并基于所述第一AI计算模型对所述视频流中的图像数据进行所需的AI处理，比如，从所得的大数据量的视频流中利用第一AI计算模型进行人脸识别或者车辆信息识别的模式识别处理等，以识别并提取出所述视频流形式的图像数据中诸如人脸或者车辆信息等有效图像信息，该有效图像信息也正是服务器端所需要的信息。

步骤S303、利用所述数据传输接口传输所述有效图像信息至服务器。

接下来，在该步骤S303中，则可实时地或者在满足预定的周期性触发条件(如达到设定的周期性传输时间)时，将经边缘的AI处理后所得的所述有效图像信息通过所述智能摄像头的数据传输接口传输至服务器。

且如图3所示，该步骤具体可通过网络中的网关设备，将所述有效图像信息从网络边缘节点的智能摄像头端传输至网络中心的服务器端。

在实际应用场景中，在作为网络边缘节点的摄像头所采集的视频流中，通常会包括大量的无效图像信息，例如在利用摄像头所采集的图像数据中，夜晚所采集的图像数据通常是无效的，且在白天所采集的图像数据中，也仅仅有少量的图像数据为有效数据，如在人脸信息或车辆信息的检测中，只有当摄像头的拍摄视角区域内存在人体或车辆时，才能够采集到携带有人脸或车辆信息的图像，由此，本申请通过在摄像头端基于AI处理进行有效图像信息的识别及处理，可实现在网络边缘滤除大数据量的无效图像数据，也即实现了基于边缘AI处理的视频流过滤，而对于诸如夜晚等未采集到有效图像信息的情形，也不会启动摄像头至服务器的数据传输过程，从而大大降低了向服务器端的数据传输量。

相对应地，在将该方法应用于处于网络中心的服务器的情况下，如图3所示，该方法可以包括：

步骤S401、接收智能摄像头传输的有效图像信息；所述有效图像信息为智能摄像头利用第一AI计算模型对采集的图像数据进行信息识别及处理后所得的信息；

在该步骤S401中，如图3所示，服务器具体可通过网关设备接收来自智能摄像头的图像信息，该所接收的图像信息显然不再是目前技术中所接收的来自摄像头的原始图像数据，而是由摄像头通过AI处理后所得的有效图像信息，如所需的人脸或车辆信息等，而摄像头所采集的不包括这些有效图像信息的图像数据，如夜晚所采集的没有任何人脸或车辆信息的图像，则已在摄像头端被过滤掉。

步骤S402、识别所述有效图像信息所属的目标类别；

在获得网关设备传输过来的所述有效图像信息后，由于这些信息在数据采集前端已被智能摄像头基于AI处理筛选出来作为有效图像信息，从而对于数据采集任务来说，可认为已成功采集到符合需求的有用数据，因此，在服务器端不必再对这些信息进行有效信息的识别、提取及无效数据的过滤等AI处理，而是可以直接对所接收的这些信息进行存储处理，将其存储至数据中心。

在实际应用中，数据中心的数据通常都是有组织地按类别进行存储的(无组织存储的数据通常可用性较低，会为实际使用带来困难)，鉴于这一考虑，在通过网关设备接收到智能摄像头传输过来的有效图像信息后，服务器可进一步基于步骤S402识别所述有效图像信息所属的目标类别。

其中，以下以所述有效图像信息为人脸信息进行举例，对于所述有效图像信息为人脸信息的情况来说，则其所属的所述目标类别可以是但不限于生物信息类别、人体信息类别或者人脸信息类别等等，更具体地说，该目标类别还可以是生物信息类别、人体信息类别或者人脸信息等类别下的某一子类别，举例来说，比如，假设数据中心存储的数据中包括人脸信息类别，且假设在人脸信息类别中根据人脸所属人员按每个人员的ID(Identity，身份标识号)为其创建了相对应的人员子类别，则对于服务器接收的人脸图像信息来说，可在识别出其所属的人员如Person1后，将该人脸图像信息所属的类别确定为人脸信息类别中的Person1子类别。

步骤S403、将所述有效图像信息按所述目标类别存储至数据中心。

之后，服务器可基于步骤S403将接收的该有效图像信息按其所属的所述目标类别存储至数据中心，仍以上述人脸图像信息的示例为例，可将接收的人脸图像信息存储至数据中心的人脸信息类别下的Person1子类别中，更具体地，可采用所需的结构将所述有效图像信息结构化地存储至数据中心其所属的目标类别下，比如，假设该Person1子类别中要求根据日期按序对该Person1的人脸图像信息进行存放，则可将接收的该Person1的人脸图像信息关联当前所对应的日期，进而按日期存放至该Person1下的相应位置。

相比于目前的基于中心计算模型的数据采集方式，本申请的基于边缘计算思想的数据采集处理方案可使得中心服务器的计算更加快速，使用的存储空间更少。

根据以上方案可知，本申请实施例提供的图像数据的采集处理方法，在利用智能摄像头采集图像数据之后，进一步利用智能摄像头中集成的第一AI计算模型对所采集的图像数据进行了AI计算处理，从中识别并提取出了所需的有效图像信息，最终将有效图像信息而非采集的原始图像数据传输至服务器，由此可见，本申请提出了一种在摄像头端进行图像采集与处理的边缘计算模型，基于该模型可将图像数据的处理任务从数据采集网络的数据中心服务器转移至网络边缘节点的摄像头端执行，这样，可直接在网络边缘节点的摄像头端将所采集图像数据中的无效数据滤除，有效降低了后续的数据传输量，进而降低了数据传输过程中对网络资源的占用量、减小了数据传输延时。

在本申请实施例的一可选实施方式中，参阅图4，在所述智能摄像头端，本申请的所述图像数据的采集处理方法还可以包括：

步骤S304、利用所述第一存储器缓存所述有效图像信息。

在实际应用中，可采用具有操作系统的单片机来实现所述第一存储器与所述第一处理器所对应的数据存储及AI处理功能，也即，预先将一具有操作系统且具备AI智能处理功能的单片机集成于摄像头上，由此形成本申请所需的所述智能摄像头，如图5所示，所述单片机自身提供的存储空间作为所述第一存储器，该第一存储器中存放有预先注入的第一AI计算模型，同时还可以再在智能摄像头的摄像头本体端额外增设一个或多个独立于所述单片机的摄像头本体端存储器，这样，当摄像头本体采集到视频流时，将视频流的图像数据缓存在该摄像头本体端的存储器中，单片机可实时或周期性地从所述摄像头本体端的存储器中读取图像数据，并调用所述第一AI计算模型对所读取的图像数据进行AI处理，以从中识别、提取出所需的诸如人脸或车辆信息等有效图像信息，且可在识别、提取出所述有效图像信息后，将这些有效图像信息缓存在单片机自身的存储空间中，以备后续数据传输时使用。

智能摄像头所采集的原始图像数据的数据量一般是比较大的，如上文所述，其通常是视频流数据，相应也会对应一个非常巨大的存储资源占用量，基于这一特点，具体实施中，优选地，可在单片机对所采集的视频流数据成功进行AI处理并缓存相应的有效图像信息后，实时地从摄像头本地端的存储器中清除已被处理的视频流数据，这样，可及时释放摄像头本地端存储器的存储空间，以方便接下来的视频流数据采集及缓存。

步骤S305、在将所述有效图像信息传输至服务器并接收到所述服务器的表示接收成功的响应信息后，利用所述第一处理器为所述有效图像信息标记相应标签。

为了便于在智能摄像头有效获知服务器的信息接收状况，服务器在成功接收到智能摄像头传输的有效图像信息后，可反馈一表示接收成功的响应信息，反之，若未接收成功，则可反馈一表示未接收成功的响应信息或不反馈。

其中，若智能摄像头在将经AI处理后所得的有效图像信息传输至服务器后接收到服务器反馈的表示接收成功的响应信息，则本实施例中，所述智能摄像头为服务器成功接收的该有效图像信息标记相应标签，通过所标记的标签，能够有效将单片机中缓存的已被服务器成功接收的有效图像信息与未传输的有效图像信息及虽传输但未被服务器成功接收的有效图像信息加以区分。

步骤S306、在符合预定条件的情况下，利用所述处理器从所述存储器清除标记有相应标签的有效图像信息。

通过为单片机中缓存的有效图像信息进行上述的标签标记处理，可使得将单片机中缓存的有效图像信息区分为已被服务器成功接收的信息以及未被服务器成功接收的信息。

为了节省所识别、提取出的有效图像信息对单片机存储空间的占用，本实施例预先设定一用于对单片机中缓存的已被服务器成功接收的信息进行清除的触发条件，示例性地，该条件比如可以设定为在接收到服务器反馈的表示接收成功的响应信息时实时清除，或者还可以设定为在达到设定的时间时(比如夜间3:00，再比如距成功接收的时刻达到预定的计时时长)开始清除，或者还可以是在已被成功接收的信息的数据量达到设定的数据量时清除等等，从而在达到该条件时，会对单片机中所缓存的标记有标签的相应有效图像信息进行清除，以此至少部分地释放了对单片机中存储空间的占用。

本实施例通过在智能摄像头端对服务器成功接收的有效图像信息进行标记，并基于标记的标签及设定的用于信息清除的触发条件，来清除智能摄像头端的单片机中缓存的已被服务器成功接收的有效图像信息，可有效释放智能摄像头中单片机的存储空间，节省了对单片机存储资源的占用，同时，通过该基于标签标记的缓存清除机制，还可尽可能保证单片机存储空间不被占满，为智能摄像头的持续性AI数据处理提供了支持。

在本申请实施例的一可选实施方式中，参阅图6，在所述服务器端，作为一种可能的实施方式，本申请的所述图像数据的采集处理方法还可以包括：

步骤S404、获得至少对不符合第二条件的有效图像信息的标注信息。

为了提升最终存储至数据中心的信息的准确度，进而提升其在后续相应应用中的应用价值，可选地，服务器在接收到智能摄像头传输过来的有效图像信息后，可以并不直接按其所属的类别将其存储至数据中心，而是可以将智能摄像头每次传输过来的有效图像信息作为其提交的一次作业，并对其进行作业核检，以核检其是否符合预定的第二条件。

举例来说，以智能摄像头的AI计算模型为人脸识别模型、并具体向服务器传输所识别、提取的各个人脸图像为例，该第二条件可以是但不限于：人脸图像的清晰度达到设定的清晰度阈值，和/或人脸图像为正脸(也即不能是侧脸)等等。基于该第二条件，对于智能摄像头传输过来的各个人脸图像，可在服务器端核检各个人脸图像的清晰度是否满足要求、人脸图像是否为正脸(侧脸信息包含的人脸特征较少，会导致对后续应用的应用价值不大)等等。

可选地，在实际应用中，可采用人工核检方式筛选出智能摄像头所传输的各有效图像信息中不符合第二条件的图像信息，并对其进行标注；其中，在进行上述的标注处理时，可以仅对不符合第二条件的图像信息进行标注，当然，也可以对符合第二条件及不符合第二条件的图像信息进行区别化标注，本实施例对此不作限定。

步骤S405、过滤掉不符合第二条件的所述有效图像信息。

在对智能摄像头传输过来的各有效图像信息进行上述的标注处理后，可根据标注信息确定其是否符合要求(也即是否符合所述第二条件)，并将不符合要求的图像信息过滤掉，而对于符合要求的各个图像信息，则相应地按其所属的类别(如人脸信息类别、车辆信息类别等)将其存储至数据中心，这样，可尽可能保证存储至数据中心的各图像信息具备较高的准确度，相应在后续应用中具备较高的应用价值。

步骤S406、基于所述不符合第二条件的有效图像信息及其对应的标注信息对所述第一AI计算模型进行调整，得到第二AI计算模型。

在实际应用中，可在服务器端维护各个边缘计算节点也即各个智能摄像头的AI计算模型，当通过人工核检等方式筛选出智能摄像头传输过来的有效图像信息中不符合要求的图像信息并对其进行标注后，可将筛选出来的这些不符合要求的图像信息及其对应的标注信息，反馈输入至其所维护的相对应智能摄像头的AI计算模型中，由此，使得模型不断学习这些不符合要求的图像信息的图像特征，比如，对于输入的清晰度不够的人脸图像和/或侧脸类型的人脸图像，则相应地可以学习其清晰度特征及侧脸的人脸特征，并结合这些特征对应的标注信息(表示该类特征的图像不符合要求)，对AI计算模型的模式识别逻辑进行优化调整，以此得到模式识别准确度更高、所识别出的有效图像信息更贴合实际需求的第二AI计算模型。

容易理解的是，由于该第二AI计算模型是在对第一AI计算模型进行模型调优后所得的模型，从而，该第二AI计算模型与所述第一AI计算模型用于进行相同类型的模式识别，举例来说，若所述第一AI计算模型为人脸识别模型，则所述第二AI计算模型同样为人脸识别模型；若所述第一AI计算模型为车辆信息识别模型，则所述第二AI计算模型相应地同样为车辆信息识别模型。

步骤S407、将所述第二AI计算模型动态注入所述智能摄像头。

在基于标注信息对所述第一AI计算模型进行调优得到所述第二AI计算模型后，服务器将所述第二AI计算模型动态地注入所述智能摄像头，以使得智能摄像头后续使用调优后的所述第二AI计算模型进行模式识别，进而实现对有效图像信息的更准确的识别、提取。

在服务器端，除了可以向作为边缘计算节点的智能摄像头端推送对智能摄像头的现有第一AI计算模型进行模型调优后所得的第二AI计算模型，还可以根据实际需求，向智能摄像头端推送与智能摄像头的现有第一AI计算模型分别属于不同模式识别类型的第三AI计算模型，由此，参阅图7，服务器端图像数据的采集处理方法还可以包括：

步骤S408、获得第三AI计算模型。

所述第三AI计算模型，可以是服务器根据实际需要临时训练的模型，或者还可以是服务器维护的各边缘计算节点中当前需调整的节点除外的其他节点的模型，例如，假设根据实际需求，当前需将智能摄像头A中的人脸信息采集及识别功能，调整为车辆信息采集及识别功能，则可由服务器临时训练一用于车辆信息识别的AI计算模型，或者由服务器从其维护的多个边缘计算节点的AI模型中选取出一用于车辆信息识别的AI计算模型(如选取所维护的智能摄像头C的具备车辆信息识别功能的AI计算模型等)，所训练或选取的该模型则作为待注入所述智能摄像头A的第三AI计算模型。

步骤S409、并将所述第三AI计算模型动态注入所述智能摄像头；其中，所述第二AI计算模型与所述第一AI计算模型分别用于进行不同类型的模式识别。

在获取所述第三AI计算模型后，服务器将其动态注入当前需调整的智能摄像头，以使得该智能摄像头后续可基于该新注入的第三AI计算模型进行模式识别基础上的有效图像信息识别及提取处理。

相对应地，在所述智能摄像头端，参阅图6及图7，本申请的所述图像数据的采集处理方法还可以包括：

步骤S307、利用所述数据传输接口接收服务器推送的AI计算模型；

步骤S308、利用所述处理器将服务器推送的AI计算模型注入所述单片机。

在服务器向作为边缘计算节点的智能摄像头动态注入AI计算模型后，如图8所示，智能摄像头可通过其数据传输接口接收到服务器推送的AI计算模型。该AI计算模型可以是对智能摄像头中的原有第一AI计算模型进行调优后所得的第二AI计算模型，或者还可以是与所述第一AI计算模型分属不同模式识别类型的第三AI计算模型。

智能摄像头接收到该AI计算模型后，将其动态注入智能摄像头的单片机中，可选地，在将接收自服务器的AI计算模型动态注入智能摄像头的单片机时，可以将单片机中的原有第一AI计算模型替换为该新接收的AI计算模型，如替换为所述第二AI计算模型或者替换为所述第三AI计算模型等，这种方式最终在单片机中仅保留了服务器新注入的模型；或者，可选地，还可以在将新接收的AI计算模型注入单片机后，同时保留单片机中原有的第一AI计算模型。

其中，针对新接收的模型为对智能摄像头原有的第一AI计算模型进行调优后所得的第二AI计算模型的情况，由于所述第二AI计算模型与所述第一AI计算模型对应相同类型的模式识别功能，区别仅在于第二AI计算模型相比于第一AI计算模型的模式识别准确度更高，从而，优选地，对于该情况，在向智能摄像头的单片机动态注入所述第二AI计算模型后，可清除其原有的第一AI计算模型，也即仅在单片机中保留所述第二AI计算模型。

而针对新接收的模型为所述第三AI计算模型的情况，由于所述第三AI计算模型与所述第一AI计算模型分别对应不同类型的模式识别功能(如分别对应人脸识别、车辆信息识别类型的模式识别功能等)，则优选地，对于该情况，在向智能摄像头的单片机动态注入所述第三AI计算模型后，可仍在单片机中保留所述第一AI计算模型，当然具体实施中，也可以基于节省智能摄像头单片机存储资源的考虑，选择将单片机中原有的所述第一AI计算模型清除，本实施例对此不作具体限定。

本实施例通过在服务器端向所需的边缘计算节点动态注入所需的AI计算模型，如注入对智能摄像头中原有的第一AI计算模型调优后所得的第二AI计算模型，或注入与智能摄像头中原有的第一AI计算模型分属不同模式识别类型的第三AI计算模型等，一方面可使得边缘计算节点的模型准确度不断得以优化提升(其中，如图9所示，具体可在提升至一定的准确度数值后结束该调优过程)，另一方面实现了在服务器端对边缘计算节点的数据采集、识别功能的可调可控，服务器可根据实际需求通过向边缘计算节点注入所需模式识别功能的AI计算模型，来使得边缘计算节点向其反馈所要求的有效图像信息。

本申请的基于边缘计算思想的图像数据的采集处理方法，可由服务器通过向边缘计算节点动态注入不同的AI计算模型，来实现在边缘计算节点即智能摄像头上进行不同的视频流过滤及有效图像信息提取处理，之后可将经过AI计算、无效信息过滤处理后所得的有效图像信息传输至服务器，并由服务器按其所属的类别将其分类存储至数据中心，以便为后续的各种所需应用提供数据支持，本申请方法所适用的应用可以包括但不限于人脸识别、查找丢失车辆等等。且在实际场景中也并不仅限于利用数据中心存储的数据展开所需应用，还可以直接通过与边缘计算节点即智能摄像头进行数据对接来展开所需的应用。

以下简单举例说明。

参阅图10，在另一个实施例中，可基于数据中心存储的不同地域、不同时间的不同人员人脸数据，通过将目标人员的人脸数据与数据中心存储的人脸数据进行人脸特征匹配等处理，来检测、了解某一目标人员的活动踪迹。需要说明的是，该应用通常是需要特殊部门的人员在获得相应授权后才能够展开的，从而现实场景中，可结合相应权限授权处理过程来展开该应用。

参阅图11，在又一个实施例中，可在边缘计算节点也即智能摄像头中预先注入社区内各个所属成员的人脸图像数据，这样，每当社区内有所属社区外的其他人员进入时，该其他人员的人脸图像即可被智能摄像头检测并提取出来，对于该应用场景，如图11所示，可直接将负责社区管理的相应管理人员的计算机或手机等终端设备与边缘计算节点的智能摄像头进行数据对接，这样，每当检测、提取出非社区人员后，即可将其人脸数据推送(更具体地比如在推送人脸图像时还可以同时标注有相应时间、地点信息)至管理人员的计算机或手机等终端设备，这样，当社区发生偷盗或打架斗殴等异常事件时，可基于推送的人脸图像展开相应的可疑人员检测、判定工作。

另一方面，对应于上述的应用于智能摄像头端的图像数据的采集处理方法，本申请还公开了一种智能摄像头，参阅图12示出的智能摄像头的一种结构示意图，该智能摄像头可以包括：

摄像头本体1201，用于进行图像数据采集；

数据传输接口1202，用于进行图像数据传输；

第一存储器1203，用于至少存储计算机操作指令及第一AI计算模型；

第一处理器1204，用于加载并执行所述计算机操作指令，通过加载并执行所述计算机操作指令至少用于进行以下处理：

控制所述摄像头本体1201采集图像数据；

调用所述第一存储器1203中所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息；

控制所述数据传输接口1202传输所述有效图像信息至服务器。

在本申请实施例的一可选实施方式中，所述第一处理器1204在控制所述数据传输接口1202传输所述有效图像信息至服务器之后，还用于：

利用所述第一存储器1203缓存所述有效图像信息；

在将所述有效图像信息传输至服务器并接收到所述服务器的表示接收成功的响应信息后，为所述有效图像信息标记相应标签；

在符合第一条件的情况下，从所述第一存储器1203清除标记有相应标签的有效图像信息。

在本申请实施例的一可选实施方式中，参阅图13，该智能摄像头还可以包括具有操作系统的单片机1205，所述单片机1205提供所述第一存储器1203及第一处理器1204；

所述第一处理器1204还用于：

控制所述数据传输接口1202接收服务器推送的第二AI计算模型；

将所述第二AI计算模型动态注入所述单片机1205。

在本申请实施例的一可选实施方式中，参阅图14，该智能摄像头还可以包括用于缓存摄像头本体1201所采集的原始图像数据的摄像头本体端存储器1206。

对应于上述的应用于服务器端的图像数据的采集处理方法，本申请还公开了一种服务器，参阅图15提供的服务器的结构示意图，该服务器可以包括第二处理器1501和第二存储器1502。当然，还可以包括通信接口1503、输入单元1504、显示器1505和通信总线1506。

其中，第二处理器1501、第二存储器1502、通信接口1503、输入单元1504及显示器1505，均通过通信总线1506完成相互间的通信。

在本申请实施例中，该第二处理器1501，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

该第二处理器1501可以调用第二存储器1502中存储的程序。

第二存储器1502中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令(计算机可执行指令)，在本申请实施例中，该第二存储器1502中至少存储有用于实现如上任一实施例所述的应用于服务器端的图像数据的采集处理方法的程序代码。

在一种可能的实现方式中，该第二存储器1502可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据，比如，用户数据、用户访问数据以及音频数据等等。

此外，第二存储器1502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

通信接口1503可以为通信模块的接口，如GSM模块的接口。

输入单元1504可以为触摸感应单元、键盘等等。显示器1505可以包括显示面板，如触摸显示面板等。

当然，图15所示的终端设备结构并不构成对本申请实施例中终端设备的限定，在实际应用中该终端设备可以包括比图15所示的更多或更少的部件，或者组合某些部件。

又一方面，本申请还提供了一种图像数据的采集处理系统，参阅图16示出的图像数据的采集处理系统的结构示意图，该系统可以包括：

至少一个如以上实施例所述的智能摄像头1601、至少一个如以上实施例所述的服务器1602，以及还包括数据中心1603；

其中，所述至少一个智能摄像头1601与所述至少一个服务器1602之间具备通信连接；所述至少一个服务器1602与所述数据中心1603之间具备通信连接。

具体地，所述至少一个智能摄像头1601与所述至少一个服务器1602之间可通过一个或多个网关设备建立通信连接，所述至少一个服务器1602与所述数据中心1603之间可通过数据线或无线方式建立通信连接。

再一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现如上任意一个实施例中所描述的应用于智能摄像头端和/或服务器端的图像数据的采集处理方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种图像数据的采集处理方法，其特征在于，应用于智能摄像头，该智能摄像头包括摄像头本体、第一存储器、第一处理器及数据传输接口，所述第一存储器中存储有第一人工智能AI计算模型；

该方法包括：

利用所述摄像头本体采集图像数据；

利用所述第一处理器调用所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息；

利用所述数据传输接口传输所述有效图像信息至服务器；

所述智能摄像头还包括具有操作系统的单片机，所述单片机提供所述第一处理器及所述第一存储器；

所述方法还包括：

利用所述数据传输接口接收服务器推送的AI计算模型；

利用所述第一处理器将服务器推送的AI计算模型动态注入所述单片机；

其中，服务器推送的AI计算模型为：对所述第一AI计算模型进行调优后所得的第二AI计算模型，或者，与所述第一AI计算模型分别用于进行不同类型的模式识别的第三AI计算模型；所述第二AI计算模型与所述第一AI计算模型用于进行相同类型的模式识别，所述第二AI计算模型是服务器将筛选出来的不符合第二条件的有效图像信息及其对应的标注信息反馈输入至所述第一AI计算模型中，使得所述第一AI计算模型对所述不符合第二条件的有效图像信息的图像特征进行学习，并结合所述标注信息，对所述第一AI计算模型的模式识别逻辑进行调优后得到的；

所述方法还包括：

利用所述第一存储器缓存所述有效图像信息；

在将所述有效图像信息传输至服务器并接收到所述服务器的表示接收成功的响应信息后，利用所述第一处理器为所述有效图像信息标记相应标签；

在接收到所述服务器反馈的表示接收成功的响应信息的情况下、或者在达到设定的时间的情况下、或者在已被成功接收的信息的数据量达到设定的数据量的情况下，利用所述第一处理器从所述第一存储器中清除标记有相应标签的有效图像信息。

2.一种图像数据的采集处理方法，其特征在于，应用于服务器；

该方法包括：

接收智能摄像头传输的有效图像信息；所述有效图像信息为智能摄像头利用第一AI计算模型对采集的图像数据进行信息识别及提取后所得的信息；

识别所述有效图像信息所属的目标类别；

将所述有效图像信息按所述目标类别存储至数据中心；

所述方法还包括：

向所述智能摄像头推送AI计算模型，使得所述智能摄像头利用数据传输接口接收服务器推送的AI计算模型；利用第一处理器将服务器推送的AI计算模型动态注入单片机；所述智能摄像头还包括具有操作系统的单片机，所述单片机提供所述第一处理器及第一存储器；

其中，服务器推送的AI计算模型为：对所述第一AI计算模型进行调优后所得的第二AI计算模型，或者，与所述第一AI计算模型分别用于进行不同类型的模式识别的第三AI计算模型；所述第二AI计算模型与所述第一AI计算模型用于进行相同类型的模式识别，所述第二AI计算模型是服务器将筛选出来的不符合第二条件的有效图像信息及其对应的标注信息反馈输入至所述第一AI计算模型中，使得所述第一AI计算模型对所述不符合第二条件的有效图像信息的图像特征进行学习，并结合所述标注信息，对所述第一AI计算模型的模式识别逻辑进行调优后得到的；

在接收智能摄像头传输的有效图像信息之后，所述方法还包括：

向智能摄像头返回表示接收成功的响应信息，使得所述智能摄像头利用所述第一处理器为第一存储器缓存的所述有效图像信息标记相应标签；在接收到所述服务器反馈的表示接收成功的响应信息的情况下、或者在达到设定的时间的情况下、或者在已被成功接收的信息的数据量达到设定的数据量的情况下，利用所述第一处理器从所述第一存储器中清除标记有相应标签的有效图像信息。

3.根据权利要求2所述的方法，其特征在于，在将所述有效图像信息按所述目标类别存储至数据中心之前，所述方法还包括：

获得至少对不符合第二条件的有效图像信息的标注信息；过滤掉不符合第二条件的所述有效图像信息；基于所述不符合第二条件的有效图像信息及其对应的标注信息对所述第一AI计算模型进行调整，得到第二AI计算模型，并将所述第二AI计算模型动态注入所述智能摄像头。

4.一种智能摄像头，其特征在于，包括：

摄像头本体，用于进行图像数据采集；

数据传输接口，用于进行图像数据传输；

第一存储器，用于至少存储计算机操作指令及第一AI计算模型；

第一处理器，用于加载并执行所述计算机操作指令，通过加载并执行所述计算机操作指令至少用于进行以下处理：

控制所述摄像头本体采集图像数据；

调用所述第一AI计算模型，基于所述第一AI计算模型识别并提取所述图像数据中的有效图像信息；

控制所述数据传输接口传输所述有效图像信息至服务器；

所述智能摄像头还包括具有操作系统的单片机，所述单片机提供所述第一处理器及所述第一存储器；

所述第一处理器还用于：

控制所述数据传输接口接收服务器推送的AI计算模型；

将服务器推送的AI计算模型动态注入所述单片机；

其中，服务器推送的AI计算模型为：对所述第一AI计算模型进行调优后所得的第二AI计算模型，或者，与所述第一AI计算模型分别用于进行不同类型的模式识别的第三AI计算模型；所述第二AI计算模型与所述第一AI计算模型用于进行相同类型的模式识别，所述第二AI计算模型是服务器将筛选出来的不符合第二条件的有效图像信息及其对应的标注信息反馈输入至所述第一AI计算模型中，使得所述第一AI计算模型对所述不符合第二条件的有效图像信息的图像特征进行学习，并结合所述标注信息，对所述第一AI计算模型的模式识别逻辑进行调优后得到的；

所述第一处理器还用于：

利用所述第一存储器缓存所述有效图像信息；

在将所述有效图像信息传输至服务器并接收到所述服务器的表示接收成功的响应信息后，利用所述第一处理器为所述有效图像信息标记相应标签；

在接收到所述服务器反馈的表示接收成功的响应信息的情况下、或者在达到设定的时间的情况下、或者在已被成功接收的信息的数据量达到设定的数据量的情况下，利用所述第一处理器从所述第一存储器中清除标记有相应标签的有效图像信息。

5.一种服务器，其特征在于，包括：

第二存储器，用于至少存储计算机操作指令；

第二处理器，用于加载并执行所述计算机操作指令，通过加载并执行所述计算机操作指令至少用于执行如权利要求2-3任一项所述的方法。

6.一种图像数据的采集处理系统，其特征在于，包括：至少一个如权利要求4所述的智能摄像头和至少一个如权利要求5所述的服务器，以及还包括数据中心；

其中，所述至少一个智能摄像头与所述至少一个服务器之间具备通信连接；所述至少一个服务器与所述数据中心之间具备通信连接。

7.一种计算机可读存储介质，其特征在于，包括：所述存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1所述的图像数据的采集处理方法，和/或，权利要求2-3任一项所述的图像数据的采集处理方法。

Images