CN108399389B

CN108399389B - 机器视觉的多机监管系统、方法及客户机、服务器、存储介质

Info

Publication number: CN108399389B
Application number: CN201810170367.6A
Authority: CN
Inventors: 路志宏
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-03-01
Filing date: 2018-03-01
Publication date: 2020-05-08
Anticipated expiration: 2038-03-01
Also published as: CN108399389A

Abstract

本发明涉及一种机器视觉的监管系统及监管方法，使得单机学习到的内容可以方便的被其他机器学习到。从而实现低成本、快速学习；极大的降低智能多机学习的成本，使得计算能力可以更有效的利用；为用户节省成本，提高工作效率，从而最终实现机器视觉监管。

Description

机器视觉的多机监管系统、方法及客户机、服务器、存储介质

技术领域

本发明涉及建筑工程技术领域，特别涉及一种机器视觉的多机监管系统、方法及客户机、服务器、存储介质。

背景技术

当前在建筑工程施工过程中都需要使用到许多工具或设备，例如塔吊、脚手架、起重机等。其中塔吊具有塔身高、吊臂长、抬吊重量大、覆盖范围广、工作效率高等结构技术特点。脚手架可以用来搭建建筑工人的操作平台。起重机的作业空间大，主要用于房屋建筑施工中物料的垂直和水平输送及建筑构件的安装。

建筑工程中存在大量高空作业或深基坑作业，存在危险源多，稍有不慎就可能发生人员伤亡事故。需要检查点多，需要对下列项进行分别检查：1、文明施工检查。2、基坑工程检查。3、施工用电检查。4、各种脚手架检查。5、高空作业吊篮检查。6、塔式起重机检查。7、起重吊装检查。8、施工升降机检查。9、物料提升机检查。10、模板支架检查。11、高处作业检查。12、施工机具检查。13、施工现场消防检查。14、路桥工程安全检查。15、有限空间作业检查。16、安全管理检查。17、悬挑式钢平台检测等。18、落地式卸料平台检查等等。

由于上述建筑工程现场设置的各种工具或设备占地面积大，自身的高度高，会存在很多安全隐患，由建筑工程现场的各种工具或设备引起的人员伤亡和设备损毁事故屡屡发生，建筑工程现场的各种工具或设备的安全问题引起了社会的广泛重视。现有通常的解决方法是在这些建筑工程现场使用的工具或设备上安装监控摄像头，来监控建筑工程的安全、进度和质量。随着摄像头安装的越来越多，由此带来一系列的新问题，摄像头安装好后由谁来监管，当摄像头监控到安全隐患或危险时，如何能够及时针对存在的问题进行报警和故障解除，这是亟待解决的问题。

目前，对于建筑工程现场安装的监控摄像头，现有的机器学习方法大多采用多机群集的学习方式。学习的过程中需要多台机器分配一定的资源进行机器与机器之间的协同。这无形中会耗费很大的计算资源。也可以采用分布式深度学习系统，但通过分布式并行训练后，新算法收敛时很难达到最优值；收敛与单机上跑出来的最优值存在很大差异。采用分布式机器学习的系统会遇到模型一致性、容错性、通讯拥塞、资源管理等问题。同时，现有的机器学习算法成本较高，需要大量的需求调研人员、手工图片标注人员和智能算法工程师做后期处理，才能完成功能单一的机器视觉监管任务。很难适应建筑工程现场的多样性和临时增加新智能检测与监管的需求。

发明内容

为了解决上述现有技术中存在的问题，本发明提供一种机器视觉的多机监管系统、方法及客户机、服务器、存储介质，使得单机学习到的内容可以方便的被共享，以让其他机器学习到。从而实现低成本、快速学习；极大的降低智能多机学习的成本，使得计算能力可以更有效的利用；为用户节省成本，提高工作效率，从而最终实现机器视觉监管。

本发明提供一种机器视觉的多机监管系统，包括：至少一台客户机、至少一台监装置和至少一台服务器；

所述监管装置用于采集监管内容，并将采集的监管内容传送给所述客户机；

所述客户机获取对所述监管内容的标注结果，形成标注文件后上传至服务器；

所述服务器针对接收到的标注文件进行集中训练，将训练成的模型识别器和模型生成器分发至所述客户机；

所述客户机基于接收到的模型识别器和模型生成器进行再学习，对所述监管装置用于采集的监管内容进行监管。

其中，对所述监管内容的标注结果，包括：

用户对所述监管内容的标注结果和或所述客户机对所述监管内容进行自动标注的标注结果。

其中，标注过程中，采用局部内容放大标注和/或分类集中标注。

其中，所述客户机利用人工智能的深度学习算法针对标注结果进行学习，并通过对抗生成网络GAN和检测模型阈值调整方法，生成初步检测模型；

利用初步生成的检测模型，并通过在线学习的方式收集与检测任务相关的训练数据，进行标注结果复查及数据训练。

其中，所述服务器汇总各个客户机上传的用户标注的标注结果，和/或汇总各个客户机上传的客户机自动标注的标注结果，得到学习数据；采用对抗生成网络GAN生成的数据进行混合训练。

本发明还提供一种机器视觉的多机监管方法，包括以下步骤：

采集监管内容，并将采集的监管内容传送给客户机；

本发明还提供一种客户机，所述客户机包括存储器和处理器，处理器通过调用存储在存储器上的程序或指令，以实现机器视觉的学习和监管，其中所述程序或指令用于实现以下流程：

接收所述监管装置采集的监管内容；

获取对所述监管内容的标注结果，形成标注文件后上传至服务器；以及，

接收服务器下发的模型识别器和模型生成器，并进行再学习，对所述监管装置用于采集的监管内容进行监管。

其中，所述程序或指令还用于实现以下流程：

利用人工智能的深度学习算法针对标注结果进行学习，并通过对抗生成网络GAN和检测模型阈值调整方法，生成初步检测模型；

本发明还提供一种服务器，包括：存储器和处理器，处理器通过调用存储在存储器上的程序或指令，以实现机器视觉监管的的数据训练和模型生产，其中所述程序或指令用于实现以下流程：

汇总各个客户机上传的用户标注的标注结果，和/或汇总各个客户机上传的客户机自动标注的标注结果，得到学习数据；

采用对抗生成网络GAN生成的数据进行混合训练；

将训练成的模型识别器和模型生成器分发至所述客户机。

本发明还提供一种可读程序存储介质，存储介质中存储的程序或指令，用于：

接收所述监管装置采集的监管内容；

采用对抗生成网络GAN生成的数据进行混合训练；

将训练成的模型识别器和模型生成器分发至所述客户机。

本发明的有益效果在于：

通过本发明的机器视觉的监管系统和方法，可以以多机学习训练的方式来解决建筑工程现场的视频监管问题，汇总各现场的标注结果，进行集中训练与分发，实现信息共享，可以有效减少传统多机学习方法对多机协同资源的浪费，以节省工程现场监管人力资源，提升建筑工程建设的工作效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

以下将参照附图对根据本发明的优选实施方式进行描述。图中：

图1是根据示例性实施例示出的监控系统结构框图。

图2是根据示例性实施例示出的监控系统原理框图。

图3是根据示例性实施例示出的监控方法框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在进行实施例描述之前，需要说明的是，为了说明的方便及具体化，本组实施例针对的是监控系统及方法，但并不仅限于实施例中列举所限定的范围。

以下示例性实施例中的监控系统仅仅是示例性描述，与监控系统具有类似属性的其他设备也同样适用。

参见图1、2，本发明示例性采用的技术方案如下：

一种机器视觉的多机监管系统，包括：至少一台客户机和至少一台服务器；该系统中还包括至少一个监管装置，示例性的，该监管装置中包括至少一个摄像头，用来对建筑工地中的建筑设备、建筑工人进行摄像，从而生成对建筑工地中的建筑设备、建筑工人进行监管的图片或视频。监管装置生成的图片或视频传送给用户的客户机。用户可以通过客户机对监管装置进行远程控制，监控工程现场情况。

优选的实施例，用户可以自定义标注方式标注内容，例如是采用手动方式进行标注，或者采用机器自动方式进行标注，或者采用手动结合机器自动进行标注。标注的内容可以包括任何建筑工地中涉及的内容，例如，建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、高空是否携带安全带、各种施工工序是否符合安全施工要求等等。

可以通过用户手动标注，当用户进行远程监控时，选择要标注的实物，进行简单抓拍和手工标注即可完成个性化的标注，通过这种方式，用户可以提供多种类型的手工标注数据1，手工标注数据2，手工标注数据3……等等。这些手工标注数据例如包括：建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、各种施工工序是否符合安全施工要求等等。从而通过这种方式保障了用户的个性化检测需求。

为了方便用户的操作，可以在客户机上设置快捷键盘。例如：设定键盘中的“A键”来表示增加标记。设定键盘中的“D键”表示删除标记。并可以用键盘中的上下键切换要标注的图片。用户就可以左手去用键盘操作命令。右手对要标注图像或视频进行画框，从而可以极大的提高标注速度。

在用户标注过程中，还可以对视频或图片中的局部内容进行放大标注，可用于高分辨率下，肉眼很难看清的物体进行标注，从而提供更个性化的标注。

在标注一个分类物体时，可以同时显示出某一标注物体的面积大小，可以用于自定义训练时，快速确定将多大面积的物体进行过滤，为过滤训练提供参考值。

也可以对生成的机器标注进行过滤处理，将要标注的某一分类进行集中过滤显示，用以集中标注，以提高标注工作效率。同时，该过滤方式也可以用于快速查找某一模糊检测分类物体是否存在。

可选择的，用户也可以不需管理，在接收到监管装置传送的图片或视频，客户机可以自动监测报警项，自动实现标注。通过这种方式，客户机可以提供多种类型的机器标注数据1，机器标注数据2，机器标注数据3……等等。这些机器标注数据例如包括：建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、各种施工工序是否符合安全施工要求等等。从而通过这种方式节约了用户的管理成本。

可以对生成的机器标注进行过滤处理，将要标注的某一分类进行集中过滤显示，用以集中标注，以提高标注工作效率。同时，该过滤方式也可以用于快速查找某一模糊检测分类物体是否存在。

标注过程中，客户机对视频或图片中的局部内容进行放大标注。

可以利用多种人工智能的深度学习算法，例如：DNN(Deep Neural Network)深层神经网络、CNN(Convolutioanl Neural network)卷积神经网络、Faster-RCNN更快速区域卷积神经网络等更快速神经网络中使用的多种方法的组合。

客户机通过有监督学习的方式。对要识别的检测任务进行少量标注，有监督标注学习，并通过GAN对抗网络和检测模型阈值调整等方法，逐渐生成初步检测模型。

利用初步生成的检测模型，并通过在线学习的方式收集与检测任务相关的训练数据，做简单复查标注及数据训练。

同时通过与GAN对抗生成网络的实现闭环流程。在这个流程中包括模型识别器和模型生成器，基于对抗训练来检测学习结果是否满意，完成原子模型。

通过这种方式，在监管任务及物体分类识别上均得到深入处理，生成标注结果。

每个客户机均可以采取以上的方式来进行标注学习，每个客户机将标注结果形成标注文件上传至服务器。

服务器对各个客户机上传上来的标注文件进行集中管理与训练。服务器汇总各个客户机上传的手工标注学习数据，同时汇总各个客户机上传的机器自动标注学习数据。同时，采用对抗生成网络GAN生成的数据进行混合训练。在这个流程中包括模型识别器和模型生成器，基于对抗训练来检测学习结果是否满意，达到快速让原子模型检测精度提高的目的。

接着，将训练好的原子模型和组合模型，下传分发到各个客户机上。各个客户机基于接收到的训练好的原子模型和组合模型进行再学习，以增量训练的方式对模型进行增量补充数据。从而提高模型训练数据的输入多样性，进一步提高检测精度。

通过以上的方式，使用各个客户机来实现对工程现场实时视频流进行检测报警。

参见附图2、图3，本发明还提供了一种机器视觉的多机监管方法，具体的实现方法如下：

步骤一：用户可以通过客户机对监管装置进行远程控制。优选的实施例，用户可以自定义标注方式和标注内容，例如是采用手动方式进行标注，或者采用机器自动方式进行标注，或者采用手动结合机器自动进行标注。标注的内容可以包括任何建筑工地中涉及的内容，例如，建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、各种施工工序是否符合安全施工要求等等。

步骤二：使用机器标注与用户标注相结合的方式进行标注；

可以通过用户手动标注，当用户进行远程监控时，发现需要报警检测项时，选择要标注的实物，进行简单抓拍和手工标注即可完成个性化的标注，通过这种方式，用户可以提供多种类型的手工标注数据1，手工标注数据2，手工标注数据3……等等。这些手工标注数据例如包括：建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、各种施工工序是否符合安全施工要求等等。从而通过这种方式保障了用户的个性化检测需求。

也可以对生成的机器标注进行过滤处理，将要标注的某一分类进行集中过滤显示，用以集中标注，以提高标注工作效率。同时，该过滤方式也可以用于快速查找某一模糊检测分类物体是否存在。同时，用户也可以不需管理，在接收到监管装置传送的图片或视频，客户机可以自动监测报警项，自动实现标注。通过这种方式，客户机可以提供多种类型的机器标注数据1，机器标注数据2，机器标注数据3……等等。这些机器标注数据例如包括：建筑工地中某个局部区域的完成进度情况，某个危险区域是否有建筑工人，建筑工人在进入建筑工地时是否佩戴安全帽、建筑工人在进入建筑工地时是否吸烟、各种施工工序是否符合安全施工要求等等。从而通过这种方式节约了用户的管理成本。

客户机利用初步生成的检测模型，并通过在线学习的方式收集与检测任务相关的训练数据，做简单复查标注及数据训练。

同时通过与GAN对抗生成网络实现闭环。在这个流程中包括模型识别器和模型生成器，基于对抗训练来检测学习结果是否满意，完成原子模型。

步骤三：每个客户机均可以采取以上的方式来进行标注学习，每个客户机将标注结果形成标注文件上传至服务器。

步骤四：服务器对各个客户机上传上来的标注文件进行集中管理与训练。服务器汇总各个客户机上传的手工标注学习数据，同时汇总各个客户机上传的机器自动标注学习数据。

步骤五：服务器采用对抗生成网络GAN生成的数据进行混合训练。在这个流程中包括模型识别器和模型生成器，基于对抗训练来检测学习结果是否满意，达到快速让原子模型检测精度提高的目的。

步骤六：接着，将训练好的原子模型和组合模型，下传分发到各个客户机上。

步骤七：各个客户机基于接收到的训练好的原子模型和组合模型进行再学习，以增量训练的方式对模型进行增量补充数据。从而提高模型训练数据的输入多样性，进一步提高检测精度。

采用这样一个完整循环训练的过程，不断提高所有模型的检测精度。让用户根据自己的需求，通过不断增量学习的方式，逐渐满足用户的多样性检测需求。该系统可以有效实现单个用户针对监测结果的标注学习，快速被共享给另外一个用户，提高用户工作效率，减少重复劳动。

本申请通过将视频监控图像查看、自定义机器学习、多机学习、多机监管融合在一起。方便于用户在看到图像时进行即时学习，提高了学习效率。

本发明的客户机是诸如用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板计算机、手机或其他类型的移动无线设备之类的客户机的示例性说明。客户机或服务器包括的应用处理器和图形处理器可以被耦合到内部非暂时性存储设备(存储内存)以提供处理和显示能力。非易失性存储器端口也可以用于为用户提供数据输入/输出选择。

还可以在用于由各种类型的处理器执行的软件中实施模块。例如，可执行代码的被标识的模块包括计算机指令的一个或多个物理或逻辑块，其可以例如被组织为对象、过程或函数。然而，被标识的模块的可执行文件不需要被物理地聚在一起，而是可以包括存储在不同位置的不同指令，当这些不同位置逻辑地连接在一起时，包括该模块并实现用于该模块的所述目的。

实际上，可执行代码的模块可以是单个指令、或者许多指令，并且甚至可以分布于若干不同的代码段、分布在不同程序间以及跨越多个存储器设备。各种技术，或其某些方面或者部分可以采用程序代码(即，指令)的形式，该程序代码实现在有形介质中，例如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质，其中当程序代码被加载到诸如计算机之类的机器中并由其执行时，该机器成为实现所述各种技术的装置。在可编程计算机上执行程序代码的情况下，计算设备可以包括处理器、可由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。可以实施或利用本文中所述的各种技术的一个或多个程序可以使用应用程序编程接口(API)、可重用控件等。这样的程序可以以高级程序性或面向对象的编程语言来实施以与计算机系统进行通信。然而，如果需要，那么这些程序可以以汇编或机器语言实施。在任何情况下，语言可以是编译或解释语言，并与硬件实施相结合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种机器视觉的监管系统，包括：至少一台客户机、至少一台监管装置和至少一台服务器；

所述客户机获取对所述监管内容的标注结果，形成标注文件上传至服务器；

其中，在标注过程中，通过用户手动标注或者机器标注，对所述监管内容的局部内容进行放大标注和/或分类标注；在进行分类标注时，同时显示出标注物体的面积；

利用生成的初步检测模型，并通过在线学习的方式收集与检测任务相关的训练数据，进行标注结果复查及数据训练；

其中，所述服务器汇总各个客户机上传的用户标注的标注结果，和/或汇总各个客户机上传的客户机自动标注的标注结果，得到学习数据，采用对抗生成网络生成的数据进行混合训练；

所述客户机基于接收到的模型识别器和模型生成器进行再学习，对所述监管装置进行监管。

2.如权利要求1所述的系统，其特征在于：所述监管内容的标注结果，包括：

用户对所述监管内容的标注结果和/或所述客户机对所述监管内容进行自动标注的标注结果。

3.一种机器视觉的多机监管方法，包括以下步骤：

采集监管内容，并将采集的监管内容传送给客户机；

所述客户机获取对所述监管内容的标注结果，形成标注文件上传至服务器，其中，在标注过程中，通过用户手动标注或者机器标注，对所述监管内容的局部内容进行放大标注和/或分类标注；在进行分类标注时，同时显示出标注物体的面积；

所述服务器针对接收到的标注文件进行集中训练，将训练成的模型识别器和模型生成器分发至所述客户机；其中，所述服务器汇总各个客户机上传的用户标注的标注结果，和/或汇总各个客户机上传的客户机自动标注的标注结果，得到学习数据，采用对抗生成网络生成的数据进行混合训练；

所述客户机基于接收到的模型识别器和模型生成器进行再学习，对所述监管内容进行监管。

4.一种客户机，所述客户机包括存储器和处理器，处理器通过调用存储在存储器上的程序或指令，以实现机器视觉的学习和监督，其中所述程序或指令用于实现以下流程：

接收监管装置采集的监管内容；

获取对所述监管内容的标注结果，形成标注文件上传至服务器；

接收服务器下发的模型识别器和模型生成器，并进行再学习，对所述监管内容进行监管。

5.一种服务器，包括存储器和处理器，处理器通过调用存储在存储器上的程序或指令，以实现机器视觉监管的数据训练和模型生产，其中所述程序或指令用于实现以下流程：

所述服务器接收客户端上传的标注文件，并进行集中训练；

将训练成的模型识别器和模型生成器分发至所述客户机。

6.一种可读程序存储介质，存储介质中存储程序或指令，用于：

接收监管装置采集的监管内容；

在标注过程中，通过用户手动标注或者机器标注，对所述监管内容的局部内容进行放大标注和/或分类标注；在进行分类标注时，同时显示出标注物体的面积；

7.一种可读程序存储介质，存储介质中存储程序或指令，用于：

服务器接收客户端上传的标注文件，并进行集中训练，在标注过程中，通过用户手动标注或者机器标注，对所述监管内容的局部内容进行放大标注和/或分类标注；在进行分类标注时，同时显示出标注物体的面积；

利用生成的初步检测模型，并通过在线学习的方式收集与检测任务相关的训练数据，进行标注结果复查及数据训练；其中，所述服务器汇总各个客户机上传的用户标注的标注结果，和/或汇总各个客户机上传的客户机自动标注的标注结果，得到学习数据，采用对抗生成网络生成的数据进行混合训练；

将训练成的模型识别器和模型生成器分发至所述客户机。