CN113065441A - 一种基于边缘设备的图像处理系统及方法 - Google Patents
一种基于边缘设备的图像处理系统及方法 Download PDFInfo
- Publication number
- CN113065441A CN113065441A CN202110319485.0A CN202110319485A CN113065441A CN 113065441 A CN113065441 A CN 113065441A CN 202110319485 A CN202110319485 A CN 202110319485A CN 113065441 A CN113065441 A CN 113065441A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- monitoring
- model
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 claims abstract description 181
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 47
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000013441 quality evaluation Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Abstract
本发明公开了一种基于边缘设备的图像处理系统及方法，包括：数据采集器，采集目标区域的目标图像数据；监测终端，与数据采集器连接，将数据采集器采集到的目标图像数据导入数据监测模型中进行监测分析；当数据监测模型对目标图像数据进行监测分析时，监测到目标图像数据存在符合数据监测模型所监测的数据类型时，生成目标对象信息；中心服务器，与监测终端连接，接收来自监测终端的目标对象信息，并对目标对象信息进行处理。本发明的技术效果：降低对于中心节点的配置需求，提高了在设计开发过程中的灵活性，可及时调整网络拓扑设计，以适应不同应用场景需求，具备更宽的适用范围。
Description
技术领域
本发明涉及行为监测领域，特别涉及一种基于边缘设备的图像处理系统及方法。
背景技术
在传统的图像处理系统中，往往采用简单的星型的拓扑结构，通过摄像头、麦克风或者是其他的数据采集设备，进行相关数据的采集，然后将采集得到的数据集中传输给中央节点的中央数据处理设备进行数据处理，从而得到最后的评估结果。但是该种网络拓扑结构，其规划与建设类似于瀑布模型，同时也具有瀑布模型所具有的问题，具体体现在非常强烈的依赖于早期进行的需求调查，不能适应需求的变化，其扩展性较差，比如其目的节点的数量完全取决于中央节点的计算能力，如果想要提高网络的规模，必须要对中央节点进行升级，而中央节点的升级能力，往往是相对有限的，一旦网络规模急剧膨胀，往往需要对中央节点进行直接的更换，一方面成本较高，另一方面在升级过程中往往需要对网络进行整体的停机，其新旧系统的转换代价比较大，同时其技术风险较高。
发明内容
为解决上述技术问题，本发明提供一种基于边缘设备的图像处理系统，具体的技术方案如下：
一方面，提供一种基于边缘设备的图像处理系统，包括：
至少一个数据采集器，用于采集目标区域的目标图像数据；
至少一个监测终端，与所述数据采集器连接，将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
至少一个中心服务器，与所述监测终端连接，接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
在本技术方案中，通过使用边缘设备，将原有的星型拓扑中的承担主要计算量的中心节点的计算量分担到各个边缘设备中进行，从而减少了中心节点运行过程中所需要的资源，从而降低了对于中心节点的配置需求，进而极大的提高了在设计开发过程中的灵活性，可根据需求的变化及时调整网络拓扑设计；
同时，在成本上可以为中心节点设置大量的冗余计算量，从而提高了系统的可扩展性，可以实现简单的增量式的系统网络扩展，增加网络路径，而不需要对网络的其他节点如中心节点进行升级，从而适应系统网络的扩展。
优选地，所述中心服务器对所述目标对象信息进行处理还包括：
统计在设定时间内每类目标对象信息发生的参考次数后，根据预先设定的关键评分指标参数、异常行为参数、满分基准次数参数计算每类目标对象信息的参考分数；
根据每类目标对象信息设置的权重参数及所述参考分数，统计出各类目标对象信息的综合参考评分。
优选地，至少一个所述数据采集器、至少一个所述监测终端组成一个图像数据处理单元，一个中心服务器对应多个图像数据处理单元；
不同图像数据处理单元处理同一或多个目标区域多个目标对象的各类数据。
优选地，所述监测终端以事件的形式将所述目标对象信息发送给所述中心服务器；
所述事件的内容具体包括：所述数据采集器的标识、所述监测终端的标识、所述事件的类型；
所述中心服务器根据所述数据采集器的标识、所述监测终端的标识获取所述目标区域的位置，根据所述事件的类型获取所述目标对象信息的行为类型。
优选地，还包括：模型训练服务器，与所述监测终端连接，将样本图像数据导入到深度学习算法模型中训练生成数据监测模型，并将所述数据监测模型下发给所述监测终端。
优选地，所述模型训练服务器，用于将预先采集到的原始图像数据进行图像处理并生成样本图像数据，所述图像处理包括图像增强处理。所述模型训练服务器还包括参数设置器，用于接收外部输入，并根据所述外部输入设置所述中心服务器的处理过程的处理参数；
所述处理参数具体包括关键评分指标参数、异常行为参数、满分基准次数参数、权重参数，用于设置所述权重参数及所述参考分数。
优选地，还包括：监测模型部署器，用于从所述行为模型训练服务器上下载训练好的所述数据监测模型，并将所述数据监测模型部署到所述监测终端上。
优选地，所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：
通过至少一个数据采集器，采集教室目标数据流；
所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：
将所述教室目标数据流导入到所述数据监测模型中进行分析计算；
当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；
所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：
接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
另一方面，提供一种基于边缘设备的图像处理方法，包括：
通过至少一个数据采集器，采集目标区域的目标图像数据；
将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
优选地，包括：所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：
通过至少一个数据采集器，采集教室目标数据流；
所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：
将所述教室目标数据流导入到所述数据监测模型中进行分析计算；
当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；
所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：
接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
本发明至少包括以下一项技术效果：
(1)通过使用边缘设备，将原有的星型拓扑中的承担主要计算量的中心节点的计算量分担到各个边缘设备中进行，从而减少了中心节点运行过程中所需要的资源，从而降低了对于中心节点的配置需求，进而极大的提高了在设计开发过程中的灵活性，可根据需求的变化及时调整网络拓扑设计；
(2)通过使用边缘设备，减少了中心节点所需要的计算量，从而在成本上可以为中心节点设置大量的冗余计算量，从而提高了系统的可扩展性，可以实现简单的增量式的系统网络扩展，增加网络路径，而不需要对网络的其他节点如中心节点进行升级，从而适应系统网络的扩展；
(3)通过使用边缘设备，将模型的识别过程移动到边缘设备上而不是中心节点上，使得在运行维护，系统升级的过程中，涉及到模型本身的升级内容，无需对整个系统进行停机，只需要对正在升级的边缘设备进行停机升级，从而极大的降低了运行维护成本；
(4)通过采用边缘设备，可直接使用原有的设备以提供中心节点的算力支持，并可以采用分段转换的方式进行改造，从而在短期内的资金投入成本较低，并且在改造过程中，还可以采用原型化的开发方式进行，从而增强了改造的灵活性；
(5)通过使用基于规则的模型构建方式，参数一般通过咨询相关领域的质量评估专家来确定，来进行设定，从而获取到相应的规则，异常行为参数便是要考量那种异常行为，关键评分指标参数则表示各个行为所对应的分数情况。通过该种方式，一方面可以提高参数设置的准确性，另一方面可以适应不同的质量评估应用场景需求，具备更宽的适用范围。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于边缘设备的图像处理系统实施例1的结构示意图；
图2为传统的星型拓扑结构示意图；
图3为一种基于边缘设备的图像处理系统实施例3的结构示意图；
图4为本发明一种基于边缘设备的图像处理系统的运行流程图；
图5为本发明一种基于边缘设备的图像处理系统的改造方法的流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
出于便于描述的考虑，以下内容中，部分内容中，称呼数据采集器为采集节点、监测终端为计算节点、中心服务器为中心节点。
实施例1：
如图1、2、4所示，本实施例提供一种基于边缘设备的图像处理系统，包括：
至少一个数据采集器，用于采集目标区域的目标图像数据；
至少一个监测终端，与所述数据采集器连接，将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
至少一个中心服务器，与所述监测终端连接，接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
在传统的图像处理系统中，往往采用简单的星型的拓扑结构，通过摄像头、麦克风或者是其他的数据采集设备，进行相关数据的采集，然后将采集得到的数据集中传输给中央节点的中央数据处理设备进行数据处理，从而得到最后的评估结果。但是该种网络拓扑结构，其规划与建设类似于瀑布模型，同时也具有瀑布模型所具有的问题，具体体现在非常强烈的依赖于早期进行的需求调查，不能适应需求的变化，其扩展性较差，比如其目的节点的数量完全取决于中央节点的计算能力，如果想要提高网络的规模，必须要对中央节点进行升级，而中央节点的升级能力，往往是相对有限的，一旦网络规模急剧膨胀，往往需要对中央节点进行直接的更换，一方面成本较高，另一方面在升级过程中往往需要对网络进行整体的停机，其新旧系统的转换代价比较大，同时其技术风险较高。
故在本实施例中，为了解决上述技术问题，改变原有的中心节点提供大规模数据处理与计算的功能的方法，将需要大量数据计算的任务交给星型拓扑中的计算节点，中心节点仅承担最终的活动质量评估的功能，从而大幅度减少中心节点的计算量。
具体而言，在实际的使用过程中，其遵循以下步骤：
S1：数据采集器采集目标区域的目标数据流，并发送给监测终端；
S2：监测终端根据所述目标数据，通过预先训练的数据监测模型，识别出目标对象信息；
S4：中心服务器根据所述目标对象信息，通过预设的质量评估模型，产生活动质量评分。
也就是说，由各个采集节点负责目标数据的采集，计算节点将目标数据进行分析识别，获取隐藏目标数据中，系统所需要的目标对象信息，然后再将目标对象信息集中到中心节点，由中心节点进行二次数据处理，从而获取到最终的活动质量评估结果。同时，在具体的计算节点与采集节点的数量的对应关系上，既可以是一个计算节点对应于一个采集节点，也可以是一个计算节点对应多个采集节点，将多个采集节点的数据进行综合性的处理，一般而言，在使用过程中，可采用一个计算节点对应于4-8个采集节点的方式进行，具体的计算节点与采集节点的。
优选地，所述监测终端以事件的形式将所述目标对象信息发送给所述中心服务器；所述事件的内容具体包括：所述数据采集器的标识、所述监测终端的标识、所述事件的类型；所述中心服务器根据所述数据采集器的标识、所述监测终端的标识获取所述目标区域的位置，根据所述事件的类型获取所述目标对象信息的行为类型。
同时在具体的使用过程中，也不是所有的目标对象信息都发送给中心节点进行处理，为了进一步的减少中心节点所需要的数据处理量，在实际的使用过程中，在S2与S4之间还包括：
S3：仅当所述目标对象信息为异常行为信息时，将所述目标对象信息发送给所述中心服务器。
也就是是说，信息是通过事件的形式进行发送的，只有符合我们需要的内容，我们才会将其发送到中心节点进行处理，对于我们不需要的内容，则不会发送到中心节点；比如说一家公司想要通过监控摄像头来判断员工有没有偷着睡觉，那么员工除了睡觉以外的行为，都是不需要的，那么便仅仅传输识别出来的员工的睡觉行为，而对识别出来的比如员工吃东西、喝水、上厕所等行为，便不进行数据的传输，从而进一步减少中心节点的计算量；所述事件的内容包括：所述数据采集器的标识、所述监测终端的标识、所述事件的类型，从而让系统得知实际上采集到的东西到底是什么。
实施例2：
如图1、2、4所示，本实施例提供一种基于边缘设备的图像处理系统，基于实施例1，还包括：模型训练服务器，与所述监测终端连接，将样本图像数据导入到深度学习算法模型中训练生成数据监测模型，并将所述数据监测模型下发给所述监测终端；所述模型训练服务器，用于将预先采集到的原始图像数据进行图像处理并生成样本图像数据，所述图像处理包括图像增强处理。
所述模型训练服务器还包括参数设置器，用于接收外部输入，并根据所述外部输入设置所述中心服务器的处理过程的处理参数；所述处理参数具体包括关键评分指标参数、异常行为参数、满分基准次数参数、权重参数，用于设置所述权重参数及所述参考分数；
优选地，至少一个所述数据采集器、至少一个所述监测终端组成一个图像数据处理单元，一个中心服务器对应多个图像数据处理单元；不同图像数据处理单元处理同一或多个目标区域多个目标对象的各类数据。
关键评分指标参数等参数的具体的数量与数据监测模型的数量相同，也就是说一种规则对应于一个数据监测模型，其具体的参数一般通过咨询相关领域的质量评估专家来确定，从而获取到相应的规则，异常行为参数便是要考量那种异常行为，关键评分指标参数则表示各个行为所对应的分数情况。通过该种方式，一方面可以提高参数设置的准确性，另一方面可以适应不同的质量评估应用场景需求，具备更宽的适用范围。
在本实施例中，在实际的使用过程之前，还需要数据监测模型训练服务器对检测模型进行训练，一般而言，训练的过程包括如下步骤：
S0-1：采集样本图像数据；具体的样本图像数据可通过数据采集器来进行收集；
S0-3：模型训练服务器，根据所述样本图像数据，通过模型训练算法训练产生数据监测模型。
同时，在实际的训练过程中，由于样本图像数据中的数据不一定是清晰完整可用的，故在实际的训练过程中，对于样本图像数据中不足够清晰完整的数据，便进行数据增强的处理，比如说对于图像数据，便对其进行图像增强，进行如平滑、锐化等处理，故训练的过程还包括：S0-2：数据增强器，对所述样本图像数据中的行为数据进行目标数据增强处理，其整体的训练过程如下：
S0-1：采集样本图像数据；
S0-2：数据增强器，对所述样本图像数据中的行为数据进行目标数据增强处理；
S0-3：数据监测模型训练服务器，根据所述样本图像数据，通过模型训练算法训练产生数据监测模型。
实施例3：
如图2、3、4所示，本实施例提供一种基于边缘设备的图像处理系统，基于实施例2，还包括，监测模型部署器，用于从所述模型训练服务器上下载训练好的所述数据监测模型，并将所述数据监测模型部署到所述监测终端上。
也就是说还包括S0-4：将训练好的所述数据监测模型部署到所述监测终端上。
在本实施例中，在具体的部署过程中，既可以采用直接将数据监测模型训练服务器接入中心节点进行监测模型的部署，也可以采用将监测模型存储到监测模型部署器上，由监测模型部署器进行部署的方式进行，监测模型部署器的具体的物理上的种类不限，既可以是带有自动部署程序的U盘，也可以是笔记本电脑等便携式设备。
在具体的使用过程中，可采用分批部署的方式进行网络的搭建，具体而言可采用，先部署一个计算节点和采集节点，也就是一个边缘设备，和中心节点，也就是中心服务器，然后通过监测模型部署器将模型导入到边缘设备中，然后将现已经搭建的系统网络运行起来，接着再部署一个边缘设备，并在系统运行状态下接入中心节点中，以一种增量化的方式不断扩大系统网络，循环往复，直到完成整个系统网络的搭建。同时，当需要对系统网络除了中心节点的升级时，也可以采用类似的方法进行，具体而言，当需要对监测模型进行升级时，可仅关闭现在要升级的这个计算节点，然后使用监测模型部署器对其进行升级，然后再关闭下一个要升级的计算节点，从而使得整个系统的运行中，只有正在进行升级的计算节点需要关闭，而不需要将整个的系统关闭进行升级，系统仍旧在运行中，从而减少了运行维护对设备的整体影响，相对于传统的星型拓扑，计算节点为中心节点的情况，避免了当需要对计算节点进行升级时，需要停止整个系统运行的情况。
实施例4：
如图2、3、4所示，本实施例提供一种基于边缘设备的图像处理系统，基于实施例3，所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：通过至少一个数据采集器，采集教室目标数据流；所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：将所述教室目标数据流导入到所述数据监测模型中进行分析计算；当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
本实施例具体应用于教育领域，用于对课堂的教学情况进行判断。具体而言，首先咨询教学质量评估专家，定义各类关键评分指标standEva_i与学生异常行为stuAbnBehav_i，为异常评分设置满分基准次数fullMark_i；针对异常行为严重程度，配置相应的权重参数standEvaWeight_i，各类异常行为的权重参数之和为1，并将相关的参数通过参数设置器以设置相应的质量评估模型，也就是教学质量的质量评估模型。
然后对学生日常行为中涉及教学质量评估的行为，比如打瞌睡的图片进行采集，从而形成相应的数据集，根据该数据集，通过相应的深度学习算法对模型进行训练，从而得到学生数据监测模型，并将其部署在计算节点上，然后通过数据采集节点，也就是摄像头对单位时间内的课堂视频图像进行实时采集编码压缩，并将视频图像传输给计算节点，计算节点解码课堂视频帧数据，实时检测学生的行为，一旦发现异常行为，如打瞌睡，便通过事件的方式将异常行为的信息发送中心服务器，也就是中心节点，即教学质量评估平台，具体的内容包括边缘设备的ID、摄像头的ID、教室的ID、以及被识别出来的学生的ID、以及事件的类别，比如学生在睡觉，吃东西大声说话等；由中心节点根据单位时间内各类异常行为的次数stuAbnBehavCnt_i，分别计算各类异常行为单项得分stuAbnBehavScore_i，根据异常行为相应指标的权重参数standEvaWeight_i，计算教学质量的综合评分，公式为totalPoint＝∑standEvaWeight_i*stuAbnBehavScore_i，具体的异常行为的种类数量，可以根据用户需求定义，也就是说i＝1...N。
实施例5：
本实施例提供一种基于边缘设备的图像处理方法，包括：
S1：通过至少一个数据采集器，采集目标区域的目标图像数据；
S2：将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
S3：通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
优选地，包括：所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：通过至少一个数据采集器，采集教室目标数据流；所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：将所述教室目标数据流导入到所述数据监测模型中进行分析计算；当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
本实施例具体应用于教育领域，用于对课堂的教学情况进行判断。具体而言，首先咨询教学质量评估专家，定义各类关键评分指标standEva_i与学生异常行为stuAbnBehav_i，为异常评分设置满分基准次数fullMark_i；针对异常行为严重程度，配置相应的权重参数standEvaWeight_i，各类异常行为的权重参数之和为1，并将相关的参数通过参数设置器以设置相应的质量评估模型，也就是教学质量的质量评估模型。
然后对学生日常行为中涉及教学质量评估的行为，比如打瞌睡的图片进行采集，从而形成相应的数据集，根据该数据集，通过相应的深度学习算法对模型进行训练，从而得到学生数据监测模型，并将其部署在计算节点上，然后通过数据采集节点，也就是摄像头对单位时间内的课堂视频图像进行实时采集编码压缩，并将视频图像传输给计算节点，计算节点解码课堂视频帧数据，实时检测学生的行为，一旦发现异常行为，如打瞌睡，便通过事件的方式将异常行为的信息发送中心服务器，也就是中心节点，即教学质量评估平台，具体的内容包括边缘设备的ID、摄像头的ID、教室的ID、以及被识别出来的学生的ID、以及事件的类别，比如学生在睡觉，吃东西大声说话等；由中心节点根据单位时间内各类异常行为的次数stuAbnBehavCnt_i，分别计算各类异常行为单项得分stuAbnBehavScore_i，根据异常行为相应指标的权重参数standEvaWeight_i，计算教学质量的综合评分，公式为totalPoint＝∑standEvaWeight_i*stuAbnBehavScore_i，具体的异常行为的种类数量，可以根据用户需求定义，也就是说i＝1...N。
实施例6：
如图2、3、4、5所示，本实施例提供一种基于边缘设备的活动质量评估系统的改造方法，将所述，包括：
S1：将现存的目标数据采集装置的数据传输目标，设定为行为监测器；所述边缘计算设备上设置有所述的行为监测模型；
S2：将所述边缘计算设备的结果输出对象，设定为所述中心服务器。
在具体的工程实现上，往往要基于现有的设备进行改造，比如说现在要在一个学校部署该系统，如果直接设置摄像头和边缘计算器结合的设备，成本便会非常高，而若采用基于现有的设备进行改造的方法，便会极大的减少所需要的成本。
同时，由于是改造工程，若采用传统的星型拓扑，那么往往需要对监控室进行大规模改造，大幅度升级原有的监控室内的机器设备以提供图像识别所需要的大量的计算量，这样一方面成本较高，另一方面往往需要一次性的提供大量的资金进行设备升级。而若采用边缘设备，由于中心节点所需要的计算量较小，故可以直接使用原有的监控室内的设备以提供中心节点的算力支持，并可以采用分段转换的方式进行改造，从而在短期内的资金投入成本较低，并且在改造过程中，还可以采用原型化的开发方式进行，譬如先构建一个小型，只有少数几个路径的拓扑网络，然后进行实际的测试实验，并根据实际的测试结果进行下一步的开发工作。
具体而言，还是以学校为例，学校的教室中往往都设置有摄像头，可直接在现有的摄像头的基础上，进行改造，具体而言，便是将原本应该传输到监控室的图像，通过增加一条线或者是其他的方式，传输给计算单元，也就是实施例1-4中所描述的行为监测器，由计算单元进行识别后将相应的识别结果传输给中心服务器进行评估，从而极大的节约了成本，在具体的实施方式上，可根据需要采用多个摄像头连接到一个边缘计算单元的方式存在，也就是说计算单元在处理的过程中，对教室内的场景进行了三维的立体建模之后在进行识别。同时在具体的拓扑结构上，即可以直接接入到原有的监控室-摄像头所组成的拓扑网络中，也可以在原有的监控室-摄像头所组成的拓扑网络上并行一个拓扑网络。
优选地，还包括：通过所述的监测模型部署器，将所述行为监测模型部署到所述边缘计算设备上。
同时，在具体的改造性施工上，也可以采用增量式的工作方式，先改造一个摄像头，接入计算节点和中心节点，然后通过监测模型部署器将模型导入到边缘设备中，然后将现已经搭建的系统网络运行起来，接着再部署一个边缘设备，并在系统运行状态下接入中心节点中，以一种增量化的方式不断扩大系统网络，循环往复，直到完成整个系统网络的搭建。同时，当需要对系统网络除了中心节点的升级时，也可以采用类似的方法进行，具体而言，当需要对监测模型进行升级时，可仅关闭现在要升级的这个计算节点，然后使用监测模型部署器对其进行升级，然后再关闭下一个要升级的计算节点，从而使得整个系统的运行中，只有正在进行升级的计算节点需要关闭，而不需要将整个的系统关闭进行升级，系统仍旧在运行中，从而减少了运行维护对设备的整体影响，相对于传统的星型拓扑，计算节点为中心节点的情况，避免了当需要对计算节点进行升级时，需要停止整个系统运行的情况。
通过上述实施例，本发明实现了：
(1)通过使用边缘设备，将原有的星型拓扑中的承担主要计算量的中心节点的计算量分担到各个边缘设备中进行，从而减少了中心节点运行过程中所需要的资源，从而降低了对于中心节点的配置需求，进而极大的提高了在设计开发过程中的灵活性，可根据需求的变化及时调整网络拓扑设计；
(2)通过使用边缘设备，减少了中心节点所需要的计算量，从而在成本上可以为中心节点设置大量的冗余计算量，从而提高了系统的可扩展性，可以实现简单的增量式的系统网络扩展，增加网络路径，而不需要对网络的其他节点如中心节点进行升级，从而适应系统网络的扩展；
(3)通过使用边缘设备，将模型的识别过程移动到边缘设备上而不是中心节点上，使得在运行维护，系统升级的过程中，涉及到模型本身的升级内容，无需对整个系统进行停机，只需要对正在升级的边缘设备进行停机升级，从而极大的降低了运行维护成本；
(4)通过采用边缘设备，可直接使用原有的设备以提供中心节点的算力支持，并可以采用分段转换的方式进行改造，从而在短期内的资金投入成本较低，并且在改造过程中，还可以采用原型化的开发方式进行，从而增强了改造的灵活性。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于边缘设备的图像处理系统，其特征在于，包括：
至少一个数据采集器，用于采集目标区域的目标图像数据；
至少一个监测终端，与所述数据采集器连接，将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
至少一个中心服务器，与所述监测终端连接，接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
2.根据权利要求1所述的一种基于边缘设备的图像处理系统，其特征在于，所述中心服务器对所述目标对象信息进行处理还包括：
统计在设定时间内每类目标对象信息发生的参考次数后，根据预先设定的关键评分指标参数、异常行为参数、满分基准次数参数计算每类目标对象信息的参考分数；
根据每类目标对象信息设置的权重参数及所述参考分数，统计出各类目标对象信息的综合参考评分。
3.根据权利要求1所述的一种基于边缘设备的图像处理系统，其特征在于：
至少一个所述数据采集器、至少一个所述监测终端组成一个图像数据处理单元，一个中心服务器对应多个图像数据处理单元；
不同图像数据处理单元处理同一或多个目标区域多个目标对象的各类数据。
4.根据权利要求1所述的一种基于边缘设备的图像处理系统，其特征在于，所述中心服务器接收来自所述监测终端的目标对象信息前，所述监测终端将所述目标对象信息包装为事件；
所述事件的内容具体包括：所述数据采集器的标识、所述监测终端的标识、所述事件的类型；
所述中心服务器根据所述数据采集器的标识、所述监测终端的标识获取所述目标区域的位置，根据所述事件的类型获取所述目标对象信息的行为类型。
5.根据权利要求2所述的一种基于边缘设备的图像处理系统，其特征在于，还包括：
模型训练服务器，与所述监测终端连接，将样本图像数据导入到深度学习算法模型中训练生成数据监测模型，并将所述数据监测模型下发给所述监测终端；
所述模型训练服务器，还用于将预先采集到的原始图像数据进行图像处理并生成样本图像数据，所述图像处理包括图像增强处理。
6.根据权利要求5所述的一种基于边缘设备的图像处理系统，其特征在于，还包括：监测模型部署器，用于从所述行为模型训练服务器上下载训练好的所述数据监测模型，并将所述数据监测模型部署到所述监测终端上。
7.根据权利要求5所述的一种基于边缘设备的图像处理系统，其特征在于，所述模型训练服务器还包括参数设置器，用于接收外部输入，并根据所述外部输入设置所述中心服务器的处理过程的关键评分指标参数、异常行为参数、满分基准次数参数、权重参数。
8.根据权利要求1所述的一种基于边缘设备的图像处理系统，其特征在于，
所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：
通过至少一个数据采集器，采集教室目标数据流；
所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：
将所述教室目标数据流导入到所述数据监测模型中进行分析计算；
当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；
所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：
接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
9.一种基于边缘设备的图像处理方法，其特征在于，包括：
通过至少一个数据采集器，采集目标区域的目标图像数据；
将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析；每个监测终端加载有至少一个数据监测模型，每个数据监测模型监测分析目标对象的一类数据；
当所述数据监测模型对所述目标图像数据进行监测分析时，监测到所述目标图像数据存在符合所述数据监测模型所监测的数据类型时，生成目标对象信息；
通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理。
10.根据权利要求9所述的一种基于边缘设备的图像处理方法，其特征在于，包括：
所述通过至少一个数据采集器，采集目标区域的目标图像数据包括：
通过至少一个数据采集器，采集教室目标数据流；
所述将所述数据采集器采集到的所述目标图像数据导入所述数据监测模型中进行监测分析包括：
将所述教室目标数据流导入到所述数据监测模型中进行分析计算；
当所述学生数据监测模型识别到所述教室目标数据流中，存在符合所述学生数据监测模型的检测行为时，生成学生行为信息；
所述通过至少一个中心服务器接收来自所述监测终端的目标对象信息，并对所述目标对象信息进行处理包括：
接收来自所述学生行为信息，并将所述学生行为信息通过预设的教学质量评估模型进行计算，产生教学活动质量评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319485.0A CN113065441A (zh) | 2021-03-25 | 2021-03-25 | 一种基于边缘设备的图像处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319485.0A CN113065441A (zh) | 2021-03-25 | 2021-03-25 | 一种基于边缘设备的图像处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065441A true CN113065441A (zh) | 2021-07-02 |
Family
ID=76561923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110319485.0A Pending CN113065441A (zh) | 2021-03-25 | 2021-03-25 | 一种基于边缘设备的图像处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065441A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105491355A (zh) * | 2016-01-28 | 2016-04-13 | 江苏科技大学 | 一种基于手机图像采集的学生课堂监测系统及其监测方法 |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
| WO2020082971A1 (zh) * | 2018-10-24 | 2020-04-30 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
| CN111405241A (zh) * | 2020-02-21 | 2020-07-10 | 中国电子技术标准化研究院 | 一种用于视频监控的边缘计算方法和系统 |
| CN111446988A (zh) * | 2020-03-18 | 2020-07-24 | 南京万形电气有限公司 | 基于hplc载波通信的低压台区变线户拓扑识别边缘计算方法 |
-
2021
- 2021-03-25 CN CN202110319485.0A patent/CN113065441A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105491355A (zh) * | 2016-01-28 | 2016-04-13 | 江苏科技大学 | 一种基于手机图像采集的学生课堂监测系统及其监测方法 |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| WO2020082971A1 (zh) * | 2018-10-24 | 2020-04-30 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
| CN111405241A (zh) * | 2020-02-21 | 2020-07-10 | 中国电子技术标准化研究院 | 一种用于视频监控的边缘计算方法和系统 |
| CN111446988A (zh) * | 2020-03-18 | 2020-07-24 | 南京万形电气有限公司 | 基于hplc载波通信的低压台区变线户拓扑识别边缘计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197652B (zh) | 用于生成信息的方法和装置 | |
| CN105912500A (zh) | 机器学习模型生成方法和装置 | |
| CN109214446B (zh) | 潜力绩优人员类型识别方法、系统、终端及计算机可读存储介质 | |
| CN113632099A (zh) | 分布式产品缺陷分析系统、方法及计算机可读存储介质 | |
| CN111989696A (zh) | 具有顺序学习任务的域中的可扩展持续学习的神经网络 | |
| CN110942086A (zh) | 数据预测优化方法、装置、设备及可读存储介质 | |
| US11410568B2 (en) | Dynamic evaluation of event participants using a smart context-based quiz system | |
| CN113486584B (zh) | 设备故障的预测方法、装置、计算机设备及计算机可读存储介质 | |
| CN111949795A (zh) | 工单自动分类方法及装置 | |
| US20220366244A1 (en) | Modeling Human Behavior in Work Environment Using Neural Networks | |
| CN112200238A (zh) | 基于声响特征的硬岩拉剪破裂识别方法与装置 | |
| CN112766402A (zh) | 算法选择方法、装置和电子设备 | |
| CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
| CN113065441A (zh) | 一种基于边缘设备的图像处理系统及方法 | |
| CN111445006A (zh) | 开源社区中开发者代码提交次数的预测方法及系统 | |
| JP4643586B2 (ja) | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム | |
| CN113486583B (zh) | 设备的健康评估方法、装置、计算机设备及计算机可读存储介质 | |
| CN113763928A (zh) | 音频类别预测方法、装置、存储介质及电子设备 | |
| CN114692888A (zh) | 系统参数处理方法、装置、设备及存储介质 | |
| CN110889396A (zh) | 能源互联网扰动分类方法、装置、电子设备和存储介质 | |
| CN114722061B (zh) | 数据处理方法及装置、设备、计算机可读存储介质 | |
| CN112905758B (zh) | 一种基于电话机器人的智能培训管理方法及系统 | |
| JP2019159613A (ja) | 学習データ生成方法、学習データ生成プログラムおよびデータ構造 | |
| CN111738886B (zh) | 基于神经网络的学习报告分析系统 | |
| CN112434149B (zh) | 信息提取方法和装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |