CN113792691A - 一种视频识别方法、系统、设备及介质 - Google Patents
一种视频识别方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN113792691A CN113792691A CN202111108654.2A CN202111108654A CN113792691A CN 113792691 A CN113792691 A CN 113792691A CN 202111108654 A CN202111108654 A CN 202111108654A CN 113792691 A CN113792691 A CN 113792691A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- video
- result
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006399 behavior Effects 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000019633 pungent taste Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种视频识别方法、系统、设备及介质，通过边缘节点进行图像识别，边缘服务器对识别结果进行过滤，云服务器只根据识别结果确定出违规结果，只获取存在违规行为的违规结果所在时间段的视频，减轻了云服务器的计算量以及节约了存储空间。并且，边缘服务器还会对相似的存在违规行为的图像进行过滤，防止同一个存在违规行为的图像重复出现，避免了云服务器会接收到较多同一违规行为的视频，减轻了云服务器的计算量以及节约了存储空间。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种视频识别方法、系统、设备及介质。
背景技术
对视频中的图像进行智能识别，可以识别出视频的违规行为，根据识别到的违规行为进行自动告警，可以减少在视频识别方面的人力耗费。视频的图像识别都是发送给云服务器，由云服务器进行图像识别的。
但是，视频如果比较长，视频的图像识别在云服务器上进行，视频就需要上传到云服务器上，上传的过程也会花费时间。云服务器将视频中的每个图像都进行识别也需要花费较多时间，并且，云服务器会接收到来自多个设备的视频，会占用云服务器较多内存。
因此，如何减少对视频进行图像识别花费的时间以及占用的内存，是亟待解决的问题。
发明内容
本申请提供了一种视频识别方法、系统、设备及介质，通过边缘节点进行图像识别，边缘服务器对识别结果进行过滤，云服务器只根据识别结果确定出违规结果，只获取违规结果所在时间段的视频，减轻了云服务器的计算量以及节约了存储空间。并且，边缘服务器还会对相似的存在违规行为的图像进行过滤，防止同一个存在违规行为的图像重复出现，避免了云服务器会接收到较多同一违规行为的视频，减轻了云服务器的计算量以及节约了存储空间。
目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面，本申请提供了一种方法，视频识别系统，其特征在于，所述系统包括边缘节点、边缘服务器以及云服务器，包括：边缘节点用于对视频中的多帧待识别图像进行识别，得到多个识别结果，其中，每帧待识别图像对应至少一个识别结果，所述识别结果包括多个元素，其中，一个元素对应一个目标物，一个元素的值用于表示所述待识别图像中是否包含对应的目标物；云服务器用于根据接收到的每帧图像对应的识别结果中的每一个元素与预设识别结果中的每一个元素进行对比，确定每帧图像对应的违规结果，违规结果用于表示图像中是否存在违规行为，其中，若所述违规结果中存在表示所述识别结果与所述预设识别结果不相同的元素，则所述违规结果对应的图像中存在违规行为；边缘服务器用于根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像；边缘服务器还用于根据每帧目标图像对应的采集时间，获取每帧目标图像对应目标视频，目标视频为包括所述采集时间的预设时长的视频。
第二方面，本申请提供了一种视频识别方法，其特征在于，包括：边缘节点对视频中的多帧待识别图像进行识别，得到多个识别结果，其中，每帧待识别图像对应至少一个识别结果，所述识别结果包括多个元素，其中，一个元素对应一个目标物，一个元素的值用于表示所述待识别图像中是否包含对应的目标物；云服务器根据接收到的每帧图像对应的识别结果中的每一个元素与预设识别结果中的每一个元素进行对比，确定每帧图像对应的违规结果，违规结果用于表示图像中是否存在违规行为，其中，若所述违规结果中存在表示所述识别结果与所述预设识别结果不相同的元素，则所述违规结果对应的图像中存在违规行为；边缘服务器根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像；边缘服务器根据每帧目标图像对应的采集时间，获取每帧目标图像对应目标视频，所述目标视频为包括所述采集时间的预设时长的视频。
第三方面，本申请提供了一种计算机设备，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述存储器中的计算机程序以实现如第一方面中所述边缘节点的功能，或者实现如第一方面中所述边缘服务器，或者实现如第一方面中所述云服务器的功能。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当上述计算机程序在计算机上运行时，使得上述计算机执行如第一方面中所述边缘节点的功能，或者执行如第一方面中所述边缘服务器，或者执行如第一方面中所述云服务器的功能。
综上所述，本申请提供的一种视频识别方法、系统、设备及介质，通过边缘节点进行视频中图像识别，边缘服务器对识别结果进行过滤，云服务器只根据识别结果确定出违规结果，只获取存在违规行为那段时间的视频。并且，边缘服务器还会对相似的存在违规行为的图像进行过滤，防止同一个存在违规行为的图像重复出现，避免了云服务器会接收到较多同一违规行为的视频，减轻了云服务器的计算量以及节约了存储空间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种视频识别系统的结构示意图；
图2为本申请实施例提供的一种视频识别的方法流程示意图；
图3为本申请实施例提供的一种视频识别的方法的应用场景示意图；
图4为本申请实施例提供的一种存在违规行为的图像的hash值计算结果的示意图；
图5为本申请实施例提供的一种查找相似的存在违规行为的图像的方法的示意图；
图6为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、图像识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图像识别技术是人工智能中一门重要的技术，其产生目的是让电子设备代替人类去处理大量的图像信息。图像包括前景与背景，而图像识别技术中最关键的步骤在于电子设备如何从图像的前景中找出目标物，确定目标物的位置并识别出该目标物的类别。图像识别技术在众多领域中得到了应用，例如自动驾驶领域的行人及车辆识别；公共安全领域的人脸识别、指纹识别；农业领域的种子识别、食品品质检测；医学领域的心电图识别等。
图像识别技术还可以应用于视频的识别，识别视频中的图像存在的安全隐患或违规行为等等。根据识别到的违规行为进行自动告警，可以减少在检测视频方面的人力耗费。视频的图像识别都在云服务器上进行，但是如果视频往往比较长，如包括全天的环境监控视频，将视频中的图像进行图像识别需要花费较多时间，也会占用云服务器较多内存。并且，视频的图像识别在云服务器上进行，视频就需要上传到云服务器上，此过程也会花费时间。
为了解决云服务器对视频进行图像识别时延较大以及占用云服务器内存较多的问题，本申请提供了一种视频识别系统10，如图1所示包括边缘节点110、边缘服务器120以及云服务器130，由边缘节点110对视频的图像进行图像识别，得到图像中目标物并进行标记，得到识别结果，边缘服务器120对图像的识别结果进行筛选过滤，云服务器130进一步对过滤后的识别结果中是否存在违规行为进行判断以及对存在违规行为的一小段视频进行存储。
下面对本申请提供的一种视频识别系统10进行详细介绍。
边缘节点110用于从摄像头等设备上获取视频，并通过识别模型识别视频中的多帧待识别图像中的目标物，得到多个识别结果，每帧待识别图像对应至少一个识别结果，识别结果用于表示所述待识别图像中是否包含目标物。其中，识别模型可以是由云服务器130进行训练得到的，并由云服务器130通过边缘服务器120发送给边缘节点110；识别模型得到的识别结果为是否包含目标物，比如，待识别图像是从后厨工作视频中得到的，识别结果可以是厨师是否佩戴厨师帽，是否佩戴口罩等等；得到识别结果后，将识别结果和对应的图像以及图像信息发送到边缘服务器120。
边缘节点110是指距离采集视频画面的摄像头较近的电子设备，如连接摄像头的电脑，还可以是手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigitalassistant，PDA)等电子设备，本申请对该边缘节点110的具体类型不作任何限制。
边缘服务器120用于接收边缘节点110发送的识别结果；对识别结果进行过滤，得到目标识别结果，并发往云服务器130，由云服务器130根据目标识别结果得到违规结果。其中，边缘服务器120进行过滤的规则可以是选取预选时间段的图像中的识别结果作为目标识别结果，或者选取图像中的特定区域的识别结果作为目标识别结果。边缘服务器120还会对相似的图像进行过滤，防止存在较多同一违规行为的图像，根据云服务器130发送的违规结果确定存在违规行为的目标图像；边缘服务器120还能根据所述每帧目标图像对应的采集时间，获取每帧目标图像对应目标视频，以及接收云服务器130训练好的识别模型，并将识别模型发给边缘节点110。
边缘服务器120可以是边缘环境中的一个或多个边缘计算设备，边缘服务器120指在地理位置上距离边缘节点110较近的，用于提供计算、存储、通信资源的边缘计算设备集群，比如位于道路两侧的边缘计算一体机，区县级别的边缘服务器120。应理解，一个边缘服务器120可以接收来自周围多个边缘节点110的数据，为多个边缘节点110提供计算等服务。
云服务器130用于接收边缘服务器120发送的目标识别结果，根据目标识别结果和预设规则得到违规结果，违规结果用于表示图像中是否存在违规行为，如厨师不佩戴厨师帽就属于违规行为，并根据违规结果进行告警通知等。云服务器130还用于以及对识别模型进行训练，将训练好的识别模型下发给边缘服务器120，由边缘服务器120转发给边缘节点110。云服务器130还能接收边缘服务器120发送的目标视频，并保存目标视频。在一些实施例中，云服务器130根据目标视频进行告警等。
云服务器130是云计算模式下利用基础资源向用户提供云服务的实体。云服务器130利用的基础资源可以是来自云数据中心和云服务平台，所述云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源)，云数据中心包括的计算资源可以是大量的计算设备(例如服务器)。
在一些实施例中，边缘服务器120可以对边缘节点110进行管理。具体来说：边缘服务器120接收边缘节点110的接入指令，该接入指令携带有唯一识别标识和接入权限标识，边缘服务器120根据该接入指令对该唯一识别标识和接入权限标识进行验证，即通过预设的验证信息表进行验证，该验证信息表可以是通过管理终端上传到云服务器130，云服务器130再将该验证信息表发送到边缘服务器120，当验证通过时，将该边缘节点110连接到该边缘服务器120。边缘服务器120还可以断开与某个边缘节点110的连接，不再对该边缘节点110进行监控。
在一些实施例中，在边缘服务器120可以进行安全检测，具体来说：包括入侵检测、访问控制、防御策略、密钥管理等等。其中，边缘服务器120可以设置黑白名单进行安全监控，边缘设备110需要调用注册接口注册到边缘服务器120上，如果注册日志中有多次注册失败的日志或者是不符合协议的注册，可认为有设备尝试非法入侵边缘服务器120，检测到入侵后可把非法设备自动加入到黑名单中屏蔽并发告警邮件。边缘服务器120还可以对数据进行加密处理，可以是对数据设置哈希(hash)值标签。
综上所述，本申请提供的一种视频识别系统，通过边缘节点进行视频中图像识别，边缘服务器对识别结果进行过滤，云服务器只根据识别结果确定出违规结果，只获取存在违规行为那段时间的视频。并且，边缘服务器还会对相似的存在违规行为的图像进行过滤，防止同一个存在违规行为的图像重复出现，避免了云服务器会接收到较多同一违规行为的视频，减轻了云服务器的计算量以及节约了存储空间。
下面对本申请提供的一种视频识别方法进行详细描述，如图2所示，该视频识别方法可以包括以下步骤：
S201、边缘节点110接收视频，得到多帧待识别图像。
边缘节点110从摄像头接收到视频后，将按照预设间隔时间对视频进行抽帧，得到视频中的多个待识别图像，图像包括目标物以及除目标物外的背景。
举例来说，为确保后厨工作安全以及卫生，会对后厨进行拍摄录像，则后厨视频中待识别图像的目标物可以包括人、厨师帽、口罩、烟头等等。若视频为楼道安全检测视频，则目标物可以包括楼道垃圾、防火门、烟头等等。下文中将以后厨环境的视频为例进行说明。
S202、边缘节点110将待识别图像使用识别模型进行识别，得到多个识别结果。
边缘节点110通过识别模型识别多个待识别图像中的目标物，得到各个待识别图像的识别结果，其中，每帧待识别图像对应至少一个识别结果，识别结果用于表示待识别图像中是否包含各个目标物。
下面对识别模型识别图像中的目标物的过程进行详细介绍。
识别模型识别图像中的目标物的过程，具体包括：在待识别图像中生成多个检测框，每个检测框的位置或大小都不相同；提取每个检测框中的图像特征，根据每个检测框中的图像特征对每个检测框中的图像进行识别，在所有目标框中得到包含目标物的检测框以及目标物的类别和类别概率，其中，可能存在同一个目标物被多个检测框检测得到，识别模型将从中选择一个类别概率最大的检测框，或者根据IoU算法确定一个检测框，使得一个目标物只被一个检测框检测到；进而得到每个待识别图像的识别结果。
其中，识别模型可由云服务器130通过YOLO(You Only Look Once)算法进行训练得到的。训练识别模型的过程，具体包括：将已标注图像类别的图像集作为样本集输入待训练的识别模型，待训练的识别模型将识别样本的图像类别并输出，把识别模型的输出的类别识别结果与样本的标签进行对比，并不断调整识别模型的结构参数，直到识别模型输出的识别结果与标签对比的结果达到一定正确率阈值，则可得到训练好的识别模型。其中，训练使用的激活函数可以参开下述公式(1)：
其中，ai为固定参数，xi为神经网络中输入层的数据，yi为将输入层数据转换后，输入到隐藏层的数据。
另外，训练时还可以设置预设训练条件，预设训练条件可以是损失函数达到预设阈值等等。其中，损失函数可由三部分组成：坐标误差，交并比误差和分类误差，损失函数表示识别模型输出的识别结果的坐标、交并比、分类分别与标签的坐标、交并比、分类的误差值，其中，交并比是指的检测到同一个目标物的多个检测框的交集与并集的比值。应理解，本申请对识别模型的类型、训练方式等不作具体限定。
下面对识别结果的表示方法进行举例说明。
识别结果包括多个元素，其中，一个元素对应一个目标物，一个元素的值用于表示所述待识别图像中是否包含对应的目标物。举例来说，识别结果可以为只包含0与1两种元素的数组，1表示存在该目标物，0表示不存在该目标物。比如，视频为后厨的录像视频，得到模型输出的识别结果可以为包含四个元素的数组，其中，第一项表示是否包含人、第二项表示人是否佩戴厨师帽、第三项表示人是否佩戴口罩、第四项表示人是否抽烟等等。
应理解，若待识别图像中包括多个人，则将得到多个识别结果，不同识别结果表示不同人关于目标物的识别结果。如图2所示，图2为获取到的后厨的视频的一个待识别图像，其中，识别到图像中包括两个人，因此，可以得到两个识别结果，识别结果A为(1,0,0,0)，第一项表示有人、第二项表示此人没有佩戴厨师帽、第三项此人表示没有佩戴口罩、第四项表示此人没有抽烟，识别结果B为(1,1,0,0)，第一项表示有人、第二项表示此人有佩戴厨师帽、第三项表示此人没有佩戴口罩、第四项表示此人没有抽烟。
在一些实施例中，边缘节点110还将设置预设时间段，对待识别图像按照预设时间段进行过滤，然后对过滤后的待识别图像进行识别。具体地，边缘节点110根据该预设时间段对得到的待识别图像进行过滤，将过滤后的待识别图像使用识别模型进行违规识别。举例来说，获取到的后厨视频是全天的，边缘节点110可以根据预设时间段只获取工作时间段的视频的图像，例如，将中午12：00-14：00，晚上18：00-凌晨24：00等等餐馆营业时间的图像进行识别，如果是学校的后厨可能还要考虑寒暑假的时间段不进行识别检测，只对工作时间段的视频的图像进行识别。
S203、边缘节点110将待识别图像以及图像信息发送给边缘服务器120。
边缘节点110将多帧待识别图像以及多帧待识别图像中每帧待识别图像对应的图像信息发送给所述边缘服务器120，所述图像信息包括所述识别结果、图像标识与图像的采集时间。
S204、边缘服务器120对待识别图像进行过滤，确定目标识别结果。
边缘服务器120节点根据预设规则根据图像信息对所述待识别图像进行过滤，进而在识别结果中得到目标识别结果。
其中，预设规则可以是识别结果中是否包含特定元素，以图2中的应用场景为例，预设规则为识别结果第一项为1，即从待识别图像中过滤得到包含人的图像，这些包含人的图像的识别结果为目标识别结果。在图像中存在只有一个厨师帽放在了桌子上的情况下，得到的识别结果为(0,1,0,0)，或者，图像中没有任何目标物，识别结果为(0,0,0,0)，基于上述预设规则，可以将该识别结果过滤掉。
预设规则还可以包括预设时间段、预设区域以及预设上传时间。举例来说，在后厨环境中，只考察工作时间段的识别结果，在非工作时间段是否有带厨师帽该项可以是未带厨师帽，则将过滤掉非工作时间段的识别结果，将工作时间段的识别结果保存为目标识别结果。另外，后厨包括食品粗加工区、餐用具清洗区、餐用具消毒区、餐用具保洁区、专间、预进间等，摄像头可以拍摄到的区域较大，但一部分区域是不需要进行目标物识别的，根据预设区域将只识别特定区域地点的图像。预设上传时间，为视频进行识别的时间间隔，应理解，预设上传时间是大于预设间隔时间的，若预设间隔时间为10秒，预设上传时间为10分钟，则表示每10分钟对前10分钟的视频中的图像进行识别，前10分钟的视频中的图像是将前10分钟的视频每10秒抽帧得到的。
S205、边缘服务器120将目标识别结果发送给云服务器130。
S206、云服务器130根据预设识别结果与目标识别结果的对应关系，根据目标识别结果得到违规结果。
预设识别结果用于判定目标识别结果中每一项是否违规，将目标识别结果与预设识别结果每一项进行比较，得到违规结果，其中，违规结果中每一个元素表示目标识别结果与预设识别结果对应的该项元素是否相同，若违规结果中包含了比较结果为不相同的元素，则认为该目标识别结果包含违规行为。
以图2所示待识别图像为例，如果预设识别结果为(1，1，1，0)，则表示厨师戴厨师帽、戴口罩以及不抽烟为不违规，若目标识别结果中任一项与预设识别结果不同，则该目标识别结果包含违规行为。识别结果A和识别结果B均为目标识别结果，将目标识别结果与预设识别结果不同的记为1，若违规结果中包括数字1，则表示该目标识别结果包含违规行为，则目标识别结果A(1，0，0，0)得到的违规结果A为(0，1，1，0)，目标识别结果B(1，1，0，0)得到的违规结果B为(0，0，1，0)，其中，两个违规结果中都包含数字1，表示这两个目标识别结果包含违规行为。
应理解，判断目标识别结果与预设识别结果中每一个元素是否相同，可以将目标识别结果与预设识别结果中每一项元素进行异或运算，其中，异或运算的结果为0则表示目标识别结果与预设识别结果对应的元素相同，异或运算的结果为1则表示目标识别结果与预设识别结果对应的元素不相同。
S207、云服务器130向边缘服务器120发送包含违规行为的违规结果以及图像信息。
S208、边缘服务器120对存在违规行为的图像进行过滤，确定存在违规行为的目标图像，并生成目标视频获取指令。
当违规结果表示存在违规行为时，云服务器130向边缘服务器120节点发送该存在违规行为的违规结果和图像信息，边缘服务器120根据违规结果对应图像信息获取到该图像；但经常会存在相似的违规行为的图像，举例来说，某厨师在工作时间一直没有佩戴厨师帽，那么将会得到基于同一违规行为的大量图像，又因为在后厨，同一工作人员所在工作岗位通常是固定的，因此在一定时间内，获取的违规行为的图像是相似的，此时，边缘服务器120将对存在违规行为的图像进行过滤，删除相似的存在违规行为的图像，得到存在违规行为的目标图像；并根据目标图像生成目标视频获取指令，该指令中携带有违规结果对应的图像采集时间。
下面对边缘服务器120将对存在违规行为的图像进行过滤，删除相似的存在违规行为的图像，得到存在违规行为的目标图像，进行详细描述。
首先，初始化一个包含n个元素的数组，每个元素初始化为0；然后计算一个存在违规行为的图像的K个hash值，K个hash值是根据K个不同hash函数计算得到的；其中，计算hash值是指将图像通过计算后，用一个字符(hash值)进行表示，举例来说，hash函数可以包括：将图像转化为灰度图，计算像素值的平均值，该平均值就为图像的hash值；或者，计算每一行像素值的差值后，再计算平均值，该平均值就为图像的hash值；或者，将图像转化为灰度图，后将像素值进行离散余弦变换后，再计算平均值，该平均值就为图像的hash值。应理解，本方案是为了找出相似的图像，因此不能采用加密hash值计算方式，加密hash值计算方式会使得数据存在细小不同时，hash值也会不相同。
将存在违规行为的图像的K个hash值在数组中的对应元素位置改为1，例如，如图3所示，若违规行为的图像1的3个hash值为3、6、7，则将数组中第3位、第6位以及第7位的数值置为1。
然后计算下一个存在违规行为的图像的K个hash值，若该存在违规行为的图像的hash值在数组中对应的元素位置都为1，则说明该存在违规行为的图像是重复的，则将对应违规结果删除；若存在违规行为的图像的hash值在数组中对应的元素不全都为1，则说明该存在违规行为的图像不是重复的，并把该存在违规行为的图像的hash值在数组中将对应的元素置1。最终能将相似的存在违规行为的图像删除，保留不同的存在违规行为的图像。
如图5所示，存在违规行为的图像2计算得到3个hash值为3、5和8，后两位hash值对应数组的的值不为1，则说明没有与存在违规行为的图像2相似的图像，将保留图像2，并将数组中第5和8位也置为1。
在一些实施例中，边缘服务器120对存在违规行为的图像进行过滤，删除相似存在违规行为的图像时，还会比较相似存在违规行为的图像的图像采集时间的差值是否大于阈值，若该相似存在违规行为的图像与已经却确认为目标图像中每个图像采集时间的差值都大于阈值，则该相似存在违规行为的图像将保留，该相似存在违规行为的图像也为目标图像。也即是说，只删除时间间隔太近的相似图像。
S209、边缘服务器120向边缘节点110发送目标视频获取指令。
S210、边缘节点110根据目标视频获取指令发送目标视频给边缘服务器120。
边缘节点110根据目标视频获取指令获取目标图像对应的图像采集时间的一定时间范围内的目标视频，并将目标视频发送给边缘服务器120。比如，获取目标图像的图像采集时间前后5分钟内的视频，将该视频发送给边缘服务器120。
S211、边缘服务器120转发目标视频给云服务器130。
S212、云服务器130保存目标视频。
在一些实施例中，在步骤S205中，边缘服务器120还将发送目标识别结果对应的图像，在步骤S206中，云服务器130对根据目标识别结果得到违规结果后，还将对存在违规行为的图像进行过滤，删除相似的存在违规行为的图像，得到存在违规行为的目标图像，生成目标视频获取指令，然后向边缘服务器120发送目标视频获取指令，边缘服务器120向边缘节点110转发目标视频获取指令，边缘节点110根据目标视频获取指令发送目标视频给边缘服务器120，边缘服务器120转发目标视频给云服务器130，云服务器130保存目标视频。
综上所述，本申请提供的一种视频识别方法，通过边缘节点进行视频中图像识别，边缘服务器对识别结果进行过滤，云服务器只根据识别结果确定出违规结果，只获取存在违规行为那段时间的视频。并且，边缘服务器还会对相似的存在违规行为的图像进行过滤，防止同一个存在违规行为的图像重复出现，避免了云服务器会接收到较多同一违规行为的视频，减轻了云服务器的计算量以及节约了存储空间。
参见图6，图6为本申请实施例提供的一种电子设备的结构示意图。其中，所述电子设备600可以是前述内容中的边缘节点110、边缘服务器120或者云服务器130。如图6所示，电子设备600包括：处理器610、通信接口620以及存储器630，所示处理器610、通信接口620以及存储器630通过内部总线640相互连接。
处理器610、通信接口620和存储器630可通过总线方式连接，也可通过无线传输等其他手段实现通信。本申请实施例以通过总线640连接为例，其中，总线640可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。所述总线640可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
所述处理器610可以由一个或者多个通用处理器构成，例如中央处理器(CentralProcessing Unit，CPU)，或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(Application-Specific Inegrated Circuit，ASIC)、可编程逻辑器件(ProgrammableLogic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)、现场可编程逻辑门阵列(Field-Programmable GateArray，FPGA)、通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。处理器610执行各种类型的数字存储指令，例如存储在存储器630中的软件或者固件程序，它能使电子设备600提供较宽的多种服务。
具体地，所述处理器610可以由至少一个通用处理器构成，例如中央处理器(Central Processing Unit，CPU)，或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(Application-Specific Integrated Circuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)、现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)、通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。处理器610执行各种类型的数字存储指令，例如存储在存储器630中的软件或者固件程序，它能使电子设备600提供较宽的多种服务。
存储器630可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器630也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器630还可以包括上述种类的组合。其中，存储器630可以存储有应用程序代码以及程序数据。程序代码可以实现图像识别，对识别结果进行过滤，根据识别结果确定出违规结果等等。还可以用于执行图2实施例描述的其他步骤，这里不再进行赘述。所述存储器630的代码可以包括实现边缘节点、边缘服务器以及云服务器功能的代码，边缘节点的功能包括图1中的边缘节点110的功能，例如从摄像头等设备上获取视频，并通过识别模型识别图像中的目标物，得到视频的图像中目标物的识别结果，具体可用于执行前述方法的步骤S201、步骤S202、步骤S203以及步骤S210及其可选步骤，这里不再进行赘述。边缘服务器的功能包括图1中的边缘服务器120的功能，例如接收边缘节点110发送的识别结果；对识别结果进行过滤，得到目标识别结果，并发往云服务器130，以及根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像等，具体可用于执行前述方法的步骤S204、步骤S205、步骤S208、步骤S209以及步骤S211及其可选步骤，这里不再进行赘述。云服务器的功能包括图1中的云服务器130的功能，例如根据接收到的每帧图像对应的识别结果确定每帧图像对应的违规结果等，，具体可用于执行前述方法的步骤S206、步骤S207以及步骤S212及其可选步骤，这里不再进行赘述。
通信接口620可以为有线接口(例如以太网接口)，可以为内部接口(例如高速串行计算机扩展总线(Peripheral Component Interconnect express,PCIe)总线接口)、有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，用于与其他设备或模块进行通信。
需要说明的，图6仅仅是本申请实施例的一种可能的实现方式，实际应用中，所述电子设备还可以包括更多或更少的部件，这里不作限制。关于本申请实施例中未示出或未描述的内容，可参见前述图2所述实施例中的相关阐述，这里不再赘述。图6所示的电子设备还可以是多个计算节点构成的计算机集群，本申请不作具体限定。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在处理器上运行时，图2所示的方法流程得以实现。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，图2所示的方法流程得以实现。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc,DVD)、或者半导体介质。半导体介质可以是SSD。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种视频识别系统，其特征在于，所述系统包括边缘节点、边缘服务器以及云服务器，包括：
所述边缘节点用于对视频中的多帧待识别图像进行识别，得到多个识别结果，其中，每帧待识别图像对应至少一个识别结果，所述识别结果包括多个元素，其中，一个元素对应一个目标物，一个元素的值用于表示所述待识别图像中是否包含对应的目标物；
所述云服务器用于根据接收到的每帧图像对应的识别结果中的每一个元素与预设识别结果中的每一个元素进行对比，确定每帧图像对应的违规结果，所述违规结果用于表示图像中是否存在违规行为，其中，若所述违规结果中存在表示所述识别结果与所述预设识别结果不相同的元素，则所述违规结果对应的图像中存在违规行为；
所述边缘服务器用于根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像；
所述边缘服务器还用于根据所述每帧目标图像对应的采集时间，获取每帧目标图像对应的目标视频，所述目标视频为包括所述采集时间的预设时长的视频。
2.根据权利要求1所述系统，其特征在于，所述边缘服务器具体用于：
根据所述云服务器发送的每帧图像的违规结果，确定存在违规行为的图像以及所述存在违规行为的图像的hash值；
根据所述存在违规行为的图像的hash值，确定所述目标图像。
3.根据权利要求2所述系统，其特征在于，
所述边缘节点还用于将所述多帧待识别图像以及所述多帧待识别图像中每帧待识别图像对应的图像信息发送给所述边缘服务器，所述图像信息包括所述识别结果、图像标识与图像采集时间；
所述边缘服务器还用于根据所述图像信息得到第一图像集合，所述第一图像集合包括所述图像信息符合预设条件的图像，所述预设条件包括所述图像采集时间属于预设时间段；
所述云服务器用于根据接收到的每帧图像对应的识别结果中的每一个元素与预设识别结果中的每一个元素进行对比，确定每帧图像对应的违规结果，具体包括：
所述云服务器用于根据所述第一图像集合中每帧图像的识别结果中的每个元素与所述预设识别结果中每个元素进行对比，确定每帧图像对应的违规结果。
4.根据权利要求3所述系统，其特征在于，所述边缘服务器具体用于：
根据K个不同的哈希函数确定每个存在违规行为的图像的K个hash值；
根据所述每个存在违规行为的图像的K个hash值，确定所述目标图像，其中，每个目标图像的K个hash值与其余任意一个目标图像的K个hash值不完全相同。
5.根据权利要求4所述系统，其特征在于，所述边缘服务器具体用于：
获取第一图像的K个hash值以及N个hash值，所述N个hash值是所述存在违规行为的图像中已被确认为目标图像的图像对应的hash值，所述第一图像为所述存在违规行为的图像中的任意一个；
在所述第一图像的K个hash值与所述N个hash值中存在不同值时，确认所述第一图像为所述目标图像。
6.根据权利要求5所述系统，其特征在于，所述边缘服务器具体用于：
若所述N个hash值中存在所述第一图像的K个hash值，且所述第一图像与所述存在违规行为的图像中已被确认为目标图像中的每个图像的图像采集时间的差值大于阈值，确认所述第一图像为所述目标图像。
7.一种视频识别方法，其特征在于，包括：
边缘节点对视频中的多帧待识别图像进行识别，得到多个识别结果，其中，每帧待识别图像对应至少一个识别结果，所述识别结果包括多个元素，其中，一个元素对应一个目标物，一个元素的值用于表示所述待识别图像中是否包含对应的目标物；
云服务器根据接收到的每帧图像对应的识别结果中的每一个元素与预设识别结果中的每一个元素进行对比，确定每帧图像对应的违规结果，所述违规结果用于表示图像中是否存在违规行为；
边缘服务器根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像；
所述边缘服务器根据所述每帧目标图像对应的采集时间，获取每帧目标图像对应目标视频，所述目标视频为包括所述采集时间的预设时长的视频。
8.根据权利要求7所述方法，其特征在于，所述边缘服务器根据云服务器发送的每帧图像对应的违规结果，确定存在违规行为的目标图像，包括：
所述边缘服务器根据所述云服务器发送的每帧图像的违规结果，确定存在违规行为的图像以及所述存在违规行为的图像的hash值；
所述边缘服务器根据所述存在违规行为的图像的hash值，确定所述目标图像。
9.一种计算机设备，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述存储器中的计算机程序以实现如权利要求1至6任一权利要求中所述边缘节点的功能，或者实现如权利要求1至6任一权利要求中所述边缘服务器，或者实现如权利要求1至6任一权利要求中所述云服务器的功能。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至6任一权利要求中所述边缘节点的功能，或者实现如权利要求1至6任一权利要求中所述边缘服务器，或者实现如权利要求1至6任一权利要求中所述云服务器的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111108654.2A CN113792691B (zh) | 2021-09-22 | 2021-09-22 | 一种视频识别方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111108654.2A CN113792691B (zh) | 2021-09-22 | 2021-09-22 | 一种视频识别方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792691A true CN113792691A (zh) | 2021-12-14 |
| CN113792691B CN113792691B (zh) | 2024-03-22 |
Family
ID=79184052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111108654.2A Active CN113792691B (zh) | 2021-09-22 | 2021-09-22 | 一种视频识别方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792691B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500536A (zh) * | 2022-01-27 | 2022-05-13 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114627420A (zh) * | 2022-03-23 | 2022-06-14 | 北京数字政通科技股份有限公司 | 一种城市管理违规事件信息采集方法及系统 |
| CN116866666A (zh) * | 2023-09-05 | 2023-10-10 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523652A (zh) * | 2018-09-29 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 |
| US20190236371A1 (en) * | 2018-01-30 | 2019-08-01 | Deluxe Entertainment Services Group Inc. | Cognitive indexing of images in digital video content |
| US20190294878A1 (en) * | 2018-03-23 | 2019-09-26 | NthGen Software Inc. | Method and system for obtaining vehicle target views from a video stream |
| CN111325119A (zh) * | 2020-02-09 | 2020-06-23 | 华瑞新智科技（北京）有限公司 | 一种安全生产的视频监控方法及系统 |
| CN112464818A (zh) * | 2020-11-27 | 2021-03-09 | 北京软通智慧城市科技有限公司 | 后厨监管方法、装置、设备及存储介质 |
| CN113221721A (zh) * | 2021-05-08 | 2021-08-06 | 广州虎牙科技有限公司 | 图像识别方法、装置、设备及介质 |
| CN113408464A (zh) * | 2021-06-30 | 2021-09-17 | 深圳市商汤科技有限公司 | 一种行为检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-22 CN CN202111108654.2A patent/CN113792691B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190236371A1 (en) * | 2018-01-30 | 2019-08-01 | Deluxe Entertainment Services Group Inc. | Cognitive indexing of images in digital video content |
| US20190294878A1 (en) * | 2018-03-23 | 2019-09-26 | NthGen Software Inc. | Method and system for obtaining vehicle target views from a video stream |
| CN109523652A (zh) * | 2018-09-29 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 |
| CN111325119A (zh) * | 2020-02-09 | 2020-06-23 | 华瑞新智科技（北京）有限公司 | 一种安全生产的视频监控方法及系统 |
| CN112464818A (zh) * | 2020-11-27 | 2021-03-09 | 北京软通智慧城市科技有限公司 | 后厨监管方法、装置、设备及存储介质 |
| CN113221721A (zh) * | 2021-05-08 | 2021-08-06 | 广州虎牙科技有限公司 | 图像识别方法、装置、设备及介质 |
| CN113408464A (zh) * | 2021-06-30 | 2021-09-17 | 深圳市商汤科技有限公司 | 一种行为检测方法、装置、电子设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500536A (zh) * | 2022-01-27 | 2022-05-13 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114500536B (zh) * | 2022-01-27 | 2024-03-01 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114627420A (zh) * | 2022-03-23 | 2022-06-14 | 北京数字政通科技股份有限公司 | 一种城市管理违规事件信息采集方法及系统 |
| CN116866666A (zh) * | 2023-09-05 | 2023-10-10 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
| CN116866666B (zh) * | 2023-09-05 | 2023-12-08 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792691B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113792691B (zh) | 一种视频识别方法、系统、设备及介质 | |
| US10432562B2 (en) | Reducing photo-tagging spam | |
| CN111859451B (zh) | 多源多模态数据的处理系统及应用该系统的方法 | |
| US11631306B2 (en) | Methods and system for monitoring an environment | |
| CN110807117B (zh) | 一种用户关系预测方法及装置、计算机可读存储介质 | |
| CN111918039A (zh) | 基于5g网络的人工智能高风险作业管控系统 | |
| US20210397823A1 (en) | Computerized system and method for adaptive stranger detection | |
| CN112839014A (zh) | 建立识别异常访问者模型的方法、系统、设备及介质 | |
| CN115103157A (zh) | 基于边云协同的视频分析方法、装置、电子设备及介质 | |
| CN110716973A (zh) | 基于大数据的安全事件上报平台及方法 | |
| CN114125848A (zh) | 一种电力移动互联业务安全防护方法及系统 | |
| CN111064719B (zh) | 文件异常下载行为的检测方法及装置 | |
| CN115001934A (zh) | 一种工控安全风险分析系统及方法 | |
| CN112437034B (zh) | 虚假终端检测方法和装置、存储介质及电子装置 | |
| CN112487082A (zh) | 一种生物特征识别的方法及相关设备 | |
| CN113743293B (zh) | 跌倒行为检测方法、装置、电子设备及存储介质 | |
| CN113468975B (zh) | 打架行为检测方法及装置 | |
| CN113837138B (zh) | 一种着装监控方法、系统、介质及电子终端 | |
| CN115567241A (zh) | 一种多站点网络感知检测系统 | |
| CN112241671B (zh) | 一种人员身份识别方法、装置及系统 | |
| CN112988327A (zh) | 一种基于云边协同的容器安全管理方法和系统 | |
| CN111028109B (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN116962075A (zh) | 一种网络安全保护方法、装置、电子终端及存储介质 | |
| CN116821424A (zh) | 一种团伙挖掘方法、装置、存储介质及设备 | |
| CN117574423A (zh) | 一种Web信息的安全防护方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |